Paralel Processing dalam Sistem

Terdistribusi
Definisi Pemrosesan paralel

• Penggunaan lebih dari satu CPU untuk men

jalankan sebuah program secara simultan.

• Idealnya, paralel processing membuat

program berjalan lebih cepat karena
semakin banyak CPU yang digunakan.
Tetapi dalam prakteknya, seringkali sulit
membagi program sehingga dapat
dieksekusi oleh CPU yang berbeda-beda
tanpa berkaitan diantaranya.
2
Definisi Pemrosesan paralel

• Pemrosesan paralel dalam sebuah

komputer dapat didefinisikan sebagai
pelaksanaan instruksi-instruksi secara
bersamaan waktunya.
• Hal ini dapat menyebabkan pelaksanaan
kejadian-kejadian dalam interval waktu
yang sama, dalam waktu yang bersamaan
atau dalam rentang waktu yang saling
tumpang tindih

3
Komputasi Paralel
Salah satu teknik melakukan komputasi secara
bersamaan dengan memanfaatkan beberapa
komputer secara bersamaan.

Biasanya diperlukan saat kapasitas yang

diperlukan sangat besar, baik karena harus
mengolah data dalam jumlah besar ataupun
karena tuntutan proses komputasi yang banyak.

4
 Komputasi Paralel
• Untuk melakukan aneka jenis komputasi paralel ini
diperlukan infrastruktur mesin paralel yang terdiri
dari banyak komputer yang dihubungkan dengan
jaringan dan mampu bekerja secara paralel untuk
menyelesaikan satu masalah.
• Untuk itu diperlukan aneka perangkat lunak
pendukung yang disebut middleware yang berperan
untuk mengatur distribusi perkerjaan antar node
dalam satu mesin parallel. Selanjutnya pemakai
harus membuat pemrograman paralel untuk
merealisasikan komputasi.
5
Bahasa Pemrograman yang digunakan
pada Pemrograman Parallel
1. MPI (Message Passing Interface)
•Sebuah standard pemrograman yang memungkinkan
pemrogram untuk membuat sebuah aplikasi yang
dapat dijalankan secara paralel.
•Suatu standar protokol yang digunakan untuk
pemrograman paralel dan terdistribusi.
•Proses pertukaran pesan atau data antar proses
adalah dengan mengirimkan pesan melalui media
komunikasi.
•Model ini juga dapat diimplementasikan pada
bermacam-macam platform, seperti shared-memory.
Kegunaan MPI

• Menyediakan fungsi-fungsi untuk menukar

pesan.
• Menulis kode paralel secara portable.
• Mendapatkan performa yang tinggi dalam
pemrograman paralel.
• Menghadapi permasalahan yang melibatkan
hubungan data irregular atau dinamis yang
tidak begitu cocok dengan model data paralel
Bahasa Pemrograman yang digunakan
pada Pemrograman Parallel
2. PVM (Parallel Virtual Machine)
PVM adalah alat perangkat lunak untuk jaringan
paralel komputer. Ini dirancang untuk
memungkinkan jaringan mesin Unix dan / atau
Windows yang heterogen untuk digunakan
sebagai prosesor paralel terdistribusi tunggal.
Dengan demikian masalah komputasi yang
besar dapat diselesaikan dengan biaya yang
lebih efektif dengan menggunakan daya agregat
dan memori banyak komputer
PVM (Parallel Virtual Machine)

• Perangkat lunak ini sangat portabel; kode sumber, yang

tersedia gratis melalui netlib, telah dikompilasi dalam segala
hal mulai dari laptop hingga Crays.
• PVM memungkinkan pengguna untuk mengeksploitasi
perangkat keras komputer yang ada untuk memecahkan
masalah yang jauh lebih besar dengan biaya tambahan
minimal.
• Banyak situs di seluruh dunia menggunakan PVM untuk
memecahkan masalah ilmiah, industri, dan medis yang
penting selain penggunaan PVM sebagai alat pendidikan
untuk mengajarkan pemrograman paralel.
• Dengan puluhan ribu pengguna, PVM telah menjadi standar
de facto untuk komputasi terdistribusi di seluruh dunia.
Parallel processing berbeda dengan
multitasking

Multitasking adalah komputer dengan processor tunggal

mengeksekusi beberapa tugas secara bersamaan.
Sedangkan komputasi paralel bahwa komputasi paralel
menggunakan beberapa processor atau komputer.
Parallel processing disebut juga Komputasi Paralel.
Pada system komputasi Paralel terdiri dari beberapa unit
prosesor dan beberapa unit memori.
Ada dua teknik yang berbeda untuk mengakses data di
unit memori, yaitu shared memory address dan
message passing. Berdasarkan cara mengorganisasikan
memori ini computer parallel dibedakan menjadi shared
memory parallel machine dan distributed memory
parallel machine.
10
Arsitektur paralel komputer menurut
Klasifikasi Taksonomi Flynn
Untuk lebih memperjelas lebih dalam mengenai
perbedaan komputasi tunggal (menggunakan 1
processor) dengan komputasi paralel
(menggunakan beberapa processor), maka kita
harus mengetahui terlebih dahulu Arsitektur
Komputer Pararel dan pengertian mengenai
model pemrosesan pararel.
Arsitektur paralel komputer menurut
Klasifikasi Taksonomi Flynn
Arsitektur paralel komputer menurut
Klasifikasi Taksonomi Flynn

1. SISD (Single Instruction, Single Data)

Komputer ini memiliki hanya satu prosesor dan satu
instruksi yang dieksekusi secara serial.
2. SIMD (Single Instruction, Multiple Data)
Komputer ini memiliki lebih dari satu prosesor, tetapi
hanya mengeksekusi satu instruksi secara paralel pada
data yang berbeda pada level lock-step.
3. MISD (Multiple Instruction, Single Data) Teorinya
komputer ini memiliki satu prosesor dan mengeksekusi
beberapa instruksi secara paralel

13
Arsitektur paralel komputer menurut
Klasifikasi Taksonomi Flynn
4. MIMD ( Multiple Instruction, Multiple Data) Multiple
Instructions – Multiple Data.
Komputer ini memiliki lebih dari satu prosesor dan
mengeksekusi lebih dari satu instruksi secara paralel.
Tipe komputer ini yang paling banyak digunakan untuk
membangun komputer paralel, bahkan banyak super
computer yang menerapkan arsitektur ini. Beberapa
komputer yang menggunakan model MIMD adalah IBM
POWER5, HP/Compaq AlphaServer, Intel IA32, AMD
Opteron, Cray XT3 dan IBM BG/L.

14
Ilustrasi Komputasi Tunggal dengan
Komputasi Paralell