PROGRAM STUDI TEKNIK INFORMATIKA

FAKULTAS TEKNIK
UNIVERSITAS PELITA BANGSA

TUGAS PERTEMUAN 7

Nama : Rima Puji Lestari

NIM : 312110517
Kelas : TI.2021.A3
Mata Kuliah : Sistem Terdistribusi
Dosen : Ahmad Turmudi Zy, S.Kom., M.Kom

Jelaskan Perbedaan Algoritma Tersentral dan Terdesentral yang di jelaskan pada bab 7

1. Algoritma Tersentral

Dalam algoritma terpusat, satu proses dipilih sebagai koordinator yang mungkin
merupakan mesin dengan alamat jaringan tertinggi.

Setiap kali sebuah proses ingin memasuki wilayah kritis, proses tersebut mengirimkan
pesan permintaan kepada koordinator yang menyatakan wilayah kritis mana yang ingin
dimasuki dan meminta izin. Jika tidak ada proses lain yang sedang berada di wilayah
kritis tersebut, koordinator akan mengirimkan balasan yang memberikan izin, seperti
yang ditunjukkan pada Gambar (a). Ketika balasan tiba, proses yang meminta izin
memasuki wilayah kritis.

Misalkan proses lain 2 yang ditunjukkan pada Gambar (b), meminta izin untuk
memasuki wilayah kritis yang sama. Sekarang koordinator mengetahui bahwa proses
yang berbeda sudah berada di wilayah kritis, sehingga tidak dapat memberikan izin.
Koordinator hanya menahan diri untuk tidak membalas, sehingga memblokir proses 2,
yang sedang menunggu balasan atau dapat mengirim balasan yang mengatakan 'izin
ditolak'.

Ketika proses 1 keluar dari wilayah kritis, ia mengirimkan pesan kepada koordinator
yang melepaskan akses eksklusifnya seperti yang ditunjukkan pada Gambar (c).
Koordinator mengeluarkan item pertama dari antrian permintaan yang ditangguhkan
dan mengirimkan pesan grant kepada proses tersebut. Jika proses tersebut masih
diblokir, maka ia akan membuka blokir dan memasuki wilayah kritis.

Jika pesan eksplisit telah dikirim untuk menolak izin, proses harus melakukan polling
untuk lalu lintas yang masuk atau memblokirnya nanti. Ketika ia melihat pemberian
izin, proses tersebut dapat memasuki wilayah kritis.

Setiap kali sebuah proses ingin memasuki wilayah kritis, proses tersebut mengirimkan
pesan permintaan kepada koordinator yang menyatakan wilayah kritis mana yang ingin
dimasuki dan meminta izin. Jika tidak ada proses lain yang sedang berada di wilayah
kritis tersebut, koordinator akan mengirimkan balasan yang memberikan izin, seperti
yang ditunjukkan pada Gambar (a). Ketika balasan tiba, proses yang meminta izin
memasuki wilayah kritis.

Keuntungan:

• Algoritma menjamin pengecualian timbal balik dengan membiarkan satu proses

pada satu waktu masuk ke setiap wilayah kritis.
• Ini juga adil karena permintaan diberikan sesuai dengan urutan yang diterima.
• Tidak ada proses yang menunggu selamanya sehingga tidak ada kelaparan.
• Mudah diimplementasikan sehingga hanya membutuhkan tiga pesan per
penggunaan critical region (request, grant, release).
• Digunakan untuk alokasi sumber daya yang lebih umum daripada hanya
mengelola wilayah kritis.

Kekurangan:

• Koordinator adalah satu titik kegagalan, seluruh sistem dapat turun jika
mengalami crash.
• Jika proses biasanya memblokir setelah membuat permintaan, mereka tidak
dapat membedakan koordinator yang mati dengan ''izin ditolak'' karena tidak ada
pesan yang kembali.
• Dalam sistem yang besar, satu koordinator dapat menjadi penghambat kinerja.
2. Algoritma Terdesentral

Algoritma terdesentralisasi adalah bentuk komputasi yang mencapai tujuan global

melalui dinamika lokal yang bergantung pada komunikasi berbiaya rendah antara agen-
agen yang terhubung secara langsung. Pada tugas-tugas pengoptimalan skala besar yang
melibatkan set data terdistribusi, algoritma terdesentralisasi telah menunjukkan kinerja
yang kuat, terkadang lebih unggul, dibandingkan algoritma terdistribusi dibandingkan
algoritma dengan simpul pusat. Baru-baru ini, pengembangan algoritma
terdesentralisasi untuk pembelajaran mendalam telah menarik perhatian. Mereka
dianggap sebagai alternatif overhead komunikasi yang rendah dibandingkan dengan
mereka yang menggunakan server parameter atau protokol Ring-Allreduce. Namun,
kurangnya paket perangkat lunak yang mudah digunakan dan efisien membuat sebagian
besar algoritma terdesentralisasi hanya di atas kertas.

Metode komputasi terdesentralisasi adalah metode komputasi terdistribusi yang

berjalan tanpa server terpusat. Metode ini tidak secara langsung melakukan operasi
global seperti menghitung rata-rata angka yang terdistribusi. Mereka bisa, Namun,
mereka dapat memperoleh hasil yang sama melalui dinamika lokal, yaitu, serangkaian
komputasi dan agen-ke-agen langkah-langkah komunikasi langsung. Pada tugas-tugas
optimasi skala besar yang melibatkan kumpulan data terdistribusi, metode komputasi
terdesentralisasi baru-baru ini terdesentralisasi baru-baru ini telah menunjukkan kinerja
yang kuat, terkadang lebih unggul, [1], [2], [3], [4], [5].

Model deep-learning modern berkembang dengan cepat dalam ukuran [6], [7], dan
melatihnya membutuhkan dataset yang sangat besar [8], [9], dataset yang sangat besar
[8], [9], [10]. Dengan peningkatan pesat dari kemampuan kita untuk mengumpulkan
data, beberapa pemrosesan sinyal klasik dan masalah pembelajaran statistik juga
menjadi sangat besar. Namun, kinerja setiap inti komputasi berhenti meningkat lebih
dari satu dekade yang lalu. Oleh karena itu, untuk menyelesaikan masalah optimasi yang
besar dalam waktu yang wajar dibutuhkan komputasi paralel, komputasi terdistribusi.
Sebagian besar metode optimasi terdistribusi yang ada saat ini didasarkan pada
komputasi lokal iteratif oleh agen individu dan komunikasi global, misalnya,
menghitung rata-rata parameter model terdistribusi atau mengambil jumlah gradien
terdistribusi.

Komunikasi, daripada komputasi, cenderung menjadi hambatan. Komunikasi banyak-

ke-satu, komunikasi satu-ke-banyak dan banyak putaran komunikasi (bahkan pesan
singkat) semuanya membutuhkan biaya yang sangat besar. Dua yang umum untuk
menghitung rata-rata global adalah Parameter Server [11] dan Ring-Allreduce [12].
Yang pertama menggunakan server pusat dan melakukan komunikasi banyak-ke-satu
dan banyak-ke-banyak. Yang terakhir ini menempatkan n agen pada sebuah cincin dan
menggunakan 2n putaran komunikasi. Waktu berjalan mereka tumbuh secara linear
dengan jumlah agen n. Memanggil mereka pada setiap iterasi dari algoritma iteratif
sangat mahal.

Algoritma terdesentralisasi bergantung pada komunikasi yang murah antara agen yang
terhubung secara langsung, dan banyak pasangan yang berbeda dari agen-agen tersebut
berkomunikasi secara bersamaan. Jika setiap agen terhubung hanya dengan beberapa
agen lainnya (dalam apa yang disebut graf jarang), dibutuhkan waktu yang konstan
untuk semua agen yang terhubung secara langsung untuk berkomunikasi setidaknya
satu kali.
Gambar 1. Ilustrasi Server Parameter, Ring-Allreduce, dan rata-rata parsial
terdesentralisasi. Dalam rata-rata parsial, node bertukar informasi melalui edge; node
tidak menyampaikan informasi. Sebagai contoh, Node 3 mengumpulkan informasi dari
tetangganya 1 dan 2 Node-node lain melakukan hal yang sama tetapi tidak digambarkan.

Algoritma terdesentralisasi dapat berjalan pada jaringan yang terhubung, bahkan jika
topologi jaringan berubah secara dinamis. Ketika beberapa agen atau tautan mati,
algoritma berjalan dengan benar pada agen yang tersisa tanpa modifikasi. Oleh karena
itu, algoritma terdesentralisasi lebih kuat daripada algoritma yang mengandalkan agen
atau tautan pusat yang penting.

Perlu disebutkan bahwa ada jaringan alami (misalnya, sekolah ikan) dan jaringan yang
dibuat oleh manusia (misalnya, jaringan transportasi), di mana mengendalikan semua
agen oleh pemimpin pusat secara praktis tidak mungkin dilakukan atau sangat mahal
[13], [14], [15], [16]. Oleh karena itu, algoritma terdesentralisasi adalah metode
fundamental untuk penginderaan, pemrosesan sinyal, dan mengendalikan dalam
jaringan tersebut.

Kita dapat menulis sebagian besar algoritma terdesentralisasi yang dikenal dalam
beberapa baris persamaan. Akan tetapi, merealisasikannya dalam jaringan komputer
cukup rumit. Secara khusus, mengimplementasikan satu set langkah komunikasi yang
terkoordinasi antara pasangan node tertentu membutuhkan aplikasi yang terampil dari
pustaka komunikasi tingkat rendah. Oleh karena itu, meskipun pengembangan
algoritma terdesentralisasi selama dua dekade terakhir, kami belum melihat paket
perangkat lunak untuk implementasi yang cepat. Sebagian besar pengembang algoritma
terdesentralisasi telah mensimulasikan algoritma mereka pada satu komputer di Matlab
atau Python. Sangat sedikit paket yang dapat berjalan di jaringan komputer yang ditulis
untuk algoritma dan topologi jaringan tertentu. Untuk mengadaptasinya ke proyek lain
membutuhkan modifikasi komunikasi tingkat rendah. Perkembangan terbaru lebih
lanjut melibatkan asinkronisasi, topologi jaringan yang berubah-ubah, dan komunikasi
asimetris telah menciptakan hambatan implementasi yang lebih tinggi.
 REFERENCES

1. Bicheng Ying, Kun Yuan , Hanbin Hu, Yiming Chen, Wotao Yin, BlueFog: Make
Decentralized Algorithms Practical for Optimization and Deep Learning, Los Angeles:
University of California, 2021.

2. ques10.com. (2021). Explain centralized algorithm for mutual exclusion. What are the
advantages and disadvantages of it over distributed algorithm?. Diakses pada 17 April
2023, dari https://www.ques10.com/p/2223/explain-centralized-algorithm-for-mutual-
exclusi-
1/#:~:text=In%20centralized%20algorithm%20one%20process,enter%20and%20askin
g%20for%20permission.