01 Judul
Penjadwal DAG-CPM untuk
Eksekusi Paralel Pekerjaan
02 Penulis
D C Vinutha,
G T Raju .
Kritis
03 Penerbit
International Journal of
Engineering dan Advanced
04 Tahun
ISSN: 2249 - 8958, Volume-8
Edisi-6, Agustus 2019
Technology (IJEAT)
Kata Kunci Jurnal
Jalur Kritis
DAG
MapReduce
Pipeline
PENDAHULUAN
MapReduce adalah model pemrograman MapReduce konvensional tidak akan
Kelemahan
Tujuan
01 02 03 04
Meningkatkan
Dalam hal tumpang
MapReduce
tindih pelaksanaan
konvensional, untuk Waktu pelaksanaan Mengembangkan model
pekerjaan dependen,
melaksanakan setiap pekerjaan penjadwalan pekerjaan
Pipeline diperkenalkan/
pekerjaan dependen diperkirakan jalur kritis untuk
dimasukkan antara
terjadwal secara paralel, menggunakan Locally penjadwalan pekerjaan
output dan input dari
dengan secara dinamis Weighted Liner berdasarkan prediksi
pekerjaan dependen,
membangun dependensi Regression (LWLR) yang tepat dari jalur
hasil ini menjadi
DAG untuk pekerjaan dengan memanfaatkan kritis menggunakan
peningkatan yang
yang sedang berjalan file log pekerjaan/ algoritma Metode Jalur
signifikan dalam waktu
berdasarkan direktori riwayat eksekusi. Kritis.
eksekusi.
output dan input.
RELATED WORK
Penjadwal DAG–CPM
adalah peningkatan
dari Hadoop
konvensional untuk
menjadwalkan
aplikasi multi-
pekerjaan.
Arsitektur
yang
Ditawarkan
SISTEM YANG DIAJUKAN
3 Komponen baru :
• Dependency Parser memeriksa ketergantungan antara beberapa
pekerjaan berdasarkan pada direktori input dan output.
• Job Time Estimator memperkirakan waktu pelaksanaan pekerjaan
berdasarkan file log pekerjaan dan konfigurasi pekerjaan.
• Untuk membuat keputusan penjadwalan yang kuat untuk pekerjaan yang
diajukan, memanfaatkan waktu eksekusi pekerjaan yang diprediksi dan
informasi ketergantungan dalam DAG.
HARD
DEPENDENCY
Adanya ketergantungan antara iterasi
sebelumnya dan pekerjaan iterasi saat ini,
meskipun tidak ada ketergantungan input-
output.
Pipelining data
antara input dan
output suatu
pekerjaan
Dalam MapReduce konvensional:
- tidak ada sinkronisasi antara input dan output dari pekerjaan dependen
- tidak mungkin mengidentifikasi, ke pekerjaan mana output dari
pekerjaan hulu perlu digunakan sebagai input untuk pekerjaan hilir.
- pekerjaan dependen menunggu sampai menerima data input lengkap
dari semua pekerjaan lain.
USULAN :
Pipeline digunakan antara
pekerjaan yang tergantung
Pipeline
Data antara
Pekerjaan
Dependen
Penjadwalan dalam Penjadwal DAG– CPM
Prosedur untuk menjadwalkan pekerjaan menggunakan
Penjadwal DAG-CPM
01 02 03 04
A 0 2 8 10 8
B 5 6 10 11 5
C 5 11 5 11 0
D 0 5 0 5 0
E 11 15 11 15 0
1 15 24 1 24 33
2 10 28 2 10 28
3 0 7 3 0 7
4 2 19 4 2 19
5 29 56 5 20 56
6 63 81 6 57 68
7 82 90 7 69 74
1 26 34
Waktu Eksekusi di
2 20 38 Penjadwalan DAG-CPM
3 0 7
dengan Pipeline
4 2 19
5 10 57
6 35 55
7 43 56
KESIMPULAN
Hasil eksperimen mengungkapkan bahwa untuk PigMix2, Penjadwal
DAG-CPM adalah 37,7% lebih cepat dibandingkan dengan Pig dan
24,3% lebih cepat dibandingkan Penjadwal DAG-CPM tanpa pipeline.
Untuk aplikasi Page View, Penjadwal DAG – CPM meningkatkan
waktu eksekusi sebesar 41% dibandingkan dengan Hadoop.
Penjadwal DAG – CPM telah meningkatkan waktu pelaksanaan
dengan memanfaatkan sumber daya secara efektif.