HADOOPY

ARN

Okghi Adam Qowiy, Teddy Anugrah Ramanel, Asep Haryono

PUSAT TEKNOLOGI SISTEM DAN PRASARANA TRANSPORTASI
04 Sept 2020
Pengenalan
YARN dalam Arsitektur Hadoop
• YARN adalah singkatan dari “Yet Another
Resource Negotiator“. YARN diperkenalkan di
Hadoop 2.0 untuk menghilangkan hambatan
pada Job Tracker yang ada di Hadoop 1.0.

• Sistem YARN pada dasarnya memisahkan

lapisan Resource Management dari lapisan
Processing.

• Yarn juga memungkinkan pengolahan berbagai

mesin pemrosesan data seperti pemrosesan
grafik, pemrosesan interaktif, pemrosesan
stream, serta pemrosesan batch untuk
menjalankan dan memproses data yang
disimpan dalam HDFS.
Komponen
Elemen dalam Arsitektur YARN
• Client : mengirimkan • Application Master:
pekerjaan map-reduce. Aplikasi adalah pekerjaan
tunggal yang dikirimkan
• Resource Manager: Ini ke kerangka kerja. Tugas
adalah daemon master Application Master
YARN dan bertanggung meminta container dari
jawab atas penugasan Node Manager dengan
mengirimkan CLC yang
dan pengelolaan
mencakup semua yang
resource di antara
dibutuhkan aplikasi untuk
semua aplikasi. dijalankan.

• Resource Manager • Container: Ini adalah

memiliki dua kumpulan sumber daya
komponen utama: • Node Manager: Ini menangani node individu pada cluster fisik seperti RAM, inti
Scheduler dan Hadoop dan mengelola aplikasi dan alur kerja dan node CPU, dan disk pada satu
Application Manager. tertentu itu. node.
Tahap uji coba YARN (1/6)
 Tools : Cloudera Quicstart VM

• Dengan tools ini, kita seperti sedang melakukan simulasi mengelola dua komputer, karena Hadoop menggunakan
konsep cluster.

• Dapat dilihat ada satu Manager node atau PC kita, dan 1 worker
node yaitu si Virtual Machine.
Tahap uji coba YARN (2/6)
 Membuat Folder di dalam HDFS
• Untuk melihat daftar folder dengan menggunakan
command “-ls”.
• Untuk melihat daftar folder dengan menggunakan
command “-mkdir”.
• Untuk melihat dan membuat folder di dalam HDFS,
maka ditambahkan command “hdfs dfs”.
• Untuk melihat dokumen apa saja yang di HDFS dapat
menggunakan HUE file browser. HUE file browser
merupakan aplikasi yang dapat mensimulasikan tampilan
list folder dalam HDFS.
• List folder HDFS terletak pada sisi kiri panel.
Tahap uji coba YARN (3/6)
 Membuat File (Teks) di dalam HDFS
• Untuk membuat file yang berisi teks dengan • Untuk melihat dan membuka file tersebut dapat
menggunakan command “cat> [folder yang dituju]”. menggunakan HUE file browser.
• Untuk membuka isi file teks tersebut dengan • Tampilan isi file dapat dilihat pada panel sebelah sisi
menggunakan command “cat [folder yang dituju]”. kanan.
• Untuk memindahkan file ke dalam folder lain atau di
HDFS dengan menggunakan command “-put [folder asal]
[folder yang dituju]”.
Tahap uji coba YARN (4/6)
 Membuat program menggunakan aplikasi eclipse

• Dengan aplikasi ini, kita dapat membuat baris program

• Salah satu contohnya, akan dibuat program WordCount.
sama seperti menggunakan IDE pada umumnya.
• Bahasa pemrograman yang didukung Java.
Tahap uji coba YARN (5/6)
 Simulasi menjalankan program
• Untuk menjalankan program, dapat menggunakan terminal • Untuk melihat program-program tersebut, dengan memilih
dengan command seperti contoh di bawah. fitur Job Browser yang ada di baris menu atas.
• Dengan menggunakan Hue file browser, tertera mengenai
program-program yang sedang berjalan.
Tahap uji coba YARN (6/6)
 Simulasi dalam melihat fungsi YARN

• Di bawah ini dapat terlihat fungsi dari YARN yang dapat • Di bawah ini, tertera interface cluster YARN yang dapat
melihat metadata dari file program tersebut. diakses melalui http://localhost:8088/cluster.
THE END