LAPORAN INFRASTRUKTUR BIG DATA

(PRAKTIKUM)
PERTEMUAN KE-3

Disusun oleh :

Ade Candrawan Zona

(195410254)

SEKOLAH TINGGI MANAJEMEN INFORMATIKA DAN KOMPUTER

AKAKOM

YOGYAKARTA

2020
 HDFS & MapReduce

1. HDFS (Hadoop Distributed File System)

- Membuat direktori pada HDFS
Untuk membuat direktori, pertama-tama kita harus masuk terlebih dahulu ke folder sbin
pada Hadoop, dikarenakan kita akan menampatkan direktori baru yang akan dibuat
tersebut pada folder sbin. Bukalah cmd pada komputer, jangan lupa di run administrator
dan masuk pada folder sbin Hadoop.

Gambar 1 Masuk ke folder sbin Hadoop

Lalu untuk merunning dfs, ketikkan command “start-dfs.cmd” pada cmd.

Gambar 2 Running dfs

Jika berhasil maka akan muncul popup window cmd baru namenode dan datanode seperti
dibawah.
 Gambar 3 Hasil datanode

Gambar 4 Hasil namenode

Lalu kita akan langsung membuat direktori baru dengan nama bebas, disini saya akan
menamai direktori tersebut dengan nama “hadoopbigdata”. Kitikkan command “hdfs dfs
-mkdir /hadoopbigdata” pada cmd.
 Gambar 5 Membuat direktori dengan nama hadoopbigdata

- Pengecekkan direktori
Untuk mengecek apakah direktori berhasil dibuat ketikkan command “hdfs dfs -ls /” pada
cmd.

Gambar 6 Pengecekkan direktori yang dibuat

- Mengcopy file local system ke HDFS

Untuk mengcopy file ke HDFS, hal pertama yang kita lakukan adalah membuat stautu file
dalam folder sbin Hadoop, disini file yang dibuat dalam bentuk format .txt dengan nama
file “testtexthadoop.txt”.

Gambar 7 File txt yang telah dibuat

 Kemudian isi file tersebut.

Gambar 8 Isi file txt

Untuk mengcopy file ke HDFS ketikkan command “hdfs dfs -put testtexthadoop.txt
/hadoopbigdata” pada cmd.

Gambar 9 Command untuk mengcopy file ke HDFS

Lalu lakukan pengecekkan pada apakah file tersebut sudah dicopy dengan command “hdfs
dfs -ls /hadoopbigdata” pada cmd.

Gambar 10 Command untuk mengecek file yang telah dicopy ke HDFS

- Mengcopy file HDFS ke local system

Pertama yang dilakukan adalah membuat direktori di local system menggunakan
command “mkdir localfiles” pada cmd dengan nama direktori “localfiles”.

Gambar 11 Command untuk membuat direktori local

Lalu ketikkan command “hdfs dfs -get /hadoopbigdata/testtexthadoop.txt localfiles” untuk

mengcopy file dari HDFS ke local system.

Gambar 12 Command untuk mengcopy file HDFS ke local system

 Lakukan pengecekkan file yang telah dicopy tersebut menggunakan perintah “dir
localfiles” pada cmd.

Gambar 13 Command untuk mengecek file yang telah dicopy

- Menghapus file dan folder pada HDFS

Ketikkan command “hdfs dfs -rm /hadoopbigdata/testtexthadoop.txt” untuk menghapus
file yang telah dibuat tadi yang berlokasi di Hadoop.

Gambar 14 Command untuk menghapus file

Lalu ketikkan command “hdfs dfs -rmdir /hadoopbigdata” pada cmd untuk menghapus
direktori “hadoopbigdata”.

Gambar 15 Command untuk menghapus direktori

Lakukan pengecekkan apakah direktori “hadoopbigdata” telah terhaus atau belum

menggunakan command “hdfs dfs -ls /” pada cmd.

Gambar 16 Coammand untuk mengecek direktori yang terhapus

2. MapReduce
- Mempersiapkan file yang akan di analisis
Agar cepat, download saja contoh file yang akan di analisis di github
https://github.com/smfahad/BDAH-chapter3-example-data. Kemudian Unzip file tersebut
lalu copykan file bernama “log.txt” ke folder sbin Hadoop.

Gambar 17 File yang dicopykan kedalam folder sbin Hadoop

Lalu buat direktori baru pada HDFS dengan nama “utility” dan copykan file yang di
download tadi ke direktori “utility” menggunakan command “hdfs dfs -mkdir /utility/”
pada cmd.

Gambar 18 Membuat direktori bernama “utility”

Gambar 19 Mengcopy file log.txt ke direktori utility

- Program Code
Pada bagian ini kita akan membuat file java menggunakan IDE Eclipse. File yang dibuat
bernama “hadoopmapreduce”, dilanjutkandengan membuat class java baru bernama
“UtilityBillSummary”. Kode tersebut dituliskan seperti dibawah ini:

Gambar 20 Membuat class java bernama UtilityBillSummary

Lalu buat class java baru sebagai Reduce program bernama “UtilityReducer” pada IDE
Eclipse seperti gambar dibawah.
 Gambar 21 Membuat class java bernama UtilityReduce

Yang berikutnya buatlah class java dengan nama “UtilityMapper” seperti gambar dibawah
ini.

Gambar 22 Memnuat class java bernama UtilityMapper

Lalu tambahkan file jar eksternal dengan cara klik kanan pada project Build Path →
Configure Build Path → Add External Jar.
 Gambar 23 Menambahkan file eksternal Jar pada project java

Kemudian masuk ke folder share pada direktori Hadoop, lalu masuk ke folder client,
masukkan semua file yang ada pada folder client.

Gambar 24 Menambahkan file ekternal jar dari folder client

Hal yang sama juga dilakukan untuk folder-folder yang lain seperti folder common,
common(lib), yarn, mapreduce dan hdfs. Setelah semua file ditambahkan lalu klik tombol
Apply and Close.

Gambar 25 Menambahkan file eksternal jar dari folder lainnya

Kemudian klik kanan pada project → export → java → JAR file. Lalu ceklis semua
resource yang hendak di eksport, lalu klik tombol Next.

Gambar 26 Memasukkan lokasi eksport Jar

Lalu muncul popup window lagi klik tombol Next.

Gambar 27 Klik tombol Next

Pilih main class java, disini saya menggunakan main class UtiliytBillSummary seperti
dibawah ini.

Gambar 28 Meenentukan main class java.

 - Hasil
Pada tahap ini saya mengalami trouble pada saat mengeksekusi command MapReduce.

Gambar 29 Hasil eksekusi command MapReduce error

3. Tugas Halaman 74: Menjelaskan berbagai macam project ASF terkait Big Data. Project yang
akan saya jelaskan pada tugas kali ini adalah Apache Storm dan Apache REEF.
- Apache Storm
Apache Storm adalah sistem komputasi real-time terdistribusi, bersifat open source.
Apache Storm mempermudah proses arus data yang tak terbatas limitnya, selain itu juga dapat
melakukan pemrosesan secara real-time untuk data dalam bentuk batch. Apache Storm juga
sangat kompatibel dengan banyak bahasa pemrograman dan easy to use, kelebihan lainnya
adalah menawarkan pemrosesan data yang cepat, yang mana cocok untuk normalisasi data,
log server, machine learning dan lain-lain

- Apache REEF
Apache REEF menyediakan sebuah kontrol abstraksi terpusat yang dapat digunakan untuk
membuat sebuah data terpisah (decentralized) untuk membantu sistem pada Big Data. s
 KESIMPULAN

Pada mata kuliah Praktikum Infrastruktur Big Data dapat ditarik suatu kesimpulan bahwa pada
HDFS terdapat sejumlah command/perintah dasar dalam memanipulasi suati file dan folder
sekaligus melihat direktori yang dibuat. Semua perintah tersebut dilakukan pada Command
Prompt di folder sbin Hadoop. Khusus praktikum kali ini saya melakukan copy file dari local
system ke HDFS dan sebaliknya. Ada juga penghapusan file dan direktori yang telah dibuat.
Untuk MapReduce, berdasarkan sumber/referensi belajar yang diberikan berfungsi untuk
menjumlahkan total nilai yang terdapat pada file log.txt. Tetapi sayangnya disini saya mengalami
sedikit trouble yang mana tidak dapat menampilkan hasil penjumlahan nilai tersebut pada
command prompt.
Terkait tugas halaman 74, disini saya memilih 2 contoh project ASF terkait Big Data yaitu
Apache Storm dan Apache REFF. Masing-masing contoh project ASF tersebut memiliki
keunggulannya, selain itu juga sangat membantu dalam bidang Bid Data.