LAPORAN INSTALASI, KONFIGURASI

DAN IMPLEMENTASI SOFTWARE HADOOP

DISUSUN OLEH :
ADRIAN MAULANA RIZQY (10121069)
IF-2

PROGRAM STUDI TEKNIK INFORMATIKA

JURUSAN TEKNIK INFORMATIKA
UNIVERSITAS KOMPUTER INDONESIA
 2023

1. VERSI HADOOP YANG DIGUNAKAN

Versi Hadoop yang saya gunakan adalah versi 3.3.0 dengan patch Hadoop 3.2.2

2. PLATFORM HARDWARE DAN SOFTWARE YANG DIGUNAKAN

a. Hardware : Laptop Asus Vivobook 14 K413EQ
b. Software : Windows 11, Version 23H2

3. LANGKAH – LANGKAH INSTALASI HADOOP

a. Memastikan telah menginstall java development kit 8 dan telah mengatur path-nya
menjadi “JAVA_HOME”.
b. Mendownload file Apache Hadoop versi 3.3.0

c. Mengekstrak file yang tadi Hadoop yang tadi di download di Local Disk C:\
d. Membuat folder namenode dan datanode

e. Melakukan konfigurasi terhadap file mapred-site.xml, core-site.xml, hdfs-site.xml,

yarn-site.xml, dan hadoop.env

 Mapred-site.xml (mengatur properti untuk framework MapReduce)

 <configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

 Core-site.xml ( Menentukan nama properti konfigurasi dan Menentukan nilai

yang diberikan kepada property)

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
 Hdfs-site.xml (Konfigurasi ini mengatur beberapa aspek penting dari
lingkungan Hadoop, termasuk faktor replikasi untuk keandalan data di HDFS
dan direktori tempat menyimpan metadata dan data pada NameNode dan
DataNode)

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.namenode.name.dirc</name>
<value>C:\hadoop\data\namenode</value>
</property>

<property>
<name>dfs.datanode.name.dirc</name>
<value>C:\hadoop\data\datanode</value>
</property>
</configuration>
 Yarn-site.xml (konfigurasi YARN (Yet Another Resource Negotiator) pada
lingkungan Hadoop)

<configuration>

<!-- Site specific YARN configuration properties -->

<property>
<name>yarn.nodemanager.aux-servicess.class</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.nodemanager.aux-
servicess.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
 </configuration>
 Hadoop-env.cmd (mengatur variabel lingkungan JAVA_HOME ke direktori
instalasi Java Development Kit (JDK) versi 1.8 di sistem Windows)

set JAVA_HOME="C:\Program Files\Java\jdk-1.8"

f. Mengatur path di environtment variables sebagai HADOOP_HOME

g. Mengecek apakah Hadoop telah terinstall dan versi yang Hadoop yang di install

h. Memulai Hadoop dengan command “start-all.cmd”

i. Membuka localhost:9870 dan 8088
 j. Maka selamat Hadoop telah ter-install dengan baik di komputer anda

4. IMPLEMENTASI WORDCOUNT MENGGUNAKAN HADOOP

Langkah-langkah umum untuk melakukan word count di Hadoop melibatkan penggunaan

framework MapReduce. Berikut adalah langkah-langkahnya:

 Pemecahan (Map): Pada tahap ini, teks diperoleh dari input dan dibagi menjadi potongan-
potongan yang lebih kecil yang disebut "split". Setiap split kemudian diolah oleh fungsi
map yang memetakan kata-kata ke dalam pasangan kunci-nilai. Kunci adalah kata itu
sendiri, dan nilai umumnya diatur sebagai 1.

 Pengurutan dan Pengelompokan (Shuffle & Sort): Hasil dari fungsi map dikelompokkan
berdasarkan kunci (kata) mereka, dan hasilnya diurutkan.

 Penggabungan dan Pengurangan (Reduce): Hasil yang dikelompokkan dikirim ke fungsi

reduce. Fungsi reduce menggabungkan hasil yang memiliki kunci yang sama (kemudian
menghitung total kemunculan kata) dan menghasilkan output akhir.