Kelompok 9:

● Kevin Darmawan (1806148744)

● Muhammad Alfi Aldolio (1806200015)
● Muhammad Farhan Almasyhur (1806200375)
● Mohammad Salman Alfarisi (1806200381)
● Qisas Tazkia Hasanudin (1806200210)

Instalasi Sqoop dan Flume

A. Install MySQL dan import database movielens
1. Menginstall MySQL

2. Menjalanakan instalasi MySQL secure version

3. Mengimport dataset movielens ke dalam MySQL

 4. Hasil

B. Sqoop
1. Download sqoop

Sebelum melakukan instalasi sqoop pastikan terlebih dahulu bahwa komputer yang
digunakan sudah terkonfigurasi hadoop. Setelah itu, sqoop langsung dapat diunduh
melalui web Index of /dist/sqoop/1.4.5 (apache.org).

2. Extract file

Setelah mengunduh sqoop, dapat dilakukan ekstraksi file pada folder baru sehingga
sqoop dapat diakses dengan mudah.
3. Masukkan ke dalam PATH

Agar command sqoop untuk operasi dan juga manajemen RDBMS dapat dikenali
serta diakses pada keseluruhan sistem operasi maka lokasi dari sqoop perlu
ditambahkan pada PATH sistem.

4. Ubah nama file sqoop-env-template.sh menjadi sqoop-env.sh pada folder conf.

Setelah itu, melakukan konfigurasi lokasi Hadoop

Lakukan perubahan nama template script sqoop dan juga lakukan penyesuaian
konfigurasi script dengan menambahkan lokasi bin hadoop.

5. Download MySQL Connector

Mengunduh connector MySQL agar sqoop dapat terhubung dengan terminal dan juga
database MySQL
6. Extract file MySQL dan pindahkan ke dalam library sqoop

Melakukan ekstraksi MySQL Connector dan memindahkannya pada bagian library

sqoop sehingga nantinya sqoop dapat memanggil packages MySQL.

7. Cek Versi Sqoop untuk melihat bahwa command sqoop berhasil dijalankan

Pengecekan apakah sqoop sudah berhasil terkonfigurasi dan terpasang pada sistem
dapat dilakukan dengan memanggil perintah sqoop-version pada terminal. Jika versi
dari sqoop ditampilkan, maka sqoop telah berhasil terkonfigurasi.

8. Mengimport tabel user pada database movielens MySQL ke Sqoop

9. Pada saat mencoba mengimport data, ditemukan beberapa error yang kami temukan
yaitu:
a. Exception NoClassDefFound untuk org/apache/commons/lang/StringUtils
 Solusi: menginstall library apache common lang, kemudian memindahkan
file .jar library tersebut ke dalam folder lib pada Sqoop

b. Tidak berhasil mengakses MySQL server dengan user root@localhost

Solusi: mengubah password 'root'@'localhost' pada MySQL Server.

c. Tidak ditemukan class user pada saat melakukan import tabel user

Solusi: menjalankan perintah import dengan parameter --direct

10. Hasil list database pada Sqoop

C. Instalasi Flume
1. Masuk sebagai super user dan download Apache Flume 1.9.0 dari repository Apache

2. Ekstraksi file apache flume yang telah didownload

3. Pindahkan apache-flume-1.9.0-bin kedalam folder flume pada path /usr/lib/flume dan

ubah permissionnya dengan chmod

4. Tambahkan path Apache Flume pada bashrc

5. Lakukan source untuk environment yang diubah

6. Mengecek kesuksesan instalasi dengan perintah flume-ng version command

mengembalikan versi flume yang terinstal 1.9.0 artinya sudah berhasil.