Laporan

Proses Install Apache Spark

Disusun
Oleh

Nama : Nurul Rossa W Tosofu

NIM : 1800018142
Kelas : E
Dosen Pengampu : Fitri Indra Indikawati, S.Kom, M.Eng

UNIVERSITAS AHMAD DAHLAN YOGYAKARTA

FAKULTAS TEKNOLOGI INDUSTRI

TEKNIK INFORMATIKA

2020
 BAB I

PEMBAHASAN

A. Pengenalan Spark
Spark merupakan mesin untuk memproses data dalam skala besar untuk ratusan Gigabyte
atau terbabyte atau petabyte. Spark dapat digunakan untuk pengolahan data, transformasi
data, hingga untuk mesin elearning dengan cepat dan API tingkat tinggi. Spark mensupport
beberapa bahasa pemrograman, diantaranya Scala, Java dan Python.

B. Prerequisite
Sebelum menginstall Spark kita perlu memenuhi prerequisite (prasyarat), yaitu dengan
menginstall :
 Java
 Python (Jika berniat menggunakan PySpark)

C. Environment
Tidak ada persyaratan khusus perangkat keras untuk menginstall Spark, umumnya
rekomendasi perangkat keras yaitu :
 8 GB atau lebih banyak memori
 8 atau lebih inti CPU
 10 Gigabit atau kecepatan jaringan yang lebih cepat
 4 atau lebih disk di JBOD konfigurasi
 Disini spesifikasi laptop yang saya gunakan untuk instalasi Spark yaitu :

D. Langkah Instalasi Spark

1. Install Java
Kita perlu menginstall Java terlebih dahulu dengan cara mengunduh versi terbaru dari
JDK kemudian menginstallnya. Berikut adalah tahapan-tahapan untuk install Java :
 Download Java SDK di
http://www.oracle.com/technetwork/java/javase/downloads/index.html
 Klik kanan file Java yang telah didownload Open klik tombol Next setelah
halaman utama muncul di layar komputer.
 Silahkan klik tombol Next disetiap tahap Install kemudian tunggu sampai
proses instalasi selesai klik tombol Close.

 Selanjutnya tekan tombol Windows+S ketikan sysinfo pada kolom pencarian

klik pada pilihan System maka akan muncul tampilan berikut.

 Klik pada tulisan Advanced System Settings untuk membuka halaman System
Properties
 Klik tombol Environtment Variabels untuk menampilkan halaman
Environtment Variabels.

 Klik tombol New pada bagian System variabels

 Isi Varible Name dengan “JAVA_HOME” Isikan lokasi dimana Java JDK
terpasang pada Variable value (bisa langsung menuju lokasi dengan klik tombol
Browse Directory…) klik Ok.

 Selanjutnya menambahkan entri baru pada sistem Path dengan klik pada baris
path pada bagian System variables klik Edit..
 Klik New ketikan “%JAVA_HOME%\bin”, gunanya untuk membiarkan
baris perintah windows mengenali perintah Java klik Ok untuk menyimpan.

 Menguji hasil konfigurasi Java SE Development (JDK) pada halaman command

prompt (CMD) dengan mengetikkan perintah “java –version”.

Jika Java SE Development telah terkonfigurasi maka anda akan dapat melihat
informasi java yang terpasang.
2. Install Scala
 Download Scala windows installer di https://www.scala-lang.org/download/
dengan mengunduh file MSI untuk windows.
 Klik kanan file Scala yang telah didownload Open klik tombol Next
setelah halaman utama muncul di layar komputer.

 Silahkan klik tombol Next disetiap tahap Install kemudian tunggu sampai
proses instalasi selesai klik tombol Finish.
 Selanjutnya tambahkan variabel baru dengan cara yang sama seperti pada saat
menambahkan variabel “JAVA_HOME”. Tekan tombol Windows+S ketikan
sysinfo pada kolom pencarian klik pada pilihan System Klik pada tulisan
Advanced System Settings klik tombol Environtment Variabels klik
tombol New pada bagian System variabels Isi V arible Name dengan
SCALA_HOME Isikan lokasi induk scala pada Variable value (bisa langsung
menuju lokasi dengan klik tombol Browse Directory…) klik Ok.

 Tambahkan entri baru pada sistem Path dengan klik pada baris Path pada bagian
System variables klik Edit.. klik New ketikkan
“%JAVA_HOME%\bin” ke variabel sistem Path klik Ok untuk menyimpan.
  Menguji hasil konfigurasi Scala pada halaman command prompt (CMD)
dengan mengetikkan perintah “scala –version”. Kemudian bisa juga langsung
mengetik “scala” untuk terhubung ke editor Scala.

3. Spark Binari
 Mengunduh semua binari Spark yang diperlukan untuk menjalankan Spark di
https://spark.apache.org/downloads.html pilih versi terbaru yang dibuat untuk hadoop.

Kemudian ekstrak file letakkan di lokasi yang diinginkan.

 Selanjutnya tambahkan variabel baru dengan cara yang sama seperti pada saat
menambahkan variabel “JAVA_HOME” dan “SCALA_HOME” sebelumnya.
Tekan tombol Windows+S ketikan sysinfo pada kolom pencarian klik pada
pilihan System Klik pada tulisan Advanced System Settings klik tombol
Environtment Variabels klik tombol New pada bagian System variabels
Isi Varible Name dengan “SPARK_HOME” Isikan lokasi induk Spark pada
Variable value (bisa langsung menuju lokasi dengan klik tombol Browse
Directory…) klik Ok.

 Menambahkan entri baru pada sistem Path dengan klik pada baris Path pada
bagian System variables klik Edit.. klik New ketikkan
“%SPARK_HOME%\bin” ke variabel sistem Path klik Ok untuk
menyimpan.
4. Hadoop WinUtils
Setelah mengunduh binari Spark untuk hadoop, kita memerlukan biner tambahan
untuk menjalankannya. Berikut tahapan-tahapannya :
 Unduh repositori ini https://github.com/steveloughran/winutils. Caranya klik
tombol hijau kanan pilih unduh ZIP.

 Buat folder baru dengan nama “WinUtils” letakkan di direktori induk partisi
apapun ekstrak file yang sudah diunduh dari folder “hadoop-2.7.1” ke folder
“WinUtils” (hanya folder bin).
 Selanjutnya tambahkan variabel baru dengan cara yang sama seperti pada saat
menambahkan variabel “JAVA_HOME” dan “SCALA_HOME” sebelumnya.
Tekan tombol Windows+S ketikan sysinfo pada kolom pencarian klik pada
pilihan System Klik pada tulisan Advanced System Settings klik tombol
Environtment Variabels klik tombol New pada bagian System variabels
Isi Varible Name dengan HADOOP_HOME Isikan lokasi folder WinUtils
tadi pada Variable value (bisa langsung menuju lokasi dengan klik tombol
Browse Directory…) klik Ok.
5. Jalankan Spark Shell
 Buka halaman command prompt (CMD) lalu ketikkan perintah “spark-shell”.
Jika semua tahap berhasil, maka output yang diperoleh seperti berikut.
Sumber :

https://guendouz.wordpress.com/2017/07/18/how-to-install-apache-spark-on-windows-10/

https://www.tutorialengkap.com/2018/05/cara-install-dan-setting-java-jdk-pada-windows.html

https://ampersandacademy.com/tutorials/java-2-scala/installing-the-scala-programming-language-in-
windows-10-64-bit

https://spark.apache.org/