PENGANTAR BIG DATA

• Konsep Big Data

• Gambaran Umum Big Data
Outline • Karakteristik Big Data
• Ekosistem Big Data
Agus Suwondo • Big Data Analitik
 Konsep Big Data

• Menurut laman Tech Terms, ungkapan “big data” sering digunakan dalam
pengaturan perusahaan untuk menggambarkan sejumlah besar data. Itu tidak
merujuk pada jumlah data tertentu, melainkan menggambarkan suatu dataset
yang tidak dapat disimpan atau diproses menggunakan perangkat lunak database
tradisional.
• mengumpulkan data dari berbagai sumber, menyimpan dan mengelola data besar
dengan teknologi yang sesuai, dan menganalisis data besar untuk mengekstrak
informasi yang berguna
• Bigdata atau Mahadata adalah istilah umum untuk segala himpunan data (data set)
dalam jumlah yang sangat besar, rumit, dan tak terstruktur sehingga
menjadikannya sukar ditangani apabila hanya menggunakan perkakas manajemen
basis data biasa atau aplikasi pemroses data tradisional.
 3 Sumber Big Data

Generated By Generated By Generated By

Machine People Organization

Multi-Structured Unstructured Structured

Sales Transaction Data

Sensing  Smart
80%-90% of entire data is
unstructured!

+ + Relational Databases

Now :Bring computation to data (In-Situ) Detect correlated products

Then :Data moved to computational space Values
Estimate demand
Capture fraudulent activity
Penggunaan Data
 TSUNAMI DATA
Web & Social Networks generates amount of data
• Google processes 100 PB per day, 3 million servers
• Facebook has 300 PB of user data per day
Kilobyte (kB) 103
• Youtube has 100 PB video storage Megabyte (MB) 106
Gigabyte (GB) 109
Terabyte (TB) 1012
Petabyte (PB) 1015
Exabyte (EB) 1018
Zettabyte (ZB) 1021
Yottabyte (YB) 1024
Gambaran Umum Big Data
9
 Gambaran Umum Big data

• Menurut McKinsey Global (2011), Big Data dapat didefinisikan dengan data yang
memiliki skala (volume), distribusi (velocity), keragaman (variety) yang sangat
besar, dan atau abadi, sehingga membutuhkan penggunaan arsitektur teknikal
dan metode analitik yang inovatif untuk mendapatkan wawasan yang dapat
memberikan nilai bisnis baru (informasi yang bermakna).
• Dan pada pengembangannya ada yang menyebut (7V) termasuk Volume,
Velocity, Variety, Variability, Veracity, Value, dan Visualization, atau 10V bahkan
lebih dari itu.
Big Data dengan 10 V
Karakteristik Big Data
 Karakteristik Big Data
1. Volume

• Artinya sekumpulan data dalam jumlah dan volume yang sangat besar dan
kadang tidak terstruktur.
• Contohnya feed Twitter, feed Istagram, data teks chat dan status Whatsapp,
alur klik user dari halaman web. Arus data-data tersebut bisa berukuran
hingga ribuan Terrabyte (TB) per detiknya.
 Karakteristik Big Data
2. Velocity
• Data dapat diakses dengan kecepatan yang sangat cepat sehingga dapat langsung
digunakan pada detik itu juga. Sejak era cloud storage dan cloud
computing berkembang beberapa tahun terakhir, pengguna internet sudah
merasakan fasilitas kecepatan akses data ini.
• adanya sistem operasi online berbasis Microsoft Silverlight, aplikasi perkantoran
(office) berbasis web seperti Office365, cloud storage seperti Dropbox dan GDrive,
kecepatan akses halaman web berbasis Javascript, aplikasi menggambar desain
berbasis web seperti Pixlr, aplikasi developer Android Apps berbasis web seperti
Kodular dan MIT App Inventor, aplikasi perancang flowchart seperti Draw.io, dan
masih banyak lagi.
 Karakteristik Big Data
3. Variety
• Artinya memuat beragam jenis file, baik yang terstruktur maupun yang tidak
terstruktur. Analisis terhadap data yang tidak terstruktur akan memerlukan
algoritma yang agak berbeda, seperti data teks, gambar, suara, dan video.
• Untuk data-data semacam itu akan memerlukan waktu lebih untuk
memprosesnya, karena bisa jadi di dalam data yang tidak terstruktur tersebut
masih ada data lain atau data baru yang bisa digali. Misalnya di dalam data MP3
terdapat IDv1 dan IDv2 tag, di dalam data JPEG terdapat data jenis kamera yang
digunakan, di dalam data PDF terdapat nama aplikasi pembuatnya, dan masih
banyak lagi.
 Karakteristik Big Data
4. Value (Nilai)

• Maksud dari value adalah seberapa bernilainya atau bermaknanya data

tersebut. Contohnya, biodata karyawan suatu perusahaan percetakan tidak
akan bernilai untuk kepentingan analisis prediksi penerimaan karyawan di
perusahaan farmasi.
• Data tersebut mungkin tidak penting dan tidak bernilai untuk satu kasus,
namun bisa sangat penting dan sangat bernilai untuk kasus yang lain. Data
yang tidak memiliki nilai di kasus mana pun tidak akan terfilter di sistem
aplikasi analisis Big data.
 Karakteristik Big Data
5, Veracity ( Kejujuran))

• Karakter veracity mengarah kepada seberapa akurat dan dapat dipercaya

suatu data. Melanjutkan satu contoh di poin value di atas, bisa jadi di dalam
file MP3 tersebut IDv1 tag-nya sudah dimodif sehingga keaslian file MP3
tersebut dipertanyakan, perubahan IDv1 tag tersebut bisa jadi karena
hasil output aplikasi pengolah suara atau converter file MP3.
• Data yang tidak memiliki karakter kejujuran atau keaslian tidak akan
tersaring ke dalam sistem analisis
Ekosistem Big Data
 Big Data Analytics
• Analytics adalah Cara untuk mengeksplorasi/menyelidiki/ memahami
secara mendalam suatu objek sampai ke akar-akarnya
 Pendekatan Tradisional
Mulai dengan hipotesis dan uji terhadap data
terpilih
 Pendekatan Big Data
Jelajahi semua data dan identifikasi korelasinya
 Bidang Pekerjaan Big Data Analytics

• Deep Analytical Talent / Data scientists (Memiliki bakat analitik yang mendalam/
Ilmuwan Data): orang-orang dengan latar belakang yang kuat dalam algoritma-
algoritma sistem cerdas, atau matematika terapan, atau ekonomi, atau ilmu
pengetahuan lainnya melalui inferensi data dan eksplorasi.
• Data Savvy Professionals (Para profesional Data Cerdas): Mereka tahu bagaimana
untuk berpikir tentang data, bagaimana mengajukan jenis pertanyaan (goal) yang
tepat sesuai dengan kebutuhan lembaga/perusahaan/lainnya dan mampu
memahami dan mengklarifikasi jawaban (hasil analisis) yang mereka terima.
• Technology and data enablers: Mampu memberikan dukungan integrasi antara
data dengan teknologi yang sesuai, dan yang paling berkembang saat ini. Contoh
perusahaan atau developer yang menggunakan analisis Big Data:
Ekosistem Tool Big Data Analytics
Ekosistem HADOOP
 Contoh Kasus Big Data Analitik

• Starbucks (Memperkenalkan Produk Coffee Baru). Pagi itu kopi itu mulai
dipasarkan, pihak Starbucks memantau melalui blog, Twitter, dan kelompok
forum diskusi kopi lainnya untuk menilai reaksi pelanggan. Pada
pertengahan pagi, Starbucks menemukan hasil dari analisis Big Data bahwa
meskipun orang menyukai rasa kopi tersebut, tetapi mereka berpikir bahwa
harga kopi tersebut terlalu mahal. Maka dengan segera pihak Starbucks
menurunkan harga, dan menjelang akhir hari semua komentar negatif telah
menghilang. Bagaimana jika menggunakan analisis tradisional?
 Pemilihan Presiden
melalui analisis tweet

• Apache NiFi, get filtered tweets yang berhubungan dengan Pemilihan

Presiden atau walikota, misal di Indonesia atau di kota tertentu.
• Apache Spark, get the stream of tweets dari Apache NiFi.
• Spark streaming, untuk mentransformasi dan menyimpan data ke dalam
suatu tabel pada Apache Hive.
• Apache Zeppelin notebook, untuk menampilkan data hasil secara real-
time.
 Hasil Analisa

• Frekuensi dari tweets sepanjang waktu per kandidat

• Persentase tweet negatif, positive dan neutral per kandidat
• Tren opini sepanjang waktu untuk tiap kandidat