Big Data

and Data
Analytic
 IT System Integration

Masagung P. Consultant Business Intelligence

Hadi Research

31 y.o. Big Data and Data Analytics

IT Consultant Certification ITIL v.3 EXIM Netherlands

SOA Foundation by IBM Singapore

Data Mining for Big Data by

Universitas Indonesia

Experience Indonesia National Single Window Technical Team Leader & Workflow
Engine Designer

ASEAN Single Window Technical Team Leader & Software

Architect

USAID (United States Agency for SEADI (Support for Economic Analysis
International Development) Development in Indonesia) Projects

masagungph@gmail.com 0819-32824567 @masagungph

Pengantar
 Bagaimana regulator
menjalankan fungsi control
terhadap kegiatan yang terjadi
di digital market?
 Bagaimana cara melakukan
monitoring terhadap transaksi
yang ada?
 Bagaimana mendapatkan data
dan informasi dari public area
sehingga kita bisa mengambil
langkah yang lebih kongkrit
dan data-driven?
Pengantar

 Data adalah fakta mentah atau rincian peristiwa yang belum diolah, yang terkadang
tidak dapat diterima oleh akal pikiran dari penerima data tersebut, maka dari itu data
harus diolah terlebih dahulu menjadi informasi untuk dapat di terima oleh
penerima. Data dapat berupa angka, karakter, simbol, gambar, suara, atau tanda-
tanda yang dapat digunakan untuk dijadikan informasi. Suatu informasi bisa saja
menjadi data apabila informasi tersebut digunakan kembali untuk pengolahan sistem
informasi selanjutnya. Dalam dunia komputer data adalah segala sesuatu yang
disimpan di dalam memori menurut format tertentu.
 Informasi adalah hasil pengolahan data yang sudah dapat diterima oleh akal pikiran
penerima informasi yang nantinya dapat digunakan untuk pengambilan
keputusan. Informasi dapat berupa hasil gabungan, hasil analisa, hasil penyimpulan,
dan juga hasil pengolahan sistem informasi komputerisasi.
Mengenal
Big Data
 Big Data adalah istilah yang menggambarkan volume data yang
besar, baik data yang terstruktur maupun data yang tidak
terstruktur. Big Data telah digunakan dalam banyak bisnis. Tidak
hanya besar data yang menjadi poin utama tetapi terkait juga
dengan apa yang harus dilakukan organisasi dengan
data tersebut.

Apa itu Big

Data?
  Lalu, sebesar apakah volume data agar bisa disebut big
data? Apakah jumlah datanya harus milyaran record
per hari?
Karakteristik  Data, bisa disebut sebagai Big Data ketika memenuhi
salah satu dari tiga karakteristik berikut:
Big Data  Too much Volume (data yang saya miliki terlalu banyak)
 Too much Velocity (saya menerima data terlalu cepat)
 Too much Variety (data yang datang berasal dari
banyak tempat dengan banyak format)
Volume

 Salah satu permasalahan yang big data coba pecahkan adalah meledaknya
volume data yang suatu organisasi ingin simpan atau proses. Seberapa besar data
yang bisa anda olah saat ini? Apakah dengan jumlah data yang anda miliki anda
sudah lebih baik dibanding kompetitor? Data yang ada saat ini berukuran sangat
besar. Di tahun 2000 saja tercatat 800,000 petabyte data tersimpan di seluruh
dunia dan angka ini diperkirakan akan mencapai 35 zettabyte di tahun 2020 atau
bahkan lebih. Teknologi harus menemukan cara untuk mengolah data tersebut.
Velocity

 Seberapa cepat kita dapat memproses data yang ada? Mungkin hal itu yang
pertama ada dalam benak anda ketika anda membaca ini. Namun sebenarnya
velocity di sini kita lihat dari persepsi seberapa cepat kita mampu mendapatkan
hasil analisis terhadap aliran data yang terus mengalir di saat yang hampir
bersamaan dengan datangnya data tersebut.
 Bisa dibilang, permasalahan ini berkaitan erat dengan permasalahan volume data,
karena kecepatan data dibuat umumnya berbanding lurus dengan volume data.
Data tidak hanya datang dalam jumlah besar, tetapi juga dalam tempo yang lebih
singkat dan bahkan ada yang real-time.
Variety

 Permasalahan utama yang coba diselesaikan oleh Big Data dikarenakan

permasalahan ini akan sangat sulit dipecahkan oleh data platform tradisional, baik
itu database atau data warehouse.
 Variety adalah permasalahan yang terjadi karena keberagaman data, baik itu dari
format file data yang masuk, maupun format / struktur dari isi data tersebut.
 Big Data tidak hanya terdiri dari data berstruktur seperti halnya data angka-angka
maupun deretan huruf-huruf yang berasal dari sistem database mendasar seperti
halnya sistem database keuangan, tetapi juga terdiri atas data multimedia seperti
data teks, data suara dan video yang dikenal dengan istilah data tak berstruktur.
 Big Data tidak hanya berputar pada jumlah data yang
organisasi miliki, tetapi hal yang penting adalah
bagaimana mengolah data internal dan eksternal.

Kenapa Harus
Big Data? Kita dapat mengambil data dari sumber manapun
dan menganalisanya untuk menemukan jawaban
yang diinginkan dalam bisnis seperti: pengurangan
biaya, pengurangan waktu, pengembangan produk
baru dan optimalisasi penawaran produk dan
pengambilan keputusan yang cerdas.
Big Data Architecture
Architecture
Teknologi
penunjang
Big Data
Tantangan menggunakan Big Data

 Capturing the Data,

 Curation,
 Storage,
 Searching,
 Sharing,
 Transfer,
 Analysis, and
 Visualization / Presentation
Big Data Analytics
 Big data analytics mengacu pada proses
mengumpulkan, mengorganisasikan dan menganalisa
sekumpulan besar data (big data) untuk mendapatkan
pola-pola dan informasi yang berguna.
 Big data analytics tidak hanya membantu untuk
memahami informasi yang terkandung di dalam data
tapi juga membantu untuk mengidentifikasi data yang
paling penting untuk keputusan bisnis saat ini dan
masa datang Apa itu Big
Data
Analytics
  Descriptive Analytics adalah proses data analytics untuk
mendapatkan gambaran umum dari data yang sudah
dikumpulkan.
 Predictive Analytics adalah data analytics yang memberikan hasil
Data Analytics prediksi tentang sesuatu yang akan dating.
 Prescriptive Analytics adalah proses analytics yang menghasilkan
jawaban atas pertanyaan kenapa sesuatu akan terjadi serta
memberikan saran terhadap kondisi yang kemungkinan akan
terjadi dimasa yang akan dating.
  Discovery
 Identifikasi masalah yang akan diselesaikan dan menganalisa sumber data mana
saja yang dibutuhkan.
 Data Preparation
 ETL (Extract, Transform, Load), proses pengambilan data dari sumber ke satu
tempat terpusat.
 Model Planning
 di mana tim menentukan metode, teknik, dan alur kerja. Tim mengeksplorasi data
Tahapan Data untuk belajar tentang hubungan antara data dan kemudian memilih variabel kunci
dan model yang paling cocok untuk digunakan.

Analytics  Model Building

 Tim mengembangkan dataset untuk pengujian (testing), pelatihan (training), dan
tujuan produksi (menghasilkan data baru dari data yang ada).
 Communicate Results
 Tim harus mengidentifikasi temuan kunci, mengukur nilai bisnis, dan
mengembangkan narasi untuk meringkas dan menyampaikan temuan kepada para
pemangku kepentingan.
 Operationalize
 Menjalankan atas hasil analisis.
Data
Scientist
Sample
Case:
Sentiment
Analysist