MODUL 4.

ORCHESTRATING BIG DATA

Oleh
Rizky Palmina Maharani
rizky.palmina@gmail.com

A. TUJUAN
1. Menjelaskan pengelolaan big data
2. Menjelaskan hubungan data warehouse dan datamining

B. BAHAN BACAAN
1. Data Mining Concepts and Techniques
• Jiawei Han, Micheline Kamber and Jian Pei
• Elseiver, 2011

2. Phyton for Data Analysis

• Wes McKinney
• O’Reilly Media Inc., 2013

3. Database Design
• G. Wiedelhold
• Mc. Graw-Hill International Co., 1988

4. Panduan Umum Tata Kelola Teknologi Informasi dan Komunikasi Nasional

• Kementrian Komunikasi dan Informatika
• Detiknas, 2007

5. Data Mining
• Fajar Astuti Hermawati
• Penerbit ANDY, Yogyakarta, 2013

1
C. MATERI

DATA WAREHOUSE

a) OLTP (Online Transaction Processing) & OLAP (Online Analytical

Processing)

• Data Warehouse berada di antara 2 sistem yaitu sistem transaksi yaitu

OLTP dan sistem analisis yaitu OLAP
• OLAP adalah teknologi yang memungkinkan pengguna mendapatkan data
secara efisien dari data warehouse
• Secara umum dapat dijelaskan bahwa sistem OLTP menyediakan sumber
data untuk Data Warehouse, kemudian sistem OLAP akan melakukan
analisis terhadap data yang terdapat pada Data Warehouse

b) Pendekatan Modelling Data Warehouse

1. Star Schema

• Setiap tabel dimensi direlasikan dengan tabel fakta berdasarkan

kolom primary key dan foreign key, namun diantara masing-masing

2
 tabel dimensi tidak ada yang saling berelasi (tidak ada hubungan
data)
• Query yang terbentuk menyebabkan proses eksekusi yang lebih
optimal, karena rencana eksekusi query dalam DBMS akan lebih
cepat dengan setiap tabel hanya berelasi dengan satu tabel lain.

2. Snowflake Schema

• Varian dari star schema dengan struktur yang lebih kompleks,

dengan menormalisasi tabel-tabel dimensi yang berukuran besar
dengan satu atau lebih kolom yang memiliki duplikasi data.

3. Galaxy Schema / Fact Constellation

• Terdapat beberapa tabel fakta yang menggunakan satu atau

beberapa tabel dimensi secara bersama-sama sehingga jika
digambarkan akan terlihat seperti sekumpulan bintang.

c) Jenis Dasar Data Warehouse

1. Functional Data Warehouse

3
 • Data warehouse dibuat lebih dari satu dan dikelompokkan
berdasarkan fungsi-fungsi yang ada di dalam perusahaan
keuangan, marketing, personalia dll.
• Sistem lebih mudah dibangun dengan biaya relative murah namun
beresiko kehilangan konsistensi data dan terbatasnya kemampuan
dala pengumpulan data bagi pengguna.

2. Centralized Data Warehouse

• Mirip dengan data warehouse fungsional, namun terlebih dahulu

sumber data dikumpulkan dalam satu tempat terpusat, kemudian
data disebar ke dalam fungsinya masing-masing sesuai kebutuhan
fungsional perusahaan
• Keuntungan dari bentuk ini adalah data benar-benar terpadu
karena konsistensinya yang tinggi sedang kerugiannya adalah
biaya yang mahal serta memerlukan waktu yang cukup lama untuk
membangunnya.

3. Distributed Data Warehouse

4
 • Menggunakan gateway yang berfungsi berfungsi sebagai jembatan
penghubung antara data warehouse dengan workstation yang
menggunakan sistem beraneka ragam.
• Keuntungannya adalah data tetap konsisten karena memiliki proses
sinkronisasi.
• Kerugiannya adalah lebih kompleks untuk diterapkan dengan
biayanya yang paling mahal.

DATA MINING
a) Proses Data Mining
Proses data mining merupakan sebuah proses iterative untuk menghasilkan
pengetahuan baru dan hipotesa baru yang digunakan untuk menyesuaikan
kualitas dan kandungan data agar menjadi lebih baik. Proses ini dapat
diilustrasikan dalam sebuah metodologi enam langkah seperti diperlihatkan
pada gambar berikut.

b) Arsitektur Data Mining

5
 c) Metode Dalam Data Mining

• Prediction Methods.
Menggunakan beberapa variabel untuk memprediksi sesuatu atau
suatu nilai yang akan datang.

• Description Methods.
Mendapatkan pola penafsiran (human interpretable patterns) untuk
menjelaskan data.

HUBUNGAN DATA WAREHOUSE & DATA MINING

Teknologi data warehouse digunakan untuk melakukan OLAP (on-line analytical

processing), sedangkan data mining digunakan untuk melakukan information
discovery. Dengan memadukan teknologi OLAP dengan data mining diharapkan
pengguna dapat melakukan hal-hal yang biasa dilakukan di OLAP seperti
drilling/rolling untuk melihat data lebih dalam atau lebih umum, pivoting, slicing dan

6
dicing. Semua hal tersebut diharapkan nantinya dapat dilakukan secara interaktif
dan dilengkapi dengan visualisasi.

D. RANGKUMAN
• Data Warehouse berada di antara 2 sistem yaitu sistem transaksi yaitu
OLTP dan sistem analisis yaitu OLAP
• Teknologi data warehouse digunakan untuk melakukan OLAP (on-line
analytical processing), sedangkan data mining digunakan untuk melakukan
information discovery. Dengan memadukan teknologi OLAP dengan data
mining diharapkan pengguna dapat melakukan hal-hal yang biasa dilakukan
di OLAP seperti drilling/rolling untuk melihat data lebih dalam atau lebih
umum, pivoting, slicing dan dicing. Semua hal tersebut diharapkan nantinya
dapat dilakukan secara interaktif dan dilengkapi dengan visualisasi.

E. PRAKTIKUM
Buatlah syntax berikut, sesuai dengan urutannya, kemudian kirimkan ke email
(rizky.palmina@gmail.com)

7
8
Ekspor file to csv:

- Pilih tabel yang akan di ekspor (tabel kelas misalnya)

- Klik exsport
- Pilih custom, seperti tampilan dibawah ini

9
Catatan :
Sebelum mengetik script ini install matplotlib terlebih dahulu dengan pip (Seperti
pertemuan sebelumnya)

è pip install matplotlib

10
11