1 Konsep Data Mining Dan Warehousing

- PERTEMUAN 1 -
KNOWLEGDE DISCOVERY in DATABASE (KDD)

Tujuan : Mahasiswa Dapat memahami konsep KDD yang merupakan
tujuan akhir dari Data Warehouse dan Data Mining
DATA MINING DAN WAREHOUSEING

Aturan Perkuliahan
• Kehadiran minimal 80%

• Komponen Nilai Akhir : 10% Absensi, 10% Tugas, 10% Quiz, 30% UTS, 40% UAS
2
Data Minig dan Warehouseing - Budiman, S.T., M.Kom.
Intelligence Enterprise
3
Pengertian Data Warehouse
Sebuah tempat penyimpanan data yang lengkap

dan konsisten yang berasal dari sumber-sumber
yang berbeda dibuat untuk penggunanya agar
mereka dapat mengerti dan menggunakannya
dalam konteks bisnis.
[Barry Davlin]
4
Pengertian Data Warehouse (cont’d)
Sebuah proses transformasi data ke dalam sebuah informasi dan

membuat informasi ini dapat diakses oleh penggunanya tepat
waktu untuk membuat perubahan-perubahan (strategi bisnis).
[Forrester Research, 1996]
5
• Data warehouse adalah basis data yang menyimpan data sekarang dan
data masa lalu yang berasal dari berbagai sistem operasional dan sumber
yang lain (sumber eksternal) yang menjadi perhatian penting bagi
manajemen dalam organisasi dan ditujukan untuk keperluan analisis dan
pelaporan manajemen dalam rangka pengambilan keputusan
• Data warehouse digunakan untuk mendukung pengambilan keputusan,
bukan untuk melaksanakan pemrosesan transaksi
• Data warehouse hanya berisi informasi-informasi yang relevan bagi
kebutuhan pemakai yang dipakai untuk pengambilan keputusan
6
•Data Warehouse adalah Pusat repositori informasi

yang mampu memberikan database berorientasi
subyek untuk informasi yang bersifat historis yang
mendukung DSS (Decision Suport System) dan EIS
(Executive Information System).
7
Salinan dari transaksi data yang terstruktur

secara spesifik pada query dan analisa.
8
Tujuan :
Meningkatkan kualitas dan akurasi informasi

bisnis dan mengirimkan informasi ke pemakai
dalam bentuk yang dimengerti dan dapat
diakses dengan mudah.
9
Perbedaan DW dan OLTP
OLTP Data Warehouse
 Menangani data saat ini  Lebih cenderung menangani data

 Data bisa saja disimpan pada beberapa masa lalu
platform  Data disimpan dalam satu
 Data diorganisasikan berdasarkan platform
fungsi atau operasi seperti penjualan,  Data diorganisasikan menutut
produksi, dan pemrosesan pesanan subjek seperti pelkanggan atau
 Pemrosesan bersifat berulang produk
 Untuk mendukung keputusan harian  Pemrosesan sewaktu-waktu, tak
(operasional) terstruktur, dan bersifat heuristik
 Melayani banyak pemakai operasional  Untuk mendukung keputusan yang
 Berorientasi pada transaksi strategis
 Untuk mendukung pemakai
manajerial yang berjumlah relatif
sedikit
 Berorientasi pada analisis
10
Sumber Data untuk DW
1. Data operasional dalam organisasi, misalnya basis data pelanggan dan

produk, dan
2. Sumber eksternal yang diperoleh misalnya melalui Internet, basis data
komersial, basis data pemasok atau pelanggan
3. Berbagai data yang berasal dari sumber digabungkan dan diproses lebih
lanjut oleh manajer data warehouse dan disimpan dalam basis data
tersendiri.
4. Selanjutnya, perangkat lunak seperti OLAP dan data mining dapat
digunakan oleh pemakai untuk mengakses data warehouse
11
4 Karakteristik Data Warehouse
• Subject oriented
• Integrated
• Time variant
• Non-volatile
12
Subject Oriented
1. Data warehouse diorganisasikan dalam lingkup subjek,

sebagai contoh: Penjualan, Produk, dan Pelanggan.
2. Berfokus ke dalam pemodelan dan analisis data untuk pihak-
pihak pembuat keputusan.
3. Memisahkan data yang tidak berguna di dalam proses
pendukung keputusan.
13
Subject Oriented (cont’d )
• Subjek
• Aplikasi
14
Integrated
1. Data warehouse dikonstruksikan dengan cara

mengintegrasikan sejumlah sumber data yang
berbeda.
2. Data preprocessing diaplikasikan untuk meyakinkan
kekonsistensian data.
15
Integrated (cont’d)
Savings Loans Trust Credit card
Same data Different data Data found here Different keys

different name Same name nowhere else same data
16
17
Data perlu distandarkan :
Sales Inventori Transaksi Penjualan

Format Key Key Key
Text Integer Yes/No
Description Nama pelanggan Nama pelanggan Nama pelanggan
U.N.I.J.O.Y.O UNIPAHIT Universitas majapahit
Unit Tinggi Tinggi Tinggi
centimeter meter inch
Encoding Sex Sex Sex
Yes = Laki-laki L = laki-laki 1 = Laki-laki
No = Perempuan P = Perempuan 0 = Perempuan
18
Time-Variant
1. Menghasilkan informasi dari sudut pandang historical

(misal: 5-10 tahun yang lalu).
2. Setiap struktur kunci mengandung elemen waktu.
19
Time-Variant (cont’d)
20
21
Operasional :
• Data pada saat ini (current value)
Datawarehouse :
• Analisa data pada masa lampau
• Informasi pada saat ini
• Forecast untuk masa yang akan datang
22
Nonvolatile
1. Sekali data direkam maka data tidak bisa diupdate.

2. Data warehouse membutuhkan dua operasi pengaksesan data,
yaitu:
a. Initial loading of data
b. Akses data
23
Nonvolatile (cont’d)
24
Operasional :
• Add, change, delete data pada sistem operasional secara real time setiap transaksi
terjadi
Datawarehouse
• Update ketika kita perlukan saja, bisa secara periodik
Data pada DW dikhususkan untuk query dan analisa

data
25
26
Prinsip Data Warehouse
Sumber Data Internal
Sumber
Data
Operasional
1  Perangkat EIS
 Perangkat pelaporan
 Perangkat
pengembangan
Manajer aplikasi
Sumber Data Warehouse
Data
Operasional
2
OLAP
Sumber
Data Data
Eksternal Warehouse
Data Mining
27
Sifat Data Warehouse
• Multidimensional yang berarti Tahun n-4

bahwa terdapat banyak lapisan Tahun n-3
kolom dan baris (Ini berbeda Tahun n-2
dengan tabel pada model Tahun n-1
relasional yang hanya berdimensi
dua)
Jawa Tengah
• Berdasarkan susunan data seperti
itu, amatlah mudah untuk Jawa Barat
memperoleh jawaban atas
pertanyaan seperti: “Berapakah
jumlah produk 1 terjual di Jawa
Tengah pada tahun n-3?” Produk 3
Produk 2
Produk 1
28
Petunjuk Membangun DW
• Menentukan misi dan sasaran bisnis bagi pembentukan data warehouse

• Mengidentifikasi data dari basis data operasional dan sumber lain yang diperlukan bagi
data warehouse
• Menentukan item-item data dalam perusahaan dengan melakukan standarisasi
penamaan data dan maknanya
• Merancang basis data untuk data warehouse
• Membangun kebijakan dalam mengarsipkan data lama sehingga ruang penyimpanan
tak menjadi terlalu besar dan agar pengambilan keputusan tidak menjadi terlalu
lamban.
• Menarik data produksi (operasional) dan meletakkan ke basis data milik data
warehouse
29
Data Mart
• Bagian dari data warehouse yang mendukung kebutuhan pada

tingkat departemen atau fungsi bisnis tertentu dalam perusahaan.
Karakteristik yang membedakan data mart dan data warehouse
adalah sebagai berikut (Connolly, Begg, Strachan 1999).
• Data mart memfokuskan hanya pada kebutuhan-kebutuhan pemakai yang

terkait dalam sebuah departemen atau fungsi bisnis.
• Data mart biasanya tidak mengandung data operasional yang rinci seperti
pada data warehouse.
• Data mart hanya mengandung sedikit informasi dibandingkan dengan data
warehouse. Data mart lebih mudah dipahami dan dinavigasi.
30
Data Mart
 Data mart = subset of DW for community users, e.g. accounting

department
 Sometimes exist as Multidimensional Database
 Info mart = summarized data + report for community users
31
DATAWAREHOUSE vs DATAMART
DATAWAREHOUSE DATAMART
• Perusahaan, melingkupi semua  Departemen
proses
 Satu bisnis proses
• Gabungan datamart
 Start-Join (fakta dan dimensi)
• Data didapat dari proses
 Teknologinya optimal untuk
Staging
pengaksesan dan analisis data
• Merepresentasikan data dari
perusahaan atau organisasi  Cocok untuk merepresentasikan
data departemen
• Diorganisasi dlm E-R Model
32
DATAWAREHOUSE vs DATAMART
• Datawarehouse = gabungan dari beberapa datamart yang levelnya berada pada

perusahaan atau organisasi.
• Datamart = bagian dari datawarehouse yang berada level departemen pada
perusahaan atau organisasi tersebut. Data mart menangani sebuah business proses,
misalkan penjualan.
33
Data Warehousing Architecture
Monitoring & Administration

OLAP servers
Metadata
Repository Analysis
Extract
Query/
External
Sources
Transform Reporting
Load Serve
Operational
Refresh Data
dbs Mining
Data Marts
34
Three-Tier Architecture
Warehouse database server

• Almost always a relational DBMS; rarely flat files
OLAP servers
• Relational OLAP (ROLAP): extended relational DBMS that maps operations on
multidimensional data to standard relational operations.
• Multidimensional OLAP (MOLAP): special purpose server that directly implements
multidimensional data and operations.
Clients
• Query and reporting tools.
• Analysis tools
• Data mining tools (e.g., trend analysis, prediction)
35
Two Worlds -> Two Systems
36
Data warehouse Component
37
6 Functional Components
 Extract, Transform, Load (ETL) tools

 DW databases & DBMS tools
 Data marts
 Meta data
 DW administration & management tools
 Information delivery system
38
Meta Data
 Data about data

 Field description, business rules (e.g. profit=?
formula), log of file updates
 Help users understand content & locate data
39
Source data :
Production Data  data operasional persh.
Internal Data  spreadsheets, dokumen, Profil pelanggan, dan

database departemen persh.
Archived Data  data operasional yang telah disimpan
External Data  data statistik, penelitian dari agenci luar,

market share competitor, indikator financial standar, dll
40
Data staging component
dari berbagai SO + eksternal data disimpan pd DW yg hrs dirubah/disamakan

formatnya shg dpt disimpan u/ query & analisa
ada 3 komponen :
1. Ekstraksi data
2. Transformasi data,
3. Loading data (ETL)
41
Data Storage Component
Repository data warehouse terpisah dengan repositori sistem operasional
Sistem Operasional
mendukung “day-to-day operation” (OLTP)
Data warehouse
data histori yang besar untuk kebutuhan analisa data.
42
KOMPONEN METADATA
Metadata dalam Data WareHouse
=
Kamus Data/ Data Katalog dalam DBMS (Database Management System)
43
Metadata
• Informasi tentang logical struktur data

• Informasi file dan alamatnya
• Informasi index
• Dll
Intinya
• Meta data = data mengenai data pada data warehouse
44
Pengenalan Metadata
TIPE-TIPE METADATA
 OPERASI METADATA
 EKSTRAKSI DAN TRANSFORMASI METADATA
 END – USER METADATA
45
Pengenalan Metadata
OPERASI METADATA
Terdiri dari semua informasi tentang data sumber
Proses:
Pilih data dari sistem sumber untuk data warehouse, pisah
recordnya, gabungkan bagian record dengan file sumber lainnya,
dan berhasil dengan skema multiple coding dan panjang field
46
Pengenalan Metadata
EXTRAKSI DAN INFORMASI METADATA

Terdiri dari data dari data extraksi data dari sistem sumber, yaitu:
 Extraction frequencies
 Extraction method
 Business rules untuk data extraction
47
Pengenalan Metadata
END-USER METADATA
Adalah Peta Navigasi pada data warehouse
48
Pengenalan Metadata
FUNGSI METADATA
Menggabungkan semua bagian pada data warehouse
Menyediakan informasi tentang isi dan struktur pada pengembang
Membuka pintu bagi end - user dan membuat isi yang dapat
dikenal oleh mereka.
49
Contoh Software Data Mart
• SmartMart (IBM)
• Visual Warehouse (IBM)
• PowerMart (Informatica)
50
51
DATA MINING
• Data Mining adalah kegiatan untuk menemukan informasi atau

pengetahuan yang berguna secara otomatis dari data yang
jumlahnya besar.
• Data Mining merupakan salah satu proses dari keseluruhan
proses yang ada pada Knowledge Discovery in Databases (KDD).
52
KDD
• Knowledge Discovery in Databases (KDD) merupakan sekumpulan proses

untuk menemukan pengetahuan yang bermanfaat dari data.
• Kumpulan proses dalam KDD meliputi : pembersihan data (data cleaning),
integrasi data (data integration), pemilihan data (data selection),
transformasi data (data transformation), penambangan data (data mining),
evaluasi pola (pattern evaluation), dan presentasi pengetahuan (knowledge
presentation).
• Berdasarkan definisi ini terlihat bahwa data mining hanya merupakan salah
satu proses dari keseluruhan proses yang ada pada KDD, tetapi merupakan
proses yang sangat penting dalam menemukan pola-pola yang berguna dari
sejumlah data yang besar (data tersebut bisa disimpan dalam basisdata,
Data Warehouse, atau media penyimpanan informasi lainnya).
53
54
55
KDD vs. DM
• Menurut Cabena, Data Mining = Knowledge Discovery in Database (KDD).

• Menurut Jiawei Han, Data Mining merupakan Subset atau salah satu tahap dari KDD
saja. Sehingga, batasan ini yang selanjutkan digunakan.
• Data Mining bertujuan mengekplorasi basis data untuk menemukan pola-pola
pengetahuan yang tersembunyi di dalam data tersebut.
56
TAHAPAN KNOWLEDGE DISCOVERY IN DATABASE
Menurut Peter Cabena, Tahapan – tahapan dalam KDD adalah sebagai berikut :
• Penentuan Sasaran Bisnis (Business Objective Determination)
• Persiapan Data (Preparation Data)
• Data Selection
• Data Preprocessing
• Data Transformation
• Data Mining
• Anaysis of Result
• Assimilation of Knowledge
57
Business Objective Determination - 1
• Merupakan sebuah tahapan yang mendefinisikan permasalahan atau tantangan bisnis

dengan jelas. Hal ini merupakan aspek yang sangat esensial dalam setiap proyek data
mining.
• Contoh Sasaran Bisnis :
Mengembangkan suatu strategi marketing untuk mempertahankan loyalitas customer
di Jawa Tengah dan Jawa Timur untuk produk soft drink dengan brand dan ukuran
tertentu (200ml dalam kotak alumunium) selama bulan April, Mei , Juni yang akan
datang. Perusahaan akan menggunakan kombinasi dari berbagai strategi marketing
(mixed marketing), yang salah satunya adalah direct mail campaign kepada customer
yang tampaknya "mudah rusak" loyalitasnya.
58
Business Objective Determination - 2
• Sehingga dampak keseluruhan KDD adalah :

• Data Selection: dipilih customers yang membeli produk soft drink 200 ml dalam kotak
alumunium di Jawa Tengah dan Jawa Timur.
• Data Transformation: customers yang membeli produk soft drink 200 ml dalam kotak
alumunium disorting dalam 10 kategori, yang masing-masing membedakan tingkat
loyalitasnya: membeli produk tersebut 0-10%, 11-20%, ..... , 81-90%, 91-100%
sepanjang waktu pembeliannya. Selanjutnya data inilah yang akan dibawa ke tahap
data mining.
59
Persiapan Data (Preparation Data) -1
• Merupakan tahapan untuk mempersiapkan data yang diperlukan untuk proses data
mining. Tujuannya adalah agar data yang digunakan benar-benar sesuai dengan
permasalahan yang akan dipecahkan, dapat dijamin kebenarannya, dan dalam format
yang sesuai/tepat.
• Tahap yang paling banyak mengkonsumsi resources (manusia, biaya, waktu) yang
tersedia. Biasanya mencapai 60% keseluruhan proyek KDD.
60
Persiapan Data (Preparation Data) -2
• Data Selection
• Mengidentifikasi semua sumber informasi internal dan eksternal dan memilih sebagian saja dari
data yang diperlukan untuk aplikasi data mining.
• Data Preprocessing
• Meyakinkan kualitas data yang telah dipilih pada tahapan sebelumnya. 2 issue yang sering
dihadapkan pada tahapan ini adalah Noisy Data dan Missing Value.
• Data Transformation
• Mengubah data ke dalam model analitis serta memodelkan data agar sesuai dengan analisa yang
diharapkan dan format data yang diperlukan oleh algoritma data mining.
61
Data Mining -1
• Melakukan proses pencarian pengetahuan terhadap data yang

ditransformasikan pada tahap sebelumnya.
• Contoh Pengetahuan berbentuk Association Rule untuk kasus
"Soft Drink“:
• IF soft drink sejenis dengan ukuran yang lebih besar (bukan botol kecil)
dibeli lebih dari 58% dalam sejarah pembelian soft drink seorang
consumer
• THEN consumer tersebut diprediksi Loyal.
• Pemilihan tugas data mining : pemilihan goal dari proses KDD
misalnya klasifikasi, regresi, clustering, dll.
62
Data Mining -2
• Proses Data mining yaitu proses mencari pola atau informasi

menarik dalam data terpilih dengan menggunakan teknik atau
metode tertentu. Teknik, metode, atau algoritma dalam data
mining sangat bervariasi. Pemilihan metode atau algoritma yang
tepat sangat bergantung pada tujuan dan proses KDD secara
keseluruhan.
63
Analysis of Result
• Menginterpretasikan dan mengevaluasi output dari tahap

mining: patterns.
• Pendekatan analisa yang digunakan akan bervariasi menurut
operasi data mining yang digunakan, tetapi biasanya akan
melibatkan teknik visualisasi.
64
Assimilation of Knowledge
• Menggunakan hasil mining yang telah dievaluasi ke dalam

perilaku organisasi dan sistem informasi perusahaan.
65
DATA MINING dan PROSES KDD - 1
66
DATA MINING dan PROSES KDD - 2
• Pembersihan data (Data Cleaning)

• Digunakan untuk membuang data yang tidak konsisten dan noise.
• Intergrasi Data (Data Integration)
• Data yang diperlukan untuk data mining tidak hanya berasal dari satu database tetapi juga
berasal dari beberapa database atau file teks. Hasil integrasi data sering diwujudkan dalam
sebuah data warehouse karena dengan data warehouse, data dikonsolidasikan dengan struktur
khusus yang efisien. Selain itu data warehouse juga memungkinkan tipe analisa seperti OLAP.
• Transformasi data
• Transformasi dan pemilihan data ini untuk menentukan kualitas dari hasil data mining, sehingga
data diubah menjadi bentuk sesuai untuk di-Mining.
• Aplikasi Teknik Data Mining
• Aplikasi teknik data mining sendiri hanya merupakan salah satu bagian dari proses data mining.
Ada beberapa teknik data mining yang sudah umum dipakai.
• Evaluasi pola yang ditemukan
• Dalam tahap ini hasil dari teknik data mining berupa pola-pola yang khas maupun model prediksi
dievaluasi untuk menilai apakah hipotesa yang ada memang tercapai.
• Presentasi Pengetahuan
• Presentasi pola yang ditemukan untuk menghasilkan aksi tahap terakhir dari proses data mining
adalah bagaimana memformulasikan keputusan atau aksi dari hasil analisa yang didapat.
67
INPUT DAN OUTPUT DATA MINING
Jenis Data yg di-Mining Jenis Pengetahuan yg didapat
1. Relational Database 1. Decision Tabel

2. Data Warehouse 2. Decision Tree
3. Transactional Database 3. Classification Rule
4. Aplikasi Database Lanjut Lainnya : 4. Association Rule
a. Object Oriented Database 5. Berbagai tree untuk Prediksi Numerik :
b. Object Relational Database a. Regression Tree
c. Spatial Database, dsb b. Model Tree
c. Cluster
68

1 Konsep Data Mining Dan Warehousing

Diunggah oleh

Informasi Dokumen

Deskripsi Asli:

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

1 Konsep Data Mining Dan Warehousing

Diunggah oleh

Hak Cipta:

Format Tersedia

- PERTEMUAN 1 -

KNOWLEGDE DISCOVERY in DATABASE (KDD)

DATA MINING DAN WAREHOUSEING

• Kehadiran minimal 80%

Sebuah tempat penyimpanan data yang lengkap

Sebuah proses transformasi data ke dalam sebuah informasi dan

[Forrester Research, 1996]

•Data Warehouse adalah Pusat repositori informasi

Salinan dari transaksi data yang terstruktur

Meningkatkan kualitas dan akurasi informasi

OLTP Data Warehouse

 Menangani data saat ini  Lebih cenderung menangani data

1. Data operasional dalam organisasi, misalnya basis data pelanggan dan

1. Data warehouse diorganisasikan dalam lingkup subjek,

1. Data warehouse dikonstruksikan dengan cara

Savings Loans Trust Credit card

Same data Different data Data found here Different keys

Data perlu distandarkan :

Sales Inventori Transaksi Penjualan

1. Menghasilkan informasi dari sudut pandang historical

1. Sekali data direkam maka data tidak bisa diupdate.

Data pada DW dikhususkan untuk query dan analisa

Sumber Data Internal

• Multidimensional yang berarti Tahun n-4

• Menentukan misi dan sasaran bisnis bagi pembentukan data warehouse

• Bagian dari data warehouse yang mendukung kebutuhan pada

• Data mart memfokuskan hanya pada kebutuhan-kebutuhan pemakai yang

 Data mart = subset of DW for community users, e.g. accounting

• Datawarehouse = gabungan dari beberapa datamart yang levelnya berada pada

Monitoring & Administration

Warehouse database server

 Extract, Transform, Load (ETL) tools

 Data about data

Production Data  data operasional persh.

Internal Data  spreadsheets, dokumen, Profil pelanggan, dan

Archived Data  data operasional yang telah disimpan

External Data  data statistik, penelitian dari agenci luar,

dari berbagai SO + eksternal data disimpan pd DW yg hrs dirubah/disamakan

Repository data warehouse terpisah dengan repositori sistem operasional

Metadata dalam Data WareHouse

• Informasi tentang logical struktur data

EXTRAKSI DAN INFORMASI METADATA

Adalah Peta Navigasi pada data warehouse

• Data Mining adalah kegiatan untuk menemukan informasi atau

• Knowledge Discovery in Databases (KDD) merupakan sekumpulan proses

• Menurut Cabena, Data Mining = Knowledge Discovery in Database (KDD).

• Merupakan sebuah tahapan yang mendefinisikan permasalahan atau tantangan bisnis

• Sehingga dampak keseluruhan KDD adalah :

• Melakukan proses pencarian pengetahuan terhadap data yang

• Proses Data mining yaitu proses mencari pola atau informasi

• Menginterpretasikan dan mengevaluasi output dari tahap

• Menggunakan hasil mining yang telah dievaluasi ke dalam

• Pembersihan data (Data Cleaning)

Jenis Data yg di-Mining Jenis Pengetahuan yg didapat

1. Relational Database 1. Decision Tabel

Anda mungkin juga menyukai