DATA WAREHOUSE

Komponen Data Warehouse

& Metadata

By : Rima Rizqi Wijayanti, S.ST,MMSI

DATA WAREHOUSE
Komponen Data warehouse
KOMPONEN DATA
WAREHOUSE
 KOMPONEN DATA
WAREHOUSE
1. Sumber Data (Data Source)
2. Pementasan Data (Data Staging)
3. Penyimpanan Data (Data Storage)
4. Penyampaian Informasi (Information Delivery)
5. Metadata
6. Pengelolan dan Kontrol (Management and Control)
Sumber Data (Data
Source)

1. Data Produksi
2. Data Internal
3. Data Arsip
4. Data Eksternal
SUMBER DATA (DATA
SOURCE)
1. Data Produksi
Data yang ada pada sistem OLTP(Online Transactional
Processing) yang bisa berasal dari format data yang
bervariasi, peangkat keras, sistem operasi serta
aplikasi basis data yang berlainan.

2. Data Internal
Data pendukung sistem OLTP yang biasanya tersimpan
dalam bentuk spreadsheet atau teks dokumen.
 SUMBER DATA (DATA
SOURCE)
3. Data Arsip
Data histori yang merupakan hasil proses backup
pada OLTP.

4. Data Eksternal
Data luar yang bisa didapat dari kompetitor atau sumber
informasi umum seperti Biro Pusat Statistik, koran atau data
yang bersifat umum yang akan dipakai sebagai nilai indikator
untuk pengecekan tingkat pencapaian perusahaan.
 DATA STAGING
data staging menyediakan sebuah tempat dan area dengan
sekumpulan fungsi untk membersihkan, merubah,
mengkombinasikan, penggandaan dan menyiapkan sumber data
untuk penyimpanan dan digunakan pada data warehouse.
 DATA STAGING
Ada 3 proses pada Data Staging yaitu:

1. Extraction
2. Transformation
3. Loading

Tujuan dari data staging adalah mengumpulkan, menseleksi,

mengolah dan menggabungkan data yang relevan dari berbagai
sumber untuk disimpan dalam data warehouse.
 EXTRACTING
merupakan proses pengambilan data dari berbagai sumber data
yang digunakan untuk mengisi data warehouse.
Tidak semua data yang ada pada data operasional bisa dimasukkan
ke dalam data warehouse.
Pada tahap ini juga dilakukan proses pembersihan (cleansing) data
sebelum ditransformasikan, hal ini disebabkan sering terjadinya
kesalahan penulisan pada data sumber.
 TRANSFORMATION
Proses transformation adalah proses pengambilan data mentah
yang belum bisa disimpan pada data warehouse.
Tahapan pada Transformation
• Seleksi
• Pemisahan dan Penggabungan
• Konversi
• Ringkasan
• Pengayaan
 TRANSFORMATION
Seleksi
• Melakukan proses seleksi dari record data dari tabel basis data
OLTP, tahap ini merupakan bagian dari proses pengambilan data.

Pemisahan dan Penggabungan

• Manipulasi data yang dibutuhkan untuk menseleksi record data
OLTP, yaitu melakukan proses pemisahan dan penggabungan bila
diperlukan.
 TRANSFORMATION
 Konversi
 Proses konversi dilakukan karena untuk melakukan standarisasi
pengambilan data dari berbagai sumber dan membuat field dapat
digunakan data warehouse serta dapat dipahami oleh pengguna.
 Ringkasan
 Data yang terlalu detail tidak selalu dibutuhkan pada data
warehouse oleh karena itu perlu diringkas berdasarkan kebutuhan
data warehouse.
 Pengayaan
 Menggunakan sebuah atau beberapa field untuk membuat hasil data
yang terbaik pada data warehouse.
 LOADING
Loading merupakan tahap akhir dari proses dalam pengisian data
warehouse.

Proses loading ini adalah untuk memuat data yang sudah terseleksi
ke dalam data warehouse tujuan dan membuat indeks yang
diperlukan.

Terdapat dua mode untuk pemuatan data warehouse, yaitu refresh

dan update.
 LOADING
Mode refresh
Mode refresh atau menuliskan kembali secara keseluruhan data
pada data warehouse pada suatu periode interval.

Mode Refresh umumnya digunakan pada saat pertama kali memuat

data dalam data warehouse.
 LOADING
Mode Update
Mode Update atau menuliskan data yang berubah di sumber data,
tidak ada proses menghapus pada proses ini.

Mode update digunakan saat pemeliharaan dan berjalannya data

warehouse.
 Penyimpanan Data (Data
Storage)
 Komponen ini adalah tempat menyimpan data dari berbagai
sumber data yang ada.
 Penyimpanan data pada data warehouse secara historikal
sedangkan pada penyimpanan data operasional dilakukan hanya
data yang sedang beroperasi saja.
 Pemutakhiran data dilakukan secara periodik tergantung pada
kebutuhan informasi yang diperlukan.
 Pertambahan data dapat terjadi pada penyimpanan ini, tetapi tidak
akan pernah terjadi perubahan data.
Penyampaian Informasi
(Information Delivery)
DATA WAREHOUSE
Metadata
Metadata
Metadata dalam Data WareHouse

=
Kamus Data/ Data Katalog dalam DBMS (Database Management
System)
Metadata
• Metadata merupakan :
• Informasi tentang logical struktur data
• Informasi file dan alamatnya
• Informasi index
• Dll

• Intinya Meta data = data mengenai data pada data warehouse

 Metadata
Metadata pada data warehouse diibaratkan sebagai kamus data atau
katalog pada sistem basis data.

Metadata pada data warehouse terbagi atas 3 kategori yaitu:

1. Operational Metadata
2. Extraction dan Transformation Metadata
3. End-User Metadata
OPERATIONAL
METADATA

Terdiri dari semua informasi tentang data

sumber
Proses:
Pilih data dari sistem sumber untuk data
warehouse, pisah recordnya, gabungkan bagian
record dengan file sumber lainnya, dan berhasil
dengan skema multiple coding dan panjang field
 EXTRACTION DAN
TRANSFORMATION
METADATA
Terdiri dari data dari data extraksi data dari
sistem sumber, yaitu:

 Extraction frequencies

 Extraction method

 Business rules untuk data extraction

END-USER METADATA

Adalah Peta Navigasi pada data warehouse

Metadata ini digunakan para pengguna dalam mencari informasi untuk

bisnisnya.
END-USER METADATA

Adalah Peta Navigasi pada data warehouse

Metadata ini digunakan para pengguna dalam mencari informasi untuk

bisnisnya.
 METADATA
Operational Metadata
• Berisikan bermacam-macam struktur data yang berasal dari data
operasional.
Extraction dan Transformation Metadata
• Berisi data tentang pengambilan data dari berbagai macam sumber
sistem, penamaan, frekuensi pengambilan, metode pengambilan dan
aturan bisnis untuk pengambilan data.
End-User Metadata
• Berisikan peta navigasi dari data warehouse. Metadata ini digunakan
para pengguna dalam mencari informasi untuk bisnisnya.
 FUNGSI METADATA
Menggabungkan semua bagian pada data
warehouse
Menyediakan informasi tentang isi dan struktur
pada pengembang
Membuka pintu bagi end - user dan membuat
isi yang dapat dikenal oleh mereka.
 JENIS METADATA
Terdapat tiga jenis utama metadata:

Metadata deskriptif 
Metadata struktural 
Metadata administratif 
METADATA
DESKRIPTIF
Metadata deskriptif menggambarkan suatu
sumberdaya dalam maksud seperti penemuan
dan identifikasi.
METADATA
STRUKTURAL
Metadata struktural menunjukkan bagaimana
kumpulan objek disusun secara bersama-sama
menjadi satu.
METADATA
ADMINISTRATIF
Metadata administratif menyediakan informasi
untuk membantu mengelola sumberdaya,
semisal terkait kapan dan bagaimana suatu
informasi diciptakan, tipe dokumen dan
informasi teknis lainnya, serta siapa yang bisa
mengaksesnya.
PENGELOLAAN DAN KONTROL
(MANAGEMENT AND CONTROL)
Mengendalikan pelayanan dan aktivitas didalam
data warehouse.
Komponen ini akan mengendalikan transformasi
data dan transfer data ke dalam penyimpanan
data warehouse.
Komponen ini akan berinteraksi dengan
metadata komponen untuk menampilkan fungsi
komponen.
TERIMA KASIH....