Data Mart dan Metadata

Data Warehouse

Pertemuan II

Cleansing Data

Adalah proses menghilangkan

kesalahan-kesalahan data yang
berasal dari proses transaksi
Merupakan bagian dari proses
integrasi
Jika proses cleansing ini salah,
maka informasi yang dihasilkan
oleh data warehouse juga akan
salah

Ekstrak
si
Data

Metode yang digunakan untuk melakukan proses

ekstrasi secara logic (logical exctraction) ada
2, yaitu :
Full Extraction,
Proses ekstraksi dilakukan dengan mengambil
seluruh data dari source system yang
diperlukan
Increment Extraction
Proses ekstraksi hanya pada data yang
berubah atau belum ada pada target sistem
pada periode tertentu

Mekanisme ekstraksi secara fisik (physical

extraction) dibagi menjadi dua jenis, yaitu :
Online extraction
Data di ekstrak dari source system ke target
system secara langsung. Proses ekstraksi
dilakukan dengan cara langsung connect ke
source system untuk mengakses source table.
Offline Extraction
Data tidak di ekstrak secara langsung dari
source system, namun berada diluar source
system. Data yang akan di ekstrak sudah
mempunyai struktur table dan struktur data
yang diharapkan sudah sesuai dengan data
warehouse. Misalnya flat file.

Granularity
Adalah tingkat kedetailan data dalam suatu data
warehouse. Semakin detail data, maka tingkat
granularity-nya akan semakin rendah juga. Level yang
paling terendah dari granularity adalah data transaksi
Granularity merupakan isu penting dalam data
warehouse, karena :
Semakin rendah lavel granularity, maka jumlah data
yang disimpan dalam data warehouse juga akan
semakin besar.
Semakin rendah lavel granularity, maka tingkat
kedetailan data juga akan semakin besar dan
berpengaruh pada pertanyaan yang akan dijawab.

Data Mart

Data Mart

Perbedaan Data Mart dan Data

Warehouse

Pembahasan mengenai Data Mart tidak bisa lepas dengan

pembahasan mengenai Data Warehouse karena keduanya
bisa saling mendefinisikan
filosofi tentang Data Warehouse dan datamart bisa
berbeda. yaitu misalnya filosofi antara Inmon dan
Kimball,yang memberikan pernyataan sebagai berikut:
The data warehouse is
nothing more than the
union of all the data marts

Data Warehouse itu tidak

lebih dari sekumpulan
Data Mart ..
Ralph Kimball

You can catch all the minnows in

the ocean and stack them together
and they still do not make a whale.
Anda dapat menangkap minnows
(sejenis ikan kecil-kecil) di laut dan
menumpuknya bersama dan mereka
tetap tidak bisa menjadi ikan Paus.
Bill Inmon

Dependent Data Mart (Inmon advocated) berlaku

sebagai komponen atau suatu bagian dari
enterprise Data Warehouse, Data Mart dibangun
dengan cara extract data dari Data Warehouse.

Independent Data Mart (Kimball advocated) dibangun

dengan cara extract langsung data dari berbagai Source
System.

Independent
Data Mart tidak
tergantung pada
pusat penyimpan
data seperti Data
Warehouse
arsitektur ini
biasa juga
disebut sebagai
Data Warehouse
Bus structure.

Kedua arsitektur data mart menentukan bagaimana data

mart dibangun, dibedakan menjadi dua pendekatan, yakni.
1.

Keuntungan dalam membangun Data

Mart lebih dulu dibanding langsung
membangun Data Warehouse:
- Waktu yang diperlukan untuk membangun
Data Mart lebih sedikit.
- Volume Data pada Data Mart lebih sedikit
- Waktu Query lebih cepat
- Biaya membangun Data Mart lebih murah.

Metadata

Jika
Metadata
Metadata

Metadata memberikan fungsi yang

sama seperti katalog yaitu:
membedakan sumberdaya yang tak miliki kesamaan

Tiga Jenis Utama Metadata

1. Metadata struktural menunjukkan bagaimana kumpulan
obyek disusun secara bersama-sama menjadi satu, semisal
bagaimana halaman-halaman ditata untuk membentuk suatu
bab.
2. Metadata administratif menyediakan informasi untuk
membantu mengelola sumberdaya, semisal terkait kapan dan
bagaimana suatu informasi diciptakan, tipe dokumen dan
informasi teknis lainnya, serta siapa yang bisa mengaksesnya.
3. Metadata deskriptif menggambarkan suatu sumberdaya
dalam maksud seperti penemuan dan identifikasi. Dia bisa
meliputi elemen semisal judul, abstrak, pengarang, dan kata
kunci.

Secara konsep, metadata dikelompokkan

dalam tiga komponen.
1. Komponen Direktori Teknikal,
berisi informasi tentang data
2. Komponen Direktori
Bisnis, berisi perspektif
pengguna pada data
3. Komponen Navigasi
Informasi, berisi cara
akses pada direktori
bisnis dan data
warehouse.

 Komponen Direktori Teknikal

menjelaskan kepada data warehouse
administrator tentang sumber data dan
bagaimana data dikelola dalam data
warehouse. Direktori Teknikal juga
menjelaskan aturan-aturan (rules)
yang digunakan untuk membersihkan
data dan mentrasformasikannya untuk
kepentingan bisnis.

Isi dari Direktori Teknikal

Data souce
Nama file dan tipe file
Bagaimana nilai didefinisikan data source
Kapan data dibuat
Data dating dari system mana
Siapa pemlik data
Siapa yang memberikan data
User yang mana yang berhak mengakses data
Skema database operasional

Isi
dari
Direktori
Teknikal
Data Target

Nama dan tipe field

Bagaimana nili didefinisikan dalam data warehouse
Dimana dta ditempatkan dalam data warehouse
Versi
Tanggal update terakhir
Frekwensi update terakhir
Siapa pemilik data
Siapa yang dapat mengakses data
Skema data dalam data warehouse
Cara end-user melakukan akses data

Isi dari Direktori Teknikal

Clean Up Rules
Record dan field yang akan dibersihkan
Mapping antara elemen data pada original
data source dengan data warehouse
Rules yang digunakan untuk mengisi nilai pada
fields yang kosong
Rules untuk data integrity
Rules untuk cek konsistensi data

Isi dari Direktori Teknikal

Transformation Rules
Bagaimana menentukan waktu
dalam melakukan transformasi
Algoritma (business rules) untuk
menentukan nilai yang diambil
(nilai asal)
Bagaimana ringkasan data dibuat

Isi dari Direktori Teknikal

Mapping
Rules untuk melakukan filter data
dan untuk melakukan
penggabungan data dari field atau
sumber data yang berbeda.

Komponen Direktori Bisnis. Berorientasi

pada mekanisme data warehouse, yang
meliputi :
Istilah bisnis (business term) yang digunakan
untuk mendeskripsikan data
Nama teknis (alias) yang berhubungan dengan
business term yang dapat digunakan untuk
mengakses data
Data Souse dan rules yang digunakan untuk
mendapatkan data dan tanggal dimana data
tersebut dibuat
Catatan tetang report dan query yang ada
Informasi tentang keamanan data (siapa
yang mempunya hak akses)

Komponen Navigasi
Informasi
Menjelaskan interface yang memungkinkan user
untuk mengakses direktori bisnis dan data
warehouse. Dengan menggunakan kompunen
ini, user dapat melakukan :
Melakukan akses dan drill down pada data
warehouse
Melakukan query ke data warehouse
Meminta data baru dari warehouse
administrator
Melakukan transfer data dari warehouse ke
datamart atau user lain