DATA WAREHOUSE

Sufiatul Maryana, M.Kom

Aries Maesya, M.Kom
Definisi Data Warehouse

Sebuah tempat penyimpanan data yang lengkap dan konsisten yang

berasal dari sumber-sumber yang berbeda dibuat untuk

penggunanya agar mereka dapat mengerti dan menggunakannya

dalam konteks bisnis.

[Barry Davlin]
Definisi Data Warehouse

Sebuah proses transformasi data ke dalam sebuah informasi dan

membuat informasi ini dapat diakses oleh penggunanya tepat

waktu untuk membuat perubahan-perubahan (strategi bisnis).

[Forrester Research, 1996]

Definisi Data Warehouse

 Data warehouse adalah basis data yang menyimpan data sekarang

dan data masa lalu yang berasal dari berbagai sistem operasional
dan sumber yang lain (sumber eksternal) yang menjadi perhatian
penting bagi manajemen dalam organisasi dan ditujukan untuk
keperluan analisis dan pelaporan manajemen dalam rangka
pengambilan keputusan
 Data warehouse digunakan untuk mendukung pengambilan
keputusan, bukan untuk melaksanakan pemrosesan transaksi
 Data warehouse hanya berisi informasi-informasi yang relevan bagi
kebutuhan pemakai yang dipakai untuk pengambilan keputusan
Definisi Data Warehouse

 Data Warehouse adalah Pusat repositori

informasi yang mampu memberikan
database berorientasi subyek untuk
informasi yang bersifat historis yang
mendukung DSS (Decision Suport System)
dan EIS (Executive Information System).
Tujuan :

Meningkatkan kualitas dan akurasi

informasi bisnis danmengirimkan informasi
ke pemakai dalam bentuk yang dimengerti
dan dapat diakses dengan mudah.
Perbedaan DW dan OLTP (Online Transaction
Processing)
OLTP
 Menangani data saat ini
 Data bisa saja disimpan pada beberapa
platform
 Data diorganisasikan berdasarkan
fungsi atau operasi seperti penjualan,
produksi, dan pemrosesan pesanan
 Pemrosesan bersifat berulang
 Untuk mendukung keputusan harian
(operasional)
 Melayani banyak pemakai operasional
 Berorientasi pada transaksi
Data Warehouse
 Lebih cenderung menangani data
masa lalu
 Data disimpan dalam satu
platform
 Data diorganisasikan menutut
subjek seperti pelkanggan atau
produk
 Pemrosesan sewaktu-waktu, tak
terstruktur, dan bersifat heuristik
 Untuk mendukung keputusan yang
strategis
 Untuk mendukung pemakai
manajerial yang berjumlah relatif
sedikit
 Berorientasi pada analisis
Sumber Data untuk DW

1. Data operasional dalam organisasi, misalnya basis data

pelanggan dan produk, dan
2. Sumber eksternal yang diperoleh misalnya melalui Internet,
basis data komersial, basis data pemasok atau pelanggan

 Berbagai data yang berasal dari sumber digabungkan dan

diproses lebih lanjut oleh manajer data warehouse dan disimpan
dalam basis data tersendiri.
 Selanjutnya, perangkat lunak seperti OLAP dan data mining
dapat digunakan oleh pemakai untuk mengakses data warehouse
 4 Karakteristik Data Warehouse

• Subject oriented
• Integrated
• Time variant
• Non-volatile
 Subject Oriented

1. Data warehouse diorganisasikan dalam lingkup subjek, sebagai

contoh: Penjualan, Produk, dan Pelanggan.

2. Berfokus ke dalam pemodelan dan analisis data untuk pihak-

pihak pembuat keputusan.

3. Memisahkan data yang tidak berguna di dalam proses

pendukung keputusan.
Subject Oriented (cont’d )
 Subjek
 Aplikasi
Integrated

1. Data warehouse dikonstruksikan dengan cara mengintegrasikan

sejumlah sumber data yang berbeda.

2. Data preprocessing diaplikasikan untuk meyakinkan

kekonsistensian data.
Integrated (cont’d)
Integrated (cont’d)

Data perlu distandarkan :

Sales Inventori Transaksi Penjualan

Format Key Key Key
Text Integer Yes/No
Description Nama pelanggan Nama pelanggan Nama pelanggan
U.N.I.J.O.Y.O UNIPAHIT Universitas majapahit
Unit Tinggi Tinggi Tinggi
centimeter meter inch
Encoding Sex Sex Sex
Yes = Laki-laki L = laki-laki 1 = Laki-laki
No = Perempuan P = Perempuan 0 = Perempuan
 Time-Variant

1. Menghasilkan informasi dari sudut pandang historical (misal:

5-10 tahun yang lalu).

2. Setiap struktur kunci mengandung elemen waktu.

Time-Variant (cont’d)
Time-Variant (cont’d)
Time-Variant (cont’d)

Operasional :
 Data pada saat ini (current value)

Datawarehouse :
 Analisa data pada masa lampau
 Informasi pada saat ini
 Forecast untuk masa yang akan datang
Nonvolatile
1. Sekali data direkam maka data tidak bisa diupdate.

2. Data warehouse membutuhkan dua operasi pengaksesan data,

yaitu:

a. Initial loading of data

b. Akses data
Nonvolatile (cont’d)
Nonvolatile (cont’d)

Operasional :
 Add, change, delete data pada sistem operasional secara real
time setiap transaksi terjadi

Datawarehouse
 Update ketika kita perlukan saja, bisa secara periodik

Data pada DW dikhususkan untuk query dan

analisa data
Nonvolatile (cont’d)
Prinsip Data Warehouse
Sumber Data Internal

Sumber
Data
Operasional
1  Perangkat EIS
 Perangkat pelaporan
 Perangkat
pengembangan
Manajer aplikasi
Sumber Data Warehouse
Data
Operasional
2

OLAP

Sumber
Data Data
Eksternal Warehouse
Data Mining
Sifat Data Warehouse

 Multidimensional yang berarti bahwa Tahun n-4

terdapat banyak lapisan kolom dan Tahun n-3
baris (Ini berbeda dengan tabel pada Tahun n-2
model relasional yang hanya Tahun n-1
berdimensi dua)
 Berdasarkan susunan data seperti itu, Jawa Tengah
amatlah mudah untuk memperoleh
Jawa Barat
jawaban atas pertanyaan seperti:
“Berapakah jumlah produk 1 terjual
di Jawa Tengah pada tahun n-3?”
Produk 3

Produk 2

Produk 1
Petunjuk Membangun DW

 Menentukan misi dan sasaran bisnis bagi pembentukan data warehouse

 Mengidentifikasi data dari basis data operasional dan sumber lain yang
diperlukan bagi data warehouse
 Menentukan item-item data dalam perusahaan dengan melakukan
standarisasi penamaan data dan maknanya
 Merancang basis data untuk data warehouse
 Membangun kebijakan dalam mengarsipkan data lama sehingga ruang
penyimpanan tak menjadi terlalu besar dan agar pengambilan keputusan
tidak menjadi terlalu lamban.
 Menarik data produksi (operasional) dan meletakkan ke basis data milik data
warehouse
 Data Mart

 Bagian dari data warehouse yang mendukung kebutuhan pada tingkat

departemen atau fungsi bisnis tertentu dalam perusahaan. Karakteristik
yang membedakan data mart dan data warehouse adalah sebagai berikut
(Connolly, Begg, Strachan 1999).

 Data mart memfokuskan hanya pada kebutuhan-kebutuhan pemakai yang terkait dalam
sebuah departemen atau fungsi bisnis.
 Data mart biasanya tidak mengandung data operasional yang rinci seperti pada data
warehouse.
 Data mart hanya mengandung sedikit informasi dibandingkan dengan data warehouse.
Data mart lebih mudah dipahami dan dinavigasi.
 Data mart = subset of DW for
community users, e.g. accounting
department
 Sometimes exist as Multidimensional
Database
 Info mart = summarized data + report
for community users
DATAWAREHOUSE vs DATAMART

DATAWAREHOUSE DATAMART
 Perusahaan, melingkupi semua  Departemen
proses  Satu bisnis proses
 Gabungan datamart  Start-Join (fakta dan dimensi)
 Data didapat dari proses Staging  Teknologinya optimal untuk
 Merepresentasikan data dari pengaksesan dan analisis
perusahaan atau organisasi data
 Diorganisasi dlm E-R Model  Cocok untuk
merepresentasikan data
departemen
DATAWAREHOUSE vs DATAMART

 Datawarehouse = gabungan dari beberapa datamart yang

levelnya berada pada perusahaan atau organisasi.

 Datamart = bagian dari datawarehouse yang berada level

departemen pada perusahaan atau organisasi tersebut. Data
mart menangani sebuah business proses, misalkan penjualan.
Komponen Data warehouse
 Komponen Data warehouse
1. Sumber Data (Data Source)
2. Pementasan Data (Data Staging)
3. Penyimpanan Data (Data Storage)
4. Penyampaian Informasi (Information Delivery)
5. Metadata
6. Pengelolan dan Kontrol (Management and Control)
Sumber Data (Data Source)

1. Data Produksi
2. Data Internal
3. Data Arsip
4. Data Eksternal
 Sumber Data (Data Source)
1. Data Produksi
Data yang ada pada sistem OLTP(Online Transactional Processing) yang
bisa berasal dari format data yang bervariasi, peangkat keras, sistem
operasi serta aplikasi basis data yang berlainan.

2. Data Internal
Data pendukung sistem OLTP yang biasanya tersimpan dalam bentuk
spreadsheet atau teks dokumen.
 Sumber Data (Data Source)
3. Data Arsip
Data histori yang merupakan hasil proses backup pada OLTP.

4. Data Eksternal
Data luar yang bisa didapat dari kompetitor atau sumber
informasi umum seperti Biro Pusat Statistik, koran atau data yang
bersifat umum yang akan dipakai sebagai nilai indikator untuk
pengecekan tingkat pencapaian perusahaan.
 Data Staging
 data staging menyediakan sebuah tempat dan area dengan
sekumpulan fungsi untk membersihkan, merubah,
mengkombinasikan, penggandaan dan menyiapkan sumber data
untuk penyimpanan dan digunakan pada data warehouse.
 Data Staging
 Ada 3 proses pada Data Staging yaitu:
1. Extraction
2. Transformation
3. Loading

 Tujuan dari data staging adalah mengumpulkan, menseleksi,

mengolah dan menggabungkan data yang relevan dari berbagai
sumber untuk disimpan dalam data warehouse.
 Extracting
 merupakan proses pengambilan data dari berbagai sumber data
yang digunakan untuk mengisi data warehouse.
 Tidak semua data yang ada pada data operasional bisa dimasukkan
ke dalam data warehouse.
 Pada tahap ini juga dilakukan proses pembersihan (cleansing) data
sebelum ditransformasikan, hal ini disebabkan sering terjadinya
kesalahan penulisan pada data sumber.
 Transformation
 Proses transformation adalah proses pengambilan data mentah yang
belum bisa disimpan pada data warehouse.
 Tahapan pada Transformation
 Seleksi
 Pemisahan dan Penggabungan
 Konversi
 Ringkasan
 Pengayaan
 Transformation
 Seleksi
 Melakukan proses seleksi dari record data dari tabel basis data OLTP,
tahap ini merupakan bagian dari proses pengambilan data.

 Pemisahan dan Penggabungan

 Manipulasi data yang dibutuhkan untuk menseleksi record data OLTP,
yaitu melakukan proses pemisahan dan penggabungan bila diperlukan.
 Transformation
 Konversi
 Proses konversi dilakukan karena untuk melakukan standarisasi
pengambilan data dari berbagai sumber dan membuat field dapat
digunakan data warehouse serta dapat dipahami oleh pengguna.
 Ringkasan
 Data yang terlalu detail tidak selalu dibutuhkan pada data warehouse
oleh karena itu perlu diringkas berdasarkan kebutuhan data warehouse.
 Pengayaan
 Menggunakan sebuah atau beberapa field untuk membuat hasil data
yang terbaik pada data warehouse.
 Loading
 Loading merupakan tahap akhir dari proses dalam pengisian data
warehouse.

 Proses loading ini adalah untuk memuat data yang sudah terseleksi
ke dalam data warehouse tujuan dan membuat indeks yang
diperlukan.

 Terdapat dua mode untuk pemuatan data warehouse, yaitu refresh dan
update.
 Loading
Mode refresh
 Mode refresh atau menuliskan kembali secara keseluruhan data pada
data warehouse pada suatu periode interval.

 Mode Refresh umumnya digunakan pada saat pertama kali memuat

data dalam data warehouse.
 Loading
Mode Update
 Mode Update atau menuliskan data yang berubah di sumber data,
tidak ada proses menghapus pada proses ini.

 Mode update digunakan saat pemeliharaan dan berjalannya data

warehouse.
 Penyimpanan Data (Data Storage)
 Komponen ini adalah tempat menyimpan data dari berbagai sumber
data yang ada.
 Penyimpanan data pada data warehouse secara historikal sedangkan
pada penyimpanan data operasional dilakukan hanya data yang
sedang beroperasi saja.
 Pemutakhiran data dilakukan secara periodik tergantung pada
kebutuhan informasi yang diperlukan.
 Pertambahan data dapat terjadi pada penyimpanan ini, tetapi tidak
akan pernah terjadi perubahan data.
Penyampaian Informasi (Information Delivery)
 Metadata
 Metadata pada data warehouse diibaratkan sebagai kamus data atau
katalog pada sistem basis data.

 Metadata pada data warehouse terbagi atas 3 kategori yaitu:

1. Operational Metadata
2. Extraction dan Transformation Metadata
3. End-User Metadata
 Metadata
 Operational Metadata
 Berisikan bermacam-macam struktur data yang berasal dari data
operasional.
 Extraction dan Transformation Metadata
 Berisi data tentang pengambilan data dari berbagai macam sumber
sistem, penamaan, frekuensi pengambilan, metode pengambilan dan
aturan bisnis untuk pengambilan data.
 End-User Metadata
 Berisikan peta navigasi dari data warehouse. Metadata ini digunakan
para pengguna dalam mencari informasi untuk bisnisnya.
 Pengelolaan dan Kontrol
(Management and Control)
 Mengendalikan pelayanan dan aktivitas didalam data warehouse.
 Komponen ini akan mengendalikan transformasi data dan transfer
data ke dalam penyimpanan data warehouse.
 Komponen ini akan berinteraksi dengan metadata komponen untuk
menampilkan fungsi komponen.