MODUL PERKULIAHAN

Data Warehouse

Konsep Arsitektur DW

Fakultas Program Studi Tatap Muka Kode MK Disusun Oleh

11
Ilmu Komputer Sistem Informasi MKWP-22 Lydia Vintari ST MT

Abstract Kompetensi
Daftar Isi

Arsitektur Data Warehouse .................................................................................................................... 3

Jenis-jenis Arsitektur Data Warehouse ................................................................................................... 6
Data Warehouse Architecture: Basic .............................................................................................. 6
Data Warehouse Architecture: with a Staging Area ....................................................................... 7
Data Warehouse Architecture: with a Staging Area and Data Marts ............................................. 7
Datawarehouse Layer ............................................................................................................................. 8
Data Source Layer ........................................................................................................................... 8
Data Extraction Layer ...................................................................................................................... 9
Staging Area .................................................................................................................................... 9
ETL Layer ......................................................................................................................................... 9
Data Storage Layer .......................................................................................................................... 9
Data Logic Layer .............................................................................................................................. 9
Data Presentation Layer.................................................................................................................. 9
Metadata Layer ............................................................................................................................... 9
System Operations Layer .............................................................................................................. 10
Daftar Pustaka....................................................................................................................................... 11

2018 Data Warehouse Pusat Bahan Ajar dan eLearning

2 Lydia Vintari ST MT http://www.mercubuana.ac.id
Arsitektur Data Warehouse
Arsitektur adalah sekumpulan atau struktur yang memberikan kerangka untuk
keseluruhan rancangan suatu sistem atau produk. Arsitektur Data adalah menyediakan
kerangka dengan mengidentifikasi dan memahami bagaimana data akan pindah melalui
sistem dan digunakan dalam perusahaan.

Adapun karakteristiknya adalah :

a. Data diambil dari source system, database, dan file
b. Data dari source system diintegrasikan dan ditransformasikan sebelum disimpan ke
dalam Database Management System (DBMS) seperti : Oracle, SQL Server, Sy
Base
c. DWH adalah database read only yang terpisah yang dibuat khusus untuk
pengambilan keputusan
d. User mengakses DWH melalui tool front end atau aplikasi

Menurut Connoly dan Begg (2010:1204), arsitektur data warehouse dapat dijelaskan
pada gambar berikut ini :

Komponen Data Warehouse Menurut Connoly And Begg

2018 Data Warehouse Pusat Bahan Ajar dan eLearning

3 Lydia Vintari ST MT http://www.mercubuana.ac.id
 Arsitektur data warehouse terdiri dari struktur dan komponen yang saling
berhubungan satu sama lain dalam membangun data warehouse.
1. Operasional Data
 Berfokus pada fungsi-fungsi transaksional
 Merupakan bagian dari infrastruktur perusahaan
 Detail, tidak ada redudansi, dapat diupdate
 Merefleksikan nilai sekarang
2. Operasional Data Store
 Tempat penyimpanan sementara dari data operasional saat ini
 Menyuplai data yang sudah diekstrak dari sistem sumber dan dibersihkan
 Menyederhanakan proses integrasi dan restrukturisasi data di data warehouse
3. Load Manager
 Menampilkan semua operasi yang terkait dengan ekstrak dan load data ke
dalam data warehouse
 Data bisa diekstrak langsung dari data source atau ODS
4. Warehouse Manager
 Menampikan semua operasi yang terkait dengan manajemen data dari data
warehouse:
 Analisis data untuk menjamin konsistensi
 Transformasi dan penggabungan data source dari ODS ke table data
warehouse
 Pembuatan indeks dan view pada table base
 Membuat Denormalisasi dan Agregasi, jika diperlukan
 Backing up dan Archiving Data
5. Query Manager
 Menampilkan semua operasi yang terkait dengan manajemen query user.
 Mengarahkan query pada table yang cocok
 Menjadwalkan pelaksanaan query
6. Detailed Data
 Komponen yang menyimpan detail data dalam skema database
 Current Detail Data adalah Langsung dari operasional database dan mengacu
pada data perusahaan sekarang
contoh : profil pelanggan, data aktivitas pelanggan, data sales, data demografis
 Old Detail Data Current Detail Data yang berumur atau histori dari subyek
area

2018 Data Warehouse Pusat Bahan Ajar dan eLearning

4 Lydia Vintari ST MT http://www.mercubuana.ac.id
 7. Lightly dan Highly Summarized Data
 Menyimpan semua data Lightly dan Highly Summarized yang sudah terdefinisi
sebelumnya yang dibuat oleh Warehouse Manager
 Tujuan : meningkatkan performance query
8. Back Up Data/Archive Data
 Menyimpan Detailed Data dan Summarized Data dengan tujuan mengarsip dan
melakukan backup
9. Metadata
 Digunakan untuk membangun, memelihara, mengatur, dan menggunakan data
warehouse
 Mengandung lokasi dan deskripsi
 Komponen data warehouse (nama, definisi, struktur, dan isi dari data warehouse
dan end user view).
 Identifikasi dari pembuat data source (record system).
 Aturan-aturan integrasi dan transformasi yang digunakan untuk mempopulasikan
data warehouse.
 Histori dari update dan refresh data warehouse.
 Pola-pola matriks yang digunakan untuk performa menganalisa data warehouse.

10. End User Access Tools

 Komponen yang menyediakan informasi dari data warehouse yang ada bagi
user dalam membantu mengambil keputusan
 Tools mencakup :
a. Reporting dan Query Tool
Reporting : Menghasilkan laporan operasional yang teratur
Query : Relasi data warehouse untuk dapat menerima SQL atau untuk
menghasilkan pernyataan SQL agar dapat melakukan query pada data yang
disimpan dalam data warehouse
b. Application Development Tools
Dirancang untuk kebutuhan Client Server
c. Executive Information System (EIS) Tool
Mendukung pengambilan tingkat tinggi
d. OLAP Tool
Konsep multidimensi
Mengizinkan user untuk menganalisis data menggunakan view yang
kompleks

2018 Data Warehouse Pusat Bahan Ajar dan eLearning

5 Lydia Vintari ST MT http://www.mercubuana.ac.id
 e. Data Mining Tool
Proses menemukan korelasi, pola, dan gaya baru yang bermanfaat dengan
‘menggali’ data dalam jumlah yang banyak dengan menggunakan teknik
statistika dan matematika.

Jenis-jenis Arsitektur Data Warehouse

Data Warehouse Architecture: Basic

Gambar 1. Arsitektur dari Data Warehouse

Gambar diatas menunjukkan arsitektur sederhana untuk data warehouse. End User
langsung mengakses data yang berasal dari beberapa sumber sistem melalui data
warehouse. Pada gambar diatas terlihat adanya metadata dan raw data dari sistem OLTP
tradisional, seperti juga jenis data tambahan, summary data. Summary sangat berharga di
data warehouse. Sebagai contoh, permintaan data warehouse yang umum adalah untuk
mengambil sesuatu seperti penjualan Agustus.

2018 Data Warehouse Pusat Bahan Ajar dan eLearning

6 Lydia Vintari ST MT http://www.mercubuana.ac.id
Data Warehouse Architecture: with a Staging Area

Gambar 2. Architecture of a Data Warehouse with a Staging Area

Gambar diatas mengilustrasikan arsitektur datawarehouse terdiri dari 4 hal :

1. Data Sources (operational systems dan flat files)
2. Staging Area (penampungan data sebelum ke datawarehouse)
3. Warehouse (metadata, summary data, dan raw data)
4. Users (analysts, reporting, dan mining)

Data Warehouse Architecture: with a Staging Area and Data Marts

Gambar 3. Architecture of a Data Warehouse with a Staging Area and Data Marts

2018 Data Warehouse Pusat Bahan Ajar dan eLearning

7 Lydia Vintari ST MT http://www.mercubuana.ac.id
 Gambar diatas mengilustrasikan arsitektur datawarehouse terdiri dari 5 hal :
1. Data Sources (operational systems dan flat files)
2. Staging Area (penampungan data sebelum ke datawarehouse)
3. Warehouse (metadata, summary data, dan raw data)
4. Data Marts (purchasing, sales, dan inventory)
5. Users (analysis, reporting, dan mining)
Meskipun arsitektur pada diatas cukup umum, untuk menyesuaikan arsitektur
datawarehouse agar sesuai untuk berbagai kelompok dalam perusahaan, kita bisa
melakukan ini dengan menambahkan data mart, yang merupakan sistem yang dirancang
untuk lini bisnis tertentu. Gambar diatas mengilustrasikan contoh di mana pembelian,
penjualan, dan persediaan dipisahkan. Dalam contoh ini, seorang analis keuangan mungkin
ingin menganalisis data historis untuk pembelian dan penjualan atau data yang ada sejak
dulu untuk membuat prediksi tentang perilaku pelanggan.

Datawarehouse Layer

Data Source Layer

Ini merupakan data source yang berbeda yang memberi input data ke dalam data
warehouse. Data source dapat berupa format apa pun - file teks biasa, basis data relasional,
jenis basis data lainnya, file Excel, dll., Semuanya dapat berfungsi sebagai data source.
Banyak jenis data yang berbeda dapat menjadi data source:
 Operasi - seperti data penjualan, data SDM, data produk, data inventaris, data
pemasaran, data sistem.
 Log server web dengan data penelusuran user.

2018 Data Warehouse Pusat Bahan Ajar dan eLearning

8 Lydia Vintari ST MT http://www.mercubuana.ac.id
  Data riset pasar internal.
 Data pihak ketiga, seperti data sensus, data demografi, atau data survei.
Semua data source ini bersama-sama membentuk Data Source Layer

Data Extraction Layer

Data akan ditarik dari data source ke dalam sistem data warehouse. Ada
kemungkinan beberapa pembersihan data minimal, tetapi tidak mungkin ada transformasi
data utama.

Staging Area
Di sinilah data “duduk” sebelum di-scrub dan diubah menjadi data warehouse / data
mart. Memiliki satu area umum membuatnya lebih mudah untuk pemrosesan / integrasi data
selanjutnya.

ETL Layer
Di sinilah data memperoleh "inteligence", karena logika diterapkan untuk mengubah
data dari sifat transaksional ke sifat analitis. Lapisan ini juga tempat pembersihan data
terjadi. Fase desain ETL sering merupakan fase yang paling memakan waktu dalam proyek
pergudangan data, dan alat ETL sering digunakan dalam lapisan ini.

Data Storage Layer

Di sinilah tempat data yang diubah dan dibersihkan. Berdasarkan ruang lingkup dan
fungsionalitas, 3 jenis entitas dapat ditemukan di sini: data warehouse, data mart, dan
operational data store (ODS). Dalam sistem apa pun, mungkin hanya memiliki salah satu
dari tiga, dua dari tiga, atau ketiga jenis.

Data Logic Layer

Di sinilah aturan bisnis disimpan. Aturan bisnis yang disimpan di sini tidak
memengaruhi aturan transformasi data yang mendasarinya, tetapi memengaruhi tampilan
laporan.

Data Presentation Layer

Hal ini mengacu pada informasi yang mencapai user. Hal ini bisa dalam bentuk tabel
/ laporan grafis di browser, laporan diemail yang akan dihasilkan secara otomatis dan dikirim
sehari-hari, atau peringatan yang memperingatkan user pengecualian, antara lain. Biasanya
alat OLAP dan / atau alat pelaporan yang digunakan dalam lapisan ini.

Metadata Layer
Di sinilah informasi tentang data yang disimpan dalam sistem data warehouse
disimpan. Model data logis akan menjadi contoh dari sesuatu yang ada di lapisan metadata.
Sebuah alat metadata sering digunakan untuk mengelola metadata.

2018 Data Warehouse Pusat Bahan Ajar dan eLearning

9 Lydia Vintari ST MT http://www.mercubuana.ac.id
System Operations Layer
Lapisan ini mencakup informasi tentang bagaimana sistem data warehouse
beroperasi, seperti status ETL pekerjaan, kinerja sistem, dan sejarah akses user.

2018 Data Warehouse Pusat Bahan Ajar dan eLearning

10 Lydia Vintari ST MT http://www.mercubuana.ac.id
Daftar Pustaka
1. Christopher J, Pal. Eibe Frank. Ian H, Witten. Mark A, Hall. (2017). Data Mining
Practical Machine Learning Tools and Techniques Fourth Edition. United States.
Morgan Kaufmannn.
2. Geiger, Jonathan G.Galemmo, Nicholas. Imhoff, Claudia. (2003). Mastering Data
Warehouse Design : Relational and Dimensional Techniques. Canada. Wiley
Publishing, Inc.
3. Han J, Kamber M. Data Mining: Concepts and Techniques. Soft Computing. 2006
4. Imhoff C, Galemmo N, Geiger JG. Mastering Data Warehouse Design. Indianapolis,
Indiana: Wiley Publishing; 2003
5. Inmon, William H. (2005). Building The Data Warehouse Fourth Edition. Canada.
Wiley Publishing, Inc.
6. Kimball, Ralph. Margy Ross. (2013). The Data Warehouse Toolkit: The Definitive
Guide to Dimension Modelling. Canada. Wiley Publishing, Inc.

2018 Data Warehouse Pusat Bahan Ajar dan eLearning

11 Lydia Vintari ST MT http://www.mercubuana.ac.id