MODUL PERKULIAHAN

Data Warehouse & OLAP

Arsitektur dan Lapisan-lapisan Data

Warehouse

Fakultas Program Studi Tatap Muka Kode MK Disusun Oleh

Fasilkom Teknik Informatika W151720003

11
Abstract Kompetensi
EDW (enterprise data warehouse)  Mahasiswa mampu
adalah data warehouse terpusat memahami standard an
dan terintegrasi yang konsep arsitektur DW-
mengendalikan sumber daya data OLAP
tunggal yang tersedia bagi para  Mahasiswa mampu
pengguna untuk digunakan memahmi lapisan-
sebagai sarana bagi aplikasi- lapisan data warehouse.
aplikasi pendukung keputusan.
Pembahasan
1. Arsitektur Data Warehouse
Arsitektur dasar yang sering digunakan bersama Data Warehouse adalah,

 Arsitektur fisik 2 peringkat untuk pemasukan data

 Arsitektur 3 peringkat yang penggunaannya semakin populer pada

lingkunganyang lebih komplek

 Arsitektur data 3 peringkat yang berasosiasi dengan arsitektur fisik 3

peringkat.

2. Arsitektur Dua Peringkat

Arsitektur dasar untuk data warehouse diperlihatkan dalam gambar 12.3.
Mengembangkan arsitektur data warehouse dasar ini membutuhkan 4
langkah yang utama, yaitu :

2019 Data Warehouse & OLAP

2 Pusat Bahan Ajar dan eLearning
http://www.mercubuana.ac.id
 a. Data yang diekstraksi dari berbagai sumber daya berkas sistem dan
dari berbagai basis data. Pada organisasi besar hal ini mungkin
melibatkan lusinan atau bahkan ratusan berkas dan basis data.

b. Data dari berbagai sumber ditransformasi dan diintegrasikan sebelum

dimuat ke data warehouse.

c. Data warehouse merupakan basis data yang hanya bisa dibaca (read
only), yang terorganisasi dengan baik untuk mendukung aplikasi-
aplikasi pengambilan keputusan. Ia memuat baik data rinci maupun
data yang sudah diikhtisarkan.

d. Pengguna mengakses data warehouse dengan berbagai bahasa query

dan kakas-kakas analitis

3. Arsitektur Data Warehouse yang diperluas

Arsitektur yang diperlihatkan dalam gambar 12.3 menampilkan aplikasi data
warehouse dalam bentuknya yang awal dan paling sederhana, namun masih
banyak digunakan saat ini di organisasi-organisasi yang berskala relatif kecil. Ia
bekerja dengan baik pada perusahaan berskala kecil hingga menengah dengan
jumlah perangkat keras dan perangkat lunak yang lebih sedikit dalam
lingkungan komputasi yang relatif homogen. Bagaimanapun juga, untuk
perusahaan yang lebih besar dengan sumber daya data yang banyak dan dalam
lingkungan komputasi yang heterogen, pendekatan ini menimbulkan banyak
masalah dalam hal pemeliharaan kualitas data dan pengelolaan proses ekstraksi
data. Masalah-masalah ini, bersama dengan kecendrungan komputasi tersebar,
memicu perkembangan lebih lanjut arsitektur data warehouse seperti yang
diperlihatkan pada dalam gambar dibawah ini. Arsitektur dibawah ini dirujuk
untuk arsitektur 3 peringkat, dimana ketiga peringkat itu adalah :

 Sistem operasional dan data

 Data warehouse tingkat perusahaan

2019 Data Warehouse & OLAP
3 Pusat Bahan Ajar dan eLearning
http://www.mercubuana.ac.id
  Data Mart

EDW (enterprise data warehouse) adalah data warehouse terpusat dan

terintegrasi yang mengendalikan sumber daya data tunggal yang tersedia
bagi para pengguna untuk digunakan sebagai sarana bagi aplikasi-
aplikasi pendukung keputusan. Dua fungsi enterprise data warehouse
adalah :

o enterprise data warehouse bertindak sebagai titik kendali untuk

memastikan kualitas dan integritas data sebelum data digunakan.
2019 Data Warehouse & OLAP
4 Pusat Bahan Ajar dan eLearning
http://www.mercubuana.ac.id
 o Menyediakan rekaman data bisnis bersejarah, untuk data yang
peka terhadap waktu (time sensitive)

Meskipun data warehouse adalah sumber daya tunggal yang

digunakan sebagai data untuk aplikasi-aplikasi pengambilan keputusan,
biasanya ia tidak secara langsung diakses oleh pengguna. Secara
sederhana, data warehouse terlalu besar dan terlalu rumit untuk aplikasi-
aplikasi pengambilan keputusan. Alih-alih, pengguna mengakses data
mart yang merupakan data-data yang diturunkan dari data warehouse.

Data Mart adalah data warehouse yang terbatas lingkupnya.

Kandungannya adalah data-data terpilih yang diturunkan dari data
warehouse milik perusahaan. Setiap data mart disesuaikan dengan
aplikasi pendukung pengambilan keputusan tertentu. Organisasi mungkin
memiliki data mart keuangan, data mart pemasaran, data mart sumber
daya manusia, dan sebagai nya.

Prinsip Data Warehouse :

Organisasi-organisasi berskala besar dengan sumber daya data

heterogen sebaiknya mengadopsi arsitektur data warehouse
berperingkat tiga

Tiga faktor yang mendukung pendekatan yang dideskripsikan oleh

prinsip data warehouse di atas adalah :

 Data warehouse milik perusahaan dan data mart melayani

kegunaan yang sangat berbeda-beda dan memiliki arsitektur data
yang sayang berbeda pula.

 Transformasi sumber data heterogen ke formay yang sesuai untuk

aplikasi pengambilan keputusan adalah proses yang memilik
kompleksitas tinggi.

 Penggunaan data mart memungkinkan organisasi-organisasi untuk

2019 Data Warehouse & OLAP
5 Pusat Bahan Ajar dan eLearning
http://www.mercubuana.ac.id
 menyesuaikan data pendukung untuk tiap kelompok pengguna dan
dapat mengeksploitasi keunggulan dari sistem pemrosesan
tersebar.

4. Arsitektur Data Tiga Lapis

Gambar 12.5 memperlihatkan arsitektur 3 lapis, yang masing-masing dapat

dijelaskan sebagai berikut :

 Data operasional disimpan dalam berbagai platform sistem operasi di

seluruh bagian organisasi.

 Data rekonsiliasi adalah tipe data yang tersimpan di data warehouse

milik perusahaan.

 Data turunan adalah tipe data yang tersimpan di setiap data mart.

Data rekonsialiasi bersifat rinci, merupakan data menurut waktu yang

didedikasikan sebagai data tunggal untuk semua aplikasi pendukung
keputusan. Data rekonsialiasi secara umum bukan ditujukan untuk di akses
secara langsung oleh pengguna. Data turunan adalah data yang telah dipilih,
2019 Data Warehouse & OLAP
6 Pusat Bahan Ajar dan eLearning
http://www.mercubuana.ac.id
 diformat dan diagregasi untuk aplikasi pendukung pengambilan keputusan.

5. Komponen Data Warehouse

 Data Source Layer

Ini mewakili berbagai sumber data yang memasukkan data ke dalam Data
Warehouse. Sumber data dapat berupa format apa saja, seperti file teks
biasa, basis data relasional, file Excel, dll., Semuanya dapat bertindak
sebagai sumber data.

Banyak tipe data yang berbeda dapat menjadi sumber data:

 Operasional - seperti data penjualan, data SDM, data produk, data

inventaris, data pemasaran, data sistem.

 Log server web.

 Data penelitian pasar internal.

 Data pihak ketiga, seperti data sensus, data demografi, atau data
survei.

Semua sumber data ini bersama-sama membentuk Data Source Layer.

 Data Extraction Layer

Data di-ekstrak dengan menggunakan software komersial atau bisa juga

software yang dibuat sendiri yang biasa disebut dengan istilah ETL
(Extract-Transform-Load).

 Staging Area

Tempat penyimpanan data sementara, untuk melakukan proses Clean,

Transform, Combine, Deduplicate, Household, archive, dan menyiapkan
sumber data untuk digunakan dalam Data Warehouse.

2019 Data Warehouse & OLAP

7 Pusat Bahan Ajar dan eLearning
http://www.mercubuana.ac.id
 Staging Area tidak diperuntukkan sebagai sumber data untuk reporting
karena datanya masih kotor dan bersifat sementara.

 ETL Layer

Tiga fungsi utama yang perlu dilakukan untuk membuat data siap
digunakan pada data warehouse adalah extraction, transformation dan
loading. Ketiga fungsi ini terdapat pada staging area. Pada data staging
ini, disediakan tempat dan area dengan beberapa fungsi seperti data
cleansing, change, convert, dan menyiapkan data untuk disimpan serta
digunakan oleh datawarehouse.

 Extraction

Data Extraction adalah proses pengambilan data yang

diperlukan dari sumber datawarehouse dan selanjutnya
dimasukkan pada staging area untuk diproses pada tahap
berikutnya. Pada fungsi ini, kita akan banyak berhubungan
dengan berbagai tipe sumberdata. Format data, mesin yang
berbeda, software dan arsitektur yang tidak sama. Sehingga
sebelum proses ini kita lakukan, sebaiknya perlu kita
definisikan requirement terhadap sumber data yang akan kita
2019 Data Warehouse & OLAP
8 Pusat Bahan Ajar dan eLearning
http://www.mercubuana.ac.id
 butuhkan untuk lebih memudahkan pada extraction data ini.

 Transformation

Pada proses transaksional data disimpan dalam berbagai

format sehingga jarang kita temui data yang konsisten antara
aplikasi-aplikasi yang ada. Transformasi data ditujukan untuk
mengatasi masalah ini. Dengan proses transformasi data ini,
kita melakukan standarisasi terhadap data pada satu format
yang konsisten. Beberapa contoh ketidakkonsistenan data
tersenut dapat diakibatkan oleh tipe data yang berbeda, data
length dan lain sebagainya

 Loading

Data loading adalah memindahkan data ke datawarehouse.

Ada dua loading data yang di lakukan pada datawarehouse.
Pertama adalah inisial load, proses ini dilakukan pada saat
telah selesai mendesign dan membangun data warhouse. Data
yang masukkan tentunya akan sangat besar dan memakan
waktu yang relatif lebih lama. Kedua Incremental load,
dilakukan ketika data warehouse telah dioperasikan. Sehingga
akan lebih mudah melakukan data extraction, transformation
dan loading terhadap data tersebut.

 Data Storage Layer

Di sinilah data yang ditransformasi dan dibersihkan. Berdasarkan ruang

lingkup dan fungsionalitas, 3 jenis entitas dapat ditemukan di sini:
gudang data, data mart, dan penyimpanan data operasional (ODS).

 Data Logic Layer

Di sinilah aturan bisnis disimpan. Aturan bisnis yang disimpan di sini

tidak memengaruhi aturan transformasi data yang mendasarinya, tetapi
2019 Data Warehouse & OLAP
9 Pusat Bahan Ajar dan eLearning
http://www.mercubuana.ac.id
 memengaruhi tampilan laporan.

 Data Presentation Layer

Ini merujuk pada informasi yang dibutuhkan oleh user. Ini bisa dalam
bentuk laporan tabular / grafik di browser, laporan yang diemail yang
secara otomatis dihasilkan dan dikirim setiap hari, atau peringatan yang
memperingatkan pengguna pengecualian, antara lain. Biasanya alat
OLAP dan / atau alat pelaporan digunakan di lapisan ini.

 Metadata Layer

Di sinilah informasi tentang data yang disimpan dalam sistem data

warehouse disimpan. Model data logis akan menjadi contoh dari sesuatu
yang ada di lapisan metadata. Alat metadata sering digunakan untuk
mengelola metadata.

 System Operations Layer

Lapisan ini mencakup informasi tentang bagaimana sistem data

warehouse beroperasi, seperti status pekerjaan ETL, kinerja sistem, dan
riwayat akses pengguna.

2019 Data Warehouse & OLAP

10 Pusat Bahan Ajar dan eLearning
http://www.mercubuana.ac.id
Daftar Pustaka
1. William H. Inmon, Building The Data Warehouse 4th Edition, Wiley
Publishing,Inc. , 2005.
2. Imhoff C, Galemmo N, Geiger JG. Mastering Data Warehouse Design.
Indianapolis, Indiana: Wiley Publishing; 2003.
3. Han J, Kamber M. Data Mining: Concepts and Techniques. Soft
Computing. 2006. 800 p.
4. Berson, A. and Smith, S. “Data Warehousing, data Mining, & OLAP”,
McGraw Hill International Edition, 2001.

2019 Data Warehouse & OLAP

11 Pusat Bahan Ajar dan eLearning
http://www.mercubuana.ac.id