MODUL DATA WAREHOUSE

(CSD310)

MODUL 2
ARSITEKTUR DATA WAREHOUSE

DISUSUN OLEH
Ir. Munawar, MMSI., M.Com., PhD

UNIVERSITAS ESA UNGGUL

2020

Universitas Esa Unggul

http://esaunggul.ac.id 0 / 12
 ARSITEKTUR DATAWAREHOUSE

A. Kemampuan Akhir Yang Diharapkan

Setelah mempelajari modul ini, diharapkan mahasiswa mampu :

1. Merinci arsitektur yang biasa digunakan di data warehouse
2. Memahami kelebihan dan kekurangan arsitektur data warehouse yang ada

B. Uraian Perkuliahan
1. Arsitektur Data Warehouse
1.1. Pendahuluan
Dalam perancangan arsitektur DW ada dua pendekatan yang sangat terkenal
yaitu pendekatan top-down yang dimotori oleh Bill Inmon dan pendekatan bottom-up
yang dimotori oleh Ralp Kimball. Perbedaan mendasar diantara keduanya lebih
kepada pembuatan DW terlebih dahulu ataukah data mart (DM). Data Mart (DM)
mirip dengan DW, tetapi dirancang untuk memenuhi kebutuhan suatu departemen
atau fungsi bisnis tertentu. Perbedaan pendekatan diantara keduanya bisa dilihat
pada penjelasan berikut ini

Top-down
Pendekatan ini berfokus pada pembangunan DW secara terpusat. DW
terpusat adalah DW tunggal yang memasok kebutuhan berbagai departemen
dengan menggunakan model tunggal yang memenuhi persyaratan banyak divisi di
suatu perusahaan. Dalam DW terpusat, umpan balik dari departemen atau kelompok
pengguna dapat digunakan untuk menyesuaikan persyaratan. Persyaratan yang
berbeda di tingkat organisasi yang berbeda kemudian digabungkan untuk
membangun satu skema untuk seluruh DW. Tingkat kegagalan DW terpusat jauh
lebih tinggi daripada data mart (DM), terutama untuk organisasi dengan anggaran
dan sumber daya terbatas.

Bottom-up
Membangun data mart (DM) satu per satu adalah strategi utama yang
diadopsi dalam desain bottom-up. Di sini, DW dapat dianggap sebagai integrasi

Universitas Esa Unggul

http://esaunggul.ac.id 1 / 12
berbagai DM yang berbeda. Integrasi DM adalah proses memperlakukan data yang
muncul dari DM yang berbeda dan memberikan satu tampilan atas data ini.

Berikut ini adalah ringkasan kelebihan dan kekurangan dari pendekatan top-
down dan bottom-up sebagaimana yang sudah dijelaskan di atas.

Tabel 2.1. Perbandingan antara Pendekatan Top-Down dan Bottom-Up

Kelebihan Kekurangan
Top Down  Dimensional view yang  Butuh waktu lama
dihasilkan konsisten untuk  Mahal
semua cabang  Feedback dari semua
 Pembuatan dimensional departemen sulit didapatkan
view untuk cabang baru secara cepat
sangat mudah dilakukan.  Kurang fleksibel terhadap
perubahan
Bottom Up  Mudah dimengerti  Integrasi
 Singkat  Sulit untuk memastikan
 Feedback dari departemen konsistensi dimensi untuk
bisa diperoleh secara cepat semua cabang

1.2. Arsitektur Data Warehouse Menurut Bill Inmon

Bill Imnon yang sering disebut sebagai bapak datawarehouse mendeskripsikan
data warehouse sebagai sekumpulan data yang berorientasi subjek, terintegrasi,
bervariasi waktu, dan non-volatile, yang mendukung proses pengambilan keputusan
oleh manajemen.
Singkatnya, data warehouse adalah suatu konsep dan kombinasi teknologi yang
memfasilitasi organisasi untuk mengelola dan memelihara data historis yang
diperoleh dari sistem atau aplikasi operasional.
Data warehouse membicarakan bagaimana data-data yang besar dan beragam
disimpan dalam satu repository (gudang data) dan disusun sedemikian rupa sehingga
memudahkan pencarian. Data warehouse memungkinkan integrasi berbagai macam
jenis data dari berbagai macam aplikasi atau sistem. Hal ini menjamin mekanisme
akses satu pintu bagi manajemen untuk memperoleh informasi, dan menganalisisnya
untuk pengambilan keputusan.

Universitas Esa Unggul

http://esaunggul.ac.id 2 / 12
 Gambar 2.1. Arsitektur Data Warehouse Menurut Bill Inmon

Bill Inmon lah yang mendefinisikan karakteristik data warehouse dengan

subject oriented (berorientasi subyek), integrated (terintegrasi), time variant (rentang
waktu tertentu) dan non-volatile (tidak diupdate secara real time). Lihat kembali
penjelasan mengenai karakteristik ini di modul 1
Prinsip dasar dari arsitektur data warehouse menurut Bill Inmon diantaranya
adalah sebagai berikut:
 Arsitektur ini biasa juga disebut dengan Hub-and-Spoke Architecture (The
Corporate Information Factory)
 Awalnya dibangun sebuah Enterprise Data Warehouse terlebih dahulu
 Data level atomic disimpan dalam 3th Normal Form di Enterprise Data
Warehouse.
 Data akan di extract dari sistem sumber dan di load ke dalam data warehouse
pada level granularity terendah (data level atomic).
 Data akan di load kedalam data warehouse lewat persistent staging area.
 Data di dalam data warehouse kemudian dibuat summary-nya, dibuat
dimensional nya dengan cara diteruskan ke beberapa dependent data mart.
Data mart ini hanya menyimpan data summary yang disimpan dalam star-
schema atau snowflake schema.
 User bisa melakukan query baik ke data warehouse maupun ke data mart

Universitas Esa Unggul

http://esaunggul.ac.id 3 / 12
1.3. Arsitektur Data Warehouse Menurut Ralp Kimball
Pendekatan Ralp Kimball adalah pendekatan bertahap untuk membangun DW
melalui data mart – data mart yang digabung-gabungkan sehingga menjadi data
warehouse. Penggabungan data mart ini melalui pemakaian dimensi bersama.
Secara umum prinsip arsitektur data warehouse menurut Ralp Kimball adalah
sebagai berikut:
 Arsitektur ini biasa juga disebut dengan the data warehouse bus structure
 Awalnya dibangun sebuah dimensional data mart, belakangan bisa dikembangkan
menjadi beberapa data mart sesuai dengan kebutuhan dan anggaran dari bisnis
user.
 Data mart mengandung baik data atomic maupun data summary
 Tidak ada model normalized, semua data mart adalah dimensional yang
diorganisasikan dalam star-schema
 Data yang diload ke data mart lewat non-persistent staging area
 Penggunaan conform dimension adalah mandatory, dengan menggunakan Bus
Architecture maka semua data mart bisa saling terintegrasi secara logika sehingga
dapat memberikan pandangan Enterprise akan Data.

Gambar 2.2. Arsitektur Data Warehouse Menurut Ralp Kimball

Universitas Esa Unggul

http://esaunggul.ac.id 4 / 12
1.4. Hybrid approach
Metodologi ini dikembangkan untuk memadukan kelebihan dari masing-masing
pendekatan baik bottom-up maupun top-down. Pendekatan ini mencoba untuk
memanfaatkan kecepatan dan orientasi pengguna dari pendekatan bottom-up tanpa
mengorbankan integrasi yang ada di pendekatan top-down. Pieter Mimno, adalah
pendukung paling vokal dari pendekatan ini.
Pendekatan hybrid merekomendasikan untuk mengembangkan model
enterprise dalam normal bentuk ketiga sebelum mengembangkan data mart pertama.
Beberapa data mart pertama juga dirancang dalam bentuk normal ketiga namun
dengan model fisikal skema bintang. Pendekatan pemodelan ganda ini
menyempurnakan model enterprise tanpa mengorbankan kegunaan dan kinerja
query pada skema bintang
Pendekatan hybrid sangat tergantung kepada ETL tool untuk menyimpan dan
mengelola model enterprise dan lokal dalam data mart serta menyinkronkan
perbedaan diantara mereka. Hal ini memungkinkan kelompok lokal (misalnya)
mengembangkan definisi atau aturan mereka sendiri untuk elemen data yang
berasal dari model enterprise tanpa mengorbankan integrasi jangka panjang.
Organisasi juga menggunakan ETL tool untuk mengekstraksi dan memuat data
dari sistem sumber ke dalam dimensi yang ada di data mart baik di tingkat atomik
maupun ringkasan. Sebagian besar ETL tool ini dapat membuat tabel ringkasan
secara cepat (on the fly).
Secara umum, prinsip dasar dari pendekatan gabungan (hybrid) ini adalah:
 Dimulai dengan membuat Enterprise Data Model. Ketika ditambahkan data mart,
data model pada DW diperluas dengan teknik incremental Enterprise Data Model.
 Setelah data mart pertama selesai dibangun, dapat dilanjutkan dengan
membangun beberapa data mart berikutnya sesuai dengan kebutuhan pengguna
bisnis.
 Data mart dibangun lebih dahulu dibanding dengan DW.
 Tidak seperti metodologi tradisional, data mart di populate dengan ETL Tool,
bukan dari DW.
 Demikian juga halnya dengan agregasi, dihitung dengan ETL Tool (bukan dari
DW), menggunakan teknik incremental aggregation.
 Data mart mengandung data atomic yang relevan dengan business area yang
spesifik dan juga mengandung data summary atau agregat nya.

Universitas Esa Unggul

http://esaunggul.ac.id 5 / 12
 Pembangunan DW sifatnya opsional dan bisa dibangun belakangan sampai
dirasa perlu guna menekan redudancy data atomic atau untuk
mengkonsolidasikan data atomic dalam satu database terpusat.
 Pembangunan ODS (operational data store) adalah opsional dan dapat dibuat
belakangan.
 Semua komponen dalam arsitektur ini terintegrasi dengan metadata yang
dihasilkan dan disinkronkan secara otomatis oleh ETL Tool.
 Data yang di load kedalam dimensional data mart lewat non-persistent staging
area.
 Data Mart bersifat dependent, namun ketergatungannya hanya berdasarkan
turunan lokal meta data dari pusat meta data dan bukan tergantung pada data
dari DW.
 Aplikasi DW berdasarkan arsitektur “hub-and-spoke”, namun dengan hub dari
ETL Tool bukan hub dari DW.

1.4. Federated approach

Pendekatan federated sebagaimana didefinisikan oleh pendukungnya yang
paling vokal, Doug Hackney – bukanlah metodologi atau arsitektur, melainkan
konsep yang merasionalisasi penggunaan cara apa pun yang mungkin untuk
mengintegrasikan sumber daya analitik untuk memenuhi perubahan kebutuhan atau
kondisi bisnis. Singkatnya, pendekatan ini merekomendasikan bagaimana
mengintegrasikan beragam DW yang heterogen, data mart, dan bermacam aplikasi
yang sudah dibangun dan terus akan diimplementasikan oleh organisasi.
Masalah utama dengan pendekatan federated adalah tidak
terdokumentasikan dengan baik, karena tidak mendeskripsikan keadaan akhir yang
akan dituju seperti apa. Karena tanpa kejelasan arsitektur secara spesifik justru akan
mengukuhkan fragmentasi dan desentralisasi dari sumber daya analitis. Ujungnya
adalah susahnya integrasi meta data di lingkungan yang heterogen dan selalu
berubah.
Berikut ini beberapa prinsip penting tentang pendekatan federated, yaitu:
 Metodologi ini sebenarnya bukan arsiktektur namun lebih sebagai suatu teori
untuk mengintegrasikan semua sumber daya agar dapat merespon kondisi yang
dinamis.

Universitas Esa Unggul

http://esaunggul.ac.id 6 / 12
 Menyatukan data dari berbagai sumber, termasuk dari data mart atau data
warehouse yang lain
 Memang bukan metodologi yang elegan namun adakalanya sangat berguna dan
sesuai dengan banyak kebutuhan.
 Metodologi ini biasanya dianjurkan pada perusahaan yang sudah mempunyai
lingkungan decision support yang kompleks namun tidak ada keinginan untuk
membangun ulang.

Pada akhirnya setiap arsitektur memiliki plus minus masing-masing. Untuk

memilih arsitektur yang paling tepat perlu mempertimbangkan sisi kebutuhah bisnis,
infrastruktur yang sudah ada, rentang waktu dan anggaran yang tersedia. Perlu
dukungan konsultan yang cukup berpengalaman agar pembangunan DW bisa efektif
dan tepat guna.

2. Software untuk Pembangunan Data Warehouse

Data warehouse memiliki sistem yang cukup rumit dan kompleks jika ingin
membuatnya sendiri. Namun jangan khawatir, dewasa ini ada banyak vendor yang
menyediakan software untuk membangun DW. Sedemikian banyaknya software ini
justru menimbulkan persoalan baru terkait compatibility nya. Berikut beberapa contoh
beberapa software data warehouse yang populer dan telah digunakan oleh berbagai
perusahaan dan institusi.
Amazon Redshift
Amazon Redshift merupakan salah satu service yang disediakan oleh salah
satu perusahaan marketplace terbesar, Amazon. Data warehouse yang ditawarkan
di sini berupa sistem penyimpanan data cloud yang terkenal akan kecepatannya.
Cocok bagi perusahaan atau institusi dengan beban kerja konkuren tinggi. Hal ini
karena Amazon Redshift dapat menangani konkurensi hingga nyaris tak terbatas.
Adapun beberapa fitur unggulan Amazon Redshift sebagai berikut:
 Inteligensi bisnis yang membuat keputusan bagi perusahaan dari data yang terus
bergerak dan bertumbuh.
 Analisis prediktif yang dapat berguna untuk menganalisa data produk yang
digunakan oleh pelanggan dan merekomendasikan produk dengan spesifik dan
tepat sasaran.

Universitas Esa Unggul

http://esaunggul.ac.id 7 / 12
 Analitik alira real-time yang mampu memberikan data secara real-time,
memberikan data yang benar-benar baru untuk kebutuhan bisnis anda.
 Amazon Redshift akan mempermudah dalam mengolah analisis query yang
kompleks, dengan optimasi query yang canggih, hingga penyimpanan kolom pada
local disk dengan kinerja tinggi dan eksekusi query paralel yang besar.

Gambar 2.3. Amazon Redshift

Panoply
Panoply menyediakan platform manajemen data dari ujung ke ujung. Data
warehouse satu ini bisa dibilang merupakan salah satu platform yang sangat mudah
dioperasikan, karena tidak membutuhkan coding bagi yang ingin mengambil data.
Panoply menggunakan sistem mesin pembelajaran dan Natural Language
Processing (NLP) yang berfungsi untuk membentuk informasi dari berbagai sumber
dengan teknik eliminasi. Panoply akan merampingkan data yang dibutuhkan menjadi
paling spesifik yang akan mengurangi waktu pengambilan data pendukung.
Panoply akan memudahkan dalam memulai dan menambahkan berbagai data dari
berbagai sumber yang diinginkan. Koneksi antara sumber data dan sistem data bisa
di custom sesuai dengan kebutuhan yang memberikan laporan data mendalam dan
bermutu.

Universitas Esa Unggul

http://esaunggul.ac.id 8 / 12
 Gambar 2.4. Panoply

BigQuery
BigQuery merupakan data warehouse milik Google tanpa server, memiliki skala yang
besar dengan harga yang terjangkau. Service ini masuk dalam bagian Google Cloud
Platform dengan kapasitas yang besar. Dengan sistem NoOPs (tanpa operator)
analisis data, BigQuery menawarkan pengguna kemampuan untuk mengatur
data menggunakan SQL yang cepat seperti query untuk analisis real-time dengan
sumber terbaru yang pastinya sangat menguntungkan.

Gambar 2.5. BigQuery

Universitas Esa Unggul

http://esaunggul.ac.id 9 / 12
C. Latihan
a. Bagaimana cara menentukan arsitektur data warehouse yang paling
sesuai dengan organisasi kita?
b. Banyaknya software/ tools data warehouse yang tersedia di pasaran
membuat kita susah menentukan mana yang sesuai dengan kondisi
organisasi/ perusahaan. Apa kriteria yang bisa digunakan untuk
menetapkan pilihan software/ tools apa yang paling sesuai dengan kondisi
perusahaan/ organisasi kita?
c. Apa kelebihan/ kekurangan dari pendekatan top-down dan bottom-up?
d. Apa beda antara data warehouse dengan data mart?

D. Kunci Jawaban

a. Tidak ada arsitektur data warehouse yang sesuai untuk semua organisasi.
Kebutuhan bisnis, infrastruktur yang ada, kapan waktu dibutuhkan serta
anggaran yang tersedia menjadi faktor penentu arsitektur yang sesuai
dengan organisasi
b. Tidak ada acuan yang pasti yang bisa berlaku general untuk semua
organisasi/ perusahaan. Anggaran yang tersedia, rentang waktu dan
kebutuhan bisnis yang akan menentukan mana yang paling sesuai.
c. Lihat kembali tabel 2.1 di atas
d. Data mart adalah bagian dari data warehouse. Data mart biasanya fokus
hanya pada satu departemen tertentu atau satu subyek area tertentu.
Semantara data warehouse mencakup satu enterprise.

Referensi
Inmon, W. H. (2005). Building the data warehouse (4th ed.): John Wiley & Sons, Inc.
New York, NY, USA.
Kimball, R. and Ross, M. (2013). Data Warehouse Toolkit. 3rd edition. Wiley
Publishing.
Kimball, R., Ross, M., Thornthwaite, W., Mundy, J. and Becker, B. (2008). The Data
Warehouse Life Cycle Toolkit: Practical Techniques for Building Data

Universitas Esa Unggul

http://esaunggul.ac.id 10 /
12
 Warehouse and Business Intelligent Systems. Second Edition. Wiley Publishing,
Inc. IN 46256

Universitas Esa Unggul

http://esaunggul.ac.id 11 /
12