1.1.

Kebutuhan akan strategic information

Kebutuhan akan strategic information

Lingkungan dari organisasi bisnis sudah mengalami banyak perubahan di abad ke-21. Dinamika
perubahan ini mau tidak mau memaksa organisasi bisnis untuk beradaptasi agar bisa
mempertahankan kelangsungan organisasinya. 

Ada banyak faktor yang mempengaruhi perubahan lingkungan bisnis organisasi. Globalisasi

merupakan salah satu faktor penyebab perubahan ini. Globalisasi terjadi ketika perbedaan jarak
dan waktu di dunia ini menjadi semakin kabur, sehingga hampir tidak ada batas yang
membedakan antar negara. Perkembangan teknologi informasi dan telekomunikasi menjadi
pemicunya. Dengan dukungan internet, kita dapat berkomunikasi dan bertukar informasi secara
cepat, mudah, dan murah.

Perubahan pada lingkungan bisnis dapat menjadi tekanan, karena perusahaan dituntut untuk
beradaptasi agar bisa tetap bertahan dalam industri bisnis. Apabila mereka kurang tanggap atau
terlambat dalam merespon perubahan yang ada, kelangsungan bisnis mereka menjadi terancam.

Nokia terlambat dalam menyikapi perubahan yang terjadi di pasar, di mana orang sudah mulai
beralih ke sistem operasi Symbian dan iOS yang sangat cepat perkembangannya. Pada masa
transisi itu, Nokia justru masih tetap bertahan dengan sistem operasi Symbian-nya, yang pada
akhirnya membuat mereka perlahan-lahan kalah bersaing dengan kompetitornya.

Demikian pula pada suatu organisasi, mereka harus bisa melihat gejala-gejala atau perubahan
yang terjadi pada lingkungan bisnisnya.

Beberapa respon/tindakan yang bisa diambil oleh manajemen di antaranya:

 Membuat perencanaan strategis. 

 Menggunakan bisnis model terbaru dan inovatif. 
 Memperbaiki proses bisnis. 
 Berpartisipasi dalam kerjasama bisnis.
 Memperbaiki sistem informasi perusahaan. 
 Memperbaiki relasi kerjasama. 
 Mendorong inovasi dan kreativitas. 
 Meningkatkan layanan dan relasi dengan pelanggan
 Beralih ke e-commerce 
 Beralih ke skema produksi make-to-order
 Mengimplementasikan TI untuk meningkatkan komunikasi, akses
data (pemanfaatan informasi), dan kolaborasi
 Respon cepat terhadap kompetitor (dalam harga, promosi, produk dan
jasa baru) 
 Mengotomasi banyak aktivitas 
 Mengotomasi pengambilan keputusan tertentu 
 Meningkatkan pengambilan keputusan dengan analitik
Hystory of past DSS

Kemampuan perusahaan untuk dapat bersaing dalam kompetisi tentunya sangat

dipengaruhi oleh respon mereka dalam pengambilan keputusan. Pengambilan
keputusan yang baik memerlukan informasi pendukung terkait kondisi internal organisasi
maupun kondisi eksternal lingkungan bisnis. Mengingat kondisi lingkungan bisnis yang
semakin dinamis dan sangat cepat berubah, sistem pendukung ini haruslah bisa dengan
cepat menyampaikan perubahan yang terjadi.

Kecerdasan Bisnis, atau dikenal secara luas dengan sebutan Business Intelligence (BI), pada
dasarnya merupakan evolusi dari sistem pendukung keputusan.

Business Intelligence (BI)

Secara umum, BI adalah sebuah payung istilah yang mengkombinasikan berbagai arsitektur,
teknik, analytical tools, aplikasi, dan metodologi yang memungkinkan kemudahan akses
terhadap data untuk membantu manajer melakukan analisis bisnis. BI membantu dalam
transformasi data, menjadi informasi (serta pengetahuan), kemudian menjadi keputusan dan
akhirnya menjadi tindakan.

Kapabilitas BI

BI merupakan sebuah payung istilah yang membawahi berbagai kapabilitas,

Keterangan:

1. Spreadsheet --> merupakan alat yang dapat digunakan dengan mudah dan

sederhana untuk menyusun laporan
2. Decision Support System (DSS) --> SPK merupakan sistem yang terkomputerisasi
dalam mengelola dan menganalisis data dengan mengunakan model, tujuannya
untuk meyakinkan (memperkuat) pemilihan keputusan.
3. Extract, Transform, Load (ETL) --> Extract merupakan proses menghimpun data
dari database. Transform merupakan proses mengkonversi data tersebut dengan
cara menggabungkan beberapa data dengan dimensi yang sama, diukur menjadi
data yang dibutuhkan (format) yang sesuai.
4. Data Warehouse --> tempat utama (pusat) yang digunakan untuk menyimpan
semua data perusahaan yang berguna untuk mendukung keputusan
5. Data Mart --> menyimpan data, namun Data Mart merupakan bagian kecil dari Data
Warehouse.
 6. Metadata --> merupakan sekumpulan data (informasi) mengenai data tersebut.
Metadata dapat dikatakan sebagai gambaran dari data itu sendiri. 
7. Query and Reporting --> merupakan suatu formula (kode) yang digunakan untuk
memproses data dari database dan menampilkan informasi yang dibutuhkan kepada
pengguna (manajer).
8. Executive Information System (EIS) --> merupakan sistem pendukung keputusan
(SPK) yang digunakan untuk manejer dalam memilih keputusan. EIS menampilkan
informasi penting yang mencakup keseluruhan aktivitas (bisnis) di perusahaan,
namun EIS menyediakan informasi yang mudah dipahami oleh pengguna (manajer).
9. Financial Reporting --> Financial reporting tidak hanya berupa cash flow, laporan
laba-rugi, tetepi juga berisi rencana perkiraan manajemen di masa depan. Dengan
mengkomunikasikan isi laporan keuangan, manfaat yang didapat menjadi lebih
banyak
10. Online Analytical Processing (OLAP) --> proses untuk menganalisis data dengan
sudut pandang yang berbeda (multidimensi).
11. Dashboard --> merupakan suatu alat yang digunakan untuk menampilkan seluruh
informasi singkat mengenai kegiatan (performa) perusahaan dengan menggunakan
visualisasi atau grafik yang menyerupai dashboard pada kendaraan (digital cockpit)
12. Scorecard Dashboard --> memiliki cara kerja dan fungsi yang hampir sama dengan
Digital Cockpit Dashboard.
13. Workflow --> merupakan serangkaian langkah-langkah yang diperlukan yang
melibatkan beberapa orang dalam menyelesaikan tugas perusahaan. Workflow
menggambarkan alur kerja yang berurutan, dan setiap langkah juga saling
berinteraksi (berkesinambungan/berhubungan) dengan langkah lainnya
14. Alert and Notification --> merupakan pesan peringatan (pemberitahuan) yang
dikirim kepada manajer, yang menunjukkan adanya kondisi atau kejadian yang
penting (salah), sehingga manajer dapat mengambil keputusan dengan cepat.
15. Data Mining --> erupakan proses mendapatkan informasi baru yang didapatkan
dari pengumpulan data, kemudian data tersebut diproses dengan cara meringkas
dan menggabungkannya dengan data lainnya.
16. Predictive Analytics --> merupakan proses menganalisis pola pada data yang telah
didapatkan.
17. Broadcasting Tool --> merupakan alat yang digunakan untuk menyebarkan
(membagikan) informasi kepada pengguna
18. Portal --> merupakan wadah yang diperuntukkan menampung seluruh laporan di
perusahaan dengan menggunakan sistem. Portal menampilkan seluruh laporan, dan
informasinya disajikan dalam bentuk tabel maupun grafik.

Arsitektur dan Komponen BI

Sistem BI terdiri dari 4 komponen utama, yaitu:

 1. Data Warehouse, yang merupakan sumber data dari BI
2. Business Analytics, dengan kumpulan tools untuk manipulasi, mining, dan
menganalisis data dari data warehouse;
3. Business Performance Management (BPM), digunakan untuk monitoring dan
menganalisis performa bisnis
4. User interface, untuk menyampaikan informasi pada pengguna

Operational vs. DSS

Istilah intelijen bisnis pertama kali digunakan oleh Hans Peter, seorang peneliti di IBM,
dalam sebuah artikel pada tahun 1958. Bisnis intelijen merupakan evolusi dari sistem
pendukung keputusan Decision Support Systems (DSS) yang dimulai pada tahun 1960 dan
dikembangkan pada tahun 1980-an . DSS berasal dari model dibantu komputer dibuat
untuk membantu pengambilan keputusan atau Executive Information Systems (EIS) dan
perencanaan. Dari DSS --> Data Warehouse --> Executive Information System (EIS) -->
OLAP dan akhirnya menjadi intelijen bisnis.

Decision Support System (DSS) bisa diterjemahkan sebagai Sistem Pendukung Keputusan
atau yang lebih dikenal dengan SPK. SPK merupakan sistem yang terkomputerisasi dalam
mengelola dan menganalisis data dengan mengunakan model, tujuannya untuk meyakinkan
(memperkuat) pemilihan keputusan.

Fungsi sistem pendukung keputusan seperti data warehouse, fungsi tersebut harus
dilakukan pada platform komputasi.

Data Warehousing as Viable Solution

Pada dasarnya Data Warehouse (DW) adalah database, dan merupakan pusat data yang
dibentuk dari hasil penggabungan dan pengolahan data dari beragam sumber data.
Biasanya DW digunakan untuk keperluan pelaporan dan analisis data. 

Business Intelligent (BI) adalah Kumpulan metodologi, proses, arsitektur, dan teknologi

yang berfungsi untuk mentransformasi data menjadi informasi yang mengandung arti dan
berguna. Biasanya informasi ini ditampilkan dalam bentuk laporan, analitik dan dashboard.
Pada umumnya BI menggunakan DW sebagai sumber datanya. Informasi yang dihasilkan
oleh BI digunakan sebagai landasan dalam pengambilan keputusan dalam sebuah
perusahaan.

Konsep Data Warehouse

Konsep dasar data warehouse antara lain sebagai berikut :

1. Mengambil data dari berbagai operational systems 

 2. Jika dibutuhkan dapat menyertakan data yang relevant dari sumber lain diluar sistem
seperti indikator keberhasilan 
3. Mengintegrasikan seluruh data dari berbagai sumber 
4. Menghilangkan data yang tidak konsisten dan merubah bentuk sesuai kebutuhan
5. Menyimpan data dalam format yang mudah digunakan untuk pengambilan
keputusan

Defenisi DW:

Data Warehouse (DW) adalah sebuah repository fisik dimana data relasional dikelola untuk
menyediakan data yang berkualitas dengan standar format untuk skala enterprise. Data
warehouse merupakan kumpulan dari database yang terintegrasi dan berorientasi subjek
untuk menunjang fungsi DSS, dimana setiap unit data bersifat nonvolatile dan relevan pada
suatu momen waktu.

Konsep data warehouse

Menurut Inmon data warehouse adalah merupakan kumpulan data yang berorientasi
subyek, terintegrasi, tidak dapat di update, memiliki dimensi waktu, yang digunakan untuk
mendukung proses manajemen pengambilan keputusan dan kecerdasan bisnis. Berdasarkan
definisi tersebut, maka data warehouse memiliki karakteristik sebagai berikut :

1. Berorientasi subjek --> Data diorganisasi oleh subjek detail (misal berdasarkan

pelanggan), berisi informasi yang relevan untuk mendukung keputusan.
2. Terintegrasi --> Data pada sumber berbeda dapat di encode dengan cara yang
berbeda. Sebagai contoh data jenis kelamin dapat di encode sebagai 0 dan 1 di satu
tempat dan “m” dan “f” di tempat lain. Di dalam data warehouse, encode tersebut
dibersihkan atau dibuat ke dalam satu format sehingga datanya dapat distandarisasi
dan konsisten. Data yang terintegrasi mengatasi inkonsistensi dan menyediakan
istilah yang seragam di organisasi keseluruhan, juga format waktu dan data yang
bervariasi.
3. Time-variancy --> Data tidak menyediakan status saat ini, namun disimpan untuk 5
atau 10 tahun bahkan lebih dan digunakan untuk tren, peramalan, dan
perbandingan. Ada kualitas sementara pada sebuah data warehouse. Waktu adalah
dimensi penting yang harus didukung oleh semua data warehouse. Data untuk
analisis dari berbagai sumber berisi berbagai poin waktu (misal, harian, mingguan,
bulanan).
4. 4. Non Volatile --> Sekali dimasukkan ke dalam data warehouse, data adalah read
only, mereka tidak bias diubah atau dibarui. Data using dibuang, dan perubahan
direkam sebagai data baru. Ini memungkinkan data warehouse untuk disesuaikan
hamper secara ekslusif untuk akses data. Sebagai contoh, sejumlah besar ruang
kosong (untuk pertumbuhan data) umumnya tidak diperlukan dan reorganisasi
 database dapat dijadwalkan bersama dengan operasi pengisian sebuah data
warehouse.

Tujuan Data Warehouse:

Tujuan dari data warehouse adalah sebagai berikut :

1. Mengintegrasikan data organisasi dengan jumlah yang besar menjadi satu wadah
dimana pengguna dapat dengan mudah menjalankan query, membuat laporan serta
melakukan analisis.
2. Data warehouse menyediakan layanan sehingga kalangan bisnis dapat mengakses
data, yang sebenarnya rumit dan sulit dipahami, dengan cukup mudah.
3. Dengan adanya data warehouse, sebuah title customer dapat ditentukan mungkin
dari jumlah total pembelian atau faktor lainnya.
4. Untuk menyimpan data yang lama dengan akurat.
5. Slice and Dice data. Sebuah ketersediaan data detail dapat meningkatkan bisnis
analisis dengan mengurangi waktu dan usaha yang diperlukan untuk mengumpulkan
data kembali.
6. Memisahkan antara proses analisis dan operasional.
7. Mendukung re-engineering pada decisional process. Dengan sifatnya yang
memfokuskan pada pengambilan keputusan bisnis, data warehouse adalah sebuah
sistem yang ideal apabila diperlukan re-engineering pada proses pengambilan
keputusan bisnis.

Mekanisme Data Warehouse

Data warehouse memiliki 4 (empat) level data (Kimball, 2004) yaitu :

1. Level operasional ---> Level ini khusus menyimpan data yang berorientasi pada
aplikasi secara detil dan diutamakan untuk memenuhi kebutuhan operasional. Akses
pada level ini umumnya memiliki frekuensi yang sangat tinggi, sering juga disebut
dengan OLTP (Online Transactional Processing).
2. Level integrasi --> Level ini menyimpan data historis yang terintegrasi serta
berorientasi subjek. Data pada level ini lebih sederhana daripada di level operasional
dan tidak dapat di-update
3. Level data mart --> Level ini dirancang sesuai dengan kebutuhan dari pengguna
dan merupakan data agregasi
4. Level individual --> Level ini merupakan tempat terjadinya analisis dan reporting.
Data pada level ini bersifat temporal, ad hoc, heuristic dan non retitif

Karakterisitik arsitektur data warehouse

 1. Data diambil dari sistem asal (sistem informasi yang ada), database dan file.
2. Data dari sistem asal diintegrasikan dan ditransformasi sebelum disimpan ke dalam
Database Management System (DBMS) seperti Oracle, Ms SQL Server, Sybase dan
masih banyak yang lainnya.
3. Data warehouse merupakan sebuah database terpisah bersifat hanya dapat dibaca
yang dibuat khusus untuk mendukung pengambilan keputusan.
4. Pemakai mengakses data warehouse melalui aplikasi front end tool.

Sumber data yang masuk ke dalam data warehouse dapat dikelompokkan ke dalam empat
kategori besar, sebagai berikut :

1. Production Data --> Kategori data ini berasal dari berbagai sistem operasional
perusahaan. Ini biasanya mencakup sistem keuangan, sistem manufaktur, sistem
supply chain, dan sistem manajemen hubungan pelanggan.
2. Internal Data --> Setiap organisasi, pengguna menyimpan spreadsheet "pribadi",
dokumen, profil pelanggan, dan terkadang bahkan database departemen. Ini adalah
data internal, bagian yang bisa berguna di data warehouse
3. Archived Data --> Disetiap sistem operasional, secara berkala dilakukan
pengambilan data lama dan menyimpannya di file arsip.
4. External Data --> Kebanyakan eksekutif atau top level management bergantung
pada data dari sumber eksternal dengan persentase tinggi untuk informasi yang
digunakan.
5. Data source. Data bersumber dari beberapa sistem operasional independen dan
mungkin dari penyedia data eksternal (seperti data sensus dari pemerintah). Data
mungkin juga berasal dari proses transaksi online (OLTP) atau sistem ERP. Data web
dalam bentuk log Web mungkin juga input sebuah data warehouse.
6. Data extraction and transformation. Data diekstraksi dan ditransformasikan
dengan benar menggunakan perangkat lunak yang ditulis khusus atau komersial
yang disebut ETL.
7. Data loading. Data dimasukkan ke area pementasan, di mana mereka
ditransformasikan dan dibersihkan. Data tersebut kemudian siap dimuat ke data
warehouse dan / atau data mart
8. Enterprise Data Warehouse (EDW). Sebuah data warehouse dengan skala
enterprise yang digunakan untuk mendukung pengambilan keputusan. Pada intinya,
EDW mendukung semua analisis keputusan dengan memberikan informasi terperinci
yang relevan yang berasal dari berbagai sumber.
9. Data mart adalah sebuah data warehouse yang lebih kecil (per departemen) yang
hanya menyimpan data yang relevan dengan area tertentu. Ada dua jenis data mart:
1) Dependent data mart, sebuah subset yang diturunkan langsung dari data
warehouse; 2) Independent data mart, sebuah data warehouse kecil yang khusus
didesain untuk suatu unit bisnis atau departemen
 10. Operational data stores (ODS). Sebuah tipe database yang biasanya digunakan
sebagai penyimpanan sementara untuk data warehouse (short-term memory)
11. Metadata, data tentang data. Dalam data warehouse, metadata mendeskripsikan
konten dari data warehouse, membantu dalam mengkonversi data menjadi
informasi/pengetahuan

Definisi Data Warehouse

Data Warehouse (DW) adalah sebuah repository fisik dimana data relasional dikelola untuk
menyediakan data yang berkualitas dengan standar format untuk skala enterprise. Data
warehouse merupakan kumpulan dari database yang terintegrasi dan berorientasi subjek
untuk menunjang fungsi DSS, dimana setiap unit data bersifat nonvolatile dan relevan pada
suatu momen waktu.

Karakteristik Data Warehouse

Data Warehouse memiliki 9 karakteristik utama:

 Subject oriented (Berorientasi subjek), artinya data disusun menurut subjek rinci,

seperti penjualan, produk, atau pelanggan, dan hanya berisi informasi yang relevan
untuk dukungan keputusan. Orientasi subjek memungkinkan pengguna untuk
menentukan tidak hanya bagaimana kinerja bisnis mereka, namun juga alasan di
baliknya. Data warehouse berbeda dari database operasional sehingga sebagian
besar database operasional memiliki orientasi produk dan disesuaikan untuk
menangani transaksi yang memperbarui basis data. Orientasi subjek memberikan
pandangan yang lebih komprehensif tentang organisasi.
 Integrated. Integrasi sangat erat kaitannya dengan orientasi subjek. Data warehouse
harus menempatkan data dari sumber yang berbeda ke dalam format yang
konsisten. Untuk melakukannya, terdapat konflik yang bisa muncul seperti format
penamaan dan perbedaan satuan ukuran yang digunakan.
 Time-variant (time series). Sebuah data warehouse menyimpan data historis. Data
tidak selalu memberikan status terkini (kecuali dalam sistem real-time). DW
mendeteksi tren, penyimpangan, dan hubungan jangka panjang untuk peramalan
dan perbandingan, yang mengarah pada pengambilan keputusan. Setiap data
warehouse memiliki kualitas pada waktu tertentu. Waktu adalah satu dimensi
penting yang harus dimiliki semua data warehouse. Data untuk analisis dari berbagai
sumber berisi banyak titik waktu (misalnya harian, mingguan, dan bulanan).
 Nonvolatile. Setelah data dimasukkan ke dalam data warehouse, pengguna tidak
dapat mengubah atau memperbarui data. Data usang akan dibuang, dan perubahan
dicatat sebagai data baru
 Web-based. Data warehouse biasanya dirancang sesuai dengan lingkungan
komputasi yang efisien untuk aplikasi berbasis Web.
  Relational / multidimensional. Sebuah gudang data menggunakan struktur
relasional atau struktur multidimensi.
 Client-server. Sebuah data warehouse menggunakan arsitektur client-server untuk
menyediakan akses mudah bagi pengguna akhir.
 Real time. Data warehouse yang lebih baru memberikan kemampuan akses data
dan analisis real-time
 Metadata. Sebuah gudang data berisi metadata (data tentang data), yaitu
bagaimana data disusun dan bagaimana menggunakannya secara efektif.

Komponen utama dari framework DW:

 Data source. Data bersumber dari beberapa sistem operasional independen dan

mungkin dari penyedia data eksternal (seperti data sensus dari pemerintah). Data
mungkin juga berasal dari proses transaksi online (OLTP) atau sistem ERP. Data web
dalam bentuk log Web mungkin juga input sebuah data warehouse
 Data extraction and transformation. Data diekstraksi dan ditransformasikan
dengan benar menggunakan perangkat lunak yang ditulis khusus atau komersial
yang disebut ETL.
 Data loading. Data dimasukkan ke area pementasan, di mana mereka
ditransformasikan dan dibersihkan. Data tersebut kemudian siap dimuat ke data
warehouse dan / atau data mart
 Enterprise Data Warehouse (EDW). Sebuah data warehouse dengan skala
enterprise yang digunakan untuk mendukung pengambilan keputusan. Pada intinya,
EDW mendukung semua analisis keputusan dengan memberikan informasi terperinci
yang relevan yang berasal dari berbagai sumber.
 Data mart adalah sebuah data warehouse yang lebih kecil (per departemen) yang
hanya menyimpan data yang relevan dengan area tertentu. 
 Ada dua jenis data mart: 
1.  Dependent data mart, sebuah subset
yang diturunkan langsung dari data
warehouse; 
2.  Independent data mart, sebuah data
warehouse kecil yang khusus didesain
untuk suatu unit bisnis atau
departemen
 Operational data stores (ODS). Sebuah tipe database yang biasanya digunakan
sebagai penyimpanan sementara untuk data warehouse (short-term memory)
 Metadata, data tentang data. Dalam data warehouse, metadata mendeskripsikan
konten dari data warehouse, membantu dalam mengkonversi data menjadi
informasi/pengetahuan

Key Feature of DW
Banyak organisasi perlu membuat Data Warehouse yang digunakan untuk mendukung
keputusan. Ada dua pendekatan yang dapat digunakan dalam pengembangan DW. 

1. Model Inmon: pendekatan EDW. Pendekatan Inmon menekankan pengembangan

top down, menggunakan metodologi dan alat pengembangan database yang
mapan, seperti diagram hubungan entitas (entity-relationship diagram / ERD), dan
penyesuaian pendekatan pengembangan spiral. Pendekatan EDW tidak menghalangi
pembuatan data mart. EDW adalah ideal dalam pendekatan ini karena memberikan
pandangan perusahaan yang konsisten dan komprehensif.
2. Model Kimball: pendekatan data mart. Strategi data mart Kimball adalah
pendekatan "rencana besar, pembangunan kecil". Data mart adalah gudang data
berorientasi objek atau berorientasi departemen. Ini adalah versi skala kecil dari data
warehouse yang berfokus pada rmintaan departemen tertentu seperti pemasaran
atau penjualan. Model ini menggunakan pemodelan data dimensional, yang dimulai
dengan tabel. Kimball menganjurkan sebuah metodologi pengembangan yang
memerlukan pendekatan bottom-up, yang dalam kasus data warehouse berarti
membangun satu data mart setiap waktu.

Keunggulan DW:

1. Ukurannya yang sangat besar dan sifat intrinsiknya, 

2. data warehouse memerlukan pemantauan yang sangat kuat untuk mempertahankan
efisiensi dan produktivitas yang memuaskan.
3.  Administrasi dan pengelolaan gudang data yang sukses memerlukan keterampilan
dan kemampuan yang melampaui apa yang dibutuhkan oleh database administrator
(DBA) tradisional

Data warehouse administrator (DWA) harus terbiasa dengan perangkat lunak,

perangkat keras, dan jaringan berkinerja tinggi. Dia juga harus memiliki wawasan bisnis
yang solid. Karena data warehouse memberi input bagi sistem BI dan DSS yang membantu
manajer dalam melakukan pengambilan keputusan, DWA harus terbiasa dengan proses
pengambilan keputusan sehingga dapat merancang dan memelihara struktur data
warehouse dengan baik. Pada akhirnya, DWA harus memiliki kemampuan komunikasi yang
sangat baik.

DW and Data Marts

Data Mart dan Data Warehouse sebenarnya memiliki fungsi yang serupa yaitu menyimpan
data, namun Data Mart merupakan bagian kecil dari Data Warehouse. Sekumpulan data
yang dibutuhkan oleh pengguna disimpan dalam Data Mart. Jika Data Warehouse
menyimpan seluruh data perusahaan, maka Data Mart hanya menyimpan sekumpulan data
pada suatu fungsi/divisi. 
Tujuan dari Data Mart adalah untuk memenuhi kebutuhan informasi dari sekelompok
pengguna tertentu. Sebagai contoh, untuk manajer Human Resource Development (HRD),
data yang diperlukan adalah data yang berhubungan dengan HRD, misalnya absensi
pegawai, performa pegawai, dan lain sebagianya.

Setelah data warehouse terbentuk, informasi yang bisa diambil tentunya jauh lebih luasdan
lengkap. Pada data warehouse kemungkinan besar terjadi proses pembersihan data
(data cleansing) dan pengayaan data (content enrichment).

Dari data warehouse ini sering dibutuhkan subset data / informasi yang hanya dibutuhkan
oleh divisi:divisi tertentu. Dan kadang jauh lebih baik apabila secara fisik database ini
terpisah sendiri untuk divisi tersebut. 

Subset dari data warehouse ini disebut dengan istilah Data Mart

Komponen DW

Metadata dalam Data WareHouse

Kamus Data/ Data Katalog dalam DBMS (Database Management System)

Metadata

1. Informasi tentang logical  struktur data

2. Informasi file dan alamatnya
3. Informasi index

Metadata di DW

Pengenalan Metadata

TIPE-TIPE METADATA

1. OPERASI METADATA
2. EKSTRAKSI DAN TRANSFORMASI METADATA
3. END – USER METADATA

 OPERASI METADATA
Terdiri dari semua informasi tentang data sumber
Proses:
Pilih data dari sistem sumber untuk data warehouse, pisah recordnya, gabungkan bagian
record dengan file sumber lainnya, dan berhasil dengan skema multiple coding dan panjang
field
EXTRAKSI DAN INFORMASI METADATA

Terdiri dari data dari data extraksi data dari sistem sumber, yaitu:

1. Extraction frequencies
2. Extraction method
3. Business rules untuk data extraction

END-USER METADATA
Adalah Peta Navigasi pada data warehouse

1. Production Data --> data operasional persh.

2. Internal Data --> spreadsheets, dokumen, Profil pelanggan, dan database
departemen persh.
3. Archived Data --> data operasional yang telah disimpan
4. External Data --> data statistik, penelitian dari agenci luar, market share competitor,
indikator financial standar
5. Data staging component : dari berbagai SO + eksternal data disimpan pd
DW yang harus dirubah / disamakan formatnya sehingga dapat disimpan u/ query
& Analisa

Ada 3 komponen:

1. Ekstraksi data 
2. Transformasi data,
3. Loading data (ETL)

Data Storage Component

 Repository data warehouse terpisah dengan repositori sistem operasional

 Sistem Operasional mendukung “day-to-day operation” (OLTP)
 Data warehouse data histori yang besar untuk kebutuhan analisa data.
 Proses ETL (Extraction, Transformation, Load)
 Inti sisi teknis dari proses data warehouse adalah Extraction, Transformation, and
Load (ETL). Teknologi ETL, yang telah ada selama beberapa waktu, berperan penting
dalam proses dan penggunaan data warehouse. Proses ETL adalah komponen
integral dalam proyek data-sentris. Manajer TI sering dihadapkan pada tantangan
 karena proses ETL biasanya menghabiskan 70 persen waktu dalam proyek data-
sentris.
 Proses ETL terdiri dari extraction (yaitu membaca data dari satu atau lebih database),
transformation (yaitu mengubah data yang diekstraksi dari bentuk sebelumnya
menjadi bentuk yang diperlukan sehingga dapat ditempatkan ke dalam data
warehouse), dan load (yaitu memasukkan data ke dalam data warehouse).
Transformasi terjadi dengan menggunakan aturan atau tabel lookup atau dengan
menggabungkan data dengan data lainnya.
 Alat ETL juga memindahkan data dari sumber ke target, mendokumentasikan
bagaimana elemen data (misalnya metadata) berubah saat mereka berpindah
antara sumber dan target, bertukar metadata dengan aplikasi lain sesuai
kebutuhan, dan mengelola semua proses dan operasi yang
mendukung (misalnya penjadwalan, manajemen kesalahan, log audit, statistik). 
 Tujuan dari proses ETL adalah mengisi data warehouse dengan data yang
terintegrasi dan bersih. Data yang digunakan dalam proses ETL dapat berasal dari
sumber manapun: aplikasi mainframe, aplikasi ERP, CRM, file flat, atau spreadsheet
Excel. 

Tujuan dari proses ETL

Tujuan dari proses ETL adalah mengisi data warehouse dengan data yang terintegrasi dan
bersih. Data yang digunakan dalam proses ETL dapat berasal dari sumber manapun: aplikasi
mainframe, aplikasi ERP, CRM, file flat, atau spreadsheet Excel.

Proses migrasi data ke data warehouse melibatkan ekstraksi data dari semua sumber yang
relevan. Sumber data dapat terdiri dari file yang diambil dari database OLTP, spreadsheet,
database pribadi (misalnya Microsoft Access), atau file eksternal. Biasanya, semua file input
ditulis ke satu set tabel staging, yang dirancang untuk memudahkan proses pemuatan.
Sebuah data warehouse berisi banyak aturan bisnis yang mendefinisikan hal-hal seperti
bagaimana data akan digunakan, aturan summarization, standardisasi atribut yang
dikodekan, dan aturan perhitungan. Setiap masalah kualitas data yang berkaitan dengan file
sumber perlu dikoreksi sebelum data dimasukkan ke dalam data warehouse

Komponen Manajemen Dan Kontrol

 Komponen ini mengkoordinir servis dan aktivitas dalam data

warehouse.
 Komponen ini berhubungan dengan komponen metadata untuk
melakukan fungsi kontrol
 Metadata adalah sumber informasi bagi modul manajemen
Pengenalan Metadata

Metadata merupakan sekumpulan data (informasi) mengenai data tersebut. Metadata

dapat dikatakan sebagai gambaran dari data itu sendiri. Sebagai contoh, pada file
(dokumen) MS Word jika diperhatikan lebih dapat diketahui jenis file, format yang
digunakan, kapan dibuat, kapan file tersebut diubah, siapa pemilik file tersebut, dan lain-
lain.
Metadata yaitu sebuah gudang data berisi metadata (data tentang data), yaitu bagaimana
data disusun dan bagaimana menggunakannya secara efektif.
Metadata, data tentang data. Dalam data warehouse, metadata mendeskripsikan konten
dari data warehouse, membantu dalam mengkonversi data menjadi informasi/pengetahuan

TIPE-TIPE METADATA

1. OPERASI METADATA 
2.  EKSTRAKSI DAN TRANSFORMASI METADATA
3. END – USER METADATA

OPERASI METADATA

Terdiri dari semua informasi tentang data sumber

Proses: Pilih data dari sistem sumber untuk data warehouse, pisah recordnya, gabungkan
bagian record dengan file sumber lainnya, dan berhasil dengan skema multiple coding dan
panjang field

EXTRAKSI DAN INFORMASI METADATA

Terdiri dari data extraksi data dari sistem sumber, yaitu:

1. Extraction frequencies
2. Extraction method
3. Business rules untuk data extraction

END-USER METADATA

Adalah Peta Navigasi pada data warehouse

Fungsi Metadata

1. Menggabungkan semua bagian pada data warehouse

2. Menyediakan informasi tentang isi dan struktur pada pengembang 
3. Membuka pintu bagi end - user dan membuat isi yang dapat dikenal oleh mereka.
Integrasi Data

Integrasi data terdiri dari tiga proses utama yang, ketika diterapkan dengan benar,
mengizinkan data diakses dari berbagai alat analisis ETL dan data warehouse: akses
data (yaitu kemampuan untuk mengakses dan mengekstrak data dari sumber
data), federasi data (yaitu integrasi pandangan bisnis di beberapa penyimpanan data),
dan perubahan (berdasarkan identifikasi, pengambilan, dan penyampaian dari
perubahan yang dilakukan pada sumber data perusahaan). Beberapa vendor, seperti
SAS Institute, Inc., telah mengembangkan alat integrasi data yang kuat. Integrasi data
perusahaan SAS mencakup perangkat integrasi data pelanggan yang meningkatkan kualitas
data dalam proses integrasi. Oracle Business Intelligence Suite membantu mengintegrasikan
data juga.

Berbagai teknologi integrasi yang memungkinkan integrasi data dan metadata yaitu:

1. Enterprise application integration (EAI)

2. Service-oriented architecture (SOA) 
3. Enterprise information integration (EII)
4. Extraction, transformation, and load (ETL

Unsur-unsur infrastruktur data warehouse dapat diklasifikasikan menjadi dua kategori :

infrastruktur operasional dan infrastruktur fisik

Infrastruktur operasional : bagian dari infrastruktur dasar mengacu pada perangkat

keras komputasi dan perangkat lunak. 

5. Infrastruktur operasional terdiri dari aspek berikut :

6.  Orang-orang 
7.  Prosedur 
8.  Pelatihan 
9.  Manajemen perangkat lunak
10. Infrastruktur fisik terdiri dari aspek berikut : 
11.  Hardware (Perangkat Keras) dan Operating System (Sistem Operasi) 
12.  DBMS 
13.  Network Software

Perangkat keras dan Sistem operasi menyusun lingkungan untuk data warehouse.
Semua penyaringan data, transformasi, integrasi, dan penjadwalan kerja dijalankan pada
hardware yang terpilih dan sistem operasi pilihan.

1. Skalabilitas
Data Warehouse tumbuh sangat cepat. Bersama perangkat keras dan perangkat lunak
database, sistem operasi harus dapat mendukung peningkatan jumlah pengguna dan
aplikasi

2. Dukungan/Support

Dukungan vendor sangat penting untuk pemeliharaan perangkat keras

3. Referensi Vendor 

Penting untuk memeriksa referensi vendor dengan situs lain untuk menggunakan perangkat
keras dari vendor ini. 

 4. Stabilitas Vendor 

 Periksa stabilitas dan daya tahan vendor. 

5. Keamanan/Security

Sistem operasi harus menyediakan lingkungan yang aman pada setiap client

6. Keandalan/Reliability 

Sistem operasi harus dapat melindungi aplikasi dari malfungsi (tidak berfungsi). 

7. Ketersediaan/ Availability 

Ketersediaan ini adalah untuk keandalan. Lingkungan komputasi harus terus tersedia dari
keadaan aplikasi yang tidak normal. 

8. Preemptive Multitasking

Perangkat keras server harus mampu menyeimbangkan alokasi waktu dan sumber daya di
antara banyak tugas/pekerjaan. Sistem operasi harus dapat memprioritaskan tugas yang
lebih tinggi atau menunggu tugas lain ketika diperlukan.

9. Gunakan Pendekatan Multithreaded

Sistem operasi harus dapat melayani beberapa permintaan secara bersamaan dengan
mendistribusikan ke beberapa prosesor dalam konfigurasi perangkat keras multiprosesor.

10. Perlindungan Memori

Dalam lingkungan data warehouse beberapa permintaan akan dijalankan secara bersamaan

a. Mainframe 

Mainframe yang dipilih dengan mempertimbangkan beberapa hal berikut : 

1. Hardware yang teruji kemampuannya 

2. dirancang untuk OLTP dan bukan untuk aplikasi pendukung keputusan 

3. tidak hemat biaya untuk data warehouse. 

b. Server Open System 

Server Open System dipilih dengan mempertimbangkan hal-hal berikut : 

1. Server UNIX, pilihan medium untuk kebanyakan data warehouse 

2. biasanya Sempurna 

3. Sesuai untuk pengolahan paralel 

c. NT Server 

1. Mendukung data warehouse ukuran menengah 

2. Kemampuan proses paralel yang terbatas 

3. Hemat biaya untuk data warehouse kecil dan ukuran menengah

Platform komputasi yang diperlukan untuk melakukan beberapa fungsi dari berbagai
komponen arsitektur data warehouse. 

Platform komputasi adalah seperangkat komponen perangkat keras, sistem operasi,

jaringan, dan perangkat lunak jaringan. 

Fungsi sistem OLTP atau sistem pendukung keputusan seperti data warehouse, fungsi
tersebut harus dilakukan pada platform komputasi. 

Berikut fungsi dan layanan komponen arsitektur di tiga bidang utama platform sebagai
berikut : 
1. Data Acquisition : ekstraksi data, transformasi data, pembersihan data, integrasi data, dan
pementasan data. 

2. Data Storage : pemuatan data, pengarsipan, dan manajemen data. 

3. Information Delivery : pembuatan laporan, pemrosesan queri, dan analisis yang kompleks.

1. Single Platform 

a. Merupakan pilihan yang paling sederhana untuk implementasi arsitektur data warehouse 

b. Semua fungsi dari backend penyaringan data pada front-end pengolahan query
dilakukan pada komputasi platform tunggal. 

2. Hybrid Platform

Berdasarkan sistem warisan dan aplikasi yang lebih modern pada perusahaan, kemungkinan
besar akan memutuskan bahwa pendekatan Single-Platform tidak dapat dilakukan untuk
data warehouse.

3. Options for the Staging Area

Platform yang paling sesuai untuk staging area tergantung pada sumber status platform.

4. Pertimbangan Pergerakan Data 

Pada platform komputasi mana saja langkah-langkah individu dari akuisisi data dan
penyimpanan data yang terjadi, data harus bergerak melintasi platform.

5. Client / Arsitektur Server untuk Data Warehouse 

Meskipun platform mainframe dan komputer mini digunakan dalam penerapan awal data
warehouse, pada umumnya, wareouse saat ini dibangun menggunakan arsitektur
client/server. Sebagian besar adalah arsitektur client / server multitier

6. Pertimbangan untuk Workstation Client 

Hal yang harus dipertimbangkan saat konfigurasi untuk mesin workstation, harus disadari
bahwa perlu melayani berbagai jenis pengguna. 

7. Options as the Data Warehouse Matures 

Setelah semua pembahasan tentang platform komputasi untuk data warehouse, bahwa
pilihan platform telah diperbaiki segera setelah pilihan awal dibuat.

Defenisi Data
Data merupakan deskripsi dasar mengenai sesuatu, peristiwa, aktifitas, dan transaksi yang
dicatat, diklasifikasikan, dan disimpan tapi tidak terorganisasi dalam menghasilkan suatu makna
yang spesifik (  Rainer dan Cegielski (2011)) 

Database adalah sekumpulan data dan deskripsi dari data yang berhubungan secara logikal
didesain untuk memenuhi kebutuhan perusahaan. (Connolly dan Begg (2010))

Melalui pengaplikasian sistem database tentunya dapat mempermudah user dalam memproses

data,menampilkan data, serta mengurangi kemungkinan kesalahan yang akan timbul dalam
pelaksanaan operasional perusahaan

Metadata dalam data warehouse digunakan untuk menyimpan catatan mengenai data warehouse

itu sendiri.

Data multidimensional yaitu : data yang dapat dimodelkan sebagai atribut dimensi (dimension)
dan

atribut ukuran (fact/measure).

OLAP dapat digunakan untuk melakukan :

1. Konsolidasi adalah melibatkan pengelompokan data.

2. Drilldown adalah suatu bentuk yang merupakan kebalikan dari konsolidasi, yang

memungkinkan data yang ringkas dijabarkan menjadi data yang lebih detail.

3. Slicing dan dicing (pivoting) adalah menjabarkan pada kemampuan untuk melihat data dari
berbagai sudut pandang. Pivoting biasa dikenal dengan istilah cross tabulation, yaitu : sebuah
tabel dengan nilai sebuah atribut (A) membentuk judul baris dan atribut (B) membentuk judul
kolom, dan nilai masingmasing sel yang merupakan persilangan kedua atribut menyatakan nilai
perpaduan untuk kedua atribut.

Star Schema adalah alat dimana pemodelan dimensional berisi sebuah tabel fakta pusat. 

Tabel fakta berisi atribut destkriptif yang digunakan untuk proses query dan foreign key
untuk menghubungkan
ke tabel dimensi. Atribut analisis keputusan terdiri dari ukuran performa, metrik operasional,
ukuran agregat, dan semua metrik yang lain yang di perlukan untuk menganalisis performa
organisasi.
Karakteristik Star Schema adalah sebagai berikut :

1. Pusat dari star disebut fact table

2. Fact table mempunyai sebuah nilai aggregate dari data-data yang berasal dari tabel
dimensi

3. Setiap tabel dimensi berelasi langsung dengan fact table

4. Tabel dimensi beisikan data tentang informasi atau waktu

5. Relasi antara fact table dengan dimensi-dimensinya adalah 1 – N (one to many)

6. Primary key pada tabel dimensi akan menjadi key pada fact table atau dapat diakatakan
bahwa fact table memiliki kombinasi key dari tabel dimensi tersebut.

KELEBIHAN model star adalah :

1. Lebih simple

2. Mudah dipahami

3. Hasil dari proses query juga relatif lebih cepat.

KEKURANGAN model star adalah : lebih boros dalam space.

Model snowflake merupakan perluasan dari star, yang sama-sama punya satu atau lebih
dimensi.

Pada snowflake, tabel yang berelasi pada fact table hanya tabel dimensi utama, sedangkan
tabel yang lain

dihubungkan pada tabel dimensi utama. Model snowflake ini hampir  sama seperti teknik
normalisasi.

KELEBIHAN model snowflakes schema adalah :

1. Pemakain space yang lebih sedikit

2. Update dan maintenance yang lebih mudah.

KEKURANGAN model snowflakes schema adalah :

1. Model lebih komplek dan rumit

2. Proses query lebih lambat

3. Performance yang kurang bagus.

Bentuk Cube (Kubus) pada Data Warehouse

Cube adalah bagian utama dari OLAP. Cube berisi kumpulan  banyak data yang telah
disatukan (di agregasi) sehingga mempercepat  hasil query.

Perancangan data Warehouse

Desain data warehouse terdiri dari dua jenis, antara lain sebagai berikut :

1. Logical Design, tahapan yang dilakukan adalah :

    • Menggunakan ER Diagram

    • Mencari objek-objek penting (entitas)

    • Mendefinisikan atribute

    • Membuat relasi

2. Physical Design, tahapan yang dilakukan adalah :

   • Merubah dari logical design menjadi objek-objek database

   • Tablespace, Table, integrity constraint, dan lain-lain.

Aspek yang perlu dipertimbangkan saat membuat data warehouse antara lain :

1. Saat Desain

2. Saat Implementasi

3. Saat Testing.

1 Saat Desain
Hal-hal yang perlu dipertimbangkan saat mendesain data warehouse antara lain :

   1. Desain untuk Pengelolaan

           a. Mudah di Backup secara Teratur

           b. Ketika Loading new data

           c. Ketika Aggregating new data

           d. Ketika Melakukan Aktifitas Pemeliharaan Data,

       Contoh : Indexing dan Archiving

   2. Desain untuk Performa

Tentukan tipe, dimana, berapa banyak ruang yang dibutuhkan untuk indeks

Hal-hal yang perlu dipertimbangkan sebelum mengimplementasikan data warehouse antara

lain :

1. Satu database atau lebih

2. Kesepakatan dalam aturan penamaan

3. Membuat database

4. Menentukan skema untuk database

5. Mengatur data file dan tablespace

6. Membuat tabel fact dan tabel dimensi

7. Konstrain

8. Indeks

9. Partisi

10. Membuat View

11. Keamanan.

Hal-hal yang perlu dipertimbangkan saat melakukan testing data warehouse antara lain :
1. Dilakukan sebelum rilis produksi.

2. Yang perlu di tes antara lain:

       a. Waktu yang dibutuhkan untuk melakukan load data

       b. Pembersihan data dan transformasi

       c. Waktu respon query

      d. Data summary yang dibutuhkan

       e. Waktu yang dibutuhkan untuk tugas-tugas pengelolaan

(manajemen).

Langkah Langkah Membangun Data Warehouse

4 langkah membangun data warehouse antara lain sebagai berikut :

1. Desain Data Warehouse

   Desain Logical dan Desain Physical.

2. ETL (Extract, Transformation dan Loading)

     a. Proses pengekstrakan data dari sumber data yang kemudian dimasukkan ke dalam
data warehouse.

      b. Dilakukan secara periodik untuk kebutuhan bisnis dengan analisa data yang akurat.

      c. Menggunakan Data Transformation Service (DTS),

      d. Menggunakan SQL* Loader.

3. Membuat Dimensi (Create Dimension)

      a. Dimension adalah sebuah struktur yang terbentuk dari satu atau lebih hirarki yang
mengkategorisasi data.

      b. Dimensi terbentuk dari satu atau lebih tabel. Setiap  kolomnya merepresentasikan

level pada hierarchy.
Menurut pendapat M. Yazdi Pusadan (2013), membangun data warehouse melalui beberapa
tahap antara lain sebagai berikut :

1. Menentukan subyek data warehouse

     Subyek data warehouse yang di buat adalah data warehouse yang menjadi data history
untuk di analisis.

2. Mendefinisikan kebutuhan sumber data dan kebutuhan informasi

       a. Sumber Data

           Kebutuhan sumber data adalah data transaksi (OLTP) yang berlangsung selama

proses operasional database. Adapun data OLTP tersebut 

           adalah database yang dikelompokkan berdasarkan mekanisme pengolahan data

transaksi.

       b. Kebutuhan Informasi

            Mendefinisikan kebutuhan informasi diperoleh dari hasil pengamatan dan

wawancara langsung manajemen perusahaan.

3. Merancang Star Schema

       Dengan memperhatikan struktur kolom yang terdapat pada setiap tabel, maka

diperoleh aktivitas transaksi data yang tidak efisien. Terjadi 

       kecenderungan pada aktivitas data yang berlangsung berulang kali. Hal ini

memungkinkan terjadinya kesalahan jika tidak teliti dalam 

       proses entry data sehingga berakibat fatal terhadap proses transaksi dan

mekanismepengambilan keputusan.

4. Desain ETL

      Terdapat beberapa tahapan dalam desain ETL, yaitu :

       a. Pembersihan data (cleansing) dan mereduksi beberapa kolom pada tabel-tabel

tertentu yan terdapat di database transaksi. Mereduksi 

           (drop) data sesuai kebutuhan informasi yang telah ditentukan.

       b. Membuat tabel baru yang berfungsi sebagai relasi (keterhubungan) antar satu tabel
dengan tabel lainnya.

       c. Melakukan proses ETL dengan menggunakan tools yang sesuai dan tepat.

ahapan Membangun Data Warehouse 2

5. Membuat Cube dan Dimensional Data

   Pada pembuatan cube, data warehouse yang terbentuk digunakan sebagai data source.
Tahapan pada pembuatan cube adalah sebagai 

   berikut :

     a. Mendefinisikan cube

     b. Menentukan measure yang menjadi fact table

     c. Mengelompokkan beberapa tabel yang termasuk dimension

6. Analisis Data Warehouse

     Pada analisis data warehouse berikut ini adalah mengolah data warehouse dan
menyajikan data hasil analisis dalam bentuk OLAP dan pivot 

      table :

            Konfigurasi cube kebutuhan informasi. OLAP dilakukan dengan mengkonfigurasi

tabel-tabel yang terdapat pada cube, dalam hal ini 

              tabel measure/fact dan tabel dimension. Analisis yang dilakukan dengan

memperhatikan kebutuhan  informasi oleh user.

           View cube hasil analisis data warehouse versi OLAP Application.

           View cube hasil analisis data warehouse versi excel application.

      a. Membuat Aplikasi OLAP Data Warehouse

          Aplikasi OLAP dibuat dengan menggunakan DBMS (Database Management System)

yang telah diproses melalui ETL. Selain itu aplikasi 
          OLAP menghasilkan output dalam bentuk report   yang digunakan sebagai dokumen
blue print analisis kinerja  maupun analisis lain 

           dalam pengambilan keputusan pihak pimpinan atau manajemen.

      b. Penjelasan Implementasi Data Warehouse

          Penjelasan dari tahap implementasi adalah sebagai berikut :

           Menganalisis data dan struktur tabel pada database OLTP yang berelasi kemudian
direduksi atau menghapus

              tabel (drop table). Hal ini dilakukan dengan pertimbangan untuk normalisasi tabel
sehingga tidak terjadi redudansi.

           Akibat dari relasi tabel yang banyak, penggunaan field kunci pada tabel makin
sering. Maka dibuatlah satu tabel

              dengan mendaftarkan field kunci tabel-tabel yang ada untuk kebutuhan relasi dan
meringkas statement query  untuk akses data.

           Membentuk database yang baru.

           Melakukan proses ETL dari database yang telah dimodifikasi dengan menggunakan

tool ETL.

           Membuat cube dalam bentuk star schema yang terdapat dalam fact table.

           Analisis data warehouse dengan OLAP yang menghasilkan multidimensional data

dengan ditampilkan pada pivot table (Cross 

              Tabulation).

          Membuat aplikasi OLAP yang menghasilkan informasi data berdasarkan waktu

transaksi.

Metode perancangan data warehouse menurut Kimball yang digunakan meliputi 9

(sembilan) tahap yang dikenal dengan nine-step

methodology (Connolly dan Begg, 2005). Kesembilan tahap tersebut yaitu :

1. Pemilihan Proses
     Proses mengacu pada subjek masalah dari bagian data mart. Datamart yang akan
dibangun harus sesuai anggaran dan dapat

     menjawab masalah-masalah bisnis yang penting. Pemilihan proses ini dilakukan untuk

memperjelas batasan mengenai datawarehouse yang 

     dibuat.

2. Pemilihan Grain

     Pemilihan grain berarti menentukan secara tepat apa yang dipresentasikan oleh record
pada tabel fakta.

3. Identifikasi Dari Penyampaian Dimensi

     Pada tahap ini dilakukan penyesuaian dimensi dan grain yang ditampilkan dalam bentuk
matriks.

4. Pemilihan Fakta

     Grain dari tabel fakta menentukan fakta yang bisa digunakan.

5. Penyimpanan Pre-Calculation di Tabel Fakta

    Setelah fakta-fakta dipilih, maka dilakukan pengkajian ulang untuk menentukan fakta-

fakta yang dapat diterapkan untuk

    kalkulasi awal.

6. Memastikan Tabel Dimensi

    Dalam tahap ini, kembali pada tabel dimensi dan menambahkan gambaran teks terhadap
dimensi yang memungkinkan. Gambaran

    teks harus mudah digunakan dan dimenerti oleh user.

7. Pemilihan Durasi Database

     Pemilihan durasi data histori yang dimiliki oleh rumah sakit dapat dilakukan sesuai
dengan kebutuhan informasi. Umumnya semakin

     banyak data yang dipindahkan ke dalam data warehouse semakin lengkap pula informasi
yang bisa dihasilkan. Perlu diperhatikan
     pula tingkat durasi yang dimiliki oleh data histori dengan memperhatikan isi dan format
data yang ada. Jangan sampai data

      yang dipindahkan merupakan data sampah yang tidak bermanfaat sama sekali.

8. Melacak Perubahan Dari Dimensi Secara Perlahan

     Mengamati perubahan dari dimensi pada tabel dimensi dapat dilakukan dengan tiga
cara, yaitu mengganti secara langsung

      pada tabel dimensi, membentuk record baru untuk setiap perubahan baru dan
perubahan data yang membentuk kolom

      baru yang berbeda.

9. Penentuan Prioritas dan Model Query

     Mempertimbangkan pengaruh dari rancangan fisik, seperti penyortiran urutan tabel fakta

pada disk dan keberadaan dari

     penyimpanan awal ringkasan (summaries) atau penjumlahan (aggregate).

 Arsitektur adalah sekumpulan atau struktur yang memberikan kerangka untuk

keseluruhan rancangan suatu sistem atau produk. Ada arsitektur client-
server,arsitektur networking dan masih banyak arsitektur lainnya. Arsitektur data
menyediakan kerangka dengan mengidentifikasikan dan memahami bagaimana data
akan pindah melalui sistem dan digunakan dalam perusahaan. Arsitektur data untuk
data warehouse mempunyai komponen utama yaitu read-only database.
 Tujuanya adalah meningkatkan kualitas dan akurasi informasi bisnis dan
mengirimkan informasi ke pemakai dalam bentuk yang dimengerti dan dapat diakses
dengan mudah.
 Data Warehouse menurut bapak database yaitu Bill Inmon menyatakan bahwa
database memiliki 6 sifat utama yaitu berorientasi objek, data terintegrasi,
berorientasi pada proses, adanya perbedaan waktu,dapat diakses atau digunakan,
tidak mudah tersebar. Setelah adanya 6 sifat itu, Ralph Kimball menambahkan bahwa
data warehouse berfungsi mengumpulkan data dari sumber-sumber transaksional
(OLTP) untuk kebutuhan query dan Analisa data (OLAP).
 OLTP atau On Line Transactional Processing bertujuan untuk memproses data-data
transaksi yang dilakukan, sedangkan OLAP atau On Line Analytical Processing
bertujuan untuk membuat query dan membuat Analisa data dengan memperhatikan
historis dari suatu data tersebut. Arsitektur data warehouse adalah konsep atau
pondasi dasar untuk membuat suatu database.
 1. Data Warehouse Basic Architecture
  Konsep Basic Architecture adalah konsep dasar yang diperkenalkan oleh Oracle
dimana pada arsitektur dasar ini memiliki 3 bagian didalamnya yaitu sumber data,
tempat data disimpan, dan pengguna. Sumber data adalah data yang didapat dari
transaksional sistem, file, berkas, dokumen yang dibuat menjadi digital. Tempat data
disimpan adalah penyedia atau wadah untuk menyimpan data yang sudah digital
tersebut. Pengguna dibagi menjadi 3 bagian analyst, mining, reporting. Analiyst
bertugas untuk menganalisa data, mining bertugas untuk memperoleh konledge dari
data sesuai pola yang sudah ada, dan reporting bertugas untuk menyampaikan
laporan berdasarkan hasil analisa dan mining yang dimana dibutuhkan kreativitas
dan imajinasi.
 User dapat secara langsung mengakses data yang diambil dari beberapa source
melalui data warehouse
 Metadata dan raw data dari OLTP terdapat didalamnya, dan sebagai tambahan
didalam Warehouse terdapat summary data
 Summary data ini sangat berguna dalam data Warehouse karena mereka melakukan
perhitungan yang kompleks sebelumnya
 Sebagai contoh, data warehouse melakukan query untuk mendapatkan data sales
dibulan agustus 
 Pada arsitektur ini dapat dilakukan dengan menggunakan program, meskipun
hampir semua data warehouse menggunakan staging area didalamnya
 Staging area menyederhanakan proses pembuatan summary dan management
warehouse secara umum

3. Data Warehouse Staging Area + Data Mart Architecture

Konsep penambahan data mart architecture adalah penambahan data mart untuk
dikombinasikan dengan staging area. Implementasi konsep ini adalah dalam unit-unit
dalam suatu bidang yang berada dalam satu perusahaan yang memiliki data terintegrasi
dengan pusat sehingga setiap unit memiliki data mart yang berbeda sesuai kebutuhan. Data
mart dalam data warehouse dalam skala kecil.

2. Data Warehouse Staging Area Architecure

 Konsep Staging Area Architecure adalah penambahan staging area untuk
menampung data-data dari sumber data transaksional, sebelum dilanjutkan ke
warehouse yang dimana pada warehouse akan dilakukan pemilahan data yang
sesuai dengan topik atau kebutuhan. Contoh pada suatu universitas ingin
mengetahui kemajuan data mahasiswa Teknik pada tahun kemarin, maka data
tersebut akan dipilih sesuai kebutuhan.

Konsep penambahan data mart architecture adalah penambahan data mart untuk
dikombinasikan dengan staging area. Implementasi konsep ini adalah dalam unit-unit
dalam suatu bidang yang berada dalam satu perusahaan yang memiliki data terintegrasi
 dengan pusat sehingga setiap unit memiliki data mart yang berbeda sesuai kebutuhan.
Data mart dalam data warehouse dalam skala kecil.

 Dapat mengkustomisasi arsitekturnya yang disesuaikan dengan kebutuhan

organisasi.
 Hal ini dimungkinkan dengan menambahkan data mart
 Data mart merupakan subset dari data resource, biasanya berorientasi untuk suatu
tujuan yang spesifik atau subjek data yang didistribusikan untuk mendukung
kebutuhan bisnis
 Sebagai contoh data purchasing, sales, dan inventory dapat di pisahkan dalam
masing-masing cube. dalam contoh ini seorang analis keuangan dapat menganalisa
histori data untuk purchases dan sales

Karakteristik data warehouse dibagi menjadi beberapa bagian, yaitu :

 Subject Oriented

Data Warehose disusun berdasarkan subjek-subjek utama dalam perusahaan. Hal ini
menunjukkan bahwa data warehouse digunakan untuk menganalisis dan mengambil
keputusan terkait histori subjek-subjek utama tersebut, bukan digunakan untuk mendukung
aplikasi operasional.

 Intergrated

Data dalam data warehouse berasal dari berbagai sumber yang terpisah. Data yang
dimasukkan ke dalam data warehouse akan diubah, disusun ulang, diurutkan, dan
dirangkum. Hal ini dilakukan untuk menjaga konsistensi data dalam data warehouse
sehingga tercipta suatu gambaran data yang terintegrasi dalam perusahaan.

 Non Volatile

Data dalam data warehouse tidak di-update secara realtime tapi diperbaharui secara berkala
dari data operasional dalam jumlah data yang besar. Karakteristik data warehouse berbeda
dengan karakteristik operasional data yang dapat diubah. Data dalam data warehouse
hanya dapat loading data (mengambil data) dan mengakses data.

 Time Variant

Setiap satuan data dalam data warehouse bersifat akurat dalam interval waktu tertentu.
Pada tiap record terdapat bentuk penanda waktu untuk menunjukkan kapan waktu suatu
record akurat. Misalnya, dilakukan time stamping atau pemberian tanggal transaksi untuk
tiap record.
Dalam (Setiawan, 2009) Enterprise Architecture (disingkat EA) yang merupakan salah satu
disiplin dalam TI memiliki definisi seperti:

a. Deskripsi misi para stakeholder mencakup parameter informasi, fungsionalitas, lokasi,

organisasi, dan kinerja. EA menjelaskan rencana untuk membangun sistem atau sekumpulan
sistem.

b. Pendekatan logis, komprehensif, dan holistik untuk merancang dan

mengimplementasikan sistem dan komponen sistem yang bersama.

c. Basis aset informasi strategis, yang menentukan misi, informasi dan teknologi yang
dibutuhkan untuk melaksanakan misi, dan proses transisi untuk mengimplementasikan
teknologi baru sebagai tanggapan terhadap perubahan kebutuhan misi.

d. EA memiliki empat komponen utama: arsitektur bisnis, arsitektur informasi (data),

arsitektur teknologi, dan arsitektur aplikasi.

e. Sehubungan dengan keempat komponen ini, produk EA adalah berupa grafik, model,
dan/atau narasi yang menjelaskan lingkungan dan rancangan enterprise

 EA Framework dan EA Proses

EA Framework mengidentifikasikan jenis informasi yang dibutuhkan untuk

mendeskripsikan arsitektur enterprise, mengorganisasikan jenis informasi dalam struktur
logis, dan mendeskripsikan hubungan antara jenis informasi tersebut. Informasi dalam
arsitektur enterprise sering dikategorikan dalam model-model atau sudut pandang
arsitektural (Setiawan, 2009).

Dalam mengembangkan arsitektur enterprise, perlu diadopsi atau dikembangkan sendiri

suatu EA framework untuk arsitektur enterprise. Terdapat berbagai macam framework yang
dapat dimanfaatkan untuk pengembangan arsitektur enterprise, seperti: Zachman
Framework, Federal Enterprise Architecture Framework (FEAF), DoD Architecture Framework
(DoDAF), Treasury Enterprise Architecture Framework (TEAF), The Open Group Architectural
Framework (TOGAF), dan lain-lain (Setiawan, 2009). Perkembangan EA framework ini dapat
dilihat pada Gambar 1 sejak John Zachman memperkenalkan konsep enterprise
architecture-nya pada 1987 hingga tahun 2005 (Setiawan, 2009).

Dalam pengembangan atau pengelolaan produk arsitektur enterprise terdapat berbagai

proses/metodologi yang dapat diadopsi. Contoh EA Proses misalnya: DODAF Six Step
Process, Enterprise Architecture Planning (EAP) oleh Steven Spewak yang berbasis pada
Zachman Framework, Building Enterprise Information Architecture: Reengineering
Information Systems oleh Melissa A.Cook yang juga berbasis pada Zachman Framework,
Practical Guide to the Federal Enterprise Architecture yang berbasis pada Federal
Enterprise Architecture Framework (FEAF), dan TOGAF Architecture Development
Method (ADM). Data Warehouse berfungsi sebagai repositori utama di mana informasi
datang dari satu atau lebih sumber data. Data mengalir ke dalam gudang data , misalnya
data di dapat dari sistem transaksional dan database relasional lainnya dan disimpan ke
dalam gudang data.

Data yang masuk dapat:

 Terstruktur
 Semi-terstruktur
 Tidak terstruktur

Setelah itu Data akan melalui phase pengolahan data, pengubahan, dan perncernaan
sehingga pengguna dapat mengakses data yang diolah dalam storage dengan
menggunakan alat bantuan seperti :Business Intelligence, SQL client, dan spreadsheet.
Teknologi ini menggabungkan informasi dari sumber yang berbeda ke dalam satu basis
data yang komprehensif.

Tiga jenis Data Warehouse

1.Enterprise Data Warehouse:

Enterprise Data Warehouse adalah penyimpanan terpusat. ia akan menyediakan layanan

pendukung keputusan di seluruh perusahaan. Ia akan mengelola semua data dan
merepresentasikannya. Enterprise Gudang Data juga menyediakan kemampuan untuk
mengklasifikasikan data sesuai dengan subjek dan menyediakan akses sesuai dengan divisi.

2.Operational Data Storage:

Operational Data Store, yang juga disebut ODS, ODS dibutuhkan untuk kebutuhan report
perusahaan, Gudang Data jenis ini akan di-refresh secara real time. Oleh karena itu jenis ini
lebih disukai untuk kegiatan rutin seperti menyimpan catatan karyawan.

3.Data Mart:

Data mart adalah bagian dari data warehouse. Data Mart dirancang khusus untuk bagian
tertentu bisnis, seperti penjualan, keuangan. Data Mart dapat mengumpulkan data langsung
dari sumbernya

Arsitektur infrastruktur
Infrastruktur data warehouse adalah software, hardware, pelatihan dan komponen-
komponen lainnya yang memberikan dukungan yang dibutuhkan untuk
mengimplementasikan data warehouse.

Salah satu instrumen yang mempengaruhi keberhasilan pengembangan data warehouse

adalah pengidentifikasian arsitektur mana yang terbaik dan infrasruktur apa yang
dibutuhkan. Arsitektur yang sama, mungkin memerlukan infrastruktur yang berbeda,
tergantung pada lingkunan perusahaan ataupun organisasi.

Data warehouse memiliki struktur yang spesifik dan  mempunyai perbedaan dalam
tingkatan detail data  dan umur data.

Komponen dari struktur data warehouse adalah:

 Current detail data

Current detail data merupakan data detil yang aktif saat ini,mencerminkan keadaan yang
sedang berjalan dan merupakan level terendah dalam data warehouse. Didalam area ini
warehouse menyimpan seluruh detail data yang terdapat pada skema basis data. Jumlah
data sangat besar sehingga memerlukan storage yang besar pula dan dapat diakses secara
cepat. Dampak negatif yang ditimbulkan adalah kerumitan untuk mengatur data menjadi
meningkat dan biaya yang diperlukan menjadi mahal.

Berikut ini beberapa alasan mengapa current detail data menjadi perhatian utama :

1.    Menggambarkan kejadian yang baru terjadi dan selalu menjadi perhatian utama

2.    Sangat banyak jumlahnya dan disimpan pada tingkat penyimpanan terendah.

3.    Hampir selalu disimpan dalam storage karena cepat di akses  tetapi mahal dan
kompleks dalam pengaturannya.

4.    Bisa digunakan dalam membuat rekapitulasi sehingga current detail data  harus akurat.

  Older detail data

Data ini merupakan data historis dari current detail data, dapat berupa hasil cadangan atau
archive data yang disimpan dalam storage terpisah. Karena bersifat back-up(cadangan),
maka biasanya data disimpan dalam storage alternatif seperti tape-desk.

Data ini biasanya memilki tingkat frekuensi akses yang rendah. Penyusunan file atau
directory dari data ini di susun berdasarkan umur dari data yang bertujuan mempermudah
untuk pencarian atau pengaksesan kembali.
  Lighlty summarized data

Data ini merupakan ringkasan atau rangkuman dari current detail data. Data ini dirangkum
berdasar periode atau dimensi lainnya sesuai dengan kebutuhan.

Ringkasan dari current detail data  belum bersifat total summary.Data-data ini memiliki detil
tingkatan yang lebih tinggi dan mendukung kebutuhan warehouse pada tingkat
departemen. Tingkatan data ini di sebut juga dengan data mart. Akses terhadap data jenis
ini banyak  digunakan untuk view suatu kondisi yang sedang atau sudah berjalan.

 Highly summarized data

Data ini merupakan tingkat lanjutan dari Lightly summarized data, merupakan hasil
ringkasan yang bersifat totalitas, dapat di akses misal untuk melakukan analisis
perbandingan data berdasarkan urutan waktu tertentu dan analisis menggunakan data
multidimensi.

 Metadata

Metadata bukan merupakan data hasil kegiatan seperti keempat jenis data diatas. Menurut
Poe, metadata adalah ‘data tentang data’ dan menyediakan informasi tentang struktur data
dan hubungan antara struktur data di dalam atau antara storage(tempat penyimpanan
data).

Metadata berisikan data yang menyimpan proses perpindahan data meliputi database
structure,contents,detail data dan summary data, matrics,versioning, aging
criteria,versioning, transformation criteria. Metadata khusus dan memegang peranan yang
sangat penting  dalam data warehouse.

Metadata sendiri mengandung :

 Struktur data

Sebuah direktori yang membantu user untuk melakukan analisis Decission Support System
dalam pencarian letak/lokasi dalam data warehouse.

 Algoritma

Algoritma digunakan untuk summary data. Metadata sendiri merupakan panduan untuk
algoritma dalam melakukan pemrosesan summary data antara current detail data dengan
lightly summarized data dan antara lightly summarized data dengan hightly summaried
data.
  Mapping 

Sebagai panduan pemetaan(mapping) data pada saat data di transform/diubah dari lingkup
operasional menjadi lingkup data warehouse.

Menurut Kimball ada sembilan tahap metodologi dalam perancangan database untuk data
warehouse, yaitu :

Langkah 1 : Pemilihan proses

 Data mart yang pertama kali dibangun haruslah data mart yang dapat dikirim tepat
waktu dan dapat menjawab semua pertanyaan bisnis yang penting
 Pilihan terbaik untuk data mart yang pertama adalah yang berhubungan dengan
sales, misal property sales, property leasing,property advertising.

Langkah 2 : Pemilihan sumber

 Untuk memutuskan secara pasti apa yang diwakili atau direpresentasikan oleh
sebuah tabel fakta.
 Misal, jika sumber dari sebuah tabel fakta properti sale adalah properti sale individual
maka sumber dari sebuah dimensi pelanggan berisi rincian pelanggan yang membeli
properti utama

Langkah 3 : Mengidentifikasi dimensi

 Set dimensi yang dibangun dengan baik, memberikan kemudahan untuk memahami
dan menggunakan data mart
 Dimensi ini penting untuk menggambarkan fakta-fakta yang terdapat pada tabel
fakta
 Misal, setiap data pelanggan pada tabel dimensi pembeli dilengkapi dengan
id_pelanggan,no_pelanggan,tipe_pelanggan,tempat_ting gal, dan lain sebagainya.
 Jika ada dimensi yang muncul pada dua data mart,kedua data mart tersebut harus
berdimensi sama,atau paling tidak salah satunya berupa subset matematis dari yang
lainnya.
 Jika sebuah dimensi digunakan pada dua data mart atau lebih,dan dimensi ini tidak
disinkronisasi,maka keseluruhan data warehouse akan gagal, karena dua data mart
tidak bisa digunakan secara bersama-sama

Langkah 4 : Pemilihan fakta

 Sumber dari sebuah tabel fakta menentukan fakta mana yang bisa digunakan dalam
data mart.
 Semua fakta harus diekspresikan pada tingkat yang telah ditentukan oleh sumber
Langkah 5 : Menyimpan pre-kalkulasi di tabel fakta

 Hal ini terjadi apabila fakta kehilangan statement

Langkah 6 : Melengkapi tabel dimensi

 Pada tahap ini kita menambahkan keterangan selengkaplengkapnya pada tabel

dimensi
 Keterangannya harus bersifat intuitif dan mudah dipahami oleh pengguna

Langkah 7 : Pemilihan durasi database

 Misalnya pada suatu perusahaan asuransi, mengharuskan data disimpan selama 10

tahun atau lebih

Langkah 8 : Menelusuri perubahan dimensi yang perlahan

 Ada tiga tipe perubahan dimensi yang perlahan, yaitu :

o Tipe 1. Atribut dimensi yang telah berubah tertulis ulang

o Tipe 2. Atribut dimensi yang telah berubah menimbulkan sebuah dimensi baru

o Tipe 3. Atribut dimensi yang telah berubah menimbulkan alternatif sehingga nilai atribut
lama dan yang baru dapat diakses secara bersama pada dimensi yang sama.

Langkah 9 : Menentukan prioritas dan mode query

 Pada tahap ini kita menggunakan perancangan fisik.

Dengan langkah-langkah tadi, seharusnya kita bisa membangun sebuah data warehouse

yang baik.

Fase proses perancangan database :

  1. Pengumpulan data dan analisis

  2. Perancangan database secara konseptual

  3. Pemilihan DBMS

  4. Perancangan database secara logika (data model mapping)

  5. Perancangan database secara fisik

  6. Implementasi Sistem database.

Fase 1 
Pengumpulan data dan analisa :

 Proses identifikasi dan analisa kebutuhan-kebutuhan data disebut pengumpulan

data dan analisa. Untuk menentukan kebutuhan-kebutuhan suatu sistem
database,pertama-tama harus mengenal bagian-bagian lain dari sistem informasi
yang akan berinteraksi dengan sistem database, termasuk para pemakai yang ada
dan para pemakai yang baru serta aplikasi-aplikasinya. Kebutuhan-kebutuhan dari
para pemakai dan aplikasi-aplikasi inilah yang kemudian dikumpulkan dan dianalisa

Fase 2 
Perancangan database konseptual :

 Tujuan dari fase ini adalah menghasilkan conceptual schema untuk database yang
tergantung pada sebuah DBMS yang spesifik. Sering menggunakan sebuah high-
level data model seperti ER/EER model selama fase ini. Dalam conceptual schema,
kita harus merinci aplikasi-aplikasi database yang diketahui dan transaksi-transaksi
yang mungkin.

Fase 3 :
Pemilihan DBMS

Pemilihan database ditentukan oleh beberapa faktor, diantaranya:

1. Struktur data

Jika data yang disimpan dalam database mengikuti struktur hirarki, maka suatu jenis hirarki
dari DBMS harus dipikirkan.

2. Personal yang telah terbiasa dengan suatu sistem Jika staf programmer dalam suatu
organisasi sudah terbiasa dengan suatu DBMS, maka hal ini dapat mengurangi biaya, latihan
dan waktu belajar.

3. Tersedianya layanan penjual

Keberadaan fasilitas pelayanan penjual sangat dibutuhkan untuk membantu memecahkan

beberapa masalah sistem.
4. Teknik

 Keberadaan DBMS dalam menjalankan tugasnya seperti jenis-jenis DBMS (relational,

network, hierarchical, dll), struktur penyimpanan, dan jalur akses yang mendukung DBMS, 
pemakai, dll.

Fase 4 :
Perancangan database secara logika (pemetaan model data)

 Fase selanjutnya dari perancangan database adalah membuat sebuah skema

konseptual dan skema eksternal pada model data dari DBMS yang terpilih. Fase ini
dilakukan oleh pemetaan skema konseptual dan skema eksternal yang dihasilkan
pada fase 2. Pada fase ini,  skema konseptual ditransformasikan dari model data
tingkat tinggi yang digunakan pada fase 2 ke dalam model data dari DBMS yang
dipilih pada fase 3.

Fase 5 :
Perancangan database fisik

 Perancangan database secara fisik merupakan proses pemilihan struktur-struktur

penyimpanan dan jalur-jalur akses pada file-file database untuk mencapai
penampilan yang terbaik pada bermacam-macam aplikasi.
 Selama fase ini, dirancang spesifikasi-spesifikasi untuk database yang disimpan yang
berhubungan dengan struktur-struktur penyimpanan fisik, penempatan record dan
jalur akses.

Fase 6 :
Implementasi sistem database

 Setelah perancangan secara logika dan secara fisik lengkap, kita dapat melaksanakan
sistem database. Perintah-perintah dalam DDL dan SDL(storage definition language)
dari DBMS yang dipilih, dihimpun dan digunakan untuk membuat skema database
dan file-file database (yang kosong) kemudian database tsb dimuat (disatukan)
dengan datanya.
 Jika data harus dirubah dari sistem komputer sebelumnya, perubahan-perubahan
yang rutin mungkin diperlukan untuk format ulang datanya yang kemudian
dimasukkan ke database yang baru. Transaksi-transaksi database sekarang harus
dilaksanakan oleh para programmmer aplikasi.

1. Pendekatan Berorientasi Object

  Di iplementasikan menggunanakan metode UML,  karena metode UML digunakan
untuk pemrograman berorientasi objek, metode objek-oriented banyak digunakan
dalam pengembangan perangkat lunak,

2. DFD (Data Flow Diagram)

 Digunakan untuk menggambarkan suatu system yang telah ada atau system baru
yang akan dikembangkan secara logika.

3. ERD (Entitas Relationship Diagram)

 ERD adalah suatu pemodelan dari basis data relasional yang didasarkan atas persepsi
didalam dunia nyata, Suatu objek disebut entity dan hubungan yang dimilikinya
disebut relationship.

Metadata adalah informasi terstruktur yang mendeskripsikan, menjelaskan, menemukan

atau setidaknya menjadikan suatu informasi mudah untuk ditemukan kembali, digunakan,
atau dikelola. Metadat sering disebut sebagai data tentan data atau informasi tentang
informasi. Metadata ini mengandung informasi mengenai isi dari suatu data  yang dipakai
untuk keperluan manajemen file/data itu nantinya dalam suatu basis data.

Perhatikan file – file digital yang berbeda di komputer anda, mulai dari file audio seperti
mp3, file gambar jpg, file dokumen. Doc dan seterusnya, semuanya memiliki informasi
metadata di dalamnya. Contoh metadata yang mudah anda lihat terdapat pada halaman
website, misalnya jika anda sedang membuka halaman amazon.com pada browser,
klik kanan browser, dan pilih menu view page source maka akan terbuka tab baru. Terlihat
pada baris – baris, tertentu terdapat tag <meta> yang berisi beberapa data.

Tanpa melihat source html, data ini tidak terlihat oleh user saat melihat halaman yang
bersangkutan. Namun, data ini terlihat dan diproses oleh aplikasi seperti browser, search
engine, ataupun web service. Konsepnya yang sama berlaku untuk file digital lainnya,
misalnya pada file audio mp3 juga terdapat metadata yang tidak terlihat user namun
dikenali dan diproses oleh aplikasi multimedia.

Berdasarkan contoh di atas, tidak mengherankan wikipedia mengartikan metadata sebagai “

data about data “, yaitu data yang mengandung informasi data lainnya. Dengan mengacu
pada metadata, aplikasi yang membaca metadata tersebut dapat melakukan identifikasi,
klasifikasi, dan pengorganisasian 0Standards Institute ), atau ISO ( International Organization
for Standarization ).

Ada beberapa jenis metadata, yaitu:

1. Metadata deskriptif
Metadata deskriptif adalah metadata yang mampu mengidentifikasi dan mendeskripsikan
sumber informasi. Biasanya, metadata deskriptif digunakan untuk mencari dan menyeleksi
sumber. Jenis metadata ini sering ditemukan pada laman sebuah situs dan mencakup
informasi seperti judul, pengarang, kata kunci, tahun terbit, tag, dan lain-lainnya yang
memudahkan pengguna mencari suatu konten.

2. Metadata struktural

Metadata struktural merupakan jenis metadata yang berguna untuk menyatukan objek
digital menjadi kesatuan yang terstruktur dan terhubung satu sama lain. Sebagai contoh,
jika ada buku digital yang terbagi menjadi beberapa bab dan halaman, metadata struktural
dapat mengetahui hubungan atau sinkronisasi antarhalaman bagian buku tersebut dan
urutan babnya. Dengan metadata struktural, sistem mampu menampilkan daftar isi dan
memudahkan kita menemukan suatu bagian hanya dengan meng-klik halaman atau bab
yang kita inginkan.

3. Metadata administratif

Metadata administratif menyediakan informasi yang berguna dalam pengelolaan dan

pengaturan sumber informasi, contohnya informasi kapan sumber atau konten diciptakan,
hak cipta, tipe file, dan informasi lainnya yang bersifat teknis. Jenis metadata ini juga dapat
mengatur siapa saja orang yang bisa mengakses sebuah file.

 Ada beberapa bagian metadata administratif, yaitu metadata right management dan
metadata preservasi.
 Metadata right management adalah metadata yang berfungsi memberikan informasi
tentang kekayaan intelektual atau hak cipta, seperti lisensi.
 Sementara itu, metadata preservasi berguna untuk melestarikan sumber informasi
untuk pengarsipan
 Business Metadata adalah metadata yang digunakan oleh end user digunakan untuk
mengerti informasi apa saja yang ada di dalam datawarehouse. Tampilan ke user ini
biasanya berbeda dengan milik orang IT, ketika orang IT bisa melakukan semua
dengan SQL Command maka user bisa tidak mengerti hal tersebut sehingga
metadata business juga memberikan cara untuk menampilkan ke user dengan cara
yang biasa mereka lihat seperti ditampilkan dalam bentuk excel. Termasuk cara
membaca data tersebut sehingga user bisa mengambil informasi sebanyak mungkin
dan bisa mengambil keputusan dengan tepat.
 Metadata juga mencatat aplikasi yang digunakan untuk mengolah data, seperti data
mining dan kegunaan data tersebut setelah dilakukan mining apa. Sehingga ketika
ada orang yang mau menggunakan datawarehouse mereka dapat menggunakan
 metadata untuk mempelajari mengenai datawarehouse dan informasi apa yang
dibutuhkan. Kemudian saat mereka ingin menambah fitur baru maka metadata dapat
mencegah redudansi dan bisa menambahkan fitur yang ditambahkan ke dalam
metadata bila belum pernah dibuat.  Selain itu juga mesti dilihat trend-trend baru
dalam metadata seperti pengunaan video, gambar dan bentuk format lainnya. Untuk
membangun metadata pastikan ada konsistensi dalam format sehingga orang tidak
bingung dalam mengakses dan pastikan orang mengerti dalam
membaca/menggunakan metadata.
 Metadata sebenarnya juga mencatat aturan dalam pengaksesan database seperti
username dan password dan siapa yang memegang username password tersebut.
Tapi hal ini berupa rahasia dan hanya orang tertentu saja yang memilikinya, pastikan
username dan password hanya tercatat siapa yang memilikinya. Pertama ini adalah
masalah keamanan di dalam data. Kedua, masalah integritas dari data yang dimiliki.
Jadi bila ada perubahan data yang tidak wajar kita bisa melacak dengan mudah.
 Jadi hasil akhir dari metadata akan seperti user manual. Step-by-Step dari data
mentah hingga jadi sebuah informasi. Berbentuk seperti artikel clustering ini atau
menjalankan menggunakan ETL.

Technical metada adalah metadata yang digunakan oleh datawarehouse designer dan
juga datawarehouse administrator. Bentuknya seperti DBMS yang digunakan, cara
akses data, sumber data dan aturan-aturan dalam pengambilan data.

Terdapat 5 fungsi metadata yaitu:

 Resource discovery (pencarian sumber informasi)

Menyediakan sumber informasi relevan, mengidentifikasi, mengumpulkan sumber informasi

yang sama serta menjauhkannya bila tidak sama serta memberi lokasi informasi. 

 Organizing electronic resources (pengorganisasi sumber informasi

elektronik) Memberi link metadata sebuah sumber informasi. Biasanya tersimpan
dalam database perpustakaan.
 Interoperability

Interoperability adalah kemampuan beberapa sistem dengan hardware dan software yang
berbeda, struktur data dan tampilan data luarnya dengan kehilangan minimal dari isi dan
fungsinya. Cara kerjanya dengan mendefinisikan skema metadata, membagi transfer
protokol, dan alur lintas antara skema dan sumber informasi agar lebih cepat.

 Digital identification (identifikasi digital)

Biasanya sebuah metadata memiliki nomor induk terstandar untuk mendefinisikan sumber
informasi yang dimetadatakannya. Nomer tersebut juga bisa berupa nama file, atau bisa
dikatakan sesuai kemampuan penomoran dan kebijakan perpustakaannya. Contoh dari
identifikasi digital metadata adalah URL (Uniform Resource Locator), PURL (Persistence URL),
DOI (Digital Object Identifier). Penomoran ini bertujuan agar perpindahan lokasi dari
sumber informasi dapat ter-update dengan cepat. Selain itu nomor induk terstandar digital
dapat menjadi bagian dari validasi deskripsi fisik sumber informasi.

 Archiving and preservation (pengarsipan dan preservasi)

Segala bentuk sumber informasi memiliki kerentanan masing-masing, oleh karena itu
dengan adanya fungsi metadata sebagai pengarsipan dan preservasi membawa informasi
kebutuhan perawatan sumber informasi. Selain itu, informasi dalam metadata bisa menjadi
penanda bagi kebutuhan preservasi sumber informasi tertera.

Tujuan dari Dimensional Modelling ini adalah untuk mempresentasikan suatu set
pengukuran bisnis dalam kerangka standar sehingga dapat lebih mudah  dipahami  oleh
end user. Dimesional Model berisi informasi yang mirip dengan ER Model akan tetapi  data
dalam format symmetric yang didesain untuk :

- User Understanability

- Query Performance

- Resilience to Change

Komponen utama dari Dimensional Modelling ini adalah tabel fakta dan tabel dimensi.
Tabel fakta adalah primary tabel yang dalam beberapa dimensi model yang dimaksudkan
untuk pengukuran suatu bisnis.

Suatu fakta bergantung pada beberapa factor, sebagai contoh sale amount, suatu fakta,
yang bergantung pada produk, lokasi dan waktu. Factor factor ini adalah yang disebut
dengan dimensi.

Data warehouse dan OLAP dibangun berdasarkan multidimensional data model. Pada
model ini diperlukan tabel fakta dan tabel dimensi. Tabel fakta berisi fakta numerik yang
memiliki ciri-ciri : panjang, kurus, dan besar, serta sering berubah dan berguna untuk
mengukur (measure). Sedangkan tabel dimensi berisi kolom yang bersifat desktiptif, kecil,
pendek, dan lebar yang berguna untuk filtering (menyaring) dan didasarkan pada atribut
dimensi.
Pemodelan data warehouse dapat dilakukan dengan teknik, yaitu pemodelan Entity
Relationship, pemodelan dimensional, dan pemodelan data vault.

Pemodelan dengan Entity Relationship hanya dapat digunakan untuk menggambarkan

hubungan antar data.

Pemodelan dimensional merupakan teknik pemodelan data warehouse yang sering

digunakan karena tabel dan relasi dapat mengoptimalkan performansi dalam pengambilan
keputusan dalam database relasional. Ada beberapa model skema dimensional, antara
lain  star schema dan snowflake schema.

Pemodelan data vault merupakan pemodelan yang cocok untuk pemodelan enterprise data

warehouse karena data vaultbersifat historical.

Pengertian skema bintang menurut Connolly (2010), adalah model data dimensional yang
mempunyai sebuah tabel fakta yang berisi data fakta ditengah dan dikelilingi oleh tabel-
tabel dimensi yang terdiri dari data referensi (yang biasanya dapat di denormalisasi). Skema
bintang mengambil karakteristik dari data fakta yang di-generate oleh event yang terjadi
dimasa lampau. Menurut Poe (1996), skema bintang adalah metode perancangan yang
dilakukan dengan struktur sederhana.

 Kelebihan Menggunakan Skema Bintang

Skema bintang memiliki beberapa kelebihan, diantaranya yaitu :

1. Efisiensi (Efficiency)

Struktur basis data yang konsisten sehingga lebih efisiensi dalam akses data dengan
menggunakan alat untuk menampilkan data seperti laporan tertulis dan kueri.

2. Kemampuan untuk mengatasi perubahan kebutuhan (Ability to handle changing

requirements), skema bintang dapat beradaptasi terhadap perubahan kebutuhan pengguna,
karena semua tabel dimensi memiliki kesamaan hal memberikan akses ke tabel fakta.

3. Extensibility

Model dimensional dapat dikembangkan, misalnya menambahkan tabel fakta selama data
masih konsisten, kemudian menambahkan dimensi baru selama ada nilai tunggal dari
dimensi tersebut yang mendefinisikan untuk setiap record tabel fakta yang ada,
menambahkan atribut pada dimensi baru dan memecah record tabel dimensi yang ada
menjadi level atau tingkat yang lebih rendah dari level sebelumnya.
4. Kemampuan untuk menggambarkan situasi bisnis (Ability to model common business
situations), pendekatan standar untuk menangani situasi pemodelan dalam dunia bisnis,
dimana dalam situasi ini memiliki perangkat program yang dapat secara khusus
menspesifikasikan ke dalam penulisan laporan kueri dan antar pengguna yang lainnya.

5. Proses kueri yang dapat diprediksi (Predictable query processing), aplikasi gudang data
yang mencari data dari level dibawahnya akan dengan mudah menambah jumlah atribut
pada tabel dimensi dari skema bintang. Aplikasi yang mencari data dari level yang setara
akan menghubungkan tabel fakta yang terpisah melalui tabel dimensi yang dapat diakses
bersama.

6. End-user dapat menyesuaikan cara berfikir dan menggunakan data.

7. Lebih mudah dipahami

 Kekurangan Menggunakan Skema Bintang

Selain kelebihan dari skema bintang diatas, ada beberapa kekurangan bila menggunakan
skema bintang, diantaranya adalah:

1. Pada penyimpanan atau memory, skema bintang membutuhkan ukuran penyimpanan

yang relatif besar.

2. Dalam melakukan perawatan (maintenance) dan update

3. lebih sulit, karena tabel yang tidak normal.

4. Long time loading dimension table, dalam loading pada tabel dimensi dibutuhkan
waktu yang cukup lama, ketika data yang dimiliki rendah dalam integritas dan nilai
dalam  replika tinggi maka waktu untuk melakukan loading menjadi meningkat.

5. Skema bintang tidak fleksibel dalam hal kebutuhan analisis, seperti model data
yang dinormalisasi (jika data yang dibutuhkan melakukan normalisasi). Skema
bintang dibangun hanya untuk kebutuhan data tertentu, sehingga tidak benar-
benar memungkinkan analisis yang lebih kompleks.

6. Skema bintang tidak memiliki relasi many-to-many

Menurut Connoly (2002), skema butiran salju (Snowflake Schema) merupakan bentuk lain
dari

skema bintang (Start) dimana data dalam tabel dimensi belum dinormalisasi.
Ciri-ciri dari skema butiran salju adalah :

1. Tabel dimensi dinormalisasi dengan dekomposisi pada level atribut.

2. Setiap dimensi mempunyai satu kunci (key) untuk setiap level pada hirarki dimensi.

3. Kunci level terendah menghubungkan tabel dimensi dengan tabel fakta dan tabel atribut
berlevel

rendah

 Kelebihan Menggunakan Skema Snowflake

Kelebihan menggunakan skema butiran salju (snowflake) adalah :

1. Kecepatan memindahkan data dari data OLTP ke dalam metadata.

2. Sebagai kebutuhan dari alat pengambil keputusan tingkat tinggi dimana dengan tipe
yang seperti  ini seluruh struktur dapat digunakan sepenuhnya.

3. Banyak yang beranggapan lebih nyaman merancang dalam bentuk normal ketiga.

 Kekurangan Menggunakan Skema Snowflake

1. Cenderung lebih sulit dipahami karena kompleksitasnya dimana tabel-tabel dimensi

skema

snowflake merupakan normalisasi dari beberapa tabel yang berhubungan.

2. Memiliki masalah besar dalam hal (performance) atau kinerja untuk melakukan kueri, hal
ini disebabkan karena semakin banyaknya join antar tabel-tabel yang dilakukan dalam
skema snowflake maka semakin lambat kinerja yang dilakukan

Entity Relationship Diagram (ERD) adalah sekumpulan cara atau peralatan untuk
mendeskripsikan data-data atau objek-objek yang dibuat berdasarkan dan berasal dari
dunia nyata yang disebut entitas (entity) serta hubungan (relationship) antar entitas-entitas
tersebut dengan menggunakan beberapa notasi

Seperti yang telah dijabarkan sebelumnya, ERD digunakan untuk menggambarkan database
untuk pemrosesan transaksi online atau Online Transaction Processing (OLTP), sedangkan
dimensional model digunakan untuk mendesain database dalam data warehouse. Berikut ini
merupakan perbandingan antara OLTP dengan data warehouse.
Dari tabel diatas dapat diketahui bahwa ERD digunakan untuk memodelkan datadata yang
bersifat transaksional. Sedangkan dimensional model lebih dimanfaatkan untuk
memodelkan data-data yang akan digunakan untuk menunjang pengambilan keputusanDM
adalah teknik Logical Design untuk menampilkan data dalam framework standard yang
intuitif dan memungkinkan access data dengan performa yang tinggi. Berbicara mengenai
DM tidak bisa dipisahkan dari teknik Dimensional yang menggunakan Rasional Model
namun dengan beberapa batasan penting.

Setiap DM terdiri atas satu tabel dengan banyak Foreign Key yang disebut Facs Table dan
satu set tabel yang lebih kecil yang disebut Dimension Table, setiap Dimension Table
mempunyai satu bagian Primary Key yang terhubung dengan tepat pada salah satu Foreign
Key dari beberapa Key pada tabel Facs tersebut. (lihat gambar dibawah)

Karakteristik pada gambar tersebut yang seperti struktur bintang biasa disebut dengan Star-
Schema. Dengan demikian dapat dikatakan bahwa Star-Schema adalah teknik Data
Modeling yang digunakan untuk memetakan Multi Dimensional Diecission Support pada
suatu database relasional.

Dengan menggunakan Star-Schema maka implementasi suatu Model untuk analisa

Multidimensional Data menjadi mudah, selain itu operasi database dengan struktur
relasional juga masih dimungkinkan.

Hubungan antara Fact Table dan Dimension Table tidak lagi menggunakan Natural Key atau
Key yang dipakai di Legacy sistem, tetapi menggunakan Key Pengganti atau biasa disebut
Surrogate Key. Alasannya antara lain:

Karena Data pada Data Warehouse tidak boleh di update (Non Volatile) sedangkan Key
pada Legacy karena tuntutan bisnis bisa saja suatu saat berubah. Untuk menjaga
performance yang tinggi Surrogate Key dibuat sesederhana mungkin yaitu cuma satu field
dan bertipe Numeric dari Running Number yang dihitung dari ETL Program atau dari tipe
data pada Data Base nya sendiri.

Komponen-komponent Star-Schema:

1. Fact

2. Dimensions

3. Attributes

4. Attribute Hierarchie

5. Granularity
Penjelasan masing-masing komponen Star-Schema diatas adalah sebagai berikut:

1. Fact

Fact adalah suatu angka dari pengukuran yang menunjukkan aspek tertentu dari suatu
bisnis atau suatu aktivtas . Fact Table berisi beberapa fakta yang terhubung dengan masing-
masing Dimension nya. Fact dapat berupa nilai yang telah ada atau baru diturunkan pada
saat Run-time.

2.Dimensions

Dimension adalah karakteristik suatu ukuran yang menyediakan tambahan cara melihat

suatu fakta yang telah diberikan pada Fact Table. Dimension disimpan pada
Dimension Table.

3. Attributes

Setiap tabel dimensi mempunyai Attributes. Attributes sering dipakai pada operasi Search,
Filter, atau Grouping dari suatu Fact. Dimensions menyediakan karakteristik deskriptif
(uraian) tentang Fact lewat Attribut nya.

Beberapa contoh Attributes:

Nama Dimension : Location

Keterangan : Segala sesuatu yang menjelaskan

tentang lokasi suatu tempat

Attributs : Propinsi, Kabupaten, Kota,Toko

Nama Dimension : Product

Keterangan : Segala sesuatu yang menjelaskan tentang

produk yang terjual

Attributs : Tipe Produk, Merek, Paket, Kemasan,

Warna, Ukuran, dsb.

Nama Dimension : Time

Keterangan : Segala sesuatu yang menjelaskan tentang

waktu penjualan.

Attributs : Tahun, Kuartal, Bulan, Minggu, Hari, dsb.

4. Attribute Hierarchies

Attributes pada suatu Dimension dapat diurutkan dengan

definisi yang baik dalam suatu Attribute Hierarchies.

Attribute Hierarchies menyediakan Data dengan organisasi

Top-Down yang terutama berguna untuk:

– Aggregation

– Drill-Down/Roll-up Data Analysis

5. Granularity

Granularity adalah salah satu aspek terpenting dalam desain Data Waehouse karena
menentukan volume data yang akan disimpan dalam Data Warehouse dan
menentukan kedalam detail Query yang bisa dijalankan. Secara ekstrem ada Lowest Grain
(Grain terendah) dan Highest Grain (Grain tertinggi). Lowest Grain menyimpan transaksi di
level detail (Atomic Transaction) sedangkan Highest Grain menyimpan data hanya dilevel
Enterprise atau level Perusahaan (Summary Transaction) Level dari Granularity disimpan
pada Hirarchy suatu Dimension.

Apa itu ETL.....?

ETL adalah sekumpulan proses integrasi data yang harus dilalui dalam pembentukan data
warehouse. ETL bertujuan untuk mengumpulkan, menyaring, mengolah dan
menggabungkan datadata yang relevan dari berbagai sumber untuk disimpan ke
dalam data warehouse. Sesuai dari Namanya proses ETL sendiri terdiri
dari extracting, transforming, loading

Dengan sistem yang sudah ada sebelumnya. Hasil dari proses ETL adalah dihasilkannya data
yang memenuhi kriteria data warehouse seperti data historis, terpadu, terangkum, statis dan
memiliki struktur yang dirancang untuk keperluan proses analisis. Proses ETL terdiri dari tiga
tahap, yaitu :

1. Extraction

            Langkah pertama dari proses ETL adalah proses penarikan data dari satu atau lebih
sistem operasional sebagai sumber data (bisa diambil dari sistem OLTP, tapi bisa juga dari
sumber data di luar system database). Kebanyakan proyek data warehouse menggabungkan
data dari sumber-sumber yang berbeda. Pada hakekatnya, proses ekstraksi adalah proses
penguraian dan pembersihan data yang diekstrak untuk mendapatkan suatu pola atau
struktur data yang diinginkan. Terdapat beberapa fungsi ekstraksi data, yaitu :

 Ekstraksi data secara otomatis dari aplikasi sumber.

 Penyaringan atau seleksi data hasil ekstraksi.
 Pengiriman data dari berbagai platform aplikasi ke sumber data.
 Perubahan format layout data dari format aslinya.
 Penyimpanan dalam file sementara untuk penggabungan dengan hasil ekstraksi dari
sumber lain.

2. Transformation
            Proses transformasi data merupakan proses mengubah data dari format operasional
menjadi format data warehouse. Proses transformasi berupa tugas-tugas seperti
mengkonversi tipe data, melakukan beberapa perhitungan, penyaringan data yang tidak
relevan, dan meringkasnya. Proses transformasi dibutuhkan untuk memenuhi kebutuhan
bisnis suatu perusahaan. Langkah-langkah dalam transformasi data adalah sebagai berikut :

 Memetakan data input dari skema data aslinya ke skema data warehouse.
 Melakukan konversi tipe data atau format data.
 Pembersihan serta pembuangan duplikasi dan kesalahan data.
 Penghitungan nilai-nilai derivat atau mula-mula.
 Penghitungan nilai-nilai agregat atau rangkuman.
 Pemerikasaan integritas referensi data.
 Pengisian nilai-nilai kosong dengan nilai default.
 Penggabungan data.

3. Loading
            Fase load merupakan tahapan yang berfungsi untuk memasukkan data ke dalam
target akhir, yaitu ke dalam suatu data warehouse. Waktu dan jangkauan untuk mengganti
atau menambah data tergantung pada perancangan data warehouse pada waktu
menganalisa keperluan informasi. Fase load berinteraksi dengan suatu database, constraint
didefinisikan dalam skema database sebagai suatu trigger yang diaktifkan pada waktu
melakukan load data (contohnya : uniqueness,referential, integrity, mandatory fields), yang
juga berkontribusi untuk keseluruhan tampilan dan kualitas data dari proses ETL.

Untuk mengintegrasikan data maka kita harus menggunakan tools, apakah dari tools open
source atau atau yang berbayar. Kali ini kita tidak akan menggunakan tools yang berbayar,
tetapi menggunakan tools yang bersifat  open source: Apache Kafka merupakan salah satu
aplikasi message service/broker atau publish subscribe yang paling banyak digunakan saat
ini.

Belakangan ini kafka sendiri sudah menambahkan fitur streaming kedalam platformnya.
Kafka sekarang berada pada naungan apache yang artinya bahwa kafka merupakan sebuah
platform yang open source.

Apache Kafka adalah sebuah publish-subscribe messaging system. Messagging system

adalah system yang bisa digunakan untuk mengirimkan message antar proses, aplikasi dan
server.

Selain itu, tugas utama kafka yaitu menggunakannya untuk membangun pipeline dan
aplikasi data streaming dengan real-time, dan menjalankannya sebagai cluster pada satu
atau beberapa server yang dapat menjangkau lebih dari satu pusat data.

Kafka kluster menyimpan stream record dalam kategori yang berupa topik, dan setiap
record terdiri dari key, value, dan timestamp.

Apache Nifi adalah perangkat lunak sumber terbuka (open source) untuk mengotomatisasi
dan mengelola aliran data antar sistem. Sangat handal dalam memproses dan
mendistribusikan data. Selain itu penggunaannya lebih mudah karena tersedia user
interface berbasis web untuk membuat, memantau, dan mengendalikan aliran data. Pentaho
adalah kumpulan aplikasi Business Intelligence (BI) yang berkembang dengan pesat dan
bersifat free open source software (FOSS)  yang berjalan di atas platform Java.

Sedangkan Pentaho Data Integration adalah software dari Pentaho berguna untuk proses
ETL (Extraction, Transformation dan Loading).

Adapun penggunaan PDI yaitu untuk migrasi data, membersihkan data,  loading dari file ke
database atau sebaliknya dalam volume besar. PDI menyediakan graphical user interface
dan drag-drop komponen yang memudahkan user. Biasanya Talend digunakan untuk
integrasi antara sistem operasional, ETL (extract, transform dan load), dan migrasi data oleh
beberapa sumber.

Selain itu, Talend akan membantu Anda dalam mengelola semua aspek dari tahap ekstraksi
data, transformasi data, dan loading data secara efisien dan efektif.
Talend sudah lengkap dengan beberapa fitur seperti berikut ini :

 Memudahkan pemodelan data dengan menggunakan desain tool secara drag and
drop
 Terdapat lebih dari 900 komponen yang dapat menghubungkan semua sumber data
 Manipulasi String
 Penanganan Lookup Otomatis
 Kemampuan untuk menjalankan extract, transform dan load

Talend Data Integration mencakup fitur untuk berbagai perusahaan seperti load balancing,
automatic failover, dan tools untuk kolaborasi antar tim, serta dukungan teknis round-the-
clock dari para ahli integrasi data pada aplikasi Talend ini. Aktivitas-aktivitas dalam
mendesain ETL (Extract-Transform-Load) tidak harus dilakukan secara linear. Gambar
di atas menunjukkan aktivitas mana saja yang dapat dilakukan secara bersamaan.

1. Buat dokumen untuk pemetaan dari sumber-ke-target.

Gunakan hasil-hasil analisa data sumber dan business rules dari langkah-langkah
sebelumnya dan gabungkan semuanya ke dalam spesifikasi untuk transformasi.
Mendokumentasikan spesifikasi transformasi dalam matriks atau spreadsheet pemetaan dari
sumber-ke-target.

2. Ujilah berbagai fungsi tool ETL.

Sangatlah penting untuk menguji berbagai fungsi tool ETL sebelum mendesain aliran proses
ETL dan sebelum memutuskan bagaimana cara mengatur staging-area. Sebagai contoh,
akan tidak berguna untuk menginstal tool ETL yang sangat populer tetapi tidak bisa
membaca flat files di mainframe jika 90 persen dari data sumber ternyata ada dalam bentuk
flat file di komputer/server mainframe. Oleh karena itu, ujilah berbagai fungsi tool ETL dan
tentukan apakah kode tambahan harus ditulis untuk melakukan beberapa transformasi yang
rumit dan panjang yang tidak bisa dilakukan oleh tool tersebut.

3. Desain aliran proses ETL.

Aspek yang paling menantang dari desain ETL adalah membuat aliran proses ETL yang
efisien. Karena sebagian besar staging-data biasanya sangat kecil - hanya perlu beberapa
jam saja per malam - maka proses ETL harus dirampingkan sebanyak mungkin. Itu berarti
memecah-mecah proses ETL ke dalam komponen-komponen program kecil sehingga
sebanyak mungkin dapat dijalankan secara paralel.
4. Desain program-program ETL.
Karena kebanyakan organisasi memerlukan beberapa tahun data historikal yang akan
dimuat pada rilis aplikasi BI pertama, maka akan ada tiga set program ETL untuk
dipertimbangkan: beban awal, beban historikal, dan beban incremental. Beban incremental
mungkin akan menjadi beban delta dan karena itu akan menjadi yang paling rumit untuk di-
desain. Buatlah modularisasi program-program ETL sebanyak mungkin, dan buatlah
spesifikasi pemrograman untuk setiap modul program ETL.

5. Mengatur staging-area ETL.

Tentukan apakah Anda memerlukan staging-area yang ter-sentralisasi dengan
menggunakan dedicated server atau apakah lebih masuk akal untuk menerapkan staging
area yang ter-desentralisasi di lingkungan Anda. Faktir-faktor penentu adalah jenis dan
lokasi file-file sumber dan database sumber, serta fungsi, kemampuan, dan persyaratan
lisensi dari tool ETL.

Aktivitas-aktivitas dalam pengembangan ETL (Extract-Transform-Load) tidak harus dilakukan

secara linear. Gambar di atas menunjukkan aktivitas mana saja yang dapat dilakukan secara
bersamaan. Berikut di bawah ini adalah deskripsi secara singkat 5 langkah dalam
pengembangan ETL:

1. Buat dan lakukan uji-unit terhadap proses ETL

Di bawah arahan pemimpin developer ETL, program-program ETL harus dikembangkan
untuk tiga set proses beban: beban untuk proses data permulaan, beban untuk proses data
historical, dan beban untuk data incremental. Jika Anda berencana untuk menggunakan
utilitas dari sistem manajemen database (DBMS) untuk mengisi/load database target BI,
maka hanya program untuk ekstrak dan transformasi saja yang harus ditulis, termasuk
program-program untuk membuat file-file beban akhir. Jika Anda berencana untuk
menggunakan tool ETL, petunjuk (meta data teknis) untuk tool ETL harus dibuat. Semua
program ETL yang ditulis/dibuat sendiri dan semua tool modul-modul ETL harus menjalani
uji unit untuk kompilasi, fungsionalitas, dan pengeditan.

2. Integrasi atau lakukan tes-regresi pada proses ETL

Setelah Anda lakukan uji-unit untuk semua program ETL atau program modul secara
individual, seluruh aliran proses ETL harus diuji. Hal ini dilakukan dengan pengujian integrasi
pada rilis pertama dan dengan pengujian regresi pada rilis berikutnya. Kedua jenis
pengujian harus dilakukan dalam rencana uji formal dengan berbagai macam kasus
pengujian, hasil-hasil tes yang diharapkan, hasil-hasil tes yang sebenarnya, dan log dari tes
yang berjalan.
3. Uji-kinerja pada proses ETL
Karena banyak database target BI adalah database yang sangat besar (VLDBs), sangatlah
penting untuk melakukan 'stress test' pada program-program yang dipilih atau pada
modul-modul tool ETL. Lakukan 'stress test' dengan data volume penuh pada program-
program tersebut atau modul-modul tool ETL yang melakukan proses 'read/write' ke tabel
yang bervolume tinggi dan yang melakukan operasi yang rumit dan kompleks, terutama
ketika berjalan secara paralel pada tabel bervolume tinggi. Uji/tes kinerja juga dapat
disimulasikan dengan berbagai tool simulasi 'stress test'.

4. Uji 'quality assurance' (QA) pada proses ETL

Sebagian besar organisasi tidak mengijinkan program-program untuk dipindahkan ke
dalam fase produksi sampai semuanya telah melewati proses uji QA. Uji/tes ini biasanya
dijalankan di bawah pengawasan staf operasi di lingkungan QA yang terpisah.

5. Uji penerimaan (UAT / user acceptance test) proses ETL

Jika perwakilan dari orang-orang bisnis dan ahli dari subyek terkait telah terlibat secara aktif
dalam kegiatan integrasi atau uji regresi, maka uji/tes penerimaan (UAT atau user
acceptance test) harus sedikit diatas sertifikasi resmi dari perwakilan orang-orang bisnis. Jika
mereka tidak terlibat, semua fungsi dari proses ETL harus divalidasi supaya lengkap dan
benar, terutama proses rekonsiliasi.

Beberapa pendapat para pakar tentang definisi Bussiness Intelligence (BI) adalah :

1. Bussiness Intelligence (BI) merupakan seperangkat solusi sistem informasi yang dapat
menuntun kepada percepatan pengambilan keputusan dalam tingkat akurasi yang tinggi
(Thia, 2011). BI dapat didefinisikan sebagai kemampuan perusahaan untuk memahami dan
menggunakan informasi dalam rangka meningkatkan kinerja (Curko, 2008). Dapat
disimpulkan bahwa BI menjelaskan tentang suatu teknologi mengkonversi data berdasarkan
sistem yang berbasiskan data menghasilkan informasi yang tepat waktu untuk
meningkatkan kualitas pengambilan keputusan bisnis.

2. Business Intelligence adalah suatu cara untuk mengumpulkan, menyimpan,

mengorganisasikan, membentuk ulang, meringkas data serta menyediakan informasi, baik
berupa data aktivitas bisnis internal perusahaan, maupun data aktivitas bisnis eksternal
perusahaan termasuk aktivitas bisnis para pesaing yang mudah diakses serta dianalisis
untuk berbagai kegiatan manajemen (David, 2000). Business Intelligence merupakan sebuah
proses untuk melakukan ekstraksi data-data operasional perusahaan dan
mengumpulkannya dalam sebuah data warehouse. Selama proses ekstraksi juga dapat
dilakukan transformasi dengan menerapkan berbagai formula, agregasi, maupun validasi
sehingga didapat data yang sesuai dengan kepentingan analisis bisnis.

Selanjutnya data di data warehouse diproses menggunakan berbagai analisis statistik dalam
proses data mining, sehingga didapat berbagai kecenderungan atau pattern dari data. Hasil
penyederhanaan dan peringkasan ini disajikan kepada end user yang biasanya merupakan
pengambil keputusan bisnis. Dengan demikian manajemen dapat mengambil keputusan
berdasarkan fakta-fakta aktual, dan tidak hanya mengandalkan intuisi dan pengalaman
kuantitatif saja (Imelda, 2013). Business Intelligence menjelaskan tentang suatu konsep dan
metode bagiamana untuk meningkatkan kualitas pengambilan keputusan bisnis
berdasarkan sistem yang berbasiskan data.

BI seringkali dipersamakan sebagaimana briefing books, report and query tools, dan sistem
informasi eksekutif. BI merupakan sistem pendukung pengambilan keputusan yang
berbasiskan data-data (Power, 2002). Business Intelligence adalah alat analisis yang
digunakan untuk mengkonsolidasikan data, menganalisis, menyimpan dan mengakses
banyak data untuk membantu dalam pembuatan keputusan, seperti perangkat lunak untuk
query database dan pelaporan, alat untuk analisis data multidimensi, dan data mining
(Laudon, Kenneth C, Jane P., 2008).

3. Business Intelligence System/Sistem Bisnis Intelijen (SIB) :

business intelligence merupakan sistem dan aplikasi yang berfungsi untuk mengubah data-
data dalam suatu perusahaan/organisasi (data operasional, data transaksional, atau data
lainnya) ke dalam bentuk pengetahuan. Aplikasi ini melakukan analisis data-data di masa
lampau, menganalisisnya dan kemudian menggunakan pengetahuan tersebut untuk
mendukung keputusan dan perencanaan organisasi.

4. Steve and Nancy Williams “The Profit Impact of Business Intelligence” (2007) : Bussiness
Inteligent as business information and business analyses within the context of key business
processes that lead to decisions and actions and that result in improved business
performance. In particular, BI means leveraging information assets within key business
processes to achieve improved business performance.

5. SIB yang sebagaimana oleh Powers (2002) : “Business Intelligence System menjelaskan
tentang suatu konsep dan metode bagaimana untuk meningkatkan kualitas pengambilan
keputusan bisnis berdasarkan sistem yang berbasiskan data. Bussiness Inteligent seringkali
dipersamakan sebagaimana briefing books, report and query tools, dan sistem informasi
eksekutif. Bussiness Inteligent merupakan sistem pendukung pengambilan keputusan yang
berbasiskan data-data”.

Sejarah perkembangan BI dapat dijelaskan sebagai berikut :

  Teori tentang pengambilan keputusan organisasi dikembangkan di Carnegie Institute
of Technology (akhir tahun 1950an – awal tahun 1960an).
 Implementasi DSS tersebut dalam bentuk sistem komputer interaktif dilakukan di
Massachusetts Institute of Technology (tahun 1960an)
 Konsep DSS menjadi area riset (pertengahan 1970 – 1980an). Dikembangkan
Executive Information Systems (EIS), Group Decision Support Systems (GDSS), dan
Organizational Decision Support Systems (ODSS) untuk single user berbasis model
(pertengahan 1980)
 Dikembangkan data warehousing dan On-Line Analytical Processing (OLAP) (awal
tahun 1990).
 Dikembangkan aplikasi analitik berbasis web (awal tahun 2000) dikenal dengan
Business Intelligence (BI).

Menurut Steadman (2003) Beberapa manfaat yang bisa didapatkan bila suatu organisasi
mengimplementasikan SIB antara lain :

1. Meningkatkan nilai data dan informasi organisasi. Melalui pembangunan BI, maka
seluruh data dan informasi dapat diintegrasikan sedemikian rupa sehingga
menghasilkan dasar pengambilan keputusan yang lengkap. Informasi-informasi yang
dulunya tidak dicakupkan sebagai salah satu faktor pengambilan keputusan
(terisolasi) dapat dengan mudah dilakukan ‘connect and combine’ dengan
menggunakan BI. Data dan informasi yang dihasilkan pun juga menjadi lebih mudah
diakses dan lebih mudah untuk dimengerti (friendly-users infos).
2. Memudahkan pemantauan kinerja organisasi. Dalam mengukur kinerja suatu
organisasi seringkali dipergunakan ukuran yang disebut Key Performance Indicator
(KPI). KPI tidak melulu diukur dengan satuan uang, namun dapat juga berdasarkan
kecepatan pelaksanaan suatu layanan.
3. Meningkatkan nilai investasi Teknologi Informasi (TI) yang sudah ada. SIB tidak
perlu/harus mengubah atau menggantikan sistem informasi yang sudah digunakan
sebelumnya. Sebaliknya, SIB hanya menambahkan layanan pada sistem-sistem
tersebut sehingga data dan informasi yang sudah ada dapat menghasilkan informasi
yang komprehensif dan memiliki kegunaan yang lebih baik.
4. Menciptakan pegawai yang memiliki akses informasi yang baik (well-informed
workers). Dalam melaksanakan pekerjaannya sehari-hari, seluruh level dari suatu
organisasi (mulai dari pegawai/bawahan sampai dengan pimpinan) selalu berkaitan
dan/atau membutuhkan akses data dan informasi. BI mempermudah seluruh level
pegawai dalam mengakses data dan informasi yang diperlukan sehingga membantu
membuat suatu keputusan. Jika kondisi seperti ini tercapai, maka misi dan strategi
organisasi yang sudah ditetapkan dapat dengan lebih mudah terlaksana serta
terpantau tingkat pencapaiannya.
5. Meningkatkan efisiensi biaya. BI dapat meningkatkan efisiensi karena mempermudah
seseorang dalam melakukan pekerjaan : hemat waktu dan mudah pemanfaatannya.
 Waktu yang dibutuhkan untuk mencari data dan mendapatkan informasi yang
dibutuhkan menjadi semakin singkat dan cara untuk mendapatkannya pun tidak
memerlukan pengetahuan (training) yang rumit.

Implementasi Business Intelligence System Sistem SIB yang biasanya digunakan di

organisasi. Tujuan utamanya adalah untuk meningkatkan layanan, efisiensi biaya, dan
efektifitas kerja yang diembankan kepada organisasi dimaksud. Dalam
mengimplementasikan SIB di suatu perusahaan pemerintah, hal utama yang harus
diperhatikan adalah bahwa SIB harus mendukung pencapaian visi, misi, dan strategi
organisasi dalam mencapai tingkat kinerja organisasi (organization performance) yang
diinginkannya. Pada tahap pendekatan implementasi SIB, ada beberapa yang harus dilewati
untuk mulai dari identifikasi awal penentuan bahan yang diperlukan hingga deployment
yang akan dijelaskan di tiap-tiap langkanya. Ada enam stage dalam pendekatan
implementasi SIB (Moss dan Atre, 2003):

1. Justification: Menilai kebutuhan bisnis yang menimbulkan proyek rekayasa baru.

2. Planning: Mengembangkan rencana stgrategis dan taktis yang merencanakan
bagaimana proyek rekayasa akan tercapai dan disebarkan.
3. Bussiness Analysis: Menunjukan analisis rinci mengenai masalah bisnis atau peluang
usaha untuk mendapatkan pemahaman yang kuat tentang persyaratan bisnis.
4. Design: Menyusun sebuah produk yang memecahkan masalah bisnis atau
memungkinkan peluang bisnis.
5. Construction: Membangun produk yang seharusnya memberikan pengembalian
investasi dalam jangka waktu yang ditentukan.
6. Depeloyment: Melaksanakan atau menjual produk jadi, kemudian mengukur
efektivitas untuk menentukan apakah solusi memenuhi atau gagal untuk memenuhi
hasil yang diharapkan dari investasi.

Dalam membangun dan mengimplementasikan SIB di suatu organisasi, terdapat 3 (tiga)

pendekatan yang bisa digunakan. Masing-masing dari pendekatan tersebut memiliki
kelebihan dan kelemahan, dimana pilihan dari strategi tersebut berdasarkan kondisi dan
kebutuhan organisasi yang akan membangun SIB (Von Halle, 2001). Pendekatan tersebut
adalah antara lain :

1. Top-down Approach
Kelebihan dari pendekatan ini yaitu : Pembangunan SIB langsung mencakup data seluruh
organisasi, Kerangka SIB akan lebih terstruktur, bukan gabungan dari berbagai data mart
(data parsial), Penyimpanan data menjadi terpusat dan Kontrol informasi dapat dilakukan
secara tersentralisasi. Adapun kelemahan pendekatan ini yang harus diantisiapasi
diantaranya: Waktu implementasi lebih lama, Risiko kegagalan relatif tinggi karena
kerumitannya dan Membutuhkan biaya yang relatif besar.
2. Bottom-up Approach
Kebalikan dengan pendekatan sebelumnya, dalam pendekatan bottom-up SIB yang akan
disusun justru dari tingkat departemental (departement data warehouse) baru kemudian
diintegrasikan menjadi data warehouse organisasi secra keseluruhan. Pendekatan ini sangat
tepat bagi kebutuhan suatu organisasi yang memprioritaskan pembangunan BI di suatu
departemen terlebih dahulu. Kemudian setelah sukses di departemen tersebut akan
dilanjutkan de departemen lain.

Kelebihan dari pendekatan ini antara lain: Implementasi lebih mudah untuk dikelola, Risiko
kegagalan relatif lebih kecil, Bersifat incremental, dimana data mart yang penting dapat
dijadwalkan lebih awal dan Memungkinkan anggota tim proyek untuk belajar dengan baik.

Kelemahan pendekatan ini yang harus diantisiapasi yaitu: Tiap data mart merupakan
departmental-view, Memungkinkan terjadinya duplikasi data di setiap data mart di masing-
masing departemen, Data tidak konsisten dan data sulit direkonsiliasi dan Terdapat banyak
interface yang sulit.

3. Practical Approach.
Pendekatan ini mengkombinasikan ke-dua pendekatan sebelumnya untuk mendapatkan
kelebihannya. Dalam pendekatan ini, pengembangan SIB di suatu organisasi akan dimulai
dengan perencanaan dan pendefinisian arsitektur kebutuhan data warehouse organisasi
secara keseluruhan (standardisasi). Baru kemudian akan dilakukan serangkaian pembuatan
SIB pada tiap departemen yang membutuhkan. Sering kali kita mendengar istilah intelijen
bisnis atau lebih terkenal dengan Bussiness Intelligence( BI ). Intelijen bisnis sebenarnya
merupakan pengolahan data yang khusus untuk informasi bisnis. Intelijen bisnis mempunyai
komponen berupa seperangkat teori, metodologi, proses, arsitektur, dan teknologi yang
mampu mengubah data mentah menjadi informasi yang bermakna dan berguna untuk
tujuan bisnis. Intelijen bisnis dapat menangani sejumlah besar informasi untuk membantu
mengidentifikasi dan mengembangkan peluang baru dalam dunia bisnis. Dengan
memanfaatkan intelijen bisnis, kita akan bisa mendapatkan peluang baru dan menerapkan
strategi yang efektif sehingga mampu menghasilkan keuntungan pasar kompetitif dan
stabilitas jangka panjang.

Dengan bantuan teknologi informasi, intelijen bisnis mampu memberikan gambaran

tentang sejarah operasi bisnis, kondisi bisnis saat ini dan prediksi operasi bisnis dimasa
datang. Fungsi umum dari teknologi intelijen bisnis adalah melaporkan, pengolahan analisis
online, data mining, data mining, pengolahan informasi kompleks, bisnis manajemen
kinerja, analisis prediktif dan analisis preskriptif.

Istilah intelijen bisnis pertama kali digunakan oleh Hans Peter, seorang peneliti di IBM,
dalam sebuah artikel pada tahun 1958. Bisnis intelijen merupakan evolusi dari sistem
pendukung keputusan Decision Support Systems (DSS) yang dimulai pada tahun 1960 dan
dikembangkan pada tahun 1980-an . DSS berasal dari model dibantu komputer dibuat
untuk membantu pengambilan keputusan atau Executive Information Systems (EIS) dan
perencanaan. Dari DSS, Data Warehouse, Executive Information System (EIS), OLAP dan
akhirnya menjadi intelijen bisnis. Suatu metamorfosa yang hebat.

Pada tahun 1989, Howard Dresner, seorang analis Gartner Group, mengusulkan agar istilah
intelijen bisnis dipakai untuk menggambarkan konsep dan metode untuk meningkatkan
pengambilan keputusan bisnis dengan menggunakan sistem pendukung berbasis fakta.
Pada akhir tahun 1990, Bussiness Intelligence menjadi berkembang demikian pesat.

Seringkali aplikasi Bussiness Intelligence menggunakan data yang dikumpulkan dari data
warehouse atau data mart . Sebuah gudang data adalah salinan dari data transaksional yang
memfasilitasi dukungan keputusan. Namun, tidak semua gudang data yang digunakan
untuk intelijen bisnis, juga tidak semua aplikasi bisnis intelijen memerlukan data warehouse.

Sekarang istilah Bussiness Intelligence bisa didefinisikan menjadi seperangkat metodologi,

proses, arsitektur, dan teknologi yang mengubah data mentah menjadi informasi yang
bermakna dan berguna digunakan untuk memungkinkan wawasan strategis yang lebih
efektif, taktis, dan operasional dan pengambilan keputusan. Apabila menggunakan definisi
ini, intelijen bisnis juga mencakup teknologi seperti integrasi data, kualitas data, data
pergudangan, magister manajemen data, teks dan analisis konten, dan banyak orang lain
yang pasar kadang-kadang benjolan ke segmen manajemen Informasi.

Dalam rangka mendorong nilai bisnis, Bisnis intelijen dapat diterapkan untuk tujuan bisnis
berikut:
1 . Pengukuran
Aplikasi/program yang mampu menciptakan hirarki metrik kinerja dan benchmarking yang
menginformasikan pemimpin bisnis tentang kemajuan menuju tujuan bisnis.
2 . Analytics
Aplikasi/program yang mampu membangun proses kuantitatif untuk bisnis untuk sampai
pada keputusan yang optimal dan untuk melakukan bisnis penemuan pengetahuan. Pada
proses analisis ini, sering melibatkan : data mining, data proccess, analisis statistik, analisis
prediktif, pemodelan prediktif, pemodelan proses bisnis, pengolahan informasi kompleks
dan analisis preskriptif .
3 . Pelaporan
Aplikasi/program yang mampu membangun infrastruktur untuk pelaporan strategis untuk
melayani manajemen strategis bisnis, bukan pelaporan operasional. Sering melibatkan
visualisasi data, sistem informasi eksekutif dan OLAP .
4 . Kolaborasi/platform kolaborasi
Aplikasi/program yang mampu mendapat area yang berbeda (baik di dalam dan di luar
bisnis) untuk bekerja sama melalui berbagi data dan pertukaran data elektronik .
5 . Pengetahuan manajemen
Aplikasi/program yang mampu membuat data perusahaan didorong melalui strategi dan
praktek untuk mengidentifikasi, menciptakan, merepresentasikan, mendistribusikan, dan
memungkinkan adopsi wawasan dan pengalaman yang pengetahuan bisnis sejati.

Selain di atas, intelijen bisnis juga dapat memberikan pendekatan proaktif, seperti fungsi
alarm untuk mengingatkan pengguna aplikasi. Ada banyak jenis peringatan, misalnya jika
beberapa nilai bisnis melebihi nilai ambang jumlah dalam laporan, maka intelijen bisnis akan
memberikan peringatan dan analis bisnis bisa menjadi lebih waspada. Kadang-kadang mail
alert akan dikirim ke pengguna juga. Berikut gambar Arsitektur Bisnis Intellijen : Arsitektur
dari sebuah sistem business intelligence terdiri atas enam komponen utama (Vercellis, 2009)
yaitu:

1. Data Source
Pada tahap pertama ini diperlukan proses untuk mengumpulkan dan mengintegrasi data yang
disimpan dalam berbagai sumber yang bervariasi yang saling berbeda baik itu asal maupun
jenisnya. Sumber data ini berasal dari data yang terdapat pada operational system, tetapi juga
bisa berasal dari dokumen yang tidak terstruktur seperti email.

2. Data Warehouse
Pada tahap ini proses menggunakan extraction dan transformation tool yang dikenal sebagai ETL
(Extract, Transform, Load), data yang berasal dari berbagai sumber yang berbeda disimpan ke
dalam basisdata yang ditujukan untuk mendukung proses analisis business intelligence.

3. Data Exploration
Pada tahap ini, tools yang berfungsi untuk keperluan analisis business intelligence pasif
digunakan.Tools ini terdiri dari query dan reporting system, serta statistical methods. Metodologi
ini bersifat pasif dikarenakan para pengambil keputusan harus mengambil keputusan berdasarkan
hipotesis mereka sendiri atau mendefiniskan kriteria dari data extraction, kemudian
menggunakan tools analisis untuk menemukan jawaban dan mencocokannya dengan hipotesa
awal mereka.

4. Data Mining
Pada tahap ini proses terdiri sejumlah metodologi business intelligence bersifat aktif yang
tujuannya untuk mengekstrak informasi dan pengetahuan dari data tersebut. Metodologi ini berisi
sejumlah model matematika untuk pengenalan pola (pattern), pembelajaran mesin (machine
learn) dan teknik data mining.

5. Optimization
Pada tahap ini menghasilkan solusi dimana solusi terbaik harus dipilih dari sekian solusis
alternatif yang ada, dan biasanya sangat banyak dan beragam atau bervariasi.

6. Decisions
Pada tahap ini yang menjadi persoalan utama merupakan bagaimana menentukan keputusan
akhir yang akan diambil yang dikenal sebagai decision making process. Walaupun metodologi
business intelligence berhasil diterapkan, pilihan untuk mengambil sebuah keputusan tetap ada
ditangan para pengambil keputusan tersebut.