Nama : ~ Andrie Dwi Cahyo (1A111435) ~ Cita Patsiana C (1A111524) ~ Fadli Akbar (1A111437) ~ Rian Wibowo (1A111381) ~ Tika Desti W (1A111376) Kelas : 4KA27
Universitas Gunadarma
Daftar Isi
Daftar Isi............................................................................................................. ..........2 1. Konsep dan Arsitektur Data Warehouse.................................................................3 1.1 Pengertian Data Warehouse3 1.2 Istilah-istilah yang Berhubungan dengan Data Warehouse3 1.3 Karakteristik Data Warehouse4 1.4 Perlunya Data Warehouse6 1.5 Tugas-tugas Data Warehouse6 1.6 Keuntungan Data Warehouse.7 1.7 Arsitektur Data Warehouse..8 1.8 Arsitektur Dua Peringkat8 1.9 Arsitektur Data Warehouse yang Diperluas.9 1.10 Arsitektur Data Tiga Lapis.10 1.11 Aturan Model Data Organisasi.11 1.12 Aturan Metadata .11 2. Alur Data Warehouse.......................................................................................... ..11 3. Teknologi dan Peralatan Warehouse..12 4. Metodelogi Perancangan Warehouse.13 Basis Data Data Data Data
untuk
Data
1.
Dalam perancangan database tradisional menggunakan normalisasi, sedangkan pada data warehouse normalisasi bukanlah cara yang terbaik. Dari definisi-definisi yang dijelaskan tadi, dapat disimpulkan data warehouse adalah database yang saling bereaksi yang dapat digunakan untuk query dan analisisis, bersifat orientasi subjek, terintegrasi, timevariant,tidak berubah yang digunakan untuk membantu para pengambil keputusan.
yang
berhubungan
dengan
data
Istilah-istilah yang berkaitan dengan data warehouse : 1. Data Mart Adalah suatu bagian pada data warehouse yang mendukung pembuatan laporan dan analisa data pada suatu unit, bagian atau operasi pada suatu perusahaan. 2. On-Line Analytical Processing (OLAP) Merupakan suatu pemrosesan database yang menggunakan tabel fakta dan dimensi untuk dapat menampilkan berbagai macam bentuk laporan, analisis, query dari data yang berukuran besar. 3. On-Line Transaction Processing(OLTP) Merupakan suatu pemrosesan yang menyimpan data mengenai kegiatan operasional transaksi sehari-hari. 4. Dimension Table Tabel yang berisikan kategori dengan ringkasan data detail yang dapat dilaporkan. Seperti laporan laba pada tabel fakta dapat dilaporkan sebagai dimensi waktu(yang berupa perbulan, perkwartal dan pertahun). 5. Fact Table Merupakan tabel yang umumnya mengandung angka dan data history dimana key (kunci) yang dihasilkan sangat unik, karena key tersebut terdiri dari foreign key (kunci asing) yang merupakan primary key (kunci utama) dari beberapa dimension table yang berhubungan. 6. DSS Merupkan sistem yang menyediakan informasi kepada pengguna yang menjelaskan bagaimana sistem ini dapat menganalisa situasi dan mendukung suatu keputusan yang baik.
Data warehouse berorientasi subject artinya data warehouse didesain untuk menganalisa data berdasarkan subject-subject tertentu dalam organisasi,bukan pada proses atau fungsi aplikasi tertentu. Data warehouse diorganisasikan disekitar subjek-subjek utama dari perusahaan(customers,products dan sales) dan tidak diorganisasikan pada area-area aplikasi utama(customer invoicing,stock control dan product sales). Hal ini dikarenakan kebutuhan dari data warehouse untuk menyimpan data-data yang bersifat sebagai penunjang suatu keputusan, dari pada aplikasi yang berorientasi terhadap data. Jadi dengan kata lain, data yang disimpan adalah berorientasi kepada subjek bukan terhadap proses. Secara garis besar perbedaan antara data operasional dan data warehouse yaitu : Data Operasional Dirancang berorientasi hanya pada aplikasi dan fungsi tertentu Focusnya pada desain database dan proses Berisi rincian atau detail data Relasi antar table berdasar aturan terkini(selalu mengikuti rule(aturan) terbaru) Data Warehouse Dirancang berdasar pada subjeksubjek tertentu(utama) Focusnya pada pemodelan data dan desain data Berisi data-data history yang akan dipakai dalam proses analisis Banyak aturan bisnis dapat tersaji antara tabel-tabel
2. Integrated (Terintegrasi) Data Warehouse dapat menyimpan data-data yang berasal dari sumber-sumber yang terpisah kedalam suatu format yang konsisten dan saling terintegrasi satu dengan lainnya. Dengan demikian data tidak bisa dipecah-pecah karena data yang ada merupakan suatu kesatuan yang menunjang keseluruhan konsep data warehouse itu sendiri. Syarat integrasi sumber data dapat dipenuhi dengan berbagai cara sepeti konsisten dalam penamaan variable,konsisten dalam ukuran variable, konsisten dalam struktur pengkodean dan konsisten dalam atribut fisik dari data. Contoh pada lingkungan operasional terdapat berbagai macam aplikasi yang mungkin pula dibuat oleh developer yang berbeda. Oleh karena itu, mungkin dalam aplikasi-aplikasi tersebut ada variable yang memiliki maksud yang sama tetapi nama dan format nya berbeda. Variable tersebut harus dikonversi menjadi nama yang sama dan format yang disepakati bersama. Dengan demikian tidak ada lagi kerancuan karena perbedaan nama, format dan lain sebagainya. Barulah data tersebut bisa dikategorikan sebagai data yang terintegrasi karena kekonsistenannya. 5
3. Time-variant (Rentang Waktu) Seluruh data pada data warehouse dapat dikatakan akurat atau valid pada rentang waktu tertentu. Untuk melihat interval waktu yang digunakan dalam mengukur keakuratan suatu data warehouse, kita dapat menggunakan cara antara lain : Cara yang paling sederhana adalah menyajikan data warehouse pada rentang waktu tertentu, misalnya antara 5 sampai 10 tahun ke depan. Cara yang kedua, dengan menggunakan variasi/perbedaan waktu yang disajikan dalam data warehouse baik implicit maupun explicit secara explicit dengan unsur waktu dalam hari, minggu, bulan dsb. Secara implicit misalnya pada saat data tersebut diduplikasi pada setiap akhir bulan, atau per tiga bulan. Unsur waktu akan tetap ada secara implisit didalam data tersebut. Cara yang ketiga,variasi waktu yang disajikan data warehouse melalui serangkaian snapshot yang panjang. Snapshot merupakan tampilan dari sebagian data tertentu sesuai keinginan pemakai dari keseluruhan data yang ada bersifat read-only. 4. Non-Volatile Karakteristik keempat dari data warehouse adalah nonvolatile,maksudnya data pada data warehouse tidak di- update secara real time tetapi di refresh dari sistem operasional secara reguler. Data yang baru selalu ditambahkan sebagai suplemen bagi database itu sendiri dari pada sebagai sebuah perubahan. Database tersebut secara kontinyu menyerap data baru ini, kemudian secara incremental disatukan dengan data sebelumnya.
Berbeda dengan database operasional yang dapat melakukan update,insert dan delete terhadap data yang mengubah isi dari database sedangkan pada data warehouse hanya ada dua kegiatan memanipulasi data yaitu loading data (mengambil data) dan akses data (mengakses data warehouse seperti melakukan query atau menampilan laporan yang dibutuhkan, tidak ada kegiatan updating data).
d. Proses informasi executive Data warehouse dapat membuat ringkasan informasi yang penting dengan tujuan membuat keputusan bisnis, tanpa harus menjelajahi keseluruhan data. Dengan menggunakan data warehouse segala laporan telah diringkas dan dapat pula mengetahui segala rinciannya secara lengkap, sehingga mempermudah proses pengambilan keputusan. Informasi dan data pada laporan data warehouse menjadi target informative bagi user.
homogen dan terpisah. Keuntungan yang didapatkan dengan menggunakan data warehouse tersebut dibawah ini : Data diorganisir dengan baik untuk query analisis dan sebagai bahan untuk pemrosesan transaksi. Perbedaan diantara struktur data yang heterogen pada beberapa sumber yang terpisah dapat diatasi. Aturan untuk transformasi data diterapkan untuk memvalidasi dan mengkonsolidasi data apabila data dipindahkan dari database OLTP ke data warehouse. Masalah keamanan dan kinerja bisa dipecahkan tanpa perlu mengubah sistem produksi. Membangun data warehouse tentu saja memberikan keuntungan lebih bagi suatu perusahaan, karena data warehouse dapat memberikan keuntungan strategis pada perusahaan tersebut melebihi pesaing-pesaing mereka. Keuntungan tersebut diperoleh dari beberapa sumber (Sean Nolan,Tom Huguelet): Kemampuan untuk mengakses data yang besar Kemampuan untuk memiliki data yang konsistent Kemampuan kinerja analisa yang cepat Mengetahui adanya hasil yang berulang-ulang Menemukan adanya celah pada business knowledge atau business process. Mengurangi biaya administrasi Memberi wewenang pada semua anggota dari perusaahan dengan menyediakan kepada mereka informasi yang dibutuhkan agar kinerja bisa lebih efektif.
Arsitektur yang diperlihatkan dalam Gambar di atas menampilkan aplikasi data warehouse dalam bentuknya yang paling awal dan paling sederhana, namun masih banyak digunakan saat ini di organisasi-organisasi yang berskala relative kecil. Ia bekerja dengan baik pada perusahaan berskala kecil hingga menengah dengan jumlah perangkat keras dan perangkat lunak yang relative sedikit dalam lingkungan komputasi yang relative homogen. Bagaimanapun juga, untuk perusahaan yang lebih besar 9
dengan sumberdaya data yang banyak dan dalam lingkungan komputasi yang heterogen,pendekatan ini menimbulkan banyak masalah dalam hal pemeliharaan kualitas data dan pengelolaan proses ekstrasi data. Masalahmasalah ini, bersama dengan kecenderungan komputasi tersebar, memicu perkembangan lebih lanjut arsitektur data warehouse seperti yang diperlihatkan dalam gambar 12.4 di bawah. Arsitektur yang diperlihatkan pada Gambar di bawah dirujuk sebagai arsitektur 3 peringkat, dimana ketiga peringkat itu adalah: 1. Sistem operasional dan data. 2. Data warehouse tingkat perusahaan. 3. Data mart.
Gambar arsitektur 3 peringkat EDW (Enterprise Data Warehouse) adalah data warehouse terpusat dan terintegrasi yang mengendalikan sumberdaya data tunggal yang tersedia bagi para pengguna untuk digunakan sebagai sarana bagi aplikasi-aplikasi pendukung keputusa. Dua fungsi utma EDW adalah: EDW bertindak sebagai titik kendali untuk memastikan kualitas dan integritas data sebelum menjadikannya tersedia bagi para pengguna. Ia menyediakan rekaman data bisnis bersejarah, untuk data yang peka terhadap waktu (time sensitive). 10
Meskipun data warehouse adalah sumberdaya tunggal yang digunakan sebagi data untuk aplikasi-aplikasi pengambilan keputusan, biasanya ia tidak secara langsung diakses oleh pengguna. Secara sederhana, data warehouse terlalu besar dan terlalu rumit untuk aplikasi-aplikasi pengambilan keputusan. Alih-alihnya, pengguna mengakses data mart yang merupakan data-data yang diturunkan/diikhtisarkan dari data warehouse.
Gambar Arsitektur data 3 Lapis Data rekonsiliasi bersifat rinci, merupakan data menurut waktu yang didedikasikan sebagai data tunggal untuk semua aplikasi pendukung keputusan. Data rekonsiliasi secara umum bukan ditujukan untuk diakses secara langsung oleh pengguna. Data turunan adalah data yang telah dipilih, diformat, dan diagresi untuk aplikasi pendukung pengambilan keputusan. Dua komponen yang diperlihatkan dalam Gambar di atas memainkan peran kritis pada arsitektur data; mereka adalah model data perusahaan dan metadata-metadata yang digambarkan pada bagian kanan Gambar berurutan dari atas ke bawah.
Pada Gambar di atas kita melihat lapisan data rekonsiliasi dikaitkan dengan model data perusahaan. Model data perusahaan, seperti mencakup gambaran utuh tentang data-data yang dibutuhkan oleh perusahaan. Jika lapisan data rekonsiliasi adalah tunggal, merupakan sumber yang sah untuk semua data yang dibutuhkan untuk aplikasi-aplikasi pendukung pengambilan keputusan. Ia harus menyesuaikan diri pada model perancangan yang dispesifikasikan dalam model data perusahaan. Maka organisasi-organisasi 11
perlu mengembangkan model data perusahaan mereka sebelum mereka merancang data warehouse yang akan dikonstruksi gagal dalam memenuhi kebutuhan-kebutuhan pengguna.
e. Meta-flow Yaitu untuk pengaturan meta-data. Langkah selanjutnya Data yang berada dalam data warehouse akan digali untuk mencari pola yang menarik dari data warehouse tersebut oleh Data Mining. Kemudian hasil olahan dari data mining akan kembali dimasukkan ke dalam data warehouse, untuk dapat digunakan kembali oleh pihak lain. Setelah mendapatkan pola yang menarik di dalam data warehouse, maka akan dianalisa dengan bantuan OLAP. Dan data akan dikembalikan ke dalam data warehouse untuk digunakan kembali. Setelah melalui proses OLAP maka data yang ada dalam data warehouse oleh manager data warehouse akan dilaksanakan proses Outflow sehingga data tersebut telah siap digunakan. Data yang telah siap digunakan tersebut akan dipakai Oleh EIS dengan dukungan berbagai perangkat , seperti: perangkat EIS, perangkat pelaporan, dan juga perangkat pengembangan aplikasi. Dan melalui EIS juga data telah siap digunakan bagi pihak Eksekutif (End User).
Peralatan untuk pengekstrasian, pembersihan, dan transformasi : Code generator Membuat program transformasi 3GL/4GL yang dapat disesuaikan berdasarkan sumber dan target pendefinisian data. Data Warehouse 13/20 Sistem Basis Data Lanjut. Database data replication tools Menggunakan database trigger dan recovery log untuk mereka perubahan terhadap sumber data tunggal pada satu sistem dan mengunakan perubahan tsb kesuatu salinan sumber data yang dialokasikan pada sebuah sistem yang berbeda. Dynamic transformation engines 13
Merekam data dari sumber sistem pada interval yang telah definisikan pemakai, mentransformasikan data kemudian mengirim dan memuat hasilnya kedalam target lingkungan
Langkah 6 : Melengkapi tabel dimensi Pada tahap ini kita menambahkan keterangan selengkap-lengkapnya pada tabel dimensi Keterangannya harus bersifat intuitif dan mudah dipahami oleh pengguna Langkah 7 : Pemilihan durasi database Misalnya pada suatu perusahaan asuransi, mengharuskan data disimpan selama 10 tahun atau lebih Langkah 8 : Menelusuri perubahan dimensi yang perlahan Ada tiga tipe perubahan dimensi yang perlahan, yaitu : o Tipe 1. Atribut dimensi yang telah berubah tertulis ulang o Tipe 2. Atribut dimensi yang telah berubah menimbulkan sebuah dimensi baru o Tipe 3. Atribut dimensi yang telah berubah menimbulkan alternatif sehingga nilai atribut lama dan yang baru dapat diakses secara bersama pada dimensi yang sama. Langkah 9 : Menentukan prioritas dan mode query Pada tahap ini kita menggunakan perancangan fisik. Dengan langkah-langkah tadi, seharusnya kita bisa membangun sebuah data warehouse yang baik.
5.
15
6.
a.
KLAUSA SELECT Sintaksnya adalah : Select A1 [A2, A3.An] From T1 [T2.Tm] [where P] Dimana :
A1, A2An merupakan daftar atribut T1, T2Tm merupakan daftar tabel atau relasi. P merupakan predikat Query. n[ ] merupakan tanda opsional (boleh digunakan, boleh tidak digunakan), tergantung kebutuhan.
Klausa Select berorientasi pada operasi projection dalam bahasa query Formal. Contohnya adalah Tampilkan nim, nama dari tabel mahasiswa. Dalam ekspresi aljabar : project nim, nama (mahasiswa) Dimana dalam perintah query adalah : SELECT nim, nama FROM mahasiswa b. KLAUSA WHERE Klausa Where digunakan untuk menetapkan predikat kriteria yang harus dipenuhi dalam memperoleh hasil query. Contohnya adalah : Tampilkan mahasiswa dengan nim, nama dari tabel mahasiswa dengan nim = 098010024 Dalam Ekspresi aljabar : project nim, nama (select nim = 0980100024 ( mahasiswa ) ) Dimana dalam perintah Query adalah : SELECT nim, nama 16
FROM mahasiswa WHERE nim = 0980100024 c. KLAUSA FROM Klausa From digunakan untuk menetapkan tabel yang kita jadikan sebagai sumber (lokasi) pencarian. ContohNYA ADALAH : Select * From kuliah, dosen Where kuliah.kode_dos = dosen.kode_dos Pengurutan Hasil Query Dengan menggunakan ekspresi dasar SQL maka hasil query ditampilkan dengan urutan yang sesuai dengan struktur penyimpanan yang kita terapkan pada tabel query. Dimana Contohnya adalah : Select * from mahasiswa order by nama_mhs Fungsi Agregat Disamping menampilkan nilai-nilai atribut yang ada di dalam tabel, sering pula ada kebutuhan untuk menampilkan data-data agresi seperti : banyaknya record, total nilai suatu atribut, rata-rata nilai atribut, nilai atribut terbesar ataupu nilai atribut terkecil. Data Agregat dapat di peroleh dengan menggunakan fungsi-fungsi sbb : 1. Count 2. Sum 3. Avg 4. Max 5. Min 7. Penggunaan Oracle untuk Data Warehouse
Oracle Warehouse Builder atau OWB ialah seperangkat alat komperhensif bagi praktisi yang memindahkan dan men-transformasikan data, mengembangkan dan melakukan implementasi terhadap sistem BI, melakukan manajemen terhadap metadata, dan membuat dan mengatur database Oracle beserta metadatanya [Ste04]. Oracle Warehouse Builder (OWB) membantu tahap pengembangan dari data transak- si ke data warehouse dengan melakukan simulasi terhadap bentuk dimensi dan cubes, sehingga pembuatan keduanya menjadi mudah untuk dilakukan. Selain itu, OWB juga memisahkan tahap perancangan dengan implementasi sehingga mempermudah proses perancangan terhadap data warehouse. Oracle Warehouse Builder (OWB) juga membantu menjaga kerahasiaan data, karena OWB hanya menampilkan metadata dari tabel yang dirancang dan diimplementasikan. Sehingga kerahasiaan isi data dapat tetap terjaga. Untuk mendukung tahap pengembangan tersebut, OWB memiliki arsitektur yang terdiri dari design client, design repository, runtime instance, runtime access, runtime repository, dan target schema. 17
Design Client berfungsi untuk menyediakan antarmuka untuk mendenisikan sumber dan desain dari target dan proses ETL. Bagian ini melakukan perancangan terhadap data warehouse secara terpisah dengan melakukan akses pada design repository. Jika proses perancangan telah selesai dilakukan, implementasi dapat dilakukan secara otomatis dengan melakukan deploy. Design Client dapat di-install tanpa Oracle database untuk client user. Design Repository berisi Design Repository schema pada server yang dapat diakses oleh beberapa Design Clients. Design Repository menyimpan denisi metadata untuk seluruh sumber daya, target, dan proses ETL yang berhubungan dengan desain metadata. Metadata ini selanjutnya diimplementasi oleh Runtime Instance untuk diterapkan pada database. Isi dari Design Repository dapat diakses melalui Design Browser read only mode.
Runtime Instance dari Oracle Database ada pada server dengan tiga tipe pengguna pada target database, yaitu Runtime Access User, Runtime Repository Schema, dan Target Schema [Ste04]. Runtime Access User merupakan tipe pengguna terpisah yang tidak mempunyai privileges, namun dapat mengakses Runtime Repository Schema untuk men-deploy dan mengeksekusi proses ETL. Runtime Repository schema ialah tipe pengguna yang mengatur koneksi untuk target yang berbeda dalam Target Schema. Sedangkan Target Schema merupakan tipe pengguna yang mempunyai schema tempat data hasil proses ETL direpresentasikan. Dengan kata lain, Target Schema merupakan tempat sebenarnya untuk me18
load target data dan melakukan proses ETL yang mengakses paket pada Runtime Repository Schema. Fasilitas yang disediakan Oracle untuk data warehouse : 1. Summary management Mekanisme untuk menyimpan data multi dimensi dan ringkasan perhitungan pada sebuah tabel. 2. Analytical functions Penggunaan fungsi analitikal SQL (ranking, moving aggregate,dll) untuk keperluan business intelligence dan aplikasi data warehouse. 3. Bitmapped indexes Meningkatkan warehouse. kinerja yang sangat baik terhadap aplikasi data
4. Advanced join methods Dengan partition wise-join, secara dramatis meningkat kan kinerja join yang melibat kan tabel yang telah dipartisi pada join key. 5. Sophisticated SQL optimizer Optimizer secara dinamik menentukan path dan join yang paling efisien untuk setiap query. 6. Resource management Menyediakan pengawasan ditentukan pemakai. sumber-sumber sistem yang telah
19
Kesimpulan
Data warehouse merupakan kumpulan data yang berorientasi subjek, terintegrasi, time-variant, dan non volatile untuk mendukung proses pengambilan keputusan. Sumber data untuk data warehouse : data operasional dalam organisasi, dan sumber eksternal Alur data warehouse : inflow, upflow, downflow, outflow, meta flow. Peralatan data warehouse : code generator, database data replication tools, dynamic transformation engines
20
Daftar Pustaka
http://zakki.dosen.narotama.ac.id/files/2012/.../Definisi-Data-Warehouse.doc http://journal.mercubuana.ac.id/data/Data%20Warehouse.ppt http://pksm.mercubuana.ac.id/new/.../files.../18030-2-132677723244.doc http://achmadyasid.files.wordpress.com/2009/03/datawarehouse.doc http://IlmuKomputer.com
21