Integrasi Data Web

Abdul Kadir
 Sistem Integrasi Data
 Sistem yang dapat
menyelaraskan data yang
berasal dari sejumlah sumber ….
ke dalam sebuah bentuk ….
representasi ….

 Memungkinkan suatu
pandangan yang terintegrasi
yang jika dilihat pada
Sumber
masing-masing sumber data Sumber 2
akan memiliki perbedaan 1
antarmuka Sumber
3
 Motivasi Pengintegrasian Data
 Pemakai fokus pada data apa yang
diperlukan, bukan pada bagaimana
memperolehnya
Saya butuh data
penjualan
kompetitor?
BAGAIMANA saya
bisa
memperolehnya?
 Motivasi Pengintegrasian Data
(Lanjutan…)
 Memfasilitasi aplikasi pengambilan
keputusan, seperti OLAP dan data
mining.
• OLAP
• Data mining
 Motivasi Pengintegrasian Data
(Lanjutan…)
 Memungkinkan pembandingan dari
berbagai sumber secara langsung

Bank BCA Bank Danamon Bank BNI

BCA Danamon BNI

Aplikasi pada Data Warehouse

Dapat diperoleh via

integrasi data
 Aplikasi pada e-Intermediary
 e-Intermediary (Ebert dan Griffin,
2003): para anggota saluran
distribusi Internet yang melakukan
salah satu fungsi berikut:
• Mengumpulkan informasi para penjual
dan menyajikan dalam bentuk yang
praktis kepada para konsumen
• Membantu menyalurkan produkproduk
Internet ke konsumen
 Mengapa Integrasi Data Web
Penting?
 Banyak situs yang menyediakan
informasi secara gratis
 Menghubungi masing-masing situs
secara parsial membuang-buang
waktu
 Pokok Masalah yang Terjadi
 Sumber data bersifat heterogen
 Sumber data bersifat otonom
 Perlu query yang berbeda-beda
untuk setiap sumber data
 Sumber data gampang berubah
 Jumlah sumber data terlalu banyak
 Data terdistribusi di Internet dan
keberadaannya tidak bisa diprediksi
 Heterogenitas
 Derajat ketidaksamaan pada sumber
data
• Platform
• Sistem operasi
• Model data dan atribut
• Bahasa pemrograman
 Otonomi
 Kebebasan masing-masing sumber data
dalam beroperasi
• Otonomi perancangan
 Model data
 Atribut
 Kekangan, dll
• Otonomi komunikasi
 kebebasan menentukan informasi yang disajikan
 Kebebasan mengubah antarmuka informasi
• Otonomi eksekusi
 Kebebasan dalam mengeksekusi permintaan yang
masuk
12/3/2019
 Pendekatan Integrasi Data
 Virtual View Approach
 Materialized View / Warehousing
Approach
 Hybrid Approach
 Virtual View Approach
 Data diakses dari sumber data ketika
ada kebutuhan dari pemakai
 Disebut juga “lazy approach”
 Perlu suatu “sistem mediasi”
 Sistem Mediasi
 Menggabungkan
sumber data Virtual View
yang heterogen
dan membentuk
“virtual view”

Sumber Data 1 … Sumber Data 2

 Sistem Mediasi (Lanjutan…)
 Sistem bisa saja tidak memiliki
database
 Kemampuan melakukan query
ditangani oleh sistem mediasi
 Akses ke sumber data dibatasi hanya
bisa membaca (read only)
 Sumber data bersifat otonom
Sistem Mediasi (Lanjutan…)
Query pemakai

Mediator

query query query

Wrapper 1 … Wrapper n

query query query

Sumber 1 Sumber n
 Mediator (Integrator)
 Menerima query dari pemakai
 Memecah query menjadi sejumlah
sub-query ke masing-masing sumber
data
 Mengirim subquery ke wrapper
 Menggabungkan hasil query dari
masing-masing wrapper dan
kemudian menyajikan informasi ke
pemakai
 Ilustrasi Sistem Mediasi
 Dua perusahaan mobil Astra dan Honda
mempunyai database berbeda yang menyiratkan
data mobil

MobilAstra(ID_Mob, Model, Tahun, CC)

MobilHonda(ID, Mod, Tahun_Perakitan)

DetailHonda(ID, CC, Kecepatan_Max)

 Sistem mediasi menggunakan model berupa

Mobil(ID, Model, Tahun, CC)

 Ilustrasi Sistem Mediasi
(Lanjutan…)
 Pemakai melakukan query
SELECT Model FROM Mobil
WHERE CC < 2000;

 Query pada Wrapper untuk Honda:

SELECT MobilHonda.Mod FROM MobilHonda
FROM MobilHonda, DetailHonda
WHERE MobilHonda.ID = DetailHonda.ID AND
DetailHonda.CC < 2000;

 Query pada Wrapper untuk Astra:

SELECT Model FROM MobilAstra
WHERE CC < 2000;
Ilustrasi Sistem Mediasi
(Lanjutan…)

Pendekatan Integrasi Data

 Materialized View / Warehousing
Approach
 Disebut juga “eager approach”
 Data tertentu dari sumber data diambil
pada waktu tertentu dan disimpan dalam
database yang disebut data warehouse;
bukan ketika pemakai melakukan
perminataan
 Permintaan pemakai ditangani dengan
mengambil data dari database tsb
 Data Warehouse vs OLTP
 Data warehouse biasanya berisi terabyte
data dan dapat menggabungkan dari
berbagai database, dan berbagai sumber
 Query biasanya kompleks
 Berisi ringkasan dan sejarah data yang
dipakai untuk pengambilan keputusan
 Informasi bersifat read only (OLTP: baca-
tulis)
 Sifat Data Warehouse
 Multidimensional yang
berarti bahwa terdapat
banyak lapisan kolom dan
baris (Ini berbeda dengan
tabel pada model
relasional yang hanya
berdimensi dua)
 Berdasarkan susunan
data seperti itu, amatlah
mudah untuk
memperoleh jawaban
atas pertanyaan seperti:
“Berapakah jumlah
produk 1 terjual di Jawa
Tengah pada tahun n-3?”
 Tiga Hal Penting dalam
Membangun Data Warehouse
 Pemodelan dan Perancangan
 Pemeliharaan (Penyegaran)
 Operasi
Pemodelan dan Perancangan
• Informasi yang diperlukan dari sumber
data
• View dari sumber data yang perlu
dimaterialisasi
• Skema gabungan

Ke Tiga Hal
 Pemeliharaan (Penyegaran)
 Bagaimana data warehouse
disegarkan oleh data dari sumber
data
 Tiga cara yang bisa ditempuh:
• Dilakukan secara periodis manakala
tidak ada query
• Incrementally update. Hanya data yang
perlu disegarkan yang diubah
• Total update jika ada perubahan pada
sumber data
Ke Tiga Hal
 Operasi
 Operasi pada data warehouse yang
melibatkan:
• Pemrosesan query
• Penyimpanan, dan
• pengindeksan
 Sistem Data Warehouse
Query pemakai

Data warehouse

Metadata Integrator

Wrapper 1 … Wrapper n

Sumber 1 Sumber n
 Hybrid Approach
 Kombinasi antara kedua pendekatan
sebelumnya
 Ada data yang dimaterialisasi dan
ada data yang diambil langsung dari
sumber data ketika pemakai
melakukan permintaan
 Perancangan mempertimbangkan
faktor seperti “popularitas”
 Hybrid Approach
(Lanjutan…)
 Permasalahan yang muncul:
• Data apa yang perlu dimaterialisasi?
• Bagaimana data tersebut dipelihara?
 Karakteristik Kode
 Umumnya sumber data jarang
mengubah layout data yang tersaji
dalam halaman Web
 Data disajikan dalam beragam kode
tag
• Tabel
• Kelas
• XML code
 Contoh Pengamatan
 Pengujian untuk mencari buku
dengan judul “Wavelet”

 Website yang diuji:

• www.bookpol.com
• www.amazon.com
 Contoh Pengamatan
(Lanjutan…)
 Hasil URL:
 Amazon:
http://amazon.com/s/ref=nb_ss_b/103-
9484691-
7672669?initialSearch=1&url=search-
alias%3Dstripbooks&field-
keywords=Wavelet
 Bookpool:
http://www.bookpool.com/ss?qs=Wavelet
12/3/2019
12/3/2019
12/3/2019
12/3/2019
 Bagaimana Melakukan Integrasi
Data?
 Memahami bentuk URL untuk
melakukan query
 Mem-parsing data yang diperlukan
 Menggabungkan data yang diperoleh
 Tool Apa yang bisa Dipakai?
 Tool untuk pemrograman Web
• ASP
• PHP
• PERL
• dll
 Tool untuk pemrograman non-Web
• C#
• C++
• dll
Contoh Pengambilan Data Buku
Menurut ISBN

Judul: Enterprise AJAX: strategies for building

high performance web applications
Pengarang:
David Johnson
Alexei White
Andre Charland
Nama penerbit: Prentice Hall
Lokasi: Upper Saddle River, NJ
DDC: 6.786
LCC: TK5105.8885
 Pengambilan Data

 Dapat menggunakan pustaka DOM

 Dapat membuat sendiri fungsi
semacam

getData(string, preString, postString)

Memberi string yang merupakan isi
dari suatu bagian string yang
diawali dengan preString dan
diakhiri dengan postString
 Pengambilan Data
(Lanjutan…)
<html>
…
<body>
…
<div id=“book”> getData(htmlDoc,
<b>Ajax Programming</b><br /> ‘<div id=”book”>*<b>’,
… ‘</b><br />’)
</div>
…
</body>
</html>

Ajax Programming
htmlDoc
 Konsep Pencarian Data Buku
1. Begitu pemakai selesai memasukkan ISBN maka
Ajax meminta layanan ke server untuk
mencarikan data buku yang sesuai dengan ISBN.
Permintaan dapat dilakukan ke beberapa situs
sekaligus.
2. Aplikasi di sisi server berdasarkan data ISBN
yang dilewatkan dari klien segera melakukan
koneksi ke sumber informasi.
3. Setelah hasil didapatkan maka data dengan
format XML dikirimkan ke klien.
4. Begitu tanggapan dari server didapatkan, data
XML yang didapatkan diproses dan disajikan ke
dalam halaman web.
 RSS

 Really Simple Sindication

 RSS feed memungkinkan seseorang
mendapatkan berita baru dari situs
tersebut dalam format XML
 RSS feed atau dokumen RSS berisi
ringkasan teks dan metadata yang
menyatakan informasi seperti
tanggal publikasi dan pemiliknya
 RSS
 Memungkinkan untuk membuat
suatu aplikasi yang mengambil berita
dari suatu situs tertentu dan
menyajikan bagian-bagian yang ada
di dalamnya dalam halaman web.
 RSS
 Sebagai contoh
http://rss.news.yahoo.com/rss/topstories
 RSS
 Isi berita dapat diperoleh pada tag
<item>.

• elemen <title> menyatakan judul berita

• elemen <link> menyatakan link untuk berita
selengkapnya
• elemen <description> menyatakan isi berita

 Dengan membaca elemen-elemen

tersebut informasi dari RSS feed bisa
diperoleh
 RSS
 Contoh Aplikasi
 RSS
 Hasil