Maintenance Data

Warehouse
By : Sumadi Eko Putra
Apakah Data Warehouse Maintenance Itu ?

• Sekarang setelah Anda menyiapkan Datawarehouse, langkah selanjutnya

dan berkelanjutan adalah pemeliharaan. Ini melibatkan memastikan objek
Data Warehouse; kolom, tabel, tampilan, dan skema akurat dan terbaru.
• Mempertahankan Data Warehouse Anda merupakan bagian integral bagi
pengguna di organisasi Anda untuk mendapatkan wawasan tentang data
dengan mudah dan akurat. Jika tidak dipelihara orang akan
mengkonsumsi data yang salah dan mendapatkan hasil yang
bertentangan.
Kenapa diperlukan maintenance

Seiring bertambahnya usia Data Warehouse perusahaan maka :

• Metrik baru perlu dilacak
• Beberapa Metrik lama tidak lagi diperlukan
• Anda harus memberikan dan menghapus izin (lebih dari yang Anda kira)
• Pemodelan akan menjadi tidak optimal

Masalah yang tak terhindarkan ini menyulitkan perusahaan Anda untuk

melakukan analisis. Untuk mencegah masalah ini, Anda memerlukan data
engineer yang memahami Gudang Data, dan cara pengguna menanyakan
sumbernya.
Mengapa metrik baru penting?

• Cara kita dalam mengukur bisnis kita akan berubah seiring waktu.
• Melihat perilaku pengguna yang berbeda, atau mencoba membuat model
prediktif dengan adanya peluncuran product baru.
• Kita perlu melacak metrik baru yang terkadang ini berarti membuat field
terhitung baru atau kolom, tampilan, atau tabel baru.
Mengapa metrik baru menyebabkan masalah di Data
Warehouse?
• Saat engineer atau analis membuat tabel, kolom, atau tampilan baru
untuk melacak metrik, mereka tidak selalu mengikuti konvensi penamaan
yang ditetapkan untuk Data Warehouse.
• Interpretasi menjadi sulit oleh seorang analis yang tidak terbiasa dengan
metrik baru.
• Dapat membuat pekerjaan duplikat
Cara menambahkan metrik baru dengan benar.

Saat menambahkan metrik baru, perlu mempertimbangkan:

• Bagaimana cara menambahkan ke Skema
– Apakah kita hanya perlu menambahkan data ke tabel yang sudah ada atau haruskah
kita menambahkan ke tampilan atau membuat tampilan yang sama sekali baru?

• Mengisi ulang data

– Perhatikan dalam mengisi ulang dimensi karena berpengaruh terhadap fact yang
terbentuk

• Konvensi Penamaan
– Kita juga perlu memastikan tampilan, tabel, dan kolom ini mengikuti konvensi
penamaan Data Warehouse.
Mengapa metrik lama penting?

• Metrik mungkin menjadi tidak akurat atau tidak lagi layak untuk
dianalisis. Kita ingin mencegah data tersebut ditanyakan sehingga orang
lain dapat mencapai kesimpulan yang salah.
Mengapa masalah metrik lama terjadi?

• Aplikasi yang mengarah ke banyak sumber data, menyebabkan jenis data

yang sama dapat di dapatkan dari sumber data yang berbeda
• Analis mungkin tidak mengetahui sumber mana yang digunakan,
sehingga ada kemungkinan menanyakan data yang salah.
• Tujuan bisnis yang berubah dapat mempengaruhi data apa yang sesuai
untuk di analisis juga berubah.
• Fitur atau produk mungkin tidak digunakan lagi dan oleh karena itu
metrik yang terkait dengan nya tidak relevan lagi untuk di analisa.
Bagaimana cara menghentikan metrik lama dengan
benar?
• Jika Anda tidak akan segera menghapus kolom, tabel, atau tampilan dari
akses pengguna, sebaiknya perbarui nama objek ini menjadi _deprecated,
atau, _do_not_use. Ini memperjelas saat menjelajah atau menanyakan
bahwa mereka tidak boleh digunakan.
Mengapa permission / izin penting?

• Masalah izin terjadi ketika akses ke data warehouse tidak mencerminkan

status karyawan. Inilah yang harus di lakukan dalam empat situasi
umum.

• karyawan baru perlu menanyakan • pastikan mereka memiliki izin yang

akses ke data warehouse, atau
karyawan yang ada mengubah peran
dan membutuhkan akses
• karyawan resign
• karyawan untuk sementara diberikan
izin khusus untuk mengakses lebih
banyak data
• karyawan berbagi akun
sesuai di data warehouse
• nonaktifkan akun mereka, sama
seperti Anda mematikan email
mereka
• cabut izin ketika periode sementara
berakhir
• menjaga ini dari terjadi. Ini adalah
praktik yang buruk, karena tidak
meninggalkan jejak audit yang
menunjukkan siapa yang melihat data
apa.
Mengapa masalah izin terjadi?

Masalah izin terjadi ketika tool BI atau akses Data Warehouse tidak
mencerminkan status karyawan.
• Karyawan baru perlu meminta akses ke Data Wareouse
• Karyawan berganti peran
• Karyawan tidak lagi bekerja
• Izin khusus
• Berbagi akun
Cara menangani izin dengan benar.
• Memastikan tingkat akses tool BI mencerminkan status pekerjaan
karyawan untuk membantu Anda melacak pengguna dan mencegah
masalah keamanan.
• Sebaiknya atur izin pengguna di tingkat tim karena saat Anda
meningkatkan penggunaan dan menambahkan lebih banyak pengguna,
pelacakan akan lebih mudah dilakukan.
• Berbagi akun membuat pengguna tidak mungkin bertanggung jawab atas
tindakan apa yang telah mereka lakukan.
• Sebaiknya tambahkan dan hapus pengguna secara terprogram untuk
untuk memastikan mereka tidak mempertahankan akses ke data yang
seharusnya tidak mereka miliki.
Mengapa pemodelan penting?
• Jumlah data yang Anda miliki akan bertambah seiring pertumbuhan
bisnis dan tujuan berubah dan Anda mulai melacak metrik baru.
• Seiring bertambahnya data, Anda perlu mempertimbangkan apakah cara
mendesain objek Data Warehouse; skema, tabel, tampilan, dan kolom
masih masuk akal berdasarkan cara penggunaan datanya.
• Query non-kompleks membutuhkan waktu terlalu lama untuk dijalankan
Mengapa DWH membutuhkan optimasi berkelanjutan?
• Seiring pertumbuhan perusahaan, data yang ditanyakan juga berubah.
• Data baru, analisis baru, dan tujuan bisnis baru akan mengubah data apa
yang ditanyakan.
• Struktur asli objek Data Warehouse mungkin perlu dikonfigurasi ulang
untuk mengoptimalkan penggunaan dan kinerja berdasarkan cara
kuerinya.
Bagaimana cara terus mengoptimalkan DWH?
• Identifikasi kueri lambat dan tambahkan indeks
– Kita dapat menggunakan perintah EXPLAIN dan perintah EXPLAIN ANALYZE.
Perintah EXPLAIN menunjukkan rencana kueri yang dihasilkan tetapi tidak
menjalankan kueri. Untuk melihat hasil eksekusi query yang sebenarnya, Anda dapat
menggunakan perintah EXPLAIN ANALYZE.

• Identifikasi kueri umum dan buat view

– Membuat view dapat membantu pengguna yang tidak terbiasa dengan struktur data
warehouse dengan menggabungkan apa yang mereka butuhkan untuk membuat kueri
ke satu tempat.
Administrasi Pentaho Server
• Digunakan untuk melakukan pemeliharaan role dan akses ke Data Warehouse
Administrasi User
• Menambahkan / Mengedit user pentaho server
Administrasi Role
• Menambahkan / Mengedit role pentaho server
Administrasi Role
• Menentukan role pentaho server
Administrasi Role
• Menentukan system role pentaho server
Administrasi Email
• Menentukan setting mail server
Administrasi Temp Files
• Menentukan durasi temp file
Administrasi Temp Files
• Schedule Deletion
Administrasi Temp Files
• Schedule Deletion
Refreshing Pentaho Server
• Refresh Tools digunakan untuk melakukan clear cache di Pentaho Server
Pentaho Marketplace
• Marketplace digunakan untuk mengelola plugin Pentaho Server
Database Backup
Backup adalah proses duplikasi atau menyalin data atau file dari satu perangkat
atau media penyimpanan ke media sekunder, seperti flashdisk, hardisk eksternal,
sistem cloud atau media lainnya, yang dilakukan secara offline maupun online.
Backup memiliki dua tujuan.
• untuk mengembalikan data apabila data tersebut hilang, baik karena terhapus
atau karena rusak (corrupt).
• untuk mengembalikan data ke titik tertentu pada masa lalu.
Fungsi Database Backup
• fungsi utama backup adalah membuat cadangan dari data-data yang rusak,
hilang atau tidak dapat diakses kembali. Penyebabnya, bisa karena kesalahan
pengguna sendiri ataupun faktor lain, seperti perangkat rusak, serangan virus
atau malware, data yang corrupt, bencana alam dan sebagainya.
• sebagai disaster recovery plan, yaitu untuk restore data.
Komponen sistem backup
• Software Backup, yaitu perangkat lunak untuk menjalankan proses backup.
• Client Backup, yaitu komputer yang berisi data yang akan dibackup.
• Server Backup, yaitu server yang digunakan untuk mengatur proses backup
seperti pengaturan jadwal backup, dan sebagainya.
• Media Backup, adalah media bakup seperti tape, magnetic disc, optical disc dan
lain-lain
• Mesin Backup, yaitu sebuah mesin untuk membackup data.
Jenis skema backup
• Full Backup. Semua data di backup pada waktu tertentu.
• Incremental Backup. Hanya perubahan data saja yang di-backup pada waktu
tertentu.
• Differential Backup, yaitu setiap ada perubahan data dibackup secara berlanjut
sampai beberapa lama.
Restore Data
• Restore adalah proses memulihkan kembali sebuah data atau file ke tempat
semula. Dilakukan saat terjadi kerusakan, kecelakaan, atau bencana alam yang
merusak data utama.
Fungsi Restore Data
• Prinsip restore bersifat untuk mengembalikan data, file, maupun system dalam
keadaan semula.
Jenis Restore Data
• system restore
• system image data backup

Secara prinsip, restore memang hampir sama dengan backup yang memiliki
tujuan untuk menyelamatkan data. Bedanya, jika backup ini cara kerjanya dengan
cara menduplikasi atau menyalin data, sedangkan restore yang bertugas
mengembalikan data maupun sistem sama seperti pada keadaan awalnya.
Data Warehouse Lifecycle
Data Warehouse Lifecycle