KEMENTERIAN PEKERJAAN UMUM DAN PERUMAHAN

RAKYAT
DIREKTORAT JENDERAL CIPTA
KARYA
M E N U J U

PENGENALAN
DATA WAREHOUSE
DITJEN CIPTA KARYA
Subdit Pengelolaan Data dan Sistem Informasi
Direktorat Keterpaduan Infrastruktur Permukiman
 KARAKTERISTIK DATA WAREHOUSE

Sistem basis data ini memiliki karakteristik yang membuatnya berbeda dari
database lain. Ada empat karakteristik yang menjadi ciri khas database ini,
yaitu:
1. Berorientasi kepada subjek (subjek-oriented)
Data air minum, Sanitasi, Kumuh, Bangunan Gedung, dll
2. Data yang dimiliki terintegrasi (Data Integrated)
Data yang dimiliki dari berbagai database aplikasi yang terintegrasi
3. Dibuat dalam rentang waktu tertentu (Timeline)
Data Warehouse akan terlihat baik dengan data yang terukur
dalam rentang waktu tertentu
4. Data yang disimpan bersifat tetap (Non-Volatile)
Sifat Data warehouse refresh terhadap aplikasi sumber datanya
 OUTCOME DARI DATA WAREHOUSE

1. Meningkatkan Kualitas Data (Data Quality), data akan diakses dari data
sumber
2. Memahami Analisa (Understanding Analytics), manajemen mudah untuk
menganalisa data
3. Jaminan Kualitas (Quality Assurance), kualitas data meningkat maka akan
berdampak pada hasil analisanya (analisa berkualitas)
4. Kinerja (Performance), unit kerja akan terpacu untuk menyajikan data
berkualitas, sehingga kinerja meningkat
5. Pemantauan Data (Data Monitoring), lalu lintas data terpantau
6. Penghematan Biaya dan Waktu (Saving Cost and Time), tidak ada lagi
lembur atau begadang hanya untuk mempersiapkan pelaporan kpd pimpinan
BERBAGAI SUMBER DAN FORMAT DATA HASIL
KERJA MANUAL DAN APLIKASI

File : Identity
Pdf, image, movie,
audio, doc, etc Manual
Investigation
Database – baris
Digital
kolom
Investigation
Structured Data Official Document
Sumber
.
#1
Unstructured / RAW Data
..
Others Format Sumber
#10
 ALIR DATA DITJEN CIPTA KARYA

Database dari Integrasi data

Pedoman Dashboard Business
aplikasi-aplikasi dalam aplikasi
standardisasi data Data Warehouse bidang Cipta Karya Intelligence bidang Cipta
di server Cipta Business
dan aplikasi Karya
Karya Intelligence

STANDARISASI

INTELLEGENT
DB
DATA DJCK

BUSIINESS
SIPPa

DJCK
DB
emon

DB
…….
Data Warehouse DJCK

Pengumpulan Penyusunan
Penyimpanan Data Pendistribusian Data
Data Data
 ARSITEKTUR DATA WAREHOUSE
DITJEN CIPTA KARYA

Arsitektur Data Warehouse Ditjen Cipta Karya

Semua dat a masuk ke dalam Pembentukan Data Mart
Databas e Temp per per Domain Data bidang
Direktorat Cipta Karya

Stage 1 Stage 2 Stage 3 Stage 4 Stage 5

CORE SYSTEM
DATAWAREHOUSE
PYTHON ETL
PYTHON ETL PYTHON ETL DATAB ASE KONEKSI A LL
DATABASE KONEKSI A LL DATABASE KONEKSI A LL IP, SCRIPT
ETL Integration menggunakan IP, SCRIPT IP, SCR IPT (INS ERT INTO TABLE,
(TRUNCATE ALL TABLE (INS ERT INTO TAB LE, UP DA TE TABLE, DELETE ) Integras i Data Mart
script untuk membentuk
INSERT INTO TABLE ) UPDA TE TAB LE ) menggunakan apl ikasi
Dat abase Temp per
Direktorat Insert, update Business Intelligence (BI)
Pengelompokan database
berdasarkan quadran ??? DATA (without id BI,
SUMBER ETL ETL primary) ETL
DB. DATA MART 1 OLAP
INTEGR INTEGR INTEGR
Insert SOFTW
ATION ATION ATION
table ARE
TABLE

DATA BASE D IME NSI ONAL DB.DATA MART 2

ETL Integration menggunakan TEMP
script untuk membentuk DIREKTO RAT ETL Integration
TABLE FACT
DATA B ASE menggunakan scri pt untuk
Databas e O LAP DB.DATA MART 3
SUMBER membentuk Data Mart
DB DATAW AREHOUSE

DB.DATA MART 4

Merupakan data yang bersifat :

Pembentukan Database T emp
1. operasional, Pengoptimalan dan Pemutakhiran Pengoptimalan dan Pemutakhiran
Deskripsi diperlukan karena kebutuhan Pengoptimalan dan Pemutakhiran kemudahan pemodelan Data Mart
2. kontinyu, Engine Database OLAP kemudahan pemodelan Data Mart
kecepatan pemrosesan data
3. validitas

Platform MySQL, spread sheet not allowed MySQL No SQL DB No SQL DB

Terdapat monitoring status data Terdapat monitoring status data

Terdapat monitoring dan histori pembentukan data mart ole h setiap user
Output sumber yang terdapat di dalam sumber yang tertarik ke dalam
( direkt orat )
server CK Dat a Warehouse

Monitoring aktivit as pengumpulan Monitoring pemutakhiran data Monitoring pemut akhiran Data
Outcome Monitoring aktivit as update data Monitoring dan Validas i Dashboard Data Warehouse
dan pengelompokan data OLAP Mart
STAGE 1 PENGUMPULAN DATA

 Deskripsi
 Tahapan Pengumpulan Data
 Data yang diolah harus bersifat :
1. Operasional (Operational)
2. Berkelanjutan (Continue)
3. Validitas (Valid)
 Platform
 MySQL, Spreadsheet (tidak disarankan)
 Output
 Terdapat Monitoring status data sumber
didalam Server CK
 Outcome
 Monitoring aktivitas Pengumpulan dan
Pengelompokan data
 STAGE 2 PEMBENTUKAN DATABASE TEMP

 Deskripsi
 Pembentukan Database Temp., hal ini diperlukan karena
kebutuhan dalam pemrosesan data
 Dari berbagai sumber data, semua akan ditempatkan
dalam database temporary/sementara Direktorat/Unit Kerja
 Platform
 MySQL
 Output
 Terdapat Monitoring status data sumber yang tertarik
dalam DWH CK
 Outcome
 Monitoring aktivitas Update Data
STAGE 3 PEMBENTUKAN DATA WAREHOUSE

 Deskripsi
 Pembentukan Data Warehouse
 Pembentukan Table Dimensi
 Pembentukan Table Fact
 Pemoptimalan dan Pemutakhiran Engine Database OLAP
(Online Analytical Processing) data yang siap untuk dianalisa
 Platform
 No SQL DB (menggunakan operasi Big Data dengan platform
terbaru)
 Output
 Terdapat Monitoring dan history pembentukan Data Mart oleh
setiap User Direktorat/Unit Kerja
 Outcome
 Monitoring aktivitas Pemutakhiran Data OLAP
 STAGE 4 PEMBENTUKAN DATA MART

 Deskripsi
 Pemoptimalan dan Pemutakhiran Kemudahan
Pemodelan Data Mart (data sesuai dengan object
yang dipilih)
 Data mart dibentuk untuk mengkonversi data-data
sesuai dengan domain data yang diarahkan,
misalkan data mart Air Minum, data mart Bangunan
Gedung, data mart Pembangunan Permukiman, dll
 Platform
 No SQL DB (menggunakan operasi Big Data dengan
platform terbaru)
 Output
 Terdapat Monitoring dan history pembentukan Data
Mart oleh setiap User Direktorat/Unit Kerja
 Outcome
 Monitoring aktivitas Pemutakhiran Data Mart (data
sesuai dengan object yang dipilih)
 STAGE 5 INTEGRASI DAN DASHBOARD BI

 Deskripsi
 Pemoptimalan dan Pemutakhiran
Kemudahan Pemodelan Data Mart dan
integrasi dangan Aplikasi yang mendukung
Business Intelligence
 Akan mendukung proses pengambilan
keputusan bagi pimpinan (DSS – Decision
Support System)
 Platform
 No SQL DB (menggunakan operasi Big
Data dengan platform terbaru)
 Output
 Terdapat Monitoring dan history
pembentukan Dashboard oleh setiap User
Direktorat/Unit Kerja
 Outcome
 Monitoring dan Validasi Dashboard Data
Warehouse
 R E K A P D ATA B A SE D I SERVE R D JC K
HTTP://CIPTAKARYA.PU.GO.ID/V3/MONFP/INDEX.PHP

Penajaman Analisa :
1. Rentang keaktifan data
2. History User (by SSO)
3. Aplikasi Status
4. Deskripsi Aplikasi dan
Data
( inputing user admin )
5. Supporting Data
Warehouse
6. Monitoring Storage
7. Interval Reporting
REKAPITULASI SANDINGAN SISTEM/APLIKASI 2015
DAN 2016
Catatan : Pembangunan dan
pengembangan aplikasi TA
2016 berdasarkan data
e-Monitoring
Standard Kodefikasi dan Format Data Dasar bidang
Cipta Karya yang akan diolah dalam DWH
Permen PUPR No 25 tahun 2014, Lampiran II Kodefikasi dan Format Isian Data,
terdapat 15 domain data jenis infrastruktur bidang Cipta Karya, yaitu :

KODE JENIS INFRASTRUKTUR KODE JENIS INFRASTRUKTUR

01 Sistem Penyediaan Air Minum (SPAM) 09 Sarana dan Prasarana Lingkungan Permukiman

02 Infrastruktur Air Limbah Sistem Off Site 10 Program Penanggulangan Kemiskinan di Perkotaan (P2KP)

03 Infrastruktur Air Limbah Sistem On Site 11 Sanitasi Lingkungan Berbasis Masyarakat (SANIMAS)

04 Drainase 12 Infrastruktur Pendukung Kegiatan Ekonomi dan Sosial (RISE)

05 Tempat Pembuangan Akhir (TPA) 13 Program Pembangunan Infrastruktur Pedesaan

06 Prasarana Persampahan Terpadu 3R 14 Rural Infrastructure Support to Program Nasional Pemberdayaan

Masyrakat (RIS PNPM)

07 Kawasan Permukiman Kumuh Perkotaan 15 Penyediaan Air Minum dan Sanitasi Berbasis Masyarakat
(PAMSIMAS)

08 Rusunawa *

*) Sudah menjadi ruang lingkup kegiatan di Ditjen Penyediaan Perumahan

 KONSOLIDASI DATA BIDANG INFRASTRUKTUR PERMUKIMAN
RUANG LINGKUP
SISTEM TEKNOLOGI
DATA DAN RINCIAN DATA
INFORMASI YANG DIGUNAKAN
INFORMASI
Data domain dari ● Data dasar wilayah

Permen PUPR No 25 ●
●
Realisasi Pendanaan
Proyeksi Capaian
tahun 2014, dapat ● Produk Perencanaan
● Kumuh
diturunkan menjadi PERENCANAAN ● Rawan Air
data bidang ● Rawan Sanitasi
SIPPa
● Kawasan Perbatasan
infrastruktur ● Kawasan Strategis Kab/Kota
(akan disinkronisasi dengan Aplikasi
SIPD Kementerian Dalam Negeri)

permukiman Cipta ●
●
Matriks Usulan Kegiatan
Memorandum Program Kab/Kota
Karya, yang ●
●
Referensi Wilayah
Rekapitulasi Pendanaan
meliputi : ● Memorandum Program Provinsi

● Realisasi usulan RPIJM Kab/Kota

PEMBIAYAAN ● Hasil Konreg SIPPa, SIPro
● Hasil Renja K/L Aplikasi Renja K/L

Rencana Kegiatan dan Anggaran/Profil Kegiatan

● Aplikasi RKA K/L
APBN
 KONSOLIDASI DATA BIDANG INFRASTRUKTUR PERMUKIMAN

SISTEM
RUANG LINGKUP
RINCIAN DATA TEKNOLOGI
DATA DAN INFORMASI
INFORMASI
Data domain dari ● Jumlah paket pekerjaan dan cara pengadaannya;

Permen PUPR No ●
Jumlah paket pekerjaan dan pagu per komponen, sub output, output dan
kegiatan;

25 tahun 2014, ●
●
Output per paket pekerjaan, dan kegiatan baik jumlah maupun satuannya;
Informasi Prakontrak (mengambil data e-Procurement)
dapat diturunkan ●
Jumlah paket dan pagu belum lelang, proses lelang dan sudah terkontrak

menjadi data termasuk nilai kontrak dan sisa lelang;

Pagu dan Realisasi Pelaksanaan Anggaran per Komponen, per Sub
bidang PELAKSANAAN ●
Output, per Output, per Kegiatan, per Program, per Provinsi, per e-monitoring
Satminkal, per Satker, per Jenis Belanja, per Sumber Dana s/d Nilai dan SPSE

infrastruktur Kontrak;
Rencana dan Realisasi Pelaksanaan Anggaran per paket pekerjaan, per
●
permukiman Output, per Kegiatan per Satker (Kurva S);
Rencana dan Realisasi Penyerapan Tenaga Kerja per paket pekerjaan, per
Cipta Karya, ●
●
Output, per Kegiatan per Satker;
Pencairan anggaran baik Rupiah Murni maupun PHLN;
yang meliputi : ● Permasalahan potensial dan rutin;
● Foto 0%, 50%, 100%, dan pemanfaatan beserta titik koordinat pekerjaan;

● Capaian Akses Air Minum, Akses Sanitasi, Penuntasan Kawasan Kumuh

● Capaia SPM Bidang Cipta Karya
PEMANTAUAN DAN EVALUASI KINERJA ● DDUB SIM EKA
Data Output dan Outcome per sektor, per direktorat, per propinsi tahun
●
2010 s/d 2014
● Nilai Evaluasi Kinerja Air Minum, Bangkim, PBL, PLP
 KONSOLIDASI DATA BIDANG INFRASTRUKTUR PERMUKIMAN
SUB SISTEM
NO DATA RINCIAN DATA
BIDANG TEKNOLOGI
Rencana target Sanitasi Layak Propinsi dan Per Kab/Kota (%)
Capaian Sanitasi Layak per propinsi dan per Kab/Kota (%) tahun 2011-
2015
Akses pelayanan air limbah
Data domain dari 1
(sanitasi layak) Capaian Sanitasi Layak Perkotaan per propinsi (%) tahun 2011-2015

Permen PUPR No Capaian Sanitasi Layak Perdesaan per propinsi (%) tahun 2011-2015

25 tahun 2014, AIR

2
IPLT dengan sumber
pembiayaan APBN dan
Nama IPLT, Tahun Pembangunan, Kapasitas, Kondisi Bangunan,
Lembaga Pengelola, Kapasitas Pemakaian
LIMBAH
dapat diturunkan APBD Ketersediaan truk tinja
Nama IPAL, Tahun Pembangunan, Kapasitas Idle,Lembaga Pengelola
IPAL Terpusat dengan
menjadi data 3 sumber pembiayaan APBN
dan APBD
Jumlah SR (unit)
SIM Sampah dan
Jumlah Penerima Manfaat (jiwa)
bidang IPAL Kawasan dengan Nama IPAL, Tahun Pembangunan, Lembaga Pengelola
Limbah
(rencana
4 sumber pembiayaan APBN Jumlah SR (unit)
infrastruktur dan APBD Jumlah Penerima Manfaat (jiwa)
pengembangan)
1 Sampah tertangani Persentase sampah tertangani per propinsi (%) tahun 2011-2015
permukiman Cipta Ritasi pengangkutan dump truck per kab/kota (rit/hari) tahun 2011-2015
Karya, yang 2
Ritasi pengangkutan Ritasi pengangkutan compactor truck per kab/kota (rit/hari) tahun 2011-
sampah 2015
meliputi : SAMPAH
Ritasi pengangkutan arm roll truck per kab/kota (rit/hari) tahun 2011-
2015
Volume timbulan sampah per kab/kota (m3/hari) 2011-2015
3 Timbulan sampah
Volume sampah terangkut per kab/kota (m3/hari) 2011-2015
Jumlah TPA per kab/kota (unit) 2011-2015
4 Pembuangan akhir sampah Sistem TPA yang digunakan per kab/kota (Open dumping/controlled
landfill/sanitary landfill) 2011-2015
 KONSOLIDASI DATA BIDANG INFRASTRUKTUR PERMUKIMAN
SUB BIDANG NO DATA RINCIAN DATA SISTEM TEKNOLOGI

Data domain dari 1

Status Perda Bangunan Ada (nomor
SIM Perda BG
Gedung per Kab/Kota perdanya)/Belum terbentuk
Permen PUPR No 25
BANGUNAN GEDUNG
tahun 2014, dapat DAN PENATAAN 2 Luasan RTH per Kab/Kota Luasan RTH (%)
BANGUNAN
diturunkan menjadi Manual
Jumlah Kawasan Pusaka
data bidang 3
per Kab/Kota
Nama kawasan pusaka

infrastruktur per kab/kota (Nomor SK-

1 Status SK Kawasan Kumuh
permukiman Cipta nya)

Karya, yang Jumlah kawasan kumuh

meliputi : 2
Kawasan Kumuh per
Kab/Kota
BANGKIM DAN Total luasan kumuh per
SIM Kumuh
PENANGANAN KUMUH kab/kota (Ha)

Kawasan kumuh yang

Uraian kegiatan pada
sudah tertangani per
3 kawasan kumuh yang sudah
Kab/Kota oleh APBN dan
tertangani
APBD
 KONSOLIDASI DATA BIDANG INFRASTRUKTUR PERMUKIMAN
SUB BIDANG NO DATA RINCIAN DATA SISTEM TEKNOLOGI

Rencana Air Minum Layak per propinsi dan per

Data domain dari kab/kota (%) tahun

Permen PUPR No Capaian Air Minum Layak per propinsi dan per
25 tahun 2014, kab/kota (%) tahun 2011-2015

dapat diturunkan Capaian Air Minum Layak Perkotaan per propinsi dan
menjadi data Akses per kab/kota (%) tahun 2011-2015
pelayanan
bidang 1
air minum
layak
infrastruktur AIR MINUM
Capaian Air Minum Layak Perdesaan per propinsi
dan per kab/kota (%) tahun 2011-2015 SIM SPAM
permukiman Cipta Akses air minum aman per kab/kota (%) tahun 2011-
Karya, yang 2015

meliputi : Akses bukan jaringan perpipaan per kab/kota (%)

tahun 2011-2015

Akses perpipaan per kab/kota (%) tahun 2011-2015

2 Idle Capacity per Kab/Kota (liter/detik) tahun 2011-2015

Kinerja per Kab/Kota (Kurang sehat/sakit/sehat) tahun 2011-

3
PDAM 2015
Terima kasih