BigData untuk Artificial Intelligence

Aplikasi Bidang Sipil dan Arsitektur

Dr. rer. nat. I Made Wiryana, SSi, SKom, MAppSc
Koordinator Kerjasama Internasional
Universitas Gunadarma - Indonesia

Riwayat Pendidikan
• S3, Bidang Informatik, Bielefeld, Germany
• S2, Bidang Computer Studies, Edith Cowan University, Australia
• S1, Bidang Fisika, Universitas Indonesia, Jakarta
Pengalaman Industri
• Asisten Staf Khusus Presiden bid. Komunikasi Politik – 2010 - 2014
• Tim Evaluator Eksternal dan Instruktur Asistensi/Piloting Sistem Pemerintahan
Berbasis Elektronik (SPBE), KemenpanRB
• Tim Integrasi BKN – SIASN, Tim pengembang PISPK, mHealth – Kemenkes

• S1, Bidang Teknik Informatika, Universitas Gunadarma, Jakarta • Tim Pakar Pengembangan Dukcapil
• Tim Akademis Perbaikan JKN
• Tim Pakar Pengembangan pelatihan First Responder berbasis SNI 27037
Pengalaman Profesi • Tim Ahli pada Badan Standard Nasional Pendidikan (BSNP)
●
Dosen / Akademisi Universitas Gunadarma • Tim Perumus Standard Kompetensi Kerja Nasional Indonesia (SKKNI) dan Peta
●
Peneliti Universitaet Bielefed - Jerman Okupasi bidang TIK dan Kamsiber
• Anggota tim Strategi Nasional AI dan POKJA Talenta AI
• Tim Seleksi Beasiswa Unggulan dan DAAD
• Pengajar dan pengembang materi Digital Talent Scholarship dan Microcredential
Certification
COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id
 Implementasi dan Miskonsepsi Big Data

COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id

 RI 4.0 → Society 5.0
Suatu masyarakat berpusat pada manusia
yang menyeimbangkan kemajuan ekonomi
dengan masalah sosial pada sistem yang
memiliki integrasi kuat antara cyberspace
dan dunia fisik

Artificial
Intelligence Visualization

Machine Data
Learning Analysis
IoT devices
BIG DATA in CLOUD Decision
Support
IoT devices System

How “smart” is your Back-end?

Cloud Computing
COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id
 Konsep Big Data

●
Ketika orang memulai menyimpan data secara digital ●
Semakin lama semakin beragam jenis data yang
ukuran data tidak besar disimpan
●
Makin banyak aplikasi makin banyak data disimpan ●
Semakin cepat laju data disimpan, semakin tinggi
●
Apakah hanya ukuran data yang menyebabkan Big Data? uncertainty dan unreliable data
●
Mungkinkan Big Data di dalam perangkat berukuran
●
Semakin banyak pemanfaatan data tersebut
kecil? ●
Semakin meningkat nilai pemanfaatan data → Kunci
●
Apa perbedaan dengan Very Large Data Base dari BigDta

COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id

 Big Data, Data Science dan AI
Tahap Training → Pengembangan Model

Tahap Inferencing → Pemanfaatan Model

COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id

 Data Warehouse, Data Mart, Data Lake


Datawarehouse DataMart DataLake

●
Suatu sistem repositori data yang
 Large Database menyimpan data dalam bentuk asli, misal

Mini data warehouse berkas atau BLOB
 Subject-Oriented 
Menyimpan subset data Semua salinan data disimpan di dalam
 Integrated dari datawarehouse
●

suatu penyimpan utama, termasuk hasil

 Time-Variant 
 Nonvolatile
 User-Friendly
Interface
COLORING THE GLOBAL FUTURE
Fokus untuk spesifik laporan, hasil analitis dan lain sebagainya
aspek dari organisasi ●
Datalake dapat menyimpan database
relational (kolom dan baris) data semi
terstruktur (CSV, Log, XML, JSON) data
tidak terstruktur (email, dokumen, PDF)
dan juga data biner (gambar, suara, dan
video)
http://www.gunadarma.ac.id
 Beragam Jenis Database
●
Key/Value Pairs: Memcached, Riak, Redis,
Voldemort
●
Tuples (rows).
●
Documents: MongoDB, CouchDB
●
Columns: Cassandra
●
Objects:Objectivity, DB4O
●
Graphs: Neo4J,

SQL Database NoSQL Database

●
Skema database didefinisikan terlebih dahulu
●
Skema database tidak perlu didefinisikan terlebih
dahulu
●
Bahasa dan interface yang terdefinisi dengan ●
Bahasa dan interface berbeda-beda untnuk tiap
standard database
●
Sangat menjaga konsistensi data ●
Memberikan jawaban cepat lebih penting daripada
●
Semantik data terdefinisi dengan baik memberikan jawaban benar (availability)

COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id

 Pemanfaatan Database pada Big Data

●
Atomic – Suatu pekerjaan pada sebuah transaksi
hanyalah lengkap (commit) atau tidak, ketika pekerjaan
●
Basically Available, satu titik pada sistem terdistribusi bisa
down, tetapi seluruh sistem tetap tak berpengaruh
●
Soft state, (scalable) state dari sistem dari state dan data

A ●
itu selesai.
Consistent – Suatu transaksi mentranformasi database ●
selalu berubah sepanjang waktu.
Eventually Consistent, dengan waktu tertentu, maka data
B
C dari suatu kondisi konsisten ke kondisi konsisten akan konsisten pada sistem terdistribusi
Characteristics
A
lainnya. Konsistensi di definisikan dengan constraing ●

I ●
Isolated – Hasil dari suatu perubahan yang dilakukan – Weak consistency – stale data OK S
pada suatu transaksi hanya akan terlihat ketika – Availability first
D transaksi tersebut telah commit – Best effort E
●
Durable – Hasil dari suatu transaksi yang kommit akan
– Approximate answers OK
bertahan ketika terjadi gangguan – Aggressive (optimistic)
– Simpler and faster

COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id

 Pendekatan Disain Aplikasi BigData
Tahapan pekerjaan

Arsitektur Business Struktur organisasi

Arsitektur Informasi Survei Informasi

Arsitektur Data Formulir Laporan
Pencocokan Model Survei Data
Informasi dan Data
Data Elektronis
Arsitektur Aplikasi Survei SIM

Sistem Informasi

Arsitektur Teknologi

User Model Task Model Interaction Model

●
Pendekatan berdasarkan Enterprise Arsitektur, TOGAF (The Open Architecture Framework)
●
Pengembangan sistem dimulai dengan memahami Arsitektur Bisnis → membutuhkan subject expert yang
memahami permasalahan, ruang lingkup dan cara pemecahannya
●
Aristektur Informasi dan Data harus dipahami dan dikembangkan dengan baik
●
Baru terakhir mengembangkan arsitektur aplikasi dan teknologi. Sebaiknya tidak melompat mengembangkan
sistem tanpa pemahaman informasi dan data yang lengkap

COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id

 Big Data untuk Mahasiswa Sipil - Arsitektur

COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id

 Urban Design and Planning berbasiskan Data
Descriptive: →What hat
01 happened? 
Menjelaskan keadaan bisnis
saat ini melalui data historis.

Diagnostic: → Why did it

happen?
02 Menjelaskan mengapa suatu
masalah terjadi dengan
melihat data historis.

Predictive: → What will

happen?
03 Memproyeksikan atau
memprediksi hasil masa
depan berdasarkan data
historis.

Prescriptive: → How can

we make it happen 
Menggunakan hasil analitik
04 prediktif dan pengetahuan
lain dengan menyarankan
upaya terbaik di masa
depan.

COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id

 Jenis data yang diolah
Data terstruktur (structured data) Data takterstruktur (unstructured
data)

Sifat • Model data terdefinisikan • Model data tidak terdefinisikan

sebelumnya sebelumnya
• Format butir data (biasanya) teks. • Format butir data (biasanya) teks,
• Antar butir data terbedakan citra, suara, video, dan format lainnya.
dengan jelas. • Antar butir data tidak cukup jelas
• Ekstraksi/kueri langsung cukup terbedakan karena ketidakteraturan
mudah. dan ambiguitas.
• Ekstraksi/kueri langsung cukup sulit.
Contoh Data tabular, data berorientasi Data teks dalam dokumen teks bebas,
objek, time series data audio, data video.
Sumber Data Pemanfaatan
Data semi-terstruktur (semi-structured data): Data terstruktur yang tidak mengikuti model
struktur tabular yang seperti pada basis data relasional, namun tetap mengandung tags atau Internet of Things
● ●
Big data analytics
penanda lainnya yang dapat memisahkan elemen-elemen semantik pada data serta mengatur
hierarki antara butir-butir datanya.
●
Remote sensing (UAVs, etc) ●
Linked data
●
Wearable cameras ●
Semantics
●
Open public sector data ●
Augmented reality
●
Social media ●
Virtual reality
●
Volunteer GI (& citizen ●
Artificial intelligence
science) ●
Text analytics
●
Mobile & real time ●
Networks of networks
●
Inside / outside positioning ●
Cloud
●
3D / 4D ●
Spatial Data Infrastructures
●
5G ●
Data analytics
●
Open source

sumber:
https://www.knowledgehut.com/blog/data-science/role-of-unstructured-data-in-data-science

COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id

 Geographical Information System
Desktop
●
Remote Sensing – Banyak sumber data GIS seperti image dari
satelti atau dari remote sensing lainnya. Analisis imag ini
Web/Cloud melibatkan klasifikasi dengan metoda supervised dan
GIS/Spatial
Analytics
Mobile unsupervised
●
Transportation – Aliran kendaraan di kota akan bergantung
Navigation waktu, kapasitas jaringan jalan dan cuaca. Dengan GIS akan
Indoor Positioning dapat dipetakan jejaringan ini, tetapi pertimbangkan ketika ada
GNSS & Surveying kecelakaan yang mengakibatkan perubahan lalu lintas.
Positioning ●
Geomarketing – Seperti halnya masalah lalu lintas, pengiriman
barang juga melalui jalan tersebut. Waktu pengiriman sangat
Satelite Remote Sensing
penting untuk memberikan layanan, menentukan kendaraan
Aerial Mapping serta personel yang berutas. Dengan GIS, analsiis jaringan, maka
Earth UAV/ Drones waktu tempuh dapat dihitung dan diupdate dengan data GPS
Observation yang masuk

LIDAR
●
Agrikultur dan kehutanan – Dari data panen maka machine
learning dapat memprediksi pertumbuhan hutan per tahun,
Laser Scanning
untuk mengestimasi kesehatan hutan yang mungkin memiliki
Scannning Radar keterkaitan dengan populasi dan kecepatan penyakit menyebar

Spatial/GeoSpatial/Geographic Data Non Spatial Data

●
Latitude and longitude
●
Nama
●
Street address
●
Jenis Kelamin

x and y coordinates
●
Pendapatan
●
Link dalam user
Range and township
●
NIK
Link dalam aplikasi
●

●
Location shown on a map
●
NPWP
Link dalam db ●
Kesehatan
Link dalam data

COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id

 GIS dan Machine Learning
●
Klasifikasi daratan (memonitor tanaman, pertumbuhan,
pengurangan ataupun perubahan)
●
Impervious surface
●
Mendeteksi perubahan dan anomali
●
Geospatial attribute trending (census, twitter)
Super resolution dengan Deep Learning
●
Agriculture
●
Jaringan jalan
●
Identifikasi obyek dan penjejakan (kapal, mobil)
●
Imagery mosaicing, stitching, pre-processing
●
Peningkatan resolusi
Blurred Hi Res
●
3D modeling & Digital Elevation/Surface Mapping
●
Coastal vegetation monitoring
●
Kriging

COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id

 Design berbasiskan Data Analytic
Pemanfaatan
●
Telco data analytics – Memungkinkan
memperbaiki masalah sebelum
konsumen mengetahui. Persh telko
dapat melihat anomali jaringan dengan
melakukan visualisasi
●
Military analytics – Menyajikan
kepedulian terhadap logistik militer.
Analitis prediktif berbasis geospatial,
memungkinkan optimasi logistik,
mengantisipasi kebutuhan maintenance
●
Kombinasi antara Artificial Intelligence (AI) dan Geographic dan memenuhi deadline
Information System (GIS), pemanfaatan data mining, komputasi ●
GIS Technologies for Disaster Response
berkinerja tinggi digunakan untuk mengekstraksi knowledge dari – Memvisualisasi bencana cuaca ekstrem
spatial big data. sehingga dapat memberikan peringatan
●
Penggunaan sumber data lain yang dikombinasikan merupakan ciri untuk evakuasi. Akan membantu
mengurangi risiko
aplikasi ini, misal aplikasi dari media sosial, electronic health
record, remote sensing, sensor perorangan dan perangkat lainnya. ●
Urban Planning/Development –
Memantau perencanaan kota dengan
●
Menilai akurasi prediktif dan kesesuaian teknik permodelan memvisualisasi dengan big data dari dat
spatial secara independen dan suatu model terintegrasi dari apublik, untuk memahami pertumbuhan
berbagai dataset penduduk, kebutuhan energi,
transportasi dan perumahan. Juga
●
Mendapatkan pemahaman dari fungsi spatial yang penting dan melihat kondisi kriminal, kesehatan dan
memproses sesuai aturan ekstraksi dan penujian faktor sensitifitas pendidikan

COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id

 Mahasiswa Arsitektur/Sipil Masa Depan
IJAZAH

MATA MATA MATA

KULIAH KULIAH KULIAH

MATA MATA MATA MATA

KULIAH KULIAH KULIAH KULIAH

MATA MATA
KULIAH KULIAH

ENTRE
TRAINING MAGANG PROYEK
PRENEUR

SURAT KETERANGAN PENDAMPING IJAZAH

COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id

 Persiapan SDM bidang AI dan Big Data

Data Science AI/ML

Data AI/ML
Data
7 Scientist Applied
Engineer
Research

Associate Associcate Associate

6 Data Data AI/ML
Engineer Scientist Engineer

COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id

 Pengembangan Big Data

COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id

 Metode CRISP-DM
SEMMA

Microsoft

INTEL

●
CRISP-DM: Cross Industry Standard Process for Data Mining
●
Non proprietary, Kerangkar Kerja untuk Panduan Kerja
●
Diadopsi menjadi Standard Kompetensi Kerja Nasional, Kepmennaker No. 299/2020
COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id
 Pipelining

●
Pada penerapan solusi Data Science besar, di samping aplikasi
untuk melakukan algoritma data science dibutuhkan komponen Source: Machine Learning
lainnya Engineering

●
Aliran data (pipelining) harus dikelola secara otomatis
Diimplementasikan Diimplementasikan
●
Dibutuhkan perangkat bantu seperti ETL, Metadata Management, Jadi program Jadi program
Datawarehouse, Database dan lain sebagainya Dan dideploy pada sistem Untuk
Untuk membuat model memanfaatkan model
●
Sehingga proses pemanfaatan data tahap demi tahap dikelola oleh
software pipelining tersendiri
COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id
 SDM Sipil dan Arsitek dalam Data Science​/AI
01 Data Scientist
Mengembangkan model terbaik dari data untuk
menjawab permasalahan bisnis

02 Data Engineer
Menyiapkan (big) data untuk diolah/ dimodelkan

03 Data Analyst
Menganalisis/ mencari insight dari data (dan
menampilkannya dalam dashboard)

04
Project/ Product Manager
Mengelola projek/ produk berbasis data.

05 Domain Expert
●
Data scientist, Data Engineer, DevOps engineer bekerja
Memberi arahan tentang domain permasalahan
sama untuk memberikan solusi
Pada organisasi kecil seringkali dirangkap oleh orang yang
IT People
●

sama
06 Menyiapkan infrastruktur IT (terutama
●
Dengan mengetahui apa yang menjadi pertimbangan
pihak lain maka, data scientist dapat mempersiapkan deployment)
pekerjaannya dapat lebih tepat sehigga luarannya dapat
dimanfaatkan oleh pihak lain, misal Data Engineer DevOps
COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id
 Platform teknologi

●
Beragam teknologi yang
menyusun solusi Big Data
●
Jadi bukan hanya
penyimpanan data
●
Query engine
●
Messaging - Queue
●
Pipelining data
●
Beragam model data dapat
ditangani
●
Sistem untuk penangani
ingestion dan crawling data
●
CI/CD untuk pengembangan
sistem dengan VM dan
Container
●
Harus dipertimbangkan
lisensi dan biaya subscription
termasuk perawatan

COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id

 Interoperabilitas untuk Big Data
Dinas
Kesehatan
Kementerian
• Integrasi Presentasi. User interface yang
Dukcapil menyediakan akses pada suatu aplikasi.
Keuangan
kinerja, persepsi, dan tidak adanya
Interoperability Logistik interkoneksi antara aplikasi dan data.
Kementerian • Integrasi Data. Dilakukan langsung pada
Kesehatan
●
Sistem informasi di masing-
Fasilitas Lainnya basis data atau struktur data. Jika terjadi
masing organisasi tidak bisa
Kesehatan perubahan model data, maka integrasinya
bertukar data/informasi pada
lingkungan heterogen
perlu direvisi atau dilakukan ulang.
●
Interoperabilitas data akan • Integrasi Fungsional Proses integrasi
mengefisienkan kerja serta dilakukan pada level logika bisnis pada
Decision dapat melakukan prediksi dan beberapa aplikasi.
Wisdom analisis berbasiskan AI
Artificial
●
Mendukung knowledge
Visualization
Knowledge Intelligence discovery dan decision making
Machine Data ●
Interoperabilitas di sistem yang
Learning Analysis
heterogen
Information Decision
BIG DATA in Support ●
Beragam organisasi dapat ;
CLOUD System
bertukar data/informasi
Data ●
Beragam teknologi dapat
bertukar data/informasi
Arsip ●
Dibutuhkan “central point”
sebagai penyelaras
data/informasi

COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id

 Pertimbangan Skalabilitas dan Availabilitas
Vertikal

Horizontal

●
Skalabilitas: Sistem Big Data akan menerima data semakin lama semakin banyak, juga pengguna
akan semakin lama semakin banyak
●
Availabilitas: Pengguna bergantung pada Big Data untuk pekerjaan di dalam organisasinya,
termasuk menentukan rute perjalanan, menentukan kebijakan, maka sistem harus selalu dapat
diakses walau beban tinggi

●
Pada pendekatan ini ketika beban bertambah maka ●
Pada pendekatan ini ketika beban bertambah besar
perangkat keras diperbesar (lebih besar storage, RAM maka sistem yang sama ditambah
dsb) ●
Jadi bukan 1 komputer diperbesar tetapi ditambah
●
Tetapi terkadang permasalahan tidak bisa diatasi banyak komputer yang terintegrasi jadi satu
dengan ini ●
Google, Facebook dan sebagainya menggunakan
●
Masih ada masalah SPOF (Single Point of Failure pendekatan ini
COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id
 Terima Kasih
VENDOR
HW/SW ●
AI diajarkan ke mahasiswa SEMUA
jurusan, baik bidang Rekayasa dan
●
Membutuhkan solusi ●
Membutuhkan solusi Teknologi juga bidang Humaniora
●
Mengoperasikan ●
Mengoperasikan sebagai mata kuliah unggulan
sistem PEMERINTAH Center INDUSTRI
sistem
●
Membangun solusi di Of ●
Membutuhkan solusi
●
Semua mahasiswa mengakses
pemerintah
Excellence
dengan platform DGX komputasi dengan perangkat Super
komputer NVIDIA DGX A100 atau
DGX-1
●
Materi praktek, juga diintegrasikan
Konsultan Developer
dengan V-Class (LMS pada Univ
● ●

DOSEN MAHASISWA
Trainer System Gunadarma) dan via UG TV (TV Digital)
● ●

●
Peneliti Support
●
Untuk embedded disediakan juga
Jetson Nano dan INTEL OpenVINO
https://www.hpc-hub.gunadarma.ac.id/

Colab Lab Super Computer DGX-1/A100 EdgeAI

COLORING THE GLOBAL FUTURE http://www.gunadarma.ac.id