Pengumpulan dan Pengolahan Data

Go Frendi Gunawan, Sr. Data Engineer @kata.ai

@goFrendiAsgard
Topik Bahasan

● Pengambilan Keputusan Berbasis Data

● Dari Data Menuju Informasi
● Pengumpulan Data
● Pengolahan Data
● Studi Kasus: Internal Dashboard WBW
● Praktek: Merencanakan Pengolahan Data
Pengambilan Keputusan Berbasis Data
Pengambilan Keputusan Berbasis Data

● Know your mission

● Identify data sources
● Clean and Organize data
● Perform Analysis
● Draw Conclusions
Dari Data Menuju Informasi
Data vs Informasi

Sumber: https://www.ontotext.com/knowledgehub/fundamentals/dikw-pyramid/
Kapan dan Mengapa Dibutuhkan?

Sumber: Data Science 365

Teknik dalam Setiap Tahapan

Sumber: Data Science 365

Di Mana, Bagaimana, dan Tugas Siapa?

Sumber: Data Science 365

Pengumpulan Data
Pengumpulan Data

● Interview
● Questionnaire
● Experiments
● Observation
● Survey
Pengolahan Data
Pengolahan Data

● Real time processing

● Distributed processing
● Multi processing
● Batch processing
● Online processing
Studi Kasus: Internal Dashboard WBW
WBW Internal Dashboard

● Misi:
○ Menyediakan informasi yang dibutuhkan masyarakat
terkait Covid-19
● Pertanyaan:
○ Topik-topik apa yang sering ditanyakan untuk setiap
lokasi
● Sumber data yang dibutuhkan:
○ Topik di setiap sesi chat
○ Lokasi di setiap sesi chat
○ Agregasi harian data topik/lokasi
 High Level Architecture

*) Qiscus: In App Chat CRM

Airflow + ETL
ETL

● Extract
● Transform
● Load
Google Data Studio
Praktek: Merencanakan Pengolahan Data
Praktek

● Misi yang ingin dicapai

● Sumber datanya dari mana
● Bagaimana mengolahnya
Q&A
Terima Kasih, Semoga
tetap Sehat :)