LAPORAN AKHIR

MAGANG & STUDI INDEPENDEN BERSERTIFIKAT

Modeling And Optimizing Techniques in

Data Warehousing Bootcamp
Studi Independen
Di PT Dibimbing Digital Indomesia

Gadis Syahrani Elhakim

H1101211035

PROGRAM STUDI SISTEM INFORMASI

UNIVERSITAS TANJUNGPURA
2023
 Kata Pengantar

Puji syukur penulis panjatkan kehadirat Allah SWT yang telah

melimpahkan rahmat, hidayah, dan karunia-Nya sehingga penulis dapat
menyelesaikan penyusunan laporan ini. Tak lupa, shalawat dan salam senantiasa
tercurah kepada junjungan kita Nabi Muhammad SAW yang telah menjadi rahmat
bagi alam semesta. Laporan ini disusun sebagai bagian dari rangkaian akhir
program Studi Independen yang dilaksanakan dalam upaya meningkatkan
pemahaman dan penerapan konsep-konsep yang relevan dibidang Data
Engineering. Dalam penyusunan laporan akhir ini penulis mendapatkan
bimbingan dukungan dan do’a dari berbagai pihak. Pada kesempatan ini, penulis
ingin mengucapkan terima kasih kepada:
1. Ibu Renny Puspita Sari, ST., MT. selaku Ketua Program Studi Sistem
Informasi.
2. Bapak Ilhamsyah, S.Si.,M.Cs. selaku Dosen Pembimbing Akademik
Program Studi Sistem Informasi.
3. Bapak Dian Prawira S.T.,M.Eng. selaku Koordinator MBKM Program
Studi Sistem Informasi.
4. Kak Reza Budi Pratiko selaku mentor yang telah memberikan
masukan dan bantuan selama program Studi Independen Dibimbing.
5. Semua pihak yang telah memberikan banyak bantuan dan dukungan
yang tidak bisa penulis sebutkan satu per satu.
Penulis menyadari bahwa penyusunan laporan ini tidak terlepas dari
keterbatasan dan kekurangan. Oleh karena itu, kritik dan saran membangun dari
pembaca sangat kami harapkan guna perbaikan di masa yang akan datang.

Pontianak, 8 Desember 2023

Gadis Syahrni Elhakim

i
Daftar Isi
Kata Pengantar....................................................................................................... i
Daftar Isi................................................................................................................. ii
Daftar Gambar......................................................................................................iii
Bab I Gambaran Umum........................................................................................1
I.1 Profil Perusahaan.......................................................................................... 1
I.1.1 Visi dari Dibimbing.id......................................................................... 1
I.1.2 Misi dari Dibimbing.id........................................................................ 2
I.1.3 Struktur Organisasi Dibimbing.id........................................................2
Bab II Aktivitas Mingguan....................................................................................8
Bab III Penutup....................................................................................................20
II.1 Kesimpulan................................................................................................20
II.2 Saran.......................................................................................................... 20
Daftar Pustaka......................................................................................................21
Lampiran.............................................................................................................. 22

ii
 Daftar Gambar
Gambar 1 – Logo Dibimbing................................................................................... 1
Gambar 2 – Struktur Organisasi Dibimbing............................................................ 2
Gambar 3 - Materi pada Platform LMS................................................................. 22
Gambar 4 - Project pada Platform LMS................................................................ 22
Gambar 5 - Post Test pada platform LMS..............................................................23
Gambar 6 - Kelas Hard Skill..................................................................................23
Gambar 7 - Kelas Soft Skill................................................................................... 24
Gambar 8 - Weekly Mentoring bersama Mentor................................................... 24
Gambar 9 - Meet bersama DPP..............................................................................25
Gambar 10 - Project Python...................................................................................25
Gambar 11 - Project GIT........................................................................................26
Gambar 12 - Project ERD...................................................................................... 26
Gambar 13 - Project SQL.......................................................................................27
Gambar 14 - Mid Test Python................................................................................ 27
Gambar 15 - Mid Test SQL....................................................................................28
Gambar 16 - Project Data Modelling..................................................................... 28
Gambar 17 - Project ETL with Docker.................................................................. 29
Gambar 18 - Project ETL with Docker.................................................................. 29
Gambar 19 - Project API Web Scraping................................................................ 30
Gambar 20 - Project Web Scraping........................................................................30
Gambar 21 - Final Project ETL..............................................................................31
Gambar 22 - Final Project Data Modeling............................................................. 31
Gambar 23 - Final Project Data Visualization....................................................... 32
Gambar 24 - Pemberian Sertifikat..........................................................................32
Gambar 25 - Dokumentasi Graduation.................................................................. 33

iii
 Bab I Gambaran Umum

I.1 Profil Perusahaan

Dibimbing.id merupakan platform pembelajaran dan persiapan karier
digital. Lebih dari satu tahun berdiri, Dibimbing.id telah membantu dan
mendukung penuh para pemilik growth mindset untuk mengembangkan diri
hingga mendapatkan karier impiannya. Saat ini Dibimbing telah berhasil
menyukseskan 91% siswa dibimbing.id ke dunia kerja. Tidak berhenti sampai
sini, kami terus berinovasi dan tetap menjaga komitmen kami dalam
meningkatkan kualitas pembelajaran untuk membantu mereka mendapatkan karier
yang lebih baik.
Berikut meruapakn logo dari Dibimbing.id.

Gambar 1 – Logo Dibimbing

I.1.1 Visi dari Dibimbing.id

Digital skills merupakan salah satu kunci peningkatan daya saing,
tidak hanya bagi angkatan kerja tetapi juga masyarakat umum.
Dibimbing.id mempunyai ambisi untuk menjadi mesin pencetak talenta
digital tanpa batas. Fun, inclusive, dan affordable adalah nilai yang selalu
kami pegang untuk para student yang ingin belajar di Dibimbing.id.

1
I.1.2 Misi dari Dibimbing.id
1. Customer Obsession
Kami akan selalu memprioritaskanmu untuk selangkah lebih maju dari
ekspektasimu.
2. Innovation First
Menjadi media belajar yang inspiratif, interaktif, dan juga selalu up to
date sesuai dengan kebutuhan industri saat ini.
3. Inclusivity
Semua orang dapat belajar dengan pelayanan yang sama tanpa
terkecuali.
4. People Empowering
Semua yang ada di lingkungan Dibimbing.id harus menjadi berdaya
dan bermanfaat.

I.1.3 Struktur Organisasi Dibimbing.id

Berikut merupakan bagan struktur organisasi dari PT Dibimbing
Digital Indonesia.

Gambar 2 – Struktur Organisasi Dibimbing

2
 I.2 Deskripsi Kegiatan
Posisi : Data Engineer
Deskripsi : Pembelajaran Modeling and Optimization Techniques in Data
Warehousing merupakan program untuk dapat belajar menjadi seorang Data
Engineer. Seorang Data Engineer bertanggung jawab untuk merancang,
membangun, dan memelihara infrastruktur data untuk memungkinkan pengolahan
dan analisis data yang efisien dan efektif. Mereka memastikan bahwa data tersedia
dalam format yang tepat dan pada waktu yang tepat. Data Engineer juga
bertanggung jawab untuk mengumpulkan data dari berbagai sumber,
memprosesnya, dan menyimpannya dalam sistem penyimpanan data yang dapat
diakses oleh aplikasi bisnis dan analitik. Mereka juga harus menjaga integritas
data dan memastikan bahwa data tidak hilang atau rusak selama pengolahan dan
penyimpanan. Data Engineer biasanya bekerja sama dengan tim Data Scientist,
Analis Data, dan tim bisnis untuk memahami kebutuhan data dan membangun
infrastruktur data yang tepat untuk memenuhi kebutuhan tersebut. Mereka juga
harus memahami teknologi terbaru dan tren industri untuk memastikan bahwa
infrastruktur data yang mereka bangun tetap relevan dan efektif.
Kompetensi yang dikembangkan:
1. Data Engineering
2. Cloud Computing
3. Data Warehousing
4. Data Driven
5. Critical Thinking
6. Problem Solving
Melalui pembelajaran ini, tahapan pembelajaran mulai dari level beginner
sampai intermediate dilengkapi dengan assignment yang menunjang kemampuan
Data Engineer. Setiap proses pembelajaran difasilitasi dengan mentor yang
berpengalaman di bidangnya. Dengan bimbingan mentor yang expert dan
berpengalaman pada bidang Data Engineer dapat memberikan pembelajaran yang
kontekstual, praktikal, dan interaktif. Dimulai dari level basic sampai dengan level
advanced akan dilewati dengan berbagai macam pelatihan (assignment) dan

3
praktik secara langsung. Fasilitas yang didapatkan antara lain: konsultasi dengan
mentor, Learning Management System (LMS) yang dapat diakses seumur hidup
dan didalamnya terdapat materi PPT mentor, record class, video learning dan
online material, dan career support berupa portofolio. Selain itu, pada proses
pembelajaran ini juga dilengkapi oleh assignment dan exercise kelas untuk
menunjang pemahaman para peserta. Pembelajaran ini dilengkapi project akhir
yang bertujuan untuk membangun portofolio yang valuable untuk berkarir sebagai
Data Engineer.
Capaian:
- Membantu menambah pemahaman yang mendalam tentang konsep-konsep dan
teknologi terbaru dalam bidang Data Engineer.
- Membantu peserta untuk dapat mengembangkan, mengelola, dan memelihara
infrastruktur data yang rumit untuk organisasi dan perusahaan.
- Membantu peserta untuk mempelajari bagaimana mendapatkan dengan materi
yang komprehensif terstruktur dan mentor serta instruktur yang berpengalaman di
bidang Data Engineer.
- Memberikan pembelajaran dibidang Data Engineer untuk menjadi profesional
yang lebih handal, paham dan kompeten di bidang Data.
Proses pembelajaran Studi Independen Modeling And Optimization
Techniques In Data Warehousing Bootcamp dirancang secara komprehensif
dengan pembelajaran mandiri secara sinronus dan sesi kelas secara asinkronus
bersama instruktur secara online. Lalu penugasan dilakukan secara individu
maupun berkolaborasi dalam kelompok dengan menguji pemahaman konsep
secara mendalam dan memberikan kesempatan untuk mengaplikasikan
pengetahuan dalam situasi praktis. Jadwal kelas teknis mengambil waktu pada
hari Selasa dan Kamis dari pukul 18.30 hingga 21.00. Selain itu, kelas softskill
dijadwalkan dua minggu sekali pada hari Sabtu. Lalu sesi mentoring dirancang
untuk memberikan kesempatan mendapatkan panduan dan pemahaman tambahan
dari mentor. Sesi mentoring juga dapat menjadi forum interaktif dimana peserta
dapat berbagi pengalaman, mengajukan pertanyaan, dan mendiskusikan tantangan
yang mereka hadapi dalam memahami materi tertentu.

4
 Adapun materi yang dipelajari dalam program ini melibatkan konsep-konsep
inti dalam bidang Data Engineering yaitu:
1. Data Warehousing
- Mampu menjelaskan perbedaan data science dan data warehousing
- Mampu menjabarkan dasar-dasar singkat dari data warehousing
- Mampu menjelaskan data warehousing journey roadmap
- Mampu menggunakan tools data warehousing seperti RDBMS & NoSQL,
Big Data Processing, Hadoop, Spark, Kafka, Airflow dan CI/CD
2. Pengenalan pemrograman Python
- Mampu melakukan instalasi python
- Mampu memahami basic code program python
- Mampu memahami data type dan manipulation pada python
- Mampu memahami data structure pada python
- Mampu memahami continuous dan categorical data
- Mampu menyelesaikan studi kasus menggunakan python
3. Persiapan data menggunakan python
- Mampu memahami terkait missing value
- Mampu memahami data frame
- Mampu mengetahui nilai outlier dan cara mengatasinya
- Mampu melakukan pembersihan data
- Mampu melakukan Standarisasi data
- Mampu melakukan Transformasi data
- Mampu melakukan Manipulasi data
- Mampu mengenali fitur yang digunakan pada manipulasi data
- Mampu memahami OOP pada Python
- Mampu memahami Parallel Computing
4. Penggunaan GIT
- Mampu memahami alur kerja dari GIT
- Mampu membuat Repository pada GIT
- Mampu melakukan commit, push dan pull pada GIT
- Mampu melakukan clone

5
 - Mampu memahami .gitignore 6. Mampu membuat tags
- Mampu mengimplementasikan Branching pada GIT (merge branch, pull
request dan merge request)
5. SQL
- Mampu memahami konsep dasar SQL
- Mampu memahami dan mengimplementasikan konsep: - Where clause
(value comparison, string pattern, etc) - Aggregate statement - Conditional
statement ( case when) - Join Statement - Union Operation - Subquery,
Rank, Other SQL Operation
- Mampu membuat ERD
- Mampu memahami Schema SQL
- Mampu mengimplementasikan operasi & fungsi pada SQL, serta fungsi
prosedur
- Mampu memahami Stored Procedures, Query optimazitaion dan profiling,
dan window function
- Mampu memahami konsep dan komponen NoSQL
6. Data Warehouse
- Mampu memahami konsep data warehouse
- Mampu memahami data warehouse arsitektur dan data mart
- Mampu mengimplementasikan OLAP (On-Line Analytical Processing)
dan OLTP (On-Line Transaction)
- Mampu memahami konsep data modelling
- Mampu memahami konsep SCD (Slowly Changing Dimension)
7. ETL (Extract Transform Load)
- Mampu memahami konsep dasar dari ETL
- Mampu menggunakan ETL tools
- Mampu memahami perbedaan dari ETL dan ELT
- Mampu mengimplementasikan extract, initial load, delta load, dan
transformation data
8. Docker & ETL with Python Airflow
- Mampu memahami konsep Docker & Airflow

6
 - Mampu mengkonfigurasikan Airflow & Database
- Mampu memahami konsep Airflow Dags & Sensor
- Mampu mengimplementasikan Airflow DAGs
- Mampu Memahami konsep sheduling DAGs with Airflow
- Mampu memaintain dan monitoring Airflow workflows
- Mampu membuat production pipelines in Airflow
9. Cloud
- Mampu memahami konsep Cloud Computing
- Mampu mengimplementasikan Cloud Service
- Mampu memahami Data warehousing on Cloud
- Mampu mengimplementasikan Data Storage Services on Cloud
- Mampu mengimplementasikan Processing Services on Cloud
- Mampu melakukan analitik data dan Dashboarding on Cloud
10. Basic Concept Batch & Stream
- Mampu memahami konsep Bacth
- Mampu memahami konsep dasar Streaming
- Mampu memahami perbedaan Mini & micro batch
11. Web Scrapping & API
- Mampu memahami konsep API
- Mampu mengimplementasikan Method API & API Respon dengan Flask
- Mampu mengimplementasikan requests, beautifulSoup, dan Selenium
pada Web Scrapping

12. Data Governance

- Mampu memahami dasar-dasar data governance
- Mampu memahami privacy and policy data
- Mampu memahami data catalog
- Mampu memahami discoverability
- Mampu memahami Provisioning Data Catalog & Discovearbility Platform
dengan Docker

7
 Bab II Aktivitas Mingguan
Pada bagian ini berisi aktivitas mingguan selama proses Studi Independen
Modeling And Optimizing Techniques in Data Warehousing Bootcamp.
Minggu Kegiatan
1 Pada minggu pertama mengikuti program studi independen lebih
berfokus kepada on boarding dan pengenalan terhadap program
dengan lebih dalam. Proses on boarding pertama kali dilakukan
bersama seluruh Indonesia melalui kanal youtube Ditjen
Diktirstek untuk menyambut dimulainya program MSIB dan
membahas mengenai arahan dan pesan selama mengikuti
program MSIB dari para pemateri. Lalu saya mengikuti Zoom
Meeting persiapan Studi Independen Data Warehouse yang
membahas pengenalan website LMS (Learning Management
System) yang akan digunakan selama berlangsungnya Studi
Independen dan pembahasan terkait Inissial Assasement yang
harus dikerjakan. Saya juga mengerjakan Initial Assasement
yaitu tugas yang wajib dikerjakan sebagai penilaian awal
sebelum dimulainya program Studi Independen. Tugas yang
diberikan berupa studi kasus dari masalah umum yang biasa
diihadapi oleh seorang Data Engineer (DE). Dan di hari Jumat
saya menonton live streaming melalui kanal youtube Ditjen
Distirstek yang membahas Sosialisasi Platform MSIB juga
membahas terkait logbook. Selanjutnya mengikuti On Boarding
melalui Zoom yang berisi pengenalan terhadap program Studi
Independen Modeling And Optimization Techniques In Data
Warehousing Bootcamp bersama Dibimbing.id dan juga
pengenalan dengan mentor dan tutor. Lalu penjelasan mengenai
apa saja yang perlu dipersiapkan sebelum memulai kelas beserta
journey belajar yang akan dilewati dan juga membahas syarat
kelulusan dan kriteria penilaian.

8
2 Pada minggu ke 2 Studi Independen ini saya mempelajari topik
terkait Data Engineering dan juga bahasa pemrograman Python.
Pada materi Introduction to Data Engineering mempelajari
sebagai berikut: History of Data Engineering, the difference
between Data Engineer and Data Scientist, The Data Science
Hierarchy, Data Engineering Lifecycle, Ingestion and
Integration Stage, Kafka Architecture, Data Storage, Data
Lakehouse, Data Processing, Data Engineering Journey and
Roadmap. Lalu pada materi Python mempelajari sebagai
berikut: Introduction to python, basic python (variable, string,
index, numerical, if else, for loop, while), python data structure
(list, tuple, set, dictionary), python functions (returm, default
arg). Pada materi ini dilakukan praktek atau hands-on melalui
tools google collab. Lalu terdapat tugas yang harus diselesaikan
secara berkelompok dengan perintah yaitu membuat program
untuk mengubah vokal word menjadi huruf “a” dan membuat
program untuk mengecak kehadiran murid.
3 Hierarchy, Data Engineering Lifecycle, Ingestion and Integration
Stage, Kafka Architecture, Data Storage, Data Lakehouse, Data
Processing, Data Engineering Journey and Roadmap. Lalu pada
materi Python mempelajari sebagai berikut: Introduction to
python, basic python (variable, string, index, numerical, if else,
for loop, while), python data structure (list, tuple, set, dictionary),
python functions (returm, default arg). Pada materi ini dilakukan
praktek atau hands-on melalui tools google collab. Lalu terdapat
tugas yang harus diselesaikan secara berkelompok dengan
perintah yaitu membuat program untuk mengubah vokal word
menjadi huruf “a” dan membuat program untuk mengecak
kehadiran murid.

9
4 Pada minggu ke 4 Studi Independen ini saya mempelajari materi
terkait GIT dan SQL. Pada materi GIT saya mempelajari
pengenalan terhadap GIT, version control systems, repository,
staging, committing, branch. Making Changes and Commiting,
Undoing changes, git merge and merge conflict. Lalu mencoba
praktik membuat repository, membuat branch, pull dan push
menggunakan GIT dengan teman sekelompok. Saya juga
mempelajari materi SQL yaitu Mempelajari basic SQL terkait
database, basic SQL query, juga mempelajari WHERE clause
dengan sub topik value comparison, string pattern, between
operation, distinct operation. aggregation (aggregate, group by,
having) dan conditional. Lalu melakukan hands on dengan
mencoba mengerjakan soal soal yang diberikan.
5 Pada minggu ke 5 ini saya memperdalam pembelajaran materi
terkait SQL. Topik yang dibahas yaitu types of SQL Joins (inner
join, left join, right join), union query, subquery command, order
by, limit. Lalu mempelajari juga pengertian data modelling,
Entitty Relatinship Diagram (ERD), Bahasan selanjutnya yaitu
Normalization dari 1NF sampai 3NF, ERD for normalized table,
Schema SQL, data type, Data Definition Language (DDL), Data
Manipulation Language (DML) , Constraint for data integrity,
SQL Functions. Lalu mengikuti kelas soft skill dengan topik
bahasan Career Preparation Class: CV and Linkedin Profile. Pada
kelas ini materi yang dibahas yaitu CV dan profile Linkedin yang
baik, ATS CV beserta tips & trik agar lolos screening system
ATS, Tips & Trik serta hal-hal yang perlu dihindari dalam
menyusun CV dan Profil LinkedIn.
6 Pada minggu ke 6 saya mempelajari lebih dalam lagi materi
lanjutan terkait SQL. Bahasan pada topik kali ini yaitu Stored
Procedure, Function, Query Optimization (Profilling, Explain

10
 Analyze, Optimization, Revamp Query, Index, Btree Index, Types
of Partition), Window Function, Common Table Expression
(CTE). Lalu juga mempelajari bahasan dengan topik pengerian
NoSQL, perbedaan SQL vs NOSQL, Database Type, Schema,
Scalability, Capacity, Caching, Types of NoSQL, MongoDB
(document based), Redis (key value), Neo4J (graph), DuckDB
(columnar). Lalu saya juga mengikuti sharing session dengan
pemateri yang membahas kegiatan sehari-hari sebagai database
engineering, penerapan Python dan SQL dalam pekerjaan,
PostgreSQL, prospek pekerjaan, test sebagai Database
Engineering.
7 Pada minggu ke 7 Studi Independen saya melaksanakan Mid Test
dengan topik Pyhton dan SQL. Soal terdiri dari 2 soal Python dan
2 soal SQL. Soal Python berisikan Split string, String
concatenation, String conversion, Looping, Array. Soal SQL
berisikan Basic SQL Query Command, SQL Clause, SQL
function, SQL Join, Operations. Saya juga mempelajari materi
dengan topik Data Warehouse. Membahas pengertian Data
Warehouse, History of Data Warehouse, Characteristic of Data
Warehouse, Benefits of Data Warehouse, Online Transaction
Processing (OLTP), Online Analytical Processing (OLAP),
Perbedaan OLTP vs OLAP, Data Lake, Perbedaan Data Lake dan
Data Warehouse, Data Mart, Perbedaan Data Mart dan Data
Warehouse, Data Cubes, Operations of Data Cubes, OLTP Data
Modeling, OLAP Data Modeling, Immon Model, Kimball Model.
Lalu saya juga mengikuti kelas Soft Skill dengan topik bahasan
Interview HR and Tech Recruiter. Dengan bahasan
Understanding the Job Description, Building a Portfolio,
Networking, Behavioral, Interview Questions, Technical

11
 Interview Preparation, Company Research, Questions to Ask the
Interviewer, Handling Rejections and Feedback.
8 Pada minggu ke 8 Studi Independen saya materi dengan topik
Data Warehouse dan ETL (Extract, Tranform, Load). Pada topik
Data Warehouse saya mempelajari OLTP Data Modelling, OLAP
Data Modelling (Identify Business Process, Define Granularity,
Identify Measures, Identify Dimensions, Design Tables Schema,
ETL Data) Slowly Changing Dimension, Advanced Data
Warehousing, Data Mesh, Change Data Caputre). Melakukan
Hands on exercise terkait materi Data Warehouse dengan
membuat OLAP Data Modeling, membuat fact dan dimension
table. Lalu saya juga mempelajari materi Serverless Database
yaitu Introduction to Serverless Database, NeonDB,
PlanetScale.Lalu pada materi ETL mempelajari Introduction to
ETL Process, Extraction Technique (Data Types, Web Scraping,
API, Query), Optimizing Extraction (Parallel Processing,
Database Optimixation), Types of Transformation (Data Clening,
Data Integration, Data Enrichment, Data Filtering), Optimizing
Transformation (Data Sampling, Data Profiling), Methods for
Loading Data (Bulk Loading, Full Refresh, Incremental Load,
Streaming, Change Data Capture), Data Storage Options. Lalu
melakukan Hands on exercise terkait materi Extract dengan
metode web scraping, API, Query. Melakukan Hands on exercise
terkait materi Tranform dengan metode Data Integration, Data
Cleaning, Data Enrichment, dan Data Filtering. Dan melakukan
Load dengan Load Data to Database.
9 Pada minggu ke 9 Studi Independen saya mempelajari materi
dengan topik Docker Introduction dan ETL with Pyrhon Airflow.
Pada topik Docker Introduction saya mempelajari Docker
Benefits, Docker Architecture, Docker Compose, Docker Images,

12
 Docker Container, Virtual Machine, dan Hands On Excercise
Create Docker Container. Dan mengerjakan assignment yang
diberikan mengenai Docker bersama teman sekelompok sesuai
dengan perintah membuat Docker Compose and Dockerfile dan
membuat script python dari data ingestion. Saya juga
mempelajari materi tentang ETL with Python Airflow. Dengan
bahasan Airflow Introduction, Airflow Architecture, Airflow
Concepts (DAGs, Task, Operators and Sensors,Connection and
Variables, Hook) dan melakukan Hands On Excercise Airflow
using Docker. Saya juga mempelajari materi soft skill dengan
topik How to Simplify Communication dan membahas
mengartikulasikan konsep teknis yang kompleks dengan cara
yang jelas dan mudah dipahami, menggunakan bahasa teknis dan
jargon yang tepat saat berkomunikasi dengan sesama profesional
data, mendokumentasikan kode, jalur data, dan arsitektur untuk
memfasilitasi kolaborasi dan berbagi pengetahuan, menjelaskan
konsep teknis kepada pemangku kepentingan non-teknis dengan
cara yang sederhana dan mudah dipahami, menghindari jargon
dan menggunakan analogi untuk membuat informasi teknis dapat
diakses, menangani masalah dan pertanyaan dari anggota tim
non-teknis.
10 Pada minggu ke 10 Studi Independen saya mempelajari materi
dengan topik ETL with Python Airflow. Dengan bahasan
Configuration Airflow and Database, DAG Object, Default
Arguments, Context Manager, Constructor, DAG Decorator,
Cron, Mempelajari Task, Sheduling DAGs with Airflow, Airflow
Sensor, dan Implementing Airflow DAGs. Airflow Connection
yang digunakan untuk menyimpan konfigurasi yang digunakan
oleh berbagai task dalam DAG, Airflow Variables yang
digunakan untuk menyimpan data konfigurasi sederhana,

13
 mempelajari Hooks antarmuka ke layanan atau sistem eksternal
yang digunakan oleh DAG, Executors, Xcom, Plugins dan
melakukan Hands On Excercise Airflow yaitu membuat
connections, variable, hooks, XCom, Plugins, and ETL with
AIrflow. Lalu Mengerjakan assignment ETL with Python Airflow
yaitu konsep dasar membangun dan menjalankan DAG di
Airflow. Dengan mengambil data dari OpenAQ API untuk
mengambil data, mengubah data untuk memfilter, mengubahnya
menjadi format yang dapat disimpan dalam tabel basis data,
menyimpan data yang telah ditransformasikan ke dalam tabel
database, menadwalkan DAG untuk berjalan setiap hari. Lalu
mengikuti zoom meeting bersama dengan mentor untuk
membahas kesulitan yang dihadapi selama proses belajar terkait
materi Airflow.
11 Pada minggu ke-11 Studi Independen saya mempelajari materi
yang berkaitan dengan Batch & Stream dan Cloud for Data
Engineering. Pada aspek Batch & Stream, saya memperdalam
pemahaman tentang Bounded and Unbounded Data, Batch
Processing, serta perbedaan antara Tugas Non-Idempotent dan
Idempotent, Stream Processing, Mini & Micro Batch, Latency,
serta arsitektur Lambda dan Kappa, Apache Kafka Architecture.
Hands-on exercise menggunakan Kafka di Docker juga menjadi
bagian dari pembelajaran ini, di mana saya dapat
mengimplementasikan konsep-konsep yang telah saya pelajari
dalam suatu lingkungan yang sesungguhnya.
Selanjutnya, saya mendalami pengetahuan dalam domain Cloud
for Data Engineering. Pembelajaran dimulai dengan pemahaman
tentang Cloud Computing, Big Data Pipeline Architecture.
Mempelajari berbagai layanan cloud Data Warehousing, Data
Storage Services, dan Processing Services. Selain itu,

14
 pembelajaran melibatkan Data Analytics and Dashboarding on
Cloud, Data Lake, Data Lakehouse, serta konsep Partition &
Cluster dalam konteks cloud computing. Pembelajaran soft skill
dengan topik Business Understanding. Materi ini menggali
aspek-aspek penting seperti Industry Knowledge, Business Goals
and Objectives, Data-Driven Decision Making, Understanding
Stakeholder Needs, Data Sources and Integration, Data Quality
and Reliability, Identifying Key Metrics, Business Process
Mapping, serta pentingnya Data Governance and Compliance.
12 Pada minggu ke-12 Studi Independen saya mempelajari materi
mengenai Web Scraping dengan API. Materi yang saya pelajari
melibatkan berbagai aspek, mulai dari dasar-dasar API hingga
implementasinya menggunakan HTTP Request Methods, seperti
GET dan POST. Selain itu, saya juga memahami pentingnya
Authorization dalam API, bagaimana melakukan otentikasi
dengan API, termasuk penggunaan API key, metode Basic Auth,
dan implementasi OAuth 2.0. Saya juga menjalankan hands-on
exercise menggunakan Postman. Selanjutnya, saya melanjutkan
pembelajaran dengan memfokuskan diri pada Web Scraping.
Saya menggali pengetahuan tentang jenis-jenis Web Scraping dan
memahami alur utama dalam proses Web Scraping. Sumber daya
yang saya pelajari termasuk Selenium, Beautiful Soup, dan CSS
Selectors. Saya juga melibatkan diri dalam hands-on exercise, di
mana saya praktik langsung menggunakan Beautiful Soup,
Selenium, dan Pandas untuk melakukan Web Scraping. Lalu
mengerjakan assignment bersama dengan teman sekelompok.
Tugas ini melibatkan penggunaan teknik Web Scraping untuk
mengambil data dari suatu URL dan mengubahnya menjadi
dataframe atau CSV.

15
13 Pada minggu ke-13 Studi Independen saya mempelajari materi
Data Governance. Mempelajari dasar tentang Data Governance
hingga peran penting Data Stewards dalam menjaga kualitas dan
integritas data, masalah umum pada Data Governance, Data
Governance Framework, Data Discovery, Data Governance
Classification, dan pembahasan tentang kebijakan dan aturan
dalam Data Governance. Pembahasan konsep-konsep Data Mesh
Architecture, peran penting Data-Driven Company dalam
mencapai keberhasilan operasional melalui pengelolaan data yang
efektif. Beberapa alat yang diperkenalkan termasuk Metadata
Platform Datahub, dbt (data build tool), dan SODA (Schema on
Data API). Selain itu saya juga mempelajari materi soft skill
dengan topik bahasan "Storytelling with Data." Membahas
berbagai aspek yang membentuk landasan kuat untuk
menyampaikan informasi dengan cara yang efektif melalui data,
Konsep Data Storytelling, Key Success dalam Data Storytelling,
mempelajari langkah-langkah sistematis untuk menyusun cerita
data, menciptakan visualisasi data yang efektif, memahami
berbagai jenis grafik, dan memilih visualisasi yang paling sesuai
dengan pesan yang ingin disampaikan. Lalu juag
memperkenalkan Tools untuk Visualisasi yaitu Metabase, Power
BI, Tableau.
14 Pada minggu ke 14 Studi Independen saya mengikuti kelas
dengan topik "Career Sharing as Data Engineer." Materi ini
memberikan gambaran komprehensif tentang peran dan tanggung
jawab seorang Data Engineer dalam dunia profesional. Dimulai
dengan eksplorasi beragam Roles and Responsibilities yang
diemban oleh seorang Data Engineer. ETL/ELT/Reverse ETL,
mengelola data warehouse, dan melakukan proses Data
Modeling. Memahami aspek biaya (query and storage),

16
 manajemen dan pemantauan data pipeline, serta pengiriman alarm
saat terjadi kesalahan juga menjadi fokus dalam diskusi ini.
Selain itu, bagaimana menyajikan data ke pengguna akhir melalui
API dan memberikan akses ke tabel. Data Career Decision Tree
dan Career Journey, Lalu pemahaman menyeluruh tentang
ekosistem Data Engineering. Curriculum Vitae yang efektif dan
memberikan tips praktis untuk menjadi seorang Data Engineer
yang sukses. Selanjtnya saya memulai final project dengan tugas
ini melibatkan pembuatan sebuah Data Platform yang melibatkan
proses ETL, Data Modeling, dan Data Visualization. Proyek ini
tidak hanya menjadi tantangan teknis yang menarik tetapi juga
memberikan peluang untuk mengaplikasikan konsep dan
keterampilan yang telah saya pelajari sejauh ini dalam skenario
proyek dunia nyata.
15 Pada minggu ke-15 Studi Independen saya bergokus pada
pengerjaan final project. Fokus utama saya terarah pada tahapan
ETL, di mana saya mengambil pendekatan yang matang dengan
memanfaatkan bahasa pemrograman Python dan alat manajemen
aliran kerja, Airflow, untuk orchestrating proses. Pada tahap ini,
saya juga melakukan eksplorasi lebih lanjut terkait peningkatan
kinerja dan optimisasi script Python yang akan saya gunakan
dalam proses ETL. Pada minggu ini saya melakukan pertemuan
dengan mentor untuk membahas progress dan mengatasi setiap
kesulitan yang saya hadapi. Interaksi langsung dengan mentor
memberikan kesempatan untuk mendapatkan pandangan
tambahan, dan pemecahan masalah yang mungkin tidak
terpikirkan sebelumnya. Selain itu saya juga mengikuti kelas soft
skill dengan topik Project Management dengan bahasan Project
Planning and Scope Definition, Setting Project Objectives and
Goals, Identifying Stakeholders, Resource Allocation and

17
 Management, Risk Assessment and Mitigation, Project
Scheduling and Timeline Management, Monitoring Progress and
Milestones, Communication and Reporting in Project
Management, Change Management in Data Engineering Projects,
Post-Project Evaluation and Lessons Learned.
16 Pada minggu ke 16 Studi Independen saya berfokus pada
mengerjaan final project. Saya memulai minggu ini dalam
pembuatan script untuk tahap ETL. Proses ini melibatkan
pemilihan bahasa pemrograman, pengaturan skrip, serta uji coba
melalui alat manajemen aliran kerja Airflow, dan database
PostgreSQL. Saya dan teman sekelompok saling membantu
dalam pemecahan masalah bersama, dan pemantapan script yang
telah dibuat. Selain kolaborasi tim internal, kami juga mendapat
bantuan dari mentor untuk memperbaiki dan menyempurnakan
script ETL yang telah dibuat. Dengan mendapatkan pandangan
dari sudut pandang yang berbeda, saya dapat melihat potensi
penyempurnaan dan memastikan bahwa script kami optimal
dalam menjalankan tugasnya. Bantuan dari mentor menjadi nilai
tambah yang signifikan dalam memastikan keberhasilan proyek.
Saya juga mengikuti kelas soft skill dengan topik Team
Leadership dengan bahasan Pengertian dan Kenapa harus ada
Team Leadership, Tantangan dan cara mengatasi masalah dalam
Team Leadership, Karakteristik Kepemimpinan Team Leadership
yang efektif, Hal lain yang harus diperhatikan dalam mengelola
tim agar efektif, Keterampilan yang dibutuhkan untuk mengelola
team yang efektif, Macam-macam team Leadership, Contoh
Implementasi dari macam-macam Team Leadership, Strategi
untuk menentukan agar team Leadership berjalan secara efektif.
17 Pada minggu ke-17 Studi Independen, fokus utama saya adalah
menyelesaikan tahapan terakhir dari final project yang berjudul

18
 "Building Data Platform for Online Retail Company". Proyek ini
melibatkan langkah-langkah penting dalam Data Modeling dan
Data Visualization untuk menghasilkan wawasan yang lebih
mendalam dari data yang telah diolah. Dalam tahap Data
Modeling kami membuat struktur data mencakup pembuatan Fact
Table dan Dimensional Table dari database yang telah melalui
proses ETL sebelumnya. Dengan merancang skema data yang
tepat, kami berusaha untuk memastikan bahwa struktur data dapat
mendukung analisis yang diperlukan dan memberikan nilai
tambah bagi pemangku kepentingan. Selanjutnya, pada tahap
Data Visualization, menggunakan tools Metabase untuk
menghasilkan representasi grafis yang informatif dari data yang
telah diproses. Sebagai pelengkap dari tahapan proyek, saya
melakukan presentasi terkait hasil final project yang telah dibuat
sebelumnya. Presentasi ini bertujuan untuk menyajikan secara
komprehensif solusi yang telah dihasilkan, serta untuk
menjelaskan proses ETL, Data Modeling, dan Data Visualization
yang telah dilakukan.
18 Mengerjakan laporan akhir Studi Independen.
19 Mengikuti zoom meeting Graduation Ceremony SIB Dibimbing
yang berisi pengumuman pemenang untuk challenge, kelompok
dengan final project terbaik, pembagian sertifikat dan report card,
lalu Jam Board Game bersama dan mengerjakan laporan akhir
Studi Independen.
20 Mengerjakan laporan akhir Studi Independen.

19
 Bab III Penutup

II.1 Kesimpulan
Setelah mengikuti rangkaian program Studi Independin di Dibimbing.id dapat
diberikan kesimpulkan sebagai berikut:
1. Proses pelaksanaan MSIB memberikan keluasaan dalam menentukan
waktu dan lokasi belajar, memungkinkan fleksibilitas terhadap jadwal
yang lebih efektif dan sesuai dengan kebutuhan. Selain itu program MSIB
menuntut kemandirian dan inisiatif diri agar tidak tertinggal materi.
Proses ini memberikan kesempatan untuk menumbuhkan pengembangan
diri.
2. Program ini memberi peluang kepada mahasiswa untuk memperoleh
keterampilan praktik melalui pelaksanaan proyek dan penyelesaian
masalah serta memperoleh pemahaman mendalam tentang penerapan
konsep-konsep teoritis untuk Data Engineering.
3. Pentingnya peran seorang Data Engineer dalam ekosistem data modern.
Sebagai pengelola data, Data Engineer memainkan peran penting dalam
membangun fondasi data yang diperlukan untuk pengguna data.

II.2 Saran
Setelah mengikuti rangkaian program Studi Independin di Dibimbing.id dapat
diberikan saran sebagai berikut:
1. Meningkatkan frekuensi pelaksanaan kelas secara lebih rutin dan
menyediakan lebih banyak referensi bacaan untuk pemahaman materi
yang lebih mendalam. Selain itu, disarankan untuk memperbanyak proyek
yang dapat memperdalam pemahaman teknis sesuai dengan kebutuhan
industri.
2. Menyarankan penerapan pemantauan terhadap pelaksanaan kegiatan
secara lebih ketat untuk memastikan bahwa seluruh peserta berpartisipasi
secara aktif terhadap program.

20
Daftar Pustaka
[1] Big Dream Dibimbing.id. dibimbing. Retrieved December 8, 2023, from
https://dibimbing.id/about-us
[2] Kampus Merdeka: Home | Merdeka Belajar. Retrieved December 8, 2023,
from https://kampusmerdeka.kemdikbud.go.id/

21
Lampiran
A. Lampiran tampilan LMS (Learning Management System)

Gambar 3 - Materi pada Platform LMS

Gambar 4 - Project pada Platform LMS

22
 Gambar 5 - Post Test pada platform LMS

B. Lampiran Kelas

Gambar 6 - Kelas Hard Skill

23
 Gambar 7 - Kelas Soft Skill

Gambar 8 - Weekly Mentoring bersama Mentor

24
 Gambar 9 - Meet bersama DPP

C. Lampiran Project

Gambar 10 - Project Python

25
Gambar 11 - Project GIT

Gambar 12 - Project ERD

26
 Gambar 13 - Project SQL

Gambar 14 - Mid Test Python

27
 Gambar 15 - Mid Test SQL

Gambar 16 - Project Data Modelling

28
Gambar 17 - Project ETL with Docker

Gambar 18 - Project ETL with Docker

29
Gambar 19 - Project API Web Scraping

Gambar 20 - Project Web Scraping

30
 Gambar 21 - Final Project ETL

Gambar 22 - Final Project Data Modeling

31
 Gambar 23 - Final Project Data Visualization

D. Lampiran Graduation

Gambar 24 - Pemberian Sertifikat

32
Gambar 25 - Dokumentasi Graduation

33