Learning Progress Review Lembur Belajar Team

Week 1

Intro to Data Engineer – Big Data

Python Programming 1
What we learn..

01
Apa itu Data Engineer

03
Big Data
Pengenalan terkait Data Journey – Big Data dan akan membahas Pengertian, kriteria, masalah dan tools yang dipakai dalam Big Data.
tentang Data Engineer dan Perbedaan dengan Data Analyst
dan Data Science.

04
Python Fundamental

02
Peran Data Engineer Bagaimana peran Data Engineer dalam lingkungan kerja,
Bagaimana peran Data Engineer dalam lingkungan kerja dan
tugas day to day Data Engineer
Apa itu Data Engineer ?
Sebelum membahas apa itu Data Engineer, kita harus memahami dulu Data Journey – Big Picture untuk tau dimana peran dan tanggung jawab
seorang Data Engineer.
Data Journey – Phase I Data Journey – Phase II Data Journey – Phase III

Website
Report

Transaction Analytical
Database Database ML Model
Apps Data Mart

Web/Apps
DevOps / Software Engineer → Data Data Analyst Data Scientist
Developer Engineer

Fungsi Data Engineer:

Phase II : Membangun infrastruktur data untuk analisis
Phase III : Melakukan deployment dan pemantauan terhadap model prediksi
Apa itu Data Engineer 2 ?
Data Engineer merupakan bagian dari Ecosystem flow data, ini hampir mirip dengan cara kerja Software Engineer, tetapi Data
engineer lebih berfokus kepada “Architecture Data” yaitu memastikan data dapat digunakan oleh Stackholder atau dengan kata
lain, Data Engineer adalah Software Engineer dengan spesialisi dalam menyediakan arsitektur data untuk analisis dan
Operasional.
Software Engineer Data Engineer Data Analyst / Data Science

Data Mart Data Adhoc

DB Master

Apps / Web

Data Warehouse Dashboard

Peran Data Engineer ?
Sebagai seorang Data Engineer menurut Data science Hirearchy yaitu bertanggung jawab memastikan Data dapat
digunakan dan Reliable. Tetapi ini akan menyesuaikan dengan kebutuhan perusahaan tersebut.
Peran Data Engineer ?
Tasks
Data Extraction & Processing
Data Warehousing
Business Intelligence
Data Automation
Cloud Engineering
Function
• Seorang Data Engineer bertugas untuk melakukan data extraction dan data processing dari
berbagai sumber. Komponen untuk melakukan pemrosesan terhadap data disebut sebagai
Pipeline.
• ETL (Extract, Transform, Load) adalah framework (atau kerangka kerja) pipeline untuk
mengumpulkan dan memproses data.
• Data Processing Types
• Batch Processing
• Real-Time Streaming Processing
Seorang Data Engineer bertugas untuk merancang arsitektur penyimpanan data.
Seorang Data Engineer bertugas untuk merubah data menjadi actionable insight, biasanya berupa
report atau dashboard.
Seorang Data Engineer bertugas untuk mengotomasi pekerjaan untuk pemrosesan data dan
penarikan insight dari data.
Seorang Data Engineer bertugas memigrasi arsitektur data dari on-premise ke cloud (jika diperlukan).
Big Data
Big Data adalah data yang sangat besar dan beragam sehingga perlu cara khusus dalam menyimpan atau
memrosesnya.

Kriteria Big Data

Problem with Big Data

1. Memori dan Waktu Pemrosesan

2. Pemrosesan Tidak Bisa Memproses seluruh Data

Big Data Tools
Database Storage ETL tools dan Scheduler

Visualization
Python Fundamental
Python merupakan Bahasa pemograman yang bisa digunakan untuk pengolahan data
yang sangat besar. Untuk memproses data menggunakan python ada beberapa tipe data
yang harus perlu diketahui, yaitu :

Tasks Function
Float • Float merupakan tipe data untuk objek numerik berupa bilangan
decimal.
Integer (int) • Integer merupakan tipe data untuk objek numerik.
String (str) • String adalah sekumpulan karakter atau huruf.

Boolean (bool) • Tipe data Boolean hanya memiliki dua nilai yaitu True dan False.
Learning Progress Review
Week 1

Intro to Data Engineer – Big Data

Python Programming 1