- Analisis

stability nya mengukur apa, gak bisa dibilang hanya dari 1 proses
stability itu dari sistemnya secara keseluruhan (data lake system), bukan hanya
storage tetapi elt

mungkin bisa mendaftarkan di aspek yang lain, seprtirecovery time diluar stability.
Frekuensi crash yang dimaksud seperti apa (dibuat di bab 2) ->

Siapa tester dan kapan dilakukan.

ELT -> STORAGE -> DASHBOARD

sub sistem jelas dulu

default_args

Using API (hapus retrieval)

Desain Extract dan Load

timestep (1 , 2 , 3 , 4 , 5) beda sama timestamp (sampai milisecond)

komponen sub sistem itu apa saja

storage : apa aja disana

Jpeg dan mp4

komponen bisa dalam bentuk program

ruang linkup penelitian, data gambar dan video tanaman dari sensor, atau ganti
kamera? Kamera

Analisis Extract Load and Transform

Gimana jelasin ELT nya? Karena hanya extract dan load tanpa transform, gada
transormasi sama sekali kan?

Analisis ELT, sumber data sensor

Set data lingkungan di akses pake ssh, sedangkan ini bahasannya hanya mengambil
data yaitu harusnya data yang disimpan dan harus diakses dari API. Trus atribut nya
juga harusnya cuman 2, sesuai dengan yang diberikan di dalam API yaitu time dan
value

Analisis Metode Evaluasi

- evaluasi pada data lake (hanya HDFS nya doang)? Mungkin mau di ganti
penyebutannya ke teknologi-teknologi yang digunakan soalnya lebih ke airflow yg
diliat evaluasi nya. Data Lake sistem
- frekuensi crash udah, waktu pemulihan sistem itu retries nya kali ya? baru jumlah
kesalahan sistem apaan? (Bikin dashboard frekuensi crash nya itu bikin another
condition, bukan hanya != success)
trus cek state lain apakah artiannya sama-sama crash, klo hasilnya sama dengan
state failed artinya jumlah kesalahan sistem itu sama dengan frekuensi crash

Teknologi storage cari apple to apple, cari yg lokal lagi

workflow management system

inget bikin perbandingan visualisasi nya juga, metabase mau di bandingkan dengan
apa? looker studio, tableau
test case scenario masih kurang, gada tester nya
Nama fungsi, nama butir uji, tujuan, kondisi, tanggal pengujian, penguji

Test case scenario itu langsung bahas DAG aja, gak dipecah

Desain umum sistem

- itu DAG nya ubah, karena web scraper hanya 1, trus dashboard metabase emang di
paling kanan di samping hdfs? Karena visualisasi yang ditampilkan itu berisikan
informasi apache airflow, bukan HDFS
- gambar flowchart nya agak aneh, perhatiin besok.
- Terlalu generic, kasih detil workflow manager, log, dan lain-lain. Kasih nama
teknologi, buat membedakan kayak proses atau komponen dan modul.
- Jelasin sub-sistem, kasih tau bahwa ada masing-masing ETL nya, Bagian penyimpanan
itu namain storage, kasih nama HDFS.
- Sumber data kamera (jpg dan mp4)
- Arsitektur nya jelasin ada namin ntah dia bagian sumber data di kotakin baru
dikasih nama begitu, cari tau komponen di dalam apache airflow.
- Ingestion using InfluxDB API

Desain ELT untuk setiap sumber data

besok perhatiin desainnya sama captionnya.

Desain Evaluasi masih ada bahas performance

Bab 5 implementasi juga masih bahas hortonworks

Bab 6 Hasil dan Pembahasan

inget itu ngejelasin hasil yang udah diselesaikan dan bahas analisis apa aja
insight yang bisa diambil dari hasil nya, mungkin contoh nya
Hasil dan pembahasan Implementasi Sumber Data Website PIHPS dan BMKG, kasih tau
bahwa data berhasil di scraping, sekaligus dipindah ke dalam HDFS secara otomatis
dan terjadwal, kasih tau rincian kapan DAG dijalankan kek gitu sudah berjalan
berapa lama

Hasil itu ngasih tau hasil test case nya, trus ada visualisasi stability, bikin 1
chart yg berisi 4 line chart per DAG, kasih tau yg eksperimen juga

Jadi ada insight, yg 1 buat log untuk dashboard, dan 1 lagi untuk melihat stability

pembahasannya, mungkin jelasin mengapa dilakukan tengah malam, dll pikirin sendiri
aja besok atau tanya chat biar makin dalam insight nya >> itu dijelasin di
analisis.

Test Case Scenario

Test Scenario ingestion itu bahasannya diluar Airflow untuk web scraping nya
sendiri atau udah di dalam Airflow? Karena klo udah di dalam airflow langsung
jelasin udah ada otomatis penjadwalannya dll, trus langsung dibarengin juga proses
scraping nya BMKG dan PIHPS

Test Scenario Sumber Gambar dan Video

ini bahas ingestion buat ekstrak ngambil data dari rasperry pi, atau full bahas
alur kerja DAG nya yang menjalankan perintah untuk mengambil gambar dan merekam
video kemudian data di transfer pakai SCP?

test case scenario itu memang dipecah jadi ingestion sama load ya?
Karena ka