Review Papper Deep Learning

Deep learning-based effective fine-grained weather forecasting model

Oleh:
Christopher Ade Wiyanto (71210801)

Universitas Kristen Duta Wacana, Yogyakarta

 Informasi Papper

Judul : Deep learning-based effective fine-grained weather forecasting model

Penulis : Pradeep Hewage, Marchello Trovati, Ella Pereira, dan Ardhendu Behera
Tahun : 2020 dipublikasikan, 2021 dipublikasikan secara Global
Jurnal : Pattern Analysis and Applications
Link : https://link.springer.com/article/10.1007/s10044-020-00898-1
https://core.ac.uk/download/pdf/227104047.pdf
 Review Papper
Pendahuluan
Cuaca adalah keadaan yang atmosfer di suatu lokasi pada waktu tertentu yang
mencakup berbagai elemen seperti suhu udara, kelembapan, kecepatan angin, tekanan udara,
arah mata angin serta kondisi cuaca. Cuaca selalu berubah karena rotasi dan revolusi planet
Bumi. Orang hidup di iklim 4 musim, pada jaman dahulu selalu memiliki masalah dengan
musim dingin. Saat itu teknologi manusia tidak secanggih sekarang. Tidak ada tempat untuk
menyimpan makanan dalam waktu lama. Kondisi yang dingin membuat manusia
membutuhkan banyak kayu bakar untuk perapian rumah masing-masing. Manusia jaman
dahulu selalu memikirkan ide untuk memprediksi dan meghadapi musim dingin. Penemuan-
penemuan seperti kalender, rotasi bumi, dan hukum astronomi lainnya adalah produk dari
usaha manusia menghadapi musim dingin yang terkadang memakan korban jiwa karena
kelaparan. Sesudah penemuan untuk menghadapi musim dingin, perkembangan teknologi
melonjak drastis hingga penemuan transistor yang menjadi cikal bakal revolusi besar di bidang
teknologi pada abad 20 hingga sekarang.
Pada abad 21 sekarang ini permasalahan manusia adalah cuaca perhari/cuaca secara
singkat, bukan lagi cuaca perbulan. Disnilah teknologi manusia pada abad ini mampu
melakukannya, menggunakan deep learning untuk memprediksi cuaca berdasarkan pattern
lama dan memprediksi cuaca terbaru. Namun sayangnya prediksi matematika menggunakan
model numerical weather prediction (NWP) memerlukan sumber daya memori komputer yang
besar untuk memecahkan persamaan matematika yang kompleks. Komputer dengan daya
tersebut jarang dimiliki oleh suatu lembaga, hanya lembaga tertentu saja yang mampu membeli
dan merawat komputer tersebut. Hal ini membuat tidak semua daerah dapat diprediksi
cuacanya secara akurat, karena lembaga-lembaga tersebut hanya akan mempriotaskan
permintaan konsumennya dan memprediksi titik-titik tertentu saja. Papper ini hadir dengan
mengusulkan model long short-term memory (LSTM) and temporal convolutional networks
(TCN). Penggunaan model ini adalah untuk mengurangi sumber daya yang diperlukan untuk
memprediksi cuaca dan membandingkan performa model tersebut dengan algoritma yang
sudah ada baik dari classical machine learning ataupun dari statistical forecasting approaches.
Model LSTM dan TCN ini akan memprediksi yang sedikit dan efisien namun menghasilkan
pediksi yang akurat untuk periode waktu yang singkat.
Penjelasan singkat tentang penelitian yang direview
Numerical Weather Prediction menggunakan algoritma komputer untuk memberikan
prediksi cuaca berdasarkan sistem persamaan matematika nonlinear yang didasarkan pada
model matematika tertentu. Model ini akan mendefinisikan koordinat bumi dalam 3 dimensi.
Model ini memerlukan banyak parameter yaitu angin, radiasi matahari, fase air, hidrologi dan
lain-lain. Parameter tersebut diukur secara akurat untuk memberikan prediksi kondisi bumi di
masa depan. Konsep NWP ini ditemukan oleh Lewis Fry Richardson pada tahun 1922 dan
penggunaan praktis dikembangkan pada saat 1955 sesudah penemuan komputer yang dapat
dikoding. Banyak model NWP yang dikembangkan, yang paling terkenal adalah Weather
Research Forecasting atau WRF. Model ini memiliki open source, resolusi dan akurasi tinggi.
Namun sayang sekali penggunaannya memiliki kekurangan yaitu daya komputasi yang tinggi.
 Kelemahan dari WRF inilah yang membuat penulis merekomendasikan algoritma lain
yang dapat digunakan untuk penggunaan prediksi cuaca. Algoritma tersebut adalah Artificial
Neural Network yang diperkenalkan pada tahun 1991 menggunakan algoritma back-
propagation. Model ini diusulkan karena kemampuan adaptifnya dan kemampuan belajar
berdasarkan training sebelumnya. Bagian dari ANN yang akan diutamakan pembahasannya
adalah RNN dan TCN. Salah satu bagian dari RNN ini adalah LSTM. Penulis juga akan
menguji performa dari algoritma ini dengan membandingkannya dengan hasil dari algoritma
WRF untuk menguji akurasi dari algoritma ini.
Teknologi yang digunakan
Teknologi yang digunakan dalam riset ini adalah teknologi Deep Learning dan IoT. Hal
ini karena penulis memerlukan data primer yang diambil di daerah tertentu. Penggunaan IoT
menjadi sangat penting karena IoT akan memasang sensor-sensor yang diperlukan untuk
pengambilan data. Penulis menggunakan teknologi IoT secara tidak langsung dikareanakan
terkendala biaya. Penulis menggunakan data stasiun cuaca lokal, sehingga menjaga presisi data
sensor yang tinggi. Teknologi yang dipakai adalah termometer untuk parameter TSK
(Temperature at the Surface), Barometer untuk PSFC (Pressure at the Surface), Anemometer
untuk U10 (Wind Speed at 10 Meters Above Ground) dan VIO (Y component of wind speed),
Sensor kelembaban udara untuk Q2 (Specific Humidity at 2 Meters Above Ground), sensor
hujan untuk Rainc (Rainfall) dan Snow (Snowfall), Sensor kelembaban tanah untuk SMOIS
(Soil Moisture) dan sensor suhu tanah TSLB (Soil temperature).
Teknologi yang utama adalah pengunaan Deep Learning untuk memprediksi cuaca
yaitu model ANN. ANN adalah model matematis computer yang terinsipirasi oleh jaringan
saraf biologis. Teknologi ini mereplika jaringan saraf manusia neuron namun untuk komputer
jaringan ini berisi fungsi matematis sehingga input data akan di proses di ANN lalu akan
menghasilkan bobot yang akan diproses oleh jaringan lainnya. model yang digunakan adalah
khususnya LSTM dan TCN. LSTM adalah model jaringan saraf yang menggunakan memori
jangka panjang untuk memprediksi data temporal. TCN adalah model jaringan saraf yang
menggunakan konvolusi temporal untuk memprediksi data temporal.
Dataset yang digunakan
Dataset yang digunakan adalah kumpulan data dari stasiun cuaca lokal yang diambil
oleh penulis untuk membuat model deep learning. Data tersebut memiliki dikumpulkan pada
periode 1 Januari 2018-31 Mei 2018. Dataset ini memiliki parameter sebagai berikut:
• TSK yang berisi data suhu permukaan satuannya adalah kelvin
• PSFC yang berisi data tekanan udara bersatuan Pascal
• U10 adalah kecepatan angin dalam komponen gerak X satuan m/s
• V10 adalah kecepatan angin dalam komponen gerak Y satuan m/s
• Q2 adalah kelembapan udara 2 meter di atas tanah dengan satuan Kg/Kg
• Rainc yaitu hujan yang terjadi karena konveksi dari atmosfer satuan mm
• Rainnc yaitu hujan karena penyebab lain selain konveksi satuan mm
• Snow adalah jumlah salju yang setara dengan air satuannya adalah Kg/m2
• TSLB adalah temperatur/ suhu tanah dengan satuan Kelvin
• SMOIS adalah kelembapan tanah dengan satuan m3/m3
 Arsitektur Deep Learning yang digunakan
Arsitektur yang digunakan untuk deep learning ini adalah TCN dan LSTM. LSTM
adalah jenis dari jaringan RNN yang dapat mempelajari depedensi jangka panjang dalam data
sekuensial. RNN sendiri adalah jaringan saraf tiruan yang pemerosesannya di panggil secara
berulang-ulang untuk memproses masukan yang biasa adalah data sekuensial. LSTM memiliki
beberapa keunggulan daripada jaringan RNN biasa yaitu dapat mempelajari depedensi jangka
panjnag, menghindari masalah vanishing gradient atau exploding graidient, dan memproses
data secara sekuensial. LSTM terdiri dari beberapa koomponen sebagai berikut:
• Input gate yang mengontrol seberapa banyak informasi baru yang akan
dimasukkan ke dalam sel memori LSTM.
• Forget gate yang mengontrol seberapa banyak informasi yang akan dilupakan
dari sel memori LSTM.
• Output gate yang mengontrol seberapa banyak informasi yang akan
dikeluarkan dari sel memori LSTM.
• Cell state yang menyimpan informasi tentang data sekuensial yang telah
diproses oleh LSTM.
LSTM sendiri memiliki memiliki cara kerja sebagai berikut:
• Input gate membaca input baru dan memutuskan seberapa banyak informasi baru yang
akan dimasukkan ke dalam cell state.
• Forget gate membaca cell state dan memutuskan seberapa banyak informasi yang akan
dilupakan.
• Output gate membaca cell state dan memutuskan seberapa banyak informasi yang akan
dikeluarkan.
• LSTM memperbarui cell state dengan menggunakan informasi baru dan informasi yang
telah dilupakan.
• LSTM mengeluarkan informasi dari cell state.
LSTM yang dipakai dalam riset ini memiliki beberapa formula yaitu
 𝑍(𝑖) = Σ ⃗⃗⃗⃗⃗
𝑊𝑥𝑖 ∙ ⃗⃗⃗𝑋𝑡 + Σ ⃗⃗⃗⃗⃗
𝑊ℎ𝑖 ⃗⃗⃗⃗ 𝑡 − 1) + 𝑏𝑖
∙ 𝑋(
𝑖𝑡 = tanh(𝑍(𝑖))
𝑗𝑡 = 𝑠𝑖𝑔𝑚(𝑍(𝑗))
𝑓𝑡 = 𝑠𝑖𝑔𝑚(Z(f))
𝑂𝑡 = tanh (𝑍(𝑜))
𝑐t = 𝑐(t − 1) ⊙ 𝑓t + 𝑖t ⊙ 𝑗𝑡
ht = tanh(𝑐t ) ⊙ O𝑡
Notes:
𝑤∗ -weight matrices, 𝑏∗ - biases, ⊙- element-wise vector product, 𝑖𝑡 - input gate and 𝑗𝑡 - input
moderation gate contributing to memory, 𝑓𝑡 - forget gate, and 𝑜𝑡 -output gate as a multiplier between
memory gate

TCN adalah JST yang digunakan dalam pemrosesan data berurutan. Karakteristik
utama dari TCN adalah bahwa jaringan ini dapat menerima rangkaian input dengan panjang
apa pun dan memetakkannya ke rangkaian output dengan panjang yang sama, mirip dengan
kategori RNN. Jaringan-jaringan ini melibatkan konvolusi kausal dan awalnya dikembangkan
untuk mengamati pola jarak jauh menggunakan hierarki filter konvolusi temporal. TCN yang
dipakai dalam penelitian ini memiliki formula:

Figure 1 LSTM Model Figure 2 TCN model

 Hasil yang diperoleh
Hasil yang diperoleh pada penelitian ini akan dibandingkan dengan beberapa kondisi,
yang pertama membandingkan dengan kondisi data actual, kedua membandingkan hasil
dengan MSE, yang ketiga adalah perbandingan penggunaan MISO dan MIMO.

Kondisi data aktual yang didapatkan oleh weather station memiliki garis yang bewarna
biru. WRF dan LSTM menggunakan garis bewarna hijau dan orange. Algoritma LSTM mampu
memprediksi mendekati data aktual di beberapa bidang tertentu seperti di TSK, RainNC, dan
RainC. Algoritma ini bukanlah algoritma yang terbaik dikarenakan model ini tidak dapat
memprediksi dalam bidang Snow, dan SMOIS yang mana model ini mengalami underfitting.
Sementarra itu WRF memiliki akurasi yang sangat baik untuk memprediksi parameter agar
mendekati kenyataan data yang real kecuali di parameter Rainc dan RainNC. Namun secara
keseluruhan model yang diusulkan memiliki tingkat akuasi yang bagus untuk memprediksi
data sesuai dengan kenyataan data di lapangan.
 Kondisi yang kedua adalah kondisi perbandingan MSE. Ini adalah metrik yang
digunakan untuk mengukur sejauh mana hasil prediksi model statistik atau machine learning
mendekati nilai sebenarnya dalam konteks regresi statistik. Semakin sedikit MSE semakin
akurat model tersebut mendekati kenyataan. Besar nilai MSE yang tinggi akan mengatakan
model tersebut kurang akurat. Dari keseluruhan MSE dari LSTM memiliki ukuran yang lebih
kecil daripada WRF. Ini membuat model tersebut sangat bagus daripada WRF kecuali di bidang
snow dan smois. Di dalam tabel kita dapat melihat rata-rata dari MSE deep learning dan
WRF.rata-rata WRF adalah 22.793,84 dan rata-rata LSTM adalah 12.389,753 ini membuat
performa dari Deep Learning lebih baik dalam memprediksi data agar mendekati kenyataan
dibandingkan dengan algoritma WRF.
 Sekarang adalah perbandingan menggunakan MIMO dan MISO. Mimo adalah adalah
deep learning yang hasil outputnya lebih dari satu prediksi. MISO adalah deep learning yang
hasil outputnya satu saja secara keseluruhan MIMO memiliki akurasi yang buruk dibandingkan
dengan MISO hal ini dapat dilihat dari MSE MISO yang lebih kecil daripada MIMO di semua
bidang parameter prediksi.
Untuk algoritma TCN di papper ini belum di publikasikan. Papper ini hanya
menekankan tentamg LSTM. Kemungkinan hasil dari algoritma ini ada di papper yang utama
disimpan dalam lembaga penelitian tertentu dan hanya mempublikasikan bagian LSTM saja.
Untuk bagian TCN hanya dijelaskan melalui gambar singkat tentang perbandingan semua
algoritma NWP dan Deep Learning. Dilihat dari gambar tersebut TCN memiliki akurasi yang
baik. Akan tetapi penilaian algoritma tidak berdasarkan MSE saja. Sehingga kita belum dapat
membandingkan hasil dari TCN ini dengan kondisi aktual.
 Analisis, kelebihan dan kekurangan penelitian
Analisis:
Analisis hasil sudah terdapat di hasil penelitian yang diperoleh di bagian ini saya akan
merangkum garis besarnya saja.
Penelitian ini memberikan kontribusi yang signifikan untuk bidang prediksi cuaca.
Model LSTM dan TCN yang diusulkan lebih efisien daripada model WRF yang sudah ada dan
dapat diterapkan untuk aplikasi prediksi cuaca skala kecil. Model deep learning ini juga
terbukti memiliki akurasi yang jauh lebih baik daripada model WRF. Model tersebut juga
memiliki keuntungan penggunaan memori yang kecil. Keuntungan ini membuat papper riset
ini sangat menguntungkan bagi lembaga cuaca yang memiliki budget minimum untuk memiliki
komputer yang daya komputasinya terbatas untuk memberikan kualitas terbaik untuk
konsumennya tanpa harus membutuhkan budget tambahan untuk membeli computer yang
memiliki daya komputasi yang lebih tinggi.
Kelebihan:
• Hasil akurasi model deep learning ini lebih baik daripada akurasi dari model WRF
• Model ini tidak memerlukan daya komputasi yang besar
• Model LSTM yang diusulkan lebih efisien daripada model NWP yang sudah ada.
• Model yang diusulkan dapat diterapkan untuk aplikasi prediksi cuaca skala kecil.
Kekurangan:
• Model ini tidak dapat melakukan Long Forecasting sehingga model ini hanya dapat
memprediksi dalam waktu kecil
• Ketika model ini dipaksa melakukan forecasting, model ini akan memiliki MSE yang
sangat besar dibandingkan model WRF
• Penelitian ini belum membandingkan kinerja deep learning dengan model deep learning
lainnya hanya membandingkannya dengan model machine learning NWP
Penutup
Secara keseluruhan, penelitian ini merupakan penelitian yang berkualitas dan
memberikan kontribusi yang signifikan untuk bidang prediksi cuaca. Model LSTM dan TCN
yang diusulkan memiliki potensi untuk diterapkan pada berbagai aplikasi prediksi cuaca skala
kecil. Namun, penulis ingin memberikan rekomendasi yang dapat diterapkan untuk
pengembangan lebih lanjut:
• Eksperimen untuk Long Forecasting dalam penelitian ini akan memperpanjang
waktu pengambilan data dan membuat aplikasi prediksi cuaca yang berskala
besar
• Membandingkan dengan model deep learning lainnya untuk melihat performa
model LSTM dengan model lainnya seperti CNN untuk memperluas wawasan
tentang model mana yang lebih efektif dalam prediksi cuaca