MODUL 14

VERIFIKASI MODEL PREDIKSI IKLIM

Tujuan Praktikum
Praktikum ini bertujuan mengevaluasi model prediksi Subseasonal to Seasonal (S2S) dari
luaran lima model pada parameter curah hujan harian, yaitu Bureau of Meteorology (BoM), China
Meteorological Administration (CMA), Japan Meteorological Agency (JMA), Korea
Meteorological Administration (KMA), dan National Centres for Environmental Prediction
(NCEP) terhadap observasi Badan Meteorologi Klimatologi dan Geofisika (BMKG) Juanda
dengan kelima model pada tahun 2018.

Alat dan Bahan

1. Microsoft Excel
2. Data curah hujan luaran model prediksi S2S selama 1 tahun
3. Data curah hujan observasi BMKG
Prosedur Praktikum
Penyusunan Tabel Kontingensi 2 x 2
Tabel kontingensi 2 x 2 merupakan salah satu teknik dalam verifikasi model prediksi non-
probabilistik. Non-probabilistik mengindikasikan bahwa model prediksi memiliki pernyataan
yang tidak memenuhi syarat bahwa satu hasil akan terjadi. Teknik ini pertama kali digunakan oleh
Murphy (1996). Verifikasi dengan teknik ini paling mudah digunakan untuk dipahami. Bentuk
dari tabel kontingensi 2 x 2 untuk parameter curah hujan (Tabel 1). Beberapa atribut di dalam
evaluasi model prediksi, yaitu (Murphy 1996):
Tabel 1. Bentuk tabel kontingensi 2 x 2 untuk curah hujan
Observasi
Hujan Tidak hujan
Hujan a (hits) b (false alarms) a+b
Model

Tidak Hujan c (misses) d (correct negatives) c+d

a+c b+d n=a+b+c+d

Tabel 2. Bentuk tabel kontingensi 2 x 2 untuk suhu udara

Observasi
> threshold ≤ threshold
> threshold a (hits) b (false alarms) a+b
Model

≤ threshold c (misses) d (correct negatives) c+d

a+c b+d n=a+b+c+d
 1. Akurasi
Akurasi mengukur ketepatan antara prediksi dengan kejadian sebenarnya. Model prediksi
dikatakan akurat apabila nilai b dan c pada Tabel 1 bernilai 0. Persamaan berikut
merupakan salah satu perhitungan untuk mengukur tingkat akurasi suatu model oleh
Gilbert (1884), yang disebut sebagai Gilbert Score (𝑣) atau Threat Score (TS) atau Critical
Score Index (CSI). Model prediksi dapat dikatakan sempurna apabila akurasi 100%.
𝑎
𝑇𝑆 = 𝐶𝑆𝐼 = 𝑣 =
𝑎+𝑏+𝑐
Perhitungan akurasi model dengan hanya melihat data runtut waktu (time series) dapat
menggunakan Mean Absolute Error (MAE) dan Mean Square Error (MSE), dengan
persamaan sebagai berikut.
𝑛
1
𝑀𝐴𝐸 = ∑ 𝑚𝑜𝑑𝑒𝑙𝑘 − 𝑜𝑏𝑠𝑘
𝑛
𝑘=1
𝑛
1
𝑀𝑆𝐸 = ∑(𝑚𝑜𝑑𝑒𝑙𝑘 − 𝑜𝑏𝑠𝑘 )2
𝑛
𝑘=1

2. Keandalan dan keputusan model

False alarm ratio (FAR) adalah perbandingan antara model prediksi yang benar (yes
forecast) yang ternyata salah. Suatu model dikatakan sempurna apabila memiliki FAR=0.
Persamaan FAR adalah sebagai berikut.
𝑏
𝐹𝐴𝑅 =
𝑎+𝑏
3. Discrimination
Hit rate (H) adalah perbandingan antara prediksi yang benar terhadap jumlah kejadian,
dengan persamaan sebagai berikut.
𝑎
𝐻=
𝑎+𝑐
False alarm rate (F) adalah perbandingan antara jumlah model prediksi yang salah (false
alarm = b) dengan total jumlah kejadian yang tidak terjadi, dengan persamaan sebagai
berikut.
𝑏
𝐹=
𝑏+𝑑
F juga diketahui sebagai peluang deteksi kesalahan model.
Evaluasi Curah Hujan dari model S2S
1. Persiapkan data model S2S dan data observasi BMKG selama 1 tahun.
2. Buatlah matriks dengan kolom adalah curah hujan dan baris adalah waktu harian selama 1
tahun.
3. Buatlah kolom kategori hujan (≥1 mm  hujan (H); 0 mm  tidak hujan (TH)) pada
kolom model maupun observasi.
4. Buatlah tabel seperti pada Tabel 1.
 5. Sebelum menghitung jumlah dari setiap sel pada Tabel 1, buatlah kolom matriks baru dan
kemudian drag ke bawah. Rumusnya sebagai berikut.
Kolom Obs H Mod H = IF(AND(Obs = “HUJAN”, Mod = “HUJAN”),1,0)
Kolom Obs TH Mod H = IF(AND(Obs = “TIDAK HUJAN”, Mod = “HUJAN”),1,0)
Kolom Obs H Mod TH = IF(AND(Obs = “HUJAN”, Mod = “TIDAK HUJAN”),1,0)
Kolom Obs TH Mod TH = IF(AND(Obs = “TIDAK HUJAN”, Mod = “TIDAK
HUJAN”),1,0)
6. Hitung jumlah setiap kategori hujan dari model dan observasi
7. Hitung nilai TS, H, F, MSE, dan MAE pada setiap model
Tabel 3. Evaluasi kelima model S2S
Model S2S
Atribut
NCEP BoM KMA CMA JMA
Threat Score (TS)
Hit Rate (H)
False-alarm rate (F)
Mean Square Error (MSE)
Mean Absolute Error (MAE)

Diagram Relative Operating Characteristics (ROC)

1. Buatlah matriks kategori hujan antara observasi dengan model
2. Buatlah matriks seperti di bawah ini
Peluang Hujan Tidak Hujan
model Hit Rate False alarm rate Hit Rate False alarm rate
≥ 0%
≥ 20%
≥ 40%
≥ 60%
≥ 80%
≥ 100%
Rumus Excel:
- Untuk menghitung Hit Rate jika observasi berkategori hujan  COUNTIF(Range
observasi dan model “hujan”, “>= Peluang model”)/SUM(Range jumlah hari
dengan kategori hujan)
- Untuk menghitung False alarm Rate jika observasi berkategori hujan 
COUNTIF(Range observasi dan model “tidak hujan”, “>= Peluang
model”)/SUM(Range jumlah hari dengan kategori tidak hujan)
3. Plot setiap kategori hujan dengan x = False alarm rate dan y = Hit rate
Tugas dan Laporan
Latar Belakang:
 Perbedaan kalibrasi dan verifikasi model iklim
 Tujuan verifikasi model prediksi iklim
  Model Subseasonal to Seasonal (S2S)
Metodologi: (bisa dilihat buku Wilks 2006 Bab 7 yang berjudul Statistical Methods of
Atmospheric Science)
Hasil:
 Tabel 3 (setiap atribut)
 Grafik ROC
Pembahasan:
 Bahas tabel 3 dan grafik ROC
 Bandingkan dengan penelitian sebelumnya (jika ada)
 Potensi pemanfaatan model S2S pada parameter curah hujan dalam bidang pertanian