Kapan Menggunakan MAE dan MSE ?

Ditulis pada September 22, 2015

Mean Absolute Error (MAE) dan Mean Squared Error (MSE) adalah dua diantara banyak
metode untuk mengukur tingkat keakuratan suatu model peramalan. Nilai MAE
merepresentasikan rata – rata kesalahan (error) absolut antara hasil peramalan dengan nilai
sebenarnya [1]. Sedangkan nilai MSE dapat dianalogikan sebagai varian ditambah dengan
kuadrat bias dari suatu model [2].

Tulisan ini mencoba membahas karakteristik masing – masing metode. Dengan memahami
kelebihan dan kekurangan masing – masing metode akan membantu kita dalam menentukan
kapan harus menggunakan metode tersebut.

MAE

Secara matematis MAE didefinisikan sebagai berikut,

(1)

dimana adalah nilai hasil peramalan, adalah nilai sebenarnya, dan adalah jumlah data.

Berdasarkan formula 1 di atas, MAE secara intuitif menghitung rata – rata error dengan
memberikan bobot yang sama untuk seluruh data ( ).

MSE

Sedangkan MSE didefinisikan sebagai berikut,

(2)
(3)

Berdasarkan formula 2 di atas, MSE memberikan bobot yang lebih besar jika dibandingkan
dengan MAE, yakni nilai kuadratik dari error. Sebagai konsekuensinya, nilai error yang kecil
akan semakin kecil dan nilai error yang besar akan semakin besar.

Selain itu, MSE juga bisa dianalogikan sebagai varian ditambah kuadrat bias model (formula 3).
Dimana adalah model yang dievaluasi dan adalah model sebenarnya. Jika tidak ada bias antara
model yang dibangun dengan model sebenarnya (unbiased model), maka MSE sepadan dengan
varian dari model. Semakin kecil varian suatu model, semakin robust model tersebut dalam
melakukan peramalan.

Kesimpulan
Untuk evaluasi model peramalan, MAE lebih intuitif dalam memberikan rata – rata error dari
keseluruhan data. Sedangkan MSE sangat sensitif terhadap outlier. Karena dihitung nilai
kuadratnya, error outlier akan diberikan bobot yang sangat besar dan membuat nilai MSE
semakin besar pula. Dalam kasus ini pemilihan MAE menjadi tepat karena memberikan bobot
yang sama untuk seluruh data.

MSE sangat baik dalam memberikan gambaran terhadap seberapa konsisten model yang
dibangun. Dengan meminimalkan nilai MSE, berarti meminimalkan varian model. Model yang
memiliki varian kecil mampu memberikan hasil yang relatif lebih konsisten untuk seluruh data
input dibandingkan dengan model dengan varian besar (MSE besar).

Dalam kasus klasifikasi biner, dimana hanya terdapat dua kelas dengan label kelas 0 dan 1, tidak
ada perbedaan baik menggunakan MAE maupun MSE. Hal ini karena nilai error hanya
mempunyai dua kemungkinan, 0 jika prediksi benar dan 1 jika prediksi kelas berbeda dengan
kelas sebenarnya. Hasil kuadrat ataupun absolut dari error tersebut akan sama sehingga nilai
MAE dan MSE pun akan identik.

Alternatif yang lain adalah dengan menarik akar kuadrat MSE, atau yang biasa disebut dengan
Root Mean Squared Error (RMSE). RMSE menjadi alternatif yang lebih intuitif dibandingkan
MSE karena memiliki skala pengukuran yang sama dengan data yang sedang dievaluasi. Sebagai
contoh, dua kali nilai RMSE artinya model memiliki error dua kali lebih besar dari sebelumnya.
Sedangkan dua kali nilai MSE tidak berarti demikian. Jika MSE dapat dianalogikan sebagai
varian, maka RMSE dapat dianalogikan sebagai standar deviasi.