Machine learning

07
Modul ke:

Materi Minggu 7: Metode Validasi

Buku Acuan: A. C. Muller dan S. Guido, Introduction to Machine Learning with Python.
California: O’ Reilly Media Inc, 2016.
Fakultas
FASILKOM I Putu Edy Suardiyana Putra, Ph.D.

Program Studi
Teknik
Informatika
Validasi
• Tujuan utama dari teknik supervised learning adalah untuk
membuat sebuah model yang mampu mengklasifikasikan
suatu objek dengan akurat.
• Untuk itu perlu sebuah teknik validasi untuk melihat apakah
performa dari suatu teknik supervised learning ini sudah layak
untuk digunakan atau tidak.
• Selain itu, teknik validasi juga bermanfaat untuk
membandingkan antar teknik supervised learning yang satu
dengan yang lainnya.
Confusion matrix

• Confusion matrix (error matrix) adalah sebuah

tabel yang digunakan untuk memperlihatkan
performance dari sebuah classifier yang
umumnya dibangun menggunakan teknik
supervised learning.
• Confusion matriks terdiri dari 4 kolom: True
Positive (TP), False Positive (FP), True Negative
(TN), dan False Negative (FN).
Confusion Matrix
Confusion Matrix

• Untuk mempermudah dalam memahami,

maka akan kita gunakan sebuah contoh kasus.
Anda ditugaskan untuk membuat sebuah
sistem yang bisa mengklasifikasikan pasien ke
dalam 2 kelas:
– Positif kanker
– Negatif kanker
Confusion Matrix

• Maka dari kasus ini yang dimaksud dengan:

– True positive (TP): pasien yang benar-benar
menderita kanker terdeteksi positif kanker oleh
sistem
– False positive (FP): pasien yang tidak menderita
kanker namun terdeteksi positif kanker oleh sistem
– True negative (TN): pasien yang tidak menderita
kanker terdeteksi negatif kanker oleh sistem
– False negative (FN): pasien yang menderita
kankern terdeteksi negatif kanker oleh sistem
Confusion Matrix

• Dari nilai TP, FP, TN, dan FN dapat diturunkan

lagi beberapa formula pengukuran performa,
yakni:
– Akurasi (accuracy)
– Precision
– Recall
– F1 Score
Confusion Matrix

• Akurasi
  dihitung dengan menggunakan
formula:

• Precision dihitung dengan menggunakan

formula:
Confusion matrix

•  Recall dihitung dengan formula:

• F1 Score dihitung dengan formula:

Contoh

• Diasumsikan terdapat 2 buah teknik

supervised learning A dan B. Untuk menguji
performa dari kedua teknik ini akan digunakan
100 dataset. Teknik A digunakan untuk me-
training sebuah model sehingga model ini
menghasilkan:
– TP = 25
– FP = 25
– TN = 25
– FN = 25
Contoh

• Lalu, Teknik B digunakan untuk me-training

sebuah model sehingga model ini
menghasilkan:
– TP = 30
– FP = 20
– TN = 30
– FN = 20
• Manakah yang lebih baik antara Teknik A atau
B?
Contoh
• Jika dicari akurasi, precision, recall, dan F1
score nya maka akan didapat
Teknik Akurasi Precision Recall F1 Score
A 0.5 0.5 0.5 0.5
B 0.6 0.6 0.6 06.

• Dari hasil di atas maka dapat dilihat bahwa

teknik B lebih tinggi akurasi, precision, recall,
dan F-score nya.
• Semakin tinggi nilai akurasi, precision, recall
dan F1 menandakan semakin akurat model
yang didapat.
 Terima Kasih
I Putu Edy Suardiyana Putra, Ph.D.