PENGANTAR KEERDASAN BUATAN

JOBSHEET 4
PERFORMANCE MEASURES

Nama : Ardhi Yahya

NIM : 3.34.20.0.05
Kelas : IK-3A

PRODI D3 TEKNIK INFORMATIKA

JURUSAN TEKNIK ELEKTRO
POLITEKNIK NEGERI SEMARANG
2022/2023
A. Dasar Teori
1. Cross-Validation
Cross validation digunakan untuk memastikan bahwa model yang dikembangkan
dapat menghasilkan hasil yang konsisten pada data yang berbeda. Ini dilakukan
dengan membagi data menjadi beberapa subset dan menguji model pada setiap subset,
kemudian menggabungkan hasilnya untuk memperoleh kinerja model secara
keseluruhan.

2. Confusion Matrix
Confusion matrix adalah tabel yang digunakan untuk menghitung dan menunjukkan
hasil klasifikasi dari model. Ini memungkinkan pengguna untuk melihat seberapa baik
model dapat membedakan antara kelas positif dan negatif.

3. Precision and Recall

Precision dan recall adalah metrik evaluasi yang digunakan untuk mengukur kinerja
model dalam mengklasifikasikan data. Precision adalah rasio antara jumlah benar
positif dan jumlah prediksi positif, sedangkan recall adalah rasio antara jumlah benar
positif dan jumlah positif yang sebenarnya.

4. Precision/Recall Trade-off
Trade-off precision dan recall merupakan pengaturan threshold untuk memperoleh
kinerja model yang diinginkan berdasarkan kebutuhan bisnis atau domain masalah.
Semakin tinggi threshold, semakin tinggi precision tetapi semakin rendah recall, dan
sebaliknya.

5. ROC Curve.
ROC curve adalah grafik yang digunakan untuk memvisualisasikan kinerja model
dengan memplotting nilai true positive rate (TPR) terhadap nilai false positive rate
(FPR) pada berbagai threshold. ROC curve memberikan informasi yang berguna
tentang kemampuan model dalam membedakan antara kelas positif dan negatif.
B. Praktikum
1. Evaluasi model kita, menggunakan K-fold cross-validation dengan three folds

2. Klasifikasi gambar bukan 5

3. Menggunakan cross_val_predict() dan confusion_matrix()

4. Contoh Perfect Classifier

5. Menggunakan Precision and Recall

6. Menggunakan f1_score (kombinasi antara precision dan recall)

7. Menggunakan decision function

8. Memilih threshold yang akan digunakan

9. Mendapatkan 90% precision

10. Menggunakan roc_curve()

11. Menggunakan roc_auc_score()

12. Train RandomForestClassifier

 13. roc_auc_score() dengan RandomForestClassifier

C. Kesimpulan
metode-metode diatas sangat penting untuk mengevaluasi kinerja model dan membantu
pengguna untuk memperoleh pemahaman yang lebih baik tentang seberapa baik model
dapat melakukan tugas tertentu. Dalam pengembangan sistem kecerdasan buatan,
penggunaan metode-metode diatas harus diterapkan dengan hati-hati untuk memastikan
bahwa model yang dikembangkan dapat memberikan hasil yang akurat dan konsisten
pada data yang berbeda.