Pengolahan Citra Digital

-----------
Transfer Learning

Maryona Septiara, S.PD., M.Kom

Artificial intelligence
 Artificial intelligence – Machine Learning

• AI à sistem yang dapat melakukan tugas-tugas yang

membutuhkan kecerdasan manusia.
Ex: kendaraan otonom.
 Artificial intelligence
• ML à cabang dari AI yang
fokus pada pengembangan
algoritma dan model
komputer yang
memungkinkan sistem untuk
belajar dari data sehingga
dapat membuat prediksi atau
keputusan.

Ex: Klasifikasi email sebagai

spam, prediksi harga saham.
Artificial intelligence

1950 1980 2010

• Deep Learning à subbidang dari Machine Learning yang
menggunakan arsitektur jaringan saraf tiruan (neural
networks) dengan banyak lapisan (deep neural networks)
untuk memodelkan dan memahami data yang kompleks.
Ex: Pengenalan wajah, klasifikasi gambar.
Deep Learning -- Transfer Learning
Suatu agen / sistem cerdas yang menggunakan deep learning bekerja
menggunakan data. Diberikan data yang banyak untuk dipelajari,
Kemudian diproses training/ belajar, lalu kita akan mendapat model/
agen yang cerdas.

Lalu muncul pertanyaan…

Proses pencarian data itu rumit, proses training itu makan waktu,
kenapa kita tidak download saja model cerdas yang ada di internet lalu
kita gunakan untuk penyelesaian masalah? Tidak perlu train, dan tidak
perlu ada data, beres kan?
Transfer Learning
“Kita gunakan model yang sudah dicerdaskan orang lain untuk
permasalahan kita, yang bahkan bisa jadi berbeda”

Contoh;
• Kita mau membuat sistem untuk menghitung kendaraan beserta
jenisnya menggunakan kamera CCTV. Jika jenis kendaraannya yang
ingin dideteksi cukup umum, semisal “mobil” atau “truk”, kita bisa
jadi cukup browsing-browsing, dan kita akan menemukan orang yang
sudah membuat model deep learningnya. Kita tinggal DOWNLOAD,
PAKAI, DAN SELESAI! Kita telah memiliki model cerdas deep learning
yang mampu mendeteksi mobil atau truk. Tanpa perlu mencari data,
tanpa perlu melatih model.
 Transfer Learning
Ada kaitan

Pre-training Transfer konsep

Fine-tun
ing
Transfer
tekstur, pengetahuan
warna, bentuk
Tugas pertama Tugas kedua

Punya banyak data Punya sedikit data

Klasifikasi gambar Deteksi objek pada gambar

• Ikan

• Pesawat

• Jembatan

Data Image Data Image D

1,2 jt data 5K data
1000 kategori 20 kategori
Transfer Learning
Transfer Learning
Makin mirip tugas = semakin baik

Bagaimana jika data tidak sama/ serupa?

Tidak bisa transfer learning!

Poin Penting
Jadi ada 2 poin yang akan dipelajari :
• Model yang sudah dicerdaskan
• Cara kerja transfer learning
Model yang sudah cerdas

Pada transfer learning, kita membutuhkan model yang sudah terlatih, entah itu
dilatih oleh orang lain, atau kita melatihnya terlebih dahulu. Model yang sudah
terlatih ini disebut dengan Pre-Trained Model. Pre-trained model biasanya sudah
dilatih pada dataset yang besar dan merupakan dataset benchmark, sehingga
kualitas pre-trained model harusnya sudah sangat baik.
Model yang sudah cerdas
Saat ini sudah banyak pre-trained model yang disediakan untuk
beragam kebutuhan. Misalnya pada PyTorch menunjukkan pre-trained
model yang tersedia secara resmi untuk image classification yang telah
dilatih menggunakan dataset ImageNet. Pada Tensorflow juga
menunjukkan model-model yang tersedia untuk object detection.
Kumpulan pre-trained model ini juga biasa disebut dengan Model Zoo.

Alternatif lain selain menggunakan model resmi dari framework, kita

juga bisa browsing-browsing dan pakai pre-trained model yang
disediakan peneliti-peneliti lain, atau kita juga bisa saja membuat pre-
trained model sendiri.
Poin Penting
Jadi ada 2 poin yang akan dipelajari :
• Model yang sudah dicerdaskan
• Cara kerja transfer learning
 Cara transfer learning
1. Pre-training pada tugas pertama
Bangun model sendiri, data bisa di download Download pretraining model yang sudah dilakukan
oleh orang lain.
dari internet atau bisa di kumpulkan sendiri,
dengan syarat datanya banyak.

Kekurangannya:
- Terbatas untuk modifikasi layer
+ Menghemat waktu dan tidak perlu mencari
hyperparameter.
Cara transfer 2. Modifikasi model untuk tugas ke-2
Bangun model sendiri, data bisa di download dari internet atau
learning bisa di kumpulkan sendiri, dengan syarat datanya banyak.

10 output
1000 output
Cara Transfer Learning

2. Modifikasi model untuk tugas ke-2

Cara Transfer Learning

2. Modifikasi model untuk tugas ke-2

Layer 4 baru
Output
Cara Transfer Learning
3. Fine-tuning dengan tugas ke-2
Output
Pada tahap ini kita bisa

Layer 4 baru
menentukan layer mana
yang ingin di update pada
tugas ke-2.
Tidak ada aturan khusus
berapa layer yang harus di
Freeze (tidak di update) fine-tuning dan freeze.
Learning rate kecil, ex: 10-4,
10-5, 10-6)
Supaya tidak lupa dengan
tugas pertamanya

Fine-tuning à training model dengan dataset tugas ke-2

Learning rate => salah satu parameter training untuk menghitung nilai koreksi bobot pada waktu proses
training.
Pengolahan Citra Digital
Performance Measure dan Aplikasi AI
Overview
Machine Learning merupakan salah satu cabang dari disiplin ilmu kecerdasan
buatan (artificial intelligence) yang membahas bagaimana sistem dibangun
berdasarkan pada data. Jadi machine learning merupakan proses komputer untuk
belajar dari data (learn from data). Jika tidak ada data, komputer tidak akan bisa
belajar. Salah satu teknik aplikasi pada machine learning adalah supervised
learning. Klasifikasi merupakan supervised learning, yang merupakan model
prediksi dimana hasil prediksinya bersifat diskrit.

Bagaimana mengukur performa dari model klasifikasi yang digunakan ?

Jawaban sederhananya adalah membandingkan nilai aktual dengan nilai prediksi.
Confusion matrix
Confusion matrix juga sering disebut error
matrix.
Pada dasarnya confusion matrix memberikan
informasi perbandingan hasil klasifikasi yang
dilakukan oleh sistem (model) dengan hasil
klasifikasi sebenarnya.
Confusion matrix berbentuk tabel matriks yang
menggambarkan kinerja model klasifikasi pada
serangkaian data uji yang nilai sebenarnya
diketahui.
 Confusion matrix
• True Positive (TP)
Merupakan data positif yang diprediksi benar. Contohnya, pasien
menderita kanker (class 1) dan dari model yang dibuat memprediksi pasien
tersebut menderita kanker (class 1).
• True Negative (TN)
Merupakan data negatif yang diprediksi benar. Contohnya, pasien tidak
menderita kanker (class 2) dan dari model yang dibuat memprediksi pasien
tersebut tidak menderita kanker (class 2).
• False Postive (FP) — Type I Error
Merupakan data negatif namun diprediksi sebagai data positif. Contohnya,
pasien tidak menderita kanker (class 2) tetapi dari model yang telah
memprediksi pasien tersebut menderita kanker (class 1).
• False Negative (FN) — Type II Error
Merupakan data positif namun diprediksi sebagai data negatif. Contohnya,
pasien menderita kanker (class 1) tetapi dari model yang dibuat
memprediksi pasien tersebut tidak menderita kanker (class 2).
Contoh Confusion matrix
Sebuah model akan dilatih untuk memprediksi apakah seorang pasien
sedang menderita kanker atau tidak. Dengan asumsi terdapat 20 pasien
dengan ? pasien positif kanker dan ? pasien negatif kanker.

Dari 20 pasien, terdapat 9 pasien

positif kanker dan 11 pasien
negatif kanker.
Accuracy
Accuracy menggambarkan seberapa akurat model dapat mengklasifikasikan dengan
benar. Maka, accuracy merupakan rasio prediksi benar (positif dan negatif) dengan
keseluruhan data.

TP+TN/TP+TN+FP+FN=
Precision (Positive Predictive Value)
Precision menggambarkan tingkat keakuratan antara data yang diminta dengan
hasil prediksi yang diberikan oleh model. Maka, precision merupakan rasio prediksi
benar positif dibandingkan dengan keseluruhan hasil yang diprediksi positif.

TP/TP+FP=
Recall atau Sensitivity (True Positive Rate)
Recall menggambarkan keberhasilan model dalam menemukan
kembali sebuah informasi. Maka, recall merupakan rasio prediksi benar
positif dibandingkan dengan keseluruhan data yang benar positif.

TP/TP+FP=
Aplikasi AI data citra dan video
Deteksi wajah Lelah pada gambar wajah menggunakan Algoritma FaceNet dan K-Nearest Neighbor Classifier

https://e-journal.unair.ac.id/JISEBI/article/view/24144
Wajah Bertopeng atau Tidak Bertopeng

Aplikasi AI data citra dan video

Deep Learning menggunakan DenseNet201 untuk mendeteksi Wajah Bertopeng atau Tidak Bertopeng

a b

http://jurnalnasional.ump.ac.id/index.php/JUITA/article/view/9624
Aplikasi AI data citra dan video
Pencarian Objek pada Video Menggunakan ORB Descriptor dan Support Vector Machine

https://link.springer.com/chapter/10.1007/978-3-030-63119-2_20
 Aplikasi AI data citra dan video
Klasifikasi Gender pada Video Menggunakan Algoritma FaceNet dan Pembelajaran Mesin yang Diawasi

a b c Scopus Q4
International Journal of Computing and Digital Systems

d e f
Figure 11. Example of gender classification results: a, c, d) male person, b, e) female person f) male and female person
Silahkan cek link berikut ini untuk video
tentang transfer learning
• https://www.youtube.com/watch?v=tfkSjUXzQLI
• https://www.youtube.com/watch?v=Gufx35CtbjI
• https://www.youtube.com/watch?v=MQkVIYzpK-Y&t=126s
•
TERIMAKASIH
-----------------