Support Vector Machine (SVM)

Tugas Mata Kuliah Kecerdasan Buatan

Prodi S2 Pendidikan Teknik Elektronika dan Informatika
Universitas Negeri Yogyakarta

Moh Ali Aljauhari (24051640006)

Beatriks Irene Windesi (24051640013)
Support Vector Machine (SVM)
1. Pengantar / Apersepsi
2. Konsep Dasar
3. Metode Algoritma SVM
4. Hyperplane dan Margin
5. Kernel Trick
6. Support Vectors
7. Tahapan Algoritma SVM
8. Cara Kerja Algoritma SVM
9. Kelebihan dan Kekurangan
10.Contoh Kasus Soal
Pengantar / Apersepsi

Belajar Mudah Support Vector Machine

Konsep Dasar
• Support Vector Machine (SVM) diperkenalkan oleh Boser,
Guyon dan Vaprik pada tahun 1992
• Support Vector Machine (SVM) adalah algoritma machine
learning canggih yang digunakan untuk klasifikasi linear atau
nonlinear, regresi, dan bahkan tugas deteksi outlier
• SVM dapat digunakan untuk berbagai tugas, seperti
klasifikasi teks, klasifikasi gambar, deteksi spam, identifikasi
tulisan tangan, analisis ekspresi gen, deteksi wajah, dan
deteksi anomali.
• SVM dapat beradaptasi dan efisien dalam berbagai aplikasi
karena dapat mengelola data berdimensi tinggi dan
hubungan nonlinear.
Metode Algoritma SVM
1. Langkah-1: Tentukan batas kelas (hyperplane) yang mungkin
dari dataset.
2. Langkah-2: Pilih hyperplane berdasarkan margin maksimum
Apa itu Hyperplane dan Margin?

• Hyperplane adalah garis atau bidang yang memisahkan

dua kelas data
• Margin adalah jarak antara hyperplane dan titik data
terdekat dari setiap kelas.
• SVM berusa h a me ma k s i ma l k a n ma r g i n i n i u n t u k
meningkatkan akurasi klasifikasi
Hyperplane

• Dimensi hyperplane tergantung pada jumlah fitur.

• Jika jumlah fitur input adalah 1, maka hyperplane
hanyalah sebuah titik.
• Jika jumlah fitur input adalah 2, maka hyperplane
hanyalah sebuah garis.
• Jika jumlah fitur input adalah 3, maka hyperplane menjadi
bidang dua dimensi.
• Selanjutnya, kita sudah akan mulai mengalami kesulitan
untuk membayangkan ketika jumlah fitur melebihi 3.
Kernel Trick

• SVM dapat menangani data yang tidak dapat dipisahkan

secara linear dengan menggunakan fungsi kernel.
• Fungsi kernel mengubah data ke dalam dimensi yang
lebih tinggi sehingga data dapat dipisahkan dengan
hyperplane
Apa itu Support Vectors?
• Support vectors adalah titik data yang paling dekat
dengan hyperplane dan berperan penting dalam
menentukan posisi hyperplane.
• Dengan menggunakan vektor pendukung ini, kita
memaksimalkan margin pengklasifikasi.
• Menghapus support vector akan mengubah posisi
hyperplane.
Tahapan Algoritma SVM

1. Memvisualisasikan Data
2. Meminimalkan Nilai Margin
3. Mencari Persamaan Hyperplane
4. Memvisualisasikan Hyperplane
5. Melakukan Pengujian Data
6. Melakukan Klasifikasi
Cara Kerja Algoritma SVM
Ada 3 poin penting dalam SVM yang harus diketahui, yaitu :
1. Support Vector : objek data terluar yang paling dekat dengan hyperplane.
2. Hyperplane : Garis pembatas yang berfungsi sebagai pemisah antara
objek terluar / support vector.
3. Margin : Jarak antara support vector dan hyperplane.
Contoh Kasus Soal
X1 X2 Kelas (y)
1 1 1
1 -1 -1
-1 1 -1
-1 -1 -1

Untuk mengerjakan soal tersebut, lihat kembali 6 tahapan algoritma SVM :

1. Memvisualisasikan Data
2. Meminimalkan Nilai Margin
3. Mencari Persamaan Hyperplane
4. Memvisualisasikan Hyperplane
5. Melakukan Pengujian Data
6. Melakukan Klasifikasi
1. Memvisualisasikan Data
• Dari data diatas, terdapat 4 titik yaitu X1 dan X2 dan Kelas ada 2 yaitu
1 dan -1.
• Jika ditarik sumbu X dan Y, dimana X1 berada pada posisi horizontal
atau sumbu X dan X2 berada pada posisi Vertikal atau sumbu Y.
• Maka 4 titik tersebut berada pada gambar dibawah ini
1. Memvisualisasikan Data

• Kelas 1 ditunjukkan pada persegi warna orange sedangkan kelas -1

ditunjukkan pada belah ketupat warna biru.
• Pada masing-masing titik tersebut digunakan untuk mencari pemmisah
antara data positif dan data negatif
• Karena ada 2 variable yaitu X1 dan X2, maka w juga mempunyai 2
vairiable yaitu w1 dan w2
2. Meminimalkan Nilai Margin
• Meminimalkan nilai dengan rumus :
1/2 ||w||2 = 1/2 (w12 + w2 2)
• Dengan syarat :
yi(X1.w+b)-1 >= 0, i = 1,2,3,...,n
yi(X1.w1 + X2.w2 + b) >= 1
 3. Mencari Persamaan Hyperplane
• Masukkan data dengan rumus di tahap 2 : X1 X2 Kelas (y)
1 1 1
• Sehingga ditemukan persamaan sebagai 1 -1 -1
berikut : -1 1 -1
1. (w1 + w2 + b) >= 1 untuk y1 = 1, x1=1, x2=1 -1 -1 -1

2. (-w1 + w2 - b) >= 1 untuk y2 = -1, x1=1, x2=-1

3. (w1 - w2 - b) >= 1 untuk y3 = -1, x1=-1, x2=1
4. (w1 + w2 - b) >= 1 untuk y4 = 1, x1=-1, x2=-1
 4. Memvisualisasikan Hyperplane
• Langkah selanjutnya mencari nilai w1, w2, dan
nilai b
• Menjumlahkan persamaan 1 dan 2 :
(w1 + w2 + b) >= 1
(-w1 + w2 - b) >= 1
________________+
2w2 = 2
w2 = 1
• Menjumlahkan persamaan 1 dan 3 : • Menjumlahkan persamaan 2 dan 3 :
(w1 + w2 + b) >= 1 (-w1 + w2 - b) >= 1
(w1 - w2 - b) >= 1 (w1 - w2 - b) >= 1
________________+ ________________+
2w1 = 2 -2b = 2
w1 = 1 b = -1
4. Memvisualisasikan Hyperplane
• Masukkan rumus dengan syarat :
• yi(X1.W2 + W2.X2 + b) >= 1
• Hasil persamaan hyperplane :
(W1.X1 + W2.X2 + b = 0)
1.X1 + 1.X2 - 1 = 0
X1 + X2 -1 = 0
X2 = 1- X1
• Jika divisualisasikan, garis hyperplanenya seperti berikut :
5. Melakukan Pengujian Data
• Berdasarkan asumsi diatas bahwa kedua belah kelas
terpisah sempurna oleh hyperplane
• Dua belah kelas tidak selalu terpisah secara sempurna
• Hal tersebut menyebabkan constraint pada persamaan 1
tidak terpenuhi, sehingga optimasi tidak terpenuhi dilakukan
• Untuk mengatasi masalah ini, SVM dirumuskan ulang dengan
menggunakan teknik soft margin
5. Melakukan Pengujian Data
• Soft margin dijelaskan dalam bentuk gambar pada
gambar berikut :
6. Melakukan Klasifikasi
• Persamaan diatas dimodifikasi menggunakan soft margin
dengan memasukan variabel slack sebagai berikut :
yi(xi.w+b) ≥ 1 - i

• Parameter C dipilih untuk mengontrol trade off antara margin

dan error klasifikasi atau nilai kesalahan pada klasifikasi.
• Parameter C ditentukan dengan mencoba beberapa nilai dan
dievaluasi efeknya terhadap akurasi yang dicapai oleh SVM
misalnya dengan cara Cross Validation
6. Melakukan Klasifikasi
• Nilai C yang besar akan memberikan penalti yang lebih besar
terhadap error klasifikasi tersebut
• Pada umumnya permasalahan data tidak dapat dipisahkan
secara linier dalam ruang input, soft margin SVM tidak dapat
menemukan pemisah dalam hyperplane sehingga tidak dapat
memiliki akurasi yang besar dan tidak menggeneralisasi
dengan baik.
• Oleh karena itu, dibutuhkan kernel untuk mentransformasikan
data ke ruang dimensi yang lebih tinggi yang disebut ruang
kernel yang berguna untuk memisahkan data secara linier.
• Secara umum, fungsi kernel yang sering digunakan adalah
kernel linier, Polinomial dan Radius Basis Function (RBF)
Kelebihan dan Kekurangan
Kelebihan :
• Supervised : Dapat kontrol terhadap keakuratan klasifikasi karena
kita ajari terlebih dahulu
• Kernel Trick : Karena pada nyatanya data yang banyak kita
temukan tidak hanya dapat diklasifikasikan dengan garis tengah
lurus saja
Kekurangan :
• Kurang baik untuk data dalam jumlah besar
• Penggunaan kernel tidak mudah untuk diimplementasikan
Kesimpulan

• SVM sebagai Algoritma Supervised Klasifikasi yang

harus kita tentukan terlebih dahulu Support Vector,
Hyperplane dan Margin
• Jika tidak linier kita gunakan kernel trick
Referensi
• https://medium.com/sysinfo/support-vector-machine-svm-5d95a7d7a547
• https://www.geeksforgeeks.org/support-vector-machine-algorithm/
• https://www.freecodecamp.org/news/svm-machine-learning-tutorial-what-
is-the-support-vector-machine-algorithm-explained-with-code-examples/
• https://www.stratascratch.com/blog/machine-learning-algorithms-
explained-support-vector-machine/
• https://geospasialis.com/support-vector-machine/
• Belajar Data Science Mudah. Belajar Mudah Support Vector Machine.
https://www.youtube.com/watch?v=MQBBE0m9pkI&t=5s
• Badrul, Mohammad. Memahami Algoritma Support Vector Machine.
https://www.youtube.com/watch?v=R8XD8h6ZWyk