Support Vector

Machine
Kelompok I
Afandi Wariyanto Biga
Dwi Sartika
Mohammad Hidayat Panigoro
Muhammad Jamal Daulima
Sri Mujirah Adam
Yani Prihantini Hiola
SEJARAH DAN PENGERTIAN SUPPORT VECTOR
MACHINE
Support Vector Machine (SVM) dikembangkan oleh Boser, Guyon,
dan Vapnik, pertama kali diperkenalkan pada tahun 1992 di Annual
Workshop on Computational Learning Theory. Konsep dasar metode SVM
sebenarnya merupakan gabungan atau kombinasi dari teori-teori komputasi
yang telah ada pada tahun sebelumnya, seperti marginhyperplane (Dyda
dan
Hart, 1973; Cover, 1965; Vapnik, 1964)

Support Vector Machine (SVM) adalah metode machine learning yang digunakan
untuk klasifikasi baik data linear maupun non-linear. SVM untuk data non-linear
merupakan SVM yang dimodifikasi dengan memasukkan fungsi kernel trick, yaitu
fungsi yang memetakan fitur data dari dimensi awal yang rendah ke fitur data baru
dengan dimensi yang relatif lebih tinggi sehingga kedua kelas dapat dipisahkan
secara linear oleh sebuah hyperplane (Han, Kamber dan Pei, 2012).

Hyperplane ini dapat berupa line pada two dimension dan dapat berupa flat
plane pada multiple dimension.
PENGERTIAN SUPPORT VECTOR MACHINE
Ide dasar SVM adalah memaksimalkan batas
hyperplane seperti digambarkan pada gambar di
samping. Gambar tersebut menunjukkan ada
sejumlah pilihan hyperplane yang mungkin untuk
set data

Sedangkan pada gambar di samping ini

merupakan hyperplane dengan margin paling
maksimum.
PENGERTIAN SUPPORT VECTOR MACHINE
 Hyperplane (batas keputusan) pemisah terbaik antara kedua kelas
didapatkan dengan mengukur margin hyperplane tersebut dan mencari
titik maksimalnya.
 Margin adalah jarak antara hyperplane tersebut dengan data terdekat
dari masing masing kelas.
 Data yang paling dekat itu disebut sebagai support vector.

Pada umumnya, dalam permasalahan nyata, jarang ditemukan data yang

linear. Sehingga fungsi Kernel digunakan dalam Support Vector Machine
untuk mengatasi data non-linier. Dengan memasukkan fungsi Kernel,
maka problem data non-linier menjadi linier dalam space baru seperti
tampak pada ilustrasi di bawah ini.
 JENIS FUNGSI
Kernel Linear
KERNEL
Linear kernel merupakan fungsi kernel yang paling sederhana. Linear
kernel digunakan ketika data yang dianalisis sudah terpisah secara linear.
Linear kernel cocok ketika terdapat banyak fitur dikarenakan pemetaan ke
ruang dimensi yang lebih tinggi tidak benar – benar meningkatkan kinerja
seperti pada klasifikasi teks.

Kernel Polynomial
Polinomial kernel merupakan fungsi kernel yang digunakan
ketika data tidak terpisah secara linear. Polinomial kernel
sangat cocok untuk permasalahan dimana semua training
dataset dinormalisasi.

Kernel Radial Basis Function

(RBF)
RBF kernel merupakan fungsi kernel yang biasa digunakan dalam analisis ketika data
tidak terpisah secara linear. RBF kernel memiliki dua parameter yaitu Gamma dan
Cost. Parameter Cost atau biasa disebut sebagai C merupakan parameter yang
bekerja sebagai pengoptimalan SVM untuk menghindari misklasifikasi di setiap
sampel dalam training dataset. Parameter Gamma menentukan seberapa jauh
pengaruh dari satu sampel training dataset dengan nilai rendah berarti “jauh”, dan
nilai tinggi berarti “dekat”.
 JENIS FUNGSI KERNEL
Beberapa jenis fungsi Kernel yang biasa digunakan yaitu :

Kernel Linear

Kernel Polynomial

Kernel Radial Basis Function

(RBF)

Dengan xi dan xj adalah pasangan dua data training,

 TAHAPAN SVM

1 2 3
Mencari Persamaan
Memvisualisasikan Data Meminimalkan Nilai Margin
Hyperplane

4 5 5
Memvisualisasikan Melakukan Pengujian Data Melakukan Klasifikasi
Hyperplane
DIAGRAM ALIR SUPPORT VECTOR MACHINE
 CONTOH KASUS

Pada contoh kasus ini akan diklasifikasikan alumni Universitas Islam Indonesia
yang mengambil studi lanjut apakah sesuai dengan bidang ilmunya atau tidak
sesuai. Dengan melakukan metode SVM, akan digunakan tiga fungsi SVM
untuk mencari nilai akurasi terbaik antara lain linear SVM, RBF kernel SVM,
dan polinomial kernel SVM. Pada penggunaan metode SVM akan dilakukan
pemisahan antara training dataset dengan testing dataset. Training dataset
diambil 80% keseluruhan dari total 441 data sampel. Sedangkan untuk testing
dataset merupakan sisa dari data yang akan diuji akurasinya. Pengambilan
training dataset maupun testing dataset dilakukan secara acak dengan
bantuan software R.
 LANGKAH-LANGKAH ANALISIS
1. Kernel Linear
Perbandingan Tiga Fungsi Kernel SVM

Setelah melakukan analisis menggunakan fungsi kernel Linear, RBF, serta polinomial
dari data alumni UII. Kemudian akan ditentukan manakah fungsi kernel yang paling
sesuai digunakan dalam menentukan ketepatan klasifikasi alumni UII yang melanjutkan
studi lanjut sesuai bidang ataukah tidak sesuai. bidang studi sebelumnya. Berikut
merupakan tabel rangkuman nilai akurasi dari ketiga fungsi kernel.

Berdasarkan pada Tabel diatas, dapat diperoleh hasil bahwa fungsi kernel yang tepat
digunakan dalam menentukan ketepatan klasifikasi alumni UII yang melanjutkan studi
sesuai bidang studi sebelumnya ataukah tidak sesuai bdiang sebelumnya adalah ketika
dilakukan analisis dengan menggunakan fungsi polinomial kernel yang menghasilkan
nilai akurasi sebesar 95.45%.
 LANGKAH-LANGKAH ANALISIS
1. Kernel Linear

Pengaplikasian Metode SVM Linear Kernel dalam Pencarian

Hyperplane

Berikut merupakan langkah – langkah pengaplikasian metode SVM linear kernel dalam
pencarian hyperplane ketika penggunaan 4 data input dari dua variabel pada variabel
jenis kelamin dan variabel kelulusan tepat waktu dengan data sebagai berikut.
LANGKAH-LANGKAH ANALISIS
1. Kernel Linear
LANGKAH-LANGKAH ANALISIS
1. Kernel Linear
LANGKAH-LANGKAH ANALISIS
1. Kernel Linear
LANGKAH-LANGKAH ANALISIS
1. Kernel Linear
 LANGKAH-LANGKAH ANALISIS
1. Kernel Linear

Berdasarkan pada Gambar diatas, akan diperoleh hasil prediksi klasifikasi kelas dari kelima
data uji adalah semuanya masuk kedalam kelas -1 atau tidak sesuai bidang ilmu sebelumnya.
Hasil klasifikasi dapat dilihat dari nilai perhitungan dengan fungsi yang sudah diperoleh
sebelumnya
CONTOH SEDERHANA DENGAN DATA DUMMY
1. Kernel Linear
Untuk menyelesaikan data di samping dengan menggunakan Support
X1 X2 Kelas (y)
Vector Machine, berikut langkah-langkah yang harus kita lakukan
1. Memvisualisasikan Data
1 1 1
1 -1 -1
-1 1 -1
-1 -1 -1

-1
1
CONTOH SEDERHANA DENGAN DATA DUMMY

X1 X2 Kelas (y) 2. Meminimalkan Nilai Margin

1 1 1 Syarat :
1 -1 -1
-1 1 -1
-1 -1 -1 Karena variabelnya ada 2 maka yang digunakaan adalah persamaan
kedua, maka :
(1.W1 + 1.W2 + b) ≥ 1 untuk y1 = 1, X1 = 1. X2 = 1
(1.W1 - 1.W2 + b) ≥ -1 untuk y1 = -1, X1 = 1. X2 = -1
(-1.W1 + 1.W2 + b) ≥ -1 untuk y1 = -1, X1 = -1. X2 = 1
(-1.W1 - 1.W2 + b) ≥ -1 untuk y1 = -1, X1 = -1. X2 = -1

Sehingga
(1) (W1 + W2 + b) ≥ 1 untuk y1 = 1, X1 = 1. X2 = 1
(2) (-W1 + W2 - b) ≥ 1 untuk y1 = -1, X1 = 1. X2 = -1
(3) (W1 - W2 - b) ≥ 1 untuk y1 = -1, X1 = -1. X2 = 1
(4) (W1 + W2 - b) ≥ 1 untuk y1 = -1, X1 = -1. X2 = -1
CONTOH SEDERHANA DENGAN DATA DUMMY

X1 X2 Kelas (y) 3. Mencari Persamaan Hyperplane

Mencari nilai W1,, W2, dan b
Menjumlahkan persamaan (1) dan (2)
1 1 1 (W1 + W2 + b) ≥ 1
1 -1 -1 (-W1 + W2 - b) ≥ 1
+
-1 1 -1 2W2 = 2
-1 -1 -1 W2 = 1

Menjumlahkan persamaan (1) dan (3)

(W1 + W2 + b) ≥ 1
(W1 - W2 - b) ≥ 1
+
2W1 = 2
W1 = 1
CONTOH SEDERHANA DENGAN DATA DUMMY

X1 X2 Kelas (y) 3. Mencari Persamaan Hyperplane

Mencari nilai W1,, W2, dan b
Menjumlahkan persamaan (2) dan (3)
1 1 1 (-W1 + W2 - b) ≥ 1
1 -1 -1 (W1 - W2 - b) ≥ 1
+
-1 1 -1 -2b = 2
-1 -1 -1 b = -1

Hasil Persamaan Hyperplane X1 X2 = 1 – X1

(W1 . X1 + W2 . X2 + b = 0)
X1 + X 2 – 1 = 0 -2 3
X1 + X 2 = 1 -1 2
X1 = 1 – X 2
X2 = 1 – X 1
0 1
1 0
CONTOH SEDERHANA DENGAN DATA DUMMY
4. Memvisualisasikan Hyperplane
TERIMA
KASIH