Pertemuan 9

SUPPORT VECTOR MACHINE

PRODI. TEKNIK INFORMATIKA (S-1)

Pengantar Support Vector Machine
Review Regresi Linear :
• Regresi Linear merupakan salah satu metode untuk mendukung
kinerja SVM
• Regresi adalah membangun model untuk memprediksi nilai dari
data masukan yang diberikan.
• Analisis regresi merupakan studi ketergantungan satu atau lebih
variabel bebas terhadap variabel tidak bebas. Dengan maksud
untuk meramalkan nilai variabel tidak bebas.
• Prediksi berbeda dengan klasifikasi (catatan: dalam machine
learning, klasifikasi dianggap sebagai salah satu jenis dari prediksi).
• Klasifikasi digunakan untuk memprediksi label kelas/kategori.
• Metode utama untuk melakukan prediksi : Membangun model
regresi yaitu dengan mencari hubungan antara satu atau lebih
variabel independen atau prediktor (X) dengan variabel
dependent atau respon (Y).
Pengantar Support Vector Machine

Macam-Macam Analisis Regresi :

• Regresi Linear
• Non-linear regression (neural networks, support vector
machines).
• Others Methods : generalized linear model, Poisson
regression, log-linear models, regression trees
Pengantar Support Vector Machine

Ilustrasi :
Pengantar Support Vector Machine

• Model Regresi Linier :

Pengantar Support Vector Machine
Pengantar Support Vector Machine
• Model Regresi Linier :
Pengantar Support Vector Machine

Model persamaan regresi linear sederhana

Pengantar Support Vector Machine
Model persamaan regresi linear sederhana
Pengantar Support Vector Machine

Contoh Kasus :
• Perhatikan data biaya iklan yang digunakan (X) dan
hubungannya dengan tingkat penjualan (Y) diberikan
dalam dataset berikut :
Penjualan (Y) 64 61 84 70 88 92 72 77
Promosi (X) 20 16 34 23 27 32 18 22

• Tentukan : Persamaan regresi, Nilai Prediksi, Koefesien

determinasi, Kesalahan baku estimasi, Kesalahan baku
koefesien regresinya, Nilai F hitung, Nilai t hitung
Pengantar Support Vector Machine

Solusi : Persamaan Regresi

Y X XY X2 Y2
64 20 1280 400 4096
61 16 976 256 3721
84 34 2856 1156 7056
70 23 1610 529 4900
88 27 2376 729 7744
92 32 2944 1024 8464
72 18 1296 324 5184
77 22 1694 484 5929
608 192 15032 4902 47094
Pengantar Support Vector Machine

n( XY ) − ( X )( Y )
b=
n( X 2 ) − ( X ) 2

8(15032) − (192)(609)
b= = 1,497
8(4902) − (192) 2

a=
 Y − b(  X )
n

(608) − 1,497(192)
a= = 40,082
8
Pengantar Support Vector Machine
Nilai Prediksi :
• Berapa besarnya penjualan jika promosi sebesar 20?
40,082 + (1,497*20)= 70,022
• Berapa besarnya penjualan jika promosi sebesar 16?
40,082 + (1,497*16)=64,034
• Berapa besarnya penjualan jika promosi sebesar 34?
40,082 + (1,497*34)= 90,98
• Berapa besarnya penjualan jika promosi sebesar 23?
40,082 + (1,497*23)= 74,513
• Berapa besarnya penjualan jika promosi sebesar 27?
40,082 + (1,497*27)=80,501
• Berapa besarnya penjualan jika promosi sebesar 32?
40,082 + (1,497*32)= 87,986
Dan seterusnya…………………….!!!
Pengantar Support Vector Machine

No Y X XY X2 Y2 Ypred (Y-Ypred)2 (Y-Yrata)2

1 64 20 1280 400 4096 70.022 36.264 144

2 61 16 976 256 3721 64.034 9.205 225

3 84 34 2856 1156 7056 90.98 48.720 64

4 70 23 1610 529 4900 74.513 20.367 36

5 88 27 2376 729 7744 80.501 56.235 144

6 92 32 2944 1024 8464 87.986 16.112 256

7 72 18 1296 324 5184 67.028 24.721 16

8 77 22 1694 484 5929 73.016 15.872 1

Jlh 608 192 15032 4902 47094 608.08 227.497 886

Pengantar Support Vector Machine
Koefesien Determinasi
Koefesien determinasi: seberapa besar

R = 1−
2  (Y − Yˆ ) 2
R = 1−
2 (227,497)
= 0,743
 (Y − Y ) 2
(886)

Koefesien Determinasi Disesuaikan (adjusted)

P (1 − R 2
) 1(1 − 0,743)
Radj = R2 − Radj = 0,743 − = 0,70
N − P −1 8 −1−1
Pengantar Support Vector Machine
Kesalahan Baku Estimasi
Digunakan untuk mengukur tingkat kesalahan dari
model regresi yang dibentuk.

Se =
 (Y − Yˆ ) 2

Se =
(227,467)
= 6,1576
n−k 8−2
Pengantar Support Vector Machine
Standar Error Koefesien Regresi
Digunakan untuk mengukur besarnya tingkat kesalahan dari
koefesien regresi:

Se 6,1576
Sb = Sb1 = = 0,359
( X ) 2
(192) 2
X −
2
(4902) −
n 8
 Pengantar Support Vector
Machine
• Diperkenalkan oleh Vapnik (1992)
• Support Vector Machine memenuhi 3 syarat utama sebuah
metode PR
• Robustness
• Theoretically Analysis
• Feasibility
• Pada prinsipnya bekerja sebagai binary classifier. Saat ini
tengah dikembangkan untuk multiclass problem
• Structural-Risk Minimization
 Pengantar Support Vector
Machine
Binary Classification
Discrimination boundaries

Class −1 Class +1
 Pengantar Support Vector
Machine
Optimal Hyperplane by SVM

Margin
d

Class −1 Class +1
 Pengantar Support Vector
Machine
Optimal Hyperplane by SVM
• Margin (d) = minimum distance antara hyperplane and training samples
• Hyperplane yang paling baik diperoleh dengan memaksimalkan nilai
margin
• Hyperplane yang paling baik itu akan melewati pertengahan antara
kedua class
• Sample yang paling dekat lokasinya terhadap hyperplane disebut
support vector
 Pengantar Support Vector
Machine
Optimal Hyperplane by SVM

d1
 Pengantar Support Vector
Machine
Optimal Hyperplane by SVM

d2

d2 > d 1
 Pengantar Support Vector
Machine
Optimal Hyperplane by SVM

bukan d3

d3

d3>d2 > d1
 Pengantar Support Vector
Machine
Optimal Hyperplane by SVM

d4

d4

d4>d3>d2 > d1
Konsep SVM

• Konsep : Untuk mencari hyperplane terbaik sebagai

pemisah dua buah class pada input space (garis pemisah
yang optimal) → Problema Klasifikasi???
• Prinsip Utama : Linear Classifier!!! Dikembangkan Untuk
mengatasi problem non-linear (kernel trick pada ruang kerja
berdimensi tinggi).
Konsep SVM

• Salah satu cara menemukan Hyperplane pemisah terbaik

antara kedua class : mengukur margin hyperplane dan
mencari titik maksimalnya.
• Margin adalah jarak antara hyperplane tersebut dengan
pattern terdekat dari masing-masing class.
• Pattern yang paling dekat ini disebut sebagai support vector
(titik merah dan kuning dengan garis di tengah)
• Hyperplane terbaik : garis solid pada gambar
• Usaha untuk mencari lokasi hyperplane ini merupakan inti
dari proses pembelajaran pada SVM
Konsep SVM
Konsep SVM
Konsep SVM : Visualisasi

•s
Konsep SVM : Karakteristik
SVM MULTICLASS

• Dua metode untuk Klasifikasi multi-class dengan SVM

a. pendekatan mengombinasikan beberapa binary classifier
(One Against All) ;
b. Menggabungkan semua data yang terdiri dari beberapa
kelas ke dalam permasalahan optimasi
One against all merupakan metode klasifikasi multiclass yang
dibangun berdasarkan sejumlah k SVM biner (k adalah
jumlah kelas)
PELATIHAN SVM

• Simplified Sequential Minimal Optimization (Simplified SMO)

: algoritma untuk proses pelatihan SVM untuk memberikan
solusi pada permasalahan yang terjadi di QP (Quadratic
Problem).
• Optimasi SVM : metode Simplified Sequential Minimal
Optimization → mendapatkan nilai bobot data yang optimal.
ALGORITMA SVM : Contoh

• Contoh SVM Linear Pada dataset berikut

ALGORITMA SVM : Contoh

•c
ALGORITMA SVM : Contoh
ALGORITMA SVM : Contoh
ALGORITMA SVM : Contoh
ALGORITMA SVM : Contoh
ALGORITMA SVM : Contoh Kasus 2

•c
ALGORITMA SVM : Contoh Kasus 2
ALGORITMA SVM : Contoh Kasus 2
ALGORITMA SVM : Contoh Kasus 2
ALGORITMA SVM : Contoh Kasus 2
Contoh Kasus 2
ALGORITMA SVM : Contoh Kasus 2
ALGORITMA SVM : Contoh Kasus 2
ALGORITMA SVM : Contoh Kasus 2
Contoh Kasus 2
Tugas