7.1 Support Vector Machine
7.1 Support Vector Machine
Machine Learning
Input Model Output
x1 Klasifikasi,
x2 regresi,
y(x,w)
: clustering,
xD dll
Supervised Learning
• Regresi
– Nilai output ti bernilai kontinu (riil)
– Bertujuan memprediksi output dari
data baru dengan akurat
• Klasifikasi
– Nilai output ti bernilai diskrit (kelas)
– Bertujuan mengklasifikasi data baru
dengan akurat
4
Model Linear
• Model yang umum digunakan untuk menyelesaikan masalah klasifikasi dan
regresi adalah model linear, yaitu model yang merupakan kombinasi linear
dari fungsi basis:
Dimana x = (x1, x2, ..., xD)T adalah variabel input, dan w = (w0, w1, ..., wD)T
adalah parameter, φ(x) adalah fungsi basis, M adalah jumlah total parameter
dari model
• Ada banyak pilihan yang mungkin untuk fungsi basis φ(x), misal fungsi linear,
fungsi polinomial, fungsi gaussian, fungsi sigmoidal, dll
5
Model Linear
Kutukan Dimensi
D3
Model Linear
Pendekatan Nonparametrik
8
Metode Kernel
Fungsi Kernel : Definisi
Metode Kernel
Fungsi Kernel : Contoh
10
Metode Kernel
Fungsi Kernel : Keuntungan
11
Metode Kernel
Fungsi Kernel : Penggunaan
• Permasalahan: bagaimana
menentukan decision boundary
yang dapat mengklasifikasikan
data dengan benar
Decision Boundary /
Decision Surface
13
14
Support Vector Machine
Hyperplane
16
Support Vector Machine
Maximum Margin
17
• Kenapa maksimum ?
• Berdasarkan intuisi, margin
maksimum adalah pilihan yang
aman karena jika terjadi sedikit
kesalahan pada data maka akan
memberikan kemungkinan terkecil
terjadi kesalahan klasifikasi
• Berdasarkan teori, yang
merupakan basis dari metode
SVM, maksimum margin akan
memberikan kapabilitas
generalisasi terbaik (VC theory,
1960-1990)
18
Support Vector Machine
Maximum Margin
t n y xn t w T x n b
= n
∥w∥ ∥w∥
19
20
Support Vector Machine
Quadratic Programming
21
23
1 2
arg min ∥w∥
w ,b 2
T
s.t. t n w x n b1, n=1, .. , N
maka bentuk primal dari masalah optimasi untuk soft margin adalah:
N
1
∥w∥ C ∑ n
2
arg min
w ,b 2 n=1
T
s.t. t n w x n b1−n , n=1,.. , N
n 0
dimana parameter C > 0 akan mengkontrol trade-off antara pinalti variabel
slack dan margin
24
Support Vector Machine
Bentuk Dual : Lagrange Multipliers
N N N
1
∥w∥ C ∑ n − ∑ a n {t n w x n b−1n } − ∑ n n
2 T
Lw , b , a =
2 n=1 n=1 n=1
25
N N N
1
∥w∥ C ∑ n − ∑ a n {t n w x n b−1n } − ∑ n n
2 T
Lw , b ,a =
2 n=1 n=1 n=1
∂L
= C −an − n = 0 a n = C −n
∂ n
26
Support Vector Machine
Bentuk Dual : Fungsi Kernel
sehingga menjadi:
N N N N N N N
a = 1 ∑ ∑ a n a m t n t m x nT x n − ∑ ∑ a n a m t n t m x n T x n − b ∑ ∑ a n t n ∑ a n
L
2 n=1 m=1 n=1 m=1 n=1 m=1 n=1
N N N
1
= ∑ a n − 2 ∑ ∑ a n a m t n t m x n T x m
n=1 n=1 m=1
N N N
1
= ∑ a n − 2 ∑ ∑ a n a m t n t m k x n , x m
n=1 n=1 m=1
27
arg max L a =
a
∑ a n − 12 ∑ ∑ a n a m t n t m k x n , x m
n=1 n=1 m=1
∑ a n t n=0
n=1
29
• Misal solusi dari pemrograman kuadrat bentuk dual tersebut adalah a*,
maka:
N
w = ∑ a ∗n t n x n
n=1
N N
T
y x = w xb = ∑ a ∗n t n x nT xb = ∑ a ∗n t n k x , x n b
n=1 n=1
• Hanya data dengan an* > 0 (support vectors) yang berperan pada model
decision boundary diatas, sehingga dapat ditulis menjadi:
y x = ∑ am∗ t m k x , x m b
m∈S
30
Support Vector Machine
Solusi Bentuk Dual : Kondisi Karush-Kuhn-Tucker
31
t n y xn = 1
1
t n ∑ a m t m k x n , x m b = 1 b = ∑ t − ∑ a ∗ t k x n , x m
∗
mS N S n S n m S m m
33
34
Support Vector Machine
Multi-Class Classification
36
Referensi