6.1 Metode Kernel PDF
6.1 Metode Kernel PDF
Metode Kernel
Machine Learning
Input Metode Output
x1 Klasifikasi,
x2 regresi,
y(x,w)
: clustering,
xD dll
Supervised Learning
• Regresi
– Nilai output ti bernilai kontinu (riil)
– Bertujuan memprediksi output dari
data baru dengan akurat
• Klasifikasi
– Nilai output ti bernilai diskrit (kelas)
– Bertujuan mengklasifikasi data baru
dengan akurat
4
Model Linear
• Model yang umum digunakan untuk menyelesaikan masalah klasifikasi dan
regresi adalah model linear, yaitu model yang merupakan kombinasi linear
dari fungsi basis:
Dimana x = (x1, x2, ..., xD)T adalah variabel input, dan w = (w0, w1, ..., wD)T
adalah parameter, φ(x) adalah fungsi basis, M adalah jumlah total parameter
dari model
• Ada banyak pilihan yang mungkin untuk fungsi basis φ(x), misal fungsi linear,
fungsi polinomial, fungsi gaussian, fungsi sigmoidal, dll
5
Model Linear
Kutukan Dimensi
D3
Model Linear
Pendekatan Nonparametrik
Fungsi Kernel
Definisi
10
Fungsi Kernel
Contoh
• Contoh 1:
k(x,z) = (xTz)2 adalah fungsi kernel untuk x, z ∈ R2
Bukti:
misal x=(x1,x2), z=(z1,z2) maka
(xTz)2 = (x1z1 + x2z2)2
= x12z12 + 2x1z1x2z2 + x22z22
= (x12, √2 x1x2, x22)T (z12, √2 z1z2, z22)
= φ(x)Tφ(z)
sehingga k(x,z) = (xTz)2 adalah suatu fungsi kernel dengan fungsi pemetaan
φ(x) = (x12, √2 x1x2, x22), yaitu suatu fungsi pemetaan dari R2 ke R3
11
Fungsi Kernel
Aproksimasi Nilai Inner Product
• Dari definisi dan contoh sebelumnya maka terlihat bahwa jika kita
memiliki suatu fungsi kernel maka kita dapat menghitung inner
product pada ruang fitur secara langsung dari ruang input tanpa
secara eksplisit menghitung koordinat proyeksi masing-masing
vektor input pada ruang fitur
12
Fungsi Kernel
Konstruksi 1
• Pendekatan pertama adalah memilih suatu fungsi pemetaan φ(x) dan kemudian
menggunakannya untuk mengkonstruksi kernel dengan cara sbb:
M
i
i x= x k x , x ' untuk x ' = 0
13
Fungsi Kernel
Konstruksi 1
{ }
2
x−i k x , x ' untuk x ' = 0
i x=exp − 2
2s 14
Fungsi Kernel
Konstruksi 1
i x =
x−i
s
dimana a =
1
1exp −a
k x , x ' untuk x ' = 0
15
Fungsi Kernel
Konstruksi 2
• Secara umum, untuk menunjukan bahwa k(x,x') adalah fungsi kernel tanpa
secara eksplisit mendefiniskan φ(x) adalah berdasarkan kondisi berikut ini:
„Kondisi cukup dan perlu untuk suatu fungsi k(x,x') menjadi suatu fungsi kernel
yang valid adalah bahwa matrix Gram K, dimana elemen-elemenya adalah
k(xn,xm), harus semidefinit positip untuk semua pemilihan yang mungkin dari
himpunan {xn}
16
Fungsi Kernel
Konstruksi 3
• Pendekatan lain untuk mengkonstruksi fungsi kernel baru, misal k(x,x'), adalah
menggunakan fungsi kernel yang lebih sederhana yang sudah ada, misal k1(x,x')
dan k2(x,x'), berdasarkan sifat-sifat berikut ini:
1. k(x,x') = c k1(x,x') 6. k(x,x') = k1(x,x') k2(x,x')
2. k(x,x') = f(x) k1(x,x') f(x') 7. k(x,x') = k3(φ(x),φ(x'))
3. k(x,x') = q (k1(x,x')) 8. k(x,x') = xT A x'
4. k(x,x') = exp(k1(x,x')) 9. k(x,x') = ka(xa,xa') + kb(xb,xb')
5. k(x,x') = k1(x,x') + k2(x,x') 10.k(x,x') = ka(xa,xa') kb(xb,xb')
dimana c > 0 adalah konstanta, f(.) adalah suatu fungsi, q(.) adalah suatu
polinomial dengan koefisien nonnegatif, φ(x) adalah suatu fungsi dari x ke RM,
k3(.,.) adalah suatu kernel pada RM, A adalah suatu matrik simetri semidefinit
positip, xa dan xb adalah variabel x = (xa,xb), dan ka dan kb adalah fungsi kernel
pada ruang yang bersesuaian
17
Fungsi Kernel
Konstruksi 3
Contoh:
k(x,x') = exp(-||x - x'||2/2σ2) adalah suatu fungsi kernel dikenal juga dengan
nama fungsi kernel 'Gaussian' atau kernel radial basis function (RBF).
Bukti:
Karena ||x – x'||2 = xTx + (x')Tx' – 2 xTx, maka k(x,x') = exp(-xTx/2σ2)
exp(xTx'/σ2) exp(-(x')Tx'/2σ2).
Dengan menggunakan kondisi 1, 2 dan kondisi 4, dan bahwa k1(x,x') = xTx
adalah fungsi kernel, maka k(x,x') adalah suatu fungsi kernel
18
Fungsi Kernel
Contoh Populer
• Linear :
k(xi, xj) = xiT xj
• Polynomial :
k(xi, xj) = (γ xiT xj + r)d, dimana γ > 0
• Radial basis function (RBF) :
k x i , x j =exp −
{
∥x i −x j∥2
2 2 }
• Sigmoid :
k x i , x j = tanh x Ti x j r ,
1
dimana tanh a = 2 a−1, dan a =
1expa
19
Metode Kernel
Keuntungan
Metode Kernel
Kernel Trick
1 2
arg min ∥w∥
w ,b 2
T
s.t. t n w x n b1, n=1, .. , N
N N N N N N N
a = 1 ∑ ∑ a n a m t n t m x nT x n − ∑ ∑ a n a m t n t m x n T x n − b ∑ ∑ a n t n ∑ a n
L
2 n=1 m=1 n=1 m=1 n=1 m=1 n=1
N N N
1
= ∑ a n − 2 ∑ ∑ a n a m t n t m x n T x m
n=1 n=1 m=1
N N N
1
= ∑ a n − ∑ ∑ a n a m t n t m k x n , x m
n=1 2 n=1 m=1
N N N
1
arg max L a =
a
∑ an − ∑ ∑ a a t t k x n , xm
2 n=1 m=1 n m n m
n=1
s.t. a n 0, n=1, .. , N
N
∑ a n t n =0
n=1
Referensi