REVIEW JURNAL

DATA MINING
Dosen Pengampu :

OLEH:

I Wayan Pio Pratama (1829101040)

Luh Eka Kusumayanti (1829101041)
Ni Komang Rai Mirayanti (1829101042)
I Putu Eka Sudarsana (1829101051)
I Nyoman Gede Ardi Yana Putra (1829101052)

PROGRAM STUDI ILMU KOMPUTER

PASCASARJANA UNIVERSITAS PENDIDIKAN GANESHA

2019
 SVM Derivation
Step 1
Target : Memperoleh hyperplane optimal

u⃗ w
⃗

Step 2 :
Bagaimana cara mengetahui sebuah titik yang berada di kiri atau kanan dari hyperplane ⃗ w .⃗u ≥
c, yang mana c merupakan sebuah konstanta, jika ⃗ w .⃗u lebih besar atau sama dengan c
kemudian sebuah titik berada di sebelah kanan garis atau di sebelah kiri garis. Untuk
w .⃗u ≥ c menjadi ⃗
generalisasi ⃗ w .⃗u +b ≥ 0, dalam hal ini c=−b.

Step 3
ambil sampel positif (⃗x merupakan sampel positif) sehingga,

w . ⃗x +b ≥ 1… (1)
⃗

(⃗x merupakan sampel negatif)

w . ⃗x +b ≤−1 …(2)
⃗

Selanjutnya, kalikan formula (1) dan (2) dengan labelnya, sehingga,

y i (⃗
w.⃗
x i +b)≥ 1 …(3)

y i (⃗ x i +b)≤ -1, saat y i bernilai negatif untuk sampel yang negatif, sehingga,
w.⃗

yi ¿
Menariknya adalah kita memperoleh batasan yang sama label negatif maupun positif.

Jarak antar garis yang melalui support vector dapat dinyatakan sebagai berikut,

Dengan melakukan eleminasi pada persamaan 1 dan 2 didapat ¿, karenanya

Sehingga permasalahannya adalah,

2 1 1 2
max → → min ‖⃗
w‖
w‖ ‖⃗
‖⃗ w‖ 2

Dengan batasan pada persamaan 3 dan 4 (Mengingat persamaan 3 dan 4 memiliki bentuk yang
sama permasalahan menjadi lebih sederhana).

yi ¿

Problem.
1 2
min ‖⃗ w‖
2
Batasan
yi (⃗
w.⃗ xi + b )−1 ≥ 0

Permasalahan dapat diselesaikan dengan pendekatan lagrange. Sehingga permasalahan

menjadi :
m
1 2
L (⃗
w ) = ‖⃗
w‖ − ∑ α i [ y i ( ⃗
w.⃗
x i +b)−1 ¿ ]
2 i , j=1

w dan b, sehingga
Guna mencari fungsi optimum, maka fungsi diatas akan diturunan terhadap ⃗
m m
dL
=⃗w −∑ α i x i y i=0 → ⃗
w =∑ α i x i y i
d⃗
w i=1 i=1

m
dL
=∑ α y =0
db i=1 i i

w ), diperoleh persamaan sebagai

Dengan memasukkan kedua persamaan diatas ke fungsi L(⃗
berikut.

Optimize
m m
1
W ( α ) =∑ α i − ∑ y i y j α i α j x i x j
i=1 2 i , j=1
Constrain
 m

∑ αi y i
i=1

Kernel Trick

Tinjauan permasalahan diatas berlaku untuk permasalahan-permasalahan data yang dapat

dipisahkan secara linear. Pada kenyataannya permasalahan cenderung pada data-data non
linear, maka dalam penyelesaiannya data-data tersebut perlu ditransformasikan ke dimensi
yang lebih tinggi dengan menggunakan kernel trick. Berikut adalah ilustrasi transformasi data.

Untuk melakukan transformasi data maka digunakan fungsi kernel. Adapun fungsi kernel yang
umum digunakan adalah sebagai berikut.

Linear K ( x 1 , x 2 )=x 1 . x 2

Polynomial K ( x 1 , x 2 )=(x1 . x 2 +1)n

2
−‖ x1− x2‖
2
2σ
RBF K ( x 1 , x 2 )=e

Sehingga dengan fungsi kernel persamaan W ( α ) menjadi,

Optimize
m m
1
W ( α ) =∑ α i − ∑ y y α α K (x i , x j)
i=1 2 i , j=1 i j i j
Constrain
∑ αi y i=0
Contoh soal
No x1 x2 y
1 1 1 -1
2 -1 1 1
3 1 -1 1
4 -1 -1 -1

Berikut adalah ilustrasi data diatas.

: -1
: +1
Pada ilustrasi diatas data tidak dapat dipisahkan dengan suatu garis linear, karena itu
permasalahan berikut merupakan permasalahan non linear. Karena itu diperlukan tranformasi
data dengan fungsi kernel. Pada solusi berikut akan digunakan kernel polinomial berderajat
dua. Sehingga persamaan W ( α ) menjadi seperti berikut.
m m
1
W ( α )=∑ α i− ∑ y i y j α i α j (x ¿ ¿ i x j +1)2 ¿
i=1 2 i , j=1

Bagian x i x j dihitung dengan matrix berikut.

1 1 2 0 0 −2

[ ][
xi x j = −1 1 1 −1
1 −1 1 1 −1 −1
−1 −1
1 −1
][
=
]
0
0 −2 2
−2 0
Kemudian dilakukan transformasi sehingga,
2 −2

0
0
0
2

2 0 0 −2 9 1 1 1

[
( x ¿ ¿ i x j +1)2= 0
−2 0
2 −2 0 = 1 9
0 −2 2
0
0
2
1 1
1 1
][ ] 1
9
1
1 ¿
1
9
 yi y j y 1 (−1) y 2 (1) y 3(1) y 4 (−1)

[ y1 (−1)
y i y j ( x ¿ ¿ i x j +1)2= y 2(1)
y3 (1)
y 4 (−1)
−1
−1
9

1
−1

−1
9
1
−1

−1
1
9 −1
1
−1 ¿

9
]
αi αj α1 α2 α3 α4

[ ]
2
α1 9 α1 −α 1 α 2 −α 1 α 3 α 1 α 4
2
y i y j α i α j ( x ¿ ¿ i x j +1) = α 2 −α 2 α 1 9 α 22 α 2 α 3 −α 2 α 4 ¿
α 3 −α 3 α 1 α 3 α 2 9 α 32 −α 3 α 4
α4 α 4 α 1 −α 4 α 2 −α 4 α 3 9 α 4 2

Dilanjutkan dengan perkalian

1
W ( α )=α 1+ α 2 +α 3 +α 4− (9 α 12 +9 α 22+ 9 α 32 +9 α 42−2 α 1 α 2−2 α 1 α 3 +2 α 1 α 4 +2 α 2 α 3−2 α 2 α 4−2α 3 α 4 )
2

Subject to
−α 1+ α 2 +α 3−α 4 =0
dan

α i≥ 0

Untuk memperoleh nilai optimum pada permasalahan diatas dapat menggunakan solver
komersial untuk QP, diperoleh α 1=α 2=α 3=α 4=0.125. Selain memanfaatkan QP solver
komersial (mungkin QP solver komersial tersebut juga mengimplementasikan salah satu
algoritma yang ada), ada beberapa teknik yang dapat digunakan untuk menyelesaikan
permasalahan ini salah satunya dengan algoritma yang diusulkan oleh vapnik sendiri yaitu
chunking, adapula teknik yang dikembangkan oleh Osuna, et al dimana dijelaskan bahwa
masalah QP problem yang besar dapat dibagi menjadi sub-sub QP, sedangkan yang terbaru
adalah SMO yang dijelaskan oelh John C. Platt dalam papernya yang berjudul “A fast
Algorithm for Training Support Vector Machine”. Namun, dalam kasus ini kami akan
berusaha menjelaskan dengan konsep-konsep kalkulus sederhana dalam pencarian solusi
permasalahan ini. Untuk mencari solusi optimum pada sebuah fungsi kita dapat melakukan
turunan parsial terhadap lagrange multipliers seperti berikut.

dW
=1−9 α 1 +α 2+ α 3−α 4 =0
d α1

dW
=1−9 α 2 +α 1−α 3 + α 4 =0
d α2
dW
=1−9 α 3 +α 1−α 2+ α 4 =0
d α3

dW
=1−9 α 4−α 1 +α 2+ α 3=0
d α4

Dengan demikian persamaan diatas dapat dirubah ke dalam bentuk matrix berikut.
−9 1 1 −1 ¿ −1

[ 1 −9 −1 1 ¿ −1
1 −1 −9 1 ¿ −1
−1 1 1 −9 ¿ −1
]
Pencarian solusi persamaan diatas dapat dilakukan dengan operasi gauss jordan sehingga
didapat matrix sebagai berikut.
1 0 0 0 ¿ 0.125

[0 1 0 0 ¿ 0.125
0 0 1 0 ¿ 0.125
0 0 0 1 ¿ 0.125
]
Akhirnya solusi yang didapat adalah α 1=α 2=α 3=α 4=0.125
Kelebihan

Tidak seperti NN (Neural Network) yang klasifikasinya bergantung pada inisialisasi-inisialisasi awal
pada parameter gradient descent sehingga sering kali terjebak pada solusi local optimum. Pada
ilustrasi diatas ada banyak sekali solusi yang mungkin untuk membagi kedua data dan SVM sendiri
menjamin solusi global optimum pada permasalahan tersebut. Walaupun tetap tidak dapat terhindar
dari permasalahan overfitting.
Review : A Novel Method To Predict Heart Disease Using Svm Algorithm
Author :
Review
Goal
Tujuan dari penelitian ini adalah bla bla bla
Data
Data yang digunakan pada jurnal ini diperoleh dari bla bla bla dan disimpan dalam format bla bla bla
Method
Pertama tama data di kumpulkan kemudian di bersihkan sehingga diperoleh fitur fitur tekanan darah,
temperature tubuh, dll (misal)
Metode yang digunakan SVM
Result
Dari hasil experiment diperoleh akurasi sekian, sensetifitas sekain, dll
Conculsion
Bla bla bla
Future Work
Pengembangan dapat dilakukan dengan bla bla bla