TUGAS REVIEW SUPPORT VECTOR MACHINE

(SVM), DECISION TREE C5.0, DECISION TREE CART

Ryo Shandy
205150401111030
Sistem Pengantar Keputusan A

1. Support Vector Machine

Support Vector Machine (SVM) adalah algoritma pembelajaran mesin yang
diawasi dan dapat digunakan untuk klasifikasi (Support Vector Clasification) dan regresi
(Support Vector Regression). SVM merupakan salah satu metode dalam supervise
learning. Metode SVM memiliki konsep yang lebih sistematis dan matang dibandingkan
metode-metode klasifikasi lainnya. SVM dapat mengatasi masalah klasifikasi dan regresi
menggunakan meodel linear dan non linear.
a. Model Linear
Model ini merupakan model yang umum digunakan untuk menyelesaikan
masalah klasifikasi dan regresi. Model linear merupakan model yang
mengkombinasikan linear dari fungsi basis. Model linear memiliki sifat komputasi
dan analitik yang penting. Penggunaan model linear dengan pendekatan parametrik
dalam metode klasik terbatas pada aplikasi praktis karena kutukan dimensi.
 b. Model Non-linear
Model non-linear digunakan terhadap data yang dipisahkan secaranon-linear.
Artinya jika dataset tidak dapat diklasifikasikan secara linear, maka data tersebut
disebut data non-linear dan pengklasifikasi yang digunakan disebut sebagai
pengklasifikasi SVM non-linear.

.
2. Decision Tree C5.0
Decision tree atau yang biasa dikenal dengan nama pohon keputusan merupakan
salah satu teknik klasifikasi. Decision tree adalah top-down pohon rekursif dari algoritma
induksi, yang menggunakan ukuran seleksi atribut untuk memilih atribut yang diuji.
Dengan adanya decision tree, seseorang dapat menggunakan sebagai prosedur penalaran
untuk mendapatkan jawaban dari sebuah permasalahan.
Salah satu jenis algoritma yang diterapkan dalam decision tree adalah algoritma
5.0. Algoritma C5.0 merupakan penyempurnaan dari algoritma sebelumnya yaitu ID3
dan C4.5. Pada algoritma ini pemilihan atribut diproses menggunakan gain ratio.
Algoritma C5.0 menghasilkan jumlah cabang per node yang lebih bervariasi.
Penerapan pembuatan tree pada algoritma C5.0 meliputi perhitungan entropy dan
gain. Adapun rumus untuk mencari nila entropy adalah sebagai berikut:

dengan :
S : Himpunan kasus
 k : Jumlah kelas pada variabel A
pj : Proporsi dari Sj dan S

Selanjutnya dilanjutkan pencarian nilai gain dengan menggunakan persamaan berikut:

S : Himpunan kasus
Si : Himpunan kasus pada kategori ke-i
A : Variabel
m : Jumlah kategori pada variabel A
|Si|: Jumlah kasus pada kategori ke-i
|S| : Jumlah kasus dalam S

Setelah mendapatkan nilai entropy dan gain, selanjutnya perhitungan nilai gain ratio.
Berikut merupakan rumus dasar dari perhitungan gain ratio:

dengan :
Gain(S, A) : Nilai gain dari suatu variabel

: Jumlah nilai entropy dalam suatu variabel

3. Decision Tree CART

Salah satu metode atau algoritma dari decision tree yaitu CART. Classification and
Regression Tree (CART) merupakan algoritma yang bertujuan untuk mendapatkan suatu
kelompok data yang akurat sebagai tanda dari suatu pengklasifikasian. CART juga dapat
digunakan sebagai penggambaran hubungan antara variable terikat dengan satu atau
lebih variabel bebas.
Kelebihan dari metode CART dibandingkan metode lainnya yaitu lebih mudah
diinterpretasikan, perhitungan lebih akurat dan lebih cepat, selain itu CART dapat
diterapkan untuk himpunan data dengan skala jumlah besar, variabel yang sangat banyak
dengan skala variaberl campuran melalui prosedur pemilahan biner.
 Proses penerapan pohon klasifikasi pada algoritma CART melalui tiga tahapan,
yaitu:
a. Pemilahan Pemilah
Berikut merupakan rumus pemilah:

dengan:
b : Banyaknya data pada suatu variabel
L : Banyaknya kategori pada suatu variabel

Selanjutnya adalah penentuan fungsi indeks gini. Fungsi indeks gini digunakan
untuk memisahkan kelas dengan anggota paling besar/kelas terpentng dalam simpul
terlebih dahulu. Berikut merupakan fungsi indeks gini:

dengan:
j,k : Kelas
P(j|t) : Probabilitas bersyarat kelas j yang berada dalam node t
P(k|t) : Probabilitas bersyarat kelas k yang berada dalam node t
dengan j(t) adalah fungsi keheterogenan indeks gini, P(j|t) adalah peluang j pada
node t, dan P(k|t) adalah peluang k pada node t.

b. Penentuan Node Terminal

Sebuah node t akan dipilah kembali apabila terdapat batasan minimum n
seperti hanya terdapat satu pengamatan pada tiap node anak. Pada umumnya jumlah
minimum dalam suatu terminal akhir adalah 5, ketika hal tersebut terpenuhi maka
pengembangan pohon akan dihentikan.

c. Penandaan Label Kelas

Penandaan label kelas pada simpul didasari aturan jumlah terbanyak dengan
persamaan:
dengan :
P(j|t) : Probabilitas bersyarat kelas j yang berada pada node t
mj(t) : Jumlah pengamatan pada kelas j pada node t
m(t) : Jumlah pengamatan pada node t