MAKALAH

MACHINE LEARNING

Support Vector Machine (SVM) & Support Vector Regression (SVR)

DISUSUN OLEH :
CARMENITA SIANIPAR (188160106)
JUNAIDI SIMANJUNTAK (188160014)
REDI SEBASTIAN SITUMORANG (188160030)
M. FARHAN DWI RYANDRA ( 178160047 )
DANIEL JERIKO PANJAITAN (178160023)

FAKULTAS TEKNIK
TEKNIK INFOMATIKA
UNIVERSITAS MEDAN AREA
2020
 PENDAHULUAN
1.1 Latar Belakang
Machine learning merupakan bagian dari kecerdasan buatan yang sering dipergunakan untuk
memecahkan berbagai masalah [ CITATION Roi20 \l 14345 ]. Seiring berlalunya waktu, machine
learning akan menggantikan dan juga meningkatkan kemampuan dari manusia di berbagai
bidang[ CITATION Nay17 \l 14345 ].
Salah satu metode machine leaning adalah Support Vector Machine (SVM) [ CITATION
Mun16 \l 14345 ]. Support Vector Machine (SVM) adalah suatu teknik untuk melakukan
perkiraan, baik dalam kasus klasifikasi maupun regresi[CITATION San \l 14345 ]. Support Vector
Machine ditemukan dan juga diperkenalkan oleh Boser, Guyon, Vepnik dan disampaikan untuk
pertama kalinya pada tahun 1992 di Annual Workshop on Computatonal Learning
Theory[ CITATION Mui15 \l 14345 ].
Support Vector Machine (SVM) dikenal sebagai teknik pembelajaran mesin (Machine
learning) yang paling baru setelah pembelajaran mesin yang sebelumnya dikenal sebagai neural
networks (NN).SVM ataupun Neural Networks tersebut telah berhasil dipergunakan di dalam
pengenalan pola. Pembelajaran ini dilakukan dengan menggunakan pasangan data input serta
data output berupa sasaran yang diinginkan. Pembelajaran dengan cara ini disebut dengan
pembelajaran terarah (supervised learning)[ CITATION Put16 \l 14345 ].
Pembelajaran dilakukan secara berpasangan yaitu pasangan data input serta output berupa
sasaran yang diinginkan atau biasa disebut pembelajaran terarah [ CITATION Paw15 \l 14345 ].
Pembelajaran yang terarah ini akan menimbulkan hasil yang bisa menggambarkan bentuk
ketergantungan input dan outputnya, harapannya fungsi tersebut bisa memproses data input di
luar data pembelajaran. [ CITATION Paw15 \l 14345 ].
Salah satu keuntungan dari metode SVM yaitu dapat meningkatkan kinerja pada generalisasi
dengan pemilihan penggunaan fungsi kernel yang tepat. Oleh karena itu pemilihan kernel untuk
aplikasi tertentu sangat penting[ CITATION Fet19 \l 14345 ]. Fungsi kernel merupakan suatu fungsi
yang memetakan data ke ruang dimensi yang lebih tinggi dengan harapan data akan memiliki
struktur yang lebih baik sehingga lebih mudah dipisahkan[ CITATION Fet19 \l 14345 ].

1.2 Rumusan Masalah

Berikut ini ada adalah rumusan masalah yang akan dibahas :
a. Support Vector Machine
b. Support Vector Machine Regression
c. Aplikasi SVM menggunakan Phyton
1.3 Tujuan
a. Agar dapat mengerti tentang SVM (Support Vector Machine)
b. Agar dapat mengerti tentang Support Vector Machine Regression
c. Agar dapat mengetahui contoh aplikasi menggunakan SVM melalui phyton

I. SUPPORT VECTOR MACHINE (SVM)

Support Vector Machine (SVM) adalah suatu teknik untuk melakukan prediksi, baik dalam
kasus klasifikasi maupun regresi (Santosa, 2007). SVM memiliki prinsip dasar linier classifier
yaitu kasus klasifikasi yang secara linier dapat dipisahkan, namun SVM telah dikembangkan
agar dapat bekerja pada problem non-linier dengan memasukkan konsep kernel pada ruang kerja
berdimensi tinggi. Pada ruang berdimensi tinggi, akan dicari hyperplane (hyperplane) yang dapat
memaksimalkan jarak (margin) antara kelas data. Menurut Santosa (2007) hyperplane klasifikasi
linier SVM dinotasikan :
f(x) = wTx + b
sehingga menurut Vapnik dan Cortes (1995) diperoleh persamaan
[(wT . xi ) + b) ≥ 1 untuk yi = +1
[(wT . xi ) + b)≤ -1 untuk yi = -1
dengan, xi = himpunan data training, i = 1,2,...n dan yi = label kelas dari xi [ CITATION Vap95 \l
1033 ]

SVM merupakan sistem pembelajaran yang menggunakan ruang hipotesis berupa fungsi
fungsi linier dalam sebuah ruang ciri berdimensi tinggi, dilatih dengan algoritma pembelajaran
yang didasarkan pada teori optimasi dengan mengimplementasikan bias pembelajaran yang
berasal dari teori pembelajaran statistik[ CITATION Nen16 \l 14345 ]
Konsep SVM bermula dari masalah klasifikasi dua kelas sehingga membutuhkan training set
positif dan negatif. SVM berusaha menemukan hyperplane (pemisah) terbaik untuk memisahkan
ke dalam dua kelas dan memaksimalkan margin antara dua kelas tersebut [ CITATION Pra18 \l
14345 ].
Dengan jumlah fitur yang sangat tinggi, SVM telah menunjukkan hasil yang sangat baik.
Pendekatan klasifikasi dan seleksi fitur yang diajukan, sederhana serta alur yang bisa ditelusuri,
dan mencapai rata rata error yang rendah[ CITATION Wid17 \l 14345 ].

A. Karakteristik SVM
Yang menjadi karakteristik dari SVM menurut [ CITATION Enr18 \l 14345 ] adalah sebagai
berikut:
1. Secara prinsip SVM adalah linear classifier
2. Pattern recognition dilakukan dengan merubah data pada input space ke ruang
yang berdimensi lebih tinggi, dan pengoptimalan dilakukan pada ruang vector
yang baru tersebut
3. Mengaplikasikan strategi Structural Risk Minimization (SRM)
4. Prinsip kerja SVM pada dasarnya hanya bisa menangani klasifikasi dua kelas
 Secara sederhana konsep SVM adalah sebagai usaha untuk mencari hyperlane yang terbaik
sebagai pemisah dua buah class pada input space.

B. Kelebihan dan kekurangan SVM

Menurut [ CITATION Nav15 \l 14345 ] kelebihan dari SVM adalah metode perhitungan yang baik
di dalam mendapatkan hasil klasifikasi dengan tingkatan akurasi yang tinggi. SVM juga
mempunyai kelebihan yaitu dapat mengolah data berdimensi tinggi, tanpa mengalami penurunan
performa yang signifikan[ CITATION Pur15 \l 14345 ].

II. SUPPORT VECTOR MACHINE REGRESSION

Support Vector Regression (SVR) merupakan pengembangan SVM untuk kasus regresi.
Tujuan dari SVR ini adalah untuk mendapatkan sebuah fungsi sebagai suatu hyperplane (garis
pemisah) berupa fungsi regresi yang mana sesuai dengan semua input data dengan sebuah error
dan membuat setipis mungkin[ CITATION Ama14 \l 14345 ].
SVR ini merupakan penerapan algoritme SVM dalam kasus regresi. Pada metode SVM
adalah penerapan dari teori pembelajaran mesin (machine learning) kasus klasifikasi yang
menghasilkan nilai bulat, sedangkan pada algoritme Support Vector Regression (SVR) yaitu
untuk penerapan kasus regresi yang menghasilkan keluaran yang berupa bilangan riil [ CITATION
Mau19 \l 14345 ].
 III
IMPLEMENTASI SVM MENGGUNAKAN PYTHON

Dataset yang digunakan dalam contoh implementasi dari 151 data bunga iris kami ambil dari
https://www.kaggle.com/arshid/iris-flower-dataset untuk membedakan dua data kelas yaitu
bentuk sepal atau petal,berikut penerapannya

import vega_datasets
import matplotlib.pyplot as plt
import seaborn as sn
import numpy as np
from sklearn import svm
--Code ini dilakukan untuk mengimport data menggunakan library vega_datasets dan memanggil
library yang akan dibutuhkan dalam pengklasifikasi sv--

iris = vega_datasets.data.iris()
iris = iris.drop(iris[iris['species']== 'virginica'].index)
--Code ini dilakukan untuk menghapus data/species dari vega_dataset yaitu virginica,sebab yang
akan digunakan hanya dua kelas data yaitu setosa dan versicolor—

sn.pairplot(iris,hue='species')
--Code ini untuk menampilkan data versi grafik dari species setosa dan versicolor—

Dari gambar grafik diatas kita dapat melihat data dari species setosa dan versicolor
clf = svm.SVC(kernel='linear')
X = iris[['sepalWidth','petalWidth']]
y = iris ['species']
clf.fit(X,y)
--code untuk menggunakan klasifikasi menggunakan svm—

colors = {'setosa': 'b', 'versicolor': 'r'}

plt.scatter(iris['sepalWidth'],iris['petalWidth'],c=[colors[r] for r in iris['species']])
-- untuk melihat pembatas menggunakan kernel linear namun belum menggunakan hyperline—

--untuk memisahkan menggunakan hyperline

antara sepal dan petal dari species setosa dan versicolor menggunakan hyperline.—

colors = {'setosa': 'b', 'versicolor': 'r'}

plt.scatter(iris['sepalWidth'],iris['petalWidth'],c=[colors[r] for r in iris['species']])

ax = plt.gca()
xlim = ax.get_xlim()
ylim = ax.get_ylim()
xx = np.linspace(xlim[0],xlim[1],30)
yy = np.linspace(ylim[0],ylim[1],30)
XX,YY = np.meshgrid(xx,yy)
xy = np.vstack([XX.ravel(),YY.ravel()]).T
Z = clf.decision_function(xy).reshape(XX.shape)

ax.contour(XX,YY,Z, colors='k', levels = [-1,0,1], alpha =0.5, linestyles=['--','-','--'])

--untuk melihat contoh predict svm dari yang kita buat menggunakan data 3.0,0.25 berada pada
setosa atau versicolor--
clf.predict([[3.0,0.25]])

Dari gambar diatas dapat kita lihat melalui klasifikasi svm dapat kita lihat untuk membedakan
dua data kelas dibutuhkan garis pembatas untuk mendapatkan hasil dari klasfikasi yang ingin
kita peroleh.
 DAFTAR PUSTAKA

Amanda, R., Yasin, H., & Prahutama, A. (2014). ANALISIS SUPPORT VECTOR REGRESSION (SVR) DALAM
MEMPREDIKSI KURS RUPIAH TERHADAP DOLLAR AMERIKA SERIKAT. JURNAL GAUSSIAN.

Enri, U. (2018). OPTIMASI PARAMETER SUPPORT VECTOR MACHINES UNTUK PREDIKSI NILAI TUKAR
RUPIAH TERHADAP DOLLAR AMERIKA SERIKAT. JURNAL GERBANG, 8.

Feta, N. R., & Ginanjar, A. R. (2019). KOMPARASI FUNGSI KERNEL METODE SUPPORT VECTOR MACHINE
UNTUK PEMODELAN KLASIFIKASI TERHADAP PENYAKIT TANAMAN KEDELAI. BRITech (Jurnal
Ilmiah Ilmu Komputer, Sains dan Teknologi Terapan), 1.

Maulana, N. D., Setiawan, B. D., & Dewi Candra. (2019, Maret). Implementasi Metode Support Vector
Regression (SVR) Dalam Peramalan Penjualan Roti (Studi Kasus: Harum Bakery). Jurnal
Pengembangan Teknologi Informasi dan Ilmu Komputer, 3.

Muis, A. I., & Affandes, M. (2015, Juni 2). Penerapan Metode Support Vector Machine (SVM)
Menggunakan Kernel Radial Basis Function (RBF) Pada Klasifikasi Tweet. Jurnal Sains, Teknologi
dan Industri.

Munawarah, R., Soesanto, O., & Faisal, M. R. (2016). PENERAPAN METODE SUPPORT VECTOR MACHINE
PADA DIAGNOSA HEPATITIS. Kumpulan jurnaL Ilmu Komputer (KLIK).

Navin, P., & Singh, Y. (2015). Support vector machines for face recognition. IRJET, 02(08).

Nayak, A., & Dutta, K. (2017). Impacts of machine learning and artificial intelligence on mankind.
International Conference on Intelligent Computing and Control (I2C2).

Neneng, Adi, K., & Isnanto, R. (2016). Support Vector Machine Untuk Klasifikasi Citra Jenis Daging
Berdasarkan Tekstur Menggunakan Ekstraksi Ciri Gray Level Co-Occurrence Matrices (GLCM).
Jurnal Sistem Informasi Bisnis .

Pawening, Brian, & Suciati. (2015). Classification of textile image using support vector machine with
textural feature. Information & Communication Technology and Systems (ICTS).

Pratama, A., Wihandika, R. C., & Ratnawati, D. E. (2018). Implementasi Algoritme Support Vector
Machine (SVM) untuk Prediksi Ketepatan Waktu Kelulusan Mahasiswa. Jurnal Pengembangan
Teknologi Informasi dan Ilmu Komputer.

Purnawaran, I. K. (2015). SUPPORT VECTOR MACHINE PADA INFORMATION RETRIEVAL. Jurnal

Pendidikan Teknologi dan Kejuruan.

Putranto, R. A., Wuryandari, T., & Sudarno. (2016). PERBANDINGAN ANALISIS KLASIFIKASI ANTARA
DECISION TREE DAN SUPPORT VECTOR MACHINE MULTICLASS UNTUK PENENTUAN JURUSAN
PADA SISWA SMA. JURNAL GAUSSIAN, 4.

Roihan, A., Sunarya, P. A., & Rafika, A. S. (2020). Pemanfaatan Machine Learning dalam Berbagai Bidang:
Review paper. Indonesian Journal on Computer and Information Technology.

Santosa. (2007). Data Mining Teknik Pemanfaatan Data untuk Keperluan Bisnis. Yogyakarta: Graha Ilmu.
Santoso, B. (2007). Data Mining Konsep dan Aplikasi Menggunakan MATLAB.

Vapnik, V. d. (1995). Support Vector Networks. Machine Learning. 20,273-297. .

Widiastutui, N. I., Rainarli, E., & Dewi, K. (2017). Peringkasan dan Support Vector Machine pada
Klasifikasi Dokumen. JURNAL INFOTEL.

https://www.kaggle.com/arshid/iris-flower-dataset