Anda di halaman 1dari 8

Support Vector Machines

Pendahuluan
Support Vector Machines (SVM) adalah sistem pembelajar yang menggunakan sebuah
ruang hipotesis fungsi linier dalam ruang fitur berdimensi tinggi, dilatih dengan menggunakan
sebuah algoritma pembelajar dari teori optimasi yang mengimplementasikan sebuah bias
pembelajar yang diturunkan dari teori pembelajar statistika. Strategi pembelajar yang
diperkenalkan oleh Vapnik dan timnya merupakan sebuah metode yang powerful dalam
beberapa tahun sejak diperkenalkan dan telah melebihi sistem yang lain dalam berbagai aplikasi.
Decision Support System (DSS) merupakan sebuah sistem yang bertujuan untuk
mendukung pembuat keputusan manajerial dalam keputusan semistruktur dan tidak terstruktur.
Model DSS merupakan acuan dan salah satu kunci utama dari sebuah DSS yang menjelaskan
bagaimana sistem bekerja membantu dalam pengambilan keputusan.
Sejarah dan Perkembangan Support Vector Machines
Algoritma support vector machinesmerupakan sebuah generaliasasi nonlinier dari
algoritma Generalized Potrait yang berkembang di Rusia pada tahun 1960-an (1963, 1964).
Algoritma tersebut berakar dari teori pembelajar statistika yang telah dikembangkan selama 3
dekade oleh Vapnik dan Chervonenkis. SVM diperkenalkan oleh Vapnik, Boser, dan Guyer
dalam konferensi COLT tahun 1992 dalam sebuah jurnal dan berkembang dengan sangat cepat.
Pada awalnya dipopulerkan oleh komunitas Neural Information Processing Systems (NIPS).
Sejak saat itu, SVM menjadi bidang penting dan aktif dalam penelitian machine learning.
website SVM tersentralisasi di www.kernel-machines.org. Sekarang, banyak beragam komunitas
yang membahas mengenai machine learning, optimization, statistics, neural networks, functional
analyisis, dan lain-lain. SVM sukses diaplikasikan dalam berbagai bidang seperti bioinformatika,
pengenalan tulisan tangan dan bidang lainya.
Walau saat pertama kali diperkenalkan ke dunia sejak akhir tahun 1970-an (Vapnik,
1979), support vector machines tidak mendapat banyak perhatian oleh para peneliti. Hanya
setelah Vladimir Vapnik kembali menerbitkan bukunya pada tahun 1990-an (Vapnik, 1995;
Vapnik, 1998) dan dapat menunjukkan aplikasi nyata, support vector machines kemudian
berkembang pesat. Salah satu yang menjadi penyebab adalah tersimpan teori matematika yang
mendalam di balik support vector machines di banding kedua kerabatnya di bidang soft
computing, yaitu neural network dan fuzzy logic.
Jenis-jenis Support Vector Machines
Karena konsep awal support vector machineshanya untuk mengatasi masalah klasifikasi dua
klas maka SVM tidak dapat diterapkan untuk masalah multiclass sehingga dikembangkan
metode-metode pengambilan keputusan untuk mengatasi masalah ini. Metode-metode tersebut
antara lain metode one-against-all, metode one- against-one (pairwise), metode decision
directed acyclic graph, dan sebagainya. Perkembangan SVM pun dinilai sangat cepat, hal ini

ditandai dengan banyaknya variasi-variasi SVM yang telah berhasil dikembangkan oleh para
peneliti. Shigeo Abe (2010) mencatat sedikitnya terdapat lima jenis SVM antara lain :
1.
2.
3.
4.
5.

Least- Squares Support Vector Machines (LSVM)


Linear Programming Support Vector Machines (LPSVM)
Sparse Support Vector Machines (SSVM)
Robust Support Vector Machines (RSVM)
Bayesian Support Vector Machines (BSVM)

Masih banyak lagi variasi SVM yang telah dikembangkan, namun jelas bahwa masingmasing variasi SVM tersebut memiliki kelemahan dan keunggulan tersendiri.
Kernel Support Vector Machines
Pada machine learning, kernel adalah sebuah kelas algoritma untuk menganalisa pola.
Tugas utama kernel adalah untuk menemukan dan mempelajari tipe-tipe hubungan pada dataset
seperti pengelompokan, klasifikasi, pengurutan, dan korelasi. Umumnya, kernel menggunakan
data yang telah direpresentasikan dalam vector.
Konsep dasar SVM sebenarnya merupakan kombinasi harmonis dari teori-teori
komputasi yang telah ada puluhan tahun sebelumnya, kernel diperkenalkan oleh Aronszajn tahun
1950, dan demikian juga dengan konsep-konsep pendukung yang lainnya. Akan tetapi hingga
tahun 1992, belum pernah ada upaya merangkaikan komponen-komponen tersebut.
Penerapan metode kernel ada bermacam-macam antara lain pada geostatistika,
rekonstruksi 3D, bioinformatika, kemoinformatika, ekstraksi informasi, dan pengenalan tulisan
tangan.
Penerapan Support Vector Machines
Banyak sekali contoh penerapan SVM untuk DSS di berbagai bidang diantaranya adalah sebagai
berikut :
1. Bidang Kedokteran
SVM digunakan untuk mengklasifikasikan berbagai macam penyakit jantung, identifikasi
kebenaran intubasi pada trakea.
2. Bidang Transportasi
SVM digunakan untuk klasifikasi pendaratan darurat pesawat terbang sipil.
3. Bidang Industri
SVM digunakan untuk meramalkan kebutuhan (demand forecasting), penaksiran
properti, prediksi kebangkrutan.
4. Bidang Ekonomi
SVM digunakan untuk memprediksi harga saham.
5. Bidang Forensik
SVM digunakan untuk mengenali tulisan tangan, sidik jari.

Karakteristik Support Vector Machines


Karakteristik SVM adalah sebagai berikut:
1. SVM merupakan pengklasifikasi linier.
2. Pattern recognition dilakukan dengan mentransformasikan data pada input space ke ruang
yang berdimensi lebih tinggi, dan optimisasi dilakukan pada ruang vector yang baru
tersebut. Hal ini membedakan SVM dari solusi pattern recognition pada umumnya, yang
melakukan optimisasi parameter pada ruang hasil transformasi yang berdimensi lebih
rendah daripada dimensi input space.
3. SVM Menerapkan strategi Structural Risk Minimization (SRM), yaitu strategi untuk
mengurangi eror yang dipengaruhi oleh dimensi.
4. SVM pada dasarnya hanya mampu menangani klasifikasi dua class.
Persyaratan Data Support Vector Machines
Syarat data Support Vector Machines :
1. SVM dapat menangani data yang terdiri dari dua kelas atau lebih, namun SVM lebih
cocok untuk menangani data yang terdiri dari dua kelas. Untuk data berkelas lebih dari
dua, SVM perlu dimodifikasi terlebih dahulu.
2. SVM dapat memakai sedikit data training, tidak seperti NN yang memerlukan data
training yang besar.
3. SVM dapat bekerja dengan baik walaupun data berdimensi tinggi.
4. SVM dapat menangani data non-linear, meski sebenarnya SVM adalah linear clasifier.
Ruang Lingkup Support Vector Machines
Adapun beberapa Ruang Lingkup permasalahan yang dapat diselesaikan menggunakan
Support Vector Machines diantaranya :
1. Pengolahan Citra
Klasifikasi Citra Dengan Support Vector Machine
Support Vector Machine (SVM) adalah salah satu teknik klasifikasi data dengan proses
pelatihan supervised learning). Salah satu ciri dari metode klasifikasi SVM adalah
menemukan hyperplane terbaik sehingga diperoleh ukuran margin yang maksimal.
Margin adalah jarak antara hyperplane tersebut dengan titik terdekat dari masing-masing
kelas. Titik yang paling dekat ini disebut dengan support vector. Klasifikasi citra dengan
menggunakan SVM mencapai akurasi sebesar 86.67%. Hasil klasifikasi tersebut
selanjutnya digunakan untuk penemuan kembali citra (image retrieval). Pada penelitian
ini, temu kembali citra diujicobakan kedua metode yang berbeda untuk melihat
perbedaan tingkat keefektifan hasil temu kembali citra. Dua metode ini adalah temu
kembali citra tanpa menggunakan SVM dan temu kembali citra menggunakan SVM.
Hasil temu kembali citra tanpa menggunakan SVM hanyadidasarkan pada kemiripan ciri
warna menggunakan perhitungan jarak Euclidean. Contoh hasil temu kembali tanpa

menggunakan SVM dapat dilihat pada Gambar dibawah ini.

Gambar diatas memperlihatkaan bahwa citra hasil temu kembali tidak sepenuhnya berasal dari
jenis citra yang sama dengan citra kueri. Citra-citra tersebut cenderung berwarna biru, berbeda
sekali dengan warna citra kueri yang cenderung berwarna hijau kekuningan. Hal ini dikarenakan
sistem hanya menemukembalikan citra di dalam basis data yang mempunyai tingkat kemiripan
yang tinggi dengan citra kueri. Kekurangan sistem ini diperbaiki oleh temu kembali citra
menggunakan SVM yang dapat dilihat pada Gambar diatas . Berdasarkan Gambar diatas, dapat
dilihat bahwa citra hasil temu kembali dengan menggunakan SVM lebih baik Hal ini
dikarenakan sistem mempunyai model klasifikasi untuk memprediksi baik citra kueri maupun
seluruh citra di dalam basis data sehingga diperoleh kelas yang baru untuk setiap citra. Citra
yang ditemukembalikan adalah citra hasil klasifikasi di dalam basis data yang terdapat dalam
kelas citra yang sama dengan citra kueri dan citra dari kelas lain yang memiliki tingkat kemiripan
yang tinggi dengan citra kueri. Dari hasil diatas dapatdisimpulkan bahwa rataan precision hasil
temu kembali citra menggunakan SVM cenderung lebih baik dibandingkan tanpa menggunakan
SVM untuk setiap nilai recall. Klasifikasi dengan SVM menghasilkan average precision sebesar
76,76% sedangkan tanpa menggunakan SVM mencapai 50,91%. Dengan demikian metode
klasifikasi SVM dapat digunakan untuk sistem temu kembali citra
Pengolahan Audio
Konten Berbasis Audio Klasifikasi dan pembukaan Menggunakan SVM Belajar
Metode SVM digunakan untuk konten berbasis audio klasifikasi dan pengambilan. Seperti
NFL, SVM yang memiliki kinerja yang baik dalam klasifikasi audio dan pengambilan, lebih baik
daripada saat ini dicapai oleh sistem MuscleFish. SVM Ketika diuji menggunakan pelatihan
terpisah dan set test, lebih menguntungkan dibandingkan NFL dalam hal pengambilan efisiensimenunjukkan perusahaan kata generalisasi kemampuan untuk diklasifikasikan. Sify pola tak
2.

terlihat pada training set. Namun, SVM membutuhkan waktu lama untuk melatih, dan saat ini,
dan kebutuhan untuk memilih kernel fungsi dan parameter di dalamnya yang saat ini
dipraktekkan oleh trial and error

3. Data Mining

Aplikasi Data Mining Untuk Memprediksi Kelas Resiko Pemberian Kredit Menggunakan
Support Vector Machine (Svm)
Didalam kegiatan perkreditan sering terjadi masalah kredit macet atau kredit bermasalah yang
disebabkan oleh gagalnya pengembalian sebagian pinjaman yang diberikan kepada para
peminjam. Masalah ini sebenarnya dapat diatasi, salah satunya dengan mengidentifikasi dan
memprediksi nasabah dengan baik sebelum memberikan pinjaman dengan cara memperhatikan
data historis pinjaman. SVM adalah suatu teknik dalam Data Mining yang dapat dipakai untuk
melakukan klasifikasi. Dalam teknik SVM untuk masalah klasifikasi k-kelas , kita menemukan k
fungsi pemisah . Kemudian kelas dari suatu data atau obyek baru kkbZwbZwbZw+++.,..., 1. 1 , 2
. 2 Z ditentukan berdasarkan nilai terbesar dari fungsi pemisah: =jclass of Z=. mmkmb+ w Z =
argmax . 1,2,..., Hasil yang diperoleh dari Tugas Akhir ini adalah metode SVM dapat digunakan
untuk memprediksi calon nasabah baru dengan melakukan pengenalan pola data historis.
4. Klasifikasi Dokumen Web

Penerapan Support Vector Machine untuk Ekstraksi Informasi dari Dokumen Teks
Proses ekstraksi informasi (Information Extraction atau IE) adalah proses pengubahan
dokumen teks tidak terstruktur dengan domain tertentu ke dalam sebuah struktur informasi yang
relevan. Di dalam tugas akhir ini domain yang digunakan adalah lowongan pekerjaan.
Kebanyakan iklan lowongan pekerjaan yang terdapat di berbagai website perusahaan maupun
website khusus lowongan pekerjaan di Indonesia merupakan dokumen teks berbahasa campuran,
Indonesia dan Inggris. Pada proses ekstraksi informasi pada dataset berbahasa campuran, dengan
menerapkan teknik pembelajaran mesin. Pendekatan pembelajaran mesin yang digunakan adalah
pendekatan statistik, dengan metode klasifikasi token. Algoritma klasifikasi yang digunakan
adalah Support Vector Machine (SVM) dengan uneven margin, yang didesain khusus untuk
imbalanced dataset. Sedangkan strategi tagging yang digunakan adalah strategi Begin/End (BE)
tagging. Adapun eksperimen yang dilakukan mencakup analisis performansi SVM dengan
uneven margin untuk ekstraksi informasi pada dataset berbahasa campuran, pengujian parameter
pembelajaran terbaik, dan perbandingan dengan algoritma klasifikasi lain, yaitu Nave Bayes dan
KNN.
5. Peramalan (Forecasting)

Implementasi Kernel Wavelet Dan Support Vector Machine Untuk Prediksi Volatilitas
Salah satu permasalahan dalam hal prediksi kondisi volatilitas Dari pasar modal adalah dalam

fungsi-fungsi kernel yang ada dalam metode Support Vector Machine (SVM) tidak bisa
menangkap fiturfitur dari pengelompokan volatilitas secara akurat. Dan sementara itu, dalam
fungsi wavelet terdapat fitur yang mendeskripsikan time series dari volatilitas.
Metode Support Vector Regression (SVR) yang hampir sama dengan SVM digunakan untuk
memprediksi volalitas. Perbedaanya adalah SVM biasanya digunakan untuk masalah klasifikasi
dan pada SVR digunakan untuk masalah regresi dan kernel yang digunakan adalah kernel
wavelet. Pada pengimplementasian prediksi volatilitas dengan menggunakan SVR kernel
wavelet, akan digunakan juga kernel lain sebagai pembanding yaitu kernel gaussian.
Pengaplikasian untuk masalah prediksi volatilitas dilakukan melalui simulasi komputer dan
percobaan dalam data di dunia nyata (data time series).

Analisis Artikel Support Vector Machine


A Novel SVM Decision Tree and its application to Face Detection
Masalah atau isu
Dalam hal pendeteksian wajah, telah banyak dilakukan oleh sebagian orang akan tetapi
masalah kecepatan tanpa kehilangan akurasi masih menjadi topic menarik untuk dibahas.
Untuk mempercepat klasifikasi vektor, diperkenalkan metode baru dari pengembangan
SVM yang diberi nama SVM Decision Tree.
Data yang digunakan
Penelitian dengan menggunakan metode pengembangan SVM telah banyak dilakukan
oleh sebagian orang salah satu nya pada bidang deteksi wajah yang dilakukan oleh SUN
Jian-qing, WANG Gong-gui, HU Qiong, dan LI Shou-yi dalam jurnalnya yaitu A Novel
SVM Decision Tree and it Application to Face Detection. Ukuran deteksi wajah ialah
19x19, ketika berhadapan dengan ukuran yang lebih besar, gambar input perlu dideteksi
berulang kali untuk mengurangi ukuran(sub-sampling), SVM mereka terapkan untuk
ukuran tersebut.
Data untuk pelatihan menggunakan database wajah frontal MIT-CBCL, terdiri dari 2429
citra grayscale berukuran 19 19 piksel, dan 4548 citra non-grayscale berukuran 19 19,
mereka juga memakai database wajah AT & T yang berisi 400 citra , semua citra yang
dipotong dengan ukuran 57 57, dan diubah ukurannya menjadi 19 19, dan 100 citra
yang diperoleh dari Internet. Jadi, total semua citra yang digunakan berjumlah 5858.
Akurasi
Dalam penelitian yang dilakukan SUN Jian-qing dkk, mereka menerapkan SVM Decision
Tree, dimana node ada keputusan hyperplane, keputusan hyperplane akhir ialah non

linier, dan yang lainnya adalah linier. Sebagian sampel keputusan negatif ditolak oleh
hyperplane akhir. Dan hanya memerlukan sedikit pengklasifikasian oleh keputusan non
liniear hyperlane. Dalam SVM Decision Tree dikenalkan EM-PCA. W didapatkan dari
pelatihan liner SVM, lalu dikali dengan vektor eigen. Hasilnya disimpan dan digunakan
untuk klasifikasi. Untuk lebih jelas nya kita lihat tabel perbandingan antra SVM standar
dengan SVM Decision Tree.

Terlihat dalam tabel, dari 163 wajah yang dideteksi, SVM Decision Tree memiliki speed
up factor lebih tinggi yaitu 9.78 tanpa mengurangi rasio deteksi dan kesalahan deteksi,
jadi dapat dikatan SVM Decision tree dapat menekan waktu dalam proses klasifikasi
wajah.
Kesimpulan
Makalah ini memperkenalkan Support Vector Machine sebagai salah satu metode yang
mendapat banyak perhatian oleh peneliti. Kelebihan SVM adalah kemampuannya untuk
menemukan hyperplane terbaik menggunakan strategi Structural Risk Minimization (SRM).
Kemudian pada bagian makalah ini juga membahas artikel pengenalan wajah menggunakan
SVM Decision Tree yang terbukti berdasarkan eksperimen lebih cepat dalam proses klasifikasi
wajah dibandingkan menggunakan SVM biasa.

Referensi
Abe, S. (2010). Support Vector Machines for Pattern Classification.
Cristianini, Nello dan Shawe-Taylor, John. 2000. An Introduction to Support Vector Machines
and Other Kernel-Based Learning Methods. Cambridge:Cambridge University Press.
Nugroho, A. W. (2003). Application of Support Vector Machine in Bioinformatics. Proceeding
of Indonesian Scientific Meeting in Central.
Nugroho, A. W. (2003). Support Vector Machines - Teori dan Aplikasinya. Ilmukomputer.org.
Turban, Efraim. Et al. 2011. Decision Support and Business Intelligence System : Ninth Edition.
New Jersey: Pearson Education, inc.
Kernel method - http://en.wikipedia.org/wiki/Kernel_method diakses pada 25 Oktober 2014.

TUGAS PENGENALAN POLA


SUPPORT VECTOR MACHINE (SVM)

Nama Kelompok :
1.Ade Kurniawan
2.Alkahfi Balkoini Pamungkas
3.Arief Rahmansyah
4.Arif Kurniawan

FAKULTAS ILMU KOMPUTER


UNIVERSITAS SRIWIJAYA