Analisis Pengaruh Seleksi Fitur Information Gain dan Mutual Information pada

Klasifikasi Sentimen Ulasan Film Menggunakan Support Vector Machine

Hanif Salafi1, Adiwijaya2, Untari Novia Wisesty3

1,2,3
Fakultas Informatika, Universitas Telkom, Bandung
1
hanifsalafi@student.telkomuniversity.ac.id, 2adiwijaya@telkomuniversity.ac.id,
3
untarinw@telkomuniversity.ac.id

Abstrak
Analisis sentimen adalah teknik identifikasi emosi yang diekspresikan dalam bentuk teks. Tujuan analisis
sentimen adalah untuk menentukan pendapat positif atau negatif dalam suatu kalimat atau dokumen.
Salah satu cara untuk menentukan positif atau negatif dari suatu pendapat dapat dilakukan dengan
klasifikasi teks. Namun, klasifikasi teks mempunyai masalah yaitu banyaknya atribut yang digunakan pada
sebuah dataset. Seleksi fitur memiliki peran penting untuk mengurangi atribut yang kurang relevan dari
suatu dataset. Metode pemilihan fitur seperti Information Gain (IG) dan Mutual Information (MI) adalah
metode yang umum digunakan pada klasifikasi teks. Pada penelitian ini domain yang digunakan adalah
ulasan film. Masing-masing dari kedua metode pemilihan fitur tersebut dijadikan sebagai seleksi fitur
untuk membantu meningkatkan performansi algoritma klasifikasi Support Vector Machine (SVM). Hasil
dari pengklasifikasian SVM dengan kedua metode seleksi fitur tersebut menunjukkan bahwa penggunaan
seleksi fitur dengan SVM dapat meningkatkan nilai akurasi, dimana saat tidak menggunakan seleksi fitur
hanya mendapatkan akurasi sebesar 88.75%, sedangkan jika ditambahkan seleksi fitur nilai akurasi
meningkat menjadi 89.05%. Kemudian ketika kedua seleksi fitur tersebut dibandingkan, Information Gain
memberikan hasil yang sama dengan Mutual Information dengan nilai akurasi tertinggi sebesar 89.05%.
Dengan demikian, penggunaan Information Gain sebagai seleksi fitur pada algoritma klasifikasi SVM
memberikan hasil yang sama dengan Mutual Information.

Kata kunci: Analisis Sentimen, Klasifikasi, Ulasan Film, Information Gain, Mutual Information, Support
Vector Machine

Abstract
Sentiment analysis is an emotional identification technique that is expressed in the form of text. The purpose
of sentiment analysis is to determine positive or negative opinions in a sentence or document. One way to
determine the positive or negative opinions can be done by text classification. However, text classification
has a problem, that is the number of attributes used in a dataset. Feature selection has an essential role in
reducing the less relevant attributes of a dataset. Selection methods for features such as Information Gain
(IG) and Mutual Information (MI) are methods commonly used in text classification. In this study, the
domain used was a movie review. Each of the two feature selection methods is used as a feature selection to
help improve the performance of the Support Vector Machine (SVM) classification algorithm. The results
of SVM classification with the two feature selection methods indicate that the use of feature selection with
SVM can increase the value of accuracy, where when not using feature selection only get an accuracy of
88.75%, while if added feature selection the accuracy increases to 89.05%. Then when the two feature
selections are compared, Information Gain gives the same results as Mutual Information with the highest
accuracy value of 89.05%. Thus, the use of Information Gain as a feature selection on the SVM classification
algorithm gives the same results as Mutual Information.

Keywords: Sentiment Analysis, Classification, Movie Reviews, Information Gain, Mutual Information,
Support Vector Machine

1. Pendahuluan

Pada bagian ini berisi empat sub-bagian yaitu: Latar Belakang, Topik dan Batasannya, Tujuan dan Organisasi
Tulisan. Di bawah ini akan dijelaskan dari masing-masing sub-bagian tersebut.

Latar Belakang
Analisis sentimen adalah bidang keilmuan yang menganalisis opini, sikap, dan emosi dari banyak orang
terhadap suatu produk, jasa atau entitas lain [1]. Analisis sentimen merupakan bidang penelitian yang cukup
popular, karena dapat memberikan keuntungan dalam berbagai aspek, mulai dari prediksi penjualan [2] hingga
politik [3].
 Saat ini, khalayak umum semakin bebas dalam memberikan pendapatnya terhadap sesuatu melalui jejaring
sosial dan media lainnya. Demikian juga dalam industri film. Dengan kemajuan teknologi internet yang semakin
pesat, seluruh informasi terkait suatu film bisa didapatkan dengan mudah. Hal ini mendorong orang untuk
menemukan informasi yang dibutuhkan dari pengguna internet lainnya, misalnya ulasan terhadap suatu film.
Melalui ulasan film, orang dapat menilai kualitas dari sebuah film. Namun, karena semakin banyak ulasan film
yang tersedia dan juga beraneka ragam ulasan yang diberikan, maka butuh upaya lebih untuk menemukan
informasi yang dibutuhkan. Oleh karena itu, analisis sentimen terkait ulasan film menjadi topik yang menarik
untuk dianalis menggunakan metode klasifikasi teks.
Metode klasifikasi teks yang digunakan dalam penelitian ini adalah metode machine learning yang dikenal
dengan Support Vector Machine (SVM). SVM dipilih karena memiliki kelebihan dalam mengolah data berdimensi
tinggi dan mampu meminimalkan error pada training-set [4]. Selain penggunaan SVM sebagai algoritma
klasifikasi teks, metode seleksi fitur juga digunakan untuk membantu mengurangi atribut-atribut yang kurang
releven dari dataset yang digunakan. Selain itu, seleksi fitur juga dapat mengurangi kompleksitas data dan
komputasi, serta dapat membuat dataset menjadi lebih efisien dan berguna untuk mengetahui subset fitur [5].
Metode pemilihan fitur yang digunakan adalah Information Gain (IG) dan Mutual Information (MI). Masing-
masing dari kedua metode seleksi fitur ini dijadikan sebagai seleksi fitur untuk membantu meningkatkan
performansi dari algoritma SVM yang digunakan. Kedua metode seleksi fitur tersebut juga dilakukan
perbandingan untuk mengetahui metode seleksi fitur yang terbaik dari keduanya dalam klasifikasi teks
menggunakan dataset ulasan film.

Topik dan Batasannya

Pada penelitian ini penulis mengangkat permasalahan terkait bagaimana cara membangun klasifikasi
sentimen pada ulasan film secara tepat. Ketepatan pada proses klasifikasi ini bisa dipengaruhi oleh berbagai macam
proses, diantaranya proses preprocessing, pemilihan fitur, dan penggunaan parameter yang tepat pada klasifikasi
yang digunakan. Ketiga proses ini lah yang menjadi titik fokus dalam penelitian ini. Pada proses preprocessing,
penulis menggunakan stopword removal dan stemming. Pada proses pemilihan fitur, dilakukan perbandingan
antara dua metode seleksi fitur, yaitu Information Gain (IG) dan Mutual Information (MI). Pada pemilihan fitur
ini, diperhatikan pula jumlah dari fitur yang dipilih untuk digunakan dalam proses klasifikasi. Kemudian pada
proses klasifikasi dengan menggunakan Support Vector Machine (SVM), penulis melakukan pemilihan kernel
yang sesuai, sehingga bisa memberikan performansi terbaik. Selain itu, terdapat beberapa hal yang dijadikan
sebagai batasan masalah pada penelitian ini. Pertama, klasifikasi sentimen yang dilakukan hanya pada kelas positif
dan negatif. Kedua, klasifikasi sentimen yang dilakukan hanya pada level dokumen. Ketiga, jumlah dataset ulasan
film yang digunakan berjumlah 2000 dokumen, terdiri dari 1000 dokumen dengan kelas positif dan 1000 dokumen
dengan kelas negatif.

Tujuan
Penelitian ini dilakukan dengan tujuan untuk mempermudah orang dalam menilai sebuah ulasan film dengan
cara mengklasifikasikannya menjadi ulasan positif atau negatif. Penelitian ini juga bertujuan untuk menganalisis
pengaruh dari penggunaan stopword removal dan stemming pada tahap preprocessing, menganalisis perbedaan
dari penggunaan seleksi fitur Information Gain (IG) dan Mutual Information (MI) dalam meningkatkan
performansi dari algoritma klasifikasi yang digunakan, dan terakhir untuk menganalisis pengaruh penggunaan
jumlah fitur yang digunakan dalam algoritma klasifikasi Support Vector Machine (SVM).

Organisasi Tulisan
Selanjutnya, jurnal tugas akhir ini akan menjelaskan berbagai penelitian yang sudah pernah dilakukan
sebelumnya serta hal-hal yang terkait dengan penelitian ini pada bagian II. Metode penelitian yang digunakan dan
sistem yang dibangun pada proses klasifikasi akan dijelaskan pada bagian III. Pada bagian IV akan dijelaskan hasil
yang diperoleh serta evaluasi dari penelitian yang telah dilakukan. Terakhir yaitu penarikan kesimpulan dan
pemberian saran untuk penelitian kedepannya yang akan dijelaskan pada bagian V.

2. Studi Terkait

Klasifikasi teks merupakan topik yang sering dijadikan objek penelitian beberapa tahun terakhir. Salah satu
masalah pada klasifikasi teks adalah data yang berdimensi tinggi sehingga menyebabkan banyaknya atribut atau
fitur yang kurang relevan. Jika semua fitur dalam dataset digunakan, maka dapat mengurangi performansi dari
sebuah classifier. Fitur yang baik adalah yang memiliki relevansi tinggi terhadap kelas output tertentu [6]. Seleksi
fitur memainkan peran penting dalam klasifikasi teks, sama seperti pada metode text mining lainnya [7]. Manfaat
dari penerapan seleksi fitur antara lain dapat mengurangi jumlah dimensi data, meningkatkan performansi dari
classifier, pengetahuan yang dipelajari menjadi lebih ringkas dan mudah dipahami, dan dapat mengurangi waktu
komputasi [8].
Penggunaan metode seleksi fitur Information Gain (IG) dan Mutual Information (MI) sudah pernah dilakukan
dalam penelitian [9], dimana pada penelitian tersebut dilakukan klasifikasi sentimen terhadap dokumen berbahasa
China, dengan membandingkan beberapa metode seleksi fitur (Chi-Square, Information Gain, Mutual
Information, dan Document Frequency) dan algoritma klasifikasi (K-Nearest Neighbor (KNN), Naive Bayes,
Winnow, Centroid Classifier, dan Support Vector Machine (SVM)). Penelitian tersebut menggunakan korpus
berbahasa China dengan ukuran 1021 dokumen yang berisi berita atau review dari tiga domain, yaitu pendidikan,
film dan rumah. Hasil penelitian menunjukkan bahwa penggabungan metode Information Gain dengan beberapa
algoritma klasifikasi menunjukkan rata-rata akurasi tertinggi dengan nilai MicroF1 sebesar 0.8883, sedangkan
metode Mutual Information mendapatkan rata-rata akurasi paling rendah dengan nilai MicroF1 sebesar 0.8086.
Penelitian tersebut juga menemukan bahwa pengklasifikasian sentimen sangat bergantung pada domain atau topik
yang digunakan.
Metode pembobotan fitur juga menjadi hal yang tidak kalah penting dalam melakukan klasifikasi teks. Pada
tahapan ini setiap data akan dihitung bobotnya dan hasil dari pembobotan akan digunakan sebagai inputan pada
sistem klasifikasi. Secara umum, metode pembobotan dibedakan menjadi tiga kategori [10] yaitu berdasarkan
bobot kata (word-based scoring), berdasarkan fitur kalimat (sentence-based scoring), dan berdasarkan pada relasi
antar kalimat yang direpresentasikan dengan graf (graph-based scoring). Penelitian ini menggunakan pembobotan
dengan berdasarkan bobot kata, yang salah satunya adalah metode TF-IDF (Term Frequency-Inverse Document
Frequency) [10]. TF-IDF pernah digunakan dalam penelitian [11], dimana pada penelitian tersebut dilakukan
komparasi antara metode pembobotan Binary Occurrences (BO), Term Occurrences (TO), dan TF-IDF. Pada
penelitian tersebut, masing-masing dari ketiga metode digunakan untuk pembobotan data pada algoritma
klasifikasi SVM dan hasil yang diperoleh menunjukkan bahwa pembobotan dengan TF-IDF pada term model
unigram menghasilkan akurasi training sebesar 73.21% (pada skema 10-Fold Cross-Validation), sedangkan pada
metode BO akurasinya hanya sebesar 67.14% dan metode TO hanya sebesar 59.29%.
Penggunaan algoritma SVM pada penelitian ini adalah untuk mengklasifikasikan kelas sentimen dari dataset
yang tersedia, dimana hasil klasifikasi ini untuk menentukan apakah data ulasan film yang di klasifikasikan
termasuk ke dalam kelas positif atau negatif. SVM merupakan salah satu metode klasifikasi yang sering digunakan
sebagai classifier dalam berbagai kasus. Pada penelitian sebelumnya, penggunaan SVM salah satunya dilakukan
pada penelitian [12], dimana penelitian tersebut melakukan komparasi terhadap algoritma klasifikasi machine
learning (Naive Bayes, Artificial Neural Network (ANN), dan SVM) dan seleksi fitur (Chi Square, Information
Gain, Sequential Forward Selection, dan Sequential Backward Elimination) pada analisis sentimen terhadap
ulasan film. Penelitian tersebut melakukan percobaan dengan membandingkan algoritma klasifikasi tanpa seleksi
fitur dan dengan seleksi fitur. Hasilnya adalah tanpa menggunakan seleksi fitur, SVM memberikan hasil terbaik
dibandingkan algoritma lainnya dengan akurasi 81.10%, kemudian jika SVM diintegrasikan dengan metode
seleksi fitur terbaik yaitu Information Gain (akurasi 84.57%) maka hasil akurasinya mengalami peningkatan
menjadi 81.50%.
Setelah melalui seluruh tahapan klasifikasi, maka model sistem yang telah dibangun perlu dilakukan evaluasi.
Pada penelitian ini, evaluasi dilakukan dengan menggunakan confusion matrix. Confusion matrix adalah tabel
yang digunakan untuk mengukur performansi dari suatu model klasifikasi. Confusion matrix digunakan untuk
membantu mendapatkan akurasi dari sistem yang telah dibuat. Akurasi merupakan tingkat keberhasilan sistem
dalam memprediksi suatu data, yang mempunyai skala nilai 0-100%, dimana semakin tinggi nilai akurasi maka
semakin baik performansi dari sistem yang dibuat.

3. Sistem yang Dibangun

Sebelum membahas mengenai sistem yang dibangun, berikut penjelasan tentang data yang digunakan dalam
penelitian ini. Penelitian ini menggunakan dataset yang telah diklasifikasikan menjadi dua kelas yaitu kelas positif
dan negatif. Dataset ini adalah dataset ulasan film yang diambil dari Cornell review dataset [13]. Dataset terdiri
dari 2 kelompok yaitu 1000 dokumen dengan label positif dan 1000 dokumen dengan label negatif. Dataset ini
merupakan kumpulan data ulasan film yang didapatkan dari IMDb (Internet Movie Database). Representasi
dataset ulasan film yang digunakan dalam penelitian ini ditunjukkan pada Tabel 1.

Tabel 1. Representasi Dataset Ulasan Film.

Ulasan Film Kelas Sentimen

films adapted from comic books have had plenty of success , whether they're about
superheroes ( batman , superman , spawn ) , or geared toward kids ( casper ) or the
1
arthouse crowd ( ghost world ) , but there's never really been a comic book like from hell
before .
 for starters , it was created by alan moore ( and eddie campbell ) , who brought the
medium to a whole new level in the mid '80s with a 12-part series called the watchmen .
to say moore and campbell thoroughly researched the subject of jack the ripper would be
like saying michael jackson is starting to look a little odd.
…

Pada Tabel 1 bisa dilihat contoh dari dataset yang digunakan pada penelitian ini. Ulasan film tersebut memiliki
nilai 1 pada kelas sentimen, yang menunjukkan bahwa ulasan tersebut masuk ke dalam kelas positif. Sedangkan
jika kelas sentimen bernilai 0, maka ulasan tersebut masuk ke dalam kelas negatif.
Pada penelitian ini, dibangun sebuah sistem yang dapat melakukan klasifikasi sentimen pada data ulasan film.
Proses penentuan sentimen terhadap dokumen ulasan film dapat dilakukan dalam berbagai tahapan. Secara umum,
rancangan terbagi menjadi beberapa tahapan, yaitu preprocessing, feature selection, feature extraction,
classification, dan evaluation. Detail dari rancangan sistem yang dibangun dapat dilihat pada Gambar 1.

Gambar 1. Gambaran Umum Sistem

Tahapan awal yang harus dilakukan berdasarkan rancangan sistem pada Gambar 1 adalah membersihkan data
dari noise dengan melakukan tahap preprocessing. Proses ini dilakukan agar data yang diteruskan ke model
klasifikasi dapat diolah dengan baik dan menghasilkan akurasi yang baik juga. Pada tahapan ini, dataset yang
berbentuk teks akan melalui beberapa tahapan preprocessing, yaitu expand contractions, remove special
characters and numbers, remove multiple space, case folding, remove punctuation, tokenization, stopword
removal, dan stemming. Expand contractions adalah merubah kata-kata yang digabung atau dipersingkat menjadi
kata-kata terpisah, contohnya “I don’t” dirubah menjadi “I do not”. Remove special characters and numbers
adalah menghapus semua karakter spesial (contoh: &, $, #, @) dan juga angka. Remove multiple space adalah
menghapus spasi yang jumlahnya lebih dari satu. Case folding adalah merubah semua huruf pada dataset menjadi
huruf kecil. Remove punctuation adalah menghapus semua tanda baca yang ada pada dataset. Tokenization adalah
merubah kalimat menjadi kata-kata yang terpisah (token). Stopword removal adalah menghapus semua kata-kata
yang dianggap tidak penting dalam kalimat. Stemming adalah proses untuk menemukan kata dasar dari sebuah
kata, dengan cara menghilangkan semua imbuhan (affixes) dari kata tersebut.
Setelah tahapan preprocessing selesai, dataset yang sudah bersih akan dilakukan perhitungan bobot dengan
menggunakan metode TF-IDF (Term Frequency-Inverse Document Frequency). Hasil dari TF-IDF ini berupa
matriks dimana setiap baris matriks adalah dokumen sedangkan setiap kolomnya adalah fitur. Matriks ini berisi
bobot nilai dari setiap fitur terhadap dokumen yang didapat dengan mengalikan nilai TF dan IDF. TF (Term
Frequency) adalah jumlah kemunculan fitur dalam dokumen yang bersangkutan dan IDF (Inverse Document
Frequency) adalah jumlah dokumen yang mengandung fitur tertentu. Suatu fitur akan memiliki nilai TF-IDF yang
tinggi jika nilai TF yang didapat tinggi dan nilai IDF yang didapat rendah. Untuk melakukan perhitungan TF-IDF,
dapat dilakukan dengan menggunakan persamaan 1.
𝑵
𝑾𝒊,𝒋 = 𝒕𝒇𝒊,𝒋 × 𝒍𝒐𝒈( ) (1)
𝒅𝒇𝒊

dimana 𝑡𝑓𝑖,𝑗 merupakan jumlah kemunculan kata i pada dokumen j, 𝑑𝑓𝑖 merupakan jumlah dokumen yang memuat
kata i, dan N merupakan jumlah total keseluruhan dokumen.
Tahapan selanjutnya adalah dataset yang sudah bersih tadi juga dipecah menjadi dua bagian, yaitu data train
dan data test dengan menggunakan K-Fold Cross Validation. Setelah data dipecah, pada data train akan dilakukan
pemilihan fitur terbaik dengan menggunakan algoritma Information Gain (IG) dan Mutual Information (MI).
Kedua metode seleksi fitur ini nantinya akan menghasilkan dua kamus kata, yang pertama berisi daftar kata hasil
dari seleksi fitur IG dan yang kedua hasil dari MI. Sebelum melakukan proses seleksi fitur, data train harus diolah
terlebih dahulu untuk mendapatkan daftar fitur yang akan diseleksi. Setiap fitur akan dimasukkan ke dalam sebuah
kamus kata baru, yang di dalamnya tidak boleh ada kata yang serupa. Selanjutnya setiap fitur yang berada di dalam
kamus kata tersebut, akan dilakukan perhitungan nilai IG dan MI, sehingga dari proses ini dapat diketahui fitur
apa saja yang relevan dan kurang relevan.
Information Gain (IG) merupakan metode seleksi fitur yang mengukur suatu kata berdasarkan ada atau
tidaknya kata tersebut dalam suatu dokumen [14]. Information Gain menggunakan entropy sebagai parameter
dalam menghitung nilai gain yang terdapat pada suatu kata. Entropy merupakan parameter yang digunakan untuk
mengukur tingkat keberagaman data. Semakin beragam data, nilai entropy akan semakin besar. Untuk menghitung
nilai entropy menggunakan persamaan 2.
𝑬𝒏𝒕𝒓𝒐𝒑𝒚 (𝑺) = − 𝒑(+) 𝒍𝒐𝒈𝟐 𝒑(+) − 𝒑(−) 𝒍𝒐𝒈𝟐 𝒑(−) (2)
dimana S merupakan ruang (data) sampel yang digunakan untuk training, p(+) adalah probabilitas fitur tertentu
yang bernilai positif pada data sampel, sedangkan p(-) adalah probabilitas fitur tertentu yang bernilai negatif pada
data sampel. Setelah hasil perhitungan entropy didapatkan, maka selanjutnya nilai entropy tersebut digunakan
dalam penghitungan gain. Nilai gain dari suatu fitur dapat dilakukan dengan menggunakan persamaan 3.
|𝑺 |
𝑮𝒂𝒊𝒏 (𝑺, 𝑨) = 𝑬𝒏𝒕𝒓𝒐𝒑𝒚(𝑺) − ∑𝒗 ∈ 𝑽𝒂𝒍𝒖𝒆𝒔(𝑨) |𝑺|𝒗 𝑬𝒏𝒕𝒓𝒐𝒑𝒚 (𝑺𝒗 ) (3)

dimana A merupakan atribut, v merupakan suatu nilai yang mungkin untuk atribut A, Values(A) merupakan
himpunan nilai yang mungkin untuk atribut A, |𝑆𝑣 | merupakan jumlah sampel untuk nilai v, |𝑆| merupakan jumlah
seluruh sampel data, dan Entropy(𝑆𝑣 ) merupakan entropy untuk sampel yang memiliki nilai v.
Setelah hasil seleksi fitur menggunakan Information Gain didapatkan, selanjutnya dilakukan perhitungan
kembali untuk mencari nilai fitur dengan menggunakan algoritma Mutual Information. Mutual Information (MI)
merupakan metode seleksi fitur yang mengukur seberapa banyak informasi berdasarkan ada atau tidaknya suatu
term dan kontribusi term untuk membuat keputusan klasifikasi yang benar [15]. Untuk menghitung nilai MI dapat
menggunakan persamaan 4.
𝑷(𝑼= 𝒆𝒕 ,𝑪= 𝒆𝒄 )
𝑰 (𝑼, 𝑪) = ∑𝒆𝒕∈{𝟏,𝟎} ∑𝒆𝒄∈{𝟏,𝟎} 𝑷(𝑼 = 𝒆𝒕 , 𝑪 = 𝒆𝒄 ) 𝒍𝒐𝒈𝟐 (4)
𝑷(𝑼= 𝒆𝒕 ) 𝑷(𝑪= 𝒆𝒄 )

dimana U merupakan variabel random dengan nilai 𝑒𝑡 = 1 (dokumen yang mengandung term t) dan 𝑒𝑡 = 0
(dokumen yang tidak mengandung term t), dan C merupakan variabel random dengan nilai 𝑒𝑐 = 1 (dokumen yang
berada di kelas c) dan 𝑒𝑐 = 0 (dokumen yang tidak berada di kelas c). Pada penelitian ini, simbol U digunakan
sebagai variabel untuk fitur, sedangkan C merupakan variabel untuk kelas.
Selanjutnya adalah membangun classifier untuk melakukan klasifikasi sentimen dengan menggunakan
algoritma Support Vector Machine (SVM). Secara garis besar, SVM bekerja dengan mencari nilai hyperplane
yang optimal yang dapat memisahkan antar kelas [16]. Hyperplane yang optimal adalah yang memiliki margin
terbesar, yaitu jarak antara hyperplane dengan support vector [4]. Hyperplane adalah garis batas pemisah data
antar kelas, sedangkan support vector adalah data yang memiliki jarak terdekat dengan hyperplane. Proses training
pada SVM merupakan proses pencarian bobot untuk setiap vektor di dalam data training. Vektor-vektor dengan
dengan bobot lebih dari nol maka akan menjadi vektor yang mendefinisikan hyperplane pemisah. Vektor-vektor
inilah yang kemudian disebut sebagai support vector.
Evaluasi menjadi tahap akhir dari seluruh rangkaian proses klasifikasi yang tujuannya untuk menilai seberapa
akurat sistem yang telah dibangun. Penilaian ini dilakukan dengan menggunakan tabel confusion matrix. Dengan
bantuan confusion matrix, akan dilakukan perhitungan akurasi, yaitu perbandingan antara dokumen yang berhasil
diprediksi dengan benar dan jumlah dokumen keseluruhan.
4. Evaluasi

Bagian ini terdiri tiga sub-bagian, yaitu Skenario Pengujian, Hasil Pengujian dan Analisis Hasil Pengujian.
Berikut penjelasan detail dari setiap sub-bagian tersebut.

4.1 Skenario Pengujian

Skenario pengujian yang dilakukan pada penelitian ini memiliki tiga fokus utama, yaitu pada tahap
preprocessing, seleksi fitur, dan klasifikasi. Tujuan utamanya adalah untuk mendapatkan parameter yang optimal
dalam membangun model klasifikasi dan untuk mengetahui pengaruh dari kedua seleksi fitur (Information Gain
dan Mutual Information) yang dipakai. Dalam skenario pengujian yang dilakukan, penelitian ini menggunakan
metode k-fold cross validation, dimana dataset ulasan film akan dibagi menjadi k-bagian dengan jumlah yang
sama, dan untuk setiap kali perulangan sebagian data akan digunakan sebagai data uji dan sisanya sebagai data
latih untuk membangun model klasifikasi. Penelitian ini menggunakan 10-fold untuk melakukan pengujian
terhadap 2000 data ulasan film. Setiap kali perulangan, data latih yang digunakan sebanyak 1800 dan sisanya
sebagai data uji.

4.2 Hasil Pengujian

Skenario pengujian pertama yaitu melakukan percobaan untuk mengetahui seberapa besar pengaruh
penggunaan stopword terhadap performansi classifier. Sebelum melakukan percobaan, penulis terlebih dahulu
membuat daftar kata yang akan menjadi stopword. Dalam membuat daftar kata, pendekatan yang penulis gunakan
adalah dengan menghitung frekuensi kemunculan kata di seluruh dokumen dan kemudian dilakukan sorting untuk
mengurutkan daftar kata mulai dari frekuensi kemunculan tertinggi sampai dengan yang terendah. Selanjutnya
penulis mengambil 500 kata dengan frekuensi tertinggi dari daftar kata tersebut untuk dilakukan pengujian. Setelah
itu, penulis kemudian melakukan percobaan untuk mengetahui kata apa saja yang dapat memberikan hasil akurasi
yang terbaik. Setiap kata dari daftar kata akan dimasukkan ke dalam daftar stopword dan setelah ditambahkan
akan dilakukan perhitungan akurasi dengan menggunakan SVM. Jika setelah ditambahkan suatu kata ke dalam
daftar stopword terjadi penurunan akurasi, maka kata yang telah ditambahkan tersebut akan dihapus dari daftar
stopword dan selanjutnya dilakukan pengujian untuk kata berikutnya. Hasil pengujian pengaruh penggunaan daftar
stopword terhadap akurasi dapat dilihat pada Tabel 2.
Skenario pengujian kedua yaitu dengan melakukan percobaan untuk mengetahui pengaruh dari penggunaan
metode preprocessing stopword removal dan stemming. Pada pengujian ini, penulis menggunakan algoritma
Support Vector Machine (SVM) dengan kernel linear dan akan diujikan dengan beberapa hasil preprocessing
tanpa melakukan metode seleksi fitur. Pengujian ini dilakukan untuk mengetahui pengaruh dari kombinasi
preprocessing terhadap algoritma klasifikasi SVM, yaitu ketika digunakan stopword removal saja, stemming saja,
stopword removal dan stemming, dan tanpa menggunakan keduanya. Hasil pengujian kedua ini dapat dilihat pada
Gambar 2.

Tabel 2. Pengaruh daftar Stopword terhadap akurasi

Daftar Stopword Akurasi (%)

to 88.45
to, with 88.55
to, with, film 88.60
to, with, film, by 88.65
to, with, film, by, which 88.70
to, with, film, by, which, hollywood 88.75

Gambar 2. Hasil pengujian pengaruh penggunaan

stopword removal dan stemming terhadap nilai akurasi
Setelah mengetahui pengaruh dari kombinasi beberapa metode preprocessing, penulis kemudian melakukan
pengujian lanjutan, yaitu dengan melakukan pengujian terhadap metode seleksi fitur Information Gain (IG) dan
Mutual Information (MI). Pengujian dilakukan dengan mengkombinasikan masing-masing metode seleksi fitur
tersebut dengan model klasifikasi SVM. Adapun untuk metode preprocessing yang dipakai dalam pengujian ini
adalah metode terbaik dari hasil skenario pengujian kedua, yaitu menggunakan stopword removal. Sedangkan
untuk model klasifikasi yang dipakai masih sama dengan yang ada pada pengujian pertama, yaitu menggunakan
SVM dengan kernel linear. Hasil dari pengujian ketiga ini bisa dilihat pada Gambar 3.

Gambar 3. Hasil pengujian pengaruh seleksi fitur

Information Gain (IG) dan Mutual Information (MI)
4.3 Analisis Hasil Pengujian
Skenario pengujian pertama yang dilakukan untuk mengetahui pengaruh daftar kata stopword terhadap
performansi classifier memberikan hasil seperti yang terdapat pada Tabel 2. Nilai akurasi terbaik yang dihasilkan
dari pengujian ini adalah 88.75%, dimana hasil ini didapatkan dari penggunaan kata stopword yaitu to, with, film,
by, which, dan hollywood. Dari pengujian pertama ini, dapat dilihat bahwa metode dalam menentukan daftar
stopword yang dilakukan penulis terbukti mampu memberikan peningkatan terhadap akurasi, yaitu meningkat
0.35% dibandingkan ketika tidak menggunakan stopword. Peningkatan ini terjadi karena setiap kata yang akan
dimasukkan ke dalam daftar stopword sudah terlebih dahulu dilakukan evaluasi terhadap akurasi SVM, sehingga
kata-kata yang dijadikan sebagai daftar stopword adalah kata-kata yang menghasilkan peningkatan akurasi.
Dalam skenario pengujian kedua, penulis melakukan percobaan untuk mengetahui pengaruh dari penggunaan
metode preprocessing stopword removal yang didapat dari pengujian sebelumnya dan penggunaan metode
stemming. Hasil dari pengujian ini dapat dilihat pada Berdasarkan pengujian yang telah dilakukan, nilai akurasi
terbaik yang dihasilkan adalah ketika menggunakan metode preprocessing stopword removal, yaitu dengan
akurasi sebesar 88.75%. Ditinjau berdasarkan nilai akurasi yang didapat, penggunaan stemming ternyata
memberikan hasil yang lebih rendah daripada menggunakan stopword removal saja dan tidak menggunakan
stopword removal dan stemming. Menurunnya nilai akurasi pada saat digunakan stemming bisa disebabkan karena
hilangnya informasi dari kata yang mengalami stemming, dimana hal ini bisa terjadi karena cara kerja stemming
yang melakukan pemotongan kata menjadi kata dasar dengan menghilangkan imbuhan suatu kata. Kemudian jika
stemming digabungkan dengan stopword removal, hasilnya menunjukkan bahwa penggabungan keduanya
memberikan hasil yang lebih baik dibandingkan ketika menggunakan stemming saja. Hal ini terjadi karena
pengaruh dari penggunaan stopword removal, jadi meskipun akurasi stemming yang dihasilkan rendah, namun
karena dilakukan stopword removal yang pada percobaan sebelumnya memberikan akurasi terbaik, sehingga
akurasi dari penggabungan keduanya menjadi meningkat dibandingkan dengan penggunaan stemming saja, yaitu
meningkat sebesar 0.05%.
Selanjutnya, hasil dari skenario pengujian ketiga dapat dilihat pada Gambar 3. Hasil dari pengujian ini
menunjukkan bahwa algoritma seleksi fitur Information Gain (IG) yang digabung dengan algoritma klasifikasi
Support Vector Machine (SVM) menghasilkan nilai akurasi tertinggi yang sama dengan algoritma Mutual
Information (MI) yaitu sebesar 89.05%, yang didapatkan ketika menggunaan fitur sebanyak 75%. Selain itu, nilai
akurasi yang dihasilkan oleh kedua seleksi fitur mulai dari jumlah fitur 10% sampai dengan 100% adalah hampir
seluruhnya sama. Hal ini bisa terjadi karena fitur-fitur yang dihasilkan dari kedua seleksi fitur memiliki tingkat
kemiripan yang tinggi seperti yang terlihat pada Tabel 3, dimana 10 fitur terbaik yang dihasilkan IG dan MI adalah
sama. Selain itu, hasil yang sama tersebut dapat terjadi karena kedua seleksi fitur memiliki cara kerja yang sama
namun berbeda perhitungan, yaitu dengan mengukur nilai suatu fitur dengan berdasarkan jumlah ada atau tidaknya
fitur tersebut di dalam dokumen. Oleh karena itu, baik IG maupun MI dapat meningkatkan performansi dari
classifier sama baiknya.
Selain pengaruh dari kedua seleksi fitur, jumlah fitur yang digunakan juga berpengaruh terhadap akurasi yang
di dapat. Seperti yang ditunjukkan pada Gambar 3, saat jumlah fitur 10-30% akurasi yang dihasilkan masih berada
di bawah akurasi pengujian tanpa seleksi fitur (88.75%), hal ini dikarenakan fitur-fitur yang berada pada rentang
10-30% masih belum cukup untuk mewakilkan keseluruhan fitur dan memberikan hasil akurasi yang terbaik,
artinya masih perlu lebih banyak fitur-fitur lainnya untuk bisa memberikan hasil yang terbaik. Pada saat jumlah
fitur 35%-80%, akurasi yang dihasilkan sudah berada di atas akurasi pengujian tanpa seleksi fitur, hal ini
membuktikan bahwa fitur-fitur yang berada pada rentang tersebut sudah cukup baik dalam mewakilkan
keseluruhan fitur, memiliki relevansi terhadap kelas tertentu, dan mampu memberikan hasil akurasi yang terbaik.
Sedangkan pada saat jumlah fitur 85-95%, akurasi yang dihasilkan mengalami penurunan kembali dan berada di
bawah akurasi pengujian tanpa seleksi fitur, hal ini dikarenakan fitur-fitur yang berada pada rentang 80-95% sudah
tercampur dengan fitur-fitur yang memiliki nilai IG dan MI yang sangat rendah atau tidak memiliki relevansi
terhadap kelas tertentu, sehingga menyebabkan akurasi yang dihasilkan menjadi menurun. Kemudian saat jumlah
fitur 100% hasilnya akan sama dengan akurasi pengujian tanpa seleksi fitur, karena fitur-fitur yang digunakan
adalah sama.

Tabel 3. Hasil 10 fitur dengan nilai tertinggi pada Information Gain (IG) dan Mutual Information (MI)
Fitur
And Bad The Of Worst As Is Boring Life Stupid
IG 0.0720 0.0671 0.0667 0.0444 0.0407 0.0355 0.0334 0.0325 0.0324 0.0323
MI 0.0499 0.0465 0.0463 0.0308 0.0282 0.0246 0.0232 0.0225 0.0225 0.0224

5. Kesimpulan
Berdasarkan skenario pengujian yang telah dilakukan pada penelitian ini, klasifikasi sentimen ulasan film
menggunakan metode Support Vector Machine (SVM) yang digabung dengan algoritma seleksi fitur, terbukti
dapat memberikan hasil prediksi yang lebih akurat dibandingkan dengan menggunakan SVM saja. Kemudian
ketika dilakukan pengujian terhadap metode seleksi fitur Information Gain (IG) dan Mutual Information (MI),
hasilnya menunjukkan bahwa nilai akurasi tertinggi yang didapat adalah sama yaitu sebesar 89.05% pada saat
penggunaan fitur sebanyak 75%. Oleh karena itu, baik IG maupun MI keduanya sama-sama bekerja efektif dan
memberikan performansi yang sama.
Kemudian pada tahap preprocessing, penggunaan stopword removal terbukti dapat meningkatkan kinerja dari
classifier, meskipun peningkatan yang diberikan tidak terlalu besar, yaitu peningkatan akurasi sebesar 0.35%.
Sedangkan penggunaan stemming pada tahap preprocessing perlu dihindari, khususnya pada data yang digunakan
dalam penelitian ini, karena stemming dapat mengubah makna kata yang sebenarnya sehingga menyebabkan
penurunan performansi dari classifier.
Beberapa saran yang bisa dilakukan untuk penelitian lebih lanjut diantaranya adalah penggunaan metode
seleksi fitur selain IG dan MI, karena seleksi fitur sangat memberikan pengaruh dalam peningkatan akurasi dari
classifier. Kemudian percobaan terkait dengan tahap preprocessing juga perlu dilakukan, seperti perbedaan
pengaruh dari stemming dan lemmatization. Selain itu, penggunazaikalan metode klasifikasi yang berbeda juga
disarankan, agar dapat mengetahui apakah percobaan preprocessing dan seleksi fitur yang dilakukan pada SVM
mempunyai pengaruh juga terhadap metode klasifikasi lainnya.

Daftar Pustaka
[1] Liu, B. 2012 . Sentiment analysis and opinion mining. Synthesis lectures on human language technologies
5 (1): 1–167.
[2] Fan, Z.-P., Che, Y.-J. dan Chen, Z.-Y. 2017 . Product sales forecasting using online reviews and historical
sales data: A method combining the Bass model and sentiment analysis. Journal of Business Research,
Elsevier, 74, 90–100.
[3] Gemilang, H.T., Erwin, A. dan Eng, K.I. 2014 . Indonesian President candidates 2014 sentiment analysis
by using Twitter data. 2014 International Conference on ICT For Smart Society (ICISS), IEEE, 101–104.
[4] Nugroho, A.S., Witarto, A.B. dan Handoko, D. 2003 . Support Vector Machine Teori dan Aplikasinya
Dalam Bioinformatika.
[5] Azhagusundari, B. dan Thanamani, A.S. 2013 . Feature selection based on information gain. International
Journal of Innovative Technology and Exploring Engineering (IJITEE), 2, 18–21.
[6] Pratiwi, A.I. dan Adiwijaya. 2018 . On the Feature Selection and Classification Based on Information Gain
for Document Sentiment Analysis. Applied Computational Intelligence and Soft Computing, Hindawi,
2018, 1–5. https://doi.org/10.1155/2018/1407817.
[7] Koncz, P. dan Paralic, J. 2011 . An approach to feature selection for sentiment analysis. 2011 15th IEEE
International Conference on Intelligent Engineering Systems, IEEE, 357–362.
[8] Hall, M.A. 1999 . Correlation-based feature selection for machine learning. University of Waikato
Hamilton, New Zealand.
[9] Tan, S. dan Zhang, J. 2008 . An empirical study of sentiment analysis for chinese documents. Expert
 Systems with applications, Elsevier, 34, 2622–2629.
[10] Ferreira, R., Freitas, F., de Souza Cabral, L., Lins, R.D., Lima, R., França, G., Simske, S.J. dan Favaro, L.
2014 . A context based text summarization system. 2014 11th IAPR International Workshop on Document
Analysis Systems, IEEE, 66–70.
[11] Zainuddin, N. dan Selamat, A. 2014 . Sentiment analysis using support vector machine. 2014 International
Conference on Computer, Communications, and Control Technology (I4CT), IEEE, 333–337.
[12] Chandani, V. dan Wahono, R.S. 2015 . Komparasi Algoritma Klasifikasi Machine Learning Dan Feature
Selection pada Analisis Sentimen Review Film. Journal of Intelligent Systems, 1, 56–60.
[13] Pang, B. dan Lee, L. 2004 . A sentimental education: Sentiment analysis using subjectivity summarization
based on minimum cuts. Proceedings of the 42nd annual meeting on Association for Computational
Linguistics, Association for Computational Linguistics, 271.
[14] Wang, Q., Guan, Y., Wang, X. dan Xu, Z. 2006 . A novel feature selection method based on category
information analysis for class prejudging in text classification. International Journal of Computer Science
and Network Security, 6, 113–119.
[15] Manning, C., Raghavan, P. dan Schütze, H. 2010 . Introduction to information retrieval. Natural Language
Engineering, Cambridge university press, 16, 100–103.
[16] Adiwijaya, K., Wisesty, U.N., Lisnawati, E., Aditsania, A. dan Kusumo, D.S. 2018 . Dimensionality
reduction using Principal Component Analysis for cancer detection based on microarray data
classification. Journal of Computer Science. https://doi.org/10.3844/jcssp.2018.1521.1530.