Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer e-ISSN: 2548-964X

Vol. 3, No. 3, Maret 2019, hlm. 2575-2580 http://j-ptiik.ub.ac.id

Analisis Sentimen Pada Ulasan Aplikasi BCA Mobile Menggunakan

BM25 Dan Improved K-Nearest Neighbor
Indriya Dewi Onantya1, Indriati2, Putra Pandu Adikara 3

Program Studi Teknik Informatika, Fakultas Ilmu Komputer, Universitas Brawijaya

Email: 1indriyadewi@gmail.com, 2indriati.tif@ub.ac.id, 3adikara.putra@ub.ac.id

Abstrak
Aplikasi mobile banking merupakan salah satu aplikasi yang dianggap dapat memberikan kemudahan
dalam kegiatan manusia. Salah satu aplikasi yang banyak digunakan adalah BCA Mobile. Aplikasi ini
dapat memudahkan pengguna dalam melakukan beberapa kegiatan keuangan dengan tidak pergi ke bank
terkait. Hal ini tentunya sangat bermanfaat dalam menghemat waktu bagi pengguna yang memiliki
kesibukan dalam kesehariannya. Dari aplikasi mobile yang ada saat ini, tidak ditemukan adanya fitur
analisis sentimen untuk mengelompokkan atau menyaring antara ulasan positif dan negatif. Untuk
mengetahui ulasan tersebut tergolong ulasan positif atau negatif, diperlukan analisis sentimen terhadap
ulasan tersebut. Proses analisis sentimen diawali dengan pre-processing data, pembobotan kata
menggunakan metode BM25, dan dilakukan pengklasifikasian dokumen menggunakan Improved K-
Nearest Neighbor. Hasil yang diperoleh berdasarkan evaluasi berupa pengujian 5-fold mendapatkan
nilai k-values terbaik sebesar 10, dengan nilai precision sebesar 0,946, recall sebesar 0,934, f-measure
sebesar 0,939, dan accuracy sebesar 0,942. Hasil pengujian yang telah dilakukan mendapatkan hasil
akurasi yang fluktuatif, karena dipengaruhi oleh besarnya nilai k-values. Namun tidak dipengaruhi oleh
jumlah atau proporsi kelas data uji, karena meskipun data jumlah atau proporsi kelas data yang
digunakan berbeda tetapi nilai k-values baru menyesuaikan dengan jumlah data uji tiap kelas.
Kata kunci: analisis sentimen, aplikasi mobile, BM25, improved k-nearest neighbor
Abstract
Mobile banking application is one of the applications that can provide convenience in human activities.
One of these applications is BCA Mobile. This application makes users easily to do financial activities
without having to go to the relevant bank. This is an option that is very useful for users who have a busy
life in their daily lives. From existing mobile applications, there are no features that can be used to
group or filter positive and negative reviews. To find out reviews that are classified as positive or
negative reviews, a sentiment analysis review is needed. The analysis process begins with pre-
processing data, weighing words using the BM25 algorithm, and the process of classification using
Improved K-Nearest Neighbor. The results obtained based on the result of 5-fold cross-validation and
get the best k-value at 10, with the result of precision value are 0.946, recall value is 0.934, f-measure
value is 0.939, and an accuracy is 0.942. These results get fluctuating measurement results because of
the amount of k-value. However, it does not influence by the amount classes of data, because even though
there are different amounts or proportions of data classes, the new k-value adjust to the amount of data
based on the value of each class.
Keywords: sentiment analysis, mobile application, BM25, improved k-nearest neighbor

dapat dikaitkan dengan internet. Dalam

1. PENDAHULUAN
Di era informasi seperti saat ini, internet
telah memegang peranan penting dalam segala
aspek kehidupan manusia. Dengan adanya
internet, maka manusia semakin terbantu dalam
segala hal. Maka dari itu, saat ini semua hal
penggunaannya, internet sangat erat kaitannya
dengan perangkat atau mobile. Hal ini juga yang
mendorong berbagai aplikasi mobile menjadi
berkembang dengan sangat cepat. Beberapa
aplikasi akhirnya bermunculan dengan tujuan
mempermudah dalam memenuhi kebutuhan

Fakultas Ilmu Komputer

Universitas Brawijaya 2575
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
manusia. Mulai dari kebutuhan rumah tangga,
gaya hidup, hobi, olahraga, musik, mobile
banking dan masih banyak kebutuhan lainnya.
Aplikasi mobile banking dapat memudahkan
pengguna dalam melakukan proses transaksi
yang berkaitan dengan keuangan tanpa harus
pergi langsung menuju bank terkait. Salah satu
aplikasi yang berkembang dalam bidang mobile
banking adalah BCA Mobile. Berdasarkan
jumlah unduhan pada toko aplikasi atau
Playstore sampai dengan bulan Januari 2019,
aplikasi BCA Mobile merupakan aplikasi yang
paling banyak di unduh dibandingkan dengan
aplikasi serupa lainnya yaitu sebanyak 239.392
kali.
Setiap aplikasi mobile mengizinkan
pengguna untuk memberikan ulasan terhadap
pelayanan dan fitur yang diberikan oleh aplikasi
mobile tersebut. Ulasan pengguna sebelumnya
sangat bermanfaat bagi calon pengguna aplikasi
yang ingin menggunakan aplikasi tersebut. Dari
aplikasi mobile yang terdapat saat ini, belum
ditemukan adanya fitur dalam analisis sentimen
untuk mengelompokkan atau menyaring antara
ulasan positif dan negatif. Analisis sentimen
merupakan bidang ilmu yang menganalisis
opini, evaluasi, sentimen, emosi, perilaku,
maupun penilaian melalui entitas yang dapat
berupa pelayanan, produk, individu, isu-isu,
kejadian, dan topik (Liu, 2016). Ulasan yang
diperoleh dari pengguna layanan aplikasi mobile
diklasifikasikan untuk menentukan ulasan
tersebut termasuk positif atau negatif.
Beberapa metode telah dikembangkan dalam
pengklasifikasian teks. Salah satu metode
tersebut adalah K-Nearest Neigbor (K-NN).
Algoritme ini memiliki kelemahan yaitu nilai k
ditetapkan sama pada semua kategori. Namun
hal tersebut dapat diatasi dengan menggunakan
algoritme Improved K-Nearest Neighbor.
Penelitian oleh Baoli, Shiwen, dan Qin (2003)
menunjukkan bahwa dengan algoritme
Improved K-Nearest Neighbor, mendapatkan
hasil kestabilan pada proses kategorisasi dengan
k-values yang bervariasi. Dalam metode ini, nilai
k-values pada setiap kategori disesuaikan dengan
besar-kecilnya jumlah dokumen latih yang
dimiliki kategori, sehingga nilai k-values tiap
kategori berbeda-beda (Putri, Ridok dan Indriati,
2013).
Sementara itu dalam pemeringkatan kata,
metode yang sering digunakan yaitu metode
BM25. Hasil penelitian yang dilakukan oleh
Fakultas Ilmu Komputer, Universitas Brawijaya
2576
Pardede (2015), menunjukkan bahwa metode
BM25 lebih efektif dalam melakukan
pemeringkatan dokumen. Berdasarkan hasil
pengujian yang dilakukan, metode BM25
memiliki waktu pemrosesan lebih cepat
dibandingkan dengan metode Probabilistic
Latent Semantic Analysis (PLSA). Selain itu,
dilihat dari nilai rata-rata f-measure, metode
BM25 memiliki akurasi lebih tinggi
dibandingkan metode PLSA.
Penelitian analisis sentimen ini dilakukan
untuk mencapai tujuan mengetahui perancangan
algoritme BM25 dan Improved K-Nearest
Neighbor untuk permasalahan analisis sentimen
pada ulasan aplikasi BCA Mobile, serta
mengetahui hasil pengujian yang diperoleh
menggunakan precision, recall, dan f-measure
yang diterapkan pada evaluasi k-fold cross
validation.
2. DASAR TEORI
2.1 Ulasan
Ulasan yang berasal dari kata ulas atau bisa
disebut juga dengan kupasan, tafsiran atau
komentar menurut Kamus Besar Bahasa
Indonesia merupakan suatu tanggapan atas
sebuah kejadian. Ulasan pada suatu produk atau
aplikasi dianggap penting karena sebagian besar
dari pengguna cenderung melihat ulasan
pengguna sebelumnya (Febrianti, Indriati dan
Widodo, 2018).
2.2 Analisis Sentimen
Analisis sentiment merupakan
pengelompokan teks yang berupa informasi
tekstual yang bersifat opini. Maka dari itu sifat
dari analisis sentimen adalah subjektif terhadap
suatu hal. Yang dimaksud subjektif disini adalah
dapat berupa positif atau negatif. Informasi
tekstual yang dikelompokkan menjadi positif
atau negatif akan mengandung suatu nilai. Nilai
tersebut yang selanjutnya akan digunakan
sebagai parameter dalam menentukan suatu
keputusan terhadap suatu dokumen (Indriati dan
Ridok, 2016).
2.3 Text Mining
Text mining merupakan suatu proses dalam
penambangan data berupa teks yang sumber
datanya biasanya didapat dari suatu dokumen,
yang tujuannya yaitu menemukan kata yang
dapat mewakili isi dokumen sehingga dapat
dilakukan analisis hubungan antara suatu
dokumen (Sianturi, 2014).
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 2577

2.4 Pre-processing Keterangan:

Pre-processing adalah tahap awal yang
𝑁 : Total seluruh dokumen.
digunakan untuk mendapatkan data yang akan
𝑛(𝑞𝑖 ) : Banyak dokumen yang mengandung
digunakan dalam proses selanjutnya. Tahapan
query.
dalam pre-processing terdiri dari case folding,
tokenizing, filtering, dan stemming. 2.6 Improved K-Nearest Neighbor
1. Case Folding Metode Improved K-Nearest Neighbor
Case folding adalah tahap awal pre- merupakan metode klasifikasi yang dilakukan
processing yang digunakan dalam penelitian ini. dengan memodifikasi nilai k-values. Langkah
Berfungsi mengubah huruf awal pada suatu kata awal yang dilakukan adalah pemeringkatan hasil
masukan menjadi huruf kecil (lower case). pembobotan, kemudian dilakukan perhitungan
2. Tokenizing nilai k-values baru atau biasa disebut dengan
Tokenizing merupakan proses pemisahan nilai n. Persamaan (3) merupakan perhitungan
kalimat menjadi kata atau token yang merupakan dalam menentukan k-values baru.
penyusun dari suatu dokumen. Pada tahap ini, 𝑘∗𝑁(𝑐𝑚)
karakter-karakter pemisah kata akan dihilangkan 𝑛 = [𝑚𝑎𝑘𝑠{𝑛(𝑐 ] (3)
𝑚)|𝑗=1….𝑁𝑐 }
karena tidak berpengaruh terhadap pemrosesan
Keterangan:
teks.
3. Filtering 𝑛: nilai k-values baru.
Filtering merupakan proses menghapus 𝑘: nilai k-values yang ditetapkan di awal.
kata yang tidak mengandung arti yang 𝑁(𝑐𝑚 ) : jumlah dokumen/data latih pada
bermakna. Proses ini dengan menggunakan kategori m.
stopword list Tala sebagai delimiter untuk 𝑚𝑎𝑘𝑠{𝑛(𝑐𝑚 )|𝑗 = 1 … . 𝑁𝑐 }: jumlah dokumen/ data
menghilangkan kata yang tidak dibutuhkan. latih terbanyak pada semua kategori yang ada.
4. Stemming Perhitungan pada Persamaan (4)
Stemming merupakan proses yang berguna menyatakan perhitungan nilai probabilitas dan
untuk mengubah bentuk suatu kata menjadi kata diambil nilai maksimum dari hasil dari
dasar dan sesuai dengan struktur morfologi perhitungan probabilitas tersebut pada masing-
Bahasa Indonesia yang benar. Proses stemming masing kelas (Baoli, Shiwen dan Qin, 2003).
pada penelitian ini mengggunakan Stemmer ∑𝑑𝑗∈ 𝑡𝑜𝑝 𝑛 𝑘𝑁𝑁(𝑐𝑚) 𝑠𝑖𝑚(𝑥,𝑑𝑗)𝑦(𝑑𝑗.𝑐𝑚)
Sastrawi. 𝑝(𝑥, 𝑐𝑚 ) = 𝑎𝑟𝑔𝑚𝑎𝑥𝑚 ∑𝑑
(4)
𝑗 ∈ 𝑡𝑜𝑝 𝑛 𝑘𝑁𝑁(𝑐𝑚 )
𝑠𝑖𝑚(𝑥,𝑑𝑗)

2.5 Metode BM25 Keterangan:

Metode BM25 merupakan metode 𝑝(𝑥, 𝑐𝑚 ) : probabilitas dokumen X menjadi
pembobotan yang digunakan untuk melakukan anggota kategori 𝑐𝑚 .
pengurutan hasil kecocokan terhadap beberapa 𝑠𝑖𝑚(𝑥, 𝑑𝑗 ): kemiripan antara dokumen X dengan
dokumen, berdasarkan query yang dimasukkan. dokumen latih 𝑑𝑗 .
Persamaan (1) merupakan persamaan metode 𝑡𝑜𝑝 𝑛 𝑘𝑁𝑁 : top n tetangga.
BM25. 𝑦(𝑑𝑗 . 𝑐𝑚 ) : fungsi atribut dari kategori tertentu
𝑓(𝑞𝑖,𝐷).(𝑘1 +1) yang memenuhi Persamaan (5).
𝐵𝑀25 = ∑𝑛𝑖=1 𝐼𝐷𝐹(𝑞𝑖 ) . |𝐷| (1)
𝑓(𝑞𝑖,𝐷)+𝑘1 .(1−𝑏+𝑏.𝑎𝑣𝑔𝑑𝑙) 1, 𝑑𝑗 ∈ 𝑐𝑚
𝑦(𝑑𝑗 . 𝑐𝑚 ) = { (5)
Keterangan: 0, 𝑑𝑗 ∉ 𝑐𝑚
Berdasarkan perhitungan pada Persamaan
𝑓(𝑞𝑖 , 𝐷) : Banyaknya frekuensi kata pada (4) maka akan diketahui nilai probabilitas
dokumen D. terbesar. Hasil perhitungan probabilitas tersebut
|𝐷| : Banyaknya kata dalam suatu dokumen D. yang akan menjadi penentuan terhadap dokumen
𝑎𝑣𝑔𝑑𝑙 : Rata-rata panjang dokumen dalam uji.
seluruh data.
𝑘1 : 1,2 2.7 Evaluasi
𝑏 : 0,75 1. K-fold Cross Validation
Perhitungan nilai (Index Document K-fold cross validation adalah metode yang
Frequency) IDF dijelaskan pada Persamaan (2). paling sederhana dan paling banyak digunakan
𝑁−𝑛(𝑞1 )+0,5 untuk memprediksi kesalahan pada sistem.
𝐼𝐷𝐹 (𝑞𝑖 ) = 𝑙𝑜𝑔 (2)
𝑛(𝑞1 )+0,5 Metode ini akan digunakan dalam mengetahui

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 2578

rata-rata keberhasilan dari suatu sistem. Proses 3. METODOLOGI

evaluasi ini dilakukan dengan melakukan
Penelitian analisis sentimen pada review
perulangan dengan mengacak data yang
aplikasi BCA Mobile dengan menggunakan
digunakan dalam penentuan dokumen uji
metode BM25 dan Improved K-Nearest
(Pandie, 2012). Pada penelitian ini digunakan 5-
Neighbor bersifat non implementatif dengan
fold cross validation.
pendekatan analitik. Tahapan sistem secara
umum dijelaskan pada Gambar 1.
2. Evaluasi Precision, Recall, F-Measure
dan Accuracy.
Mulai
Evaluasi precision, recall, f-measure dan
accuracy disajikan dalam confusion matrix yang
dijelaskan pada Tabel 1. Input: dokumen
Tabel 1. Confusion Matrix
relevant nonrelevant
Melakukan pre-processing data
Retrieved True positives False positives
(tp) (fp)
Non False negatives True negatives
retrieved (fn) (tn) Melakukan pembobotan kata
dengan metode BM25

Persamaan (6) merupakan rumus untuk

menghitung nilai precision yang merupakan Klasifikasi menggunakan metode
tingkat ketepatan dari informasi aktual dengan Improved KNN
prediksi sistem.
𝑡𝑝
𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = (6) Output: hasil
𝑡𝑝+𝑓𝑝
klasifikasi
Persamaan (7) merupakan rumus untuk
menghitung nilai recall. Recall adalah
banyaknya keberhasilan sistem dalam Selesai
menampilkan informasi berupa analisis
sentimen. Gambar 1. Diagram Alir Sistem
𝑡𝑝 Diagram alir pada Gambar 1 merupakan
𝑟𝑒𝑐𝑎𝑙𝑙 = (7)
𝑡𝑝+𝑓𝑛
gambaran umum sistem analisis sentimen.
Persamaan (8) merupakan rumus untuk Dalam penerapannya, sistem akan terbagi
menghitung nilai f-measure. F-measure menjadi proses training dan proses testing.
merupakan kombinasi dari perhitungan Proses dilakukan dengan menggunakan data
precision dan recall. training sebagai input proses. Hasil dari proses
𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛∗𝑟𝑒𝑐𝑎𝑙𝑙 tersebut disimpan ke dalam file berupa hasil
𝑓 − 𝑚𝑒𝑎𝑠𝑢𝑟𝑒 = 2 ∗ (8) training yang akan digunakan sebagai input
𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑟𝑒𝑐𝑎𝑙𝑙

Persamaan (9) merupakan rumus untuk dalam proses testing.

menghitung nilai accuracy. Accuracy
merupakan keterkaitan antara nilai prediksi dari 4. PENGUJIAN DAN ANALISIS
sistem dengan nilai aktual dari sistem.
4.1 Hasil Pengujian
𝑡𝑝+𝑡𝑛
𝑎𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = (9) Hasil pengujian yang dilakukan
𝑡𝑝+𝑡𝑛+𝑓𝑝+𝑓𝑛

Keterangan: menggunakan 5-fold cross validation. Setiap

𝑡𝑝: jumlah kelas positif yang terklasifikasi benar.
𝑡𝑛 : jumlah kelas negatif yang terklasifikasi
benar.
𝑓𝑝 : jumlah kelas positif tetapi terklasifikasi
salah.
𝑡𝑛 : jumlah kelas negatif yang terklasifikasi
benar.
pengujian fold menggunakan 400 data latih dan
100 data uji. Setiap pengujian fold yang
dilakukan menggunakan 100 data uji yang
berbeda-beda. Berikut adalah hasil rata-rata
pengujian untuk tiap kelas dan hasil rata-rata
seluruh pengujian.

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 2579

1. Rata-Rata Pengujian Kelas Positif f-measure sebesar 0,953, precision sebesar

0,934, dan recall sebesar 0,973.
Pengujian 5-fold yang dilakukan
menghasilkan nilai precision, recall, dan f- 3. Rata-Rata Hasil Seluruh Pengujian
measure yang berbeda tiap kelas. Tabel 3
merupakan hasil rata-rata pengujian 5-fold yang Hasil pengujian ini merupakan rata-rata dari
dilakukan terhadap kelas positif. seluruh nilai precision, recall, f-measure, dan
accuracy pada pengujian k-fold cross validation
Tabel 3. Rata-Rata Pengujian Kelas Positif
sebanyak 5 kali yang dihitung untuk tiap nilai k-
k- F- values. Hasil dari tiap fold kemudian di rata-rata
Precision Recall Accuracy
values Measure
dan disajikan ke dalam tabel. Hasil pengujian
2 0,881 0,865 0,870 0,896 tersebut dijelaskan pada Tabel 5.
3 0,923 0,885 0,901 0,923
Tabel 5. Rata-Rata Seluruh Pengujian
5 0,931 0,890 0,908 0,928
10 0,958 0,895 0,924 0,942 k- F-
Precision Recall Accuracy
values Measure
20 0,957 0,875 0,913 0,934
2 0,897 0,891 0,891 0,896
30 0,972 0,850 0,906 0,926
3 0,926 0,917 0,919 0,923
40 0,982 0,825 0,896 0,924 5 0,931 0,922 0,924 0,928
50 0,971 0,815 0,886 0,916 10 0,946 0,934 0,939 0,942
100 0,976 0,775 0,862 0,902 20 0,938 0,924 0,929 0,933
150 0,981 0,765 0,858 0,900 30 0,936 0,915 0,922 0,926
40 0,939 0,908 0,918 0,924
Pada Tabel 3 menghasilkan nilai f-measure 50 0,930 0,899 0,910 0,912
tertinggi ketika k-values sama dengan 10, 100 0,920 0,879 0,891 0,901
dengan nilai f-measure sebesar 0,924, precision 150 0,923 0,878 0,890 0,900
sebesar 0,958, dan recall sebesar 0,895.
Pada Tabel 5 dapat disimpulkan bahwa nilai
2. Rata-Rata Pengujian Kelas Negatif f-measure terbaik didapatkan ketika nilai k sama
dengan 10 dengan nilai f-measure sebesar 0,939,
Pengujian ini dilakukan untuk mengetahui nilai precision sebesar 0,946, dan nilai recall
hasil akurasi yang dihasilkan oleh kelas negatif. sebesar 0,934, sedangkan nilai f-measure
Tabel 4 merupakan hasil rata-rata pengujian 5- terendah terjadi ketika nilai k-values sama
fold yang dilakukan terhadap kelas negatif. dengan 150 dengan nilai precision sebesar
0,923, dan nilai recall sebesar 0,878.
Tabel 4. Rata-Rata Pengujian Kelas Negatif
4.2 Analisis
k- F-
Precision Recall Accuracy
values Measure Berdasarkan hasil evaluasi yang dilakukan,
2 0,913 0,917 0,913 0,896 maka disimpulkan bahwa nilai k-values dapat
3 0,928 0,949 0,937 0,923 memengaruhi hasil klasifikasi yang dilakukan.
Pada penelitian ini, didapatkan hasil bahwa k-
5 0,930 0,953 0,941 0,928
values=10 menghasilkan nilai f-measure
10 0,934 0,973 0,953 0,942 tertinggi yaitu sebesar 0,939, dan ketika k-
20 0,919 0,972 0,945 0,932 values=150 menghasilkan nilai f-measure
30 0,900 0,980 0,938 0,926 terendah yaitu sebesar 0,890. Ketika nilai k-
values terlalu besar (k-values=150), atau terlalu
40 0,895 0,990 0,940 0,924
kecil (k-values=2) akan menghasilkan nilai f-
50 0,889 0,983 0,934 0,909 measure yang rendah. Nilai ketetanggaan atau
100 0,869 0,983 0,922 0,900 nilai n yang rendah mengakibatkan proses
150 0,865 0,990 0,923 0,900 klasifikasi hanya mengambil nilai ketetanggaan
yang sedikit, sedangkan apabila nilai n terlalu
besar juga akan mendapatkan hasil yang tidak
Tabel 4 menghasilkan nilai f-measure
optimal karena jumlah data dalam ketetanggaan
tertinggi ketika k sama dengan 10, dengan nilai
yang terlalu banyak. Maka dari itu, dapat

Fakultas Ilmu Komputer, Universitas Brawijaya

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer
disimpulkan bahwa nilai f-measure pada
penelitian ini cukup fluktuatif.
Selain itu, hasil evaluasi yang didapatkan
pada masing-masing kelas tidak jauh berbeda
dan menghasilkan nilai f-measure yang sama
tinggi. Hal ini terjadi karena meskipun data
jumlah data latih yang digunakan berbeda tetapi
nilai k-values baru menyesuaikan dengan jumlah
data latih tiap kelas. Maka dari itu hasil yang
didapatkan masing-masing kelas tidak jauh
berbeda. Rata-rata hasil seluruh pengujian
ditunjukkan pada Gambar 2.
RATA-RATA HASIL PENGUJIAN
0,960
0,940
0,920
0,900
0,880
0,860
0,840
2 3 5 10 20 30 40
Precision Recall
Gambar 2. Grafik Hasil Pengujian
5. KESIMPULAN
Kesimpulan yang diperoleh dari penelitian
ini adalah metode BM25 dan Improved K-
Nearest Neighbor dapat diterapkan pada sistem
analisis sentimen pada ulasan aplikasi BCA
Mobile, sehingga dapat dengan mudah
menentukan kelas suatu dokumen uji. Proses
pre-processing data dilakukan untuk
memudahkan data menjadi data yang terstruktur,
sedangkan metode BM25 digunakan dalam
proses pembobotan kata yang kemudian
dilanjutkan dengan proses klasifikasi
menggunakan metode Improved K-Nearest
Neighbor.
Pengujian pada penelitian ini menghasilkan
rata-rata nilai f-measure yang cukup tinggi yaitu
sebesar 0,939, nilai precision sebesar 0,946, nilai
recall sebesar 0,934, dan nilai accuracy sebesar
0,942. Hal ini dipengaruhi oleh besarnya nilai k-
values yang digunakan, apabila nilai k-values
yang digunakan terlalu rendah atau terlalu tinggi
tidak menghasilkan akurasi maksimal, namun
jumlah dokumen atau perbandingan proporsi
data latih yang digunakan dalam proses training
tidak berpengaruh terhadap proses klasifikasi
yang dilakukan. Hal ini dikarenakan pada proses
klasifikasi menggunakan algoritme Improved K-
Nearest Neighbor nilai k-values baru
menyesuaikan dengan jumlah data uji tiap kelas.
Fakultas Ilmu Komputer, Universitas Brawijaya
2580
6. DAFTAR PUSTAKA
Baoli, L., Shiwen, Y. dan Qin, L., 2003. An
Improved k-Nearest Neighbor
Algorithm for Text Categorization.
Reading, hal.678.
Febrianti, Y.M., Indriati dan Widodo, A.W.,
2018. Analisis Sentimen Pada Ulasan
“Lazada” Berbahasa Indonesia
Menggunakan K-Nearest Neighbor ( K-
NN ) Dengan Perbaikan Kata
Menggunakan Jaro Winkler Distance.
2(10), hal.3689–3698.
Indriati dan Ridok, A., 2016. Sentiment Analysis
for Review Mobile Applications Using
Neighbor Method Weighted K-Nearest
Neighbor (Nwknn). Journal of
Environmental Engineering &
Sustainable Technology 2016, 03(01),
hal.23–32.
50 100 150 Manning, C.D., Raghavan, P. dan Schutze, H.,
F-Measure
2009. Introduction to Information
Retrieval. [daring] Computational
Linguistics, Tersedia pada:
<http://www.mitpressjournals.org/doi/1
0.1162/coli.2009.35.2.307>.
Pandie, E.S.Y., 2012. Sistem Informasi
Pengambilan Keputuan Pengajuan
Kredit Dengan Algoritma K-Nearest
Neighbour (Studi Kasus: Koperasi
Simpan Pinjam).
Pardede, J., Husada, M.G. dan Riansyah, R.,
2015. Implementasi Dan Perbandingan
Metode OKAPI BM25 Dan PLSA Pada
Aplikasi Information Retrieval.
Putri, P.A., Ridok, A. dan Indriati, 2013.
Implementasi Metode Improved K-
Nearest Neighbor Pada Analisis
Sentimen Twitter Berbahasa Indonesia.
Sianturi, M.H., Marji and Sutrisno, 2014.
Perbandingan Kinerja Metode Naiive
Bayesian Dengan Metode Improved K-
Nearest Neighbor Dalam Implementasi
Sistem Pengklasifikasian Spam Email.