ABSTRAK : Transportasi merupakan kebutuhan yang paling digunakan dalam aktifitas sehari-hari dalam bekerja,
berbelanja dan kegiatan yang lainnya. Transportasi online menjadi pilihan masyarakat. Aplikasi seperti Gojek dan
Grab saat ini yang paling banyak diminati. Saran dan kritik dari pelanggan guna memperbaiki sistem dan pelayanan
yang diberikan. Dalam hal ini penulis memperoleh data dari komentar di twitter dan menggunakan algoritma Naive
Bayes, Support Vector Machine dan K-Nearest Neighbor sebagai perbandingan akurasi yang dihasilkan. Ketiga
algoritma tersebut menggunakan salah satu fitur seleksi Particle Swarm Optimization. Hasil akurasi yang didapat
membuktikan dengan fitur seleksi Particle Swarm Optimization lebih tinggi dan akurasi yang paling tinggi oleh
Agoritma Support Vector Machine (PSO) dengan Akurasi 98 % dan AUC 0.988.
9 | Jurnal Ilmu Komputer JIK Vol. IV No.02 Desember 2021 ISSN 2746-7163
Stemming. Pembahasan tahapan-tahapan tersebut akan
dijelaskan lebih mendetail pada bagian berikutnya.
4. Modeling
Merupakan tahap pemilihan teknik
penambangan dengan menentukan algoritma yang
akan digunakan. Penelitian ini menggunakan tools
yang digunakan untuk melakukan pemodelan sesuai
dengan teknik yang telah ditentukan, tools tersebut
adalah RapidMiner versi 8.2. Penelitian ini
menggunakan 2 algoritma klasifikasi sebagai
Sumber: (IBM, 2011) modelnya. Algoritma klasifikasi yang digunakan
Gambar 1. Metode CRISP-DM yaitu, Naïve Bayes (NB), Support Vector Machine
(SVM) dan K-Nearest Neighbor (KNN) yang
1. Business Understanding dioptimasi dengan menggunakan Particle Swarm
Pada tahap business understanding, adalah Optimization (PSO). Hasil pengetesan setiap model
bagian pemahaman tentang objek penelitian yang adalah untuk mengklasifikasikan komentar positif dan
dilakukan. Pada penelitian ini pemahaman terhadap komentar negatif untuk mendapatkan nilai akurasi
objek penelitian dilakukan dengan menggali informasi terbaik pada setiap algortima.
melalui beberapa situs media sosial dengan objek
komentar terhadap transportasi online. Motivasi dalam 5. Evaluation
fase ini adalah komentar yang disajikan biasanya Tahap evaluation bertujuan untuk
berupa teks pada media digital yang dikelompokkan menentukan kegunaan model yang telah berhasil
berdasarkan isi diskusi masing-masing kategori dibuat pada langkah modeling sebelumnya. Penelitian
komentar. Media online tidak hanya terbatas sebagai ini menggunakan tahap evaluasi dengan 10 fold-cross
media sosial saja tapi juga juga dapat digunakan untuk validation. Proses validasi terdiri dari dua subproses
melihat masalah yang terjadi dan bahkan dapat yaitu, data pelatian (training set) dan data pengujian
digunakan untuk melihat penggunaan transportasi (testing set). Subproses pelatihan digunakan untuk
online. Analisis sentimen ini dilakukan untuk melatih model algoritma yang sudah ditentukan
menemukan metode klasifikasi yang dapat membantu sebelumnya pada tahap modeling dengan data
menentukan komentar komentar positif dan negatif. pelatihan yang ada. Setelah model algoritma dilatih
Pada tahap ini juga dibuat pemahaman untuk pada tahap subproses pelatihan, selanjutnya akan
menemukan metode klasifikasi terbaik sehingga dapat model tersebut akan dilakukan pengujian pada
membantu selama proses pengolahan data yang akan subproses pengujian.
dilakukan dengan membandingkan hasil algoritma
yang digunakan dan untuk meningkatkan kinerja Selanjutnya, setelah data pengujian
metode klasifikasi dapat dilakukan dengan dilakukan, proses silang dilakukan yaitu, data
menggunakan pemilihan fitur (feature selection). pengujian digunakan sebagai data pelatihan dan
sebaliknya data pelatihan sebagai data pengujian,
2. Data Understanding proses tersebut dilakukan sebanyak 10 kali untuk
Pada tahap data understanding, proses setiap bagian, sehingga setiap bagian dari 10 bagian
pengambilan data mentah dilakukan sesuai dengan telah diuji untuk model algoritma yang digunakan.
atribut yang diperlukan. Data diperoleh dari twitter
sebanyak 50 komentar positive dan 50 komentar 6. Deployment
negative. Tahap deployment adalah tahap yang
digunakan untuk membuat sebuah model
3. Data Preparation implementasi yang dibuat dalam sebuah tools yang
Tahap data preparation adalah tahap dengan dapat dibangun dengan berbagai jenis pemrograman.
proses persiapan data yang bertujuan untuk Pembuatan model implementasi ini menggunakan
mendapatkan data bersih dan siap digunakan dalam hasil dari proses eksperimen dan evaluasi sebagai
penelitian. Pada tahap awal penambangan teks, tahap sumber data acuan.
pre-processing teks akan dilakukan, pada tahap ini,
peneliti akan menggunakan alat bantu Gata 3. HASIL DAN PEMBAHASAN
Framework Textmining (Kurniawan, Gata,
Puspitawati, Tabrani, & Novel, 2019). Pada tahap ini Penelitian ini menggunakan data yang telah
peneliti akan melakukan beberapa proses diambil dari komentar di twitter seperti yang telah
preprocessing teks pada dataset komentar, antara lain: disebutkan pada bagian data understanding diatas.
Case folding, Tokenizing, Tagging, Filtering, Adapun data yang diambil secara keseluruhan adalah
10 | Jurnal Ilmu Komputer JIK Vol. IV No.02 Desember 2021 ISSN 2746-7163
berjumlah 100 data komentar. Kemudian data tersebut Gojek sudah menonaktifkan Gojek sudah menonaktifkan
akun driver dengan inisial AY akun driver dengan inisial
pada tahap awal akan dilakukan data cleansing dan
sebagai respon aduan dari AY sebagai respon aduan
dilakukan pemberian label dengan label positif atau Agnes.https://t.co/ZYbdHbWj5 dari Agnes https t co
negatif pada setiap komentar. Dari tahap awal tersebut F ZYbdHbWj F
didapatkan data sebanyak 100 komentar yang telah tq grab driver tq grab driver
berlabel maka, data tersebutlah yang akan menjadi
Oknum Driver Gojek Diduga Oknum Driver Gojek Diduga
dataset pada penelitian ini. Tipu Pemesan Go Food hingga Tipu Pemesan Go Food
Rp 9 Juta hingga Rp Juta https t co K
1. Pre-processing https://t.co/K04NYfuyO0 NyfuyOLINETODAY tiati
Pembahasan pada tahapan ini adalah proses #LINETODAY - tiati gaes gaes kal https t co y n aFy
kal…https://t.co/13y7n6aFy5
awal pengolahan dataset sebelum dapat diproses untuk
klasifikasi dengan algoritma Naïve Bayes (NB) bikin emosi mana ada tambahan bikin emosi mana ada
,Support Vector Machine (SVM) dan K-Nearest biaya tiba2 trus driver gaada tambahan biaya tiba trus
Neighbor (KNN) yang dioptimasikan dengan Particle konfirmasi, bener2 yaaa driver driver gaada konfirmasi
grab td tuh, mana gue ga… bener yaaa driver grab td tuh
Swarm Optimization (PSO). Penelitian ini https://t.co/dlqkpmRRP6 mana gue ga https t co
menggunakan beberapa tahapan pre-processing untuk dlqkpmRRP
dataset teks komentar, berikut ini adalah tahapan
tersebut: Sumber : ( Rahmatullah & Rosiyadi, 2020)
Tabel 1. Perbandingan Teks Komentar Sebelum Sumber : ( Rahmatullah & Rosiyadi, 2020)
dan Sesudah Proses Tokenizing Gambar 2. Tahap Preprocessing.
Sebelum Sesudah
Gojek sudah menonaktifkan Gojek sudah menonaktifkan 2. Pembuatan Model Klasifikasi
akun driver dengan inisial akun driver dengan inisial AY
AY sebagai respon aduan sebagai respon aduan dari
Tahap ini pada penelitian adalah untuk
dariAgnes.https://t.co/ZYb Agnes https t co ZYbdHbWj F membuat model dengan menggunakan algoritma
dHbWj5F klasifikasi untuk dataset teks komentar yang sudah
tq grab driver tq grab driver melalui tahap pre-processing. Tahap ini menggunakan
Oknum Driver Gojek Oknum Driver Gojek Diduga tiga algoritma klasifikasi yaitu, Naive Bayes (NB),
Diduga Tipu Pemesan Go Tipu Pemesan Go Food hingga Support Vector Machine (SVM) dan K-Nearest
Food hingga Rp 9 Juta Rp Juta https t co K NYfuyO
https://t.co/K04NYfuyO0# LINETODAY tiati gaes kal
Neighbor (KNN) pada gambar 3 dan yang
LINETODAY - tiati gaes https t co y n aFy dioptimasikan dengan Particle Swarm Optimization
kal…https://t.co/13y7n6aF (PSO) pada gambar 4 menggunakan tools Rapidminer
y5 versi 8.0 untuk mengolah dataset teks komentar yang
bikin emosi mana ada bikin emosi mana ada tambahan sudah melalui tahap data preparation dengan pre-
tambahan biaya tiba2 trus biaya tiba trus driver gaada
driver gaada konfirmasi, konfirmasi bener yaaa driver processing teks.
bener2 yaaa driver grab td grab td tuh mana gue ga https t
tuh, mana gue ga… co dlqkpmRRP Tahap pertama dari proses ini adalah data teks
https://t.co/dlqkpmRRP6 komentar akan diunggah ke dalam tools dengan
Sumber : ( Rahmatullah & Rosiyadi, 2020)
menggunakan file excel yang kemudian akan di proses
dengan algoritma Naive Bayes (NB), Support Vector
b. Tokenizing
Machine (SVM) dan K-Nearest Neighbor (KNN)
Tahap Tokenizing adalah tahap pemotongan untuk mendapatkan hasil awal dari masing-masing
string input berdasarkan tiap kata yang menyusunnya.
algoritma tersebut. Setelah tahap pertama dilakukan
Hasil dari proses tersebut dapat dilihat dibawah ini.
maka, penelitian ini melanjutkan dengan melakukan
perbandingan kedua algoritma dengan menambahkan
Tabel 2. Perbandingan Teks Komentar Sebelum
algortima optimalisasi dengan menggunakan Particle
dan Sesudah Proses Tokenizing
Swarm Optimization (PSO). Langkah penggunaan
Sebelum Sesudah PSO dalam proses modelling ini bertujuan untuk
11 | Jurnal Ilmu Komputer JIK Vol. IV No.02 Desember 2021 ISSN 2746-7163
meningkatkan nilai akurasi hasil dari klasifikasi tahap ini juga menggunakan Set Role yang berfungsi
algoritma NB, SVM dan KNN. untuk menentukan field pada kelas kemudian
menggunakan Particle Swarm Optimization (PSO)
agar akurasi yang dihasilkan lebih tinggi dari hasil
pemodelan yang telah dilakukan sebelumnya. Desain
model klasifikasi yang di evalusai menggunakan PSO
dapat dilihat pada gambar 7, 8 dan 9.
Sumber : ( Rahmatullah & Rosiyadi, 2020) Sumber : ( Rahmatullah & Rosiyadi, 2020)
Gambar 4. Design Model Menggunakan Algoritma Naive Gambar 9. Proses Evaluasi 10 Fold Cross-Validation untuk
Bayes, Support Vector Machine dan KNN dengan PSO. algoritma KNN dengan PSO
3. Evaluasi Model Klasifikasi
Tahapan evaluasi bertujuan untuk
menentukan nilai kegunaan dari model yang telah
berhasil dibuat pada langkah sebelumnya. Untuk
evaluasi digunakan 10 fold-cross validation.
12 | Jurnal Ilmu Komputer JIK Vol. IV No.02 Desember 2021 ISSN 2746-7163
Sumber : ( Rahmatullah & Rosiyadi, 2020)
Sumber : ( Rahmatullah & Rosiyadi, 2020) Gambar 13. Kurva AUC Naive Bayes dan PSO
Gambar 11. Kurva AUC Support Vector Machine
Kurva ROC Support Vector Machne dengan Kurva ROC Naive Bayes dan PSO dengan
nilai AUC (Area Under Curve) yang dihasilkan dari nilai AUC (Area Under Curve) yang dihasilkan dari
gambar 11 diatas sebesar 0.984 dimana diagnosa gambar 13 diatas sebesar 0.666 dimana diagnosa
hasilnya adalah excellent classification. hasilnya adalah poor classification
13 | Jurnal Ilmu Komputer JIK Vol. IV No.02 Desember 2021 ISSN 2746-7163
Particle Swarm Optimization (PSO) memiliki tingkat
akurasi yang lebih baik daripada Naive Bayes yang
dioptimalisasikan dengan Particle Swarm
Optimization (PSO) dan K-Nearest Neighbor Particle
Swarm Optimization (PSO). Sementara Particle
Swarm Optimization (PSO) memainkan peran penting
dalam meningkatkan akurasi algoritma Support Vector
Machine. Sehingga algoritma Support Vector Machine
berbasis Particle Swarm Optimization (PSO) dapat
menjadi solusi untuk klasifikasi dalam sentimen
analisis transportasi online.
14 | Jurnal Ilmu Komputer JIK Vol. IV No.02 Desember 2021 ISSN 2746-7163
Decision Tree. Journal of Theoretical and
Applied Information Technology 96(7),
pp.1886-1895.
[7]. Wahyudi, M., & Kristiyanti, D. A. (2016).
Sentiment analysis of smartphone product
review using support vector machine
algorithm-based particle swarm optimization.
Journal of Theoretical and Applied
Information Technology, 91(1), 189–201.
15 | Jurnal Ilmu Komputer JIK Vol. IV No.02 Desember 2021 ISSN 2746-7163