ANALISIS SENTIMEN E-COMMERCE TRAVELOKA PADA

TWITTER MENGGUNAKAN METODE

NAÏVE BAYES CLASSIFIER

Laras Nisrina Widoyoko 53415786 *),

Prof. Dr. B.E.F. Da Silva, M Sc., DEA **),
Hadyan Mardhi Fadlillah, ST., MMSI **)

Jurusan Teknik Informatika, Fakultas Teknologi Industri,

Universitas Gunadarma
Jl Margonda Raya No. 100, Pondok Cina, Depok 16424
larasnisrina@gmail.com, dasilva@staff.gunadarma.ac.id,
http://hadyanfadlillah.staff.gunadarma.ac.id/
* ) Mahasiswa Teknik Informatika Universitas Gunadarma
**) Dosen Pembimbing Universitas Gunadarma

ABSTRAK
Banyak komentar masyarakat di media sosial terutama twitter berkomentar mengenai
layanan e-commerce, salah satunya traveloka. Komentar-komentar yang dikirimkan
masyarakat tentang traveloka mengandung sentimen. Hasil analisis sentimen diharapkan
dapat memberikan gambaran terhadap kinerja traveloka yang harus diperbaiki atau
dipertahankan. Analisis sentimen pada penelitian ini menggunakan Machine Learning
dengan metode Naïve Bayes Classifier untuk mengklasifikasikan tweets menjadi dua
kelas yaitu kelas positif dan kelas negatif. Data yang digunakan berasal dari twitter
menggunakan Twitter API. Uji coba data dibagi menjadi dua yaitu uji coba
menggunakan data training (cross validation) dan uji coba menggunakan data baru hasil
sentimen manual oleh manusia. Visualisasi hasil dari klasifikasi tweets ditampilkan
dalam bentuk tabel data, grafik bar chart, grafik pie, wordcloud, dan akurasi berbentuk
website. Penelitian ini dibangun menggunakan bahasa pemrograman Python, visualisasi
antarmuka menggunakan Django Framework, HTML, dan CSS. Akurasi analisis
sentiment traveloka berdasarkan data training sebesar 94.13% sedangkan akurasi
berdasarkan data uji sebesar 84.61%.
Kata Kunci: Analisis Sentimen, Machine Learning, Naïve Bayes Classifier, Twitter,
Traveloka

ABSTRACT
Many public comments on social media, especially Twitter commented on e-commerce
services, one of which is Traveloka. The comments sent by the public about Traveloka
contain sentiment. The results of sentiment analysis are expected to provide an overview
of the performance of traveloka which must be improved or maintained. Sentiment
analysis in this study uses the Machine Learning method and the Naïve Bayes Classifier
method to classify tweets into two classes, namely positive and negative classes. The
data used comes from Twitter using the Twitter API. Trial data is divided into two
namely trials using training data (cross validation) and trials using new data from
manual sentiment by humans. Visualization of the results of the classification of tweets
will be displayed in the form of data tables, bar charts, pie charts, wordcloud, and
website accuracy. This research was built using the Python programming language, to
visualize the interface using Django Framework, HTML, and CSS. The accuracy of
traveloka sentiment analysis based on training data is 94.13% while the accuracy based
on test data is 84.61%.
Keyword: Analisys Sentiment, Machine Learning, Naïve Bayes Classifier, Twitter,
Traveloka.
I. LATAR BELAKANG
Pada era modern seperti saat
ini, teknologi merupakan satu
kesatuan yang tidak bisa dipisahkan
dengan manusia. Perkembangan
teknologi informasi tidak hanya
sebagai media untuk mengakses
informasi, melainkan juga sebagai
media untuk memenuhi kebutuhan
manusia. Oleh sebab itu, teknologi
banyak dimanfaatkan diberbagai
bidang pekerjaan. Misalnya, pada
bidang e-commerce.
E-commerce kini sudah
menjamur di seluruh dunia untuk
membantu mendapatkan barang dan
jasa dengan cara yang mudah.
Salah satu situs e-commerce dalam
bidang jasa yang sedang
berkembang dan banyak
dibicarakan adalah situs Traveloka.
Traveloka merupakan salah
satu perusahaan travel terbesar di
Indonesia yang menyediakan
berbagai kebutuhan perjalanan
dalam satu platform. Traveloka
memberikan kenyamanan kepada
customers dengan sistem 3 in 1
yaitu pemesanan tiket pesawat,
travel dan reservasi hotel dalam
satu waktu yang bersamaan.
Jika konsumen tidak mendapat
kan barang sesuai yang diinginkan
maka konsumen dapat memberikan
pendapat negatif melalui sosial
media yang bersangkutan dan dapat
dijadikan sebagai acuan untuk
peningkatan kualitas penjualan dari
segi barang maupun jasa yang di
tawarkan oleh penjual. Oleh sebab
itu, pendapat masyarakat tersebut
dianalisis dengan menggunakan
analisis sentimen.
Analisis sentimen atau opinion
mining merupakan proses
memahami, mengekstrak, dan
mengolah data tekstual secara
otomatis untuk mendapatkan
informasi yang diekspesikan
melalui media sosial online
mengenai bermacam-macam topik
yang terkandung dalam suatu
kalimat opini. Analisis sentimen
dilakukan untuk mendapatkan
informasi yang berguna dari opini
yang tidak terstuktur menjadi
informasi lebih terstuktur sehingga
dapat melihat kecenderungan
beropini positif atau negatif.
Penelitian pada bidang analisis
sentimen ini akan menganalisis data
yang diperoleh dari twitter dengan
tweet yang membahas mengenai
sentimen pengguna terhadap e-
commerce Traveloka dengan kata
kunci “@Traveloka”. Tweet
tersebut akan melalui beberapa
tahapan pre-processing dan tahap
klasifikasi dengan menggunakan
algoritma Naïve Bayes Classifier
untuk mendapatkan nilai
probabilitas terhadap sentimen
kelas positif, dan negarif.
Hasil probabilitas yang
diharapkan dari perhitungan
algoritma Naive Bayes Classifier
adalah menentukan klasifikasi kelas
sentimen pada kasus tersebut
berupa kelas positif dan negatif,
serta mengevaluasi menggunakan
metode Confusion Matrix dengan
menghitung akurasi yang
diharapkan memperoleh hasil
akurasi yang sesuai. Berdasarkan
paparan latar belakang masalah di
atas, diperlukannya analisis dalam
sebuah penelitian yang berjudul
“Analisis Sentimen E-Commerce
Traveloka Pada Twitter
Menggunakan Algoritma Naive
Bayes Classifier”.
II. BATASAN MASALAH
Untuk menghindari meluasnya
pembahasan pada penelitian ini, maka
dibuat batasan masalah sebagai berikut:
1. Sosial media yang digunakan
adalah twitter
2. Data yang digunakan berasal dari
pengguna twitter yang melakukan
mention kepada akun twitter resmi
Traveloka yaitu @Traveloka
3. Pengambilan data dimulai dari
tanggal 29 April 2019 sampai 12
Mei 2019
4. Pengklasifikasian sentimen terdiri
dari dua kelas yaitu, positif dan
negatif.
5. Model algoritma Naïve Bayes
Classifier menggunakan Bahasa
pemrograman Python
6. Hasil analisa berbentuk akurasi,
diagram pie, diagram bar, dan
wordcloud.
III. TUJUAN PENELITIAN
Penelitian ini bertujuan untuk
menerapkan algoritma Naive Bayes
Classifier pada mechine learning dalam
pengklasifikasian sentimen melalui
sosial media twitter dengan akun resmi
traveloka yaitu @Traveloka
menggunakan Bahasa pemrograman
python sehingga dapat mempercepat
proses klasifikasi sentimen dan
mendapatkan nilai akurasi yang baik.
IV. METODE PENELITIAN
Metode penelitian yang digunakan
dalam penelitian ini adalah sebagai
berikut:
1. Perencanaan
Tahap perencanaan ini dilakukan
dengan cara mengumpulkan beberapa
informasi yang di butuhkan untuk
membancu kelancaran dari proses
analisis sentiment traveloka, seperti
melakukan browsing diintenet maupun
mencari referensi buku-buku yang
membahasa tentang analisis sentiment
menggunakan naïve bayes classifier.
2. Analisis
Tahap analisis yaitu menganalisa
kebutuhan software dan hardware yang
dibutuhkan untuk menunjang proses
klasifikasi analisis sentiment traveloka.
3. Perancangan
Tahap perancangan berisikan
perancangan pengklasifikasian tweets
serta perancangan visualisasi
menggunakan perancangan struktur
navigasi dan perancangan antarmuka
4. Implementasi
Tahap implementasi berisi penerapan
algoritma Naïve Bayes Classifier pada
model yang telah dibuat menggunakan
bahasa pemrograman Python dengan
text editor Google Colaboratory serta
pembuatan visualisasi antarmuka.
5. Uji Coba
Tahap uji coba dilakukan dengan
menggunakan data yang telah ditraining
oleh model dan menggunakan data yang
telah diberi hasil sentimen secara
manual oleh manusia sehingga
mengeluarkan akurasi dan visualisasi
berupa grafik bar, grafik pie, dan
wordcloud.
V. LANDASAN TEORI
Berikut adalah teori – teori
yang dipakai untuk penelitian ini.
Text Mining
Text mining (penambangan text)
merupakan proses yang dilakukan oleh
komputer untuk mendapatkan sesuatu
yang baru yang tidak diketahui
sebelumnya yang berasal dari informasi
yang di ekstrak secara otomatis dari
sumber data text yang berbeda-beda
untuk tujuan tertentu. Text mining
merupakan teknik yang digunakan
untuk menangani masalah klasifikasi,
clustering, information extraction dan
information retrival[6].
Text Processing
Berdasarkan ketidakteraturan
struktur data teks, maka proses sistem
temu kembali informasi ataupun text
mining memerlukan beberapa tahap
awal yang pada intinya adalah
mempersiapkan agar teks dapat diubah
menjadi lebih terstruktur. Salah satu
implementasi dari text mining adalah
tahap Text Preprocessing.
Tahap Text Preprocessing adalah
tahapan dimana aplikasi melakukan
seleksi data yang akan diproses pada
setiap dokumen. Proses preprocessing
ini meliputi: case folding, filtering, dan
tweets normalization[12].
Analisis Sentimen
Analisis sentimen, juga disebut
pengolahan pendapat yang merupakan
penelitian di bidang pengolahan teks
dan pengolahan bahasa alami. Tujuan
dari sentimen analisis adalah
mendeteksi secara otomatis dan
mengklasifikasikan opini menuju target
opini tersebut. Sasaran opini sering
disebut entitas, seperti individu,
organisasi, produk, jasa, tetapi juga
acara dan keadaan[9].
Tugas dasar dalam analisis
sentimen adalah mengelompokkan teks
yang ada dalam sebuah kalimat atau
dokumen kemudia menentukan
pendapat yang dikemukakan dalam
kaliamat atau dokumen tersebut apakah
bersifat positif, negatif atau netral[9].
Machine Learning
Machine Learning merupakan salah
satu cabang dari disiplin ilmu
Kecerdasan Buatan (Artificial
Intellegence) yang membahas mengenai
pembangunan sistem yang berdasarkan
pada data[16].
Salah satu teknik
pengaplikasian machine
learning adalah supervised learning.
Seperti yang dibahas
sebelumnya, machine learning tanpa
data maka tidak akan bisa bekerja. Oleh
karena itu hal yang pertama kali
disiapkan adalah data. Data biasanya
akan dibagi menjadi 2 kelompok, yaitu
data training dan data testing. Data
training nantinya akan digunakan untuk
melatih algoritma untuk mencari model
yang cocok, sementara data testing akan
dipakai untuk mengetes dan mengetahui
performa model yang didapatkan pada
tahapan testing.
Dari model yang didapatkan, kita
dapat melakukan prediksi yang
dibedakan menjadi dua macam,
tergantung tipe keluarannya. Jika hasil
prediksi bersifat diskrit, maka
dinamakan proses klasifikasi.
Naïve Bayes Classifier
Naïve Bayes Classifier merupakan
sebuah metoda klasifikasi yang berakar
pada Teorema Bayes. Metode
pengklasifikasian dengan menggunakan
metode probabilitas dan statistik yg
dikemukakan oleh ilmuwan Inggris
Thomas Bayes, yaitu memprediksi
peluang di masa depan berdasarkan
pengalaman di masa sebelumnya
sehingga dikenal sebagai Teorema
Bayes[8].
Pada Naïve Bayes Classifier setiap
dokumen diwakili oleh pasangan atribut
"X1, X2, X3 ... Xn" dimana X1 adalah
kata pertama, X2 adalah kata kedua dan
seterusnya. Sementara V adalah
kumpulan kategori Tweet[11].
Pada saat klasifikasi, algoritma akan
mencari probabilitas tertinggi dari
semua kategori dokumen yang diuji
(VNB), dimana persamaannya adalah a. True Positives (TP) adalah jumlah
sebagai berikut: record datapositif yang
diklasifikasikan sebagai nilai positif
arg max b. False Positives (FP) adalah jumlah
VNB = P(Vj ) ∏ P(Xi |Vj )
Vj ∈V record data negatif yang
i
Keterangan: diklasifikasikan sebagai nilai positif
Vj = kategori tweet (positif, negatif, c. False Negatives (FN) adalah
atau netral) jumlah record data positif yang
P(Xi|Vj) = probabilitas Xi dalam diklasifikasikan sebagai nilai positif
kategori Vj d. True Negatives (TN) adalah
P(Vj) = probabilitas Vj jumlah record data negatif yang
Untuk P (Vj) and P (Xi | Vj) dihitung diklasifikasikan sebagai nilai
selama pelatihan dimana persamaannya negative.
adalah sebagai berikut: Flowchart
|docs j| Flowchart atau bagan alur
P(Vj )= merupakan metode untuk
|example|
nk+1 menggambarkan tahap tahap
P(Xi |Vj )= penyelesaian masalah(prosedur) beserta
n+|vocabulary| aliran data dengan simbol-simbol
standar yang mudah dipahami. Tujuan
Keterangan: utama penggunaan flowchart adalah
|docs j| = jumlah dokumen per kategori j untuk menyederhakan rangkaian proses
|example| = jumlah dokumen dari semua atau prosedur untuk memudahkan
kategori pemahaman pengguna terhadap
nk = berapa kali terjadinya setiap kata informasi tersebut. Untuk itu, desain
n = berapa kali jumlah kali setiap kata sebuah flowchart harus ringkas, jelas
muncul dan logis[5].
|vocabulary| = jumlah semua kata dari Python
semua kategori Python adalah bahasa
Confision Matrix pemrograman interpretatif yang
Confusion matrix adalah suatu dianggap mudah dipelajari serta
metode yang biasanya digunakan berfokus pada keterbacaan kode.
untuk melakukan perhitungan akurasi Dengan kata lain, Python diklaim
pada konsep data mining[1]. Confusion sebagai bahasa pemrograman yang
matrix digambarkan dengan tabel memiliki kode-kode pemrograman yang
yang menyatakan jumlah data uji sangat jelas, lengkap, dan mudah untuk
yang benar diklasifikasikan dan jumlah dipahami.
data uji yang salah diklasifikasikan[1]. Python dapat digunakan untuk
berbagai keperluan pengembangan
perangkat lunak dan dapat berjalan di
Tabel 2.1 Confusion Matrix berbagai platform sistem operasi. Oleh
karena itu, distribusi aplikasi yang
dibuat menggunakan Python sangat luas
dan multiplatform[2].
Twitter
Twitter adalah sebuah micro-
Berdasarkan tabel Confusion Matrix blogging atau dapat dikatakan sebuah
diatas: jejaring sosial. Twitter memberi akses
kepada penggunanya untuk mengirim VI. METODE PENELITIAN
pesan singkat yang terdiri maksimal 140 Tahap awal dalam pembuatan
karakter. Pesan singkat yang dikirim via program adalah mengumpulkan tweets
twitter disebut tweets. Dalam Twitter yang dikirimkan oleh masyarakat
anda dapat mudah sekali untuk kepada official account traveloka yaitu
menemukan berita-berita yang baru @Traveloka dengan bantuan Twitter
ataupun terpopuler dan sedang terjadi API. Setelah data terkumpul, data
dan juga bisa berkaitan tentang hal yang tersebut diproses secara preprocessing
anda sukai[14]. dengan 3 tahap yaitu tahapan case
Google Collaboraroty folding, filtering, stemming dan
Google Collab merupakan salah Stopword removal. Selanjutnya data
satu produk Google berbasis cloud yang digunakan sebagai data training bagi
bisa digunakan secara gratis oleh para machine learning.
pengguna. Google Collab dibuat khusus Kemudian data yang telah di
untuk para programmer atau researcher training, di lakukan pengolahan dan
yang kesulitan untuk mendapatkan perhitungan menggunakan algoritma
akses komputer dengan spek tinggi. Naïve Bayes Classifier dan dengan
Google Collab merupakan coding dibantu oleh Bahasa pemrograman
environment bahasa pemrograman Python dan di visualisasikan dalam
Python dengan format “notebook”, bentuk website dengan menggunakan
dengan kata lain Google seakan Django sebagai framework, HTML, dan
meminjami para pengguna komputer CSS sebagai Bahasa pemrogramannya
secara gratis untuk membuat program serta pengklasifikasian data yang terdiri
oleh Google. dari positif dan negatif menggunakan
Traveloka model yang telah dibuat.
Traveloka pertama kali didirikan
oleh Ferry Unardi, Derianto Kusuma
dan Albert yang pada awalnya hanya
sebuah konsep untuk melihat dan
membandingkan harga. Pada tahun
2013 Traveloka berubah menjadi situs
reservasi yang kosentrasi dalam
pemesanan tiket pesawat. Kemudian
pada bulan maret 2014 Traveloka
masuk ke bisnis reservasi kamar hotel
dan pada bulan Juli 2014 situs
pemesanan hotel melalui Traveloka
telah tersedia. Sedangkan pada tahun
2017, Traveloka sudah menyediakan
pemesanan tiket kereta api, tiket
perjalanan wisata, paket wisata, tiket
pertunjukan seni, pulsa pascabayar dan
internet yang bekerja sama dengan
vendor-vendor yang dilakukan untuk
dapat terus memberikan pelayanan Gambar 3.1 Flowchart Perancangan
terbaik untuk konsumen[17]. Klasifikasi Tweets
A. Pengumpulan Data
Pada proses pengumpulan tweets
menggunakan bantuan Twitter API dan
menggunakan akun resmi Traveloka
yaitu @Traveloka. Tweets yang
dihasilkan dalam proses pengumpulan
tweets berjumlah kurang lebih 8000.
Proses pengumpulan
B. Preprocessing Tweets
Setelah proses pengumpulan
tweets, maka proses selanjutnya adalah
tahapan text preprocessing. Terdapat
beberapa proes yang dilakukan untuk
preprocessing tweets yaitu, case
folding, filtering, stemming dan
stopword removal.
1. Case Folding
Proses case folding merupakan
pengubahan semua huruf kapital pada
tweets (uppercase) menjadi huruf kecil
(lowercase).
2. Filtering
Pada tahap filtering akan dilakukan
penghapusan karakter yang
mengandung HTML, link url, hashtag,
tanda baca, retweet dan berbagai
symbol-symbol.
3. Stemming dan Stopword Removal
Stemming merupakan proses yang
dilakukan untuk menghilangkan kata
berimbuhan menjadi kata dasar. Di
dalam proses stemming terdapat proses
stopword removal yang berfungsi untuk
menghilangkan kata-kata yang tidak
deskriptif dengan bantuan library
sastrawi.
C. Pembuatan Data Training
Hasil kumpulan tweets setelah
proses sebelumnya yang disimpan akan
diberikan label untuk membedakan
positif, negatif dan netral. Proses ini
dinamakan pembuatan data training.
Pembuatan data training
menggunakan pendekatan lexical atau
dengan bantuan kamus positif dan
negatif yang diperoleh dari penelitian
sebelumnya yang telah dimodifikasi.
Label yang digunakan dalam training
yaitu 1 untuk positif dan 0 untuk
negatif, jika hasil positif dan negatif
sama maka akan tergolong menjadi
netral.
Jumlah data training yang telah
diklasifikasi menggunakan pendekatan
lexical dapat dijabarkan seperti Tabel
3.4.
Tabel 3.4 Jumlah Data Training
Klasifikasi Positif Netral Negatif
Tweets
Tweet
1666 3685 2580
Traveloka
Sumber: data yang sudah diolah
D. Pembuatan Model Machine
Learning
Pembuatan model machine
learning, menggunakan algoritma Naïve
Bayes Classifier. Terdapat tiga tahapan
dalam pembuatan model machine
learning, yaitu:
1. Penghapusan netral
Pada saat melakukan pembuatan
data training hasil sentimen dibagi
menjadi tiga kelas, oleh karena itu
penghapusan netral digunakan
dikarenakan model yang hendak dibuat
hanya dapat membaca kelas positif dan
kelas negatif.
2. Ekstraksi fitur
Pada proses ekstraksi fitur ini
menyajikan tweet dalam bentuk
potongan kata menggunakan fitur
unigram. Setiap kata akan dihitung
sebagai sebuah fitur. Kemudian hasil
ekstraksi fitur dalam data training akan
digunakan untuk melatih model
pembelajaran.
3. Training Model Machine Learning
Model prediksi akan dilatih
menggunakan data training bersama
dengan label yang sudah diberikan.
Algoritma Naïve Bayes Classifier
adalah algoritma yang digunakan untuk
menemukan nilai probabilitas tertinggi
untuk mengklasifikasikan data uji pada
kategori yang sesuai yaitu sentimen
kelas positif dan sentimen kelas negatif.
Setelah mengetahui klasifikasi
perkata, maka setiap kata akan dihitung
nilai prioritasnya untuk menentukan rate
positif dan negatif setiap kata.
Perhitungan untuk training model terdiri
dari tiga tahap yaitu:
1. Perhitungan Prioritas
Perhitungan prioritas berfungsi
untuk menghitung prioritas dari hasil
sentimen positif dan sentimen negatif.
|docs j|
P(Vj )=
|example|
Pencarian nilai prioritas dengan
cara membagi banyaknya contoh tweet
sesuai kategori sebagai (|docs j|) dengan
banyaknya seluruh contoh tweet yang
menjadi data training.
2. Perhitungan Probabilitas Bersyarat
Pada perhitungan probabilitas
bersyarat bertujuan untuk mencari nilai
setiap kata yang mengandung kategori
positif atau negatif.
nk+1
P(Xi |Vj )=
n+|vocabulary|
3. Perhitungan Kelas
Perhitungan kelas berfungsi untuk
mengitung nilai positif dan nilai negatif
dari setiap contoh tweet data training.
Perhitungan ini mengacu pada hasil
perhitungan probabilitas prioritas dan
probabilitas bersyarat.
P(Vj |Xi )=P(Vj ) ∏ P(Xi |Vj )
i 502, nilai True Negative (TN) adalah
E. Pengujian Akurasi
Pengujian akurasi terdiri dari
pengujian akurasi untuk data yang telah
di training oleh model dan pengujian
akurasi untuk data uji yang telah diberi
sentimen manual oleh manusia.
Keakuratan dari analisis sentimen pada
system diperoleh menggunakan rumus
dibawah ini:
Keterangan:
1. TP adalah True Positive
2. TN adalah True Negative
3. FN adalah False Negative
4. FP adalah False Positive
Nilai True Negative (TN) merupakan
jumlah data negatif yang terdeteksi
dengan benar oleh sistem, sedangkan
False Negative (FN) merupakan data
negatif namun terdeteksi dengan salah
oleh sistem. Sementara itu, nilai True
Positive (TP) merupakan jumlah data
positive yang terdeteksi dengan benar
oleh sistem, sedangkan False Positive
(FP) merupakan data positive namun
terdeteksi salah oleh sistem.
1. Akurasi Untuk Data Training
Perhitungan akurasi yang
diterapkan pada data training diperoleh
menggunakan perhitungan confusion
matrix.
Tabel 3.7 Confusion Matrix Data
Training
Klasifikasi Klasifikasi
Kelas
Positif Negatif
Positif (TP) 502 (FN) 22
Negatif (FP) 28 (TN) 298
Sumber: data yang sudah diolah
Pada Tabel 3.7 menunjukan Tabel
confusion matrix yang terkait dengan
hasil analisis sentimen hasil klasifikasi,
dimana nilai True Positive (TP) adalah
298, sedangkan False Positive (FP)
adalah 28 dan False Negative (FN)
berjumlah 22.
Sehingga setelah diterapkan rumus
di atas, hasilnya adalah sebagai berikut:
Akurasi = (502+298)/(502+298+28+22)
* 100%
= (800/850) * 100% = 94.13%
Hasil diatas menunjukan bahwa tingkat
akurasi untuk data training dan
menggunakan metode lexical mencapai akses API, setelah selesai melakukan
94.13% proses registrasi, salin beberapa variabel
2. Akurasi Untuk Data Uji Hasil yang dibutuhkan untuk proses
Sentimen Manual Oleh Manusia pengambilan data seperti api_key,
Data yang digunakan untuk data uji api_secret, access_token, dan
merupakan data baru yang mengandung access_token_secret.
traveloka dan telah diberi sentimen 1. Implementasi Klasifikasi Tweets
manual oleh manusia. Hal ini bertujuan a. Pengumpulan Data
untuk menguji model apakah model Tahap pengumpulan data berasal
dapat memberi nilai sentimen yang dari sosial media twitter menggunakan
sesuai dengan nilai yang diberi bantuan Twitter API dan data yang
sentimen oleh manusia. dikumpulkan berasal dari kiriman
Tabel 3.8 Confusion Matrix Data Uji pengguna kepada akun resmi Traveloka
Klasifikasi Klasifikasi yaitu @Traveloka. Tweets yang
Kelas terkumpul berjumlah 8273 tweet yang
Positif Negatif
diambil pada 29 April 2019 sampai 12
Positif (TP) 43 (FN) 13 Mei 2019. Hasil dari proses
pengumpulan data dapat dilihat pada
Negatif (FP) 3 (TN) 45 Gambar 4.5.
Sumber: data yang sudah diolah
Pada Tabel 3.8 menunjukan Tabel
confusion matrix data uji, dimana nilai
True Positive (TP) adalah 43, nilai True
Negative (TN) adalah 45, sedangkan
False Positive (FP) adalah 3 dan False
Negative (FN) berjumlah 13.
Sehingga setelah diterapkan rumus
di atas, hasilnya adalah sebagai berikut:
Akurasi = (43+45)/(43+45+3+13) *
100%
= (88/104) * 100% =
84.61% Gambar 4.5 Hasil Proses Pengumpulan
Hasil diatas menunjukan bahwa tingkat Data
akurasi untuk data uji dan menggunakan Banyaknya tweet yang diperoleh
metode lexical mencapai 84.61% berdasarkan tanggal selama proses
penarikan data ditunjukan pada tabel 4.1
VII. PEMBAHASAN Tabel 4.1 Jumlah Tweet Per Tanggal
Tahap ini dibahas mengenai hasil
implementasi dan uji coba yang Tanggal Jumlah Tweets
dilakukan.
1. Koneksi Twitter API 29 April 2019 1245 tweets
Langkah awal yang dilakukan
dalam pengambilan data mengenai 02 Mei 2019 980 tweets
traveloka dari sosial media twitter
adalah dengan cara mendaftarkan diri
05 Mei 2019 2678 tweets
sebagai syarat verifikasi melalui
https://developer.twitter.com/en/apps,
metode standar untuk mendapatkan 09 Mei 2019 1896 tweets

12 Mei 2019 1474 tweets
Jumlah Tweets 8273
Data berjumlah 8273 yang nantinya
akan menjadi data training pada saat
pembuatan model. Data tidak diambil
pada setiap hari dikarenakan
mengurangi penduplikasian tweets.
b. Preprocessing Tweets
Pada saat melakukan tahap
preprocessing tweets, data yang telah
ada akan diproses dengan tiga tahapan
yaitu Case Folding, Filtering, Stemming
dan Stopword Removal.
1. Case Folding
Tahapan ini bertujuan agar pada
proses selanjutnya data memiliki
konsistensi dengan menggunakan huruf
kecil. Fungsi untuk case folding pada
program dapat dilihat pada Gambar 4.6.
Gambar 4.6 Fungsi Proses Case
Folding
Gambar 4.7 Hasil Proses Case Folding
Tweets yang dihasilkan merupakan
tweets yang memiliki karakter huruf
kecil tetapi masih mengandung berbagai
symbol maupun link url.
2. Filtering
Tahap filtering membutuhkan
bantuan Regular Expression (RE) yang
berfungsi untuk menghilangkan HTTP,
tanda baca, mention (@), hashtag (#),
retweet (RT), enter, spasi jika lebih dari
2, dan berbagai macam symbol. Pada
tahap filtering, tweets dihapus apabila
tweets mempunyai nilai ganda
(duplicate). Tweets akan berkurang
dikarekan mempunyai nilai ganda
(duplicate).
Gambar 4.8 Fungsi Proses Filtering
Gambar 4.8 merupakan fungsi pada saat
melakukan proses filtering dalam
program. Hasil dari proses filtering
dapat dilihat pada Gambar 4.9.
Gambar 4.9 Hasil Proses
Filtering
3. Stemming dan Stopword Removal
Proses stemming terdapat proses
stopword removal yang berfungsi untuk
menghilangkan kata-kata yang tidak
deskriptif dengan bantuan library
sastrawi. Fungsi stopword removal pada
proses stemming dapat dilihat pada
Gambar 4.10.

Gambar 4.10 Fungsi Proses
Stopword Removal
Gambar 4.11 Fungsi Proses
Stemming
Kata yang termasuk dalam
stopword removal akan dihilangkan
dikarenakan sering muncul dan tidak
memiliki makna. Pada proses ini juga
tweets diurutkan berdasarkan ascending.
Pada proses stemming data akan disortir
sehingga tidak ada lagi kata-kata yang
memiliki imbuhan.
Gambar 4.12 Hasil Proses
Stemming dan Stopword Removal
Tweets yang diproses terbagi
menjadi dua kolom dimana kolom
pertama merupakan tweets asli dan
kolom kedua merupakan tweets yang
sudah dihilangkan kata berimbuhan
sehingga sudah menjadi kata dasar.
c. Pembuatan Data Training
Pembuatan data training bertujuan
mengklasifikasikan data untuk melatih
model machine learning melalui kamus
positif dan kamus negatif. Fungsi untuk
memproses kamus positif dan negatif
dapat dilihat pada Gambar 4.13.
Gambar 4.13 Fungsi Proses Kamus
Pada Data Training
Gambar 4.13 merupakan fungsi
pada saat memproses kamus positif dan
negatif untuk membuatan data training.
Setelah diklasifikasikan, maka setiap
kata dihitung. Proses perhitungan pada
program dapat dilihat pada Gambar
4.14.
Gambar 4.14 Fungsi Perhitungan Kata
Pada Data Training
Gambar 4.14 merupakan fungsi
perhitungan pada kamus. Hasil dari
proses pembuatan data training dapat pada kamus kurus,
dilihat pada Gambar 4.15. negatif gendut
Kata yang berada pada kamus positif
berjumlah 2 kata, yaitu “pasti”, dan
“kurus”, dan total kata pada 1 kalimat
adalah 12. Perhitungan untuk hasil
sentimen positif antara lain:
|2|
P(Vj )= |12|= 0.1666
Kata yang berada pada kamus negatif
berjumlah 4 kata, yaitu “pasti”, “ih”,
“kurus”, dan “gendut”, dan total kata
pada 1 kalimat adalah 12. Perhitungan
untuk hasil sentimen negatif antara lain:
|4|
P(Vj )= |12|= 0.3333
Setelah diterapkan rumus diatas, hasil
Gambar 4.15 Hasil Proses Pembuatan sentimen positif adalah 0.1666. Hasil
Data Training sentiment negatif adalah 0.3333. dan
Pada proses awal pembuatan data hasil netral adalah 0 dikarenakan jumlah
training, program akan membaca kamus kata yang berada pada kamus positif
positif dan negatif yang bertujuan untuk tidak sama dengan kamus negatif.
menentukan hasil sentimen setiap kata Tweet tersebut dikelompokan
sesuai dengan kamus tersebut. menjadi tiga kategori kelas sentimen
Untuk perhitungan hasil sentimen dapat yaitu kelas positif, negatif, dan netral.
menggunakan rumus: Pembagian jumlah tweets berdasarka
|𝑙𝑒𝑛(𝑓𝑖𝑛𝑑𝑎𝑙𝑙)|
P(Vj )= kategori kelas pada data training dapat
|len(split)| diliat pada Gambar 4.16.
Keterangan:
1. P(Vj ) = rate positif atau
negatif dalam satu kalimat
2. 𝑙𝑒𝑛(𝑓𝑖𝑛𝑑𝑎𝑙𝑙) = jumlah kata
positif atau negatif dalam kamus
3. len(split) = jumlah kata
pada satu kalimat
Contoh tweets “buka aplikasi twitter Gambar 4.16 Hasil Pembagian
ponsel pasti pilih burung gendut kalau Kelas Pada Data Training
kurus traveloka hehehe”. Pada tweets d. Pembuatan Model Machine
tersebut terdapat beberapa kata yang Learning
terdapat pada kamus positif dan kamus Proses pembuatan Model
negatif. Kata-kata yang terdapat pada menggunakan algoritma Naïve Bayes
kamus positif dan negatif dapat dilihat Classifier. Algoritma tersebut
pada tabel 4.2 digunakan untuk menentukan kategori
Tabel 4.2 Contoh Kata Pada Kamus kelas sentimen dengan menggunakan
Positif dan Negatif model Bernaulli Naïve Bayes yang
Kata yang berada diperoleh dari data training yang telah
pada kamus Pasti, kurus diberi label hasil sentimen positif dan
positif negatif oleh kamus.
Kata yang berada Pasti, ih, 1. Penghapusan Netral
 Penghapusan sentimen kelas netral
bertujuan untuk menghapus seluruh
tweets data training yang memiliki nilai
netral dikarenakan model yang akan
dibuat hanya dapat membaca kelas
positif dan kelas negatif. Fungsi
penghapusan netral dapat dilihat pada
Gambar 4.17.
Gambar 4.17 Fungsi Penghapusan
Netral
Gambar 4.18 Hasil Penghapusan Netral
Gambar 4.18 merupakan gambar
hasil penghapusan kelas sentimen
netral. Pada data training total tweets
berjumlah 7931 tweets. Jumlah kelas
sentimen netral berjumlah 3685 tweets.
Oleh karena itu data yang digunakan
untuk pembuatan model training setelah
proses penghapusan netral hanya
berjumlah 4246 tweets.
1. Ekstraksi Fitur
Proses ekstraksi fitur merupakan
proses pemecahan potongan kata yang
terdapat dalam data tweets dan setiap
kata akan dihitung sebagai fitur.
Gambar 4.19 Fungsi Ekstraksi Fitur
Gambar 4.19 merupakan fungsi
ekstraksi fitur pada program. Hasil dari
proses ekstraksi fitur dapat dilihat pada
Gambar 4.20.
Gambar 4.20 Hasil Ekstraksi Fitur
Jika kata yang terdapat dalam
kamus positif dan negatif maka akan
diberi nilai 1 sedangkan jika kata tidak
termasuk dalam kamus maka akan
diberi nilai 0. Setelah menentukan
setiap kata yang berada pada kamus
positif dan negative, maka setiap tweets
akan menampilkan hasil nilai
rate_positive dan rate_negative yang
perhitungannya telah dihitung pada
proses pembuatan data training.
2. Training Model Machine Learning
Algoritma Naïve Bayes
Classifier adalah algoritma yang
digunakan untuk menemukan nilai
probabilitas tertinggi untuk
mengklasifikasikan data uji pada
kategori yang sesuai yaitu sentimen
kelas positif dan sentimen kelas
negatif.
VIII. PENGUJIAN
1. PENGUJIAN DATA
TRAINING
Data hasil kamus positif dan kamus
negatif setelah menghilangkan netral
bejumlah 4246 tweets. Data yang telah
dilatih oleh model sama dengan data
hasil kamus positif negatif yaitu
berjumlah 4246 tweets, dimana kelas
sentiment positif adalah 1694 tweets
dan kelas sentiment negatif adalah 2552
tweets.
Akurasi yang digunakan
merupakan akurasi dari hasil data
training yang telah dilatih model. Tabel
confusion matrix untuk data training
dapat di lihat dari Tabel 4.7.
 Tabel 4.7 Tabel Confusion Matrix
Terklasifikas Terklasifikas
Kelas
i Positif i Negatif
Positif (TP) 502 (FN) 22
Negati
(FP) 28 (TN) 298
f Kelas
Pada confusion matrix terdapat 4
istilah representasi hasil proses
klasifikasi. Keempat istilah tersebut
adalah True Positive (TP), True
Negative (TN) , False Positive (FP), dan
False Negative (FN).
Pada Tabel 4.7 menunjukan
Tabel confusion matrix yang terkait
dengan hasil analisis sentimen hasil
klasifikasi, dimana nilai True Positive
(TP) adalah 502, nilai True Negative
(TN) adalah 298, sedangkan False
Positive (FP) adalah 28 dan False
Negative (FN) berjumlah 22.
Keakuratan dari analisis sentimen pada
system diperoleh menggunakan rumus
dibawah ini:
Keterangan:
5. TP adalah True Positive
6. TN adalah True Negative
7. FN adalah False Negative
8. FP adalah False Positive
Sehingga setelah diterapkan rumus di
atas, hasilnya adalah sebagai berikut:
Akurasi = (502+298)/(502+298+28+22)
* 100% = (800/850) * 100% = 94.13%
Hasil diatas menunjukan bahwa tingkat
akurasi untuk data training dan
menggunakan metode lexical mencapai
94.13%
2. PENGUJIAN DATA UJI
Setelah menampilkan tabel
perbandingan antara hasil klasifikasi
oleh model dengan hasil klasifikasi
manual oleh manusia, terdapat 16
tweets yang tidak sesuai hasil sentiment
manual oleh manusia dengan hasil
sentiment oleh model. Selanjutnya,
dapat melakukan perhitungan akurasi
menggunakan confusion matrix, seperti
pada Tabel 4.9.
Tabel 4.9 Tabel Confusion Matrix Data
Uji
Terklasifika Terklaasifika
si Positif si Negatif
Positif (TP) 43 (FN) 13
Negati
(FP) 3 (TN) 45
f
Pada Tabel 4.9 menunjukan tabel
confusion matrix data uji, dimana nilai
True Positive (TP) adalah 43, nilai True
Negative (TN) adalah 45, sedangkan
False Positive (FP) adalah 3 dan False
Negative (FN) berjumlah 13.
Keakuratan dari analisis sentimen pada
system diperoleh menggunakan rumus
dibawah ini:
Keterangan:
1. TP adalah True Positive
2. TN adalah True Negative
3. FN adalah False Negative
4. FP adalah False Positive
Sehingga setelah diterapkan rumus di
atas, hasilnya adalah sebagai berikut:
Akurasi = (43+45)/(43+45+3+13) *
100% = (88/104) * 100% = 84.61%
Hasil diatas menunjukan bahwa tingkat
akurasi untuk data uji dan menggunakan
metode lexical mencapai 84.61%
IX. PENUTUP
1. KESIMPULAN
Penelitian ini berhasil
mengimplementasikan metode Machine
Learning dan Algoritma Naïve Bayes
Classifier untuk mengklasifikasikan
tweets tentang Traveloka yang
diperoleh dari data Twitter
menggunakan bahasa pemrograman
Python dengan bantuan text editor
Google Collaboratory. Sedangkan
untuk visualisasi dari hasil sentimen
analisis dibuat menggunakan Django
Framework, HTML, dan Java Script
berbentuk website.
Pada proses pengumpulan data,
data yang terkumpul adalah 8273
tweets, kemudian dilakukan proses
preprocessing dan menghilangkan
duplicate dari setiap tweets, jumlah
tweets menjadi 7931. Kemudian tweets
diklasifikasikan menggunakan kamus
positif dan negatif. Hasil dari
pengklasifikasiannya terdiri dari tiga
kelas, yaitu positif berjumlah 1666,
negatif berjumlah 2580, dan netral
berjumlah 3685.
Pada proses pengujian data uji, data
yang diolah berjumlah 104 tweets. Data
uji merupakan data hasil sentimen
manual manusia dan data tersebut akan
diuji menggunakan model yang telah
dibuat. Data sentimen manual oleh
manusia dibagi menjadi dua kelas yaitu
positif berjumlah 58 tweets sedangkan
tweets negatif berjumlah 46 tweets.
Sedangkan hasil pengklasifikasian
menggunakan model berjumlah 48
untuk positif sedangkan negatif
berjumlah 56 tweets.
Setelah proses pengklasifikasian,
hasil data uji dan data cross validation
akan divisualisasikan berbentuk
diagram bar, diagram pie, wordcloud,
dan akurasi. Untuk menghitung akurasi
dari model Naïve Bayes Classifier
menggunakan metode confusion matrix.
Tingkat akurasi yang dihasilkan oleh
hasil training model adalah 94% dan
tingkat akurasi yang dihasilkan oleh
hasil uji coba terhadap model adalah
84%.
2. SARAN
Adapun saran untuk penelitian
selanjutnya adalah melakukan
pengembangan terhadap visualisasi
menjadi aplikasi agar aplikasi terlihat
lebih menarik dan dapat digunakan
untuk proses pengklasifikasian
traveloka dengan data yang berbeda.
DAFTAR PUSTAKA
[1] Angkoso, Cucun Very. Ingrid
Nurtanio, I Ketut Eddy Purnama.
2011. Analisa Tekstur Untuk
Membedakan Kista Dan Tumor
Pada Citra Panoramik Rahang
Gigi Manusia. Madura, Jawa
Timur: Graha Building.
[2] Enterprise, Jubilee. 2016. Trik
Cepat Menguasai Pemrograman
Python. Jakarta: PT Elex Media
Komputindo.
[3] Ghifary, Rizky Adam. 2019.
Analisis Kualitas Layanan Pada
Perusahaan E-Commerce
Traveloka. Yogyakarta:
Universitas Islam Indonesia.
[4] Haviluddin. 2011. Memahami
Penggunaan UML (Unified
Modelling Language). Jurnal
Informatika. Vol. 6 No. 1.
[5] Indrajani. 2015. Database Design.
Jakarta: PT Elex Media
Komputindo
[6] Kurniawan, Bambang. Syahril
Effendi, Opim Salim Sitompul.
2015. Klasifikasi Konten Berita
Dengan Metode Text Mining.
Medan: Universitas Sumatra
Utara. Vol 1. No. 1.
[7] Manalu, Boy Utomo. 2014.
Analisis Sentimen pada Twitter
Menggunakan Text Mining.
Medan. Vol. 2 No.1.
[8] McCallum, Andrew. 2017. A
Comparasion of Event Models for
Naïve Bayes Text Classification.
University of Pittsburgh: School
of Computer Science Carnegie.
15213.
[9] Novantirani, Anita. Mira Kania
Sabariah. Veronikha Effendy.
2015. Analisis Sentimen pada
Twitter Mengenai Penggunaan
Transportasi Umum Dalam Kota
dengan Metode Support Vector
 Machine. Bandung. Vol 2. No. 1
halaman 1177.
[10] Pravina, Arsya Monica. Imam
Choslissodin. Putra Pandu. 2019.
Analisis Senimen Tentang
Maskapai Penerbangan pada
Dokumen Twitter Menggunakan
Algoritma Support Vector
Machine (SVM). Vol. 3 No. 3.
Halaman 2789-2797.
[11] Program Studi Sistem Informasi
FST. Univ Ma Chung. 2018. Studi
Kasus Sistem berbasis
Pengetahuan: Membahas Metode
ID3, Naïve Bayes dan Certainty
Factor. Seribu Bintang
[12] Suyanto. 2017. Data Mining
Untuk Klasifikasi dan Klaterisasi
Data, Informatika, Bandung.
[13] Url: http://belajar-
django.github.io/. (Online;
diakses tanggal 25 Juli 2019).
[14] Url:
http://komputerlamongan.com/pe
ngertian-twitter-beserta-
kegunaannya/. (Online; diakses
25 Juli 2019).
[15] Url:
https://structilmy.com/2019/05/me
ngenal-google-colab/. (Online;
diakses 20 Juli 2019).
[16] Url:
https://www.codepolitan.com/men
genal-teknologi-machine-
learning-pembelajaran-mesin.
(Online; diakses 25 Juli 2019).
[17] Url:
https://www.traveloka.com/en/.
(Online; diakses tanggal 16 April
2019).