Anda di halaman 1dari 9

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer e-ISSN: 2548-964X

Vol. 3, No. 6, Juni 2019, hlm. 6080-6088 http://j-ptiik.ub.ac.id

Analisis Sentimen Evaluasi Kinerja Dosen menggunakan Term Frequency-


Inverse Document Frequency dan Naïve Bayes Classifier
Sri Wulan Utami Vitandy1, Ahmad Afif Supianto2, Fitra Abdurrachman Bachtiar3

Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya


Email: 1wulan.vitandy@student.ub.ac.id, 2afif.supianto@ub.ac.id, 3fitra.bachtiar@ub.ac.id

Abstrak
Pengajaran yang baik dapat membantu mahasiswa dalam mencapai hasil yang maksimal. Untuk
meningkatkan kualitas pembelajaran dan standarisasi akademik perlu dilakukan evaluasi sehingga dapat
menghasilkan mahasiswa-mahasiswa yang berkualitas. Oleh karena itu, Jurusan Sistem informasi selalu
melakukan evaluasi terhadap kinerja menggunakan kuisioner yang diisikan oleh mahasiswa disetiap
akhir semester. Hasil kolom saran dapat dilakukan analisis sentimen untuk mengetahui saran tersebut
bernilai positif, negatif atau netral. Salah satu metode yang bisa digunakan untuk menyelesaikan
masalah opinion mining adalah Naive Bayes Classifier (NBC). NBC bisa digunakan untuk
mengklasifikasikan opini kedalam kelas positif, negatif dan netral. Data komentar yang terkumpul
sebanyak 3502 yang terbagi menjadi 3 semester. Data komentar ini kemudian dilakukan tahapan
preprocessing, pembobotan TF-IDF dan klasifikasi menggunakan metode Naive Bayes Classifier. Hasil
Pengujian terhadap 4 parameter menghasilkan akurasi sebesar 80,1%, Precision 80,3%, Recall 80,3%
dan F1-Score 80%. Hasil dari Usability testing diperoleh nilai rata-rata SUS Score sebesar 75. Sehingga
dapat disimpulkan bahwa Dashboard yang telah dibuat ini termasuk kedalam kategori Acceptance dan
berada pada rating “Good”
Kata kunci: Penambangan teks, klasifikasi Naïve Bayes, pemprosesan, TF-IDF, PowerBI, Evaluasi Kinerja
Abstract
Effective and efficient in teaching can help students achieve maximum results. An evaluation is needed
to improve the quality of learning and academic standardization, also it can improve the quality of the
student. Therefore, the Information Systems Department always evaluates performance using
questionnaires and filled by students at the end of each semester. The results of the suggestion column
can be sentiment analysis to find out whether the suggestion is positive, negative or neutral. The
classifier is a method that can classify data into several classes. Naive Bayes Classifier can be used to
classify opinions into positive, negative and neutral classes. The comment data was collected 3502
comments which were divided into 3 semesters. Then, this comment data processed in preprocessing,
weighting TF-IDF and classification using Naive Bayes Classifier. The test result on 4 parameters
resulted in an accuracy of 80,1%, Precision 80,3%, Recall 80,3% and F1-Score 80%. The results of
Usability testing obtained an average value of SUS Score of 75. So it can be concluded that the
Dashboard is included in the Acceptance category and in the rating of "Good"
Keywords: Text Mining, Naïve Bayes Classifier, Preprocessing, TF-IDF, PowerBI, Job Evaluation

2005 menyebutkan bahwa dosen adalah


1. PENDAHULUAN pendidik profesional dan ilmuwan dengan tugas
Seiring dengan perkembangan zaman, utama mentransformasikan, mengembangkan,
manusia dituntut untuk selalu mengembangkan dan menyebarluaskan ilmu pengetahuan,
ilmu yang dimilikinya. Didalam dunia teknologi, dan seni melalui pendidikan,
pendidikan, seorang pengajar dituntut untuk penelitian, dan pengabdian kepada masyarakat.
mengembangkan ilmu pegetahuan dan cara Pengajaran yang baik dapat membantu
mengajar yang baik dan efektif. Dalam Undang- mahasiswa dalam mencapai hasil yang
undang Republik Indonesia Nomor 14 Tahun maksimal. Untuk meningkatkan kualitas

Fakultas Ilmu Komputer


Universitas Brawijaya 6080
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 6081

pembelajaran dan standarisasi akademik perlu Berdasarkan permasalahan tersebut,


dilakukan evaluasi sehingga dapat menghasilkan peneliti tertarik untuk melakukan penelitian
mahasiswa-mahasiswa yang berkualitas dengan judul “Analisis Sentimen Evaluasi
(Sunardi, Fadlil and Suprianto, 2018). Pada Kinerja Dosen Menggunakan Term Frequency-
setiap akhir semester, setiap universitas Inverse Document Frequency dan Naïve Bayes
umumnya melakukan proses penilaian terhadap Classifier”. Hasil yang didapatkan dari
hasil kinerja dosen untuk mengetahui penelitian yaitu berupa dashboard yang berisi
ketercapaian kesuksesan pembelajaran selama 1 pengelompokan dosen. Diharapkan dashboard
semester. ini bisa digunakan oleh Fakultas Ilmu Komputer
Fakultas Ilmu Komputer (FILKOM) Universitas Brawijaya sebagai dasar untuk
merupakan sebuah fakultas yang berada dibawah mengelompokan hasil evaluasi kinerja dari
naungan Universitas Brawijaya yang tentunya dosen-dosen di Fakultas Ilmu Komputer.
terdapat proses belajar mengajar. Di Fakultas
Ilmu Komputer Universitas Brawijaya, 2. METODOLOGI PENELITIAN
pelaksanan evaluasi kinerja dosen dilakukan Metode penelitian yang akan digunakan
setelah ujian akhir semester (UAS) telah selesai. digambarkan pada Gambar 1.
Untuk dapat melihat nilai akhir semester,
mahasiswa diharuskan mengisi kuesioner yang
terdapat di Sistem Akademik Mahasiswa
(SIAM). Hasil kuisioner tersebut akan disimpan
oleh Unit Jaminan Mutu (UJM) FILKOM UB
sebagai bahan evaluasi kinerja dosen. Akan
tetapi, hasil dari kolom saran tersebut hanya
diberikan secara langsung kepada dosen-dosen
yang ada. Sampai sekarang belum ada sistem
yang dapat mengolah data kuesioner secara
khusus untuk dapat melakukan monitoring dan
Gambar 1. Metodologi Penelitian
evaluasi kinerja dosen.
Sebenarnya data hasil kolom saran dapat
dilakukan analisis sentimen untuk mengetahui 2.1. Studi Literatur
saran tersebut bernilai positif, negative atau
netral. Analisis sentimen biasanya digunakan Salah satu penelitiang yang pernah
untuk mengekspresikan sentimen positif atau menggunakan metode Naïve Bayes Classifier
negatif (Liu, 2012). Untuk melakukan sebuah yaitu Implementasi Opinion Mining (Analisis
analisis sentimen perlu untuk memilih classifier Sentimen) untuk ekstraksi data opini publik pada
yang akan digunakan. Salah satu metode dari perguruan tinggi oleh Rozi, Pramono dan Dahlan
text mining yang bisa digunakan untuk pada tahun 2012. Pada penelitian ini
menyelesaikan masalah opinion mining adalah dikembangkan sistem opinion mining untuk
Naive Bayes Classifier (NBC). NBC bisa menganalisis opini publik pada perguruan tinggi.
digunakan untuk mengklasifikasikan opini Pada subproses document subjectivity dan target
kedalam kelas positif, negatif dan netral. detection digunakan Part-of-Speech (POS)
Dalam salah satu penelitian yang disusun Tagging menggunakan Hidden Makov Model
oleh Sunardi, Abdul Fadlil, dan Suprianto pada (HMM). Pada hasil proses POS Tagging
tahun 2018 dengan judul Analisis Sentimen kemudian diterapkan rule untuk mengetahui
menggunakan Naïve bayes Classifier pada apakah suatu dokumen termasuk opini atau
Angket mahasiswa bertujuan melakukan analisis bukan, serta untuk mengetahui bagian kalimat
sentimen terhadap angket yang diisi oleh mana yang merupakan objek yang menjadi
mahasiswa untuk mengetahui kepuasan siswa target opini. Dokumen yang dikenali sebagai
dalam proses pendidikam. Dalam penelitian ini opini selanjutnya diklasifikasikan ke dalam opini
pengklasifikasian dibagi menjadi 3 bagian yaitu negatif dan positif (subproses opinion
kelas positif, negatif, dan netral. Metode yang orientation) menggunakan Naïve Bayes
digunakan yaitu pengklasifikasian Naive Bayes Classifier (NBC). Dari pengujian didapatkan
untuk mendapatkan model klasifikasi terhadap nilai precission dan recall untuk subproses
data uji. Klasifikasi metode ini memiliki tingkat document subjectivity adalah 0,99 dan 0,88,
presisi 75%, penarikan 75% dan akurasi 80%. untuk subproses target detection adalah 0,92 dan

Fakultas Ilmu Komputer, Universitas Brawijaya


Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 6082

0,93, serta untuk subproses opinion orientation IDF (𝑖𝑑𝑓𝑡 ) memperhatikan kemunculan term
adalah 0,95 dan 0,94. pada kumpulan dokumen. Untuk mendapatkan
nilai (𝑖𝑑𝑓𝑡 ) dapat menggunakan persamaan
2.2. Pengumpulan Data 𝑁
𝑖𝑑𝑓𝑡 = log (2)
Data komentar berjumlah 3502 komentar 𝑑𝑓𝑡
didapatkan dari Ketua Jurusan Sistem Informasi
Dimana :
dan TIM UJM Jurusan Sistem Informasi. Data
yang didapatkan terdiri dari 3 semester yaitu - 𝑖𝑑𝑓𝑡 : Nilai idf dari istilah t
semester Genap tahun ajaran 2016/2017,
- 𝑁 : Banyaknya dokumen atau
semester Gansjil tahun ajaran 2017/2018, dan
koleksi yang ada
semester Genap tahun ajaran 2017/2018.
- 𝑖𝑑𝑓𝑡 : Banyaknya kemunculan
2.3. Text Preprocessing istilah t dalam dokumen d

Text preprocessing dilakukan untuk 2.5. Naïve Bayes Classifier


mengkondisikan data agar sesuai dengan
kebutuhan. Text Preprocessing yang dilakukan Naïve bayes classifier adalah metode
terdiri dari 5 langkah, yaitu Case Folding, klasifikasi yang berdasarkan probabilitas dan
Teorema Bayesian dengan asumsi bahwa setiap
Cleansing, Stemming , Stopword Removal, dan
Tokenization. Case Folding adalah kegiatan variabel X bersifat bebas atau berdiri sendiri dan
tidak ada kaitannya dengan variabel lainnya.
untuk mengubah huruf besar menjadi huruf
kecil. Cleansing adalah kegiatan untuk Perhitungan perbandingan antara term pada data
menghapuskan tanda bacayang tidak memiliki testing dengan setiap kelas yang ada dapat
dilakukan dengan persamaan (2) dibawah ini
nilai. Stemming ialah proses pencarian stem-base
dari suatu kata. Stopword Removal merupakan (Sunardi, Fadlil and Suprianto, 2018).
𝒏𝒄+𝒎𝒑
proses penyeleksian kata-kata penting dari hasil 𝑷(𝒂𝒋 |𝒗𝒋 ) = (3)
𝒏+𝒎
fitur, yang nantinya digunakan untuk proses
selanjutnya. Stopword list yang digunakan Keterangan :
adalah stopword list berbahasa Indonesia. - 𝑛 : jumlah term pada data latih
Tokenization adalah pemotongan string input - 𝑛𝑐 : jumlah term dimana v = vj dan a = aj
tiap kata penyusunnya. - 𝑝 : probabilitas setiap kelas dalam data
latih
2.4. Term Frequency-Inverse Document - 𝑚 : jumlah term pada data uji
Frequency
Algoritma Term Frequency – Inverse 2.6. Confusion Matrix
Document Frequency (TF-IDF) merupakan Confusion matrix adalah alat yang berguna
algoritma yang berasal dari bidang information untuk menganalisis seberapa baik klasifikasi
retrieval, namun saat ini semakin banyak yang telah dibuat, dapat mengenali tuple dari
digunakan dalam perbandingan dokumen kelas yang berbeda.
(Ryansyah and Andayani, 2017). Rumus untuk
menghitung TF-IDF, yaitu : Tabel 1. Confusion Matrix
Prediksi
𝑡𝑓 − 𝑖𝑑𝑓𝑡.𝑑 = 𝑡𝑓𝑡𝑑 X 𝑖𝑑𝑓𝑡 (1)
Positif Negatif
Dimana : Aktual Positif TP FN
- 𝑡𝑓 − 𝑖𝑑𝑓𝑡𝑑 : bobot TF-IDF dari istilah t Negatif FP TN
dalam dokumen d Sumber: Han et al. (2012)
- 𝑡𝑓𝑡𝑑 : frekuensi munculnya istilah
t dalam dokumen d Han et al. (2012) menyebutkan ada 4
- 𝑖𝑑𝑓𝑡 : nilai idf dalam istilah t building blocks yang banyak digunakan sebagai
bahan dalam banyak pengukuran evaluasi,
Term frequency (𝑡𝑓𝑡𝑑 ) merupakan metode yakni:
yang paling sederhana dalam membobotkan 1. True Positives (TP): Data positif yang
kata. Setiap kata diasumsikan memiliki berhasil dilabeli dengan benar oleh
kepentingan yang proporsional terhadap jumlah classifier.
kemunculan kata pada dokumen. Sedangkan ,
Fakultas Ilmu Komputer, Universitas Brawijaya
Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 6083

2. True Negatives (TN): Data negatif yang Informasi dan Tim UJM. Setelah itu, Tim UJM
berhasil dilabeli dengan benar oleh akan mengumpulkan data kuisioner selama 7
classifier. hari dan menghasilkan Data Mentah Hasil
3. False Positives (FP): Data negatif yang Kuisioner. Data mentah hasil kuisioner juga
ternyata salah dilabeli sebagai positif oleh akan disimpan kedalam SIMPLE (Sistem
classifier. Informasi Pelaporan) UB. Setelah pengumpulan
4. False Negatives (FN): Data positif yang data, akan dilakukan analisis terhadap kuisioner
ternyata salah dilabeli sebagai negatif oleh yang diisikan oleh mahasiswa selama 7 hari.
classifier. Analisis dibagi menjadi 3 bagian yaitu analisis
perdosen, analisis permata kuliah dan analisis
Confussion matrix merepresentasikan preprogram studi. Hasil dari analisis ini akan
tingkat akurasi dari proses klasifikasi yang telah menjadi Raport Dosen dan dilaporkan kepada
dilakukan. Tingkat akurasi menunjukkan Ketua Jurusan Sistem Informasi, serta
proporsi jumlah prediksi benar. menghasilkan Laporan Pertanggung Jawaban.
𝑇𝑃+𝑇𝑁
Ketua Jurusan Sistem Informasi yang menerima
𝐴𝑐𝑢𝑟𝑎𝑛𝑐𝑦 = (4) Laporan Hasil Evaluasi dari TIM UJM akan
𝑇𝑃+𝐹𝑃+𝑇𝑁+𝐹𝑁
memanggil dosen yang bersangkutan dan
Recall atau true positif rate (TP) adalah
melakukan pembinaan dengan dosen yang
proporsi dari kasus positif yang telah
terkait. Pembinaan ini dilakukan selama 7 hari
diidentifikasi dengan benar, rumus mencari
dan menghasilkan Laporan Hasil Pembinaan.
Recall:
𝑇𝑃
𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒/𝑅𝑒𝑐𝑎𝑙𝑙 = (5)
𝑇𝑃+𝑇𝑁

True negative rate (TN) adalah proporsi


dari kasus negatif yang telah diidentifikasi
dengan benar, rumus TN:
𝑇𝑁
𝑇𝑟𝑢𝑒 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒 = (6)
𝑇𝑁+𝐹𝑁
Gambar 2. Proses Bisnis AS-IS

2.7. Dashboard Berdasarkan analisis yang telah


dilakukan, terdapat kegiatan yang dapat
Dashboard adalah alat yang digunakan meningkatkan efektifitas dan efisiensi dari TIM
sebagai diagnostik yang dirancang untuk UJM dalam melakukan evaluasi kinerja dosen.
memberikan manajer sebuah gambaran singkat Kegiatan tambahan yang diusulkan yaitu
tentang kinerja perusahaan (Velcu-laitinen and melakukan klasifikasi sentimen pada kegiatan
Yigitbasioglu, 2012). Menurut Pauwels et al. evaluasi kinerja dosen. Dimana data mentah
(2009) (in Velcu-laitinen and Yigitbasioglu hasil kuisioner akan dilakukan klasifikasi
(2012)) terdapat 4 alasan dalam menggunakan terhadap komentar-komentar dari mahasiswa
dashboard yaitu untuk pemantauan agar dapat diperoleh nilai sentimen dari setiap
(Monitoring), Konsistensi (Consistency), komentar yang dapat mempermudah TIM UJM
Perencanaan (Planning), dan komunikasi dalam melakukan analisis. Gambaran proses
(Communication) bisnis yang diusulkan dapat dilihat pada Gambar
3.
3. HASIL DAN PEMBAHASAN
Pada bagian ini kan dibahas mengenai
proses bisnis, pengumpulan data, implementasi
klasifikasi, analisis hasil klasifikasi hingga
visualisasi dengan dashboard

3.1. Proses Bisnis


Gambar 3. Proses Bisnis TO-BE
Proses bisnis AS-IS yang telah dibuat
berdasarkan SOP yang dimiliki oleh TIM UJM
dapat dilihat pada Gambar 2. Pertama-tama akan
dilakukan rapat antara Ketua Jurusan Sistem

Fakultas Ilmu Komputer, Universitas Brawijaya


Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 6084

3.2. Preprocessing cukup baik dalam beri materi cukup baik beri materi
terima kasih terima kasih
Tahapan yang dilakukan dalam
preprocessing, yaitu :
a. Case Folding e. Tokenization
Case folding adalah tahapan mengubah Tokenization adalah tahapan untuk
semua huruf menjadi huruf kecil memecah kalimat menjadi kata.
(lowercase).
Tabel 6. Tokenization
Sebelum Tokenisasi Sesudah Tokenisasi
Tabel 2. Case Folding
Sebelum Case Folding Sesudah Case Folding
semoga selalu menjadi [‘moga’ ‘selalu’ ‘menjadi’
yang terbaik ‘yang’ ‘baik’]
Semoga selalu menjadi semoga selalu menjadi
yang terbaik yang terbaik cukup baik dalam [’cukup’ ’baik’ ’dalam’
pemberian materi terima ’beri’ ’materi’ ’terima’
Cukup baik dalam cukup baik dalam kasih. ’kasih’]
pemberian materi, terima pemberian materi, terima
kasih. kasih.

3.3 TF-IDF
b. Cleansing
Cleansing adalah tahapan untuk Perhitungan bobot kata dilakukan dengan
menghilangkan elemen-elemen yang menggunakan pembobotan Term Frequency-
dianggap sebagai noise. Inverse document Frequency (TF-IDF).

Tabel 3. Cleansing Tabel 7. Perhitungan TF, DF, dan IDF


Sebelum Cleansing Sesudah Cleansing
TF IDF
Term DF Log(N/D
semoga selalu menjadi yang semoga selalu menjadi F)
terbaik yang terbaik D1 D2 D3 D4 D5

cukup baik dalam cukup baik dalam Baik 1 1 0 1 1 4 0,0969


pemberian materi, terima pemberian materi terima
Cara 1 1 0 1 0 3 0,2218
kasih. kasih
Jelas 0 1 1 1 0 3 0,2218
c. Stemming Materi 0 1 1 0 0 2 0,3079
Stemming adalah tahapan mengubah kata
menjadi bentuk dasar atau kata dasar. Dibawah ini merupakan contoh
perhitungan manual TF-IDF pada kata ‘baik’
Tabel 4. Stemming
pada D1 :
Sebelum Stemming Sesudah Stemming
𝑇𝑓− 𝑖𝑑𝑓𝑡,𝑑 = TF * IDF = 1 * 0.69897 = 0,69897
semoga selalu menjadi yang moga selalu menjadi yang
terbaik baik
Tabel 8. Hasil Perhitungan TF-IDF
cukup baik dalam pemberian cukup baik dalam beri TF-IDF
materi terima kasih materi terima kasih Term
D1 D2 D3 D4 D5

Baik 0,096 0,096 0 0,096 0,096


d. Stopword
Stopword adalah tahapan menghilangkan Cara 0,221 0,221 0 0,221 0
kata-kata yang termasuk kedalam kategori Jelas 0 0,221 0,221 0,221 0
stopword seperti di, pada, aku, yang, pak,
0,307
dan lain sebagainya Materi 0 0,3079
9
0 0
.
Tabel 5. Stopword
Sebelum Stopword Sesudah Stopword
3.4 Hasil Klasifikasi Sentimen pada
moga selalu menjadi yang moga selalu menjadi
baik yang baik

Fakultas Ilmu Komputer, Universitas Brawijaya


Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 6085

Semester Genap 2016/2017 baik, penyampaian materi sudah baik sehingga


mahasiswa dapat memahami materi yang
Data pada semester Genap 2016/2017 yang
diberikan, baik dalam membuat suasana kelas
telah dilakukan klasifikasi menghasilkan 332
menjadi lebih interaktif sehingga mahasiswa
komentar. Pada Gambar 4 dapat dilihat jumlah
tidak merasa bosan dan mengantuk selama
komentar positif sebanyak 167 komentar, jumlah
pembelajaran, dan lain sebagainya.
komentar netral netral sebanyak 86 komentar,
dan jumlah komentar negatif sebanyak 79
komentar.

Gambar 6. Kata yang paling sering muncul pada


komentar positif
Gambar 4. Grafik hasil klasifikasi sentimen
Pada Tabel 9 menunjukkan perbandingan
jumlah komentar positif, netral dan negatif per
Berdasarkan jumlah komentar pada dosennya. Pada Tabel 9 dapat dilihat id dosen
Gambar 4, komentar-komentar tersebut dapat ID005 memiliki jumlah komentar positif paling
disaring berdasarkan kemunculan katanya dan banyak yaitu 22 komentar dan id dosen ID002
dapat dibagi menurut komentar positif dan memiliki jumlah komentar positif paling sedikit
komentar negatif. yaitu 6 komentar. Kemudian, untuk komentar
netral id dosen ID001 dan ID007 memiliki
komentar paling banyak yaitu 11 komentar dan
id dosen ID002 memiliki jumlah komentar netral
yang paling sedikit yaitu 3 komentar. Selain itu,
id dosen ID008 memiliki jumlah komentar
negatif paling banyak yaitu 14 komentar dan id
dosen ID012 memiliki komentar paling sedikit
yaitu 1 komentar. Jumlah komentar yang sedikit
ini dapat dipengaruhi oleh jumlah mahasiswa di
dalam kelasnya, selain itu juga dipengaruhi oleh
tahapan preprocessing yang telah dibahas
Gambar 5. Kata yang paling sering muncul pada
komentar negatif sebelumnya.

Tabel 9. Rekap jumlah komentar mahasiswa


Pada Gambar 5 dapat dilihat kata yang
Id
paling sering muncul pada komentar negatif Mata Kuliah Positif Netral Negatif
Dosen
yaitu ‘materi’ sebanyak 24 kali, ‘jelas’ sebanyak Arsitektur dan
20 kali, dan ‘ajar’ sebanyak 18 kali. Kata ID001 Organisasi 16 11 9
‘materi’ pada komentar negatif memberikan Komputer
ID002 Bahasa Indonesia 6 3 6
informasi mengenai pemberian materi yang
ID003 Pemrograman Web 7 4 3
kurang jelas, materi terlalu banyak, Kurikulum
pembelajaran hanya berupa materi tanpa Pendidikan
ID004 7 6 5
dijelaskan secara praktek dan lain sebagainya. Teknologi
Kata-kata yang paling sering muncul pada Informasi
komentar positif. Pada Gambar 6 dapat dilihat ID005 Dasar Basis Data 16 7 5
Pemrograman
kata ‘baik’ muncul sebanyak 122 kali, kata ‘ajar’ ID005
Lanjut
22 5 6
sebanyal 64 kali, dan kata ‘cukup’ sebanyak 21 Teori belajar dan
ID006 17 7 9
kali. Kata ‘baik’ pada komentar positif pembelajaran
memberikan informasi seperti cara mengajar Pemrograman
ID007 15 11 6
Visual

Fakultas Ilmu Komputer, Universitas Brawijaya


Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 6086

ID008 Statistika 18 4 14 Ganjil


0,79 0,79 0,79 0,79
Penelitian 2017/2018
ID009 14 7 3
Tindakan Kelas
Interaksi Manusia Genap
ID010 11 10 4 0,789 0,79 0,79 0,79
Komputer 2017/2018
Sistem Operasi
ID011 11 7 8 Rata-rata 0,801 0,803 0,803 0,8
ID012 Bahasa Indonesia 7 4 1

Berdasarkan Tabel 9, dapat dibuat menjadi


sebuah dashboard yang menampilkan 3.6 Visualisasi Dashboard
perbandingan nilai positif, negatif, dan netral Visualisasi dashboard dilakukan pada
berdasarkan dosen dan mata kuliah. Berdasarkan masing-masing hasil klasifikasi sentimen setiap
data tersebut terdapat poin-poin yang dapat semesternya. Pada Gambar 8 merupakan desain
dievaluasi, salah satunya yaitu masukan dashboard yang diusulkan dimana terdapat list
terhadap pengajaran suatu mata kuliah. Pada komentar, filter atau menyaring berdasarkan
Gambar 7 merupakan salah satu contoh grafik dosen dan mata kuliah, serta diagram batang
yang menampilkan hasil klasifikasi sentimen yang menampilkan hasil klasifikasi sentimen
dari id dosen ID004, dimana komentar positif terhadap komentar berdasarkan dosen dan mata
terdapat 7 komentar, komentar netral sebanyak 6 kuliah.
komentar, dan komentar negatif sebanyak 5
komentar. Id Dosen ID004 mengampu mata
kuliah Kurikulum Pendidikan Teknologi
Informasi dan memiliki beberapa komentar yang
berulang dan mendapatkan nilai sentimen
negatif. Pada mata kuliah ini mahasiswa
menyampaikan bahwa perlu adanya sebuah
contoh penerapan khususnya dibidang IT, selain
itu diperlukan juga sebuah tugas yang dapat
meperluas pengetahuan mahasiswa dalam
memahami mata kuliah Kurikulum Pendidikan Gambar 8. Visualisasi desain dashboard
Teknologi Informasi.

3.7 Analisis Hasil System Usability Scale


Pada Tabel 11 menunjukan hasil rata-rata
yang diperoleh dari perhitungan kuisioner SUS
kedua responden. Responden 1 memiliki nilai
SUS sebersar 75 dan responden 2 memuliki nilai
SUS sebesar 75. Setelah rata-ratakan didapatkan
nilai SUS score sebesar 75.
Gambar 7. Grafik hasil klasifikasi pada id dosen
ID004 Tabel 11. Perhitungan SUS Score
Responden SUS Score
Responden 1 75
3.5 Pengujian hasil klasifikasi sentimen
Responden 2 75
Pengujian klasifikasi sentimen ini
membandingkan 4 buah parameter yaitu Rata-rata 75
Accuracy, Precision, Recall, dan F1-Score.
Berdasarkan hasil Usability testing yang
Tabel 10. Hasil Pengujian dilakukan diperoleh nilai rata-rata SUS Score
Accura F1- sebesar 75. Sehingga dapat disimpulkan bahwa
Semester Precision Recall
cy Score Dashboard yang telah dibuat ini termasuk
Genap
kedalam kategori Acceptance dan berada pada
2016/2017
0,825 0,83 0,83 0,82 rating “Good” yang berarti Dashboard yang
menampilkan hasil evaluasi kinerja dosen dapat

Fakultas Ilmu Komputer, Universitas Brawijaya


Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 6087

diterima dengan baik oleh pihak Responden 5. DAFTAR PUSTAKA


selaku Tim UJM FILKOM UB Jurusan Sistem
Bangor, A., Staff, T., Kortum, P., Miller, J. and
Informasi.
Staff, T., 2009. Determining What
Individual SUS Scores Mean : Adding an
4. PENUTUP
Adjective Rating Scale. 4(3), pp.114–123.
4.1. Kesimpulan Burlton, Roger T. 2001. Business Process
Kesimpulan yang dapat diambil Management: Profiting From Process.
berdasarkan hasil penelitian yaitu pada Semester Amerika Serikat : Sams Publishing.
Genap tahun ajaran 2016/2017 terdapat FILKOM, 2016. Kurikulum Berbasis Standar
komentar positif sebanyak 167 komentar, Nasional Pendidikan Tinggi( SN-DIKTI )
komentar netral netral sebanyak 86 komentar, Program Studi Pendidikan Teknologi
dan komentar negatif sebanyak 79 komentar. Informasi Jenjang S1 Universitas
Untuk Semester Ganjil 2017/2018 terdapat Brawijaya.
komentar positif sebanyak 324 komentar,
Han, J., Kamber, M. and Pei, J., 2012. Data
komentar netral netral sebanyak 137 komentar,
Mining: Concepts and Techniques. San
dan komentar negatif sebanyak 130 komentar.
Francisco, CA, itd: Morgan Kaufmann.
Dan untuk Semester Genap 2017/2018 terdapat
komentar positif sebanyak 346 komentar, Holle, K.F.H., 2015. Preference Based Term
komentar netral netral sebanyak 141 komentar, Weighting For Arabic Fiqh Document
dan komentar negatif sebanyak 87 komentar. Ranking.
Selain itu, setelah melakukan klasifikasi
JetBrains, 2019. PyCharm. [online] Available at:
dengan menggunakan metode TF-IDF dan Naïve
<https://www.jetbrains.com/pycharm/>
Nayes Classifier, dilakukan pengujian terhadap
[Accessed 19 Jan. 2019].
hasil klasifikasi pada setiap semester yang
hasilnya kemudian di rata-rata dan memperoleh Liu, B., 2012. Sentiment Analysis and Opinion
hasil Accuracy sebesar 80,1%, Precision sebesar Mining Morgan & Claypool Publishers.
80,3%, Recall sebesar 80,3%, dan F1-Score Language Arts & Disciplines. p.167
sebesar 80%. Microsoft, 2018. Microsoft Power BI Guide
Dashboard yang telah dibuat memuat tabel Learning. [online] Microsoft. Available
yang menampilkan seluruh komentar dari at: <https://docs.microsoft.com/en-
mahasiswa, filtering berdasarkan id dosen dan us/power-bi/guided-learning/index>
matakuliah, dan 2 diagram batang yang
[Accessed 1 Sep. 2018].
menampilkan hasil sentimen komentar
mahasiswa berdasarkan id dosen dan mata Miftakul, 2016. Opini Mahasiswa Tentang
kuliah. Emoticon LGBT. pp.16–33.
Object Management Group, 2011. Business
4.2. Saran Process Model and Notation. s.l.:Object
Berikut adalah saran perbaikan yang Management Group.
dapat dilakukan pada penelitian selanjutnya Pang, B. and Lee, L., 2016. Opinion mining and
yaitu hasil analisis ini dapat diterapkan menjadi sentiment analysis. World Journal of
sebuah Sistem Informasi yang dapat digunakan Gastroenterology, 22(45), pp.9898–9908.
secara real time. Selain itu, penggunaan metode
Lexicon Based – Barasa untuk melakukan Rozi, I.F., Pramono, S.H. and Dahlan, E.A.,
pelabelan terhadap komentar-komentar sehingga 2012. Implementasi Opinion Mining (
pelabelan yang dilakukan tidak dilakukan secara Analisis Sentimen ) untuk Ekstraksi Data
manual. Hal ini bertujuan untuk menghindari Opini Publik pada Perguruan Tinggi.
adanya sifat subyektif yang di berikan pada Electrical Power, Electronics,
pelabelan 1 komentar. Serta, menggunaan Communications, Controls, and
metode untuk memperbaiki kata-kata yang tidak Informatics Seminar (EECCIS), 6(1),
baku pada tahap preprocessing dan penggunaan pp.37–43.
metode translasi bahasa asing yang ada. Ryansyah, A. and Andayani, S., 2017.
Implementasi Algoritma TF-IDF Pada
Pengukuran Kesamaan Dokumen. (1),

Fakultas Ilmu Komputer, Universitas Brawijaya


Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 6088

pp.1–10.
Sharfina, Z. and Santoso, H.B., 2016. An
Indonesian Adaptation of the System
Usability Scale ( SUS ). 2016
International Conference on Advanced
Computer Science and Information
Systems (ICACSIS), pp.145–148.
Sunardi, Fadlil, A. and Suprianto, 2018. Analisis
sentimen menggunakan metode naïve
bayes classifier pada angket mahasiswa.
(2), pp.1–9.
Undang-undang Republik Indonesia Nomor 14
Tahun 2005 tentang Guru dan Dosen.
Produk Hukum, p.54.
Velcu-laitinen, O. and Yigitbasioglu, O.M.,
2012. The Use of Dashboards in
Performance Management : Evidence
from Sales Managers. 12(November
2011), pp.39–58.

Fakultas Ilmu Komputer, Universitas Brawijaya