27

BAB IV
HASIL PENELITIAN DAN PEMBAHASAN

4.1 Pengembangan Penilai Jawaban Esai
Pengembangan perangkat lunak penilai jawaban esai dalam penelitian ini
mengikuti model proses sequential linear. Modul-modul yang dikembangkan
meliputi text preprocessing, pembentukan matriks kata-dokumen, penghitungan
matriks plsa, dan penghitungan cosine similarity.

4.1.1 Alur Modul Penilai Jawaban Esai
Dalam proses penilaian jawaban esai, data kunci jawaban dan jawaban
peserta yang tersimpan di dalam database dibaca oleh sistem. Kemudian
dilakukan pra pemrosesan awal terhadap data-data tersebut melalui modul Text
Preprocessor. Data diubah menjadi matriks kemunculan kata di dalam dokumen
untuk kemudian diproses menggunakan modul PLSA. Output dari pemrosesan
PLSA berupa vektor-vektor kunci jawaban dan jawaban peserta yang siap
dihitung menggunakan modul Cosine Similarity. Terakhir, data nilai hasil
penghitungan Cosine Similarity disimpan di dalam database.
Alur penilaian jawaban esai yang dikembangkan digambarkan dalam
diagram alir berikut:
28



Text
Preprocessing
dengan Stemming
Text
Preprocessing
tanpa Stemming
Pilih Skenario
Penilaian
Buat Matriks
Kata-Dokumen
Hitung Matriks
PLSA
Hitung Cosine
Similarity
Vektor
Kunci
Jawaban
Vektor
Jawaban
Peserta
Data Kunci
Jawaban
Data
Jawaban
Peserta
Basisdata Nilai
Basisdata Kunci
dan Jawaban
Baca Data Kunci
Jawaban dan
Jawaban Peserta
Simpan Nilai Ke
Basisdata Nilai










Gambar 4. 1 Alur Modul Penilai Jawaban Esai
29



4.1.2 Text Preprocessing
Text Preprocessing merupakan tahap pengolahan awal data jawaban
peserta dan kunci jawaban. Pada tahap pra pemrosesan ini, dilakukan beberapa
tahap secara berurutan, yaitu:
1) Case Folding
Pada tahap ini dilakukan pengubahan huruf besar menjadi huruf kecil.
Proses ini dilakukan terhadap semua data, baik kunci jawaban maupun data
jawaban peserta. Adapun contohnya yaitu sebagai berikut:


2) Tokenizing
Tokenizing merupakan proses pengubahan dokumen menjadi daftar
kumpulan kata yang mandiri. Seperti halnya Case Folding proses ini juga
dikenakan terhadap seluruh data, baik itu kunci jawaban, maupun jawaban
peserta. Tujuan dari proses ini adalah untuk mempermudah proses pengolahan
data berikutnya. Contohnya sebagai berikut:
kedaulatan rakyat adalah
sistem kedaulatan
tertinggi di pegang oleh
rakyat.
Kedaulatan Rakyat
adalah sistem kedaulatan
tertinggi dipegang oleh
rakyat.
Gambar 4. 2 Proses Case Folding
30





3) Filtering
Pada tahap Filtering dilakukan penghapusan bagian-bagian yang dianggap
tidak penting dari data, baik dari data jawaban peserta, maupun dari kunci
jawaban. Bagian-bagian yang dihapus meliputi:
a) Karakter tanda baca
b) Tag HTML
c) Kata yang dianggap tidak penting (Stop Words)
Stop Words yang digunakan dalam penelitian ini diambil dari hasil
penelitian yang dilakukan oleh Fadillah Z Tala (Tala, Fadillah Z. 2003).
Adapun contoh proses Filtering yaitu sebagai berikut:
kedaulatan
rakyat
adalah
sistem
kedaulatan
tertinggi
dipegang
oleh
rakyat.
kedaulatan rakyat adalah
sistem kedaulatan
tertinggi dipegang oleh
rakyat.
Gambar 4. 3 Proses Tokenizing
31





4) Stemming
Stemming merupakan proses pemotongan atau penghilangan imbuhan pada
kata. Proses ini hanya dilakukan pada skenario penilaian dengan menggunakan
Stemming. Tujuan dari proses ini adalah untuk memperkecil ruang semantik.
Adapun pemotong imbuhan (Stemmer) yang digunakan dalam penelitian ini
adalah IdStemmer yang dikembangkan oleh Yudi Wibisono berdasarkan
algoritma Fadillah Z Tala (Tala, Fadillah Z. 2003). Berikut contoh proses
Stemming dalam penelitian ini:


daulat
rakyat
sistem
daulat
tinggi
pegang
rakyat
kedaulatan
rakyat
sistem
kedaulatan
tertinggi
dipegang
rakyat
kedaulatan
rakyat
sistem
kedaulatan
tertinggi
dipegang
rakyat
kedaulatan
rakyat
<br/>
adalah
sistem
kedaulatan
tertinggi
dipegang
oleh
rakyat.
Gambar 4. 4 Proses Filtering

Gambar 4. 5 Proses Stemming
32



4.1.3 Pembentukan Matriks Kata-Dokumen
Setelah pra proses pengolahan data, langkah selanjutnya data diubah
menjadi matriks keterhubungan/kemunculan kata di dalam dokumen. Dalam tahap
ini, jawaban peserta maupun kunci jawaban disebut sebagai dokumen. Dokumen-
dokumen tersebut yang terdiri dari kumpulan kata diubah menjadi sebuah matriks.
Kolom dalam matriks merepresentasikan dokumen, sedangkan barisnya
merepresentasikan kata. Setiap kata yang tersimpan di dalam kamus kata
diurutkan secara ascending, kemudian dihitung jumlah kemunculannya di dalam
suatu dokumen, yang kemudian jumlah kemunculan tersebut disimpan di dalam
matriks. Adapun contohnya yaitu sebagai berikut:
Data dokumen hasil pra proses pengolahana data:
DK: kedaulatan rakyat kekuasaan pemerintahan sepenuhnya tangan rakyat
D1: kedaulatan rakyat kekuasan tertinggi negara rakyat rakyat rakyat
D2: kedaulatan rakyat demokrasi demokrasi rakyat rakyat rakyat rakyat.
Dn: ..
Keterangan:
DK : Dokumen kunci jawaban
D1 : Dokumen jawaban siswa ke-1
D2 : Dokumen jawaban siswa ke-2
Dn : Dokumen jawaban siswa ke-n
Dokumen-dokumen di atas diubah menjadi matriks keterhubungan kata-dokumen
sebagai berikut:
33



Tabel 4. 1 Matriks Keterhubungan Kata-Dokumen
Kamus Kata
Dokumen
DK D1 D2
demokrasi 0 0 2
kedaulatan 1 1 1
kekuasaan 1 1 0
negara 0 1 0
pemerintahan 1 0 0
rakyat 2 4 5
sepenuhnya 1 0 0
tangan 1 0 0
tertinggi 0 1 0

Setelah terbentuk matriks keterhubungan kata-dokumen seperti di atas,
untuk dapat diproses menjadi matriks PLSA, matriks ini kemudian di-transpose
sehingga menjadi matriks dokumen-kata. Untuk melakukan pemrosesan matriks,
dalam penelitian ini digunakan librari Jama (Java Matrix).

4.1.4 Penghitungan Matriks PLSA
Proses inti dalam penilaian jawaban esai ini adalah penghitungan matriks
PLSA. Pada tahap ini dilakukan pengulangan untuk mendapatkan bobot matriks
PLSA terbaik.
Pada awal proses pengulangan dilakukan insialisasi terhadap komponen-
komponen pembangun PLSA, yaitu matriks kata-latentclass(Pwz) dan matriks
34



latentclass-dokumen (Pzd). Kedua komponen tersebut diinisialisasi secara acak
(random) dengan bilangan antara 0 dan 1. Setelah dilakukan inisialisasi, maka
dihitung estimasi matriks dokumen-kata (Pdw). Dari matriks Pdw dapat dihitung
pula nilai loglikelihood(L) yang pertama, dimana akan digunakan sebagai
pembanding dan pembeda pada iterasi selanjutnya.
Pada iterasi berikutnya dilakukan langkah Ekspektasi dan Maksimasi
untuk mendapatkan nilai Pzd dan Pwz yang baru. Lalu dilakukan kembali
penghitungan Pdw dan nilai Loglikelihood(L). Langkah Ekspektasi dan
Maksimasi ini diulangi terus sampai kondisi berhenti tercapai.
Kondisi berhenti akan terpenuhi, jika:
1) nilai perbedaan antara Loglikelihood(L) dengan nilai Loglikelihood
sebelumnya (old_L) lebih kecil atau sama dengan nilai Treshold yang
ditentukan, atau
2) jumlah iterasi telah mencapai iterasi maksimum, atau
3) nilai L tetap tidak berubah selama jumlah iterasi tertentu.
Secara garis besar metode PLSA dapat didefinisikan melalui pseudocode
berikut:
initialize
L get_loglikelihood
old_L L
stop false
iterasi 1
diff 0
old_diff 0
counter 0
35



while (not stop and iterasi <= max_iteration) do
e_step
m_step
generate_pdw
L get_loglikelihood
diff abs(L old_L)
old_L L
if (diff <= treshold or counter >= max_iteration_with_same_L) then
stop true
elseif (old_diff = diff) then
counter counter + 1
else
old_diff diff
counter 0
endif
iterasi iterasi + 1
endwhile

Pada pseudocode di atas, max_iteration merupakan konstanta batas jumlah
pengulangan maksimum pada tahapan peng-estimasi-an matriks PLSA. Variabel
treshold merupakan target pencapaian selisih antara nilai loglikelihood pada state
iterasi tertentu dengan iterasi sebelumnya. Adapun max_iteration_with_same_L
merupakan batas maksimum jumlah iterasi, jika tidak terjadi perubahan selisih
loglikelihood.
Jika proses estimasi sudah mencapai kondisi berhenti, maka keluaran dari
proses perhitungan matriks PLSA ini adalah matriks keterhubungan kata Pdw.
Untuk lebih detailnya, berikut dijelaskan algoritma fungsi-fungsi
pembangun PLSA tersebut.

1. Inisialisasi (initialize)
Pada tahap ini dilakukan inisialisasi matriks keterhubungan kata-
latentclass (Pwz) dan matriks keterhubungan latentclass-dokumen (Pzd). Baris
36



pada Pwz menyatakan index kata/term, dan kolomnya menyatakan indeks dari
latentclass. Pada Pzd, baris menyatakan indeks dari latentclass, dan kolom
menyatakan indeks dari dokumen yang dibangun dari kunci jawaban dan jawaban
peserta. Setiap komponen kedua matriks tersebut diinisialisasi dengan bilangan
acak antara nol (0) dan satu (1).
Kemudian dari kedua matriks tersebut (Pwz dan Pzd) dilakukan inisialisasi
matriks Pdw dengan menggunakan fungsi generate_pdw. Matriks Pdw merupakan
matriks keterhubungan dokumen-kata. Baris pada Pdw menyatakan indeks
dokumen, dan kolomnya menyatakan indeks kata.

2. Penghitungan Matriks PLSA (generate_pdw)
Fungsi ini digunakan untuk menghitung nilai joint probability pada
matriks PLSA. Fungsi ini mengimplementasikan persamaan 2.2. Berikut
disajikan pseudocode untuk fungsi generate_pdw:
for i 1 to jmlDokumen do
for j 1 to jmlKata do
jml 1
for k 1 to k jmlLatentClass do
jml jml + Pwz[j, k] * Pzd[k, i]
endfor
Pdw[i,j] jml/jmlDokumen
endfor
endfor



3. Penghitungan Loglikelihood (get_loglikelihood)
Untuk mendapatkan loglikelihood dari state iterasi yang sedang
berlangsung, digunakan penghitungan loglikelihood sesuai dengan persamaan
37



2.3. Pada perhitungan tahap ini digunakan matriks keterhubungan kata-dokumen
(Pdk) yang merupakan hasil pada tahap Pembentukan Matriks Kata Dokumen
(lihat sub bab 4.1.3). Fungsi loglikelihood ini disajikan dalam pseudocode
berikut:

loglikelihood 0
nilai_pdw 0
for i 0 to jmlDokumen do
for j 0 to jmlKata do
nilai_pdw Pdw[i, j]
loglikelihood Pdk[i, j] * log10(nilai_pdw)
endfor
endofr


4. Langkah Ekspektasi-Maksimasi
Langkah ekspektasi dan maksimasi dilakukan untuk meng-estimasi nilai
matriks nilai Pwz dan Pzd. Pada tahap ini digunakan array tiga dimensi Pzdw
sebagai variable nilai ekspektasi yang nantinya digunakan dalam tahap
maksimasi. Indeks pertama dari Pzdw menyatakan indeks latentclass, indeks
kedua menyatakan indeks dokumen, dan indeks ketiga menyatakan indeks kata.
Pada tahap ekspektasi (e_step), diimplementasikan persamaan 2.4 untuk
menghitung nilai Pzdw. Fungsi tersebut disajikan dalam pseudocode berikut:

for i 1 to jmlDokumen do
for j 1 to jmlKata do
sumPwzPzd 0
for l 1 to jmlLatentClass do
sumPwzPzd Pwz[j, l] * Pzd[l, i]
endfor
if (sumPwzPzd = 0) then
sumPwzPzd 1
endif
38



for k 1 to jmlLatentClass do
if (sumPwzPzd = 0) do
pzdw[k,I,j] 0.0
else
pzdw[k,I,j] Pwz[j, k] * Pzd[k, i]
pzdw[k,I,j] = pzdw[k,I,j] / sumPwzPzd
endif
endfor
endfor
endfor
Pzdw pzdw

Setelah didapat nilai Pzdw, dilanjutkan dengan proses pengestimasian nilai
Pwz dan Pzd baru berdasarkan nilai Pzdw melalui langkah maksimasi. Langkah
maksimasi mengimplementasikan persamaan 2.5 dan 2.6. Pseudocode dari
langkah ini di jelaskan dalam pseudocode berikut:
new_pwz null
jml 0
pembagi 0
for j 1 to jmlKata do
for k 1 to jmLatentClass do
jml 0
for i 1 to jmlDokumen do
jml jml + Pdk[i, j] * Pzdw[k,I,j]
endfor
pembagi 0
for m 1 to jmlKata do
for i 1 to jmlDokumen do
pembagi pembagi + Pdk[i, m] * Pzdw[k,i,m]
endfor
endfor
if (pembagi = 0) then
new_pwz[j, k] 0
else
new_pwz[j, k] jml/pembagi
endif
endiif
endif
Pwz new_pwz

new_pzd null
39



for k 1 to jmlLatentClass do
for i 1 to jmlDokumen do
jml 0
for j 0 to jmlKata do
jml jml + Pdk[i, j] * Pzdw[k,I,j]
endfor
pembagi sumOfRow(Pdk[i])
if (pembagi = 0) endif
new_pzd[k, i] 0
else
new_pzd[k, i] jml / pembagi
endif
endfor
endfor
Pzd new_pzd

Pada kode di atas fungsi sumOfRow(i) merupakan fungsi penghitung
jumlah dari setiap kolom dari baris ke-i.

4.1.5 Penghitungan Similarity
Output dari proses penghitungan matriks PLSA adalah vektor-vektor
dokumen dengan bobot tertentu yang merepresentasikan kemunculan kata dalam
suatu dokumen. Untuk mendapatkan nilai dari masing-masing jawaban peserta,
dilakukan penghitungan tingkat kesamaan antara kunci jawaban dengan setiap
jawaban peserta. Metode yang digunakan dalam pengukuran tingkat kesamaan
(similarity) ini adalah Cosine Similarity. Rumus persamaan yang digunakan yaitu
sesuai dengan persamaan 2.9 sebagai berikut:
Sim(,

) =

40



Keterangan:
= Vektor kunci jawaban

= Vektor jawaban seorang siswa

M = Jumlah komponen vektor (sama dengan jumlah komponen vektor

)
q
i
= Komponen vektor ke-i
d
i
= Komponen vektor

ke-i

Persamaan di atas digunakan untuk mengukur tingkat kesamaan antara
kunci jawaban dengan satu jawaban siswa. Untuk menilai seluruh jawaban siswa
diperlukan pengulangan yang dinyatakan dengan pseudocode berikut:
q matriks_plsa[0]
for i 1 to length(matriks_plsa)-1 do
d matriks_plsa[i]
nilai[i] sim(q,d)
endfor

Dalam pseudocode di atas, vektor dokumen kunci jawaban disimpan di indeks ke-
0 dalam matriks_plsa, dan i menyatakan indeks vektor dokumen jawaban siswa
ke-i. Adapun fungsi sim menyatakan fungsi cosine similarity yang dinyatakan
dengan pseudocode berikut:
procedure sim(input double[] q, input double[] d)double
{Fungsi penghitung similarity antara dua vektro dengan metode cosine similarity}
{I.S.: q dan d terdefinisi sebagai array vektor}
{F.S.: mengembalikan nilai similarity/kesamaan vektor q dan d}

Deklarasi
sum_of_dot_product : double
41



vektor_value_q : double
vektor_value_d : double
hasil_kali : double

Deskripsi
sum_of_dot_product 0
for i 0 to length(q)-1 do
sum_of_dot_product sum_of_dot_product + q[i] * d[i]
endfor
vektor_value_q 0
for i 0 length(q) do
vektor_value_q vektor_value_q + q[i] * q[i]
endfor
vektor_value_q sqrt(vektor_value_q)
vektor_value_d 0
for i 0 length(d) do
vektor_value_d vektor_value_d + d[i] * d[i]
endfor
vektor_value_d sqrt(vektor_value_d)
hasil_kali = vektor_value_q * vektor_value_d
if (hasil_kali 0) then
sim 0
else
sim sum_of_dot_product / hasil_kali
endif

4.2 Pengujian
Proses pengujian dilakukan untuk mendapatkan data penelitian yang akan
dianalisis sebagai dasar penarikan kesimpulan. Skenario pengujian dibuat
sedemikian rupa agar dapat menjawab rumusan masalah yang telah ditentukan.

4.2.1 Skenario Pengujian
Pengujian terhadap sistem yang dibangun dilakukan melalui dua skenario,
yaitu:
42



1. Skenario 1, dilakukan dengan menggunakan pra proses pemotongan imbuhan
(stemming),
2. Skenario 2, dilakukan tanpa pra proses pemotongan imbuhan (non-stemming).
Hal ini dilakukan guna melihat pengaruh proses pemotongan imbuhan
terhadap kinerja sistem yang dibangun.
Disamping itu, guna melihat pengaruh jumlah jawaban esai yang dinilai
terhadap akurasi hasil penilaian sistem, dalam setiap skenario pengujian tersebut
dilakukan pengkelasan data. Data yang berjumlah 43 jawaban peserta dalam
masing-masing soal dibagi menjadi tiga kelas, yaitu:
1. kelas kecil dengan jumlah peserta 14 orang.
2. kelas sedang dengan jumlah peserta 28 orang, dan
3. kelas besar dengan jumlah peserta 43 orang,
Masing-masing kelas tersebut mewakili sepertiga jumlah data, dua per tiga
jumlah data, dan keseluruhan jumlah data. Perlu diketahui, skenario pengkelasan
data juga sebelumnya pernah dilakukan oleh Risna Hendayana (Hendayana, 2011)
dan Dudi Hermawandi (Dudi, 2008).

4.2.2 Data Pengujian
Adapun data soal dan jawaban yang digunakan dalam pengujian ini
merupakan soal tes ulangan harian di SMPN 29 Bandung, kelas VIII, mata
pelajaran Pendidikan Kewarganegaraan. Data tersebut meliputi:
43



a) Data kunci jawaban
Data soal dan kunci jawaban yang digunakan adalah sebagai berikut:
1. Pertanyaan : Apakah yang dimaksud dengan kedaulatan rakyat?
Kunci Jawaban : Kedaulatan Rakyat adalah suatu kekuasaan
pemerintahan yang sepenuhnya ada di tangan rakyat
Skor : 20
2. Pertanyaan : Sebutkan dan jelaskan 2 Jenis Kedaulatan?
Kunci Jawaban : Jenis kedaulatan ada 2, yaitu:
1. Kedaulatan ke dalam, adalah suatu bangsa atau
negara yang merdeka memiliki hak untuk mengatur
rumah tangganya sendiri tanpa campur tangan dari
bangsa atau negara lain.
2. Kedaulatan ke luar, adalah suatu bangsa atau negara
yang merdeka mempunyai kekuasaan atau hak untuk
mengadakan hubungan atau kerjasama dengan
negara-negara lain sesuai dengan keinginannya.
Skor : 20
3 Pertanyaan : Sebutkan dan jelaskan Teori-teori Kedaulatan, minimal
3?
Kunci Jawaban : 1. Teori Kedaulatan Tuhan, adalah teori yang
menyebutkan bahwa kekuasaan tertinggi
(kedaulatan) berasal dari Tuhan.
2. Teori Kedaulatan Negara, adalah teori yang
44



menyebutkan bahwa kekuasaan berasal atau ada
pada negara.
3. Teori Kedaulatan Hukum, adalah teori yang
menyebutkan bahwa kekuasaan tertinggi dalam suatu
negara adalah hukum.
4. Teori Kedaualatan Raja, adalah teori yang
menyebutkan bahwa kekuasaan tertinggi ada di
tangan raja.
5. Teori Kedaulatan Rakyat, adalah teori yang
menyebutkan bahwa kekuasaan tertinggi ada di
tangan rakyat.
Skor : 20
4 Pertanyaan : Jelaskan macam-macam sistem pemerintahan yang
telah kalian pelajari?
Kunci Jawaban : 1. Sistem pemerintahan Presidensil, yaitu dimana
kekuasaan pemerintahan dalam suatu negara ada di
tangan Presiden.
2. Sistem Pemerintahan Parlementer, yaitu dimana
kekuasaan pemerintahan dalam suatu negara ada di
tangan Perdana Menteri
3. Sistem pemerintahan Semi presidensil, yaitu dimana
kekuasaan pemerintahan dalam suatu negara ada di
tangan Presiden dan Perdana Menteri
45



Skor : 20
5 Pertanyaan : Sebutkan Lembaga-Lembaga negara yang ada di
Indonesia?
Kunci Jawaban : Presiden, MPR, DPR, DPD, MA, MK, KY, BPK.
Skor : 20

b) Data jawaban peserta
Adapun jawaban peserta yang digunakan dalam penelitian ini, penulis
lampirkan di lembar lampiran, mengingat begitu banyaknya data tersebut.

c) Data nilai peserta yang diberikan oleh guru penilai
Data nilai hasil penilaian guru terhadap tes terebut, disajikan di dalam
tabel berikut:
Tabel 4. 2 Nilai Hasil Penilaian Guru
No. Siswa
Nilai
Soal-1 Soal-2 Soal-3 Soal-4 Soal-5
1 20 20 20 15 20
2 15 10 20 20 20
3 5 5 20 5 20
4 10 5 3 5 20
5 10 3 5 5 15
6 15 10 20 10 20
7 10 5 13 0 0
8 15 5 20 13 20
9 15 20 20 10 20
10 10 15 10 8 20
11 15 8 20 10 20
12 20 10 10 15 20
13 15 8 3 3 20

46



Tabel 4.2 Nilai Hasil Penilaian Guru (sambungan)
No. Siswa
Nilai
Soal-1 Soal-2 Soal-3 Soal-4 Soal-5
14 15 20 20 20 20
15 15 20 20 10 20
16 15 20 20 20 20
17 10 5 15 3 20
18 15 10 8 8 20
19 15 20 20 20 20
20 15 8 15 5 20
21 10 10 20 18 20
22 15 20 20 20 20
23 20 5 20 10 20
24 20 20 20 20 20
25 20 5 5 5 20
26 8 10 15 5 20
27 10 10 20 5 20
28 10 5 5 5 20
29 3 8 20 5 20
30 20 5 20 3 3
31 20 5 5 5 20
32 10 20 5 5 20
33 3 20 20 5 20
34 20 5 20 5 20
35 15 5 20 5 20
36 20 20 20 18 20
37 15 8 5 5 5
38 15 20 20 5 20
39 20 20 20 20 20
40 15 8 20 5 20
41 10 20 20 20 20
42 20 20 20 8 20
43 20 5 5 5 20

Setiap data disajikan di dalam file berformat Microsoft Excel (.xls) 2003.
Data tersebut, kemudian diimport ke dalam sistem untuk dilakukan proses
penilaian.
47



4.2.3 Hasil Pengujian
1) Pengujian Skenario 1
Pada pengujian skenario 1, dilakukan penilaian dengan terlebih dahulu
melakukan pra proses pemotongan imbuhan (stemming). Pengujian ini dilakukan
pada tiga kelas berbeda, yaitu kelas kecil, kelas sedang dan kelas besar.
a) Hasil Pengujian Kelas Kecil
Pengujian kelas kecil dilakukan terhadap empat belas jawaban peserta pada
masing-masing soal. Kemudian hasil penilaian sistem dibandingkan dengan hasil
penilaian guru. Adapun hasilnya yaitu sebagai berikut:
Tabel 4. 3 Hasil Pengujian Skenario 1 Kelas Kecil
No.
Siswa
soal 1 soal 2 soal 3 soal 4 soal 5
PS PG S PS PG S PS PG S PS PG S PS PG S
1 16.69 20 3.31 15.24 20 4.76 18.99 20 1.01 11.96 15 3.04 16.77 20 3.23
2 14.25 15 0.75 6.13 10 3.87 17.63 20 2.37 13.16 20 6.84 16.23 20 3.77
3 6.21 5 1.21 4.01 5 0.99 16.24 20 3.76 3.78 5 1.22 16.77 20 3.23
4 14.64 10 4.64 7.25 5 2.25 13.38 3 10.38 20 5 15 12.73 20 7.27
5 15.14 10 5.14 7.28 3 4.28 13.59 5 8.59 17.67 5 12.67 10.61 15 4.39
6 14.36 15 0.64 12.61 10 2.61 18.5 20 1.5 11.92 10 1.92 10.57 20 9.43
7 7.93 10 2.07 7.28 5 2.28 13.59 13 0.59 9.8 0 9.8 0 0 0
8 17.71 15 2.71 4.01 5 0.99 14.29 20 5.71 5.22 13 7.78 14.51 20 5.49
9 16.2 15 1.2 11.38 20 8.62 16.3 20 3.7 14.1 10 4.1 17.9 20 2.1
10 15.14 10 5.14 2.38 15 12.62 12.56 10 2.56 13.16 8 5.16 13.53 20 6.47
11 14.74 15 0.26 7.09 8 0.91 18.62 20 1.38 9.82 10 0.18 18.78 20 1.22
12 13.77 20 6.23 7.46 10 2.54 11.8 10 1.8 4.27 15 10.73 11.27 20 8.73
13 14.64 15 0.36 7.22 8 0.78 13.38 3 10.38 9.8 3 6.8 16.23 20 3.77
14 16.2 15 1.2 12.44 20 7.56 16.76 20 3.24 14.85 20 5.15 13.68 20 6.32
Rata-rata
Selisih
2.49 3.93 4.07 6.46 4.67
Prosentase
Rata-rata
Selisih(%)
12.45% 19.65% 20.35% 32.30% 23.35%
48



Keterangan:
PS : Penilaian Sistem
PG : Penilaian Guru
Skor : 0-20
S : Selisih antara penilaian guru dan penilaian sistem

Dari hasil pengujian di atas, diketahui prosentase rata-rata selisih antara
hasil penilaian guru dan penilaian sistem untuk soal nomor satu sampai dengan
soal nomor lima secara berurutan adalah 12.45%, 19.65%, 20.35%, 32.30% dan
23.35%. Hal ini menunjukan akurasi sistem untuk setiap soal secara berurutan
adalah 87.55%, 80.35%, 79.65%, 67.70%, 76.65%. Akurasi tertinggi terdapat
pada penilaian soal nomor satu yaitu sebesar 87.55% dan terendah terjadi pada
penilain soal nomor empat yaitu hanya sebesar 67.70%.

b) Hasil Pengujian Kelas Sedang
Pengujian kelas sedang dilakukan terhadap 28 jawaban peserta pada
masing-masing soal. Kemudian hasil penilaian sistem dibandingkan dengan hasil
penilaian guru. Adapun hasilnya yaitu sebagai berikut:


49



Tabel 4. 4 Hasil Pengujian Skenario 1 Kelas Sedang
No.
Siswa
soal 1 soal 2 soal 3 soal 4 soal 5
PS PG S PS PG S PS PG S PS PG S PS PG S
1 16.1 20 3.9 14.02 20 5.98 20 20 0 15.22 15 0.22 18.31 20 1.69
2 12.74 15 2.26 12.4 10 2.4 16.83 20 3.17 14.52 20 5.48 15.63 20 4.37
3 4.72 5 0.28 6.24 5 1.24 16.6 20 3.4 4.46 5 0.54 18.31 20 1.69
4 13.61 10 3.61 8.87 5 3.87 7.25 3 4.25 9.45 5 4.45 12.74 20 7.26
5 14.35 10 4.35 7.61 3 4.61 12.58 5 7.58 17.67 5 12.67 17.2 15 2.2
6 15.36 15 0.36 12.62 10 2.62 15.45 20 4.55 15.83 10 5.83 7.01 20 12.99
7 6.15 10 3.85 7.61 5 2.61 12.9 13 0.1 8.98 0 8.98 17.2 0 17.2
8 17.88 15 2.88 4.24 5 0.76 12.58 20 7.42 6.59 13 6.41 16.11 20 3.89
9 14.92 15 0.08 13.81 20 6.19 15.2 20 4.8 16.5 10 6.5 19.15 20 0.85
10 14.97 10 4.97 10.99 15 4.01 10.65 10 0.65 17.55 8 9.55 16.12 20 3.88
11 13.33 15 1.67 8 8 0 17.41 20 2.59 8.76 10 1.24 18.83 20 1.17
12 15.21 20 4.79 6.24 10 3.76 13.9 10 3.9 8.61 15 6.39 11.23 20 8.77
13 13.61 15 1.39 8.71 8 0.71 7.25 3 4.25 4.46 3 1.46 15.63 20 4.37
14 14.92 15 0.08 12.32 20 7.68 15.7 20 4.3 17.26 20 2.74 16.02 20 3.98
15 15.72 15 0.72 13.7 20 6.3 15.86 20 4.14 16.23 10 6.23 16.41 20 3.59
16 15.26 15 0.26 8.55 20 11.45 16.08 20 3.92 16.53 20 3.47 15.38 20 4.62
17 10.48 10 0.48 7.61 5 2.61 16.31 15 1.31 14.52 3 11.52 3.71 20 16.29
18 14.48 15 0.52 10.14 10 0.14 16.59 8 8.59 17.48 8 9.48 12.55 20 7.45
19 15.79 15 0.79 13.72 20 6.28 16.99 20 3.01 14.63 20 5.37 18.44 20 1.56
20 16.37 15 1.37 7.61 8 0.39 13.18 15 1.82 17.77 5 12.77 8.37 20 11.63
21 13.09 10 3.09 6.28 10 3.72 16.37 20 3.63 17.95 18 0.05 20 20 0
22 17.84 15 2.84 12.07 20 7.93 17.71 20 2.29 10.21 20 9.79 5.35 20 14.65
23 18.71 20 1.29 10.33 5 5.33 16.36 20 3.64 14.65 10 4.65 15.84 20 4.16
24 16.84 20 3.16 13.97 20 6.03 13.9 20 6.1 17.84 20 2.16 20 20 0
25 18.82 20 1.18 7.61 5 2.61 15.06 5 10.06 4.46 5 0.54 18.44 20 1.56
26 8.08 8 0.08 5.16 10 4.84 15.06 15 0.06 16.3 5 11.3 14.32 20 5.68
27 18.45 10 8.45 12.47 10 2.47 12.58 20 7.42 17.48 5 12.48 14.5 20 5.5
28 10.94 10 0.94 7.61 5 2.61 15.06 5 10.06 4.46 5 0.54 18.31 20 1.69
Rata-rata
Selisih
2.13 3.90 4.18 5.81 5.45
Prosentase
Rata-rata
Selisih(%)
10.65% 19.49% 20.89% 29.07% 27.27%


50



Keterangan:
PS : Penilaian Sistem
PG : Penilaian Guru
Skor : 0-20
S : Selisih antara penilaian guru dan penilaian sistem

Dari hasil pengujian pada kelas sedang, prosentase rata-rata selisih antara
hasil penilaian guru dan penilaian sistem untuk soal nomor satu sampai dengan
soal nomor lima secara berurutan adalah 10.65%, 19.45%, 20.89%, 29.07% dan
27.27%. Hal ini menunjukan akurasi sistem untuk setiap soal secara berurutan
adalah 89.35%, 80.51%, 79.11%, 70.93%, dan 72.73%. Akurasi tertinggi terdapat
pada penilaian soal nomor satu yaitu sebesar 89.35% dan terendah terjadi pada
penilain soal nomor empat yaitu hanya sebesar 70.93%.

c) Hasil Pengujian Kelas Besar
Pengujian terakhir dari skenario 1, dilakukan pada kelas besar. Pengujian
ini dilakukan terhadap 43 jawaban peserta pada masing-masing soal. Kemudian
hasil penilaian sistem dibandingkan dengan hasil penilaian guru. Adapun hasilnya
yaitu sebagai berikut:


51



Tabel 4. 5 Hasil Pengujian Skenario 1 Kelas Besar
No.
Siswa
soal 1 soal 2 soal 3 soal 4 soal 5
PS PG S PS PG S PS PG S PS PG S PS PG S
1
18.55 20 1.45 16.33 20 3.67 17.45 20 2.55 14.17 15 0.83 18.38 20 1.62
2
14.5 15 0.5 9.53 10 0.47 18.82 20 1.18 14.46 20 5.54 14.63 20 5.37
3
15.76 5 10.76 7.38 5 2.38 15.74 20 4.26 2.96 5 2.04 18.38 20 1.62
4
14.5 10 4.5 6.66 5 1.66 19.7 3 16.7 16.23 5 11.23 14.33 20 5.67
5
16.36 10 6.36 7.53 3 4.53 14.42 5 9.42 18.98 5 13.98 20 15 5
6
17.39 15 2.39 15.04 10 5.04 15.99 20 4.01 14.47 10 4.47 14.33 20 5.67
7
13.45 10 3.45 7.69 5 2.69 13.66 13 0.66 2.96 0 2.96 13.47 0 13.47
8
19.26 15 4.26 6.31 5 1.31 14.28 20 5.72 5.48 13 7.52 17.79 20 2.21
9
16.39 15 1.39 15.33 20 4.67 15.35 20 4.65 12.57 10 2.57 19.18 20 0.82
10
16.36 10 6.36 7.11 15 7.89 12.05 10 2.05 14.81 8 6.81 17.24 20 2.76
11
14.5 15 0.5 9.63 8 1.63 17.45 20 2.55 9.54 10 0.46 18.78 20 1.22
12
14.38 20 5.62 7.69 10 2.31 11.96 10 1.96 5.23 15 9.77 16.24 20 3.76
13
14.5 15 0.5 7.04 8 0.96 12.05 3 9.05 6.63 3 3.63 14.63 20 5.37
14
16.39 15 1.39 14.1 20 5.9 16.29 20 3.71 18.02 20 1.98 14.83 20 5.17
15
17.7 15 2.7 16.13 20 3.87 14.61 20 5.39 13.46 10 3.46 17.47 20 2.53
16
16.57 15 1.57 10.47 20 9.53 15.15 20 4.85 15.32 20 4.68 16.46 20 3.54
17
15.42 10 5.42 7.69 5 2.69 15.04 15 0.04 12.94 3 9.94 2.79 20 17.21
18
16.11 15 1.11 9.79 10 0.21 14.64 8 6.64 20 8 12 14.7 20 5.3
19
15.64 15 0.64 15.8 20 4.2 18.67 20 1.33 14.77 20 5.23 18.49 20 1.51
20
16.04 15 1.04 7.69 8 0.31 14.26 15 0.74 14.81 5 9.81 8.43 20 11.57
21
10.17 10 0.17 8.53 10 1.47 16.48 20 3.52 15.78 18 2.22 20 20 0
22
15.33 15 0.33 8.95 20 11.05 19.7 20 0.3 6.76 20 13.24 4.72 20 15.28
23
17.85 20 2.15 4.86 5 0.14 16.25 20 3.75 14.84 10 4.84 11.33 20 8.67
24
14.5 20 5.5 16.33 20 3.67 16.74 20 3.26 19.88 20 0.12 20 20 0
25
18.01 20 1.99 7.69 5 2.69 14.32 5 9.32 2.96 5 2.04 18.49 20 1.51
26
6.1 8 1.9 5.57 10 4.43 13.37 15 1.63 14.81 5 9.81 10.51 20 9.49
27
16.53 10 6.53 9.79 10 0.21 13.49 20 6.51 11.12 5 6.12 15.99 20 4.01
28
13.36 10 3.36 7.69 5 2.69 14.32 5 9.32 2.96 5 2.04 18.38 20 1.62
29
14.5 3 11.5 13.82 8 5.82 16.9 20 3.1 2.96 5 2.04 20 20 0
30
17.25 20 2.75 6.98 5 1.98 16.71 20 3.29 20 3 17 2.79 3 0.21
31
18.18 20 1.82 10.83 5 5.83 14.76 5 9.76 14.9 5 9.9 15.91 20 4.09
32
10.12 10 0.12 16.04 20 3.96 14.32 5 9.32 2.96 5 2.04 18.38 20 1.62
33
14.5 3 11.5 16.2 20 3.8 16.09 20 3.91 4.22 5 0.78 20 20 0
34
16.86 20 3.14 4.86 5 0.14 15.91 20 4.09 14.9 5 9.9 11.33 20 8.67
35
16.56 15 1.56 7.69 5 2.69 19.13 20 0.87 4.27 5 0.73 20 20 0
36
17.4 20 2.6 10.46 20 9.54 15.54 20 4.46 5.61 18 12.39 17.75 20 2.25
37
17.41 15 2.41 4.76 8 3.24 14.32 5 9.32 2.96 5 2.04 8.43 5 3.43

52



Tabel 4.5 Hasil Pengujian Skenario 1 Kelas Besar (sambungan)
No.
Siswa
soal 1 soal 2 soal 3 soal 4 soal 5
PS PG S PS PG S PS PG S PS PG S PS PG S
38
18.35 15 3.35 15.37 20 4.63 18.36 20 1.64 2.96 5 2.04 18.38 20 1.62
39
16.16 20 3.84 16.27 20 3.73 19.25 20 0.75 18.61 20 1.39 20 20 0
40
16.36 15 1.36 4.76 8 3.24 13.86 20 6.14 14.71 5 9.71 11.33 20 8.67
41
8.53 10 1.47 17.66 20 2.34 18.81 20 1.19 14.12 20 5.88 6.46 20 13.54
42
16.84 20 3.16 15.69 20 4.31 18.82 20 1.18 10.87 8 2.87 18.21 20 1.79
43
17.95 20 2.05 6.98 5 1.98 13.86 5 8.86 14.48 5 9.48 14.13 20 5.87
Rata-rata
Selisih
3.17 3.48 4.49 5.76 4.51
Prosentase
Rata-rata
Selisih(%)
15.87% 17.38% 22.44% 28.78% 22.53%

Keterangan:
PS : Penilaian Sistem
PG : Penilaian Guru
Skor : 0-20
S : Selisih antara penilaian guru dan penilaian sistem

Pada pengujian kelas besar ini, didapati prosentase rata-rata selisih antara
hasil penilaian guru dan penilaian sistem untuk soal nomor satu sampai dengan
soal nomor lima secara berurutan adalah 15.87%, 17.38%, 22.44%, 28.78% dan
22.53%. Maka akurasi sistem untuk setiap soal secara berurutan adalah 84.13%,
82.62%, 77.56%, 71.22%, dan 77.47%. Akurasi tertinggi terdapat pada penilaian
soal nomor satu yaitu sebesar 84.13% dan terendah terjadi pada penilain soal
nomor empat yaitu hanya sebesar 71.22%.

53



d) Hasil Pengujian Skenario 1
Dari keseluruhan pengujian pada setiap kelas untuk pengujian skenario 1,
didapat hasil sebagai berikut:
Tabel 4. 6 Hasil Pengujian Skenario 1 Seluruh Kelas
No. Soal
Ujicoba Kelas
Kecil Sedang Besar
1 12.45% 10.65% 15.87%
2 19.65% 19.49% 17.38%
3 20.35% 20.89% 22.44%
4 32.30% 29.07% 28.78%
5 23.35% 27.27% 22.53%
Rata-rata Selisih 21.62% 21.48% 21.40%
Rata-rata
Akurasi
78.38% 78.53% 78.60%

Pada pengujian skenario 1, rata-rata selisih antara penilaian guru dan
penilaian penilaian sistem untuk kelas kecil, kelas sedang dan kelas besar secara
berurutan adalah 21.62%, 21.48%, dan 21.40%. Adapun rata-rata akurasinya
secara berurutan adalah 78.38%, 78.53%, dan 78.60%. Hal ini menunjukan
peningkatan akurasi dari kelas kecil sampai pada kelas besar, walaupun tidak
begitu signifikan.

2) Pengujian Skenario 2
Pada pengujian skenario 2 penilaian dilakukan tanpa melibatkan pra proses
pemotongan imbuhan (non-stemming). Seperti halnya pada Skenario 1, pengujian
54



juga dilakukan terhadap tiga kelas yang berbeda, yaitu kelas kecil, kelas sedang,
dan kelas besar.
a) Kelas Kecil
Dari pengujian kelas kecil yang dilakukan terhadap empat belas jawaban
peserta untuk masing-masing soal diketahui hasil sebagai berikut:
Tabel 4. 7 Hasil Pengujian Skenario 2 Kelas Kecil
No.
Siswa
soal 1 soal 2 soal 3 soal 4 soal 5
PS PG S PS PG S PS PG S PS PG S PS PG S
1 16.95 20 3.05 13.83 20 6.17 20 20 0 11.61 15 3.39 17.92 20 2.08
2 12.74 15 2.26 6.94 10 3.06 17.93 20 2.07 12.49 20 7.51 15.8 20 4.2
3 4.77 5 0.23 4.38 5 0.62 16.19 20 3.81 12.54 5 7.54 17.92 20 2.08
4 13.68 10 3.68 6.81 5 1.81 9.76 3 6.76 4.1 5 0.9 10.54 20 9.46
5 14.9 10 4.9 6.77 3 3.77 9.76 5 4.76 17.8 5 12.8 11.43 15 3.57
6 14.92 15 0.08 14.28 10 4.28 15.71 20 4.29 12.54 10 2.54 10.33 20 9.67
7 5.87 10 4.13 6.94 5 1.94 12.19 13 0.81 5.78 0 5.78 11.43 0 11.4
8 17.85 15 2.85 4.38 5 0.62 13.05 20 6.95 5.78 13 7.22 14.89 20 5.11
9 15.12 15 0.12 11.11 20 8.89 16.12 20 3.88 12.38 10 2.38 18.53 20 1.47
10 15.54 10 5.54 4.18 15 10.82 10.82 10 0.82 12.38 8 4.38 12.98 20 7.02
11 13.3 15 1.7 5.16 8 2.84 15.02 20 4.98 9.04 10 0.96 18.49 20 1.51
12 13 20 7 6.94 10 3.06 9.76 10 0.24 4.1 15 10.9 11.84 20 8.16
13 13.68 15 1.32 6.88 8 1.12 9.76 3 6.76 9.04 3 6.04 15.8 20 4.2
14 15.12 15 0.12 13.83 20 6.17 16.81 20 3.19 14.66 20 5.34 13.61 20 6.39
Rata-rata
Selisih
2.64 3.94 3.52 5.55 5.45
Prosentase
Rata-rata
Selisih(%)
13.21% 19.70% 17.61% 27.74% 27.27%

Keterangan:
PS : Penilaian Sistem
PG : Penilaian Guru

55



Skor : 0-20
S : Selisih antara penilaian guru dan penilaian sistem

Dari hasil pengujian di atas, diketahui prosentase rata-rata selisih antara
hasil penilaian guru dan penilaian sistem untuk soal nomor satu sampai dengan
soal nomor lima secara berurutan adalah 13.21%, 19.70%, 17.61%, 27.74% dan
27.27%. Hal ini menunjukan akurasi sistem untuk setiap soal secara berurutan
adalah 86.79%, 80.30%, 82.39%, 72.26%, dan 72.73%. Akurasi tertinggi terdapat
pada penilaian soal nomor satu yaitu sebesar 86.79% dan terendah terjadi pada
penilain soal nomor empat yaitu hanya sebesar 72.26%.

b) Kelas Sedang
Pengujian kelas sedang dilakukan terhadap 28 jawaban peserta pada
masing-masing soal. Kemudian hasil penilaian sistem dibandingkan dengan hasil
penilaian guru. Adapun hasilnya yaitu sebagai berikut:

Tabel 4. 8 Hasil Pengujian Skenario 2 Kelas Sedang
No.
Siswa
soal 1 soal 2 soal 3 soal 4 soal 5
PS PG S PS PG S PS PG S PS PG S PS PG S
1 17.64 20 2.36 14.34 20 5.66 18.61 20 1.39 14.67 15 0.33 19.22 20 0.78
2 16.99 15 1.99 9.77 10 0.23 17.74 20 2.26 16.23 20 3.77 17.08 20 2.92
3 7.88 5 2.88 6.92 5 1.92 18.52 20 1.48 6.18 5 1.18 19.22 20 0.78
4 16.33 10 6.33 6.92 5 1.92 16.62 3 13.62 13.67 5 8.67 13.81 20 6.19
5 16.33 10 6.33 7.52 3 4.52 16.62 5 11.62 18.19 5 13.19 11.94 15 3.06
6 16.65 15 1.65 13.65 10 3.65 16.26 20 3.74 18.92 10 8.92 16.94 20 3.06
7 10.03 10 0.03 7.45 5 2.45 14.35 13 1.35 3.84 0 3.84 1.59 0 1.59
8 18.95 15 3.95 6.92 5 1.92 17.11 20 2.89 6.21 13 6.79 17.68 20 2.32
9 16.33 15 1.33 12.79 20 7.21 16.46 20 3.54 14.64 10 4.64 18.54 20 1.46
56



Tabel 4.8 Hasil Pengujian Skenario 2 Kelas Sedang (sambungan)
No.
Siswa
soal 1 soal 2 soal 3 soal 4 soal 5
PS PG S PS PG S PS PG S PS PG S PS PG S
10 16.33 10 6.33 11.29 15 3.71 10.91 10 0.91 16 8 8 16.79 20 3.21
11 16.33 15 1.33 10.73 8 2.73 17.21 20 2.79 12.33 10 2.33 19.94 20 0.06
12 16.87 20 3.13 7.45 10 2.55 11.28 10 1.28 3.84 15 11.16 11.6 20 8.4
13 16.33 15 1.33 6.92 8 1.08 16.62 3 13.62 14.25 3 11.25 17.08 20 2.92
14 16.33 15 1.33 12.43 20 7.57 14.57 20 5.43 17.16 20 2.84 13.18 20 6.82
15 16.66 15 1.66 14.14 20 5.86 16.46 20 3.54 15.96 10 5.96 18.08 20 1.92
16 16.33 15 1.33 9.66 20 10.34 14.5 20 5.5 17.17 20 2.83 15.89 20 4.11
17 11.8 10 1.8 7.45 5 2.45 13.22 15 1.78 15.83 3 12.83 5.82 20 14.18
18 16.33 15 1.33 6.92 10 3.08 16.54 8 8.54 10.65 8 2.65 16.52 20 3.48
19 18.43 15 3.43 13.56 20 6.44 16.62 20 3.38 15.79 20 4.21 19.49 20 0.51
20 15.68 15 0.68 7.45 8 0.55 13.22 15 1.78 18.69 5 13.69 9.86 20 10.14
21 11.32 10 1.32 7.99 10 2.01 16.55 20 3.45 16.23 18 1.77 20 20 0
22 18.5 15 3.5 12.26 20 7.74 19.39 20 0.61 9.02 20 10.98 4.92 20 15.08
23 16.66 20 3.34 5.97 5 0.97 15.64 20 4.36 18.63 10 8.63 18.61 20 1.39
24 18.59 20 1.41 14.34 20 5.66 10.56 20 9.44 16.98 20 3.02 20 20 0
25 18.59 20 1.41 7.45 5 2.45 14.5 5 9.5 3.84 5 1.16 19.49 20 0.51
26 5.13 8 2.87 5.97 10 4.03 13.78 15 1.22 18.96 5 13.96 15.27 20 4.73
27 17.42 10 7.42 10.25 10 0.25 10.56 20 9.44 18.82 5 13.82 16.94 20 3.06
28 11.19 10 1.19 7.45 5 2.45 14.5 5 9.5 3.84 5 1.16 19.22 20 0.78
Rata-rata
Selisih
2.61 3.62 4.93 6.56 3.70
Prosentase
Rata-rata
Selisih(%)
13.03% 18.11% 24.64% 32.78% 18.48%

Keterangan:
PS : Penilaian Sistem
PG : Penilaian Guru
Skor : 0-20
S : Selisih antara penilaian guru dan penilaian sistem

57



Dari hasil pengujian pada kelas sedang, prosentase rata-rata selisih antara
hasil penilaian guru dan penilaian sistem untuk soal nomor satu sampai dengan
soal nomor lima secara berurutan adalah 13.03%, 18.11%, 24.64%, 32.78%, dan
18.48%. Hal ini menunjukan akurasi sistem untuk setiap soal secara berurutan
adalah 86.97%, 81.89%, 75.36%, 67.22%, dan 81.53%. Akurasi tertinggi terdapat
pada penilaian soal nomor satu yaitu sebesar 86.97% dan terendah terjadi pada
penilain soal nomor empat yaitu hanya sebesar 67.22%.

c) Kelas Besar
Pengujian terakhir dari skenario 2, dilakukan pada kelas besar. Pengujian
ini dilakukan terhadap 43 jawaban peserta pada masing-masing soal. Kemudian
hasil penilaian sistem dibandingkan dengan hasil penilaian guru. Adapun hasilnya
yaitu sebagai berikut:
Tabel 4. 9 Hasil Pengujian Skenario 2 Kelas Besar
No.
Siswa
soal 1 soal 2 soal 3 soal 4 soal 5
PS PG S PS PG S PS PG S PS PG S PS PG S
1 16.77 20 3.23 16.16 20 3.84 19.24 20 0.76 14.5 15 0.5 17.66 20 2.34
2 13.85 15 1.15 7.07 10 2.93 18.47 20 1.53 16.51 20 3.49 16.4 20 3.6
3 12.56 5 7.56 6.76 5 1.76 16.88 20 3.12 3.49 5 1.51 17.66 20 2.34
4 13.53 10 3.53 6.29 5 1.29 9.63 3 6.63 7.05 5 2.05 12.6 20 7.4
5 14.92 10 4.92 7.12 3 4.12 14.96 5 9.96 17.59 5 12.59 14.05 15 0.95
6 14.69 15 0.31 13.15 10 3.15 16.35 20 3.65 17.45 10 7.45 5.83 20 14.17
7 13.57 10 3.57 7.07 5 2.07 14.96 13 1.96 16.51 0 16.51 5.97 0 5.97
8 18.79 15 3.79 5.82 5 0.82 14.96 20 5.04 5.53 13 7.47 15.36 20 4.64
9 14.62 15 0.38 13.94 20 6.06 18.22 20 1.78 16.77 10 6.77 18.34 20 1.66
10 14.92 10 4.92 12.97 15 2.03 11.78 10 1.78 18.51 8 10.51 15.29 20 4.71
11 12.99 15 2.01 13.66 8 5.66 18.52 20 1.48 15.33 10 5.33 18.77 20 1.23
12 15 20 5 13.38 10 3.38 18.5 10 8.5 3.49 15 11.51 9.61 20 10.39
13 13.53 15 1.47 6.29 8 1.71 9.63 3 6.63 4.5 3 1.5 16.4 20 3.6
58



Tabel 4.9 Hasil Pengujian Skenario 2 Kelas Besar (sambungan)
No.
Siswa
soal 1 soal 2 soal 3 soal 4 soal 5
PS PG S PS PG S PS PG S PS PG S PS PG S
14 14.62 15 0.38 15.57 20 4.43 17.26 20 2.74 17.89 20 2.11 17.06 20 2.94
15 15.61 15 0.61 15.71 20 4.29 17.23 20 2.77 14.15 10 4.15 15.94 20 4.06
16 15.01 15 0.01 10.77 20 9.23 16.52 20 3.48 17.5 20 2.5 16.78 20 3.22
17 14.89 10 4.89 7.07 5 2.07 14.88 15 0.12 16.51 3 13.51 3.49 20 16.51
18 13.93 15 1.07 6.29 10 3.71 16.92 8 8.92 6.64 8 1.36 14.29 20 5.71
19 16.14 15 1.14 14.46 20 5.54 18.29 20 1.71 16.24 20 3.76 18.35 20 1.65
20 15.83 15 0.83 7.07 8 0.93 14.96 15 0.04 19.86 5 14.86 9.87 20 10.13
21 13.32 10 3.32 8.69 10 1.31 17.18 20 2.82 17.45 18 0.55 20 20 0
22 17.92 15 2.92 9.18 20 10.82 17.13 20 2.87 5.84 20 14.16 5.3 20 14.7
23 19.05 20 0.95 5.69 5 0.69 18.81 20 1.19 17.75 10 7.75 17.41 20 2.59
24 17.58 20 2.42 16.16 20 3.84 16.22 20 3.78 19.59 20 0.41 20 20 0
25 19.27 20 0.73 7.07 5 2.07 15.76 5 10.76 3.49 5 1.51 18.35 20 1.65
26 7.51 8 0.49 4.82 10 5.18 15.76 15 0.76 18.28 5 13.28 15.13 20 4.87
27 18.68 10 8.68 13.74 10 3.74 16.34 20 3.66 16.51 5 11.51 14.84 20 5.16
28 9.69 10 0.31 7.07 5 2.07 15.76 5 10.76 3.49 5 1.51 17.66 20 2.34
29 9.07 3 6.07 12.63 8 4.63 19.35 20 0.65 5.43 5 0.43 17.59 20 2.41
30 19.16 20 0.84 7.07 5 2.07 18.37 20 1.63 6.64 3 3.64 2.05 3 0.95
31 16.47 20 3.53 10.58 5 5.58 17.45 5 12.45 16.05 5 11.05 15.86 20 4.14
32 9.01 10 0.99 15.16 20 4.84 17.01 5 12.01 3.49 5 1.51 17.66 20 2.34
33 9.07 3 6.07 16.22 20 3.78 18.73 20 1.27 3.49 5 1.51 17.59 20 2.41
34 13.19 20 6.81 4.82 5 0.18 15.25 20 4.75 17.05 5 12.05 17.41 20 2.59
35 18.6 15 3.6 7.07 5 2.07 18.47 20 1.53 5.85 5 0.85 20 20 0
36 10.88 20 9.12 10.72 20 9.28 14.23 20 5.77 8.02 18 9.98 17.7 20 2.3
37 14.81 15 0.19 4.82 8 3.18 16.62 5 11.62 5.53 5 0.53 0.96 5 4.04
38 17.09 15 2.09 15.42 20 4.58 19.39 20 0.61 3.49 5 1.51 17.66 20 2.34
39 15.96 20 4.04 16.16 20 3.84 18.58 20 1.42 18.63 20 1.37 20 20 0
40 14.92 15 0.08 3.85 8 4.15 14.29 20 5.71 18.28 5 13.28 16.1 20 3.9
41 7.2 10 2.8 16.39 20 3.61 19.25 20 0.75 15.38 20 4.62 6.56 20 13.44
42 17.81 20 2.19 16.16 20 3.84 18.47 20 1.53 12.52 8 4.52 15.95 20 4.05
43 15.34 20 4.66 7.07 5 2.07 15.75 5 10.75 16.05 5 11.05 14.67 20 5.33
Rata-rata
Selisih
2.88 3.64 4.22 6.00 4.39
Prosentase
Rata-rata
Selisih(%)
14.38% 18.19% 21.12% 30.00% 21.95%

59




Keterangan:
PS : Penilaian Sistem
PG : Penilaian Guru
Skor : 0-20
S : Selisih antara penilaian guru dan penilaian sistem

Pada pengujian kelas besar ini, didapati prosentase rata-rata selisih antara
hasil penilaian guru dan penilaian sistem untuk soal nomor satu sampai dengan
soal nomor lima secara berurutan adalah 14.38%, 18.19%, 21.12%, 30.00%, dan
21.95%. Maka akurasi sistem untuk setiap soal secara berurutan adalah 85.62%,
81.81%, 78.88%, 70.00%, 78.05%. Akurasi tertinggi terdapat pada penilaian soal
nomor satu yaitu sebesar 85.62% dan terendah terjadi pada penilain soal nomor
empat yaitu hanya sebesar 70.00%.

d) Hasil Pengujian Skenario 2
Dari keseluruhan pengujian pada setiap kelas untuk pengujian skenario 2,
didapat hasil sebagai berikut:

60



Tabel 4. 10 Hasil Pengujian Skenario 2 Seluruh
No. Soal
Ujicoba Kelas
Kecil Sedang Besar
1 13.21% 13.03% 14.38%
2 19.70% 18.11% 18.19%
3 17.61% 24.64% 21.12%
4 27.74% 32.78% 30.00%
5 27.27% 18.48% 21.95%
Rata-rata Selisih 21.11% 21.41% 21.13%
Rata-rata
Akurasi
78.89% 78.59% 78.87%

Pada pengujian skenario 2, rata-rata selisih antara penilaian guru dan
penilaian sistem untuk kelas kecil, kelas sedang dan kelas besar secara berurutan
adalah 21.11%, 21.41%, dan 21.13%. Adapun rata-rata akurasinya secara
berurutan adalah 78.89%, 78.59%, dan 78.87%. Dari data tersebut tidak dapat
dilihat pengaruh perbedaan jumlah peserta terhadap perubahan akurasi sistem.

4.3 Analisis Hasil Penelitian
Berdasarkan pengujian skenario 1 (dengan stemming) dan skenario 2 (non-
stemming), penggunaan stemming tidak membuat akurasi sistem lebih baik. Hal
ini dapat terlihat dari tabel perbandingan akurasi berikut:

61




Tabel 4. 11 Perbandingan Akurasi Skenario Pengujian
Kelas
Pengujian
Akurasi Skenario Pengujian
Selisih
Skenario 1 Skenario 2
Kecil 78.38% 78.89% 0.51%
Sedang 78.53% 78.59%
0.06%
Besar 78.60% 78.87%
0.27%

Perbedaan akurasi sistem pada Skenario 1 (dengan stemming) dan
Skenario 2 (tanpa stemming) sangatlah kecil, yaitu secara berurutan dari kelas
kecil sampai kelas besar adalah 0.51%, 0.06%, 0.27%. Bahkan pada setiap kelas
pengujian pada Skenario 2 selalu lebih baik, dibanding Skenario 1. Hal ini
disebabkan karena penggunaan Stemmer pada Skenario 1 akan memperkecil ruang
semantik.
Disamping itu, pada setiap skenario pengujian, perbedaan kelas jumlah
peserta tidak berpengaruh terlalu signifikan terhadap perubahan tingkat akurasi
sistem. Sehingga dapat disimpulkan bahwa sistem penilaian berbasis PLSA tidak
dipengaruhi jumlah jawaban peserta yang dinilai.
Sebagai bahan perbandingan, penelitian terhadap penilaian jawaban esai
sebelumnya juga pernah dilakukan oleh Risna Hendayana melalui Sistem
Penilaian Tes Esai Online (SPTEO) dengan menerapkan metode Latent Semantic
Analisys (Hendayana, 2011). Dengan menggunakan data set yang sama, dilakukan
pengujian terhadap sistem SPTEO tanpa melakukan proses stemming, yang
memberikan hasil sebagai berikut:
62



Tabel 4. 12 Hasil Uji Coba Penilaian dengan Menggunakan SPTEO
No Soal
Uji Coba Kelompok
Kecil Sedang Besar
1 34.29% 22.68% 17.67%
2 26.07% 20.54% 19.42%
3 20.36% 29.46% 26.86%
4 43.93% 39.64% 25.35%
5 29.64% 19.46% 14.46%
Rata-rata Selisih 30.86% 26.36% 20.75%
Rata-rata Akurasi 69.14% 73.64% 79.25%


Dari hasil pengujian tersebut, berikut disajikan tabel perbandingan akurasi
antara hasil pengujian sistem yang dibangun penulis (Sipeje) dengan hasil
pengujian terhadap sistem SPTEO.


Tabel 4. 13 Perbandingan Hasil Pengujian Sipeje dan SPTEO
No. Soal
Ujicoba Kelas
Kecil Sedang Besar
Sipeje SPTEO Selisih Sipeje SPTEO Selisih Sipeje SPTEO Selisih
1 13.21% 34.29% 21.08% 13.03% 22.68% 9.65% 14.38% 17.67% 3.29%
2 19.70% 26.07% 6.37% 18.11% 20.54% 2.43% 18.19% 19.42% 1.23%
3 17.61% 20.36% 2.75% 24.64% 29.46% 4.82% 21.12% 26.86% 5.74%
4 27.74% 43.93% 16.19% 32.78% 39.64% 6.86% 30.00% 25.35% -4.65%
5 27.27% 29.64% 2.37% 18.48% 19.46% 0.98% 21.95% 14.46% -7.49%
Rata-rata 21.11% 30.86% 9.75% 21.41% 26.36% 4.95% 21.13% 20.75% -0.38%
Rata-rata
Akurasi
78.89% 69.14% 9.75% 78.59% 73.64% 4.95% 78.87% 79.25% -0.38%

63



Keterangan:
Sipeje : Sistem Penilaian Jawaban Esai yang dikembangkan penulis
SPTEO : Sistem Penilaian Tes Esai Online yang dikembangkan Risna
Hendayana

Dari tabel perbandingan tersebut, diketahui selisih pada setiap kelas
pengujian dari kelas kecil sampai pada kelas besar secara berurutan adalah 9.75%,
4.95%, -0.38%. Sehingga dapat disimpulkan bahwa Sistem penilaian berbasis
PLSA lebih cocok diterapkan pada penilaian kelas sedang dan kelas kecil
dibandingkan dengan sistem penilaian berbasis LSA.