KLASSIFIKASI DOKUMEN TEKS BERBAHASA ARAB MENGGUNAKAN

ALGORITMA NAVE BAYES

1
Abdur Rozaq 2Agus Zainal Arifin 3Diana Purwitasari
Jurusan Teknik Informatika, Fakultas Teknologi Informasi, Institut Teknologi Sepuluh Nopember
Email : 1rozaq_one@cs.its.ac.id, 2agus.za@its-sby.edu, 3diana@its-sby.edu

adalah suatu metode pengelompokan dokumen, dimana kelas atau kategori untuk dokumen-dokumen
tersebut sudah ditentukan terlebih dahulu;
sedangkan unsupervised learning adalah pengelompokan dokumen secara otomatis tanpa
terlebih dahulu mendefinisikan kategori atau kelas
yang ada. Metode pembelajaran statistik untuk
kategorisasi teks seperti ini sudah banyak
diimplementasikan seperti Regressions Models,
Nearest Neighbor Classifiers, Bayes Belief
Networks, Decision Trees, Rule Learning
Algorithms, Neural Networks, dan Inductive
Learning Techniques. Penelitian tentang kategorisasi teks secara otomatis sering dilakukan pada
beberapa bahasa diantaranya pada bahasa Inggris,
bahasa Cina, dan bahasa Indonesia. Namun dalam
kurun waktu dua tahun belakangan ini penelitian
tentang teks bahasa Arab yang ter-publish di media
online hanya sekitar 260 penelitian, 30 diantaranya
adalah penelitian tentang temu kembali informasi
dokumen teks berbahasa Arab sedangkan sisanya
adalah tentang Arabic text recognition, dll.
Bahasa Arab memiliki morfologi yang lebih
kaya dan kompleks daripada bahasa Inggris
ataupun bahasa Indonesia2. Dimana dalam teks
bahasa Arab dapat dicari bentuk morfologi sebuah
kata dari stem atau kata dasarnya. Stemming
merupakan suatu proses menemukan kata dasar
dari sebuah kata dengan menghilangkan semua
imbuhan (affixes) baik yang terdiri dari awalan
(prefixes), sisipan (infixes), akhiran (suffixes) dan
kombinasi dari awalan dan akhiran (confixes) pada
kata turunan.
Hadi Wael Musa dkk pernah melakukan
penelitian tentang kategorisasi dokumen teks
berbahasa Arab menggunakan algoritma Nave
Bayes 3. Implementasi metode Nave Bayes ini
dengan perhitungan probabilitas tiap dokumen
dalam ketegori, dimana dalam perhitungannya
dilakukan pada sistem pembelajaran bagaimana
mengklasifikasi dokumen melalui dokumen
sampel. Dalam beberapa penelitian yang pernah
dilakukan sebelumnya, penggunaan metode Nave
Bayes untuk proses klasifikasi dokumen memiliki
beberapa keunggulan dibandingkan dengan penggunaan metode yang lain. Seperti penelitian yang
pernah dilakukan oleh Al Hawari S. dkk tentang
perbandingan hasil klasifikasi dokumen teks
berbahasa arab dengan menggunakan algoritma
Nave bayes dan K-Nearest Neighbor 4 yang
menunjukkan bahwa algoritma Naive Bayes
menghasilkan nilai evaluasi (precision, recall dan

Perkembangan teknologi informasi mempengaruhi ketersediaan penyimpanan dan

penyampaian informasi di media online.
Banyaknya informasi digital yang tidak terstruktur
sebagai salah satu dampak dari perkembangan
teknologi informasi yang membutuhkan cara
pengorganisasian untuk kemudahan pengolahannya.Tugas
Akhir
ini
bertujuan
untuk
mengelompokkan informasi yang terkandung
dalam dokumen bahasa Arab menggunakan
metode Nave Bayes. Metode ini mengkategorikan
objek baru berdasarkan pada atribut dan sampel
data training. Pada tahap preprocessing setiap
kata dalam dokumen dicari bentuk dasarnya dan
dilakukan penghapusan daftar kata yang tidak
memiliki peran penting dalam membangun sebuah
dokumen. Selanjutnya dilakukan klasifikasi
dokumen menggunakan metode Nave Bayes yang
memanfaatkan nilai probabilitas semua dokumen
dan tiap-tiap kategori. Berdasarkan uji coba
yang dilakukan dengan menggunakan 155
dokumen teks bahasa Arab yang diambil dari
kitab dalam software Maktabah
Syamilah,
menunjukkan bahwa metode Nave Bayes mampu
melakukan klasifikasi dokumen teks bahasa Arab
dengan nilai lokal optimal F-measure terbaik
sebesar 0.88 dengan tingkat akurasi mencapai
97%.
1. PENDAHULUAN
Berkembangnya teknologi informasi meningkatkan ketersediaan penyampaian dan
penyimpanan informasi melalui internet, dimana
internet menjadi media publikasi yang sangat
populer. Banyaknya informasi digital yang tidak
terstruktur sebagai dampak dari perkembangan
teknologi informasi yang membutuhkan suatu cara
pengorganisasian atau pengelompokan informasi
untuk kemudahan pengolahannya 1. Oleh sebab itu
kategorisasi teks secara otomatis merupakan salah
satu solusi untuk masalah tersebut karena dengan
signifikan dapat mereduksi biaya dan waktu
kategorisasi manual.
Pengklasifikasian dokumen didasarkan atas
kesamaan fitur atau kesamaan isi dokumen.
Klasifikasi dilakukan dengan cara memasukkan
dokumen-dokumen ke dalam beberapa kategori
yang sudah ditentukan sebelumnya. Metode
klasifikasi seperti ini disebut dengan supervised
learning. Secara garis besar metode klasifikasi
dibagi menjadi dua, yaitu supervised learning dan
unsupervised learning 1. Supervised learning

F-measure) yang lebih tinggi daripada penggunaan

algoritma K-Nearest Neighbor yang berbasis pada
koefisien Cosine. Oleh karene itu Tugas Akhir ini
dibuat untuk mengatasi masalah pengorganisasian
atau klasifikasi informasi menggunakan algoritma
Nave Bayes. Metode Nave Bayes dipilih karena
lebih sederhana, efektif, dan juga dapat
diaplikasikan pada jumlah data yang sedikit.

Teknik hierarchical menghasilkan urutan partisi

yang bersarang (nested) dengan satu cluster utama
pada level atas, dan cluster-cluster kecil di bawah.
Sebaliknya, teknik nonhierarchical menghasilkan
partisi yang tidak bersarang (unnested) dengan
membagi dokumen-dokumen dalam beberapa
cluster awal yang ditentukan, kemudian mengubah
posisi dokumen dalam cluster yang telah ada
hingga solusi terakhir dicapai.

2. KLASIFIKASI DOKUMEN
Klasifikasi dokumen adalah suatu proses
pengelompokan
dokumen
sesuai
dengan
pembahasan di dalamnya. Klasifikasi dokumen
merupakan masalah yang mendasar namun sangat
penting karena manfaatnya cukup besar mengingat
jumlah dokumen yang ada setiap waktu semakin
bertambah. Sebuah dokumen dapat dikelompokan
ke dalam kategori tertentu berdasarkan kata-kata
dan kalimat-kalimat yang ada di dalam dokumen
tersebut. Kata atau kalimat yang terdapat di dalam
sebuah dokumen memiliki makna tertentu dan
dapat digunakan sebagai dasar untuk menentukan
kategori dari suatu dokumen.
Dalam text mining, klasifikasi mengacu pada
aktifitas menganalisis atau mempelajari himpunan
dokumen teks pre-classified untuk memperoleh
suatu model atau fungsi yang dapat digunakan
untuk mengelompokkan dokumen teks lain yang
belum diketahui kelasnya ke dalam satu atau lebih
kelas-kelas predefined tersebut 6.
Klasifikasi termasuk pembelajaran supervised
learning. Jenis lain adalah unsupervised learning
atau dikenal sebagai clustering. Pada supervised
learning, setiap data training mengandung
pasangan data input dan output yang diharapkan,
sedangkan pada unsupervised learning belum
ditentukan target output yang harus diperoleh.
Text document clustering adalah proses clustering
dengan spesialisasi pada dokumen berbasis teks.
Indexing atau preprocessing juga berlaku dalam
text document clustering. Teknik yang paling
banyak dipakai adalah dengan merepresentasikan
tiap dokumen teks dalam vector space model.
Dalam model ini, setiap dokumen D, direpresentasikan sebagai suatu vektor c = {t1,t2,...,tn},
dimana tn adalah frekuensi term ke-n pada
dokumen bersangkutan Error! Reference source
not found.. Terkadang representasi frekuensi ini
diganti menjadi format biner atau boolean (0 atau
1) yang menandakan ada-tidaknya term tersebut
pada dokumen bersangkutan. Salton menyarankan
untuk merepresentasikannya dalam bentuk yang
sudah mengalami pembobotan, seperti TF-IDF.
Berdasarkan struktur hasil clustering-nya, maka
teknik clustering dapat dibedakan menjadi dua tipe
yakni Error! Reference source not found. :

Proses klasifikasi teks dapat dibagi ke dalam dua

fase, yaitu :
1. Fase information retrieval (IR) untuk
mendapatkan data numerik dari dokumen teks.
Langkah pertama yang dilakukan pada fase ini
adalah feature extraction. Pendekatan yang
umum digunakan adalah distribusi frekuensi
kata. Nilai numerik yang diperoleh dapat
berupa berapa kali suatu kata muncul di dalam
dokumen, 1 jika kata ada di dalam dokumen
atau 0 jika tidak ada (biner), atau jumlah
kemunculan kata pada awal dokumen. Fitur
yang diperoleh dapat direduksi agar dimensi
vektor menjadi lebih kecil. Beberapa
pendakatan feature reduction dapat diterapkan
seperti menghapus stopword dan stemming.
2. Fase klasifikasi utama. Data numerik hasil dari
proses pada fase pertama di atas akan diproses
lagi untuk memutuskan ke kategori mana teks
baru (bukan contoh) ditempatkan. Terdapat
beberapa algoritma klasifikasi yang merupakan
kajian di bidang statistika dan machine
learning yang dapat diterapkan pada fase ini, di
antaranya adalah Nave Bayesian, Rocchio,
Decision Tree, k-Nearest Neighbor (k-NN),
Neural Network (NN), dan Support Vector
Machines (SVM). Teknik-teknik tersebut
berbeda dalam mekanisme pembelajaran dan
representasi model yang dipelajari 6.
Manfaat dari klasifikasi dokumen adalah untuk
pengorganisasian dokumen. Dengan jumlah
dokumen yang sangat besar, untuk mencari sebuah
dokumen akan lebih mudah apabila kumpulan
dokumen yang dimiliki terorganisir dan telah
dikelompokan sesuai kategorinya masing-masing.
Contoh aplikasi penggunaan klasifikasi dokumen
teks yang banyak digunakan adalah email spam
filtering. Pada aplikasi spam filtering sebuah email
diklasifikasikan apakah email tersebut termasuk
spam atau tidak dengan memperhatikan kata-kata
yang yang terdapat dalam email tersebut. Aplikasi
ini telah digunakan oleh banyak provider jasa
layanan email.
3. ALGORITMA NAVE BAYES
Nave Bayes merupakan salah satu metode
machine learning yang menggunakan perhitungan
probabilitas. Metode ini memanfaatkan teori
probabilitas yang dikemukakan oleh ilmuwan
Inggris Thomas Bayes 8, yaitu memprediksi

1. Hierarchical
2. Non-hierarchical (partitional).

tertinggi dan ambil sejumlah N-n kata/term

lain yang juga memiliki nilai frekuensi terbesar.

probabilitas di masa depan berdasarkan pengalaman di masa sebelumnya. Atau dalam konsep
IR metode seperti ini biasa ditandai dengan adanya
satu set data yang dibagi dalam dua kelompok,
data training dan data testing. Data testing adalah
sekumpulan data yang akan diproses dan dicari
kelasnya, sedangkan data training adalah data
yang telah dihitung sebelumnya yang kemudian
dibandingkan nilainya dengan sejumlah fitur yang
ada dalam data testing.
Nave Bayes merupakan turunan dari konsep
teorema Bayes, yaitu melakukan klasifikasi
dengan menghitung nilai probabilitas kategori dan
semua data yang ada. Perhitungan nilai probabilitas tersebut menggunakan persamaan :
p(ci) = fd (ci),

Rangkaian tahapan ini dilakukan pada semua

dokumen hingga didapat sejumlah N fitur/term
dari semua dokumen. Dan nilai frekuensi dari N
term inilah yang nanti akan digunakan dalam
perhitungan Nave Bayes untuk menentukan
kategori suatu dokumen.
3.1 CONTOH PERHITUNGAN NAVE BAYES

Dari persamaan 3.1 dan persamaan 3.2 di

atas, misalkan dari 9 dokumen bahasa Arab akan
didapat model probabilistik dan selanjutnya dicari
nilai terbesar dari hasil perkalian masing-masing
data probabilistik yang telah diperoleh. Sebelumnya tentu terlebih dahulu semua dokumen training
mengalami preprocessing dan ekstraksi fitur,
hingga didapat data hasil prepocessing seperti
pada Tabel 3.1.

(3.1)

|D|
dimana
fd (ci) adalah jumlah dokumen yang dimiliki
kategori ci.
|D| adalah jumlah keseluruhan training document.

Tabel 3.1 Dokumen setelah preprocessing

Dokumen

dan
p(tj | ci) = f (tj.ci)+1,

Kategori Kata/Term Hasil Ekstraksi

(Kemunculan)

D1

Sholat

(sholla)( 3), (khomsa)

( 2), (asyaro)( 1)

D2

Sholat

(sholla) ( 3), (asyaro)

( 2), (khoroja) ( 1)

D3

Zakat

(khasaba) ( 2), (nafsa)

( 2), (nadhoro) ( 1)

D4

Zakat

(faroa) ( 2), (showama)

( 2), (nadhoro) ( 1)

D5

Puasa

D6

Puasa

D7

Haji

(sholla)( 1), (showama)

( 2), (khomsa) ( 2)

D8

Haji

(khoroja) ( 2),
(showama) ( 2),
(khomsa) ( 1)

D9

(sholla)( 1), (asyaro)

( 1), (khomsa) ( 2)

(2.4)

f(ci)+|T|
dimana
f (tj.ci) adalah nilai kemunculan kata tj pada
kategori ci.
f(ci) adalah jumlah seluruh kata pada kategori ci.
|T| adalah jumlah keseluruhan kata/fitur yang
digunakan.
Dengan dua persamaan di atas didapat nilai
probabilitas masing-masing kategori ci dan nilai
probabilitas term yang telah diekstrak dari
dokumen training di. Pengekstrakan fitur/term ini
dilakukan untuk mempercepat proses perhitungan
Nave bayes itu sendiri. Tahapan ekstraksi
fitur/term ini adalah sebagai berikut :
1.

2.

3.
4.

5.

Ambil sejulah N kata/term dari semua

dokumen training dalam masing-masing
kategori ci yang memiliki nilai frekuensi
terbesar.
Hasil pengambilan term pada proses 1 di atas,
di-select distinct untuk mendapatkan term
yang berbeda.
Mengecek keberadaan term yang dihasilkan
dari proses 2 pada dokumen testing.
Apabila ada, maka ambil sejumlah N
kata/term yang sama, yang memiliki nilai
frekuensi terbesar.
Apabila tidak ada, maka ambil sejumlah n
kata/term yang sama yang memiliki frekuensi

(sholla)( 3), (khomsa)

( 1), (showama)
(2)
(nadhoro) ( 3), (khomsa)
( 1), (showama)
(2)

Dari data dokumen training setelah tahap

preprocessing dan ekstraksi fitur seperti pada
Tabel 3.1 di atas. Dengan menggunakan persamaan 3.1 dan persamaan 3.2, didapat sebuah model
probabilistik seperti pada Tabel 3.2. Setelah
didapat model probabilistik term hasil ekstraksi
dari masing-masing kategori,

kategori Sholat. Maka dari itu dapat disimpulkan

bahwa D9 masuk ke dalam kategori Sholat.
Perhitungan seperti ini dilakukan pada semua
dokumen testing sehingga semua dokumen
terklasifikasi.
.

Tabel 3.2 Probabilistik term dalam dokumen

/20

/20

/20

/20

/20

/20

/20

Zakat

/18

/18

/18

/18

/18

/18

/18

/18

Puasa

/20

/20

/20

/20

/20

/20

/20

/20

/18

/18

/18

/18

/18

/18

/18

/18

/20

p(ci)

Kategori
Sholat

Haji

p(wkj|ci)

4. METODE KLASIFIKASI

Terdapat dua metode umum untuk mengukur

tingkat keberhasilan hasil klasifikasi yaitu internal
dan external measure Error! Reference source
not found.. Internal measure membandingkan
cluster-cluster yang dihasilkan tanpa adanya
informasi atau knowledge atas kelas-kelas awal
sebelumnya. Sedangkan external measure mengevaluasi cluster-cluster yang dihasilkan dengan
kelas-kelas yang sudah ditentukan sebelumnya.
Pada unsupervised classification, terdapat dua tipe
metode evaluasi klasifikasi yang terkenal, yakni Fmeasure dan entropy. Dalam Tugas Akhir ini,
metode evaluasi klasifikasi yang digunakan adalah
F-measure dan accuration.
Sebagai salah satu metode external measure,
metode F-measure menggunakan informasi kelas
awal dari data uji yang digunakan dalam
klasifikasi. F-measure pada awalnya digunakan
pada bidang IR dengan mengkombinasikan konsep
recall dan precision Error! Reference source not
found..
Jika kita mengasumsikan A sebagai himpunan
dokumen yang seharusnya diberikan oleh sistem
IR (retrieved document), B adalah himpunan
dokumen yang ternyata diberikan sebagai hasil
retrieval sistem IR, dan AB adalah himpunan
dokumen benar yang diberikan sistem IR, maka
nilai recall dan precision sistem IR tersebut dapat
dinyatakan sebagai berikut Error! Reference
source not found. :
Recall = A I B
(4.1)
,

berikutnya dilakukan perhitungan dengan metode

Naive Bayes pada dokumen testing dengan
mengalikan nilai probabilitas semua kategori
dengan probabilitas tiap term yang diambil dari
masing-masing dokumen.
p(Sholat|D9)

= p(Sholat) x
p(|Sholat) x
p(|Sholat) x
p(| Sholat)
= 1/4 x 7/20 x 3/20 x 4/20
=

p(Zakat|D9)

84

/640000 13.125 x 10-5

= p(Zakat) x
p( |Zakat) x
p( |Zakat) x
p(| Zakat)
= 1/4 x 1/18 x 1/18 x 1/18
1

= /23328 4.287 x 10
p(Puasa|D9)

Precision = A I B

= p(Puasa) x
p(|Puasa) x
p( |Puasa) x
p( | Puasa)
= 1/4 x 4/20 x 4/20 x 1/20
=

p(Haji|D9)

-5

16

/640000 2.5 x 10-5

= /23328 3.249 x 10

(4.2)

Pada dasarnya, nilai recall dan precision

berada pada rentang antara 0 s/d 1. Oleh karena
itu, suatu sistem IR yang baik adalah yang dapat
memberikan nilai recall dan precision mendekati
1. Akan tetapi, nilai recall dan precision saja dianggap belum cukup mewakili kinerja sistem.
Oleh karena itu, dibuat metode evaluasi F-measure
yang mengkombinasikan metode evaluasi recall
dan precision. Formulasi F-measure dinyatakan
seperti rumus berikut :

= p(Haji) x
p( |Haji) x
p( |Haji) x
p( | Haji)
= 1/4 x 2/18 x 4/18 x 1/18
8

F=

-5

Berdasarkan hasil perhitungan Naive Bayes

di atas, diketahui bahwa D9 menghasilkan nilai
terbesar pada perhitungan dengan kategori 1, yaitu

dimana

( 2 + 1)rp
,
2r + p

(4.3)

r adalah recall, p adalah precission, dan konstanta

yang digunakan biasanya bernilai 1.

pada perhitugan evaluasi lain precission, Fmeasure, dan accuration.

Evaluasi menggunakan perhitungan recall dan

precission belum cukup untuk menilai kinerja
suatu sistem, sehingga diperlukan perhitungan
evaluasi F-measure sebagai kombinasi antara
perhitungan recall dan precission. Sedangkan
perhitungan evaluasi accuration adalah untuk
mengetahui keberhasilan proses klasifikasi secara
umum.

Tabel 5.1 Nilai recall pada klasifikasi dokumen

bahasa Arab

0.41
0.35
0.23
0.29
0.35
0.41
0.30
0.30
0.30
0.30
0.24

0.84
0.77
0.76
0.85
0.85
0.77
0.85
0.85
0.85
0.77
0.85

0.60
0.70
0.90
0.85
0.90
0.75
0.85
0.90
0.90
0.90
0.90

0.70
0.50
0.60
0.60
0.60
0.60
0.60
0.60
0.60
0.60
0.60

Wakaf

Nikah

0.84
0.82
0.76
0.79
0.84
0.84
0.79
0.76
0.74
0.79
0.82

Jual
Beli

Haji

Uji coba pertama dilakukan untuk mengetahui

keberhasilan proses klasifikasi dokumen bahasa
Arab dengan menggunakan algoritma Nave Bayes
dan untuk mengetahui jumlah pengambilan fitur/
kata yang mampu menghasilkan klasifikasi paling
optimal. Keberhasilan proses klasifikasi ini bisa
dilihat pada hasil evaluasi dengan perhitungan
recall, precission, F-measure dan perhitungan
accruration.
Error! Reference source not found.
merupakan hasil proses klasifikasi 155 dokumen
bahasa Arab dengan menggunakan algoritma
Naive Bayes. Dari 155 dokumen testing yang
dipakai pada aplikasi dalam Tugas Akhir ini, ada
sebanyak 56 dokumen yang terklasifikasi salah,
artinya tidak sesuai dengan kategori sebelumnya.
Dari 155 data uji dokumen testing yang digunakan pada aplikasi dalam Tugas Akhir dengan
menggunakan perhitungan evaluasi recall, precission, F-measure, dan accuration akan didapat
pada jumlah pengambilan beberapa fitul/kata yang
bisa menghasilkan klasifikasi terbaik. Hal ini bisa
dilihat dari 4 metode perhitungan evaluasi di atas.
Pelaksanaan uji coba ini dilakukan dengan
memasukkan jumlah fitur/kata antara 5 s/d 15
fitur. Hal ini dimaksudkan untuk mencari jumlah
fitur/kata yang mampu menghasilkan klasifikasi
paling optimal. Penilaian ini dilihat berdasarkan
perhitungan evaluasi recall, precission, Fmeasure, dan accuration yang masing-masing
menghasilkan nilai tertinggi.
Tabel 5.1 adalah hasil perhitungan recall setiap
kategori pada aplikasi dengan menggunakan 155
data uji yang ada dalam database. Kategori Haji
selalu memiliki nilai recall terbesar pada 6 kali
percobaan dengan memasukkan jumlah pengambilan berbeda pada fitur/kata, yaitu pada
pengambilan 7 fitur/kata, 9 fitur/kata, 12, 13, 14,
dan 15 fitur/kata. Hal ini menunjukkan bahwa nilai
recall maksimal sebesar 0.9 dan nilai tersebut
dimiliki oleh kategori Haji.
Evaluasi recall ini dihitung pada semua
kategori yang ada dalam aplikasi. Sehingga nilai
yang didapat adalah nilai recall pada setiap
kategori dengan percobaan pengambilan jumlah
fitur/kata yang berbeda. Hal ini juga dilakukan

Puasa

5. UJI COBA

Zakat

5
6
7
8
9
10
11
12
13
14
15

Sholat

Jumlah
Fitur

Kategori

0.55
0.55
0.57
0.45
0.45
0.55
0.65
0.56
0.68
0.62
0.60

0.29
0.11
0.12
0.12
0.18
0.12
0.24
0.18
0.24
0.24
0.30

Tabel 5.2 Nilai precission pada klasifikasi

dokumen bahasa Arab

0.40
0.37
0.43
0.38
0.43
0.38
0.40
0.40
0.42
0.45
0.49

0.41
0.30
0.33
0.36
0.35
0.38
0.43
0.40
0.38
0.35
0.35

0.73
0.67
0.66
0.60
0.64
0.73
0.76
0.72
0.87
0.78
0.77

Tabel 5.2 adalah hasil perhitungan precission

setiap kategori pada aplikasi dengan menggunakan
155 data uji yang ada dalam database. Kategori
Sholat selalu memiliki nilai preccision terbesar
pada 6 kali percobaan dengan memasukkan jumlah
pengambilan berbeda pada fitur/kata, yaitu pada
pengambilan 7 fitur/kata, 11, 12, 13, 14, dan 15
fitur/kata. Hal ini menunjukkan bahwa nilai
preccision maksimal sebesar 0.97 dan nilai
tersebut dimiliki oleh kategori Sholat.
Dengan menggunakan jumlah dokumen testing
yang sama pada aplikasi, didapat hasil perhitungan
F-measure masksimal sebesar 0.88. Nilai tersebut
dimiliki oleh kategori Sholat pada pengambilan 9
fitur/kata. Ini menunjukkan bahwa kategori Sholat
memiliki nilai preccision dan recall yang cukup
tinggi, meskipun pada beberapa kali percobaan,

Wakaf

0.55
0.67
0.71
0.85
0.69
0.71
0.65
0.58
0.61
0.59
0.58

Jual
Beli

Nikah

Zakat
0.
58
0.
55
0.
50
0.
45
0.
55
0.
53
0.
56
0.
63
0.
45
0.
42
0.
40

Haji

0.8
4
0.8
6
0.9
7
0.9
4
0.9
1
0.8
9
0.9
7
0.9
7
0.9
7
0.9
7
0.9
4

Puasa

5
6
7
8
9
10
11
12
13
14
15

Sholat

Jumlah
Fitur

Kategori

0.63
0.40
0.33
0.40
0.50
0.33
0.58
0.50
0.57
0.67
0.72

nilai recall pada kategori Sholat lebih kecil

daripada nilai recall pada kategori Haji.

dokumen memiliki peran yang tidak kalah penting

dalam keberhasilan suatu proses klasifikasi.
Tabel 5.5 Perbandingan nilai recall proses
ekstraksi fitur
tanpa pencocokkan

Tabel 5.3 Nilai F-measure pada klasifikasi

dokumen bahasa Arab

0.63
0.60
0.61
0.51
0.53
0.63
0.70
0.64
0.76
0.69
0.68

5
6
7
8
9
10
11
12
13
14
15

0.40
0.18
0.17
0.18
0.26
0.17
0.33
0.26
0.33
0.35
0.42

Puasa

Haji

Nikah

92.9
94.8
95.4
97.4
95.4
95.4
94.8
93.5
94.2
93.5
93.5

83.2
80.6
83.2
80.0
83.2
80.6
81.3
81.3
82.5
84.5
86.4

91.6
89.0
89.6
89.0
90.3
90.9
92.2
91.6
90.9
90.3
90.3

83.2
81.2
81.2
78.0
79.3
83.2
85.8
83.2
89.0
85.8
85.1

Wakaf

Zakat
90.3
89.6
89.0
88.3
89.6
89.6
89.6
90.3
88.3
87.7
87.7

Jual
Beli

Sholat

Jumlah
Fitur

Kategori

92.2
92.2
93.5
93.5
94.1
93.5
94.2
93.5
92.9
94.2
94.2

0.
62
0.
72
0.
69
0.
63
0.
73
0.
74
0.
75
0.
74
0.
71
0.
65
0.
71

0.42
0.39
0.34
0.30
0.33
0.33
0.33
0.32
0.33
0.33
0.37

0.
96
0
0
0
0
0
0
0
0
0
0

Wakaf

0.73
0.89
0.67
0.80
0.80
0.80
0.75
0.75
0.77
0.67
0.73

Jual
Beli

0
0
0
0
0
0
0
0
0
0
0.7
5

0.65
0.61
0.67
0.68
0.70
0.67
0.62
0.68
0.63
0.65
0.67

Uji coba kedua dilakukan untuk mengetahui

perbandingan hasil klasifikasi dokumen teks
berbahasa Arab dengan implementasi ekstraksi
fitur yang berbeda. Pada Tugas Akhir ini ekstraksi
fitur yang digunakan adalah dengan mengambil
sejumlah fitur/kata yang memiliki frekuensi
tertinggi dari semua dokumen training, kemudian
mencari/mencocokkan
fitur
tersebut
pada
dokumen testing. Apabila didapat, maka fitur
tersebut diambil sejumlah pengambilan pada
dokumen training. Namun apabila tidak ditemukan, maka dicari fitur lain yang memiliki frekuensi
tertinggi dari dokumen testing. Proses esktraksi
fitur ini berbeda dengan proses ekstraksi fitur yang
diimplementasikan pada penelitian sebelumnya,
yang mengambil sejumlah fitur dengan frekuensi
tertinggi dari semua dokumen training, kemudian
juga mengambil sejumlah fitur dengan frekuensi
tertinggi pada dokumen testing tanpa proses
pencocokkan terlebih dahulu.
Perbandingan kinerja dua proses ekstraksi fitur
yang berbeda ini dihitung berdasarkan nilai
evaluasi recall, precission, F-measure, dan
accuration hasil proses klaisifiasi dokumen bahasa
Arab. Dari perhitungan evaluasi tersebut dapat
diketahui keberhasilan masing-masing proses
ekstraksfi fitur yang ada.
Tabel 5.4 adalah hasil perhitungan
accuration masing-masing kategori pada
aplikasi. Berdasarkan hasil perhitungan
tersebut diketahui nilai accuration
terbesar dimiliki oleh kategori Puasa pada
pengambilan 8 fitur/kata. Hal ini
menunjukkan bahwa pada kategori Puasa
lah proses klasifikasi dokumen
menghasilkan output paling optimal.

Tabel 5.4 Nilai accuration pada klasifikasi

dokumen bahasa Arab

5
6
7
8
9
10
11
12
13
14
15

0.57
0.59
0.60
0.64
0.67
0.68
0.71
0.67
0.70
0.66
0.67

Nikah

0.52
0.37
0.43
0.41
0.44
0.46
0.50
0.48
0.46
0.44
0.44

Haji

0.48
0.48
0.58
0.52
0.58
0.50
0.54
0.55
0.57
0.60
0.63

Puasa

Nikah

0.67
0.72
0.74
0.85
0.76
0.74
0.73
0.67
0.71
0.67
0.69

Zakat

Haji

0.48
0.43
0.37
0.36
0.43
0.47
0.38
0.40
0.36
0.34
0.30

Wakaf

Puasa

0.84
0.84
0.85
0.86
0.88
0.86
0.87
0.85
0.84
0.87
0.87

Jual
Beli

Zakat

5
6
7
8
9
10
11
12
13
14
15

Sholat

Jumlah
Fitur

Kategori

Sholat

Jumlah
Fitur

Kategori

90.3
88.3
87.7
88.3
89.0
87.7
89.6
89.0
89.6
90.3
90.9

Tabel 5.4 adalah hasil perhitungan accuration

masing-masing kategori pada aplikasi. Berdasarkan hasil perhitungan tersebut diketahui nilai
accuration terbesar dimiliki oleh kategori Puasa
pada pengambilan 8 fitur/kata. Hal ini menunjukkan bahwa pada kategori Puasa lah proses klasifikasi dokumen menghasilkan output paling optimal.
Dari 4 perhitungan evaluasi recall, precission, Fmeasure, dan accuration nilai terbesar tidak
dimiliki oleh satu kategori, namun nilai tersebut
dimiliki oleh beberapa kategori sesuai dengan
perhitungannya. Hal ini menunjukkan bahwa
variabel yang menentukan keberhasilan suatu
klasifiksai bukan hanya jumlah pengambilan fitur
saja, namun banyaknya dokumen training pada
masing-masing kategori, dan juga ketepatan
pengambilan fitur/kata dalam masing-masing

Tabel 5.6 Perbandingan nilai precission proses

ekstraksi fitur tanpa pencocokkan

Haji

Nikah

0.12
0.12
0.12
0.12
0.18
0.18
0.12
0.12
0.12
0.12
0.18

0.62
0.62
0.62
0.62
0.62
0.62
0.69
0.69
0.77
0.62
0.62

0.50
0.65
0.55
0.60
0.70
0.70
0.75
0.70
0.75
0.65
0.75

0.80
0.70
0.70
0.70
0.80
0.80
0.70
0.70
0.70
0.70
0.70

0.65
0.70
0.62
0.60
0.60
0.60
0.60
0.56
0.58
0.58
0.60

Wakaf

Puasa

0.95
0.97
0.95
0.97
0.97
0.97
0.97
0.97
0.97
0.97
0.95

Jual
Beli

Zakat

5
6
7
8
9
10
11
12
13
14
15

Sholat

Kategori
Jumlah
Fitur

0.65
0.65
0.70
s
0.76
0.82
0.82
0.88
0.88
0.82
0.76
0.70

Nilai ini lebih kecil daripada nilai F-measure

terbesar menggunakan ekstraksi fitur dengan
melakukan pencocokan seperti pada Tabel 5.3
yang mencapai 0.88.
Pada kategori Zakat dan Jual Beli, 10 kali
percobaan menghasilkan nilai F-measure nol. Hal
ini dikarenakan pada kategori Zakat dan Jual Beli
memiliki hasil recall yang juga bernilai nol.
Sehinggal menyebabkan nilai F-measeure pada
kedua kategori tersebut bernilai nol, karena recall
menjadi salah satu penyebut dalam rumus
perhitungan F-measure.
Tabel 5.7 Perbandingan nilai F-measure proses
ekstraksi fitur tanpa pencocokkan

Nikah

0
0
0
0
0
0
0
0
0
0
0.29

0.67
0.73
0.67
0.69
0.69
0.69
0.72
0.72
0.77
0.64
0.67

0.56
0.70
0.61
0.62
0.72
0.72
0.75
0.72
0.73
0.65
0.73

0.55
0.50
0.42
0.42
0.47
0.47
0.45
0.44
0.45
0.45
0.48

0.78
0
0
0
0
0
0
0
0
0
0

Wakaf

Haji

0.71
0.73
0.73
0.77
0.79
0.80
0.82
0.79
0.81
0.79
0.78

Jual
Beli

Puasa

5
6
7
8
9
10
11
12
13
14
15

Zakat

Kategori
Sholat

Tabel 5.55 merupakan nilai perhitungan

evaluasi recall dari proses klasifikasi dokumen
bahasa Arab dengan menggunakan ekstraksi fitur
tanpa pencocokkan. Pada Tabel 5.4 terlihat nilai
recall terbesar mencapai 0.96 dimiliki oleh
kategori Jual Beli pada pengambilan 5 fitur/kata.
Namun pada percobaan pengambilan fitur dengan
jumlah lain, nilai recall pada kategori Puasa
bernilai nol. Begitu juga pada kategori Zakat. Hal
ini menunjukkan bahwa pada kategori tersebut,
semua dokumen salah masuk kelas.
Pada kategori-kategori yang lain, nilai recall
yang didapat juga cukup rendah. Nilai ini juga
menunjukkan bahwa semua dokumen yang ada
pada masing-masing kategori banyak yang salah
masuk kelas. Nilai recall terbesar 0.96 pada Tabel
5.5 memang lebih tinggi daripada nilai recall
terbesar 0.90 pada Tabel 5.1 yang mengimplementasikan proses ekstraksi fitur dengan
melakukan pencocokan kata yang diambil dari
dokumen training dan dokumen testing. Namun
dari perbandingan nilai recall pada dua tabel ini
terlihat pada Tabel 5.1 semua kategori menghasilkan nilai recall lebih dari nol. Artinya tidak ada
kategori yang sama sekali salah mengklasifikasi
dokumen. Sedangkan pada Tabel 5.5 nilai recall
kategori Zakat dan kategori Jual Beli bernilai nol
pada 10 kali uji coba. Ini menunjukkan bahwa
pada percobaan tersebut, kategori Zakat dan
kategori Jual Beli banyak me-retrieve dokumen
yang tidak relevan.
Tabel 5.6 adalah nilai perhitungan evaluasi
precission dari proses klasifikasi dokumen bahasa
Arab dengan menggunakan ekstraksi fitur tanpa
pencocokkan. Pada Tabel 5.6 terlihat nilai
precission terbesar mencapai 0.97 dimiliki oleh
kategori Sholat pada pengambilan 6, 9, 10, 11, 12,
13, dan 14 fitur/kata. Nilai ini sama dengan nilai
perhitungan precission yang menggunakan
ekstraksi fitur dengan melakukan pencocokan kata
yang terdapat pada Tabel 5.2.
Dari hasil perhitungan evaluasi recall dan
precission belum cukup untuk menilai bahwa
aplikasi pada Tugas Akhir ini efektif atau tidak.
Sehingga masih harus dilakukan perhitungan
evaluasi F-measure yang merupakan kombinasi

antara hasil perhitungan recall dan precission pada

proses klasifikasi dokumen bahasa Arab.
Tabel 5.7 adalah nilai perhitungan evaluasi Fmeasure dari proses klasifikasi dokumen bahasa
Arab dengan menggunakan ekstraksi fitur tanpa
pencocokkan. Pada Tabel 5.7 terlihat nilai Fmeasure terbesar mencapai 0.82 dimiliki oleh
kategori Sholat pada pengambilan 11 fitur/kata.

Jumlah
Fitur

Dari 4 perhitungan evaluasi recall, precission, Fmeasure, dan accuration nilai terbesar tidak
dimiliki oleh satu kategori, namun nilai tersebut
dimiliki oleh beberapa kategori sesuai dengan
perhitungannya. Hal ini menunjukkan bahwa
variabel yang menentukan keberhasilan suatu
klasifiksai bukan hanya jumlah pengambilan fitur
saja, namun banyaknya dokumen training pada
masing-masing kategori, dan juga ketepatan
pengambilan fitur/kata dalam masing-masing
dokumen memiliki peran yang tidak kalah penting
dalam keberhasilan suatu proses klasifikasi.

0.65
0.63
0.69
0.72
0.76
0.74
0.73
0.77
0.72
0.70
0.69

Perbandingan ini berdasarkan nilai klasifikasi

paling optimal pada 2 metode tersebut dengan nilai
Kategori
parameter masing-masing. Klasifikasi menggunakan metode k-NN ini memiliki nilai F-measure
terbesar dengan nilai k=11. Sedangkan klasifikasi
menggunakan metode Nave Bayes ini menghasilkan nilai F-measure terbesar dengan jumlah
81.2
0
94.8 89.6 91.6 90.3 92.2pengambilan 9 fitur/kata, hal ini sesuai dengan
5
82.5
0
0
91.6hasil ujicoba sebelumnya.
6
96.1 92.9 90.9
83.2
0
94.8 90.9 87.7
0
92.9 Tabel 5.9 adalah data perbandingan hasil
7
85.8
0
95.4 90.3 87.7
0
93.5perhitungan F-measure pada klasifikasi dokumen
8
87.7
0
95.4 92.9 88.3
0
94.1bahasa Arab dengan menggunakan metode k-NN
9
88.3
0
95.4 92.9 88.3
0
93.5dan metode Nave Bayes. Metode Nave Bayes
10
89.6
0
95.4
93.5
89.0
0
92.9memiliki hasil F-measure terbesar mencapai 0.88,
11
87.7
0
95.4 92.9 88.3
0
94.1sedangkan metode k-NN memiliki hasil F-measure
12
89.0
0
96.1 92.9 89.0
0
92.9terbesar mencapai 0.84. Dari data pada Tabel 5.9
13
87.0
0
94.1 90.9 89.0
0
92.9terlihat bahwa berdasarkan perbandingan nilai F14
87.0 90.3 94.8 92.9 90.3
0
92.9measure, metode Nave Bayes menghasilkan nilai
15
lebih besar daripada metode k-NN.
Selain perbandingan nilai F-measure, pada uji
Tabel 5.8 adalah nilai perhitungan evaluasi coba ini juga akan dibandingkan nilai accuration
accuration dari proses klasifikasi dokumen bahasa pada proses klasifikasi dokumen bahasa Arab
Arab dengan menggunakan ekstraksi fitur tanpa antara 2 metode tersebut. Perbandingan ini tetap
pencocokkan. Pada Tabel 5.8 terlihat nilai menggunakan hasil perhitungan paling optimal
accuration tertinggi mencapai 96.13% dimiliki pada masing-masing metode.
oleh kategori Puasa pada pengambilan 6 fitur/kata.
Nilai ini lebih kecil daripada nilai accuration
tertinggi menggunakan ekstraksi fitur dengan
melakukan pencocokan kata seperti terdapat pada
Tabel 5.9 Perbandingan nilai F-measure k-NN dan
Tabel 5.3 yang mencapai 97.42%.
Nave Bayes
Pada Tabel 5.8 terlihat kategori Zakat dan Jual
Beli memiliki nilai accuration nol. Hal ini
Nilai F-measure
Kategori
k-NN
Naive Bayes
menunjukkan bahwa pada kategori tersebut sistem
banyak meretrieve dokumen yang tidak relevan.
Sholat
0.84
0.88
Nilai accuration nol pada dua kategori ini
0
0.43
Zakat
disebabkan karena pada dua kategori tersebut hasil
0.43
0.76
Puasa
perhitungan recall juga bernilai nol, dimana recall
0.25
0.58
Haji
menjadi salah satu faktor penyebut/pembagi dalam
0.52
0.44
Nikah
perhitungan accuration.
0.67
0.53
Jual Beli
Uji coba yang ketiga dilakukan untuk mengetahui perbandingan hasil klasifikasi dokumen
0.63
0.26
Wakaf
bahasa Arab dengan menggunakan 2 metode yang
berbeda, yaitu metode k-NN dan metode Nave
Tabel 5.10 Perbandingan nilai accuration k-NN
Bayes. Perbandingan ini dilakukan dengan hanya
dan Nave Bayes
melakukan perhitungan hasil F-measure dan
Nilai Accuration
Kategori
accuration. Dari hasil uji coba ini nanti akan
k-NN
Naive Bayes
diketahui metode mana yang lebih sesuai untuk
93.55
Sholat
92.90
menangani masalah klasifikasi dokumen, k-NN
0
88.39
Zakat
ataukah Nave Bayes.
91.61
Puasa
97.42
Dengan menggunakan data uji yang sama,
dilakukan percobaan proses klasifikasi dengan
88.39
80.00
Haji
menggunakan metode k-NN dan menggunakan
90.32
89.03
Nikah
metode Nave Bayes. Seperti pada proses
76.77
78.06
Jual Beli
klasifikasi menggunakan metode Nave Bayes,
91.61
88.39
Wakaf
pada penggunaan metode k-NN juga terdapat
parameter yang bisa ditentukan oleh user untuk
Berdasarkan perbandingan nilai accuration
bisa menghasilkan klasifikasi paling optimal.
antara
metode k-NN dan metode Nave Bayes
Parameter ini berupa nilai k yang akan digunakan
seperti
pada Tabel 5.10 terlihat bahwa metode
untuk menghitung kedekatan antar dokumen pada
Nave
Bayes
memiliki tingkat akurasi mencapai
data uji.
97.42 % dengan jumlah pengambilan 8 fitur/kata.
Wakaf

Jual
Beli

Nikah

Haji

Puasa

Zakat

Sholat

Jumlah
Fitur

Tabel 5.8 Perbandingan nilai accuration proses

ekstraksi fitur tanpa pencocokkan

5. Chen, Aitou, Gey. Fredric, 2002, Building

an Arabic Stemmer for Information
Retrieval, University of California at
Berkeley

Sedangkan metode k-NN memiliki tingkat akurasi

mencapai 92.90% pada nilai k=11. Dari hasil
perbandingan nilai accuration ini juga terlihat
bahwa metode Nave Bayes memiliki tingkat
akurasi yang lebih tinggi daripada metode k-NN.
Dari perbandingan dua nilai evaluasi ini, pada
implementasi k-NN kategori zakat memiliki nilai
F-measure dan accuration nol. Hal ini menunjukkan bahwa semua dokumen pada kategori zakat
terklasifikasi salah atau salah masuk kelas.

6. Husni, 2006, IR dan Klasifikasi, diktat

kuliah, Teknik Informatika Universitas
Trunojoyo
7. Umam, Chatibul 2004. Kaidah Tata
Bahasa Arab. Darul Ulum Press.
8. Basuki, Ahmad. 2006 Metode Bayes.
Kuliah PENS ITS

6. SIMPULAN DAN SARAN

Berdasarkan aplikasi yang telah dibuat dan

hasil yang didapat dari serangkaian uji coba yang
telah dilakukan, maka dapat ditarik beberapa
kesimpulan atas Tugas Akhir ini sebagai berikut :
1. Metode Nave Bayes dapat diaplikasikan pada
kategorisasi teks berbahasa Arab dengan nilai
F-measure terbaik sebesar 0.88 dengan tingkat
akurasi mencapai 97.42%
2. Jumlah fitur yang diambil untuk hasil klasifikasi yang optimal sebanyak 8 dan 9 fitur/kata
3. Dibandingkan dengan metode HAC dan k-NN,
Nave Bayes memiliki tingkat akurasi yang
lebih tinggi dan membutuhkan running time
yang lebih sedikit.
Beberapa saran atas pengerjaan Tugas Akhir ini
guna pengembangan lebih lanjut diantaranya :
1. Pengambilan jumlah fitur otomatis untuk
menghasilkan nilai evaluasi yang optimal
2. Penggunaan penanda pada kata/isi dokumen
yang ditunjuk dan hasil preprocessing-nya,
sehingga dengan mudah bisa diketahui hasil
preprocessing tiap kata dalam dokumen.
7. DAFTAR PUSTAKA

1. Bakhri Syaiful, Agus Zainal Arifin, Diana

Purwitasari. 2011. Klasifikasi Dokumen
Berbahasa Arab Berbasis KNN. ITS
Surabaya.
2. Al-Shalabi Riyad, Kanaan Ghassan, H.
Gharaibeh, Manaf.
Arabic
Text
Categorization Using k-NN Algorithm.
Amman Al-Ahliya University, Jordan
3. Eljinini Mohammad Ali H., Hadi Wael
Musa, Thabtah Fadi, Zamzeer Mannam,
2009. Nave Bayesian Based on Chi
Square to Categorize Arabic Data.
Communication of the IBIMA Volume 10,
2009 ISSN : 1943-7765
4. Hadi W., Thabtah F., AL Hawari S.,
Ababneh J. 2008, "Naive Bayesian and KNearest Neighbour to Categorize Arabic
Text Data", In proceedings of the European
Simulation and Modeling Conference, Le
Havre, France.