Pagelaran Mahasiswa Pendidikan Matematika, Sains, dan

Teknologi Informatika (DIMAS-TI)

Bidang Lomba: (Scientific Paper TIK)

PATTERN RECOGNITION HURUF HIJAIYAH BERHARAKAT MENGGUNAKAN

ALGORITMA CONVOLUTIONAL NEURAL NETWORK (CNN)
SEBAGAI ANALISIS POLA ANTAR HURUF HIJAIYAH BERHARAKAT

DIUSULKAN OLEH:
Ahmad Syafii_Ketua (4611420012)

Hanief Widya Wardhana_Anggota 1 (4611420024)

Muhammad Hafidz Amanullah Abyan_Anggota 2 (4611420008)

UNIVERSITAS NEGERI SEAMRANG

JURUSAN ILMU KOMPUTER

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

TAHUN 2022
 HALAMAN LEMBAR PENGESAHAN
Judul Karya : Pattern Recognition Huruf Hijaiyah Berharakat
Menggunakan Algoritma Convolutional Neural Network (CNN) Sebagai Analisis
Pola Antar Huruf Ketua Tim

a. Nama Lengkap : Ahmad Syafii

b. NIM : 4611420012
c. Jurusan : Ilmu Komputer
d. Universitas/Institut/Politeknik : Universitas Negeri Semarang
e. No Telepon/HP : 082223587065
f. Email : ahmadsyafii2751@students.unnes.ac.id
Anggota Tim (1)
a. Nama Anggota : Hanief Widya Wardhana
b. NIM : 4611420024
c. Program Studi : Teknik Informatika
Anggota Tim (2)
a. Nama Anggota : Muhammad Hafidz Amanullah Abyan
b. NIM : 4612420008
c. Program Studi : Teknik Informatika
Dosen Pendamping
a. Nama Lengkap dan Gelar : M Faris Al Hakim, S. Pd., M. Cs.
b. NIDN/NIDK/NIP : 199203272022031003
c. Kota/Kabupaten : Kota Semarang
d. No Telepon/Wa : 085852646724
e. Email : farishakim@mail.unnes.ac.id
Semarang, 19 Mei 2022
Dosen Pembimbing, Ketua Tim,

M Faris Al Hakim, S. Pd., M. Cs. Ahmad Syafii

NIP. 199203272022031003 NIM. 4611420012
Menyetujui,
Ketua Jurusan Ilmu Komputer

Dr. Alamsyah, S. Si., M. Kom.

NIP. 197405172006041001
 PATTERN RECOGNITION HURUF HIJAIYAH BERHARAKAT
MENGGUNAKAN ALGORITMA CONVOLUTIONAL NEURAL
NETWORK (CNN) SEBAGAI ANALISIS POLA ANTAR HURUF

Ahmad Syafii; Hanief Widya Wardhana; M. Hafidz Amanullah Abyan

Universitas Negeri Semarang
Ahmadsyafii2751@students.unnes.ac.id; hanippw@students.unnes.ac.id;
amanullahabyan@gmail.com
ABSTRAKSI
Huruf hijaiyah merupakan huruf atau kata penyusun pada setiap kalimat dalam Al-
Quran. Namun, masih banyak anak dan lansia yang kesulitan dalam memahami cara
menyebut setiap huruf hijaiyah beserta dengan harakatnya. Penelitian ini bertujuan
untuk menguji ketepatan atau akurasi algoritma (Convolutional Neural Network)
CNN dalam mendeteksi huruf hijaiyah yang ditulis dengan tangan beserta
harakatnya. Penelitian ini menggunakan data sekunder, yaitu dataset huruf arab
dengan tulisan tangan yang dibuat oleh Mohamed Loey yang diakses dari situs
kaggle. Pengkondisian dataset dilakukan dengan memilih beberapa sampel dari
populasi, dan melakukan proses editing dengan menambahkan harakat pada setiap
sampelnya. Kemudian, proses training dan validation akan menggunakan library
keras pada Tensorflow yang akan menghasilkan nilai akurasi dari pendeteksian
huruf hijaiyah berharakat.
Kata kunci: Huruf hijaiyah, harakat, CNN, Tensorflow

ABSTRACT
Hijaiyah characters are the one that arrange each sentence in the Al-Quran.
However, children and the elderly out there who have difficult on understanding
how to pronounce each hijaiyah letter along with its vowel. This study aims to test
the accuracy of the Convolutional Neural Network (CNN) algorithm in detecting
handwritten hijaiyah letters and their vowels. This study uses secondary data,
specifically Arabic handwritten characters dataset made by Mohamed Loey which
is accessed from the kaggle website. Dataset conditioning is done by selecting
several samples from the population, and performing the editing process by adding
vowels to each sample. Then, the training and validation process are using
Tensorflow’s library called keras, which will produce an accuracy value of
detecting hijaiyah letters with the vowel.
Keywords: Hijaiyah letters, vowel, CNN, Tensorflow
1. PENDAHULUAN
Huruf Hijaiyah merupakan huruf penyusun yang ada di dalam Al-Quran.
Ketika akan belajar membaca Al-Quran huruf hijaiyah merupakan hal dasar yang
wajib dipelajari. Huruf Hijaiyah memiliki tanda baca yang disebut sebagai harakat.
Huruf hijaiyah berjumlah 30 sedangkan harakatnya berjumlah 8 (Faizah & Fitriah,
2021). Harakat sendiri digunakan pada huruf hijaiyah untuk memudahkan dalam
membaca huruf Arab. Harakat ini memiliki peran dalam menentukan bunyi pada
setiap huruf seperti huruf vokal pada alfabet. Tidak semua orang dapat mengetahui
dan memahami ilmu dasar dari huruf hijaiyah berharakat tersebut. Anak-anak atau
orang yang sudah lanjut usia terkadang juga kesulitan dalam memahami hal
tersebut. Oleh karena itu, dibutuhkan sebuah teknologi yang dapat digunakan untuk
mengklasifikasikan masing-masing dari huruf hijaiyah berharakat tersebut.
Teknologi yang dapat digunakan untuk mengatasi hal tersebut adalah dengan
pembuatan sebuah sistem dengan menggunakan metode Convolutional Neural
Network (CNN). Metode Convolutional Neural Network (CNN) merupakan sebuah
algoritma yang didesain untuk mengolah data dua dimensi yang dikembangkan
berdasarkan (MLP). CNN merupakan bagian dari deep neural network karena
jaringannya memiliki layer ke dalam yang tinggi dan sering diaplikasikan pada data
yang bentuknya adalah citra (P dkk, 2016). CNN bekerja dengan menggerakkan
kernel konvolusi ke sebuah citra agar didapatkan informasi representatif baru dari
hasil perkalian bagian citra tersebut dengan filter yang digunakan (Bariyah dkk,
2021).
Pengenalan huruf hijaiyah sebelumnya pernah diteliti oleh Abror, dkk
(2021) bahwa pengenalan pola huruf hijaiyah tulisan tangan dengan menggunakan
metode CNN dengan mengambil sampel dari sepuluh anak. Data yang didapatkan
dari anak tersebut sistem yang digunakan hanya sebatas huruf dan belum bisa
digunakan untuk mengenali huruf hijaiyah yang berharakat. Penelitian sebelumnya
juga pernah dilakukan oleh Akil & Chaidir (2021) bahwa dataset yang dipakai
berjumlah 13.440 sampel data training dan 3.360 sampel data testing. Penelitian
tersebut mendapatkan akurasi sebesar 0,9113 pada huruf hijaiyah berharakat.
Namun, penelitian ini hanya sebatas peningkatan klasifikasi huruf hijaiyah saja dan
belum dapat memenuhi yang tanpa harakat.
Penelitian memiliki titik pijak masalah yaitu mengenai tingkat akurasi
metode Convolutional Neural Network (CNN) dalam Pattern Recognition sebagai
Analisis Pola Antar Huruf Hijaiyah Berharakat. Sehinggga penelitian ini bertujuan
untuk mengetahui tingkat akurasi metode CNN tersebut. Penelitian ini diharapkan
dapat bermanfaat bagi masyarakat khususnya bagi siswa dan lansia dalam
membantu mengenali dengan benar pola-pola yang ada pada huruf hijaiyah
berharakat. Sedangkan bagi seorang peneliti yaitu membantu dalam memberikan
referensi terkait tingkat keefektifan pengenalan huruf hijaiyah berharakat.
2. METODE PENELITIAN
2.1. Waktu dan Tempat penelitian
Penelitian ini dilakukan mulai bulan maret sampai bulan Mei 2022.
Penelitian ini dilakukan di Laboratorium Ilmu Komputer Universitas
Negeri Semarang

2.2.Tahapan Penelitian
Tahapan pertama yaitu mengumpulkan berbagai referensi yang
dibutuhkan. Kemudian penentuan dan pengkondisian dataset, selanjutnya
masuk pada konsep training dan proses validation. Diagram alur penelitian
dapat dilihat sebagai berikut:

Diagram 1. alur penelitian

2.3. Data Penelitian
Pada penelitian ini menggunakan dataset dari huruf hijaiyah
berharakat. Dataset huruf hijaiyah berharakat berjumlah 1050 data sampel
training dan 210 data sampel validation. Berikut ini sampel dari dataset
huruf hijaiyah berharakat:
Tabel 1. sampel dataset yang digunakan

no Nama kelas Sampel no Nama kelas Sampel

1 a 5 aa

2 ta 6 zho

3 ja 7 ya

4 sya

Sampel dataset di atas merupakan hasil modifikasi dataset yang

diambil dari Loey (2019). Pada dataset tersebut terdapat sampel data
training 13.440 dan sampel data testing 3.360 dengan 28 kelas.

2.4. Algoritma Pengolahan Data

Convolutional Neural Network (CNN) merupakan sebuah
feedforward jaringan saraf tiruan yang memiliki struktur yang dalam. CNN
juga merupakan salah satu representasi dari deep learning. Algoritma CNN
memiliki kelebihan yaitu dapat mengenali informasi tersembunyi dari suatu
objek seperti gambar, suara, teks, dan lain sebagainya. Berikut ini adalah
gambar ilustrasi jaringan CNN (Putra, 2019).

Gambar 2. Ilustrasi jaringan CNN (Sumber: Putra, 2019)

 Struktur algoritma CNN terdiri dari input proses ekstraksi fitur, proses
klasifikasi, dan terakhir adalah output. CNN terdiri dari neuron (saraf) yang
memiliki weight dan fungsi aktivasi. CNN bekerja dengan menggerakkan
kernel konvolusi ke sebuah citra agar didapatkan informasi representatif baru
dari hasil perkalian bagian citra tersebut dengan filter yang digunakan.
Langkah pertama CNN adalah dengan memecah citra baru yang berukuran
lebih kecil dan saling tumpang tindih. Masing-masing citra tersebut akan
dimasukkan ke dalam jaringan saraf kecil dan hasilnya akan disimpan dalam
sebuah array yang disebut dengan proses konvolusi. Setelah itu adalah proses
downsampling dan max pooling untuk mengambil nilai piksel terbesar dalam
setiap pooling kernel. Tahap terakhir adalah prediksi citra berdasarkan
jaringan saraf yang telah terkoneksi secara utuh (fully connected layer)
(Bariyah dkk., 2021)
Pengklasifikasian huruf hijaiyah berharakat menggunakan metode
Convolutional Neural Network (CNN) dilakukan dengan menggunakan
sampel uji yang kemudian dilakukan sebuah operasi pendeteksian dengan
menggunakan data training dan validation. Proses pengklasifikasian huruf
hijaiyah menggunakan memanfaatkan library Tensorflow. Dataset yang
digunakan diletakkan pada folder yang setiap folder tersebut terdapat kelas
dengan berbagai sampel di dalamnya. Kemudian dari sampel tersebut
dilakukan proses proses training dan proses validation. Dalam penelitian ini
terdapat 21 kelas dengan setiap kelas terdapat 50 sampel. Pada setiap kelas
tersebut kemudian dibuatkan sebuah path yang digunakan sebagai lokasi dari
setiap kelas.
Setelah proses itu selesai, langkah selanjutnya adalah menyeragamkan
dan memberikan format yang sama agar data dapat terdeteksi dengan baik.
Resolusi dalam sampel juga harus disesuaikan dengan code program yang
akan dibuat. Kemudian adalah lanjut dalam tahap bounding image yang
digunakan untuk tujuan memperoleh akurasi yang baik dengan memberikan
sebuah nilai bounding image yang terus diujicobakan menggunakan fungsi
aktivasi ReLu (Rectified Linear Unit). Penelitian ini juga menggunakan
proses kompilasi model dengan menggunakan Adam fungsi loss optimizer.
Setelah itu, baru dijalankan proses training dengan menggunakan
model.fit yang bertujuan untuk mengeksekusi jumlah batch dalam setiap
epoch dan menampilkan akurasi pengujian dalam data training dan
validation. Sehingga, setelah proses tersebut berakhir, proses implementasi
pendeteksian untuk mengetahui kelas dari objek yang sedang dideteksi
dapat dilakukan. Berikut ini adalah alur pengolahan data.
 Gambar 3. alur pengolahan data

3. HASIL DAN PEMBAHASAN

Tahap ini berisi hal metode yang telah dilakukan dalam hal object detection.
Pada perancangan sistem dilakukan pengumpulan dataset yang akan dilakukan
dalam proses training dan proses testing. Dataset yang diperoleh berjumlah 1050
huruf yang digunakan sebagai proses training dan 210 huruf yang digunakan dalam
proses validation. Dataset yang diperoleh diantaranya adalah huruf alif (‫)أ‬, ta (‫)ت‬,
jim (‫)ج‬, syin (‫)ش‬, zho (‫)ظ‬, ain (‫)ع‬, dan ya (‫ )ي‬dengan masing-masing huruf
berharakat fathah, kasrah, dan dhUmmah. Pada setiap kelas tersebut dibuatkan
setiap folder dengan berisi sampel dengan jumlah setiap kelas tersebut, sehingga
diperoleh 21 folder kelas.
3.1 Pelatihan Model
Pada proses training data, dilakukan beberapa uji coba pada program
CNN bagian nilai variabel batch size dan epoch dengan metode trial and
error. Dalam penelitian ini jumlah batch size yang digunakan adalah 8, 16,
32, dan 64 dengan jumlah epoch sebesar 10, 50, dan 100. Sedangkan untuk
menghitung kesalahan model selama proses optimasi, akan menggunakan
jenis categorical crossentropy. Selanjutnya adalah melakukan proses
pelatihan menggunakan dataset train dan diuji dengan menggunakan
dataset validation yang telah dibagi.
3.2 Evaluasi Model
Berikut adalah hasil dari sejumlah uji coba dengan mengubah nilai
batch size dan epoch di setiap pengujian sebagai perbandingan tingkat
akurasi:
Tabel 2. Pengujian sampel data

Batch Size Epoch Akurasi

10 0.9279
8 50 0.9760
100 0.9519
10 0.9279
16 50 0.9135
100 0.9712
10 0.8385
32 50 0.9271
100 0.9583
10 0.8177
64 50 0.9010
100 0.9219
Berdasarkan hasil pengujian tersebut, dapat disimpulkan bahwa hasil
akurasi terbaik didapatkan saat program menjalani jumlah batch size 8 dan
epoch sebesar 50 yang menghasilkan akurasi sebesar 0.9760.

Pada gambar tersebut, ditunjukkan peningkatan akurasi yang ditunjukkan

dengan garis jingga dari saat mulainya iterasi pertama hingga 50 yang
mengalami kenaikan dan penurunan, namun masih konstan diatas 0.95 saat
iterasi sudah mencapai 20 dan seterusnya.
3.3 Analisis Hasil
Berdasarkan hasil analisis dari proses trial and error jumlah nilai batch size
dan epoch pada tahap penelitian, secara keseluruhan pada setiap percobaan
menghasilkan nilai akurasi diatas 0.8, didapatkan hasil akurasi yang paling
optimal pada percobaan dengan batch size 8 dan epoch 50 yang menghasilkan
akurasi sebesar 0.9760. Pada penelitian yang dilakukan oleh Abror, dkk dalam
pengenalan tulisan tangan huruf hijaiyah tanpa harakat menggunakan metode
CNN, data yang digunakan dalam penelitian ini berjumlah 300 citra. Hasil
akurasi yang didapatkan dari proses testing pada penelitian data tersebut.

4. KESIMPULAN DAN SARAN

Hasil akurasi yang didapatkan model ini setelah dilakukan proses validation
yaitu 0.9760 dengan jumlah batch size sebesar 8 dan epoch sebesar 50. Untuk
mendapatkan hasil klasifikasi menggunakan CNN juga tidak perlu memiliki
jumlah data yang besar, sehingga membuat program yang didasarkan pada
model ini akan memiliki waktu berjalan yang singkat.
Namun, masih banyak hal yang perlu dilakukan perbaikan, mengingat
model seperti ini belum diuji menggunakan dataset lain, atau dengan
menggunakan metode lain seperti re-sampling dan validasi silang.
 DAFTAR PUSTAKA
Akil, I., & Chaidir, I. (2021). Deteksi Karakter Huruf Arab Dengan Menggunakan
Convolutional Neural Network. Inti Nusa Mandiri, 15(2), 183–188.
Bariyah, T., Rasyidi, M. A., & Ngatini, N. 2021. Convolutional Neural Network
untuk Metode Klasifikasi Multi-Label pada Motif Batik. Techno.Com, 20(1),
155–165. https://doi.org/10.33633/tc.v20i1.4224
El Sawy, A., Loey, M., & El Bakry, H. 2019. Arabic Handwritten Characters
Recognition using Convolutional Neural Network. 2019 10th International
Conference on Information and Communication Systems, ICICS 2019, 5,
147– 151. https://doi.org/10.1109/IACS.2019.8809122
Faizah, & Fitriah, S. N. (2021). Upaya Meningkatkan Hasil Belajar Siswa Materi
Huruf Hijaiyah dan Harakat Menggunakan Media Plastisin. IQ (Ilmu Al-
Qur’an): Jurnal Pendidikan Islam, 4(01), 87–100.
https://doi.org/10.37542/iq.v4i01.143
J. W. G. Putra. 2019. Pengenalan Konsep Pembelajaran Mesin dan Deep Learning.
vol. 4, pp. 1–235, 2019, [Online]. Available:
https://www.researchgate.net/publication/3237 00644.
P, I. W. S. E., Wijaya, A. Y., & Soelaiman, R. (2016). Klasifikasi Citra
Menggunakan Convolutional Neural Network ( Cnn ) pada Caltech 101.
5(1).