KLASIFIKASI HURUF ABJAD MENGGUNAKAN BAHASA

ISYARAT

Disusun Guna Memenuhi Tugas Mata Kuliah Kecerdasan Buatan

Kelompok 7
Muhammad Hafidz Amanullah Abyan (4611420008)
Calvin Nickholas Kurniawan (4611420034)
Samuel Chrisna Adjani (4611420042)
Alifia Prastiwi (4611420045)

PROGRAM STUDI TEKNIK INFORMATIKA

JURUSAN ILMU KOMPUTER
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS NEGERI SEMARANG

TAHUN 2022
 BAB I
PENDAHULUAN
1.1. Latar Belakang
Menurut isi artikel yang diunggah oleh Pusat Data dan Informasi Kementerian Kesehatan
Republik Indonesia pada tahun 2019, dari data yang diambil dari Sistem Informasi Manajemen
Penyandang Disabilitas (SIMPD) dari Kementrian Sosial pada 8 Oktober 2019, Diantara seluruh
penyandang disabilitas di Indonesia 7,03% diantaranya adalah penyandang disabilitas rungu.
Dikatakan juga bahwa, di negara berkembang, anak penyandang tuna rungu dan gangguan
pendengaran mendapatkan pendidikan yang tidak cukup baik. Sementara itu, Orang dewasa
penyandang Gangguan Pendengaran memiliki angka pengangguran yang lebih tinggi (Harpini, 2019).
Pada penelitiannya Aziz (2021) menuliskan bahwa, World Health Organization (WHO) pada
tahun 2019, memperkirakan bahwa terdapat sebanyak 466 juta orang di dunia yang mengalami
gangguan pendengaran, dan 34 juta diantaranya merupakan anak-anak. Selain itu, didapati sebanyak
360 juta penduduk di dunia menyandang ketulian jumlah tersebut diperkirakan sekitar 5,3%
penduduk dunia. Selain itu, WHO memperkirakan pada tahun 2050 yang akan datang, akan ada lebih
dari 900 juta penduduk atau setiap satu dari sepuluh orang di dunia yang menyandang gangguan
pendengaran. Selain itu, menurut hasil Riset Kesehatan Dasar (Riskesdas) yang dilakukan oleh Badan
Penelitian dan Pengembangan Kesehatan (Balitbangkes) Kementerian Kesehatan di tahun 2018,
proporsi tuna rungu sejak lahir pada anak berumur 24-59 bulan di Indonesia sebesar 0,11%. Hal
tersebut juga sama seperti yang dituliskan Harpini (2019).
Dari data tersebut dapat disadari tentang banyaknya penyandang tunarungu dan tunawicara di
dunia terutama di Indonesia. Selain itu terdapat keterbatasan media komunikasi bagi penyandang
tunarungu dan tunawicara dan salah satunya adalah bahasa isyarat. Selain itu, sedikit masyarakat yang
tidak menyandang disabilitas yang memahami bahasa isyarat. Sehingga, hal tersebut akan
menyebabkan kesulitan dalam berkomunikasi. Mengingat pentingnya komunikasi bagi seseorang
untuk berinteraksi satu sama lain dalam beraktifitas.
Hal inilah yang mendasari peneliti untuk mengembangkan sebuah artificial intelligence
berbasis Convolutional Neural Network (CNN) untuk mengklasifikasikan huruf abjad menggunakan
bahasa isyarat dalam upaya membantu masyarakat dalam berkomunikasi.
1.2. Rumusan Masalah
Berdasarkan latar belakang yang dipaparkan, didapati rumusan masalah pada penelitian ini
tentang : Bagaimana kinerja keakuratan artificial intelligence berbasis CNN dalam mengenali suatu
bahasa isyarat dan mengklasifikasikannya dalam huruf abjad.

1.3. Tujuan
Adapun tujuan pada penelitian ini adalah : Mengetahui kinerja keakuratan artificial
intelligence berbasis CNN dalam mengenali suatu bahasa isyarat dan mengklasifikasikannya dalam
huruf abjad.
 BAB II
METODE
Tahapan penelitian klasifikasi huruf abjad menggunakan bahasa isyarat dimulai dari studi literatur,
pengumpulan data, pengolahan data menggunakan metode deep learning , dan terakhir tahap uji coba
program.

Gambar 1. Tahapan Penelitian

2.1 Studi Literatur

Pada tahap studi literatur, dilakukan pencarian informasi yang dapat menunjang
pengaplikasian klasifikasi huruf abjad menggunakan bahasa isyarat. Pencarian informasi ini
bersangkutan dengan metode dan algoritma yang paling efektif yang akan digunakan. Sumber
informasi diperoleh dari penelitian sebelumnya, jurnal, buku, dan skripsi.

2.2 Pengumpulan Data

Pada penelitian ini, data yang digunakan bersumber dari kaggle. Kaggle merupakan sebuah
platform yang menyediakan berbagai macam dataset. Data untuk penelitian ini berupa gambar bahasa
isyarat yang terdiri dari 3112 unit dan 26 class.
 Gambar 2. Dataset Bahasa Isyarat

2.3 Pengolahan Data

Data yang sudah dikumpulkan akan diproses menggunakan metode deep learning dengan
algoritma yang efektif yaitu Convolutional Neural Network (CNN). Bahasa pemrograman yang
digunakan yaitu bahasa python dengan framework tensorflow. Kelebihan Algoritma Convolutional
Neural Network (CNN) yaitu informasi tersembunyi dari suatu dataset dapat mudah dikenali. CNN
terdiri dari neuron yang memiliki fungsi aktivasi, bias, dan weight.

Gambar 3. Struktur CNN

Tahapan dalam pengolahan data sebagai berikut.

 Gambar 4. Tahap Pengolahan Data
Dimulai dari input dataset, kemudian data masuk ke dalam proses training dan validation.
Pada tahap ini akan dihasilkan alamat path setiap data. Setelah itu, data masuk pada tahap data
augmentation. Data yang masuk dalam proses ini akan mengalami keragaman data dengan format
yang sama. Data yang terdeteksi pada tahap ini ada 2568 masuk ke data training dan 544 ke data
validation yang terdiri dari 26 class. Kemudian data akan dicari nilai akurasinya dengan fungsi
aktivasi ReLu (Rectified Linear Unit). Proses convolutional layer dan pooling layer dilakukan
sebanyak empat kali menggunakan fungsi ReLu. Untuk output pada tahap dense layer menggunakan
fungsi softmax. Untuk proses kompilasi menggunakan Adam fungsi loss optimizer. Tahap selanjutnya
yaitu proses trainning. Model yang digunakan pada proses ini yaitu model.fit yang berguna untuk
mengeksekusi jumlah batch dalam setiap epoch dan menampilkan nilai akurasi data. Setelah proses
tersebut berakhir, implementasi pendeteksian untuk mengetahui kelas dari objek yang sedang
dideteksi dapat dilakukan.

BAB III
HASIL DAN PEMBAHASAN

Tahap ini berisi hal metode yang telah dilakukan dalam hal object detection. Pada perancangan sistem
dilakukan pengumpulan dataset yang akan dilakukan dalam proses training dan proses testing. Dataset
yang diperoleh berjumlah 2568 huruf yang digunakan sebagai proses training dan 544 huruf yang
digunakan dalam proses validation. Dataset yang diperoleh diantaranya adalah huruf A, B, C, D, E, F, G,
H, I, J, K, L, M, N, O, P, Q, R, S, T, U, V, W, X, Y, Z. Pada setiap kelas tersebut dibuatkan setiap folder
dengan berisi sampel dengan jumlah setiap kelas tersebut, sehingga diperoleh 26 folder kelas.

3.1 Pelatihan Model

Pada proses training data, dilakukan beberapa uji coba pada program CNN bagian nilai
variabel batch size dan epoch dengan metode trial and error. Dalam penelitian ini jumlah batch size
yang digunakan adalah 8 dan 16 dengan jumlah epoch sebesar 5 dan 10. Sedangkan untuk
menghitung kesalahan model selama proses optimasi, akan menggunakan jenis categorical
crossentropy. Selanjutnya adalah melakukan proses pelatihan menggunakan dataset train dan diuji
dengan menggunakan dataset validation yang telah dibagi.

3.2 Evaluasi Model

Berikut adalah hasil dari sejumlah uji coba dengan mengubah nilai batch size dan epoch di
setiap pengujian sebagai perbandingan tingkat akurasi:

Tabel 2. Pengujian sampel data

 Batch Epoch Akurasi
Size

8 5 0.9724

10 0.9810

16 5 0.9724

10 0.9890

Berdasarkan hasil pengujian tersebut, dapat disimpulkan bahwa hasil akurasi terbaik
didapatkan saat program menjalani jumlah batch size 16 dan epoch sebesar 10 yang menghasilkan
akurasi sebesar 0.9890.

Pada gambar tersebut, ditunjukkan peningkatan akurasi yang ditunjukkan dengan garis jingga
dari saat mulainya iterasi pertama hingga 4.0 yang mengalami kenaikan dan penurunan, namun masih
konstan diatas 0.95 saat iterasi sudah mencapai 1.0 dan seterusnya.

1.3 Analisis Hasil

Berdasarkan hasil analisis dari proses trial and error jumlah nilai batch size dan epoch pada
tahap penelitian, secara keseluruhan pada setiap percobaan menghasilkan nilai akurasi diatas 0.9,
didapatkan hasil akurasi yang paling optimal pada percobaan dengan batch size 16 dan epoch 10 yang
menghasilkan akurasi sebesar 0.9890.

Link program sebagai berikut.

https://colab.research.google.com/drive/1cdQCppaZ2Jyta_bLkCqz9ETUTwGm_zc8?usp=sharing

https://colab.research.google.com/drive/17L1pJfv77Fzbe7JeFcdCnDitx9RXwlCt#scrollTo=KxeKga-ggcS
0
 KESIMPULAN

Berdasarkan program yang telah kami buat yaitu mengklasifikasikan huruf abjad menggunakan
bahasa isyarat dengan menggunakan algoritma Convolutional Neural Network (CNN) dan metode deep
learning. Adapun hasil yang telah kami peroleh dalam pembuatan program yang telah kami lakukan yaitu
program kami telah berhasil membedakan huruf dengan proses klasifikasi tiap gambar.
Kemudian juga program kami menunjukan peningkatan dan penurunan akurasi yang cukup
signifikan sampai menyentuh angka 4.0 dengan nilai yang cukup konstan di atas 0.95. Setelah kami
mencoba try and error program kami dapat disimpulkan bahwa secara keseluruhan di setiap percobaannya
menghasilkan nilai diatas 0.9, yang didapatkan dari hasil akurasi yang paling optimal pada percobaan
batch size 16 dan epoch 10 yang menghasilkan akurasi sebesar 0.9890.
 DAFTAR PUSTAKA
Aziz, A. N. (2021). Image Recognition Alfabet Bahasa Isyarat Indonesia (Bisindo)
Menggunakan Metode Convolutional Neural Network. Skripsi. Fakultas Teknik Industri.
Program Studi Informatika. Universitas Islam Indonesia. Url :
https://dspace.uii.ac.id/handle/123456789/32137

Harpini, A. (2019). Infodatin Disabilitas Rungu. From

https://pusdatin.kemkes.go.id/resources/download/pusdatin/infodatin/infodatin-tunarungu-2019.p
df