PKM Ai

APLIKASI “HARDISC” PENDETEKSI BAHASA ISYARAT UNTUK
MEMPERMUDAH TUNA WICARA DAN TUNA RUNGU DALAM

BERKOMUNIKASI BERBASIS TEKNOLOGI COMPUTER VISION
Yoga Agung Prabowo 1)
Program Studi S1 Teknik Kimia, Fakultas Teknik, Universitas Negeri Semarang,Kampus Sekaran
Gunungpati, Semarang 50229, Indonesia
ABSTRAK
HARDISC merupakan aplikasi berbasis android yang menawarkan sistem
pengenalan huruf dengan mendeteksi gerakan tangan menggunakan kamera. HARDISC
memberikan 1 pelayanan dasar dan 1 pelayanan tambahan yaitu kamera, kamera ini
berfungsi untuk mendeteksi gerakan tangan yang kemudian menghasilkan output berupa
huruf, pelayanan ini memudahkan bagi penyandang disabilitas maupun masyarakat umum
untuk mereka saling komunikasi. Pelayanan selanjutnya yaitu tutorial penggunaan aplikasi
hal ini agar memudahkan para pengguna dalam menggunakan aplikasi HARDISC. Aplikasi
ini masuk kedalam penerapan Artificial Intelligence (AI) dengan klasifikasi Computer
Vision (CV) yang ditunjukan untuk membantu masyarakat secara nyata. Aplikasi ini
menggunakan model Transfer Learning Inception ResNetV2 dan VGG16 dengan hasil
yang cukup memuaskan dengan perolehan evaluasi sebesar 98.98% dan nilai loss sebesar
0,0417 pada Inception ResNetV2 dan pada perolehan evaluasi VGG16 menghasilkan nilai
evaluasi sebesar 99.40% dan nilai loss sebesar 0.0146. Sehingga model sudah dapat
dikatakan bekerja dengan baik. Setalah model di deployment ke dalam android dapat
bejalan dengan baik pada spesifikasi minimal android kitkat4 maksimal android 12
Kata kunci : HARDISC, Disabilitas, Artificial Intelligence (AI), Computer Vision (CV)
Pendahuluan
Komunikasi merupakan hal terpenting dalam kehidupan sosial dan masyarakat.
Komunikasi digunakan untuk menyampaikan informasi dari orang ke orang lain
ataupun dari orang ke grub atau komunitas. Tidak semua manusia memiliki
kemampuan berkomunikasi yang sempurna dengan orang lain seperti tunarungu
dan tunawicara. Lebih dari 5% populasi dunia atau 430 juta orang memerlukan alat
bantu untuk mengatasi gangguan pendengaran atau tunarungu (432 juta orang
dewasa dan 34 juta anak-anak). Diperkirakan pada tahun 2050 lebih dari 700 juta
orang atau satu dari setiap sepuluh orang akan mengalami tunarungu dan
tunawicara (WHO, 2021).
Kurangnya pengenalan bahasa isyarat bagi masyarakat umum membuat
penyandang tunarungu dan tunawicara kesulitan berkomunikasi serta kurang
percaya diri dalam bermasyarakat (Solikhatun, 2013) sehingga diperlukannya
aplikasi yang dapat membantu mereka berkomunikasi tidak hanya itu aplikasi ini
harus memberikan edukasi mendasar kepada masyarakat umum. Seperti proyek
aplikasi penulis yaitu “aplikasi “hardisc” pendeteksi bahasa isyarat untuk
mempermudah tuna wicara dan tuna rungu dalam berkomunikasi berbasis teknologi
computer vision”. HARDISC merupakan aplikasi berbasis android yang
menawarkan sistem pengenalan huruf dengan mendeteksi gerakan tangan
menggunakan kamera. memberikan 1 pelayanan dasar dan 1 pelayanan tambahan
yaitu kamera, kamera ini berfungsi untuk mendeteksi gerakan tangan yang
kemudian menghasilkan output berupa huruf, pelayanan ini memudahkan bagi
penyandang disabilitas maupun masyarakat umum untuk mereka saling
komunikasi. Pelayanan selanjutnya yaitu tutorial penggunaan aplikasi hal ini agar
memudahkan para pengguna dalam menggunakan aplikasi HARDISC
Dengan sistem yang terdapat pada aplikasi HARDISC akan memudahkan
para pengguna dalam berkomunikasi dengan satu sama lain. Pembuatan aplikasi
HARDISC menggunakan model transfer learning InceptionResNetV2 dan
VCG16.
Metode
Tahapan pembuatan aplikasi HARDISC sebagai berikut:
Diagram Alir Project Akhir
Analisa
Masalah dan
Solusi
Data
Acquisition
Data
Augmentasi
Data
Preprosessing
InceptionResNetV2 Modelling VGG16
Evaluasi
Deployment
Gambar 3.1 Diagram Alir Project Akhir

A. Analisa Masalah dan Solusi
Masalah yang sering dialami para tuna wicara dan tuna rungu adalah sulit
untuk berkomunikasi dengan masyarakat umum terutama masyarakat yang
tidak mengerti bahasa isyarat (Rahmah, 2018). Dengan begitu kami membuat
aplikasi yang dapat digunakan masyarakat umum dan para penyandang
disabilitas. Aplikasi ini kami bernama HARDISC dimana aplikasi ini
menawarkan menu kamera untuk mendeteksi gerakan tangan yang kemudian
akan mengeluarkan output berupa huruf. Hal ini akan memudahkan para
penyandang disabilitas dalam melakukan komunikasi.
B. Dataset
Dataset yang digunakan berasal dari kaggle link berikut:
https://www.kaggle.com/datasets/idhamozi/indonesian-sign-language-bisindo
(Kaggle.com, 2021) dengan total data sebanyak 2159 data dengan kelas
berjumlah 27 kelas yang terdiri dari masing-masing data test dan data train
Masing-masing kelas miliki jumlah gambar 16 gambar pada data test dan 64
gambar pada data train.
Gambar 3.2 Contoh Dataset yang Digunakan
C. Data Cleansing dan Data Augmentasi

▪ Data Cleansing
Tahapan preprocessing yang kami lakukan terdiri memasukkan dataset
kemudian melakukan penyesuaian ukuran gambar pada dataset sebelum
dilanjutkan ketahap augmentasi.
➢ Proses Load dataset gambar

Pada tahap ini pertama kami menentukan direktori pelatihan dan pengujian
yang terdapat pada dokumen dataset dengan sub data train dan data test
selanjutnya kami menyamakan ukuran dimana ukuran yang digunakan yaitu
ukuran gambar 256 dengan ukuran batch 32 dan jumlah epochs 25.
➢ Proses Membuat Fungsi Grafik Confusion Matrix
Tahap ini bertujuan untuk memberikan informasi perbandingan hasil
klasifikasi yang dilakukan oleh system model dengan hasil klasifikasi
sebenarnya.
▪ Data Augmentasi
Tahap augmentasi dilakukan karena dataset yang kami peroleh masih
mempunyai jumlah yang sedikit sehingga akan mempengaruhi akurasi yang
dihasilkan. Maka perlu dilakukan proses augmentasi agar akurasi yang
diperoleh maksimal. Pada tahapan augmentasi kami akan memperbesar
keseluruhan kumpulan data melalui transformasi acak, sehingga model
tidak akan melihat data dua kali dengan gambar yang serupa. Tahap ini
dapat membantu mencegah terjadinya overfitting dan dapat membantu
model menggeneralisasikan lebih baik, sehingga didapat hasil akurasi yang
makimal. Tahapan tahapan yang kami gunakan pada data augmentasi
sebagai berikut:
▪ anticlockwise_rotation adalah strategi yang digunakan untuk membuat
rotasi berlawanan arah jarum jam.
▪ clockwise_rotation adalah strategi yang digunakan untuk membuat rotasi
searah jarum jam.
▪ flip_up_down adalah strategi yang digunakan untuk membalikan gambar
secara vertikal dari atas ke bawah.
▪ sheared adalah untuk menerapkan transformasi geser secara acak
▪ blur adalah untuk memberikan efek blur pada gambar
▪ wrap_shift adalah untuk menerapkan pergeseran melengkung pada
gambar.
▪ brightness adalah strategi yang digunakan untuk membuat gambar lebih
cerah dengan menambahkan brightness (kecerahan) pada range 0.5 dan 1.
Setelah membuat beberapa fungsi untuk melakukan proses augmentasi,

selanjutnya langsung diimplementasikan satu per satu pada folder gambar
yang kami miliki. Kami bisa langsung mencoba memasukkan gambar hasil
augmentasi ke location path dataset pelatihan kami. Seperti Dataset-
BISINDO/datatrain/A, Dataset-BISINDO/datatrain/B, Dataset-
BISINDO/datatrain/C dan seterusnya. Proses augmentasi semakin banyak
jumlah gambar yang akan diaugmentasi, semakin lama proses running kode
program nya. Setelah memperoleh gambar tambahan dari hasil augmentasi
maka hasil disimpan dalam format zip.
D. Modeling dan Evaluasi

Model yang kami gunakan yaitu InceptionResNetV2 dan VCG16.
❖ InceptionResNetV2
1. Tahap persiapan InceptionResNetV2 untuk transfer learning
2. Penambahan fully connected layers di akhir jaringan InceptionResNetV2.
● Arsitektur model setelah ditambahkan fully connected layers
menjadi base model InceptionResNetV2,
● GlobalAveragePooling2D untuk mengoprasi pooling
● Flatten untuk fungsi flattening
● Layer Dense 1 dengan 512 layers, dengan aktivasi relu,
● Untuk mencegah terjadinya overfitting maka tambahkan Dropout
0.3.
● Layer dense 2 dengan ukuran fille 256 layers, dengan dilengkapi
aktivasi relu
● Untuk mencegah terjadinya overfitting kami menambahkan dropout
0.3 atau 30% dari hasil training
● Pada layer terakhir kami menggunakan layer dense dengan total 27
layers berdasarkan jumlah kelas dengan aktivasi softmax karena di
anggap cocok untuk Multiclass classification.
● Kemudian melakukan compile model dengan menggunakan loss
categorical_crossentropy, optimizer RMSproop learning rate
0.0001, dan metrik accuracy.
Tabel 3.2 Arsitektur final model InceptionResNetV2

Model: "sequential_6"
______________________________________________________________
___
Layer (type) Output Shape Param #
==============================================================
===
inception_resnet_v2 (Functi (None, 6, 6, 1536)
54336736
onal)
Global_Average_Pool (Global (None, 1536) 0

AveragePooling2D)
flatten (Flatten) (None, 1536) 0
dense_1 (Dense) (None, 512) 786944
dropout_12 (Dropout) (None, 512) 0
dense_2 (Dense) (None, 256) 131328
output (Dense) (None, 27) 6939
==============================================================
===
Total params: 55,261,947
Trainable params: 925,211
Non-trainable params: 54,336,736
______________________________________________________________
___
❖ VGG16
1. Persiapan VGG16 untuk transfer learning
2. Menambahankan set fully connected layers diakhir jaringan VGG16
● Arsitektur model setelah ditambahkan fully connected layers
menjadi base model VGG16
● Flatten untuk fungsi flattening
● Layer Dense 1 dengan 1024 layers, dengan aktivasi relu,
● Untuk mencegah terjadinya overfitting kami menambahkan Dropout
0.3 atau 30% dari hasil training
● Pada layer terakhir kami menggunakan layer dense dengan total 27
layers berdasarkan jumlah kelas dengan aktivasi softmax karena di
anggap cocok Multiclass classification.
● kemudian melakukan compile model dengan menggunakan loss
categorical_crossentropy, optimizer RMSprop learning rate 0,0001,
dan metirk accuracy.
Tabel 3.3 Arsitektur final model VGG16
Model: "sequential_1"
______________________________________________________
Layer (type) Output Shape Param #
==============================================================
===
vgg16 (Functional) (None, 8, 8, 512)
14714688
flatten (Flatten) (None, 32768) 0
dense_1 (Dense) (None, 1024)

33555456
output (Dense) (None, 27) 27675
==============================================================
===
Total params: 48,297,819
Trainable params: 33,583,131
Non-trainable params: 14,714,688
______________________________________________________________
___
E. Evaluation
Pada tahap evaluasi kami menggunakan precision, recall, f-1 score, dan akurasi
serta menggunakan confusion matrix pada kedua model. Precision merupakan rasio
item yang relevan dipilih terhadap semua item yang terpilih. Untuk dapat
menghitung nilai precision dapat digunakan rumus sebagai berikut:
𝑇𝑃
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = × 100% (3.1)
(𝐹𝑃 + 𝑇𝑃)
Recall merupakan rasio item yang relevan dipilih terhadap jumlah total item relevan
yang tersedia. Untuk dapat menghitung nilai recall dapat digunakan rumus sebagai
berikut:
𝑇𝑃
𝑅𝑒𝑐𝑎𝑙𝑙 = × 100% (3.2)
(𝐹𝑁 + 𝑇𝑃)
F1 score merupakan perbandingan rata-rata nilai precision dan recall. Untuk dapat
menghitung nilai f1-score dapat digunakan rumus sebagai berikut:
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 × 𝑅𝑒𝑐𝑎𝑙𝑙
𝑅𝑒𝑐𝑎𝑙𝑙 = 2 × 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑅𝑒𝑐𝑎𝑙𝑙 (3.3)
Akurasi merupakan persentase ketepatan record data yang diklasifikasikan secara

benar setelah dilakukan tahap pengujian pada klasifikasi. Untuk dapat menghitung
nilai akurasi dapat digunakan rumus sebagai berikut:
𝑇𝑃 + 𝑇𝑁
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = × 100% (3.4)
𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁
Sedangkan confusion matrix merupakan metode pengukuran keputusan yang paling

banyak digunakan dalam supervised machine learning dimana memvisualisasikan
nilai tingkat kebingungan dari algoritma pada setiap kelas yang berbeda dan tidak
bergantung pada algoritma klasifikasi.
F. Deployment
Tahapan ini bertujuan untuk mengakses dan menjalankan model yang sudah dibuat
dengan python, aplikasi dibuat untuk mempermudah penggunaan hasil model deep
learning dan diimplementasikan pada keseharian. Dalam Proyek ini menggunakan
android studio 2021, library yang digunakan openCVLibrary3413, database yang
digunakan MySQL firebase. Android studio adalah tools intergrated development
environment (IDE) resmi hasil kolaborasi antara google dan jetbrains yang dibuat
khusus untuk pengembangan aplikasi android (Dwiyankie et al., 2022). Aplikasi ini
ini bersifat open source atau gratis. Peluncuran Android Studio ini diumumkan oleh
Google pada 16 mei 2013 pada event Google I/O Conference untuk tahun 2013.
Sejak saat itu, Android Studio mengantikan Eclipse sebagai IDE resmi untuk
mengembangkan aplikasi Android (Andi, 2015). Android studio memiliki
komponen yang lengkap meliputi source code editor, compiler dan debugger.
Aplikasi ini dapat digunakan minimal android kitkat4 maksimal android 12.
Hasil dan Pembahasan
A. Hasil Permodelan InceptionResNet V2
Gambar 3.4 Hasil Grafik Training dan Loss InceptionResNetV2
Tabel 3.4 Hasil Training InceptionResNet V2
Epoch 1/25
loss: 3.2522 - accuracy: 0.1097 - val_loss: 2.5205 val_accuracy: 0.4597
Epoch 2/25
loss: 2.5148 - accuracy: 0.3062 - val_loss: 1.6635 - val_accuracy: 0.7272
Epoch 3/25
Epoch 4/25
Epoch 5/25
Epoch 6/25
Epoch 7/25
Epoch 8/25
Epoch 9/25
Epoch 10/25
Epoch 11/25
Epoch 12/25
Epoch 13/25
Epoch 14/25
val_accuracy: 0.9706
Epoch 15/25
Epoch 16/25
Epoch 17/25
Epoch 18/25
212/212 [==============================] - ETA: 0s - loss:
0.2325 - accuracy: 0.9278
Epoch 18: val_loss improved from 0.11871 to 0.08344, saving model to
best_model_bisindo_inception.hdf5
212/212 [==============================] - 145s 684ms/step -
Epoch 19/25
Epoch 20/25
Epoch 21/25
Epoch 22/25
Epoch 23/25
Epoch 24/25
Epoch 25/25
213/213 [==============================] - 51s 238ms/step -
loss: 0.0580 - accuracy: 0.9838
53/53 [==============================] - 93s 2s/step - loss:
0.0418 - accuracy: 0.9898
[INFO] accuracy: 98.98%
[INFO] Loss: 0.041771784424781
Menunjukkan grafik dan tabel performa hasil akurasi dan loss dari arsitektur
Inception ResNetV2 dimana garis merah untuk data training dan garis biru
untuk data validasi. Hasil grafik dan tabel menunjukkan bahwa dari epoch 1
hingga epoch 25 menunjukkan hasil akurasi semakin meningkat dengan
perolehan nilai akurasi sebesar 98.98% dan hasil loss semakin rendah dengan
perolehan nilai loss sebesar 0.0417. Sehingga model sudah dapat dikatakan
bekerja dengan baik.
B. Hasil Permodelan VGG16
Gambar 3.5 Hasil Grafik Traning dan Loss VGG16
Tabel 3.5 Hasil Training VGG16

Epoch 1:
Epoch 2:
Epoch 3:
Epoch 4:
Epoch 5:
Epoch 6:
Epoch 7:
Epoch 8:
Epoch 9:
Epoch 10:
Epoch 11:
Epoch 12:
Epoch 13:
Epoch 14:
Epoch 15:
Epoch 16:
Epoch 17:
Epoch 18:
Epoch 19:
Epoch 20:
Epoch 21:
Epoch 22:
Epoch 23:
Epoch 24/25
381/381 [==============================] - ETA: 0s - loss:
0.0042 - accuracy: 0.9984
Epoch 24:
Epoch 25:
loss: 0.0033 - accuracy: 0.9992
95/95 [==============================] - 98s 1s/step - loss:
0.0147 - accuracy: 0.9940
[INFO] accuracy: 99.40%
[INFO] Loss: 0.014684459194540977
Menunjukkan grafik dan tabel performa hasil akurasi dan loss dari arsitektur
VGG16 dimana garis merah untuk data training dan garis biru untuk data validasi.
Hasil grafik dan tabel menunjukkan bahwa dari epoch 1 hingga epoch 25
menunjukkan hasil akurasi semakin meningkat dengan perolehan nilai akurasi
sebesar 99.40% dan hasil loss semakin rendah dengan perolehan nilai
Tampilan aplikasi
Gambar 8.20 Halaman Utama Aplikasi Hardisc
Gambar 8.21 Halaman Login Aplikasi Hardisc
Gambar 8.23 Menu Utama Aplikasi Hardisc

Gambar 8.24 Menu Penerjemah Aplikasi Hardisc
Menu penerjemah merupakan bagian utama dari aplikasi HARDISC dimana dalam
menu penerjemah inilah model akan dibaca atau dijalankan oleh aplikasi, dalam
menu penerjemah library OpenCV dan library tensorflow akan bekerja sehingga
memerlukan GPU pada smartphone. Ketika dibuka menu penerjemah akan
langsung membuka kamera dan mendeteksi bahasa isyarat tangan secara realtime,
akan muncul bounding box dan huruf yang terdeteksi sehingga pengguna akan
langsung mengetahui hasil deteksinya.
Hasil akurasi dari menu penerjemah dari aplikasi yang kami buat belum bisa
menghasilkan output dengan akurasi maksimal, dari analisis yang kami lakukan ada
dua penyebab utamanya, yaitu belum sesuainya library OpenCV yang kami
gunakan serta spesifikasi GPU dari smartphone.
Kesimpulan
HARDISC merupakan aplikasi berbasis android yang menawarkan sistem
pengenalan huruf A hingga Z dengan mendeteksi gerakan isyarat tangan
menggunakan kamera. HARDISC memberikan 1 pelayanan dasar dan 1 pelayanan
tambahan yaitu kamera, kamera ini berfungsi untuk mendeteksi gerakan tangan
yang kemudian menghasilkan output berupa huruf, pelayanan ini memudahkan bagi
penyandang disabilitas maupun masyarakat umum untuk mereka saling
komunikasi. Pelayanan selanjutnya yaitu tutorial penggunaan aplikasi hal ini agar
memudahkan para pengguna dalam menggunakan aplikasi HARDISC. Hal ini
masih jarang di temukan di aplikasi lain.
Aplikasi HARDISC ditujukan untuk kepentingan sosial dan tidak berbayar
sehingga dapat diakses oleh siapapun dan dimanapun sebab tidak memerlukan data
seluler untuk mengaksesnya.
Daftar Pustaka
Andi, J. (2015) ‘Pembangunan Aplikasi Child Tracker Berbasis Assisted – Global
Positioning System ( A-GPS ) Dengan Platform Android’, Jurnal Ilmiah
Komputer dan Informatika (KOMPUTA), 1(1), pp. 1–8.
Dwiyankie, R. N. et al. (2022) ‘Pembuatan Aplikasi Penjualan Online Sederhana
Berbasis Mobile’, (May), pp. 0–10.
Kaggle.com (2021) ISLBISINDO1 | Kaggle, 2021. Available at:
https://www.kaggle.com/datasets/idhamozi/indonesian-sign-language-bisindo
(Accessed: 25 January 2023).
Rahmah, F. N. (2018) ‘Problematika Anak Tunarungu Dan Cara Mengatasinya’,
Quality, 6(1), p. 1. doi: 10.21043/quality.v6i1.5744.
Solikhatun, Y. U. (2013) ‘Penyesuaian Sosial Pada Penyandang Tunarungu di
SLB Negeri Semarang’, Educational Psychology Journal, 1(1), pp. 65–72.
WHO (2021) Deafness and hearing loss. Available at: https://www.who.int/news-
room/fact-sheets/detail/deafness-and-hearing-loss (Accessed: 24 January 2023).

PKM Ai

Diunggah oleh

Informasi Dokumen

Judul Asli

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

PKM Ai

Diunggah oleh

Hak Cipta:

Format Tersedia

APLIKASI “HARDISC” PENDETEKSI BAHASA ISYARAT UNTUK

MEMPERMUDAH TUNA WICARA DAN TUNA RUNGU DALAM

InceptionResNetV2 Modelling VGG16

Gambar 3.1 Diagram Alir Project Akhir

Gambar 3.2 Contoh Dataset yang Digunakan

C. Data Cleansing dan Data Augmentasi

➢ Proses Load dataset gambar

Setelah membuat beberapa fungsi untuk melakukan proses augmentasi,

D. Modeling dan Evaluasi

Tabel 3.2 Arsitektur final model InceptionResNetV2

Global_Average_Pool (Global (None, 1536) 0

flatten (Flatten) (None, 1536) 0

dense_1 (Dense) (None, 512) 786944

dropout_12 (Dropout) (None, 512) 0

dense_2 (Dense) (None, 256) 131328

dropout_13 (Dropout) (None, 256) 0

output (Dense) (None, 27) 6939

Tabel 3.3 Arsitektur final model VGG16

flatten (Flatten) (None, 32768) 0

dense_1 (Dense) (None, 1024)

dropout_2 (Dropout) (None, 1024) 0

output (Dense) (None, 27) 27675

Akurasi merupakan persentase ketepatan record data yang diklasifikasikan secara

Sedangkan confusion matrix merupakan metode pengukuran keputusan yang paling

Gambar 3.4 Hasil Grafik Training dan Loss InceptionResNetV2

Tabel 3.4 Hasil Training InceptionResNet V2

B. Hasil Permodelan VGG16

Gambar 3.5 Hasil Grafik Traning dan Loss VGG16

Tabel 3.5 Hasil Training VGG16

Gambar 8.20 Halaman Utama Aplikasi Hardisc

Gambar 8.21 Halaman Login Aplikasi Hardisc

Gambar 8.23 Menu Utama Aplikasi Hardisc

Anda mungkin juga menyukai