MODEL PENERJEMAH BAHASA ISYARAT INDONESIA DARI

VIDEO MENGGUNAKAN HYBRID METHOD

HALAMAN JUDUL

SKRIPSI

ATIKA DWI PUTRI

1510511025

UNIVERSITAS PEMBANGUNAN NASIONAL “VETERAN” JAKARTA

FAKULTAS ILMU KOMPUTER
PROGRAM STUDI INFORMATIKA
2019
 MODEL PENERJEMAH BAHASA ISYARAT INDONESIA
DARI VIDEO MENGGUNAKAN HYBRID METHOD

SKRIPSI
Diajukan Sebagai Salah Satu Syarat Untuk Memperoleh Gelar
Sarjana Komputer

ATIKA DWI PUTRI

1510511025

UNIVERSITAS PEMBANGUNAN NASIONAL “VETERAN” JAKARTA

FAKULTAS ILMU KOMPUTER
PROGRAM STUDI INFORMATIKA
2019
 MODEL PENERJEMAH BAHASA ISYARAT INDONESIA
DARI VIDEO MENGGUNAKAN HYBRID METHOD

Atika Dwi Putri

ABSTRAK

Komunikasi merupakan cara untuk menyampaikan pesan dan memahami informasi

dari pesan tersebut. Akan tetapi cara komunikasi dengan penyandang disabilitas,
khususnya kaum Tuli berbeda dari orang-orang pada umumnya yaitu menggunakan
bahasa isyarat. Terdapat dua bahasa isyarat yang berlaku di Indonesia yaitu, Sistem
Isyarat Bahasa Indonesia (SIBI) dan Bahasa Isyarat Indonesia (BISINDO).
BISINDO lebih sering digunakan dalam komunikasi sehari-hari orang Tuli.
Namun, pengetahuan tentang bahasa isyarat masih awam bagi orang dengar
sehingga menimbulkan kendala dalam berkomunikasi antara orang Tuli dan orang
dengar yang tidak mengerti bahasa isyarat. Oleh karena itu, penulis membuat model
penerjemah bahasa isyarat BISINDO dengan menggunakan algoritma Speeded Up
Robust Features (SURF) dan Principal Component Analyst (PCA) sebagai metode
untuk ekstraksi ciri serta algoritma K-Nearest Neighbor (KNN) sebagai metode
untuk klasifikasi. Ciri yang digunakan berupa gerakan tangan dari citra untuk
masing-masing kata dalam BISINDO. Penelitian ini diharapkan dapat mendapatkan
tingkat akurasi yang juga tinggi dalam mengenali dan menerjemahkan video berisi
kosakata dalam BISINDO dengan baik sehingga dapat membantu komunikasi
antara orang Tuli dan orang dengar yang tidak mengerti bahasa isyarat. Akan tetapi
dalam penerapannya, penelitian ini hanya menghasilkan akurasi sebesar 0.55 %
untuk tiap kata.

Kata Kunci: Bahasa Isyarat Indonesia (BISINDO), Image Processing, Skin

Detection, Speeded Up Robust Features (SURF), Principal Component Analyst
(PCA), K-Nearest Neighbor (KNN)

v
 MODEL PENERJEMAH BAHASA ISYARAT INDONESIA
DARI VIDEO MENGGUNAKAN HYBRID METHOD

Atika Dwi Putri

ABSTRACT

Communication is the way to convey a message and understand the information

from the message. But, some people with disability, especially the hearing impaired
people, have different way to communicate from other people in general, and that
is by using sign language. There are two types of sign language that apply in
Indonesia, which are Sistem Isyarat Bahasa Indonesia (SIBI) and Bahasa Isyarat
Indonesia (BISINDO). BISINDO is more commonly used in daily life of the
hearing impaired people. However, sign language is still not commonly known by
hearing people and it causes a cultural barrier in communicating between the
hearing impaired people and the hearing people who doesn’t understand sign
language. Therefore, the writer made a model of BISINDO sign language translator
with Speeded Up Robust Features (SURF) and Principal Component Analyst
(PCA) algorithm as methods for feature extraction and K-Nearest Neighbor (KNN)
as classification method. Features used in this research are hand movements from
images for each word in BISINDO. This research is expected to recognize and
translate a video containing vocabulary in BISINDO with the purpose of helping
the hearing impaired people and hearing people who doesn’t understand sign
language to communicate with each other. However in its application, the accuracy
obtained in this research is 0.55% for each word.

Keywords: Bahasa Isyarat Indonesia (BISINDO), Image Processing, Skin

Detection, Speeded Up Robust Features (SURF), Principal Component Analyst
(PCA), K-Nearest Neighbor (KNN)

vi
 KATA PENGANTAR

Dengan memanjatkan puji beserta syukur penulis panjatkan kehadirat Allah

SWT atas segala rahmat dan hidayah-Nya, shalawat serta salam tak lupa
tercurahkan kepada Nabi Muhammad SAW, keluarga serta sahabatnya sehingga
penulis dapat menyelesaikan skripsi ini yang berjudul “Model Penerjemah
Bahasa Isyarat Indonesia dari Video Menggunakan Hybrid Method”. Rasa
terimakasih penulis ucapkan kepada :
1. Kedua Orang tua Basirudin (ayah) dan Rosidariah (ibu), Deffi Septiana
(kakak), Gladies Tria Ananda (adik), serta Ghian Salsabilla (adik) yang telah
memberikan dukungan, kepercayaan yang tiada hentinya, memberikan doa
dan kekuatan kepada penulis dalam menyelesaikan skripsi ini.
2. Bapak Jayanta, S.Kom., M.Si. dan Bapak Bambang Triwahyono, S.Kom.,
M.Si., selaku dosen pembimbing skripsi yang telah memberikan saran,
mendukung dan membantu penulis dalam penyusunan skripsi sehingga dapat
menyelesaikan skripsi dengan baik.
3. Ibu Dr. Ermatita, M.Kom. selaku Dekan Fakultas Ilmu Komputer.
4. Ibu Anita Muliawati, S.Kom., MTI. selaku Kepala program Studi
Informatika.
5. Ibu Vini Indriasari, ST., M.Sc., Ph.D. selaku dosen pembimbing akademik.
6. Ibu, Bapak Dosen Teknik Informatika UPN “Veteran” Jakarta atas ilmu-ilmu
yang bermanfaat.
7. Kepada teman-teman penulis mahasiswa Program Studi Informatika
Angkatan 2015 Fakultas Ilmu Komputer dan teman-teman KSM-Robotika
Universitas Pembangunan Nasional “Veteran” Jakarta yang telah
memberikan bantuan, dukungan, semangat serta doa.
Akhir kata, semoga skripsi ini dapat bermanfaat bagi para pembacanya.

Jakarta, Juli 2019

Penulis

Atika Dwi Putri

vii
 DAFTAR ISI

HALAMAN JUDUL................................................................................................ i
PERNYATAAN ORISINALITAS ......................................................................... ii
PERNYATAAN PERSETUJUAN PUBLIKASI TUGAS AKHIR UNTUK
KEPENTINGAN AKADEMIS ............................................................................. iii
PENGESAHAN ..................................................................................................... iv
ABSTRAK .............................................................................................................. v
ABSTRACT ........................................................................................................... vi
KATA PENGANTAR .......................................................................................... vii
DAFTAR ISI ........................................................................................................ viii
Daftar Tabel ............................................................................................................ x
Daftar Gambar ........................................................................................................ xi
BAB 1 Pendahuluan ................................................................................................ 1
1.1 Latar Belakang ......................................................................................... 1
1.2 Rumusan Masalah .................................................................................... 2
1.3 Tujuan Penelitian ...................................................................................... 2
1.4 Manfaat Penelitian .................................................................................... 2
1.5 Batasan Masalah ....................................................................................... 3
1.6 Luaran yang Diharapkan .......................................................................... 3
1.7 Sistematika Penulisan ............................................................................... 3
BAB 2 Tinjauan Pustaka ......................................................................................... 5
2.1. Bahasa Isyarat ........................................................................................... 5
Sistem Isyarat Bahasa Indonesia ....................................................... 5
Bahasa Isyarat Indonesia ................................................................... 5
2.2 Pengolahan Citra ...................................................................................... 6
2.3 Pre-processing .......................................................................................... 6
2.4 Metode Skin Segmentation ....................................................................... 6
2.5 Algoritma Speeded Up Robust Feature (SURF) ...................................... 7
2.6 Algoritma Principal Component Analyst ................................................. 7
2.7 Algoritma K-Nearest Neighbor (KNN) .................................................. 10
2.8 Matrix Laboratory (MATLAB) .............................................................. 11
viii
 2.9 Tinjauan Pustaka .................................................................................... 11
BAB 3 Metode Penelitian ..................................................................................... 14
3.1 Kerangka Pikir ........................................................................................ 14
3.2 Pengumpulan Data ................................................................................. 15
3.3 Analisis Pembangunan Sistem ............................................................... 15
3.4 Perancangan Sistem ................................................................................ 16
3.5 Pengujian ................................................................................................ 16
3.6 Implementasi .......................................................................................... 16
3.7 Dokumentasi ........................................................................................... 16
3.8 Alat yang Digunakan .............................................................................. 17
BAB 4 HASIL DAN PEMBAHASAN................................................................. 18
4.1 Perancangan Sistem ................................................................................ 18
Data Video Gerakan Bahasa Isyarat ............................................... 19
Ektraksi Per Frame .......................................................................... 22
Resize .............................................................................................. 23
Deteksi Kulit ................................................................................... 24
Menghapus Noise ............................................................................ 26
Fillholes ........................................................................................... 28
SURF ............................................................................................... 29
PCA ................................................................................................. 31
KNN ................................................................................................ 32
4.2 Hasil........................................................................................................ 32
BAB 5 PENUTUP ................................................................................................ 34
5.1. Kesimpulan ............................................................................................. 34
5.2. Saran ....................................................................................................... 34
DAFTAR PUSTAKA ........................................................................................... 36
RIWAYAT HIDUP ............................................................................................... 38
LAMPIRAN .......................................................................................................... 39

ix
 DAFTAR TABEL

Tabel 3.1 Data Video ............................................................................................ 15

Tabel 4.1 Data Tampilan Model ........................................................................... 19

Tabel 4.2 Hasil Surf Minum Dalam Bentuk Matrix ............................................. 31

Tabel 4.3 Hasil Dari Algoritma PCA .................................................................... 31

Tabel 4.4 Definisi Kelas ........................................................................................ 32

x
 DAFTAR GAMBAR

Gambar 3.1 Tahapan Penelitian ............................................................................ 14

Gambar 4.1 Flowchart perancangan sistem .......................................................... 18

Gambar 4.2 Data Video Awal ............................................................................... 21

Gambar 4.3 Data Video Per Frame ....................................................................... 23

Gambar 4.4 Data Citra Sebelum Resize ................................................................ 24

Gambar 4.5 Data Citra Setelah Resize .................................................................. 24

Gambar 4.6 Data Citra Hasil RGB ke YCbCr ...................................................... 25

Gambar 4.7 Data Citra Hasil Deteksi Kulit YCbCr .............................................. 25

Gambar 4.8 Data Citra Hasil Deteksi Kulit .......................................................... 26

Gambar 4.9 Hasil Perubahan RBG Ke Grayscale ................................................. 27

Gambar 4.10 Hasil Perubahan Grayscale Ke Biner .............................................. 27

Gambar 4.11 Hasil dari Menghapus Citra Berukuran Kecil ................................. 28

Gambar 4.12 Hasil Dari Pengisian Lubang........................................................... 28

Gambar 4.13 Hasil Dari Fillholes ......................................................................... 29

Gambar 4.14 Data Citra Grayscale ....................................................................... 30

Gambar 4.15 Data Citra Setelah Deteksi Surf ...................................................... 30

Gambar 4.16 Tampilan Hasil Uji Akurasi ............................................................ 33

xi