Robust Hand Gesture Recognition for Human Machine

Interaction System



Dibuat oleh :
Azharico Darusman
1117032015






JURUSAN ILMU KOMPUTER
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS LAMPUNG
2014
Gerakan tangan ( hand gesture ) adalah bentuk komunikasi non verbal untuk
menyampaikan pesan tertentu dengan menggunakan gerakan terlihat dan postur tangan. Gerakan
tangan dapat digunakan sebagai sistem pengenalan untuk antarmuka antara manusia dan perangkat
komputer. Antarmuka berbasis gerakan tangan / hand gesture recognition (HGR) dapat digunakan
untuk berbagai macam aplikasi seperti pengenalan bahasa isyarat, game virtual, otomatisasi dan
keamanan. Sistem ini merupakan teknik interaksi antara manusia dan komputer (IMK) dengan
menggunakan sistem HGR. Sistem ini mampu mengenali lima gerakan tangan yang berbeda
dengan akurasi yang tinggi. Sistem yang diusulkan , dilakukan uji coba pada lima kondisi
lingkungan dan fisik yang berbeda.
Pada sistem ini memiliki skema segmentasi yang didasarkan grey level thresholding.
Terdapat komponen Y yang diturunkan dari gambar uji coba dan Cb, komponen Cr yang secara
terpisah digunakan untuk mengekstrak daerah tangan tertentu. Hal ini akan membantu dalam
membuat sistem yang lebih kuat untuk lingkungan yang cahayanya bervariasi. Citra biner yang
didapatkan , lebih lanjut digunakan untuk mengekstrak kontur pada daerah tangan dengan
menggunakan detektor. Setelah ruang skala kontur yang dideteksi sukses, tepi digunakan untuk
mengetahui jumlah jari yang diangkat, maka gerakan tangan yang diakui sesuai dengan jumlah jari
yang diangkat. Pada MATLAB keberhasilan pelaksanaan sistem yang diusulkan menghasilkan
akurasi rata-rata keseluruhan 95,2% bervariasi dari 96% untuk cahaya yang baik dan 92% untuk
kondisi cahaya yang buruk.

1. Pendahuluan
Perangkat input dan output khusus telah dirancang selama bertahun-tahun dengan tujuan
meringankan komunikasi antara komputer dan manusia dengan upaya untuk membuat komputer
lebih cerdas dan membuat manusia mampu melakukan komunikasi yang lebih rumit / mendalam
dengan komputer . Kedua perangkat interaktif yang paling umum dikenal adalah keyboard dan
mouse . Untuk mencapai interaksi manusia-komputer yang alami dan mendalam , tangan manusia
dapat digunakan sebagai perangkat . Interaksi mesin manusia menggunakan gerakan tangan
memerlukan sistem pengenalan gerakan manusia yang harus mampu mengenali dan
mengklasifikasi berbagai gerakan tangan secara real time . Awalnya , hand gesture recognition
dilaksanakan dengan menggunakan sirkuit listrik tradisional yang membutuhkan banyak waktu
dan ruang . Kemudian para peneliti mulai menggunakan alat berbasis komputer vision untuk
sistem HGR . Hand gesture recognition dapat didasarkan pada contact based recognition (
sentuhan ) atau vision based recognition. Sistem ini menggunakan pendekatan pengenalan berbasis
visi ( vision based recognition ). Pendekatan ini diyakini lebih efektif dibandingkan dengan
perangkat yang dipakai di HGR karena vision merupakan salah satu dari enam media fisik yang
berarti komputer harus dipakai secara perceptively ketika dikomunikasikan kepada manusia.
Biasanya, sebagian besar sistem HGR
dibagi menjadi empat tahap, yaitu akuisisi
citra diikuti oleh preprocessing dan
kemudian fitur ekstraksi , setelah berhasil
masuk ke tahap klasifikasi.

2 . Sistem HGR yang diusulkan
Sistem ini memakai pendekatan berbasis vision dirancang untuk mengenali gerakan
tangan yang berbeda 5 di bawah kondisi yang pencahayaan yang berbeda. Teknik berbasis 2D
digunakan untuk membedakan 5 gerakan tangan.
Pendekatan ini berbasis 2D yang mampu
mengurangi perhitungan , waktu komputasi
dan menghemat sumber daya .Gerakan tangan
dibedakan dengan menggunakan kontur
sederhana dengan teknik ruang skala. Membuat sistem real time di MATLAB untuk mengenali
gerakan tangan.. Skema segmentasi yang digunakan didasarkan grey level thresholding bukan
mendeteksi warna kulit . Diagram blok dari teknik yang diusulkan terdapat di bawah ini :
Warna hijau
merupakan bagian akuisisi
citra, warna biru mewakili
bagian pre-processing, warna
oranye mewakili teknik hand
gesture recognition yaitu
kelengkungan ruang skala /
curvature scale space (CSS).

Akuisisi Citra ( I mage Acquisition )
Akuisisi citra adalah langkah utama dalam prosedur pengolahan citra. Gambar diperoleh
dari kombinasi sumber pencahayaan dan refleksi energi dari adegan yang dicitrakan. Untuk
menginisialisasi sistem pengguna harus terlebih dahulu melambaikan tangan nya di depan kamera
USB. Outputnya, diakuisisi oleh sistem dalam bentuk urutan gambar.

Pra-pengolahan ( Pre Processing )
Pra - pengolahan sangat diperlukan sistem pengenalan gesture . Pra - pengolahan terdiri
dari banyak langkah seperti segmentasi , morfologi filtering , de -noising , peningkatan , dan lain-
lain. Kualitas gambar yang diperoleh tergantung pada kondisi pencahayaan latar belakang dan
kualitas perangkat pencitraan . Sebuah gambar kualitas rendah memiliki noise akan mempengaruhi
akurasi sistem. Jadi , pra - pengolahan citra adalah wajib untuk meningkatkan kualitas gambar
yang diperoleh , yang akhirnya meningkatkan akurasi dari sistem yang diusulkan.. Dalam hal ini ,
kita menganggap RGB pada komponen gambar akan dikonversi ke format YCbCr . Setelah itu ,
menerapkan grey level thresholding dan komponen Y yang berkontribusi terhadap pencahayaan
akan dihapus .

- Hand Extraction
Segmentasi yang sangat baik diperlukan untuk memilih ambang memadai pada grey level
thresholdin untuk ekstrak tangan dari latar belakang. Yaitu tidak ada bagian dari tangan harus
memiliki latar belakang dan latar belakang juga seharusnya tidak memiliki bagian tangan.
Algoritma segmentasi Otsu diuji dan memberikan hasil segmentasi yang baik untuk gerakan
tangan. Algoritma Otsu adalah metode nonparametrik dan otomatis menyeleksi threshold. Gambar
yang dihasilkan akan menjadi gambar hitam dan putih sehingga kulit berwarna putih dan sisanya
akan berada di hitam.

- Menyaring Citra ( Image Filtering )
Morfologi image filtering digunakan untuk
menyaring piksel yang memiliki noise. Karena noise dapat
menyebabkan deteksi yang salah dari komponen yang
terhubung. Sehingga , akurasi akan menurun. The
morphological filtering beroperasi pada urutan pelebaran dan
erosi ( dilation and erosion ).
Kolom 1 menunjukkan input gambar RGB
Kolom 2 menunjukkan gambar ruang YcbCr
Kolom 3 menunjukkan citra biner
Kolom 4 menunjukkan filtered image

- Mendeteksi Kontur / tepi
Dalam pengolahan gambar , mendeteksi tepi adalah masalah yang paling kompleks
karena tepi mendefinisikan batas-batas objek yang berbeda . Ada banyak detektor tepi seperti
Sobel , Prewittive tetapi canny edge detector adlah yang terbaik di antara semua karena tiga
parameter penting. Pertama adalah tingkat kesalahan rendah . karena hanya mengambil poin tepi
dan mengabaikan semua ada poin tepi . Kriteria kedua adalah titik tepi dilokalisasi dengan baik .
Dengan kata lain, jarak antara tepi piksel seperti yang ditemukan oleh detektor dan tepi yang
sebenarnya menjadi minimal . Kriteria ketiga adalah hanya memiliki satu respon. Berdasarkan
kriteria tersebut , detektor tepi cerdik menghaluskan gambar untuk menghilangkan dan noise.

1.Menunjukkan gambar ruang
YCbCr
2.Menunjukkan citra biner
3.Menunjukkan gambar canny
edge detector

3. Pengenalan Gerak Tangan ( Hand Gesture Recognition )
Manusia memiliki berbagai jenis gerakan tangan . Gerakan tangan dibentuk oleh bentuk
pola yang berbeda tiap tangan . Gesture recognition digunakan karena memberikan hasil yang
lebih baik untuk aplikasi real time . Dalam rangka untuk mengenali bentuk tangan , dapat dipilih
parameter yang berbeda seperti perimeter , area, profil radial, dan lain-lain. Meskipun teknik yang
diusulkan didasarkan pada berbasis deteksi ,namun berhadapan dengan hanya satu parameter yaitu
puncak dan lembah dari jari-jari . Karena akan mengurangi waktu komputasi oleh sekaligus
menjaga akurasi sistem.
- Curvature Scale Space
Pada dasarnya , teknik ruang skala kelengkungan adalah indek dari
teknik operasi pengenalan pola. Teknik ini juga dianggap sebagai teknik
terbaik untuk deteksi sudut . Metode ruang skala kelengkungan akan
membantu untuk mengidentifikasi puncak dan lembah dari citra biner .
Menggunakan jumlah puncak dan lembah kita dapat mengidentifikasi
gerakan. Pada dasarnya titik-titik berlabel mewakili puncak dan lembah poin.

4 . Hasil dan Kesimpulan
Sistem yang diterapkan mampu mengenali gerakan tangan 5 dengan akurasi yang luar
biasa . Sistem yang diusulkan diuji lebih dari 5 kondisi lingkungan dan fisik yang berbeda . Set
pertama terdiri dari 25 gambar mengangkat jari tunggal dengan lima pengulangan disetiap kondisi
lingkungan . Demikian juga , set 2 , 3 , 4 dan 5 dengan menambahkan jari setiap nomor set ,
misalnya set 3 terdiri dari tiga jari sedangkan set 5 dengan lima jari . Setiap set diuji selama lima
kondisi lingkungan yang berbeda yaitu : I. Kondisi cahaya buruk, II. Kondisi latar belakang
constant, III. Kondisi latar belakang terdpat gambar yang tidak diinginkan , IV. Pada jari terdapat
cincin atau perban, dan V. Warna kulit yang berbeda-beda . Terbukti dari data yang teliti akurasi
dari sistem bervariasi dari 92 % di bawah kondisi cahaya yang buruk dan 96 % di bawah kondisi
cahaya yang baik . Terlepas dari kondisi lingkungan / fisik yang berbeda , set 1 dan set 2
memberikan ( 100 % ) gambar yang akurat sedangkan set 4 akurasi terendah sebesar ( 92 % ) .
Latar belakang dengan gambar yang tidak diinginkan ( III ) yang menghasilkan akurasi terendah (
88 % ) karena tidak adanya latar belakang yang konstan dan jelas . Keakuratan keseluruhan sistem
yang diusulkan tercatat 95,2 % .
Dengan meningkatnya kebutuhan interaksi mesin-manusia secara, teknologi gesture
tangan mendapatkan popularitas cukup baik. Parameter utama dalam bidang ini adalah akurasi dan
waktu pelaksanaan. Dalam sistem yang diusulkan hanya lima gerakan yang diambil untuk
membuat sistem yang lebih dan lebih akurat. Teknik yang paling optimal dari MATLAB telah
digunakan untuk mendapatkan waktu yang diperlukan eksekusi. Sistem yang diusulkan adalah
kuat dalam konteks variabilitas latar belakang dan ditoleransi dengan kondisi cahaya yang buruk.
Grey level thresholdin dan canny edge detector telah digunakan untuk membuat sistem yang lebih
akurat dan real time. Keakuratan keseluruhan sistem bervariasi dari 100% menjadi 88% untuk set
data yang berbeda.