Implementasi dan Analisis Metode Edge-Based Shape Detection dalam Membaca Isyarat Tangan Menjadi Remote Control Komputer

Proposal Tugas Akhir KBK: Informatika Teori dan Pemrograman (ITP)

Shulha Yahya Urwata 113108038

Fakultas Informatika Institut Teknologi Telkom Bandung 2011

Latar Belakang Masalah Manusia dapat berkomunikasi dengan sesamanya menggunakan isyarat tangan. Misalnya mengacungkan satu jari untuk menunjuk suatu barang atau melambaikan tangan untuk mengundang orang lain untuk datang. Mencoba meniru pola komunikasi manusia dengan isyarat tangan dan menerapkannya ke dalam komputer, maka isyarat tangan dapat digunakan untuk berkomunikasi dan mengirimkan instruksi kepada komputer. Dalam dunia komputer, mouse merupakan salah satu pointing device yang paling populer dan banyak digunakan. Perangkat ini mendeteksi gerakan dua dimensi pada suatu permukaan kemudian menterjemahkannya menjadi intruksi untuk menggerakkan cursor dalam display komputer. Penggunaan mouse pada saat ini sudah banyak berkembang. Mouse tidak lagi hanya memiliki fungsi sebagai pointing device saja. Tapi memiliki berbagai fungsi lain seperti zoom, scroll, mengubah volume, dan berbagai fungsi lainnya. Akan tetapi mouse bekerja membutuhkan suatu permukaan, dan hanya optimal jika berada pada sebuah permukaan datar. Dalam dunia game sudah ada pointing device yang tidak memerlukan permukaan datar, seperti light-gun dan remote wii. Kedua alat ini telah menjadi remote yang mampu mengendalikan komputer. Beberapa penelitian hand tracking dengan menggunakan kamera sudah banyak dilakukan baik yang berbasis tiga dimensi maupun dua dimensi. Tracking berbasis tiga dimensi mampu mengitung posisi sumbu z suatu objek namum membutuhkan kamera stereoskopik. Pada penelitian ini akan mengimplementasikan tracking berbasis dua dimensi. Kebanyakan hasil penelitian yang sudah ada memiliki kekurangan untuk deteksi pada background yang komplek. Pada penelitian ini akan mencoba memperbaiki kekurangan tersebut dengan menerapkan metode Haar Cascade yang sudah banyak digunakan dalam pendeteksian wajah. Beberapa penelitian menunjukkan bahwa metode Haar Cascade memiliki komputasi yang baik sehingga cocok untuk klasifikasi yang bersifat realtime. Dengan menggunakan kamera dua dimensi (dalam penelitian ini sebuah webcam) dan penerapan computer vision, maka gerakan tangan manusia yang ditangkap

oleh kamera bisa diterjemahkan menjadi instruksi. Selanjutnya gerakan ini dijadikan sebagai pointing device dan remote yang bisa mengendalikan komputer menggantikan mouse. Berbagai variasi isyarat seperti posisi menunjuk, dua jari, dan tiga jari menunjuk dapat digunakan untuk menjalankan fungsi-fungsi dalam mouse seperti klik kiri, scroll, klik kanan. Dengan berbagai fungsi tersebut maka diharapkan bisa membantu seorang pengguna komputer untuk melakukan navigasi saat presentasi, browsing dokumen maupun Internet, bahkan mengetik dari jarak jauh hanya menggunakan sebuah kamera dan tangan tanpa menggunakan mouse dan keyboard. Kata Kunci : Computer Vision, Edge-Based Detection, Jaringan Saraf Tiruan, Remote Control, Isyarat Tangan Perumusan Masalah Masalah yang dicoba untuk dirumuskan dalam tugas akhir ini adalah sebagai berikut : 1. Membangun aplikasi remote control untuk komputer dengan Motion Detection,

menggunakan isyarat tangan manusia. 2. Menerapkan metode Optimal Edge-Based Shape Detection untuk melakukan deteksi dan klasifikasi berbagai variasi isyarat tangan yang sudah ditentukan(isyarat tangan untuk aksi klik kiri, klik kanan, scroll, dan pemanggilan virtual keyboard diatur dari awal dan tidak bisa diubahubah). 3. Menambahkan Jaringan Saraf Tiruan untuk learning isyarat tangan yang baru dan mengeset aksi apa yang akan dilakukan oleh isyarat tersebut. 4. Urutan proses dalam perangkat lunak : No Proses 1 2 Input Video Motion Detection Input Kamera Image Sequence Output Image sequence Region objek yang bergerak

Klasifikasi Isyarat Tangan Output ke display monitor

Region objek yang bergerak - Klas Isyarat tangan, - Image Sebelumnya

Klas Isyarat tangan - Gerakan pointer - Aksi mouse (klik, scroll)

Batasan Masalah Dalam tugas akhir ini, obyek penelitian dibatasi dengan ruang lingkup sebagai berikut : 1. Gerakan tangan yang diproses adalah gerakan yang posisinya dianggap terdekat dengan kamera. 2. Isyarat tangan untuk aksi klik kiri, klik kanan, scroll, dan pemanggilan virtual keyboard diatur dari awal dan tidak bisa diubah-ubah. 3. Aksi selain klik kiri, klik kanan, scroll, dan pemanggilan virtual keyboard bisa diset dengan isyarat tangan yang lain sesuai kebutuhan. Tujuan Adapun tujuan dari tugas akhir ini adalah : 1. Membangun aplikasi remote control untuk komputer dengan

menggunakan isyarat tangan manusia yang memiliki berbagai fungsi dan mampu mempelajari isyarat tangan yang baru. 2. Menganalisis performansi dan akurasi metode Edge-Based Shape Detection untuk klasifikasi isyarat tangan dan menerapkannya sebagai preprocessing dalam proses learning isyarat tangan baru menggunakan Jaringan Saraf Tiruan. Hipotesa Metode Edge-Based Shape Detection mampu melakukan shape detection dalam image dua dimensi dengan baik. Metode ini tanpa melibatkan Artificial Intelligence mampu melakukan klasifikasi berbagai obyek dan mampu melakukan klasifikasi isyarat tangan. Akan tetapi untuk dapat melakukan learning isyarat tangan yang baru maka perlu menerapkan Jaringan Saraf Tiruan yang mampu melakukan pengenalan pola dengan efektifitas yang sangat tinggi [1].

Metodologi Penyelesaian Masalah Metodologi yang digunakan dalam memecahkan permasalahan-permasalahan dalam Tugas Akhir ini terdiri dari lima tahap, yaitu: 1. Studi Literatur Metode ini dilaksanakan dengan melakukan studi literatur yang berasal dari buku, ebook, paper, tugas akhir sejenis, artikel-artikel lain maupun aplikasi sejenis yang sudah ada. Studi literatur diarahkan untuk mempelajari berbagai metode deteksi pola dalam citra dua dimensi, metode motion detection, dan Jaringan Saraf Tiruan. 2. Analisis dan Desain Pada tahapan analisis dilakukan penentuan kebutuhan apa saja yang diperlukan. Dari kebutuhan ini maka desain perangkat lunak bisa mulai dibuat untuk menentukan fitur-fitur yang ada dan menentukan library yang sesuai yang digunakan untuk membangun perangkat lunak. 3. Implementasi Proses coding atau implementasi ke dalam program berdasarkan rancangan yang telah dibuat sebelumnya. Urutan implementasi dilakukan sesuai urutan proses yang terdapat dalam rumusan masalah. 4. Pengujian dan Analisa Hasil Tingkat akurasi dan performansi perangkat lunak dalam menterjemahakan gerakan dan isyarat tangan menjadi aksi dalam komputer diuji dalam tahapan ini. Tingkat akurasi diukur berdasarkan presentase keberhasilan perangkat lunak dalam mengklasifikasi gerakan tangan, sedangkan performansi diukur berdasar waktu yang dibutuhkan perangkat lunak untuk merespon suatu gerakan tangan. 5. Pembuatan Laporan Pada tahap ini dilakukan penyusunan laporan hasil penelitian yang telah dilakukan dan membuat kesimpulan dari hasil penelitian tersebut.

Jadwal Kegiatan Jadwal pelaksanaan Tugas Akhir ini adalah sebagai berikut:
Kegiatan
1 2

1
3 4 1 2

2
3 4 1 2

3
3 4

Bulan ke4
1 2 3 4 1 2

5
3 4 1 2

6
3 4 1 2

7
3 4

Studi Literatur Analisis dan Desain Implementasi Pengujian dan Analisa Hasil Pembuatan Laporan

Daftar Pustaka [1] Suyanto, Soft Computing, Membangun Mesin Ber-IQ Tinggi. Bandung: Informatika, 2008. [2] (2011, October) Wikipedia. [Online]. http://en.wikipedia.org/wiki/Mouse_(computing) [3] Y Amit, 2D Object Detection and Recognition. Massachusetts: MIT, 2002. [4] T Nakamura, S Takahasi, and J Tanaka, "Double-Crossing: A new Interaction Technique for Hand Gesture Interfaces," in Computer-Human Interaction. Berlin: Springer Berlin, 2008. [5] T Acharya and Ajoy K Ray, Image Processing Principles and Applications. New Jersey: John Wiley & Sons, Inc, 2005. [6] C Xu, J Liu, and X Tang, "2D Shape Matching by Contour Flexibility," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 31, p. 180, January 2009. [7] H Moon, R Chelappa, and Rosenfeld A, "Optimal Edge-Based Shape Detection," IEEE Transactions on Image Processing, vol. 11, p. 1209, November 2002. [8] MW Lee and R Nevatia, "Human Pose Tracking in Monocular Sequence Using Multilevel Structured Models," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 31, p. 27, January 2009. [9] B Chalmond, B Francesconi, and S Herbin, "Using Hidden Scale for Salient Object Detection," IEEE Transaction on Image Processing, vol. 15, p. 2644, September 2006. [10] HT Nguyen, M Worring, R van den Boomgaard, and AWM Smeulders, "Tracking Nonparameterized Object Contours in Video," IEEE Transactions on Image Processing, vol. 11, p. 1081, September 2002. [11] WY Chang, CS Chen, and YD Jian, "Visual Tracking in High-Dimensional State Space by Appearance-Guide Particle Filtering," IEEE Transactions on Image Processing, vol. 17, p. 1154, July 2008. [12] FB Adinugraha, "Penerapan Algoritma Hidden Markov Model dengan Klasifikasi Support Vector Machine untuk Mendeteksi Gerakan Tangan," Tugas Akhir, p. 1, January 2011. [13] WA Kurnia, "Hand Tracking pada Citra Video Menggunakan Algoritma Camshift, Studi Kasus:Virtual Mouse," Tugas Akhir, January 2009. [14] M Elmezain, A Al-Hamadi, and B Michaelis, "A Hidden Markov Model Based Isolated and Meaningful Hand Gesture Recognition," 2009. [15] M Susmikanti, "Pengenalan Pola Berbasis Jaringan Saraf Tiruan dalam Analisa CTSCAN Tumor Otak Belinga," Seminar Nasional Aplikasi Teknologi Informasi 2010, Juni 2010. [16] AA Argyros and MIA Lourakis, "Vision-Based Interpretation of Hand Gestures for Remote Control of a Computer Mouse," 2006. [17] R Miezianko, "Motion Detection and Object Tracking in Grayscale Videos," January 2006.

3. PERANCANGAN SISTEM 3.1. DESKRIPSI SISTEM Motion estimation Deteksi tangan Tangan terdekat, asumsi tangan yang memiliki luas region terbesar. Deteksi posisi kelima jari Asumsi semua jari memiliki lebar yang hampir sama. Satu jari lebarnya=1/5 lebar tangan. Klasifikasi ke gerakan tangan. 3.2. SKENARIO PENGUJIAN 3.3. IMPLEMENTASI SISTEM 3.3.1. LINGKUNGAN IMPLEMENTASI 3.3.2. IMPLEMENTASI PROGRAM