Antarmuka Tetikus-tangan menggunakan

konsep monitor virtual untuk interaksi yang

natural

ABSTRAK
Bertumbuhnya ketertarikan dalam imk telah meminta penelitian pada area ini. Sebagai tambahan,
penelitian telah dilakukan pada natural user interface/natural user experience (NUI/NUX), yang
memanfaatkan gerakan isyarat dan suara dari user. Dalam kasus NUI/NUX, algoritma pengenalan
dibutuhkan untuk mengenal gerakan dan suara tersebut. Namun, algoritma pengenalan semacam itu
mempunyai kelemahan karena implementasinya yang kompleks, dan sangat membutuhkan banyak
waktu untuk pelatihannya. Karena itu, langkah-langkah yang mengandung pre-processing,
normalization, dan ekstraksi dibutuhkan.

Dalam penelitian ini, kami telah merancang dan mengimplementasikan sebuah antarmuka tetikus-
tangan yang memperkenalkan konsep baru yang bernama monitor virtual, untuk mengekstrak fitur
fisik pengguna melalui Kinect secara real time. Monitor virtual ini memungkinkan ruang virtual
dikendalikan oleh tetikus-tangan. Hal ini memungkinkan untuk memetakan koordinat pada monitor
virtual ke koordinat pada monitor sebenarnya secara akurat. Antarmuka tetikus-tangan berdasarkan
konsep monitor virtual mempertahankan kesan intuitif luar biasa yang merupakan kekuatan dari
penelitian sebelumnya dan meningkatkan keakuratan fungsi mouse. Untuk mengevaluasi kehebatan dan
keakuratan antarmuka, kami melakukan percobaan dengan 50 sukarelawan mulai dari remaja hingga
usia 50an. Hasil percobaan intuitif ini menunjukkan bahwa 84% subjek belajar menggunakan mouse
hanya dalam waktu 1 menit. Selain itu, keakuratan percobaan menunjukkan tingkat keakuratan fungsi
mouse yang tinggi (drag (80,9%), klik (80%), klik dua kali (76,7%)). Ini adalah contoh bagus dari sebuah
antarmuka untuk mengendalikan sebuah sistem dengan tangan di masa depan.

INDEKS ISTILAH NUI/NUX, Virtual Monitor, Hand mouse, Gesture Recognition, Kinect

I. PENDAHULUAN
Sejak komputer dikembangkan, ia telah menjadi bagian yang tak terpisahkan dari kehidupan kita.
Dengan semakin pentingnya komputer dalam kehidupan sehari-hari, pemikiran masyarakat secara alami
berfokus untuk membuat penggunaannya mudah dan nyaman. Untuk alasan ini, penelitian tentang
interaksi manusia-komputer (HCI) telah dilakukan secara aktif. HCI bertujuan untuk menciptakan atau
memperbaiki sistem komputasi, termasuk fungsionalitas, kehandalan, kegunaan, dan efisiensi. Dari
sudut pandang ini, antarmuka pengguna (UI) merupakan bagian penting dari HCI, yang mengarah ke
beberapa penelitian yang sama. UI telah berangsur-angsur berevolusi dari command-line interface (CLI)
yang digunakan untuk berkomunikasi dengan komputer dengan menggunakan perintah sederhana, ke
antarmuka pengguna grafis (GUI).
Baru-baru ini, penelitian tentang user interface alami / pengalaman pengguna alami (NUI / NUX) telah
dilakukan [1-3]. Saat ini GUI adalah jenis komunikasi yang paling banyak digunakan antara pengguna dan
komputer, dengan perangkat input seperti mouse dan keyboard. Di sisi lain, NUI / NUX ditandai dengan
penggunaan gerak tubuh user, suara user, dan sebagainya, untuk berkomunikasi dengan komputer
tanpa perangkat input khusus. Untuk mencapai hal ini, pembelajaran mesin, pengolahan gambar, dan
algoritma pemrosesan sinyal digunakan untuk pengenalan isyarat dan suara. Namun, karena algoritma
ini sangat sulit untuk diimplementasikan dan memerlukan sejumlah besar waktu untuk pelatihan untuk
mencapai pengenalan, sulit untuk mewujudkan NUI / NUX. Oleh karena itu, sebagai alternatif, perlu
dikembangkan UI dengan implementasi sederhana dan kinerja yang prima.

Baru-baru ini, Microsoft Kinect telah mendapatkan popularitas besar di kalangan masyarakat umum dan
pengembang sebagai alat pengembangan untuk NUI / NUX. Kinect dapat dengan mudah memperoleh
informasi mendalam yang tidak bisa diakses menggunakan kamera biasa melalui sensor. Hal ini dapat
membantu dalam pengenalan isyarat atau suara, melalui perangkat pengembangan perangkat lunak
(SDK) yang disediakan, yang dapat menangani pemrosesan gambar dan pengenalan ucapan tanpa
algoritma tambahan. Kinect juga menerapkan kerangka gambar, yang memiliki keuntungan sehingga
memudahkan memperoleh informasi lokasi dan kedalaman untuk masing-masing sendi. Contoh
penelitian menggunakan Kinect mencakup sistem yang memilih objek di dunia maya melalui kamera
Kinect dan perangkat lunak untuk orang tua dengan gangguan mobilitas [45]. Selain itu, sebuah studi
pada tetikus-tangan, yang menjadi dasar penelitian ini, dilakukan pada tahun 2014 [6].

Dalam penelitian ini, sistem yang diusulkan adalah antarmuka mouse-tangan yang memperkenalkan
konsep baru yang disebut "monitor virtual" untuk mengekstrak fitur fisik pengguna secara real time. Kita
bisa dengan mudah mendapatkan fitur fisik pengguna menggunakan Kinect. Monitor virtual dihasilkan
berdasarkan fitur fisik pengguna. Adalah mungkin bagi pengguna untuk secara akurat mengendalikan
penunjuk mouse menggunakan tangan mereka. Apalagi monitor virtual itu intuitif, karena digunakan
seperti layar sentuh. Melalui ini, kami mengusulkan antarmuka mouse-intuitif dengan akurasi yang lebih
baik daripada antarmuka seperti sebelumnya.

Pada bagian 2, kami meninjau kembali karya sebelumnya pada mouse tangan NUI / NUX. Bagian 3
menjelaskan desain dan implementasi antarmuka mouse. Pada bagian ini, kami menjelaskan total arus
antarmuka mouse-tangan. Kami kemudian menjelaskan bagaimana membuat monitor virtual,
mengkoordinasikan algoritma transformasi, dll. Bagian 4 menyajikan evaluasi eksperimental terhadap
akurasi dan intuitif. Untuk memverifikasi keakuratannya, kami membandingkan hasilnya dengan mouse
tangan lainnya, dengan menggunakan OpenCV untuk menunjukkan keunggulan sistem yang diusulkan.

II. PEKERJAAN YANG TERKAIT

A. Natural User Interface
UI digunakan untuk mengeluarkan perintah untuk mengendalikan input data dan
mengoperasikan sistem atau perangkat lunak. Tujuan UI adalah untuk memastikan kelancaran
komunikasi antara pengguna dan perangkat lunak atau komputer. Banyak insinyur komputer
telah melakukan studi di UI untuk komunikasi yang nyaman dan mudah digunakan. Saat ini, kita
sedang memasuki era NUI, yang menggunakan isyarat dan suara alami pengguna, melalui era
GUI yang saat ini paling banyak digunakan. Contoh NUI mencakup antarmuka pengguna
berdasarkan isyarat menggunakan serat, sensor magnetik, dan sarung tangan data [7]. UI yang
 menggunakan perangkat fisik akan mengenali isyarat pengguna secara akurat, namun perangkat
fisik tertentu harus dipasang ke pengguna. Contoh lain adalah UI berdasarkan suara, yang
merupakan metode komunikasi paling universal dan termudah antara manusia. Contoh khas UI
yang menggunakan suara adalah Siri milik Apple Corporation. Pengenalan ucapan sangat intuitif,
tapi mungkin lemah atau tidak bisa dikenali karena kebisingan dari lingkungan sekitar [8].

Namun, algoritma pengenalan yang sesuai untuk masing-masing diperlukan untuk mewujudkan
UI berdasarkan isyarat atau suara. Algoritma pengenal memerlukan langkah-langkah seperti
ekstraksi fitur, normalisasi, pra-pengolahan, dan algoritma pembelajaran mesin seperti model
Markov tersembunyi (HMM) [9-11]. Langkah-langkah ini sangat kompleks dan tidak praktis, dan
tidak mudah diimplementasikan. Kelemahan lainnya adalah waktu yang perlu diinvestasikan
dalam pelatihan.

B. Hand Mouse
Mouse tangan mengacu pada metode kontrol yang memungkinkan pengguna mengendalikan
penunjuk mouse menggunakan tangan pengguna. Telah banyak usaha untuk mengendalikan
sistem atau perangkat lunak menggunakan tangan. Sebuah studi tentang penggunaan sarung
tangan data untuk membuat presentasi dilakukan pada tahun 1993 (lihat Gambar 1 [12]).

Dalam beberapa tahun terakhir, sebuah sistem NUI dikembangkan untuk mengenali area tangan
dengan menggunakan kamera dan mengendalikan mouse dengan merekonstruksinya dalam
ruang tiga dimensi [13]. Namun, antarmuka mouse-tangan yang ada memiliki kelemahan dari
pengguna yang perlu mengetahui petunjuk untuk tangan yang telah ditentukan sebelumnya.

Dalam karya kami sebelumnya, kami merancang skema mouse tangan yang menentukan operasi
mouse "bergerak", "klik", dan "klik ganda" dengan mengenali jarak yang bergerak dari tangan
kiri dan kanan di ruang tiga dimensi. Antarmuka mouse pada penelitian sebelumnya ditunjukkan
pada Gambar 2. Namun, pengguna memiliki beberapa kesulitan dengan skema ini, karena
rendahnya akurasi fungsi mouse [6]. Masalah ini disebabkan oleh kebutuhan untuk mengekstrak
fitur fisik pengguna secara real time. Bila pengguna menggunakan antarmuka tangan-mouse,
terjadi perubahan yang tidak kentara, (karena badan pengguna tidak tetap), yang
mempengaruhi area kontrol mouse, sehingga menyulitkan pengguna mengendalikan penunjuk
mouse.