BUKU PANDUAN PENGUNAAN ALAT

SISTEM KENDALI BERBASIS HAND GESTURE

RECOGNITION PADA ROBOT TRANSPORTER

Disusun Oleh:

1. Bagas Martinus Rianu

2. Wahyu Dirgantara, S.T., M.T.
3. Ir. Subairi, S.T., M.T., IPM.

PROGRAM STUDI TEKNIK ELEKTRO

FAKULTAS TEKNIK

UNIVERSITAS MERDEKA MALANG

2023
PANDUAN ALAT
I. KOMPONEN PENUNJANG
Beberapa komponen yang dipakai dalam alat ini sebagai berikut:
➢ Robot Transporter
➢ Laptop (Include webcam internal)
➢ Kamera external (Optional)
➢ Kabel USB (Optional)
➢ Tripod (Optional)

II. PENGOPERASIAN ALAT

1. Siapkan robot transporter yang akan digunakan. Hidupkan robot
transporter dengan cara menghubungkan catu daya pertama (baterai
18650 12V) yang sudah terpasang female DC power connector
sebelumnya ke male DC power connector yang terpasang pada pin
12v dan GND motor driver L298N, kemudian hubungkan juga catu
daya kedua (baterai 18650 7.4V) pada Vin – dan Vin + pada Modul
automatic boost and buck DC to DC pada robot transporter. Setlah
catu daya kedua sudah terpasang, tekan tombol ON pada Modul
automatic boost and buck DC to DC.
*perhatikan tanda dan kabel negative dan positif pada pin dan juga
baterai sebelum melakukan pemasangan
2. Setelah menyiapkan robot transporter, siapkan juga laptop (include
webcam internal) yang akan digunakan. Apabila, anda tidak ingin
menggunakan webcam internal yang ada pada laptop, anda bisa
menggunakan kamera external, seperti webcam external/kamera
DSLR/SLR/mirrorless, dan taruh kamera external pada tripod agar
hasil gambar nantinya stabil lalu hubungkan menggunakan kabel
USB ke laptop.
*pastikan kamera mendukung apabila digunakan sebagai kamera
pengganti webcam internal laptop dan memiliki port USB untuk
dihubungkan ke laptop
3. Setelah persiapan robot transporter, laptop dan kamera selesai. Buka
software pemrograman PyCharm pada laptop untuk menjalankan
program yang sudah dibuat sebelumnya.
4. Sebelum menjalankan program, ada beberapa hal yang harus anda
perhatikan:
• Ubah keterangan ‘COM7’ pada program bagian #Inisialisasi
koneksi dengan Arduino sesuai dengan keterangan Port
Arduino yang terbaca pada laptop anda masing-masing.

• Masukkan angka index kamera pada cap =

cv2.VideoCapture(“index kamera”) di bagian program
#Inisialisasi kamera dengan angka 0 atau 1. Angka 0, apabila
anda menggunakan webcam internal laptop, dan angka 1 apabila
menggunakan kamera external.

5. Setelah persiapan pada bagian program sesuai dengan ketentuan dan

yang anda inginkan, jalankan program dengan menekan fungsi
“run” pada PyCharm atau menekan [Shift+F10] pada keyboard.
6. Kemudian hasil tangkapan kamera akan ditampilkan pada layar
laptop. Jika anda mengangkat tangan kanan dan terdeteksi oleh
kamera maka hasil yang akan ditampilkan adalah hand landmark
dengan fungsi “Finger Up”, sedangkan jika tangan kiri yang
 terdeteksi maka hasil yang akan ditampilkan adalah hand landmark
dengan fungsi “Range Gesture”

7. Selanjutnya, untuk mengendalikan sistem gerak (Motor DC) pada

robot transporter, anda dapat menggunakan tangan kanan dengan
fungsi “Finger Up”. Berikut adalah identifikasi pengendalian untuk
sistem gerak robot transporter:

(a) Model Tangan Gerak Forward (b) Model Tangan Gerak Backward (c) Model Tangan Gerak Right

(d) Model Tangan Gerak Left (e) Model Tangan Gerak Circle (f) Model Tangan Gerak Stop

8. Selanjutnya, untuk mengendalikan sistem lengan dan gripper (Motor

servo) pada robot transporter, anda dapat menggunakan tangan kiri
dengan fungsi “Range Gesture”. Anda dapat menggerakkan 4 jari
(ibu jari, jari telunjuk, jari tengah, dan jari manis) untuk memperoleh
gerakkan lengan dan gripper yang anda inginkan. Identifikasi jari
dan servo sesuai dengan gambar di bawah ini:
 9. Kemudian untuk menghentikan program dengan cara menekan
tombol [q] maka program akan berhenti.

III. TAMPILAN KESELURUHAN PROGRAM

Tampilan hand landmark kedua tangan ketika menjalankan program

Pada alat ini menampilkan hand landmark pada kedua tangan yang
memiliki fungsi berbeda pada masing-masing tangan; tangan kiri (Range
Getsure) untuk mengendalikan gerak roda robot transporter, dan tangan
kanan (Finger Up) untuk mengendalikan gerak lengan dan gripper robot
transporter.
IV. MENGATASI MASALAH
1. Jika alat tidak berfungsi, (periksa input daya dan pastikan
terhubung dengan daya yang cukup)
2. Proses pairing Bluetooth sulit terhubung antara laptop dan robot
transporter, (pastikan pada program bagian #Inisialisasi koneksi
dengan Arduino sesuai dengan keterangan Port Arduino yang
terbaca pada laptop anda masing-masing).
3. Hasil tangkapan kamera tidak tampil pada layer laptop, (periksa
angka index kamera pada cap = cv2.VideoCapture(“index
kamera”) di bagian program #Inisialisasi kamera dengan angka 0
atau 1. Angka 0, apabila anda menggunakan webcam internal
laptop, dan angka 1 apabila menggunakan kamera external
4. Frame deteksi hand landmark drop/hang, (stop program dan
jalankan ulang program).
V. FOTO ALAT

Penampakan perangkat yang digunakan untuk menunjang sistem kendali pada

Roboot Transporter

Penampakan Robot Transporter