Team Teaching

Robotika Cerdas
Sistem Penginderaan Visual Robot

Universitas Gunadarma | 2021

 Tim Pengajar Kami

Pemateri 1 Pemateri 2 Pemateri 3 Pemateri 4 Pemateri 5

Tb. Maulana Kusuma, SKom., Yohanes Kurnia, ST, MMSI Isram Rasal, ST, MMSI, MSc. Yogi Permadi, SKom., MT Sandy Suryo Prayogo, ST, MT
MEngSc., PhD
 Agenda

01 Visual Robot
Computer vision, jenis-jenis kamera

02 Visual Tracking
Background subtranction, mean shift

03 Object Detection
04 Demo Aplikasi
Proximity Sensor
• Sensor yang mampu mendeteksi
keberadaan benda di sekitar tanpa
adanya kontak fisik.

• Sebagian besar menggunakan metode

dengan memancarkan medan atau
radiasi elektromagnetik dan mencari
perubahan pada sinyal balik.
Perbedaan Sensor Jarak dan Sensor Proximity
Sensor proximity

• Sensor proximity mendeteksi jika suatu

objek berada dalam area penginderaan
tempat sensor dirancang untuk beroperasi.

• Sensor jarak merasakan jarak dari objek ke

alat pengukurnya melalui sinyal
keluarannya. Sinyal bisa dalam bentuk Sensor jarak

gelombang ultrasonik, laser, IR, dll.

http://arcbotics.com/
Passive Infrared Motion Sensor (PIR)
• Modul sebenarnya terdiri dari sensor
piroelektrik yang menghasilkan energi saat
terkena panas.

• ketika tubuh manusia atau hewan akan masuk

dalam jangkauan sensor maka akan
mendeteksi adanya gerakan karena tubuh
manusia atau hewan tersebut memancarkan
energi panas berupa radiasi infra merah.

HC-SR501
Sensor jarak ultrasonik
• Jenis sensor pengukur jarak yang
paling umum adalah Sensor
Ultrasonik. Juga dikenal sebagai
sensor Sonar,

• Mendeteksi jarak ke objek dengan

memancarkan gelombang ultrasonik
frekuensi tinggi.
Sensor Jarak Inframerah

• Sensor jarak infrared atau disingkat

IR.

• Melakukan penginderaan jarak

melalui pancaran sinar IR dan
menghitung sudut refleksi.

Sharp GP2Y0A21YK0F
Sensor Jarak Laser: Sensor LiDAR

• LiDAR (Light Detection and Ranging)

• Sensor jarak laser ini mengukur

jangkauan target melalui gelombang
cahaya dari laser, bukan gelombang
radio atau suara.
Sensor Jarak Laser: Rotating Lidar

• Merupakan sensor Lidar yang

berputar sehingga dapat melakukan
deteksi objek sekitar, dan bahkan
dapat melakukan pemetaan suatu
ruangan.
Visual Robot
• Visual robot membutuhkan kemampuan
untuk mengidentifikasi dan secara akurat
menentukan posisi dari objek tiga dimensi
di tempat robot bekerja.
• Visual robot dapat didefinisikan sebagai
proses extracting, characterizing, dan
menafsirkan informasi dari citra/gambar,
yang didapat dari lingkungan tiga dimensi
Visual Robot – Fundamental Tasks
• Transformasi citra
• Analisis citra
• Pemahaman citra
Tujuan Umum Visual Robot
• Sistem dapat menangkap(capture) data yang relevan dan mampu melakukan update
informasi sekalipun dengan objek yang bergerak.

• 4 Langkah yang dapat dilakukan:

• Object verification dan tracking
• Ekstraksi fitur secara cepat dan stabil
• Akuisisi model object
• Indexing model object secara efisien
Computer Vision
• Computer vision adalah interdisiplin bidang ilmu
yang membahas bagaimana komputer dapat
memperoleh pemahaman tingkat tinggi dari
sebuah gambar atau video digital.

• Dari perspektif teknis, computer vision

berusaha untuk memahami dan
mengotomatiskan tugas-tugas yang dapat
dilakukan oleh sistem visual manusia.
Sensor Vision Pada Robot
• Single Perspective Camera

• Multiple Perspective Camera

• Laser Scanner

• Omnidirectional Camera

• Structured Light Sensor

• FLIR Camera
Single Perspective Camera
• Web camera
• Pocket camera
• dll
Multiple Perspective Camera

• Kinect camera
• Handphone camera
Laser Scanner
• Laser range finder
• LIDAR
Omnidirectional Camera
Structured Light Sensor
FLIR Camera
• FLIR = Forward Looking InfraRed
Visual Servoing

• Visual servoing, juga dikenal sebagai vision-based robot control atau disingkat
VS, adalah teknik yang menggunakan informasi feedback yang diekstraksi
dari sensor vision/camera.

• Feedback visual digunakan untuk mengontrol gerakan robot.

• Servoing berjalan pada kontrol closed loop.

Arsitektur Visual Servoing
Contoh Visual Servoing
Visual Tracking: Background Subtraction
• Background subtraction adalah algoritma yang paling mudah diterapkan.
• Algoritmanya adalah:
• Asumsikan bahwa background adalah statis.
• Ekstraksi background dilakukan dengan mencari nilai median pada keseluruhan image
sequences.
• Setelah mendapatkan model background, selanjutnya adalah melakukan tracking.
• Tracking bisa digunakan dengan menggunakan algoritma template matching.
• Antara frame dengan model background, dicari nilai minimal pada perhitungan
• SAD (Sum of Absolute Distance)
• SSD (Sum of Square Differences)
Visual Tracking: Background Subtraction
Visual Tracking: Mean Shift
• Mean Shift adalah salah satu algoritma yang sering digunakan untuk visual
tracking.

• Konsep dasarnya adalah menghitung nilai probability density function (PdF)

pada ROI (region of interest) dan frame citra, kemudian menggeser jendela
ROI ke frame selanjutnya atas dasar perhitungan (PdF) di frame selanjutnya.

• Salah satu fitur citra yang bisa digunakan adalah warna (color).
Visual Tracking: Mean Shift
Object Detection
• Object detection adalah sistem yang bisa mendeteksi objek apa saja yang ada pada
suatu gambar/citra.
• Ada beberapa metode yang bisa digunakan untuk mendeteksi objek, yaitu:
• Histogram of Oriented Gradients (HOG)
• Fast R-CNN
• Single Shot Detector (SSD)
• YOLO (You Only Look Once)
• Dll
Object Detection
Gesture Recognition

• Pengenalan gestur (gesture

recognition) adalah untuk mengenali
makna dari ekpresi gerakan
manusia, temasuk didalamnya
tangan, lengan, wajah, kepala, dan
atau tubuh.
Demo Aplikasi

• Face Recognition

• Object Tracking

• Object Detection
Apa itu deteksi objek ?

Proses mengenali objek yang terdapat

pada gambar tertentu dan juga
posisinya dalam gambar tersebut.

http://machinethink.net/blog/object-detection-with-yolo/
Darknet dan Yolo

Universitas Gunadarma | 2021

Alur deteksi objek

Setiap algoritma dektesi objek

memiliki cara kerja yang berbeda,
akan tetapi mereka semua bekerja
dengan prinsip yang sama yakni
Ekstraksi Fitur

https://medium.com/edureka/
Apa itu Darknet?

Darknet adalah salah satu framework

sumber terbuka yang mampu
melakukan Deteksi Objek dan
Klasifikasi Gambar dalam bentuk
Jaringan Neural Konvolusional.

https://github.com/pjreddie/darknet
Arsitektur YOLO

Terdiri dari neuron yang tersusun

sedemikian rupa sehingga membentuk
sebuah filter dengan panjang dan
tinggi (pixels). Sebagai contoh, layer
pertama pada feature extraction layer
biasanya adalah convolution layer
https://www.researchgate.net/
dengan ukuran 5x5x3.
Algoritma YOLO

YOLO menggunakan pendekatan yang

sangat berbeda dengan algoritma
sebelumnya, yakni menerapkan
jaringan syaraf tunggal pada
keseluruhan gambar.

https://github.com/pjreddie/darknet/wiki/YOLO
Algoritma YOLO

Pada bagian akhir akan dipilih kotak

pembatas dengan nilai yang paling
tinggi untuk di jadikan sebagai
pemisah objek satu dengan yang lain
seperti pada gambar berikut.

https://github.com/pjreddie/darknet/wiki/YOLO
TERIMA KASIH
Sistem Penginderaan Visual Robot