Laboratorium Robotika Jurusan Teknik Elektro FT-UM

FAKULTAS TEKNIK
JURUSAN TEKNIK ELEKTRO
JOBSHEET I : PEMROGRAMAN SENSOR KAMERA (PIXY CMU CAM 5)
ROBOTIKA PTEL 668 Offering: ...... Kelompok: .....
NAMA / NIM : ...................................................................................... Nilai: .............

1.1 Tujuan
Praktikum antarmuka sensor kamera Pixy CMU Cam 5 dengan Arduino ini memiliki tujuan
sebagai berikut, yaitu:
1) Mahasiswa mampu merangkai sensor kamera Pixy CMU Cam 5 dengan Arduino
2) Mahasiwa mampu melakukan kalibrasi sensor kamera Pixy CMU Cam 5
3) Mahasiswa mampu melakukan pembacaan data sensor kamera Pixy CMU Cam 5
4) Mahasiswa mampu menganalisis data sensor kamera Pixy CMU Cam 5

1.2 Uraian Materi

A. Dasar Pengolahan Citra Kamera
Citra adalah sebuah larik atau matriks dari pixel persegi yang disusun dalam format
kolom dan baris. Salah satu karakteristik penting dari citra adalah warna. Warna merupakan
pembeda yang dapat digunakan untuk menyederhanakan proses identifikasi dan ekstraksi
objek dari sekitarnya. Manusia mampu membedakan ribuan warna lebih baik dibandingkan
dengan membedakan puluhan tingkat keabuan (grayscale). Oleh karena itu diperlukan teknik
khusus untuk memanipulasi citra warna sehingga bisa diolah dan digunakan untuk
membantu proses penyederhanaan identifikasi dan ekstraksi objek atau yang lebih dikenal
dengan istilah segmentasi (Sutoyo, 2009).
Proses identifikasi warna dapat dilakukan melalui beberapa model diantaranya adalah
sebagai berikut:
1) Model Warna RBG
Model warna RGB biasanya digunakan pada warna monitor dan kamera video. Dalam
model RGB tiap warna ditunjukkan dengan kombinasi tiga warna primer, yaitu merah (red),
hijau (green), dan biru (blue). Ketiga warna primer tersebut membentuk sistem koordinat
cartesian tiga dimensi (Gambar 1.1). Subruang pada diagram tersebut menunjukkan posisi
tiap warna. Nilai RGB terletak pada satu sudut dan nilai cyan, magenta dan yellow berada
disudut lainya. Warna hitam berada pada titik asal, sedangkan warna putih terletak pada titik
jenuh dari titik asal. Grayscale membentuk garis lurus dan terletak diantara dua titik
teresebut.

Jobsheet 1 – Pemrograman Sensor Kamera

1
 Laboratorium Robotika Jurusan Teknik Elektro FT-UM

Gambar 1.1 Model Warna RGB

a. Model Warna CMY dan CMYK
Warna cyan (C), magenta (M), dan yellow (Y) adalah warna komplementer terhadap Red
Green Blue (RGB). Dua buah warna komplementer jika dicampur dengan perbandingan
yang tepat menghasilkan warna putih seperti ditunjukkan pada Gambar 1.2 berikut.

(a) RGB (b) CMY

Gambar 1.2 Perbedaan Warna RGB dan CMY
Model warna CMYK berorientasi hardware, biasanya digunakan untuk model printer. CMY
digunakan hanya untuk mengkonversi sistem RGB menjadi sistem yang bisa dilihat oleh
mata, Model CMY dapat diperoleh dari model RGB dengan persamaan berikut
C = 1 – R .............................................................................................................(1)
M = 1 – G ............................................................................................................(2)
Y = 1 – B .............................................................................................................(3)

Model CMY digunakan untuk mencetak warna. Pada praktiknya, pencampuran warna
CMY tidak akan menghasilkan warna yang murni hitam (menghasilkan coklat lumpur)
terutama untuk model printer. Model CMY disempurnakan menjadi model CMYK,
dengan K menyatakan warna keempat agar dapat menghasilkan warna hitam murni
dengan perhitungan berikut:

K = min(C,M,Y).....................................................................................................(4)
C= C – K .............................................................................................................(5)
M = M – K ...........................................................................................................(6)
Y = Y – K .............................................................................................................(7)

Jobsheet 1 – Pemrograman Sensor Kamera

2
 Laboratorium Robotika Jurusan Teknik Elektro FT-UM

b. Model Warna HSI (Hue, Saturation, Intensity)

Model HSI merupakan sistem warna yang paling mendekati cara kerja mata manusia.
HSI menggabungkan informasi, baik warna maupun grayscale dari sebuah citra.
Sementara itu, model warna RGB dan CMY tidak cocok untuk mendeskripsikan warna
berdasarkan interpretasi manusia. Berasal dari kata hue (H), saturation (S), intensity (I)
dimana hue mendeskrisikan warna murni, saturation mendeskripsikan derajat banyaknya
warna murni yang dilunakkan dengan warna putih dan intensitas menggabungkan
informasi dari warna H, dan S.

B. Sensor Kamera Pixy CMU Cam 5

Pixy CMU Cam 5 merupakan sensor kamera generasi ke-5 dari CMU Cam dengan
prosesor yang sangat powerfull. CMU Cam 5 menggunakan prosesor NXP LPC4330, 204
MHz, dual core dengan image sensor omnivision OV9715. Pixy CMU Cam 5 dapat diprogram
untuk mengirimkan informasi berupa data gambar, sehingga proses pembacaan data
gambar pada master mikrokontroler tidak terbebani. Jangkauan sudut pandang kamera CMU
Cam 5 sebesar 750 untuk bidang horizontal dan 470 untuk bidang vertikal. Pixy CMU Cam 5
menggunakan warna dan saturasi sebagai sasaran utama pada pendeteksi gambar. Sensor
ini mampu mendeteksi tujuh warna yang berbeda dan dapat meng-capture objek dengan
kecepatan 50 fps. Gambar sensor kamera Pixy CMU Cam 5 dapat ditunjukkan pada Gambar
1.3 berikut.

Gambar 1.3 Kamera Pixy CMU Cam 5

Proses pengiriman data pada Pixy CMU Cam 5 dapat dilakukan dengan berbagai jalur
komunikasi data, diantaranya UART, SPI, I2C, digital out maupun analog out. Sensor kamera
ini dapat digunakan dengan beberapa jenis mikrokontroler seperti Arduino maupun Raspberry
Pi. Tapi pada dasarnya Pixy CMU Cam 5 didesain untuk berkomunikasi dengan Arduino.
Sensor ini mengirimkan blok informasi ke Arduino dengan kecepatan 1Mbps dimana data
yang dikirim bisa lebih dari 6000 objek yang dideteksi tiap detiknya atau 135 detected objec
tiap frame nya.

Jobsheet 1 – Pemrograman Sensor Kamera

3
 Laboratorium Robotika Jurusan Teknik Elektro FT-UM

C. Pemrograman Kamera Pixy CMU Cam 5

Kamera Pixy sudah dilengkapi dengan sebuah prosesor yang berfungsi untuk mengolah
dan mengekstrak citra warna yang dibaca oleh sensor. Dengan demikian pemrograman
kamera pixy akan menjadi lebih mudah karena pengguna hanya cukup membuat program
untuk membaca hasil pengolahan data yang telah diolah oleh prosesor kamera pixy.
Pemrograman tersebut dapat dilakukan melalui beberapa jalur komunikasi data, salah
satunya menggunakan jalur komunikasi SPI. Skema rangkaian antarmuka kamera pixy
dengan arduino dapat dilihat pada Gambar 1.4 berikut:

Gambar 1.4 Antarmuka Pixy Dengan Arduino

Untuk memulai pemrograman Pixy dengan Arduino terlebih dahulu harus ditambahkan
library Pixy.h. Kemudian masukkan header berikut pada sketch Arduino IDE:
#include <SPI.h>
#include <Pixy.h>

Pixy pixy; //Objek pixy

Kemudian pada fungsi setup(), tambahan baris program berikut untuk melakukan
inisialisasi kamera:
void setup(){
pixy.init();
}

Fungsi yang digunakan untuk membaca data dari Pixy adalah pixy.blocks[]. Fungsi
tersebut memberikan nilai return jumlah objek yang terdeteksi. Dalam pixy.blok[] array
terdapat beberapa informasi tentang setiap objek yang terdeteksi. Setiap anggota array berisi
informasi sebagai berikut:
 pixy.blocks[i].signature, nomor signature objek yang terdeteksi (1 – 7 untuk
normal signature)
 pixy.blocks[i].x, lokasi x dari pusat objek yang terdeteksi (0 - 319)

Jobsheet 1 – Pemrograman Sensor Kamera

4
 Laboratorium Robotika Jurusan Teknik Elektro FT-UM

 pixy.blocks[i].y, lokasi y dari pusat objek yang terdeteksi (0 - 119)

 pixy.blocks[i].width, lebar objek yang terdeteksi (1 - 320)
 pixy.blocks[i].height, tinggi objek yang terdeteksi (1 - 200)
Representasi nilai x, y, width, dan height tersebut dapat dilihat pada Gambar 1.5 berikut:

Gambar 1.5 Data Kamera Pixy

Contoh prosedur untuk melakukan pembacaan data kamera pixy dapat diamati pada baris
program berikut:
void pixy_read(){
//ambil data dari kamera pixy
blocks = pixy.getBlocks();

//jika ada objek yang terdeteksi:

if(blocks){
i++;
if(i%50==0){
for(j=0; j<blocks; j++){
signature[j] = pixy.blocks[j].signature;
width[j] = pixy.blocks[j].width;
height[j] = pixy.blocks[j].height;
}
}
}
}

Jobsheet 1 – Pemrograman Sensor Kamera

5
 Laboratorium Robotika Jurusan Teknik Elektro FT-UM

1.3 Alokasi Waktu

 2 JS x 1 pertemuan
1.4 Alat dan Bahan
 Trainer Robot Lengan 1 set
 PC/Laptop yang sudah terinstal software Arduino IDE dan PixyMon 1 set
 Kabel Mini USB 1 buah
 Kabel Printer USB 1 buah
 Kabel Jumper Kamera 1 buah
 Power Supply 1 buah
 Objek Berwarna 7 buah
 Lux Meter 1 buah

1.5 Keselamatan Kerja (K3)

1) Pastikan meja kerja siap digunakan untuk kegiatan praktikum.
2) Bersihkan meja praktikum dari benda-benda yang terbuat dari logam.
3) Periksa kondisi alat dan bahan sebelum memulai kegiatan praktikum.
4) Gunakan peralatan praktikum sesuai dengan fungsinya.
5) Berhati-hatilah dalam menggunakan power supply, pastikan polaritas yang
terhubung pada rangkaian tidak terbalik.
6) Baca dan pahami terlebih dahulu buku manual trainer sebelum mulai menggunakan
trainer
7) Baca dan pahami petunjuk praktikum pada langkah kerja praktikum.

1.6 Langkah Kerja

Pra-Praktikum :
 Sebelum memulai kegiatan praktikum, instal terlebih dahulu software PixyMon v2.0.4
(lihat buku manual halaman 21) dan Arduino IDE v1.6.7 (software installer ada pada CD
trainer)
 Pastikan ruangan praktikum memiliki intensitas cahaya yang cukup (minimal 200 lux).
Gunakan Lux Meter untuk mengukur intensitas cahaya agar lebih akurat.
 Tambahkan library Pixy.zip (file library ada pada CD trainer) pada Arduino IDE. Ikuti
langkah-langkah pada buku manual halaman 23 untuk menambahkan library pada
Arduino.

Jobsheet 1 – Pemrograman Sensor Kamera

6
 Laboratorium Robotika Jurusan Teknik Elektro FT-UM

Langkah Kerja 1: Setup Trainer

1) Siapkan 1 set trainer robot lengan.
2) Atur posisi kamera pada ketinggian 35 cm seperti ditunjukkan pada Gambar 1.6.

35 cm

Gambar 1.6 Pengaturan Posisi Kamera

3) Hubungkan modul kamera dengan PC/Laptop menggunakan kabel mini USB seperti
Gambar 1.7 berikut.
Mini USB
Port
USB Port
PC

Gambar 1.7 Koneksi Kamera dengan Laptop

4) Buka software PixyMon.
5) Apabila koneksi antara modul kamera Pixy dengan Laptop sudah terhubung dengan
benar, maka akan muncul tampilan seperti Gambar 1.8 berikut.

Gambar 1.8 Tampilan Software PixyMon

6) Jika tidak muncul tampilan seperti pada Gambar 1.8, periksa kembali koneksi kabel
mini USB.

Jobsheet 1 – Pemrograman Sensor Kamera

7
 Laboratorium Robotika Jurusan Teknik Elektro FT-UM

Langkah Kerja 2: Sampling Warna Objek

1) Siapkan objek kubus berwarna merah.
2) Letakkan objek tersebut pada titik kalibrasi pada papan trainer robot lengan.
3) Buka kembali software PixyMon.
4) Klik menu Action  Restore Default Parameter Value. (Untuk me-reset kamera pada
settingan default)
5) Setelah itu klik kembali menu Action kemudian pilih Set Signature 1.
6) Klik dan drag warna merah objek, sehingga akan muncul tampilan seperti pada Gambar
1.9.

Gambar 1.9 Hasil Set Signature

7) Atur hasil signature (signature tuning). Klik menu File  Configure.
8) Kemudian pada menu Signature Tuning, atur nilai Signature 1 Range dengan cara
menggeser scroll bar seperti pada Gambar 1.10. Atur nilai range signature sampai pixel
warna merah memenuhi area deteksi secara maksimal. (Atur secukupya, jika terlalu kecil
objek tidak akan terdeteksi, jika terlalu besar akan muncul banyak noise).

Gambar 1.10 Hasil Tuning Signature

Jobsheet 1 – Pemrograman Sensor Kamera

8
 Laboratorium Robotika Jurusan Teknik Elektro FT-UM

9) Ganti objek warna merah dengan warna yang lain sesuai Tabel 1.1.
10) Ulangi langkah 5 – 9 untuk mengambil sampel warna objek. Pada langkah 5, pilih Set
Signature 2 untuk objek ke-dua, Set Signature 3 untuk objek ke-tiga, dan seterusnya
sesuai Tabel 1.1 berikut.
Tabel 1.1 Konfigurasi Signature Objek

Signature Warna Objek

1 Merah
2 Biru
3 Hijau
4 Kuning
5 Cyan
6 Magenta
7 Oranye
11) Screenshoot hasil set signature (Gambar 1.10) kemudian lampirkan pada hasil
percobaan.
12) Catat nilai set signature tersebut pada Tabel 1.2.
Tabel 1.2 Konfigurasi Signature Objek
Warna Objek Nilai Tuning signature
Merah ...
Biru ...
Hijau ...
Kuning ...
Cyan ...
Magenta ...
Oranye ...

13) Setelah seluruh pengambilan sampel selesai, tutup software PixyMon dan lepaskan
kabel mini USB yang menghubungkan modul kamera Pixy dengan Laptop.

Jobsheet 1 – Pemrograman Sensor Kamera

9
 Laboratorium Robotika Jurusan Teknik Elektro FT-UM

Langkah Kerja 3: Pemrograman Pixy dengan Arduino

1) Hubungkan modul kamera Pixy dengan Arduino. Tancapkan kabel data kamera pada
port SPI trainer seperti ditunjukkan pada Gambar 1.11.

Gambar 1.11 Koneksi Pixy dengan Arduino

2) Setelah itu hubungkan Arduino dengan Laptop menggunakan kabel printer USB seperti
ditunjukkan pada Gambar 1.12.

Gambar 1.12 Koneksi Arduino dengan PC/laptop

3) Siapkan CD trainer robot lengan. Kemudian copy file “program1.ino” pada komputer
yang Anda gunakan.
4) Kemudian buka file copy “program1.ino” tersebut.
5) Buatlah prosedur untuk membaca data kamera Pixy dengan mengetikkan kode program
berikut pada skecth Arduino.

Jobsheet 1 – Pemrograman Sensor Kamera

10
 Laboratorium Robotika Jurusan Teknik Elektro FT-UM

void pixy_read(){
blocks = pixy.getBlocks();
if(blocks){
i++;
if(i%50 == 0){
lcd.clear();
for(j=0; j<blocks; j++){
/* Baca Data Pixy */
signature[j] = pixy.blocks[j].signature;
width[j] = pixy.blocks[j].width;
height[j] = pixy.blocks[j].height;

/* Tampilkan Data */
lcd.setCursor(0,0);
lcd.print("Width ="); lcd.print(width[j]);
lcd.setCursor(0,1);
lcd.print("Height="); lcd.print(height[j]);
lcd.setCursor(11,0);
lcd.print("Sig="); lcd.print(signature[j]);
}
}
}
}

6) Panggil fungsi pixy_read() yang telah Anda buat pada void loop() seperti ditunjukkan
pada baris program berikut.
void loop(){
pixy_read();
}

7) Atur konfigurasi Arduino yang digunakan. Klik Tools  Board  Arduino Mega 2560.
8) Klik Verivy. Kemudian klik Upload apabila tidak terjadi kesalahan.
9) Ambil objek warna merah, kemudian letakkan pada Titik Kalibrasi. Amati data yang
ditampilkan pada LCD.
10) Catat nilai Sig (Signature) pada Tabel 1.3.
11) Ganti objek dengan warna yang berbeda, kemudian ulangi langkah 9 – 10. Untuk masing
– masing warna.
Tabel 1.3. Hasil Pembacaan Nilai Sig (Siganture) pada LCD
No Warna Sig
1 ... ...
2 ... ...
3 ... ...
4 ... ...
5 ... ...
6 ... ...
7 ... ...

Jobsheet 1 – Pemrograman Sensor Kamera

11
 Laboratorium Robotika Jurusan Teknik Elektro FT-UM

12) Letakkan objek berwarna merah pada titik kalibrasi, kemudian atur jarak kamera pada
ketinggian 35 cm. Amati tampilan LCD dan catat data width dan height pada Tabel 1.4.
13) Ubah jarak kamera sesuai dengan Tabel 1.4 berikut, kemudian ulangi langkah 12 – 13.
Tabel 1.4. Hasil Pembacaan Width dan Height
No Jarak (cm) Width (w) Height (h) Luas (w x h / 10)
1 35 ... ... ...
2 30 ... ... ...
3 25 ... ... ...
4 20 ... ... ...
5 15 ... ... ...
6 10 ... ... ...
7 5 ... ... ...

14) Salin data Tabel 1.4 pada hasil percobaan.

15) Buat grafik yang merepresentasikan hubungan antara jarak dengan luas objek.
16) Tentukan persamaan regresi untuk grafik yang telah anda buat pada langkah 15
dengan menggunakan Excel.
17) Analisa hasil percobaan yang dilakukan, kemudian buatlah kesimpulan.

Jobsheet 1 – Pemrograman Sensor Kamera

12
 Laboratorium Robotika Jurusan Teknik Elektro FT-UM

1.7 Hasil Percobaan

1) Screenshoot Set Signature

2) Nilai Tuning Signature

Tabel 1.2 Nilai Tuning Signature
Warna Objek Nilai Tuning signature
Merah ...
Biru ...
Hijau ...
Kuning ...
Cyan ...
Magenta ...
Oranye ...
Camera Brightness ...

3) Data Sampling Warna

Tabel 1.3. Hasil Pembacaan Signature Pada LCD
No Warna Sig
1 ... ...
2 ... ...
3 ... ...
4 ... ...
5 ... ...
6 ... ...
7 ... ...

Jobsheet 1 – Pemrograman Sensor Kamera

13
 Laboratorium Robotika Jurusan Teknik Elektro FT-UM

4) Data Ukuran Objek Terhadap Jarak

Tabel 1.4. Hasil Pembacaan Ukuran Objek
No Jarak (cm) Width (w) Height (h) Luas (w x h / 10)
1 35 ... ... ...
2 30 ... ... ...
3 25 ... ... ...
4 20 ... ... ...
5 15 ... ... ...
6 10 ... ... ...
7 5 ... ... ...

5) Grafik perbandingan jarak terhadap luas objek (pixel)

Jobsheet 1 – Pemrograman Sensor Kamera

14
 Laboratorium Robotika Jurusan Teknik Elektro FT-UM

1.8 Tugas
Buatlah program untuk mendeteksi objek warna biru pada jarak 13 - 18cm
menggunakan sensor kamera Pixy CMU cam 5!

Jobsheet 1 – Pemrograman Sensor Kamera

15
 Laboratorium Robotika Jurusan Teknik Elektro FT-UM

1.9 Analisis Data

1) Jelaskan prinsip kerja sensor kamera Pixy CMU Cam 5 yang Anda ketahui!
2) Apakah pengaruh tuning signature terhadap hasil pembacaan objek? Bagaimana cara
menentukan nilai tuning yang tepat?
3) Jelaskan pengaruh jarak/ketinggian kamera terhadap hasil pembacaan objek!
Jawab:
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................
..............................................................................................................................................

Jobsheet 1 – Pemrograman Sensor Kamera

16
 Laboratorium Robotika Jurusan Teknik Elektro FT-UM

1.10 Kesimpulan
..................................................................................................................................
..................................................................................................................................
..................................................................................................................................
..................................................................................................................................
..................................................................................................................................
..................................................................................................................................

Jobsheet 1 – Pemrograman Sensor Kamera

17