MULTIMEDIA

NAMA

NIM

REKKY RAMADHAN

DBC 113 081

M. ARIF HIDAYAT

DBC 113 098

RIKI YULIANDI

DBC 113 111

FAHMI AZHARI

DBC 113 130

SIGNAL, IMAGE AND VIDEO PROCESSING SPECIAL ISSUE:

SEMANTIC REPRESENTATIONS FOR SOCIAL
BEHAVIOR ANALYSIS IN VIDEO SURVEILLANCE SYSTEMS

PENDAHULUAN
Kamera pengawas telah menarik banyak perhatian pada komunitas
komputer visioner karena lebarnya industri aplikasi dan penting
untuk nilai pengembangan ilmu pengetahuan. Akhir-akhir ini peneliti
dalam

penggunaan

kamera

pengawas

menarik

perhatian

pengintaian yang awalnya terhadap perilaku satu individu menjadi

perilaku sosial terhadap banyak orang

PENDAHULUAN(Lanjutan)
Berbeda dengan perilaku seseorang saat sendiri, analisis perilaku sosial menghadapi
lebih banyak tantangan seperti :
interaksi yang kompleks
beragam semantic(seperti makna/ arti yang terkandung dalam bahasa maupun
kode)
berbagai ekspresi dalam komunikasi tersebut
Hal ini disebabkan kesenjangan antara informasi yang langsung diambil dari video
dan interpretasi semantik oleh manusia kami.

TUJUAN
Tujuan utama dari penyusunan kumpulan-kumpulan perilaku tersebut
dikembangkanlah pola semantik tingkat tinggi yang merepresentasikan
analisis perilaku sosial, akusisi dan analisis pola pergerakan, fitur ekstrasi
semantik, dan juga peneltian dan pengaplikasian perilaku sosial.
Terdapat 3 tema yang telah diterima dan dikategorisasikan, yaitu:
1. Pelacakan Objek Visual
2. Deteksi dan pengenalan pejalan kaki
3. Analisis dan pengenalan perilaku

1. PELACAKAN OBJEK VISUAL

Penelitian ini aktif pada beberapa dekade baru ini karena lebarnya

pengaplikasiannya dalam kamera pengawas yang cerdas. Tantangan

utama

dari

pengembangan

baru-baru

ini

adalah

bagaimana

menyeimbangkan performansi sistem dalam bagian bagian kemacetan

seperti perubahan perilaku atau penerangan/ pencahayaan.
Untuk menamgani kasus ini ada salah satu yang diajukan oleh Gai dan Luo

ajukan untuk mengekstraks fitur geometris dari 4 bidang gelombang yang

berubah menggunakan informasi luas warna.

1. PELACAKAN OBJEK VISUAL

Dengan menggunakan informasi luas warna, Sun, Zhang, Xie, Gao, Wang dan
Heidingsfelder mengusulkan penyuntingan aktif dalam pelacakan visual yang
berdasarkan dengan menjelajahi secara biologis permukaan, terinspirasi untuk
memperbaiki

kode warna detektor titik sebuah objek asli, yang menguntungkan

untuk representasi yang kuat untuk mengekstrak daerah objek bagian dalam yang
cocok agar objek terlihat baik
Sun, Yao dan Lu mengusulkan untuk memadukan beberapa isyarat dalam kerangka
filter partikel untuk pelacakan visual, yang membantu untuk menghasilkan sifat yang
paling informatif dengan membedakan target dari latar belakang.

1. PELACAKAN OBJEK VISUAL

Chen, Zhang, Ruan, Xu, Sun, Gong, Min dan Lei mengusulkan metode pelacakan
berdasarkan rata - rata pergeseran dengan menjelajahi secara bersamaan informasi
temporal dan spasial dari objek dilacak.
Sebuah metode klasifikasi cascade berdasarkan tetangga terdekat dan SOM (Self
Organizing Map) digunakan sebagai langkah konfirmasi untuk menghilangkan benda palsu.
Pelacakan

maju

dan

pelacakan

mundur

hasil

selanjutnya

dikombinasikan

untuk

meningkatkan akurasi lokalisasi dan mentolerir pada variasi skala waktu yang sama.
Madrigal, Hayet dan Lerasle menyajikan metode pelacakan pejalan kaki beberapa
berinteraksi untuk sistem bermata yang menggabungkan pengetahuan sebelumnya
tentang lingkungan dan tentang interaksi antara sasaran.

2. DETEKSI DAN PENGENALAN

PEJALAN KAKI
Mendeteksi pejalan kaki dan mengenalinya berguna untuk mengidentifikasi pejalan
kaki dalam suatu skema dari beberapa kamera dari banyaknya sudut penglihatan
kamera tersebut. Dari kontras rendah dari beberapa penjalan kaki, pengenalan
pejalan kaki ini sangatlah menantang.
Adapun metode yang digunakan untuk mengatasi tantangan ini salah satu
contohnya seperti yang diajukan oleh Lin, Zeng, Huang yaitu menggabungkan sel
terstruktur fitur

HOG dan pola biner

lokal yang

dapat beradaptasi untuk

menyelesaikan masalah dimana HOG lemah dalam gangguan informasi gradien

latar.

2. DETEKSI DAN PENGENALAN

PEJALAN KAKI
Qin, Deng dan Yung mengusulkan metode adegan kategorisasi berdasarkan
model lokalfitur global yang digabungkan dan multiskala resolusi encoding
multispasial dengan tasdarikontekstual visual kata (BOCVW).
Yu, Gan, Yang, Ding, Jiang, Wang dan Li meningkatkan pola biner lokal
tradisional dengan memanfaatkan teknik estimasi least square untuk
mengoptimalkan berat dan meminimalkan perbedaan mutlak lokal, yang
mengarah

ke

fitur

directional lebih stabil.

pendekatan invarian tekstur klasifikasi disajikan

Selain

itu,

rotasi Novel

CONTOH
HOG

PENERAPAN

METODE

Histogram of Oriented Gradient (HOG) adalah metode yang digunakan

untuk deteksi obyek, histogram berisi channel-channel arah/orientasi
gradient dari piksel-piksel pada gambar, dimana penampilan serta bentuk
obyek dapat diketahui melalui hasil komputasi gradient dari citra. Tahap
awal dari metode ini adalah dengan melakukan normalisasi gamma pada
citra. Kemudian menghitung gradient dari setiap piksel citra, pembagian
citra ke dalam cell, membentuk histogram dari masing-masing cell,
membentuk blok dari setiap histogram dan terakhir melakukan
normalisasi dari setiap block.

CONTOH
PENERAPAN
METODE
HOG
Pada metode ini,
fitur HOG dapat diperoleh dari membagi gambar ke dalam selsel berukuran n x n, lalu dikelompokkan ke dalam blok-blok berukuran 2n x 2n
yang saling beririsan satu sama lain. Dari tiap sel masing-masing blok, di hitung
magnitude dan orientasi gradient-nya. Nilai orientasi ini dihitung dengan
menghitung konvolusi dengan matriks = [1 0 1] dan = [1 0 1 ] terlebih
dahulu. Kemudian nilai orientasi tiap pikselnya dikuantisasi kedalam 9 kanal,
yaitu 10, 30, 50, 70, 90, 110, 130, 150, dan 170 menggunakan
histogram.

Kontribusi piksel terhadap tiap kanal

tergantung pada nilai gradient
magnitude-nya. Nilai-nilai dari seluruh
kanal dari tiap sel imasukkan kedalam
vektor.
Vektor
inilah
yang
menggambarkan fitur HOG dari suatu
gambar.

CONTOH PENERAPAN METODE HOG

Hasil deteksi orang menggunakan raspberry pi sangatlah lambat. Delay

penerimaan gambar dari kamera saja dapat memakan waktu sekitar 3
detik. Serta masih terdapat kesalahan deteksi yang terjadi dalam
menggunakan Metode HOG pada aplikasi Opern CV : People detection.
Seperti hasil pada gambar berikut :

Objek Gitar dan objek hitam

seperti rambut masih terdeteksi
dalam pengenalan objek pejalan
kaki.

3. ANALISIS DAN PENGENALAN

LATAR BELAKANG
Tujuan yang utama dari sistem penglihatan ialah menganalisis dan
mengenali perilaku sebuah objek dari suatu skema. Perilaku yang penting
ialah perilaku suatu individu dan kerumunan.
Salah satu yang solusi untuk mengatasi hal ini adalah Kinect, Jiang, Wu,
Gao, Zhao, Kung yang ditujukan terhadap efektifitas, akurasi, bebasnya
penggunaan gerak-gerik tangan, yaitu penampilan susut pandang sistem
pengenalan gerak gerik.

3. ANALISIS DAN PENGENALAN

LATAR BELAKANG
Chen, Ye, Zou, Li, Cui dan Jiao mengusulkan untuk mewakili lintasan dengan "tas
dari kata" fitur dari codebook didistribusikan secara spasial, dan kemudian
menggunakan model yang direplikasi untuk ciri lintasan. Dengan menumpuk
lapisan label atau representasi tambahan lapisan, Model Softmax direplikasi
ditingkatkan dengan diskriminasi dan kemampuan generalisasi.
Deteksi ancaman adalah masalah yang menantang, karena ancaman muncul dalam
banyak variasi dan perbedaan perilaku normal dan bisa sangat halus. Burghouts,
Schutte, Hove, Broek, Baan, Rojas, Huis, Istirahat, Hanckmann, Bouma dan Sanroma
menganggap ancaman di tempat parkir, di mana pencurian kargo truk terjadi.
Yang terbaru adalah pengkodean diamati ancaman ini dalam semantik, representasi
tingkat menengah, berdasarkan fitur tingkat rendah visual yang tidak memiliki
intrinsik semantik berarti sendiri. Representasi semantik mengkodekan pengertian
lintasan, zona dan kegiatan.

SEKIAN DAN TERIMAKASIH