Laporan Progress Tesis

1906337053 - Siti Hadiyan Pratiwi

Background Overview
Object Tracking Problem
Wu et al. (2015)

Fast In-Plane Out-of-plane Out-of-view Background Low Illumination Scale Deformation Motion Blur
Motion Rotation Rotation Clutters Resolution Variation Variation Occlusion

Occlusion merupakan keadaan dimana

objek utama terhalang secara sebagian
ataupun secara menyeluruh.
Background Overview
Depth Image ● Depth Image merupakan gambar yang merepresentasikan
jarak pada benda terhadap ruang.
● Semakin jauh benda maka akan memiliki warna semakin
terang (putih). Begitu pula sebaliknya benda yang lebih dekat
Memiliki nilai akan memiliki warna lebih gelap (hitam).
depth berbeda
● Image depth dimanfaatkan untuk mendapatkan bentuk 3
dimensi dari objek
● Jika dilihat potongan gambar disamping,
image depth memiliki potensi untuk dapat
mengidentifikasi benda tertutup. Terlihat
dengan adanya perbedaan pada kedua
objek sehingga masing-masing objek dapat
diidentifikasi secara terpisah.
Perbandingan proposal dan usulan metode
Proposal Usulan Metode
RGB Image

HOG Feature Extraction

RGBD Image
Depth Image

Correlation Filter /
Output Cosine Similarity Calculation
Checklist Overview
Literature Review ✓ Literature Overview
✓ Initial Experiment

Persiapan Dataset ✓ Persiapan dataset RGB dan Depth

✓ Pembentukan groundtruth dan annotasi gambar
✓ Pembentukan image 4-Channel RGBD dengan melakukan merge image
RGB dan Depth

Pembentukan Learning Model ✓ Pembentukan model

✓ Training Model
✓ Hasil Evaluasi

Aplikasi Algoritma Tracking: ✓ Ekstraksi Fitur

Cosine Similarity / Correlation Filter ❏ Perhitungan Cosine Similarity
❏ Aplikasi Metode Evaluasi

Output ❏ Visualisasi
❏ Evaluasi
❏ Pembentukan kesimpulan
Literature Review

✓ Literature Overview - Paper: Does Depth Matter? RGB-D Instance

❏ Initial Experiment Segmentation with Mask R-CNN (Orestis Zambounis,
Furrer Fadri, Novkovic Tonci, Grinvald Margarita)

Mask RCNN Modified Mask RCNN

4 Channel Layer
Literature Review

✓ Literature Overview Experiment Result:

❏ Initial Experiment - Pre-training on SceneNet:
- 400 epochs
- 2000 steps / epoch
- Fine-tuning on NYU-Depth V2
- 40 Epochs
- 1000 steps / epoch
Literature Review

✓ Literature Overview - Data:

✓ Initial Experiment - Train: 7 Images, Test: 189 Images (including 7 train
images)
- Epoch: 5, LR: 0.001
Literature Review

✓ Literature Overview
Detection result (1 image Detection result (sequence 189
✓ Initial Experiment random) image)
 Metodologi Penelitian
Output Tracker Initialization HOG Feature Extraction
Depth Input RGB

Cosine Similarity Calculation

Next Frame Input

[1024, 1024, 4]
RGBD 4-Channel Next Frame Output

Detection Method Tracking Method

Milestone
Input: 4-Channel Detection Method: Output
RGBD Image 4-Channel Mask RCNN

Tracking Method:
Cosine Similarity /
Correlation Filter
Progress Milestone
Input: 4-Channel Detection Method: Output
RGBD Image 4-Channel Mask RCNN

Tracking Method:
Cosine Similarity /
Correlation Filter
Input: 4-Channel Persiapan Dataset
RGBD Image
❏ Persiapan dataset RGB dan Depth
❏ Pembentukan groundtruth dan annotasi
gambar
❏ Pembentukan image 4-Channel RGBD dengan
melakukan merge image RGB dan Depth
❏ Visualisasi hasil masking
Persiapan Dataset

✓ Persiapan dataset Spesifikasi Dataset:

RGB dan Depth
❏ Pembentukan - Source: Princeton Tracking Benchmark (PTB)
groundtruth dan Dataset
annotasi gambar - Sequence:
❏ Pembentukan image - Bear_front (30 fps) : 297 Images RGB + 297 Images
4-Channel RGBD Depth
dengan melakukan - Preview:
merge image RGB
dan Depth
❏ Visualisasi hasil
masking
Persiapan Dataset

✓ Persiapan dataset Anotasi dan pemberian label terhadap 3 objek:

RGB dan Depth
✓ Pembentukan 1. Teddy_bear
groundtruth dan 2. Person
annotasi gambar 3. Box
❏ Pembentukan image
1 2
4-Channel RGBD
dengan melakukan
merge image RGB
dan Depth
❏ Visualisasi hasil
3
masking Total gambar: 295
Persiapan Dataset

✓ Persiapan dataset ● Pembentukkan image 4-Channel RGBD dilakukan dengan cara

menggabungkan 3-Channel image RGB dengan 1-Channel image
RGB dan Depth
Depth.
✓ Pembentukan ● Preview:
groundtruth dan
annotasi gambar
✓ Pembentukan image
4-Channel RGBD
dengan melakukan
merge image RGB
dan Depth
❏ Visualisasi hasil
masking
Persiapan Dataset

✓ Persiapan dataset ● Preview masking anotasi manual

RGB dan Depth
✓ Pembentukan
groundtruth dan
annotasi gambar
✓ Pembentukan image
4-Channel RGBD
dengan melakukan
merge image RGB
dan Depth
✓ Visualisasi hasil
masking
Progress Milestone
Input: 4-Channel Detection Method: Output
RGBD Image 4-Channel Mask RCNN

Tracking Method:
Cosine Similarity /
Correlation Filter
Detection Method: Pembentukan Learning Model
4-Channel Mask
RCNN ❏ Pembentukan model
❏ Training Model
❏ Hasil Evaluasi
Pembentukan Learning Model

✓ Pembentukan Model ● Spesifikasi Model:

❏ Training Model
❏ Hasil Evaluasi
Pembentukan Learning Model

✓ Ekstraksi Fitur ● Training dilakukan dengan mengambil gambar secara acak

menggunakan komposisi sebagai berikut:
✓ Training Model ○ Train : 118 Images (40%)
❏ Hasil Evaluasi ○ Validation : 29 Images (10%)
○ Test : 148 Images (50%)
● Spesifikasi training:
○ Epoch : 10
○ Learning Rate : 0.001
Persiapan Dataset

✓ Ekstraksi Fitur ●
●
Val_Loss: 0.1726
Loss: 0.1218
✓ Training Model ● Preview:

✓ Hasil Evaluasi Groundtruth Detection Result

● mAP: 0.9740112999738273
Progress Milestone
Input: 4-Channel Detection Method: Output
RGBD Image 4-Channel Mask RCNN

Tracking Method:
Cosine Similarity
Tracking Method: Aplikasi Algoritma Tracking
Cosine Similarity /
Correlation Filter ❏ Ekstraksi Fitur
❏ Perhitungan Cosine Similarity
❏ Hasil Evaluasi
Aplikasi Algoritma Tracking

❏ Ekstraksi Fitur ● Ekstraksi fitur menggunakan metode Histogram of Gradient

(HOG).
❏ Perhitungan Cosine ● Ekstraksi dilakukan pada hasil deteksi objek
Similarity ● Preview:
❏ Hasil Evaluasi
Aplikasi Algoritma Tracking

❏ Ekstraksi Fitur ● Preview tracker:

❏ Perhitungan Cosine
Similarity
❏ Hasil Evaluasi