BAB 2

LANDASAN TEORI

Pada bab ini, akan diuraikan landasan teori yang mencakup pengertian
dan konsep tentang: Augmented Reality, Reality-Virtuality Continuum, Computer
Vision, Visual Odometry, Optical Flow, dan Metode Lucas-Kanade. Selain itu,
akan dipaparkan pula Metode Perancangan Program dan Teknologi Pendukung
yang digunakan.
2.1

Pengertian Augmented Reality

2.1.1. Augmented Reality

Menurut Bimber dan Raskar (2005), Augmented Reality berarti
mengintegrasikan informasi sintetis ke dalam lingkungan nyata. (Spatial
Augmented Reality: Merging Real and Virtual Words). Menurut penjelasan
Haller, Billinghurst, dan Thomas (2007), riset Augmented Reality bertujuan
untuk mengembangkan teknologi yang memperbolehkan penggabungan secara
real-time terhadap digital content yang dibuat oleh komputer dengan dunia ntata.
Tidak seperti teknologi Virtual Reality (VR) yang membawa user sepenuhnya ke
dalam lingkungan sintetis, Augmentd Reality memperbolehkan pengguna melihat
objek maya tiga dimensi yang diproyeksikan terhadap dunia nyata. (Emerging
Technologies of Augmented Reality: Interfaces and Design).

Augmented Reality pada dasarnya adalah sebuah konsep yang

mencitrakan gambar tiga dimensi yang seolah nyata. Proses ini bisa diperinci
menjadi beberapa proses dan komponen.
Untuk mencitrakan gambar tiga dimensi tersebut, sistem Augmented
Reality terlebih dahulu harus melakukan 'penglihatan' atau 'vision' terhadap
lingkungan yang padanya akan dicitrakan objek virtual. kemudian, dilakukanlah
proses 'tracking' terhadap objek spesifik yang menentukan letak citraan objek
virtual tersebut. Kemudian, objek tersebut akan dikenali, atau dianalisis. Setelah
dikenali dan dianalisis posisi dan orientasinya, maka komputer akan melakukan
proses pencitraan objek tersebut, dan akan tampak pada perlengkapan display.
Komponen penting yang harus ada adalah:
a. Perlengkapan tampilan (display)
b. Alat tracking (pencarian)
c. Peralatan input
d. Perangkat komputer
Perlengkapan tampilan digunakan untuk menampilkan 'informasi' gambar atau objek tiga dimensi yang dicitrakan terhadap dunia nyata tempat user
melihat. Perlengkapan tampilan terbagi menjadi tiga jenis, yakni Head Mounted
Display, Handheld Display, dan Spatial Display. Head Mounted Display adalah
perlengkapan tampilan yang dikenakan di kepala user dan digunakan sebagai
'kacamata' untuk melihat dunia nyata, yang telah digabungkan dengan objek
virtual yang telah diregistrasikan dalam sistem, Handheld Display adalah

10

perlengkapan ringkas yang dapat dibawa-bawa ke mana saja dan dapat dimuat di
tangan. Contohnya adalah smartphone dan android phone. Spatial Display adalah
sistem pencitraan yang menggunakan proyektor digital untuk mempetakan
informasi grafis pada objek fisik. Yang paling membedakan Spatial Display
adalah bahwa pencitraannya tidak terasosiasi dengan setiap individu user, namun
secara berkelompok.
Tracking biasanya dilakukan dengan teknologi-teknologi menangkap
gambar, misalnya dengan kamera digital, sensor optis lainnya, GPS, kompas, dan
lain sebagainya. Selain itu, alat tracking yang sekarang meningkat popularitasnya
adalah webcam, karena praktis, kecil, mudah dibawa dan diatur untuk dijalankan.
Peralatan input hingga sekarang ini masih banyak menjadi objek
penelitian. Hingga saat ini, alat yang digunakan mencakup alat 'pinch glove',
tongkat bertombol, atau peralatan handheld seperti smartphone.
Perangkat komputer, terutama dengan CPU yang kuat dan jumlah RAM
yang cukup besar untuk memproses gambar yang ditangkap. Sistem yang
digunakan untuk mobilitas biasanya menggunakan laptop yang dilengkapi
dengan webcam, sementara untuk yang bersifat diam menggunakan workstation
dengan kartu grafis yang kuat.
2.1.2. Reality-Virtuality Continuum
Paul Milgram dan Fumio Kishino mendefinisikan sebuah kontinuum
pada tahun 1994, yang bernama 'Milgram's Reality-Virtuality Continuum'.

11

Mereka menjelaskan sebuah kontinuum yang terbentang mulai dari dunia yang
murni nyata, menuju dunia yang murni maya. Di dalam ruang kontinuum
tersebut, terdapat Augmented Reality, yang lebih dekat menuju dunia nyata, dan
Augmented Virtuality, yang lebih dekat menuju dunia maya. Kontinuum ini
diekspansi menjadi ruang dua dimensi, yakni virtualitas dan medialitas, di mana
taksonominya adalah realitas-virtualitas-medialitas. Titik awal / 'origin' (titik 0, 0
dalam ruang linear) dinotasikan dengan 'R', yang mewakili realita yang murni,
dan tidak dimodifikasi. Kontinuum yang menyusuri sumbu 'V', yang mewakili
virtualitas mengandung realita yang diperkuat dengan pencitraan (Augmented
Reality), dan pencitraan yang diperkuat dengan realita (Augmented Virtuality).
Taksonomi ini juga mengandung Modifikasi realita dan virtualitas, yakni
menyusuri kontinuum sumbu 'M', yang mewakili 'medialitas'. Makin jauh ke atas
dalam ruang medialitas, dapat kita temukan 'mediated reality', 'mediated
virtuality', dan kombinasi keduanya. Pada titik terjauh dari pusat R adalah dunia
virtual yang termediasi tinggi. Bahasan mengenai mediated virtuality ini
mencakup Mixed Reality, namun hal tersebut tidak akan dibahas dalam skripsi
ini.

Gambar 2. 1 Milgrams Continuum

12

Gambar 2. 2 'Mediated Reality Continuum'

2.2

Pengertian Computer Vision

Menurut Szeliski ( 2010 ), Computer Vision (atau Machine Vision) adalah
ilmu dan teknologi mesin yang 'melihat'. Dalam konteks ini, 'melihat' berarti
mesin tersebut mampu menangkap informasi dari sebuah gambar, untuk
menyelesaikan tugas tertentu, atau untuk 'memahami' atau 'mengenali' gambar
yang tertangkap, baik dalam pengartian secara umum maupun khusus.
(Computer Vision: Algorithms and Applications). Sebagai sebuah disiplin ilmu
sains, Computer Vision terkait dengan teori intelijensia semu, yang menangkap
informasi dari gambar. Data gambar ini bisa berupa bermacam bentuk, seperti

13

video, gambaran dari beberapa kamera sekaligus, maupun data multi-dimensi

dari pemindai medis.
Dewasa ini, Machine Vision adalah bidang yang berkembang dengan
sangat pesat, baik dalam bidang industri maupun sains, bahkan sekarang telah
menginjak dunia entertainment. Sebagai disiplin teknologi, Computer Vision
mengaplikasikan model dan teori-teorinya untuk perancangan dan pembentukan
sistem Computer Vision. Contoh aplikasinya dalam sistem sekarang ini adalah
untuk:
a.

Sistem Kendali Proses (contoh: robot industri atau kendaraan otomatis)

b.

Deteksi kejadian (contoh: kamera pengawas, penghitungan orang)

c.

Organisasi informasi (contoh: melakukan index pada database gambar dan

runtutan gambar)

d.

Interaksi (contoh: sebagai input untuk peralatan interaksi manusia dengan

komputer)

Berikut ini adalah sebuah skema yang dapat menggambarkan ruang

lingkup Computer Vision:

14

Gambar 2. 3 Ruang
R
Lingkuup Computer Vision
V

a.

Artificial
A
Inttelligence beerhubungan dengan perrencanaan teerotomatisasii atau
sistem
s
naviggasi robot. Selain itu, Coomputer Visiion dan Artifficial Intelliggence
juga
j
bekerjaa sama dalam
m topik lainn, seperti Pattern Recoggnition dan teknik
belajar.
b
Dalaam penelitiaan ini, penullis akan mem
mfokuskan bidang
b
peneelitian
ke
k dalam toopik Patternn Recognitioon ini, dan aplikasinya
a
pada Augmented
Reality.
R

b.

Physics,
P
atauu Fisika, terhhubung denggan Computter Vision daalam bidang optik
dan
d cahaya.. Beberapa soal penguukuran dalam
m Fisika daapat diselessaikan
dengan
d
bantuuan Computter Vision, coontohnya peergerakan fluuida.

15

c.

Neurobiology yang dalam satu abad terakhir ini terfokus dalam mempelajari
mata, neuron, dan struktur otak yang memproses stimuli visual pada manusia
dan hewan.

d.

Signal Processing, khususnya pada proses Signal dua variable atau variabel
banyak, dapat diselesaikan dengan Computer Vision.

e.

Selain yang dipaparkan di atas, banyak topik penelitian terkait tentang

Computer Vision yang juga dapat dipelajari dari sudut pandang matematis
murni. Misalnya, banyak sekali metode dalam Computer Vision yang
berdasarkan statistika, optimisasi, dan geometri. Selain itu, peranan bidang
matematika sangat besar pada implementasi Computer Vision, seperti
modifikasi metode-metode untuk meningkatkan kecepatan proses tanpa
penurunan performa.

2.3

Visual Odometry
Visual Odometry adalah proses menentukan posisi dan orientasi 'kamera'
atau 'penglihatan' sebuah alat dengan menganalisis gambar-gambar kamera yang
terkait. Dalam kasus penerapan Augmented Reality ini, Visual Odometry
berperan menentukan posisi relatif kamera dan objek yang dilacak, satu terhadap
yang lain.
Algoritma Visual Odometry melibatkan beberapa tahapan, yakni:

16

a.

Memperoleh input gambar, dengan peralatan input seperti kamera dan alat
sejenis

b.

Koreksi gambar, dengan menerapkan teknik Image Processing untuk

menghilangkan distorsi kamera

c.

Deteksi ciri-ciri, dan mencocokkan ciri-ciri tersebut melalui frame-frame dan

membentuk sebuah Optical Flow Field.

2.4.

d.

Memeriksa vektor Flow Field akan eror yang terjadi dalam tracking

e.

Estimasi pergerakan kamera / objek

f.

Repopulasi periodik trackpoint untuk menjaga coverage sepanjang gambar

Optical Flow dan Metode Lucas-Kanade

2.4.1. Optical Flow

Optical Flow adalah pola dari pergerakan objek, permukaan, dan sisi
pinggir atau ujung yang terlihat dalam sebuah pemandangan visual, yang terjadi
karena pergeseran relatif antara pengamat (kamera ataupun mata) dengan
pemandangan yang dilihat. Teknik-teknik Optical Flow seperti motion detection,
object segmentation, time-to-collision and focus of expansion calculations,
motion compensated encoding, dan stereo disparity measurement menggunakan
pergerakan / pergeseran tersebut. Dalam Augmented Reality, Optical Flow ini
berperanan penting untuk mendefinisikan dan tracking terhadap objek yang

17

digunakan sebagai point of interest atau marker yang akan 'dibaca' oleh kamera
dan diinterpretasikan oleh software.

Gambar 2. 4 Skema 'Optical Flow'

2.4.2. Estimasi Optical Flow

Sederet gambar terurut membolehkan kita untuk mengestimasi /
memprediksi pergerakan sebagai kecepatan sesaat gambar, atau disposisi gambar
diskrit. Metode Optical Flow berusaha mengkalkulasikan pergerakan antara dua
frame gambar antara t dan t + t pada setiap posisi voxel (elemen volumetris).
Metode-metode ini disebut diferensial karena berdasarkan deret Taylor yang
memprediksi signal gambar, dan turunan parsial terhadap koordinat temporal dan
spasial.
Untuk gambar berdimensi 2D+t (3D, atau n-D, karena serupa), sebuah
voxel pada posisi (x, y, t) dengan intensitas I(x, y, t) akan telah bergerak sejauh

18

x, y
dan t anttara dua fram
me gambar, dan persamaaan konstraiin gambar beerikut
ini menjadi
m
berlaaku:
I(x, y, t) = I(x + x, y + y, t + t)
Dengan asumsi
a
bahw
wa pergerakkan adalah sangat kecil / minimal, maka
konsstrain pada I((x, y, t) dapaat dikembanggkan untuk memperoleh
m
:

H.O
O.T.
H.O..T. = Higherr-Order-Term
ms / solusi peendekatan).
Dari persamaan-persamaan tersebut,
t
diperoleh bahw
wa

Kareena didiferennsialkan terhhadap t, menjjadi:

yang
g akan menghhasilkan

karen
na turunan fungsi
fu
posisi terhadap waaktu adalah kecepatan,
k

19

di maana Vx, Vy addalah kompoonen x dan y dari kecepaatan Optical Flow I(x, y, t)
sertaa

dann

adalah derivatif gam

mbar dari paada (x, y, t) dengan
d
arah

masiing-masing. Ix,Iy dan It daapat dituliskkan untuk derivatif sebaggai berikut:

I x Vx + I y Vy = I t
Atau
u

Ini meruppakan persaamaan dengaan dua variaabel tak terddefinisi, sehingga

tak dapat
d
diselessaikan. Kareena itulah, inni dikenal seebagai apertture problem
m dari
algorritma Opticaal Flow. Untuuk mencari Optical Flow
w, diperlukaan satu persaamaan
lagi, yang dibeerikan oleh batasan tam
mbahan. Seemua metodde Optical Flow
ggunakan syyarat tambahhan untuk meenentukan alliran yang seesungguhnyaa.
meng

2
2.4.3.
Meto
ode Lucas-K
Kanade
Metode Lucas-Kanad
L
de adalah sebuah metode diferensiial untuk Opptical
Flow
w yang dikem
mbangkan oleh
o
Bruce D.
D Lucas dann Takeo Kaanade. Metodde ini
lokal
meng
gasumsikan bahwa alirran sesungguuhnya konstan dalam lingkungan
l
yang
g bersebelahhan dengann pixel yanng ditinjau, dan menyyelesaikan semua
s
persaamaan Opticcal Flow daasar pada semua pixel dalam linggkungan terssebut,
deng
gan pendekattan Least Squares Criterrion.

20

Dengan menggabungkan inform

masi dari pixel-pixel
p
y
yang
berdekkatan,
meto
ode Lucas-K
Kanade dapatt menyelesaaikan ambiguuitas inherenn dari persaamaan
Opticcal Flow. Seelain itu, meetode ini juga tidak terlalu sentitif teerhadap ganggguan
padaa gambar, seperti metoode-metode lain yang terfokus
t
padda titik. Naamun,
karen
na merupakkan metode lokal murnni, metode ini
i tidak daapat membeerikan
inforrmasi Flow dalam
d
daerahh uniform gaambar.
Metode Lucas-Kanad
L
de mengasum
msikan perpindahan possisi gambar antara
a
dua saat berdekatan (fram
me) adalah kecil, dan mendekati konstan dalam
d
lingk
kungan titikk p yang ditinjau. Maka,
M
persamaan Opttical Flow bisa
diasu
umsikan berllaku untuk suatu
s
daerah yang terpussat pada titikk p. Secara khhusus,
vekto
or aliran perrgerakan gam
mbar lokal (kkecepatan) yaitu
y
(Vx,Vy) harus memeenuhi:
Ix(q1)V
) x + Iy(q1)V
Vy = It(q1)
Ix(q2)V
) x + Iy(q2)V
Vy = It(q2)

) x + Iy(qn)V
Vy = It(qn)
Ix(qn)V
Di mana

adalahh pixel di dalam daerah yang

y
dimaksuud,

dan Ix(qi), Iy(qi), It(qi) adalahh turunan parrsial dari gam

mbar I terhaddap posisi x, y
dan waktu
w
t, yang dievaluasii pada titik qi dan pada saaat itu (wakttu sekarang).
Persamaaan-persamaaan ini dapat dituliskan
d
deengan matrikks berbentukk Av =
b di mana
m

21

dan
n

Sistem ini
i memilikki lebih bannyak persam
maan daripaada variabeel tak
terdeefinisi, sehiingga biasaanya over-ddetermined. Metode Luucas-Kanadee ini
mem
mperoleh sollusi komproomi dengann konsep Least
L
Squarees yang beersifat
weig
ghted. Yang berarti,
b
ini menjawab
m
sisstem 2x2:
ATAvv = ATb, atauu
v = (A
ATA) 1ATb
di maana AT adalaah transpose dari matrix A. Yang artiinya, menghhitung

deng
gan sigma jum
mlah yang dimulai
d
dari i=1 sampai n.
n
Matriks ATA seringkkali disebut structure
s
tennsor (matrikks yang dipeeroleh
dari turunan
t
graddien sebuah fungsi) dari gambar padda titik p.

22

Solusi deengan metodde Least Sqquares standdar di atas memberikan

m
taraf
priorritas / kepenntingan yanng sama terhhadap semuua pixel n dalam
d
daeraah qi.
Dalaam prakteknyya, biasanyaa lebih baik memberikann weight / nilai
n
lebih keepada
titik yang lebih dekat
d
terhadaap pixel pusat, yakni p. Untuk itu, kita
k gunakan versi
weig
ghted dari persamaan Leaast Squares,
ATWAv
WA = ATWb
atau
v = (A
ATWA) 1ATWb
di mana
m
W adalaah matriks diagonal nn yang menggandung weigght Wii = wi yang
akan
n dimasukkann ke dalam persamaan
p
pixel qi. Artinnya, kita mennghitung

Weig
ght wi biasannya digunakaan untuk funngsi Gaussiaan untuk jaraak antara qi dan
d p.

2
2.5.

Meto
ode Perancaangan Program
Untuk taahapan peraancangan program, penulis mengggunakan Prroject
Management denngan model Luca/Jadav.. Alasannya,, karena berssifat fleksibeel dan
mem
mberikan kelleluasaan daalam proses perancangaan, serta lebbih mudah untuk
u

23

melakukan re-evaluasi dan memperbaiki kesalahan. Adapun skema perancangan

model Luca-Jadav adalah sebagai berikut:

Gambar 2. 5 Skema Model Lucas-Jadav

Dengan mengikuti model ini, setiap fase dapat dikerjakan secara

individual. Apabila terdapat kesalahan pada fase sebelumnya, atau fase manapun,
maka penulis akan dapat mengkaji ulang secara langsung dan menerapkan solusi
secara efektif.
Adapun, tahapan perancangan yang diusulkan adalah:
a.

Analisis kebutuhan
Pada tahap ini, akan dianalisis, program Augmented Reality seperti apa yang
paling tepat untuk menjadi hiburan interaktif yang menarik dan dapat
diterima masyarakat

24

b.

Riset dan eksplorasi

Pada tahap ini, akan dilakukan riset baik secara literatur maupun riset
lapangan, terhadap tanggapan, tuntutan, dan kebutuhan masyarakat untuk
hiburan interaktif

c.

Perancangan protitip
Pada tahap ini, hasil analisis dan riset pada tahapan sebelumnya akan
digunakan untuk merancang sebuah prototip program yang akan
dikembangkan menjadi aplikasi hiburan interaktif

d.

Pembuatan program

e.

Tahap testing
Pada tahap ini, hasil program yang dibuat pada tahap sebelumnya akan dites,
dicari apakah ada bug atau tidak, dan diuji sambutannya dari masyarakat

f.

Revisi dan perbaikan

Pada tahap ini, hasil tes pada tahap sebelumnya akan digunakan untuk
memperbaiki dan mengevaluasi program yang telah dibuat. Kemudian,
kesalahan-kesalahannya akan diperbaiki, dan akan disesuaikan rancangannya
dengan sambutan dan tanggapan masyarakat.

g.

Finalisasi
Tahap ini adalah tahapan terakhir, di mana seluruh barisan kode program
akan dirapikan, dan disusun ulang dan dibentuk menjadi aplikasi yang
berfungsi penuh

25

2.6.

Teknologi Pendukung

2.6.1. Teknologi ARToolKit

Teknologi yang dikembangkan pertama kali oleh Dr. Hirokazu Kato ini
merupakan sebuah library yang bersifat open-source, yang membantu dalam
pengembangan dan perancangan aplikasi Augmented Reality. ARToolKit ini juga
memberikan kemudahan karena bersifat multi-platform, memiliki support untuk
beberapa bahasa pemrograman, dan API yang sederhana dan modular.
(http://www.hitl.washington.edu/home/)
2.6.2. Microsoft Visual Studio 2010
Microsoft Visual Studio 2010 merupakan sebuah IDE (Integrated
Development Environment) yang dikembangkan oleh Microsoft. IDE ini
mencakup semua bahasa pemrograman berbasis .NET framework yang
dikembangkan oleh Microsoft. Keunggulan Microsoft Visual Studio 2010 ini
antara lain adalah support untuk Windows 7, editor baru dengan WPF (Windows
Presentation Foundation), dan banyak peningkatan fitur lainnya. (Patrice Pelland,
Pascal Par, dan Ken Haines, 2011)