Algoritmo Robusto para Correspond encia de Pontos em o Imagens Estereosc opicas na Aus encia de Calibrac a Robust Algorithm for

Point Matching in Uncalibrated Stereo Vision Systems

Jos e A. de Franc a1; Marcelo R. Stemmer2; Maria B. de M. Franc a3 Resumo
Apresenta-se um novo algoritmo de correspond encia de pontos em imagens estereosc opicas. As c ameras nico pr a exist que capturam as imagens n ao precisam estar calibradas. O u e-requisito e encia de um conjunto de cantos segmentados em cada imagem. Para realizar a correspond encia, inicialmente, t ecnicas n ao` correspond param etricas s ao aplicadas as imagens que comp oem o par e um conjunto de candidatos a encia formado. Em seguida, a conanc calculada atrav o proposta. Por e a de cada candidato e es de uma equac a ltimo, a matriz fundamental do sistema e estimada e a restric o epipolar utilizada para eliminar falsas coru a respond encias. Testes em imagens reais demonstram a viabilidade do m etodo proposto. Palavras-chave: Transformada Censo. Correspond encia de Pontos. Vis ao Binocular. Matriz Fundamental.

Abstract
This article introduces a new point matching algorithm for stereo images. The cameras used for capturing the image do not need to be calibrated. The only requirement is the existence of a set of segmented corners in each image. In order to execute the point matching, the algorithm starts by applying non-parametric techniques to the pair of images and a set of candidate matches is selected. After that, the reliability of each point is calculated based on a proposed equation. Finally, the fundamental matrix of the system is estimated and the epipolar restriction is used to eliminate outliers. Tests made on real images demonstrate the viability of the proposed method. Key words: Census Transform. Point Correspondences. Stereo Vision. Fundamental Matrix.

1 Universidade Estadual de Londrina, Departamento de Engenharia El etrica, E-mail: josealexandre@eeol.org 2 Universidade Federal de Santa Catarina, Departamento de Automac o e Sistemas, E-mail: marcelo@das.ufsc.br a 3 Universidade Estadual de Londrina, Departamento de Engenharia El etrica, E-mail: bernadete@eeol.org

167
Semina: Ci encias Exatas e Tecnol ogicas, Londrina, v. 26, n. 2, p. 167-181, jul./dez. 2005

de Franc a, J.; Stemmer, M. e Franc a, M.

o Introduc a

SALVI,

2003). Infelizmente, tal matriz tem que ser

estimada a partir de um conjunto inicial de corEstabelecer correspond encia de pontos entre duas respond encias. Para formar este conjunto inicial, ou mais imagens e uma das tarefas mais co- uma das abordagens e segmentar pontos interessanmuns na vis ao computacional. De fato, diver- tes (i.e., contornos, linhas, cantos) nas duas imasos algoritmos encontrados na literatura em a reas gens e, em seguida, estabelecer correspond encia en como, por exemplo, estereoscopia (HIRSCHMULLER , tre eles. Isso reduz a complexidade do problema, 2002), calibrac a o autom atica de c ameras (HABED; mas torna poss vel estabelecer apenas um conjunto BOUFAMA,

2002), estimac a o do movimento (do esparso de correspond encias. Contudo, tal conjunto ingl es motion estimation) (DORNAIKA; CHUNG, Sept., e suciente para diversas aplicac o es (MOISAN; STI2000), rastreamento de objetos (do ingl es object VAL, 2004; CHEN, 2003; MENG; ZHUANG, 2001). tracking) (BAE, jun., 2003), assumem a exist encia Na concepc a o do algoritmo proposto, o par ametro de um conjunto de correspond encias de pontos entre duas ou mais imagens. Contudo, apesar dos esforc os de projeto principal foi, com uma complexidade de pesquisadores em todo o mundo, o problema computacional baixa, estabelecer um conjunto de encia de pontos para c alculo da matriz mostra-se extremamente complexo e ainda n ao existe correspond uma soluc a o autom atica que d e bons resultados na fundamental. Por isso, em quase todas as suas fases, o algoritmo e n ao-iterativo e utiliza apemaioria dos casos. nas operac o es com n umeros inteiros. Basicamente, Diversos fatores tornam a correspond encia de o m etodo proposto funciona como segue. Ap os pontos dif cil: (i) a ambig uidade inerente ao pro- extrair um conjunto de cantos em duas imagens blema requer a introduc a o de restric o es f sicas e estereosc opicas, usa-se a transformada censo (ZAgeom etricas; (ii) oclus oes, i.e., pontos em uma ima- BIH; WOODFILL, 1994) para reduzir a inu encia das gem sem um correspondente na outra; (iii) distorc o es oclus oes e distorc o es, e estabelecer um conjunto radiom etricas que fazem a projec a o de um mesmo inicial de candidatos a ` correspond encia. Em seponto 3D ter tons de cinza diferentes, quando ele e guida, em oposic a o a algoritmos de correspond encia capturado por c ameras distintas, e; (iv) distorc o es que utilizam t ecnicas iterativas como, por exemprojetivas que tornam a forma de um objeto dife- plo, relaxac a o, uma equac a o que indica o grau de rente, quando capturadas de pontos-de-vista distin- conanc a de um par candidato a ` correspond encia e tos. Recentemente, Brown, Burschka e Hager (2003) e Scharstein e Szeliski (2002) revisaram v arios problemas e algumas soluc o es para o processo de correspond encia de pontos. Contudo, em tais trabalhos, implicitamente, os par ametros das c ameras que compunham o conjunto binocular eram supostos conhecidos. No presente trabalho, os esforc os foram concentrados no problema de correspond encia de pontos em imagens estereosc opicas na aus encia de calibrac a o. Nesse caso, a u nica restric a o geom etrica
(ARMANGUE;

proposta e utilizada para eliminar a ambig uidade de forma n ao-iterativa. Em seguida, a matriz fundamental e estimada robustamente e a restric a o epipolar empregada para eliminar falsas correspond encias. Com isso, testes em imagens reais mostram que o algoritmo proposto estabelece uma quantidade maior de boas correspond encias mesmo na presenc a de distorc o es radiom etricas e projetivas, e oclus oes.

o Notac a
No decorrer do texto, matrizes e vetores s ao re-

presentados por letras, n umeros ou s mbolos em nedispon vel e a matriz fundamental 168 Semina: Ci encias Exatas e Tecnol ogicas, Londrina, v. 26, n. 2, p. 167-180, jul./dez., 2005.

Algoritmo Robusto para Correspond encia de Pontos em Imagens Estereosc opicas na Aus encia de . . . grito. Constantes s ao expressas por letras, n umeros pormenores. ou s mbolos em it alico.

` correspond Escolha dos candidatos a encia

Os planos de imagem das c ameras que comp oem o conjunto binocular s ao expressos por I1 e I2 para, Para formac a o do conjunto de candidatos a ` correspectivamente, a c amera da esquerda e a c amera da respond encia, e utilizada a restric a o da semelhanc a. direita. Esta e baseada no valor de intensidade dos pixels da imagem na posic a o do ponto de interesse e obriga o As coordenadas da projec a o de um ponto 3D no correspondente de um ponto a ser similar a ele. plano de imagem I , {1, 2}, s ao representadas como m = [u , v ]T . Tamb em, I (u , v ) representa o valor do pixel da imagem I que est a na posic a o (u , v ). Al em disso, as coordenadas homog eneas de um ponto m = [x , y , ...]T s ao representadas por m , isto e , m = [x , y , ..., 1]T . Um segundo ndice, se houver, indica a posic a o de um ponto espec co em um conjunto de pontos. Por u ltimo, uma reta l , no plano de imagem I e SAD (cij ) =
(u,v)W

Considerando um ponto m1i no plano I1 e m2j no plano I2 . A forma mais simples de expressar a semelhanc a entre m1i e m2j e por meio do somat orio das diferenc as absolutas dado pela seguinte equac a o |I1 (u, v ) I2 (u + x, v + y )| ,

(1) que passa pelo ponto m = [u , v ]T , deve satisfa- onde cij = (m1i , m2j ) e um par candidato a ` corzer a u + b v + c = 0. Essa mesma reta e repre- respond encia, Iz (k, l) e o valor da func a o de intensisentada no texto como sendo l = [a , b , c ]T . As- dade da imagem z na posic a o (k, l), W e uma jasim, e utilizada uma pr atica notac a o para a equac a o nela de correlac a o centrada em m1i , x e y repreTl da mesma, ou seja, lT m = 0 ou m = 0 . sentam o deslocamento de m2j em relac a o a m1i , Novamente, um segundo ndice, se houver, indica a e (u, v ) W representa todos os pontos dentro de posic a o da reta em um conjunto de retas. W.

M etodo Proposto
Para reduzir o espac o de busca, o algoritmo proposto pressup oe a exist encia de um conjunto de can-

A equac a o (1) e baseada na suposic a o de que os tons de cinza em torno da projec a o de um mesmo ponto 3D s ao os mesmos nas duas imagens de um

conjunto binocular. Contudo, tal suposic a o nem tos segmentados em cada imagem do par esteresempre e v alida, porque os tons de cinza em torno de osc opico. Em seguida, um conjunto de pares de um ponto diferem dos tons de cinza ao redor do seu cantos candidatos a ` correspond encia e formado bacorrespondente na outra imagem por uma constante seado na correlac a o entre tais cantos. Logo ap os, de desvio e um fator de ganho. Por isso, geralmente, a ambig uidade e eliminada atribuindo-se um grau a correlac a o cruzada normalizada e de m edia zero e de conanc a a cada par candidato e eliminandouma medida que fornece melhores resultados. Tal se correspond encias pouco con aveis. Por u ltimo, medida e denida por a matriz fundamental e estimada robustamente e a restric a o epipolar utilizada para eliminar as falsas correspond encias. A seguir, as etapas do algoritmo s ao descritas em ZN CC (cij ) =
(u,v)W 2 (u, v ) 2 (u + x, v + y ) 1 2

1 (u, v )2 (u + x, v + y ) , (2) 169

Semina: Ci encias Exatas e Tecnol ogicas, Londrina, v. 26, n. 2, p. 167-180, jul./dez., 2005.

de Franc a, J.; Stemmer, M. e Franc a, M. onde z (k, l) = Iz (k, l) I z e

2 z (k, l)

ele e igual a 0. Com isso, para Wn de dimens ao 5 5, s ao necess arios 24 bits para representar cada
2

=
(u,v)W

[z (k, l)] .

(3) elemento da imagem transformada. Um aumento signicativo! Ap os a transformada censo, para comparar a

Apesar de ser mais robusta, a equac a o (2) au-

a entre elementos de duas imagens, devementa a complexidade computacional do algoritmo. semelhanc ancia Hamming (HAMMING, 1950), Em vista disso, Zabih e Woodll (1994) propuse- se utilizar dist orio das dist ancias Hamming denram a aplicac a o de t ecnicas n ao-param etricas ao pro- por meio do somat blema de correspond encia de pontos. Estas t ecnicas, tro de uma janela W , ou seja, ao inv es de considerar a intensidade de um pixel em si, baseiam-se na ordem relativa das intensidades dos pixels dentro de uma janela Wn . Dessa SHD (cij ) =
(u,v)W I1 (u, v )I2 (u+x, y +v ), (4)

e I . Aqui, forma, elas s ao robustas com respeito as distorc o es onde e a dist ancia Hamming entre I1 2 e I representam, respectivamente, a transformada radiom etricas. I1 2

Uma das t ecnicas n ao-param etricas conhecidas e a transformada posto (ZABIH; WOODFILL, 1994). Nesta, um pixel na posic a o (u, v ), e substitu do pelo n umero de pixels dentro de uma janela Wn , centrada em (u, v ), que possuem intensidade menor que I (u, v ). Assim, a imagem original e transformada em uma matriz de n umeros. Al em disso, o n umero de bits necess ario para armazenar a imagem ap os a transformac a o e , geralmente, menor. Por exemplo, para Wn de dimens ao 5 5, s ao necess arios ape-

censo das imagens 1 e 2. Assim, quanto menor o SHD , maior a semelhanc a entre os pontos que comp oem o par cij . A robustez da transformada censo pode ser demonstrada observando a gura 1. Nesta, considere que o pixel central das janelas 3 3 s ao correspondentes. Contudo, as intensidades desses pixels s ao diferentes entre si. Obviamente, isso diculta a correspond encia por correlac a o. No entando, aplicando-

se a transformada censo, os pixels em quest ao s ao nas 5 bits para representar cada elemento da imagem transformados em duas seq ue ncias de bits id enticas, transformada. logo a dist ancia Hamming entre eles e nula. Peerios descritos nesta sec a o, isso signica diJ a que reduz o efeito das distorc o es radiom etricas, los crit em a mesma assinatura. Al em a transformada posto permite o uso de correlac a o zer que os pixels t a o da transformada censo a todos os por SAD para expressar a semelhanc a entre pontos. disso, a aplicac alculo da dist ancia Contudo, esta transformada n ao ret em a localizac a o pixels dentro de W , seguido do c ao corresdos pixels dentro da janela Wn . Para isso, pode- Hamming, deve revelar que tais pontos s a. se utilizar a transformada censo (ZABIH; WOODFILL, pondentes com uma maior seguranc 1994). Como as transformadas posto e censo envolvem Na transformada censo, os pixels dentro da ja- apenas comparac o es entre n umero inteiros, elas ponela Wn , centrada em (u, v ), s ao mapeados em uma dem ser aplicadas a um baixo custo computacional. seq ue ncia de bits. Assim, se um pixel tem inten- Contudo, como envolve a manipulac a o de uma quansidade maior que I (u, v ), o bit correspondente na tidade menor de dados, a transformada posto tende a seq ue ncia e feito igual a 1, mas, em caso contr ario ser de implementac a o mais f acil. 170 Semina: Ci encias Exatas e Tecnol ogicas, Londrina, v. 26, n. 2, p. 167-180, jul./dez., 2005.

Algoritmo Robusto para Correspond encia de Pontos em Imagens Estereosc opicas na Aus encia de . . .
255 89 200 43 123 23 78 199 12 240 100 200 25 150 35 85 199 18
Imagem 1 Imagem 2
(a)

10001100

10001100

Figura 1. Duas janelas de correlac a o 3 3, cujos tons de cinza s ao diferentes. Contudo, a transformada censo revela que a dist ancia Hamming dos pontos centrais e nula.

lw dw lw

o Multiplas janelas de correlac a

Imagem 1

Imagem 2

(b)

Oclus oes e distorc o es projetivas fazem com que a Figura 2. (a) inu encia das oclus oes na correlac a o a o. (b) correlac a o vizinhanc a de um ponto interessante seja diferente com apenas uma janela de correlac com 5 janelas. Aqui, em pelo menos uma janela, a nas duas imagens de um conjunto binocular. Na semelhanc a e conservada. gura 2(a), ilustra-se um exemplo t pico de oclus ao. Nela, objetos a dist ancias diferentes das c ameras parecem mover-se quando s ao observados de pers- das cinco janelas. Pode-se dizer que esse m etodo e pectivas diferentes. Assim, a imagem em torno do uma simplicac a o da t ecnica de Kanade e Okutomi ponto de interesse e diferente nas duas imagens e (1994). isso, evidentemente, diculta a correspond encia por semelhanc a. Uma maneira de reduzir este problema T ecnicas de correlac a o com janelas mais bem elae diminuir a largura, lw , da janela de correlac a o, boradas aumentam signicativamente o custo comcontudo, isto aumenta a inu encia do ru do e tende putacional do algoritmo. Por isso, neste trabalho, a o padr ao, ou seja, uma u nica a reduzir o n umero de boas correspond encias. Em utilizou-se a congurac vista disso, Kanade e Okutomi (1994) propuseram janela com tamanho xo, o que signica que se es a na transformada um m etodo no qual o tamanho e a forma da ja- tar depositando extrema conanc nela de correlac a o adaptam-se ao local do ponto de censo. interesse, por em esse m etodo tem um custo computacional muito elevado. Por isso, v arios autores como, por exemplo, Hirschm uller, Innocent e GariAbordagem proposta No m etodo proposto, para escolher os pares can-

` correspond encia, inicialmente se aplica a baldi (2002), Fusiello, Roberto e Trucco (), propuse- didatos a ` s duas imagens. Em seguida, ram uma alternativa a ` t enica de Kanade e Okutomi transformada censo a (1994). Tal alternativa e baseada em m ultiplas jane- para cada canto segmentado, m1i , de I1 , calcula a entre este e todos os cantos seglas de correlac a o. Por exemplo, Hirschm uller, Inno- se a semelhanc ao dentro de uma jacent e Garibaldi (2002) utilizaram um sistema com mentados, m2j , de I2 que est ao 2ls 2ls , centrada em m1i (gura cinco janelas de correlac a o, como ilustrado na gura nela de dimens 2(b). Assim, a correlac a o entre pontos utilizada era 3). Ent ao, o par cij = (m1i , m2j ) que apresentar um valor baseado na correlac a o devido a cada uma a maior semelhanc a, e considerado um candidato a ` 171 Semina: Ci encias Exatas e Tecnol ogicas, Londrina, v. 26, n. 2, p. 167-180, jul./dez., 2005.

de Franc a, J.; Stemmer, M. e Franc a, M.

Imagem 1 u1i Imagem 2 u1i

posta tendo como principal crit erio a simplicidade. Formalmente, denimos a conanc a, Reab, de um par cij = (m1i , m2j ) candidato a ` correspond encia,

v1i

v1i

2ls

baseada nos candidatos a ` correspond encia vizinhos, pela equac a o

2ls Janela de Correlao centro em m1i =(u1i ,v1i ) Janela de Busca centro em m1i =(u1i ,v1i )

Reab(cij ) =
n1k N (m1i )

n2l N (m2j )

(cij , vkl ) ,

(5)

Figura 3. correlac a o.

Correspond encia de pontos por

onde (cij , vkl ) e igual a 1 se (n1k , n2l ) e um candidato a ` correspond encia e r (cij , vkl ) < r ; caso contr ario, e igual a zero. Aqui,

correspond encia. Devido a instabilidade dos algoritmos dispon veis para segmentar os cantos em ambas as imagens, na pr atica, diversos cantos de uma imagem n ao correspondem a nenhum canto na outra imagem. Isso diculta o processo de selec a o dos candidatos a ` correspond encia e pode fazer com que exista ambig uidade entre o conjunto de candidatos a ` correspond encia, ou seja, um canto de I2 forme um par com mais de um ponto de I1 . Assim, uma outra etapa para eliminar a ambig uidade e necess aria e discutida a seguir.

r (cij , vkl ) =

|d(m1i , n1k ) d(m2j , n2l )| [d(m1i , n1k ) + d(m2j , n2l )]/2

(6)

e uma medida do erro das posic o es relativas entre os pares (m1i , n1k ) e (m2j , n2l ), e r e um limiar para esta medida. Agora, alguns coment arios devem ser feitos: 1. A equac a o (5) conta o n umero de candidatos a ` correspond encias que s ao vizinhos do candidato (m1i , m2j ) e possuem posic o es relativas semelhantes. 2. Para que um par vkl aumente a conanc a de cij , pode-se impor que o a ngulo, , entre m n e m 2j n2l seja menor que um limiar th . Isso aumenta o custo computacional, mas reduz o n umero de falsas correspond encias. 3. Se mais de um ponto n1k N (m1i ) forma um par candidato com um mesmo ponto n2l N (m2j ) (gura 4), o somat orio da equac a o (5) deve contar todos os pares amb guos como se fossem apenas um u nico par. 4. Na equac a o (6), pode-se fazer d(mx , ny ) igual a ` dist ancia euclidiana. Contudo, neste trabalho utilizou-se (7)
1i 1k

o da Ambiguidade Eliminac a
Considerando o par cij = (m1i , m2j ) um candidato a ` correspond encia, representa-se o conjunto de vizinhos de m1i e de m2j dentro de uma janela de dimens ao 2ln 2ln (gura 4) por, respectivamente, N (m1i ) e N (m2j ). Assim, se cij for um bom candidato a ` correspond encia, espera-se que existam muitos candidatos a ` correspond encia Vkl = (n1k , n2l ), onde n1k N (m1i ) e n2l N (m2j ), tal que a posic a o relativa entre n1k e m1i e semelhante a ` posic a o relativa entre n2l e m2j . Por outro lado, se cij n ao e um bom candidato, n ao se espera encontrar a mesma relac a o entre esse pontos. Baseado nesta propriedade, deniu-se uma medida da conanc a de

d(mx , ny ) = |um un | + |vm vn |, um candidato a ` correspond encia. Tal medida foi pro172 Semina: Ci encias Exatas e Tecnol ogicas, Londrina, v. 26, n. 2, p. 167-180, jul./dez., 2005.

Algoritmo Robusto para Correspond encia de Pontos em Imagens Estereosc opicas na Aus encia de . . .

2ln
n12

dispon vel. Tal geometria j a foi descrita em numerosos artigos, por exemplo, os trabalhos de Torr e Murray (1997), Zhang (1998), Armangu e e Salvi (2003).
m 2j n11 n21

2ln

m1i

Basicamente, a geometria epipolar pode ser entendida se for considerado o caso de duas c ameras como apresentado na gura 5. Nesta, C1 e C2 s ao, respectivamente, os centros o pticos da primeira e segunda

Imagem 1

Imagem 2

ameras. Ent ao, dado um ponto m1 na primeira imaFigura 4. Um par (m1i , m2j ) candidato a ` corres- c pond encia com vizinhos dentro de uma janela de gem, I1 , o ponto correspondente, m2 , na segunda lado 2ln . O par (n11 , n21 ) aumenta a conanc a do imagem, I , est a restrito a uma reta chamada reta 2 par (m1i , m2j ). epipolar de m1 , representada na gura por l2 . A reta l2 e a intersecc a o do plano , denido por M, onde considera-se mx = [um , vm ]T e ny = C1 e C2 (chamado de plano epipolar), com o plano [un , vn ]T . A equac a o (7) tem um custo compu- I2 . Isto acontece porque o ponto m1 pode corresa o tacional menor que o da dist ancia euclidiana e o ponder a qualquer ponto da reta C1 M e a projec a reta l2 . Al em disso, observa-se seu uso na equac a o (6) n ao prejudica o c alculo de C1 M em I2 e da conanc a de (m1i , m2j ). que todas as retas epipolares dos pontos de I1 passam atrav es de um ponto comum, e2 , em I2 . Este conhecido como epipolo. O ponto e1 e Para eliminar a ambig uidade, deve-se aplicar ponto e a o da reta C1 C2 com o plano I2 . Finala equac a o (5) em todos os candidatos a ` corres- a intersecc mente, pode-se facilmente observar a simetria da gepond encia e: ometria epipolar. O correspondente em I1 de cada 1. Candidatos com Reab(cij ) rbth s ao descar- ponto m2i , sobre a reta l2i , precisa pertencer a reta tados. epipolar l1i , que e a intersecc a o do mesmo plano 2. Caso haja ambig uidade, prevalece o candidato mais con avel. 3. Se dois pares amb guos possuem a mesma conanc a, prevalece aquele que tem a maior semelhanc a. Seguindo as orientac o es acima, a ambig uidade e eliminada em apenas um u nico passo. Contudo, espera-se que algumas falsas correspond encias persistam. Por isso, a matriz fundamental deve ser estimada e a restric a o epipolar utilizada para eliminar as falsas correspond encias. A equac a o (8) e uma restric a o por tr as de quaisquer duas imagens se estas s ao projec o es em perspectiva de uma mesma cena. Geometricamente, Fm1 dene a reta epipolar do ponto m1 no plano Normalmente, todas as restric o es impostas pela geometria epipolar s ao resumidas na seguinte equac a o mT 2 Fm1 = 0, (8) i com o plano I1 . Todas as retas epipolares formam um conjunto contendo o epipolo e1 , que e a intersecc a o da reta C1 C2 com o plano I1 .

onde F e conhecida como a matriz fundamental do conjunto binocular.

o das falsas correspond Eliminac a encias

Quando o conjunto binocular n ao est a calibrado, I2 . Assim, a equac a o (8) n ao diz nada al em de que a geometria epipolar e au nica restric a o geom etrica o ponto correspondente de m1 (em I2 ), ou seja, m2 , 173 Semina: Ci encias Exatas e Tecnol ogicas, Londrina, v. 26, n. 2, p. 167-180, jul./dez., 2005.

de Franc a, J.; Stemmer, M. e Franc a, M. se as falsas correspond encias enquanto se realiza a estimac a o.
Plano

Um dos m etodos robustos mais conhecidos na literatura e o RANSAC (do ingl es: Random Sample Consensus), introduzido na vis ao computacional por Fischler e Bolles (1981). Basicamente, o RANSAC pode ser resumido nos passos a seguir. Dado um conjunto de N correspond encias ci = (m1i , m2i ), escolhe-se, aleatoriamente, Nsc subconjuntos de Nnc correspond encias. Para cada sub-

M e2 e1 m1 C1 C2

l2 l1
m2

Plano

I1
Plano I 2

conjunto (indexado por j ), estima-se a matriz fun2 (F , c ), damental, Fj , e calcula-se o res duo, rji j i de todas as N correspond encias. Cada res duo e 2 . Se r 2 < r 2 , a comparado com um limiar rth ji th

Figura 5. Geometria epipolar.

correspond encia ci e considerada uma boa correspond encia. Ap os Nsc iterac o es, ret em-se a matriz est a sobre a sua reta epipolar Fm1 . fundamental, Fwin , que ajustou-se ao maior n umero de boas correspond encias. Por u ltimo, estima-se F Encontram-se na literatura diversos m etodos para com apenas as boas correspond encias (identicadas estimar-se a matriz fundamental. Veja-se, por exem- por r 2 2 < r ). plo, os trabalhos de Torr e Murray (1997), Zhang (1998), Armangu e e Salvi (2003) para tr es an alises cr ticas diferentes de tais m etodos.
(win)i th

O n umero de subconjuntos, Nsc , utilizado no

Contudo, o RANSAC deve ser tal que, supondo, dentre todas as encias, uma porcentagem de falsas m etodo mais conhecido e o algoritmo de 8 pontos N correspond encias, exista uma probabilidade p de que (HARTLEY, 1997). Tal m etodo, dado um conjunto correspond com n 8 correspond encias, estima a matriz fun- (ao menos) um subconjunto j seja composto apenas damental de forma linear, resolvendo
n

por boas correspond encias. Neste caso, Nsc e igual a (9) Nsc = log(1 p)/ log 1 (1 )Nnc . (10)

mT 2i Fm1i
i=1

sujeito a F = 1.

Evidentemente, se a matriz fundamental do conjunto binocular for conhecida, a equac a o (8) pode ser utilizada na busca por correspond encias de pontos. Infelizmente, o algoritmo de 8 pontos j a pressup oe a exist encia de um conjunto de correspond encias. Assim, a soluc a o adotada nesta trabalho e utilizar o con-

Neste trabalho, a t atica utilizada e iniciar Nsc usando a equac a o anterior e atualiz a-lo a cada iterac a o j , ou seja, uma vez que a percentagem, j , de falsas correspond encias tenha sido determinada, Nsc e atualizado por (10). Da equac a o anterior, v e-se que Nsc aumenta ex-

junto de candidatos a ` correspond encia formado pelo ponencialmente com Nnc e . Por exemplo, considem etodo discutido na sec a o anterior e estimar a matriz rando uma probabilidade p = 99%, se = 25% e fundamental de forma robusta, ou seja, eliminando- Nnc = 7, ent ao Nsc = 33. Contudo, se = 40% 174 Semina: Ci encias Exatas e Tecnol ogicas, Londrina, v. 26, n. 2, p. 167-180, jul./dez., 2005.

Algoritmo Robusto para Correspond encia de Pontos em Imagens Estereosc opicas na Aus encia de . . . a o de F, mesmo que mais de 50% das correse Nnc = 8, temos Nsc = 272. Assim, desde que estimac encias sejam falsas. A desvantagem evidente e quanto maior Nsc , maior o custo computacional, o pond ideal e ter-se Nnc e t ao pequenos quanto poss vel. O valor de depende de como o conjunto total de correspond encias foi estabelecido, ou seja, ele deque ele necessita de uma estimac a o do desvio padr ao do ru do, d . Outra caracter stica importante a ser obervada e

pende do grau de conanc a do algoritmo de corres- que, de forma geral, o algoritmo RANSAC procura a pond encia de pontos. matriz Fj que minimiza a func a o a seguir Como F tem sete graus de liberdade, o valor m nimo para Nnc e sete. Contudo, a soluc a o com apenas sete correspond encias n ao e est avel. Por isso, neste trabalho, e utilizado o m etodo de 8 pontos com onde Nnc = 8. No RANSAC, o par ametro mais cr tico a ser esco2 , pois dele depende o crit erio que lhido e o limiar rth 2 diz se uma correspond encia e boa ou ruim. Se rth 2 J (rji )= N

min
Fj i=1

2 J (rji ),

2 r2 0, se rji th 2 > r2 1, se rji th

2 tiver um Na equac a o anterior, e evidente que, se rth

valor muito elevado, todas as correspond encias ser ao consideradas boas. Nesee caso, qualquer matriz Fj teria a mesma pontuac a o, ou seja,
N 2 i=1 J (rji )

e muito pequeno, boas correspond encias podem ser

2 grande faz consideradas ruins. Por outro lado, um rth

seria

com que algumas falsas correspond encias n ao sejam detectadas.

2 e Normalmente, o res duo rji dado por 2 rji = d2 (m2i , Fj m1i ) + d2 (m1i , FT j m2i ), (11)

sempre igual a N . Por isso, Torr e Zisserman (1998)

2 ), sugeriram uma discreta alterac a o na func a o J (rji

ou seja,
2 J (rji )= 2, rji 2 r2 se rji th

2 , se r 2 > r 2 rth ji th

onde d2 () e o quadrado da dist ancia euclidiana.

Agora, cada boa correspond encia contribui com um valor diferente e proporcional ao seu grau de ajuste

umero igual Al em disso, se for considerado um ru do com uma a Fj . Assim, mesmo considerando um n 2 ) deve ter encias, a func a o J (rji distribuic a o gaussiana de m edia zero e desvio padr ao de boas correspond
2 e denido como d , o res duo rth 2 2 = d2 rth th d ,

valores diferentes para matrizes fundamentais diferentes. (12) Torr e Zisserman (1998) demonstraram que essa

a o produz uma sens vel melhoonde d2 th deve ser escolhido tal que exista uma proba- pequena modicac bilidade pd de uma boa correspond encia ser erronea- ria no desempenho do algoritmo RANSAC. Assim, desmente considerada uma falsa correspond encia. Con- desde que o custo computacional adicionado e 2 vel, este algoritmo (conhecido como MSAC, do escolhido empiricamente. prez tudo, muitas vezes, dth e es: M-Estimator Sample Consensus) e utilizado Por exemplo, Hartley e Zisserman (2000) utilizaram ingl 2 2 dth = 3, 84, Zhang (1998) utilizou dth = 2, 5 e Torr no presente trabalho. e Murray (1997) consideraram d2 th = 1, 99. A etapa de eliminac a o das falsas correspond encias

au nica fase iterativa do algoritmo proposto. ConO m etodo RANSAC pode obter uma boa e 175 Semina: Ci encias Exatas e Tecnol ogicas, Londrina, v. 26, n. 2, p. 167-180, jul./dez., 2005.

de Franc a, J.; Stemmer, M. e Franc a, M. tudo, o uso do algoritmo MSAC aumenta signi- equac a o (2) tem que ser usada para formar o concativamente a robustez do m etodo. Como demons- junto de candidatos a ` correspond encia. Outro difetrado empiricamente na pr oxima sec a o, ele garante a rencial e o uso de t ecnicas iterativas de relaxac a o obtenc a o de um conjunto con avel de boas corres- para eliminar a ambig uidade. Tal t ecnica utiliza uma pond encias em situac o es bem distintas. equac a o bastante complexa para calcular o grau de conanc a dos candidatos a ` correspond encia. Isso contribui para que esta seja a fase do algoritmo que requer mais tempo de processamento.

Resultados Experimentais
Nesta sec a o, o m etodo de correspond encia de pontos proposto e avaliado. Para isto, s ao utilizados

Ambos os m etodos testados foram implementaos tr es pares de imagens das guras 6, 7 e 8. O dos na forma de um programa para o MATLAB. Ao par da gura 6 possui o epipolo pr oximo ao cen- contr ario do proposto por Zhang, Deriche e FAUGEtro das imagens. Este foi escolhido para contrastar RAS O; LUONG (1995), a implementac a o do algocom o par da gura 7, cujos epipolos tendem ao in- ritmo ZHANG utilizada neste trabalho usa o m etodo nito. Por u ltimo, o par da gura 8 foi utilizado como MSAC para identicar as falsas correspond encias. imagem-teste devido a ` distorc a o projetiva elevada. Isso foi necess ario por dois motivos: (a) o m etodo Tal distorc a o ocorreu porque as c ameras que forma- LMedS, usado no artigo original de Zhang, Derivam o conjunto binocular possuiam dist ancias focais che e FAUGERAS O; LUONG (1995), n ao forbem distintas. Este fato diculta ainda mais o pro- nece bons resultados se a quantidade de falsas corcesso de correspond encia de pontos. respond encias e maior que 50 %, e; (b) j a que o etodo proposto tamb em usa o MSAC, isto facilita Cada imagem-teste tem dimens ao de 640 480 m a o dos resultados. pixels. Por comodidade, o par de imagens da gura a comparac 6e referenciado no texto por MESA e os das guras 7 e 8, respectivamente, por PLANTA e DESKTOP. O algoritimo ZHANG foi implementado com os par ametros recomendados no artigo de Zhang, De-

O algoritmo SUSAN (SMITH, 1992) foi utilizado riche e FAUGERAS O; LUONG (1995). Para o etodo proposto, a transformada censo foi aplicada para extrair cantos de cada uma das imagens. S ao m ` s imagens com uma janela Wn de 5 5 pixels. Com com esses cantos que os m etodos avaliados devem a isso, cada pixel da imagem e transformado em uma tentar estabelecer correspond encia de pontos. seq ue ncia de 24 bits. Para formar o conjunto de canO desempenho do algoritmo proposto e comparado ao do m etodo de Zhang, Deriche e FAUGERAS O; LUONG (1995). Tal m etodo e um dos mais citados na literatura e e tido como um dos mais robustos. Outro fator importante e que o m etodo de Zhang, Deriche e FAUGERAS O; LUONG (1995) tamb em e dividido em tr es etapas: formac a o do conjunto de candidatos a ` correspond encia; eliminac a o da ambig uidade, e; identicac a o das falsas correspond encias. Contudo, ao contr ario do m etodo proPara a fase de eliminac a o da ambig uidade, o posto, este m etodo n ao utiliza transformac o es n ao- m etodo proposto foi implementado considerando param etricas. Por isso, a correlac a o dada pela r = 0, 04, th = /2 e rbth = 2, 5% do n umero 176 Semina: Ci encias Exatas e Tecnol ogicas, Londrina, v. 26, n. 2, p. 167-180, jul./dez., 2005. didados a correspond encia, utilizou-se uma janela de correlac a o de 11 11 pixels. Al em disso, dado um determinado ponto, m1i I1 , a correlac a o deste e calculada com todos os pontos pertencentes a I2 e que est ao dentro de uma janela de busca centrada em m1i , de di ametro igual a 1/4 da largura da imagem. Estes s ao valores emp ricos, mas que funcionaram bem para todos os casos testados.

Algoritmo Robusto para Correspond encia de Pontos em Imagens Estereosc opicas na Aus encia de . . .

Figura 6. O par de imagens chamado MESA, utilizado na avaliac a o dos m etodos de correspond encia de pontos.

Figura 7. Imagens PLANTA utilizadas na avaliac a o dos m etodos propostos.

Figura 8. Imagens referenciadas como DESKTOP e utilizadas na avaliac a o dos m etodos de correspond encia de pontos. 177 Semina: Ci encias Exatas e Tecnol ogicas, Londrina, v. 26, n. 2, p. 167-180, jul./dez., 2005.

de Franc a, J.; Stemmer, M. e Franc a, M. de cantos extra dos da imagem 1. etodos conseguem estabelecer, em todos os caO par ametro os m

encias que ajusta-se r depende da semelhanc a entre as c ameras que sos, um conjunto de correspond ` geometria epipolar do conjunto binocular e comp oem o conjunto binocular, ou seja, quanto mais bem a distintos (entre si) forem os par ametros das duas que tem mais que 100 elementos. c ameras, maior deve ser o valor de r . Por exemplo, no par DESKTOP, as c ameras possuem dist ancias focais bem distintas. Por isso, para este par, r foi feito igual a 0,10. Outro importante fator que inuencia a escolha de r e a separac a o entre as c ameras. Uma separac a o maior implica um r tamb em maior. Por isso, esse par ametro deve ser escolhido experimentalmente para cada conjunto binocular. Contudo, uma vez que as c ameras permanecem xas durante toda a operac a o normal do conjunto binocular, um r A tabela 2 mostra o tempo de execuc a o dos algoritmos. Observa-se que o algoritmo ZHANG necessita de um tempo muito maior para concluir as etapas 1 e 2, respectivamente, formac a o do conjunto de correspond encias e eliminac a o da ambig uidade. Por isso, o algoritmo proposto e executado, em m edia, em um tempo total dez vezes menor. Isso acontece, principalmente, devido ao grande n umero de candidatos a ` correspond encia encontrados na primeira

etapa do processo e, evidentemente, esse fato sobrebem escolhido servir a adequadamente durante todo o carrega a etapa de eliminac a o da ambig uidade. Por tempo que o sistema for utilizado. outro lado, no m etodo proposto, este processo e feito ao-iterativa e utilizando Na tabela 1 s ao apresentados, para cada par de de forma bastante simples, n o es com n umeros inteiros. imagens, a quantidade de correspond encias estabe- apenas operac lecidas em cada fase pelos m etodos testados. Al em disso, e apresentado tamb em o ajuste da matriz fundamental (estimada pelo algoritmo MSAC) ao conjunto nal de correspond encias, dado por 1 r 2 (Fj ) = 2N
2 e onde rji dado por (11). N 2 rji , i=0

Conclus ao
Talvez devido a ` popularidade das t ecnicas de calibrac a o cl assica, maior e nfase e dada ao processo de correspond encia de pontos em sistemas j a cali-

ao-calibrado, os algoritmos (13) brados. Para o caso n dispon veis s ao, na maioria das vezes, pouco ecientes, pois utilizam t ecnicas complexas e de custo computacional elevado, ou, ao contr ario, usam uma

a simples, que forma um conEste ajuste fornece uma indicac a o da qualidade do medida de semelhanc encia inicial pouco con avel, e, conjunto de correspond encias encontrado. Um ajuste junto de correspond a o epipolar, atrav es de pequeno (menor que um) indica um bom conjunto de em seguida, aplicam a restric algoritmos como o RANSAC ou LMedS, para idencorrespond encias. ticar os candidatos con aveis. Nesse u ltimo caso, ` grande ambig uidade, o algoritmo de corresObservando a tabela 1, exceto na primeira etapa, devido a encia torna-se bastante iterativo. Em oposic a o, nota-se que os resultados de ambos os m etodos s ao pond bem semelhantes. encia proposto utiliza Em particular, ambos t em di- o algoritmo de correspond ecnicas simples, mas muito ecientes, pois conseculdade em estabelecer correspond encias de pon- t encia initos com o par DESKTOP. Contudo, devido a ` gue estabelecer um conjunto de correspond avel. Tal conanc a e aumendistorc a o projetiva elevada, como os m etodos utili- cial reduzido, mas con es fases distintas. O resultado e zam semelhanc a para formar o conjunto inicial de tada ao longo de tr apido. correspond encias, isto j ae esperado. Mesmo assim, um algoritmo simples, eciente e r 178 Semina: Ci encias Exatas e Tecnol ogicas, Londrina, v. 26, n. 2, p. 167-180, jul./dez., 2005.

Algoritmo Robusto para Correspond encia de Pontos em Imagens Estereosc opicas na Aus encia de . . . Tabela 1. Quantidade de correspond encias encontradas em cada etapa do algoritmo pelos m etodos analisados. Na primeira coluna, a quantidade de cantos encontrada em cada imagem do par e apresentada entre parenteses. Par de imagens MESA (2.079 1.982) PLANTA (2.731 2.833) DESKTOP (3.000 2.817) M etodo utilizado ZHANG PROPOSTO ZHANG PROPOSTO ZHANG PROPOSTO N umero de correspond encias Etapa 1 Etapa 2 Etapa 3 32.579 1.130 572 2.079 1.083 524 102.972 1.543 777 2.731 1.625 770 158.532 1.499 230 2.290 1.034 141 Ajuste 0,48 0,53 0,41 0,36 0,57 0,48

Tabela 2. Tempo (em segundos) necess ario para os m etodos analisados concluirem cada um das etapas dos algoritmos. Par de imagens MESA PLANTA DESKTOP M etodo utilizado ZHANG PROPOSTO ZHANG PROPOSTO ZHANG PROPOSTO Tempo de execuc a o (s) Etapa 2 Etapa 3 Total 79,01 3,96 107,02 2,56 3,90 13,90 481,75 3,39 515,08 15,03 8,75 35,13 1.644,21 194,98 1.868,53 21,18 167,85 205,51

Etapa 1 18,03 7,44 24,94 11,35 29,34 16,48

A an alise dos resultados da sec a o anterior mos- dentente, aumentaria o seu custo computacional. tra que a transformada censo, em conjunto com a dist ancia Hamming, constitui uma excelente medida de semelhanc a entre pontos. Al em disso, a equac a o (5) possibilita uma pr atica ferramenta para reduc a o da ambig uidade no processo de correspond encia. Contudo, o m etodo ainda pode ser melhorado. Possivelmente, uma alterac a o que aumentaria signicativamente a conanc a das correspond encias seria estabalecer um limiar m aximo para a dist ancia Hamming, ou seja, uma correspond encia fora desse limiar
seria desconsiderada. Contudo, a escolha de tal li- ARMANGUE, X.; SALVI, J. Overall view regarding fun-

Agradecimentos
Os autores agradec em aos revisores an onimos pelas contribuic o es para melhoria do texto e a PROPPG-UEL e ao CNPq pelo nanciamento das pesquisas.

Refer encias
damental matrix estimation. Image and Vision Compu-

miar deve ser feita dinamicamente, de acordo com o ting, Guildford, v. 21, p. 205220, 2003. conjunto total de poss veis correspond encias. Um es- BAE, K.-H.; KOO, J.-S.; KIM, E.-S. A new stereo obtudo deste tipo foi realizado recentemente por Kana- ject tracking system using disparity motion vector. Optics Um estudo semelhante para o caso da transformada censo reduziria o n umero de iterac o es necess arias a ` terceira fase do algoritmo proposto. Contudo, evijun., 2003.

tani e Kanazawa (2004), para o caso da equac a o (2). Communications, Amsterdam, v. 221, n. 113, p. 2335,
BROWN, M.; BURSCHKA, D.; HAGER, G. Advances in computational stereo. IEEE Transactions on Pattern Analysis and Machine Intelligence, New York, v. 25, n. 8,

179 Semina: Ci encias Exatas e Tecnol ogicas, Londrina, v. 26, n. 2, p. 167-180, jul./dez., 2005.

de Franc a, J.; Stemmer, M. e Franc a, M.

p. 9931008, 2003. Dispon vel em: <http://jobber.cs.jhu. MENG, Y.; ZHUANG, H. Self-calibration of cameraedu/burschka/>. Acesso em: set. 2005. equipped robot manipulators. The International Journal of Robotics Research, Cambridge, v. 20, n. 11, p. 909 CHEN, Z.; WU, C.; TSUI, H. T. A new image rectica- 921, 2001. tion algorithm. Pattern Recognition Letters, Amsterdam, MOISAN, L.; STIVAL, B. A probabilistic criterion to v. 24, n. 1-3, p. 251260, 2003. detect rigid point matches between two images and estiDORNAIKA, F.; CHUNG, R. Cooperative Stereo- mate the fundamental matrix. Pattern Recognition Letters, Motion: Matching and Reconstruction. Computer Vision Amsterdam, v. 57, n. 3, p. 201218, 2004. and Image Understanding, Guildford, v. 79, n. 3, p. 408 SCHARSTEIN, D.; SZELISKI, R. A taxonomy and eva427, Sept., 2000. luation of dense two-frame stereo correspondence algoFISCHLER, M.; BOLLES, R. Random sample consen- rithms. International Journal of Computer Vision, Dorvel em: <http:// sus: A paradigm for model tting with applications to drecht, v. 47, n. 1, p. 742, 2002. Dispon image analysis and automated cartography. Communicati- citeseer.ist.psu.edu/scharstein01taxonomy.html>. Acesso ons of the ACM, New York, v. 24, n. 6, p. 381385, 1981. em: set. 2005. FUSIELLO, A.; ROBERTO, V.; TRUCCO, E. Efcient stereo with multiple windowing. In: IEEE Conference on Computer Vision and Pattern Recognition, 1997, Porto Rico. Proceedings... New York, 1997. Dispon vel em: <http://citeseer.ist.psu.edu/fusiello97efcient.html>. Acesso em: set. 2005. SMITH, S. A new class of corner nder. In: BRITISH MACHINE VISION CONFERENCE, 3, Washington, 1992. Proceedings... Washington: [Spinger Verlab], 1992, p. 139-148. 1992. Dispon vel em: <http://www.fmrib.ox.ac. uk/steve/susan/>. Acesso em: set. 2005.

TORR, P.; MURRAY, D. The development and comparison of robust methods for estimating the fundamental maHABED, A.; BOUFAMA, B. S. Camera self-calibration trix. International Journal of Computer Vision, Dordrecht, from two views. IEEE International Systems, Man and v. 24, n. 3, p. 271300, 1997. Cybernetics, v. 4, p. 5, 2002. TORR, P. H. S.; ZISSERMAN, A. Robust compuHAMMING, R. Error-detecting and error-correcting co- tation and parametrization of multiple view relations. des. Bell System Technical Journal, New York, v. 29, n. 2, In: DESAI, U. (Ed.). ICCV6. New Delhi: Narosa Pup. 147160, 1950. blishing House, 1998. p. 727732. Dispon vel em: <http: //wwwcms.brookes.ac.uk/philiptorr/>. Acesso em: set. HARTLEY, R. In defence of the eight point algo2005. rithm. IEEE Transactions on Pattern Analysis and Machine Intelligence, New York, v. 19, n. 6, p. 580593, ZABIH, R.; WOODFILL, J. Non-parametric local trans1997. Dispon vel em: <http://rsise.anu.edu.au/hartley/ forms for computing visual correspondence. In: European My-Papers.html>. Acesso em: set. 2005. Conference on Computer Vision, 3. Stockholm, v. 2, p. 151158, 1994. Dispon vel em: <http://citeseer.ist.psu. HARTLEY, R.; ZISSERMAN, A. Multiple View Geome- edu/article/zabih94nonparametric.html>. Acesso em: set. try in Computer Vision. Cambridge: Cambridge Univer- 2005. sity Press, 2000. ZHANG, Z. Determining the epipolar geometry and its HIRSCHMULLER, H.; INNOCENT, P.; GARIBALDI, uncertainty: A review. The International Journal of ComJ. Real-time correlation-based stereo vision with redu- puter Vision, v. 27, n. 2, p. 161195, August 1998. ced border errors. International Journal of Computer Vision, Dordrecht, v. 47, n. 1, p. 229246, 2002. Dispon vel ZHANG, Z.; DERICHE, R.; FAUGERAS O; LUONG, Q. em: <http://citeseer.ist.psu.edu/hirschmuller02realtime. A robust technique for matching two uncalibrated images through the recovery of the unknown epipolar geometry. html>. Acesso em: set. 2005. Articial Intelligence, Amsterdam, v. 78, n. 1-2, p. 87 KANADE, T.; OKUTOMI, M. A stereo matching algo- 119, 1995. rithm with an adaptive window: Theory and experiment. IEEE Transactions on Pattern Analysis and Machine Intelligence, New York, v. 16, n. 9, p. 920932, 1994. KANATANI, K.; KANAZAWA, Y. Automatic thresholding for correspondence detection. International Journal of Image and Graphics, v. 4, n. 1, p. 2133, 2004. Dispon vel em: <http://www.suri.it.okayama-u.ac. jp/kanatani/data/ejournal.html>. Acesso em: set. 2005.

180 Semina: Ci encias Exatas e Tecnol ogicas, Londrina, v. 26, n. 2, p. 167-180, jul./dez., 2005.