PV Aula05 VisualAttention

Ateno Visual
Carlos Alexandre Mello

Ps-Graduao em Cincia da Computao
Carlos Alexandre Mello cabm@cin.ufpe.br
Ateno Visual
Recebemos diversos estmulos em todos os sentidos o tempo inteiro preciso selecionar o que nos interessa
Ateno Seletiva Conceito que existe para cada um dos sentidos Por exemplo, em uma sala cheia de pessoas falando, podemos nos concentrar na voz da pessoa que estiver falando diretamente conosco
Ateno Visual
Comparvel com um foco de luz em um quarto escuro
Movendo o foco de luz pelo quarto, podemos ter uma impresso do contedo da cena da mesma forma que obtemos detalhes de uma cena quando movemos os olhos por ela Dada a quantidade de estmulos que recebemos, nosso crebro precisa priorizar alguns deles
Ateno Visual
Problema semelhante acontece com sistemas de viso computacional
Dentre os milhares/milhes de pixels de uma cena, quais realmente interessam
Assim, como os conceitos de ateno seletiva do ser humano podem ser adaptados para sistemas computacionais?
Aplicaes, em geral, em sistemas real-time
Ateno Visual
O que Ateno Visual?
Temos a impresso que retemos uma rica interpretao do nosso mundo visual e que mudanas no nosso ambiente vo atrair nossa ateno Mas, de fato, apenas uma pequena parte da cena analisada em detalhes a cada momento
Ateno Visual
O que Ateno Visual?
A regio que est em ateno que, no necessariamente, a regio na qual os olhos esto fixados As outras regies que esto fora de ateno so ignoradas
Efeito chamado de change blindness
Uma pessoa vendo uma cena no percebe grandes mudanas na cena http://www.youtube.com/watch?v=mAnKvo-fPs0
Ateno Visual
As pessoas so capazes de automaticamente prestar ateno a regies de interesse ao seu redor e varrer uma cena mudando rapidamente o foco de ateno A ordem na qual uma cena investigada determinada por mecanismos de ateno seletiva
Ateno Visual
Ateno define a habilidade mental em selecionar estmulos, respostas, memrias ou pensamentos que so relevantes entre muitos outros que so irrelevantes
Corbetta, 1990
Ateno pode significar alerta, mas, para ns se refere a seletividade perceptual
Covert vs Overt Attention

Direcionar o foco de nossa ateno a alguma regio de interesse associado ao movimento dos olhos
Overt Attention
Tambm somos capazes de ter ateno a localizaes perifricas de interesse sem mover nossos olhos
Covert Attention
Bottom-Up vs Top-Down Attention

Existem dois principais fatores que atraem a ateno:
Fatores Bottom-Up
Derivados apenas da cena visual Regies de interesse que atraem nossa ateno de uma forma bottom-up so chamadas salientes
Fatores Top-Down Guiados por fatores cognitivos como conhecimento, expectativa, objetivos
Se voc est procurando uma caneta vermelha em sua mesa, objetos vermelhos chamaro sua ateno
Carlos Alexandre Mello cabm@cin.ufpe.br 10
Visual Search and Pop-Up Effect

Visual Search
Questo principal: dado um alvo e uma imagem teste, existe alguma instncia do alvo na imagem? Executamos visual search todo o tempo em nossa vida
Unbounded visual search Bounded visual search
11

Unbounded Visual Search
O alvo no conhecido Nenhuma otimizao permitida Reconhecimento apenas top-down Data-direct vision (Marr) Problema NP-Completo
Bounded Visual Search

O alvo conhecido Reconhecimento com conhecimento Problema com complexidade linear
The Complexity of Visual Search Tasks, J.K.Tsotsos, 2007

Efficient search
Algumas propriedades particulares as quais formas de objetos so compostos aparecem no momento que os vemos, enquanto outras s aparecem aps contemplao Efeito conhecido como Pop-Up
O pop-up effect ocorre apenas quando as distraes so homogneas A busca menos eficiente quando o alvo definido por diversas caractersticas Caractersticas pr-atentivas tambm importam
Eccentricity Effect
A diagramao fsica da retina
Alta resoluo no centro Baixa resoluo na periferia
Faz com que alvos em localizaes perifricas sejam mais difceis de detectar
14
Eccentricity Effect
Na prxima figura, olhe para o ponto central apenas e procure localizar um crculo preto circunscrevendo um quadrado branco... Use a prxima imagem para se fixar no centro....
15
Eccentricity Effect
16
Eccentricity Effect
17
Ateno Visual
Teste de ateno
http://www.youtube.com/watch?v=Ahg6qcgoay4 &feature=related http://www.youtube.com/watch?v=ubNF9QNEQ LA&feature=related
18
Preattentive Processing
Processamento pr-atentivo:
A habilidade do sistema visual humano de baixo nvel identificar rapidamente certas propriedades visuais bsicas Acontece antes que a ateno seja direcionada a algum objeto ou um ponto focal
a) Procure 3 aqui
b) Procure 3 aqui
19
Preattentive Processing
Teste para medir o processamento pratentivo:
O tpico experimento envolve medir o tempo de resposta para encontrar um alvo no meio de um conjunto de distraes Se o processamento for pr-atentivo, o tempo levado ser o mesmo independente da quantidade de distraes
Em geral, leva 10 microssegundos Se > 40 mseg = No-pr-atentivo
Teste 1
Encontre o crculo vermelho
21
Teste 2
22
Teste 3
23
Preattentive Features
Orientao
Curva/Reta
Forma
Forma
Tamanho
Quantidade
Tom
Fechamento
Convexidade/ Concavidade
Adio
24
Preattentive Features
Juno
Paralelismo
Caractersticas que no podem ser processadas pr-atentivamente
25
Preattentive Features - Categorias

Forma
Orientao da reta Comprimento da reta Largura da reta Colinearidade linear Tamanho Curvatura Agrupamento espacial Borramento Marcas adicionadas Numerosidade
Comprimento da reta
Largura da reta
Agrupamento espacial
Borramento
26

Cor
Matiz Intensidade
Movimento
Flicker
Um elemento que aparece e desaparece detectado pratentivamente
Direo do movimento
Um objeto movendo contra um background esttico ou em relao a um background em movimento homogneo em uma direo diferente detectado imediatamente
27

Posio espacial
Posio 2D Profundidade estereoscpica Objetos localizados em um plano particular so pr-atentivamente identificados quando as distraes so dispostas em outros planos de profundidade Formas cncavas/convexas a partir de sombras
28
Preattentive Features - Questes

Smbolos percebidos pr-atentivamente se tornam menos distintos com o aumento da variedade/quantidade de distraes Fatores importantes para determinar se algo se coloca pr-atentivamente
O grau de diferena entre o alvo e os no-alvo
Quanto maior a diferena ente alvo e no-alvo, mais fcil a deteco do alvo
O grau de diferena entre os no-alvos

Quanto menor a diferena entre os no-alvos, mais fcil a deteco dos alvos
Preattentive Features - Questes
(a) (b) Diferena entre alvo e distrao afeta pr-ateno
(a) (b) A variedade das distraes afeta a prateno
(a) (b) Diferena entre as distraes afeta a pr-ateno
Em todos os exemplos, o alvo em (a) mais fcil de ser detectado que em (b)
30
Preattentive Features Questes

No se sabe quais caractersticas visuais so mais fortes pr-atentivamente Um alvo feito de uma combinao de caractersticas no-nicas normalmente no pode ser detectado pr-atentivamente
Localizar um quadrado cinza (cinza + quadrado)
31
Sistemas Computacionais de Ateno Como vimos, ateno um conceito psicolgico que surge quando focamos em alguma coisa Ateno visual ativada primeiro por partes especficas do contedo visual; isto , partes mais salientes, e ento selective attention ativada em relao aos objetivos do observador
32
Sistemas Computacionais de Ateno Modelos de ateno visual so um mtodo plausvel de computar as partes mais salientes de uma imagem
Estimativa de Regions of Interest (ROI)
Aplicaes:
Busca por alvos, compresso de imagens, recuperao de imagens
33
Sistemas Computacionais de Ateno Mapa de salincias

Resultado de um modelo de ateno visual Os pontos mais salientes so usados como variveis ara identificar ROIs, gerando aROIs
algorithmically detected ROIs
Modelos de ateno visual podem ser usados tambm para segmentao de imagens
34
A Personalized Image Retrieval based on Visual Perception, Zhang Jing and Shen Lansun, 2008

Deteco de ROIs baseada em eye tracking
36

Modelo de Koch e Ullman
Mapa topogrfico que codifica estmulos, ou salincia, em todas as partes da cena visual O mapa de salincia recebe entradas do processamento visual inicial e prov uma estratgia eficiente na qual o foco da ateno simplesmente varre o mapa de salincia em ordem decrescente de salincia Modelo bottom-up
Shifts in selective visual attention: towards the underlying neural circuitry, C.Koch e S.Ullman, 1985
Sistemas Computacionais de Ateno
38
Sistemas Computacionais de Ateno Mapa de salincias (Koch e Ullman)

A imagem decomposta em diversos nveis representando caractersticas pr-atentivas (cor, intensidade, orientao, etc), a quais operam em paralelo na cena inteira Neurnios no mapa de caractersticas codificam em contraste todos os canais de caractersticas Neurnios em cada mapa de caractersticas competem por salincia Depois da competio, os mapas de caractersticas so combinados em um s
Sistemas Computacionais de Ateno Mapa de salincias (Koch e Ullman)

Processamento top-down (atravs de um treinamento, por exemplo) pode ser inserido em diversas partes do esquema
Setas vermelhas no diagrama
40
Sistemas Computacionais de Ateno

Mapa de salincias
Itti, Koch e Niebur, 1998 Um sistema de ateno visual inspirado no comportamento e arquitetura neural do sistema visual inicial de primatas Caractersticas da imagem so combinadas em um mapa de salincia topogrfico nico Uma rede neural seleciona localizaes em ordem decrescente de salincia O sistema diminui a complexidade do problema de compreenso da cena, selecionando rapidamente localizaes distintas para serem analisadas em detalhe
41
Sistemas Computacionais de Ateno Mapa de salincias (Itti, Koch e Niebur)
42

Nove escalas espaciais so geradas a partir da imagem de entrada usando pirmides Guassianas didicas
A imagem de entrada filtrada (LPF) e subamostrada progressivamente
Semelhante anlise wavelet
Escala 1:1 at 1:256 (escala de oito) Diferenas entre as escalas so calculadas

Anlise do centro e dos arredores (center-surround)
43

A intensidade calculada como a mdia ente r, g, b 4 canais so criados:
R = r (g + b)/2 G = g - (r + b)/2 B = b - (r + g)/2 Y = (r + g)/2 - |r - g|/2 b
4 pirmides Gaussianas R(), G(), B() e Y() so criadas para cada canal

Esse primeiro conjunto de canais est relacionado com a forma como os mamferos percebem intensidade Um segundo conjunto calculado relacionado com a como os canais de cores so percebidos pelo crtex
No centro dos campos receptivos, neurnios so excitados por um tom e inibidos pelos outros
45

Informao de orientao local so calculados usando pirmides de Gabor
Similar pirmide Gaussiana, mas com filtro de Gabor
46
Sistemas Computacionais de Ateno Toolboxes para MATLAB:

http://www.klab.caltech.edu/~harel/share/gbvs/ http://www.saliencytoolbox.net/download.html
Pirmides Gaussianas:
http://prism2.mem.drexel.edu/~rares/pyramidRe presentation.htm
47
Sistemas Computacionais de Ateno Outro toolbox iNVT Atualizado por Itti e equipe at hoje. muito completo e pode ser baixado sem custos. Permite execuo de experimentos prexistentes e adaptaes (cdigo-aberto).
http://ilab.usc.edu/toolkit/
Frum: http://ilab.usc.edu/cgibin/yabb/YaBB.pl

O mapa representa a salincia em cada parte do campo visual por uma quantidade escalar e um guia para selecionar localizaes especficas baseadas na distribuio espacial da salincia
Combinao dos mapas de caractersticas Problema: representam diferentes e no comparveis caractersticas 42 mapas no total

Um operador de normalizao (N) usado nos mapas
50

Os mapas so combinados em trs mapas notveis
Intensidade, Cor e Orientao
O mapa de salincia dado pela mdia normalizada desses trs mapas

S = (N(I) + N(C) + N(O))/3
51
52

Exemplos:
Imagem original
Mapa de salincia
Sobreposio dos dois
Cdigo fonte: http://www.klab.caltech.edu/~harel/share/gbvs.php

53

Exemplos:
Imagem original
Mapa de salincia
Sobreposio dos dois
54

Exemplos:
Imagem original
Mapa de salincia
55
Ateno Visual
Referncia:
Computational Visual Attention Systems and Their Cognitive Foundations: A Survey, Simone Frintrop, Erich Rome, Henrik Christensen, ACM Transactions on Applied Perception, Vol. 7, no. 1, Jan 2010 A Computational Perspective on Visual Attention, John K. Tsotsos, 2011.
56

PV Aula05 VisualAttention

Diunggah oleh

Informasi Dokumen

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

PV Aula05 VisualAttention

Diunggah oleh

Hak Cipta:

Format Tersedia

Ateno Visual

Carlos Alexandre Mello

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Ateno pode significar alerta, mas, para ns se refere a seletividade perceptual

Carlos Alexandre Mello cabm@cin.ufpe.br

Covert vs Overt Attention

Carlos Alexandre Mello cabm@cin.ufpe.br

Bottom-Up vs Top-Down Attention

Visual Search and Pop-Up Effect

Carlos Alexandre Mello cabm@cin.ufpe.br

Visual Search and Pop-Up Effect

Bounded Visual Search

Visual Search and Pop-Up Effect

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Caractersticas que no podem ser processadas pr-atentivamente

Carlos Alexandre Mello cabm@cin.ufpe.br

Preattentive Features - Categorias

Preattentive Features - Categorias

Carlos Alexandre Mello cabm@cin.ufpe.br

Preattentive Features - Categorias

Carlos Alexandre Mello cabm@cin.ufpe.br

Preattentive Features - Questes

O grau de diferena entre os no-alvos

Preattentive Features - Questes

(a) (b) Diferena entre alvo e distrao afeta pr-ateno

(a) (b) A variedade das distraes afeta a prateno

(a) (b) Diferena entre as distraes afeta a pr-ateno

Carlos Alexandre Mello cabm@cin.ufpe.br

Preattentive Features Questes

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Carlos Alexandre Mello cabm@cin.ufpe.br

Sistemas Computacionais de Ateno Mapa de salincias

Carlos Alexandre Mello cabm@cin.ufpe.br

Sistemas Computacionais de Ateno Mapa de salincias

Sistemas Computacionais de Ateno Mapa de salincias

Carlos Alexandre Mello cabm@cin.ufpe.br

Sistemas Computacionais de Ateno Mapa de salincias

Sistemas Computacionais de Ateno

Carlos Alexandre Mello cabm@cin.ufpe.br

Sistemas Computacionais de Ateno Mapa de salincias (Koch e Ullman)

Sistemas Computacionais de Ateno Mapa de salincias (Koch e Ullman)

Carlos Alexandre Mello cabm@cin.ufpe.br

Sistemas Computacionais de Ateno

Carlos Alexandre Mello cabm@cin.ufpe.br

Sistemas Computacionais de Ateno Mapa de salincias (Itti, Koch e Niebur)

Carlos Alexandre Mello cabm@cin.ufpe.br

Sistemas Computacionais de Ateno Mapa de salincias (Itti, Koch e Niebur)

Escala 1:1 at 1:256 (escala de oito) Diferenas entre as escalas so calculadas