Anda di halaman 1dari 167

Anais do XIII Workshop de Visão Computacional

XIII WORKSHOP DE VISÃO


COMPUTACIONAL

Anai
sdo13ºWor
kshopdeVi
sãoComput
aci
onal
real
i
zadonaUFRN,Nat
al,Br
asi
lem 2017

Organizadores:
Rafael
Bes er
raGomes
Lui
zMar cosGarci
aGonçal
ves

1ªEdi
ção

Natal
,2018
EDUFRN
Catalogação da Publicação na Fonte. UFRN / SISBI / Biblioteca Setorial
Especializada do Centro de Ciências Exatas e da Terra – CCET.

Workshop de Visão Computacional (13. : 2017 : Natal, RN).


XIII Workshop de Visão Computacional [recurso eletrônico]: anais do 13º
Workshop de Visão Computacional realizado na UFRN, Natal, Brasil em 2017 /
organização: Rafael Beserra Gomes, Luiz Marcos Garcia Gonçalves. – 1. ed. –
Natal: EDUFRN, 2018.
167 p. : PDF ; 100263 Kb.

Modo de acesso: https://repositorio.ufrn.br


ISBN 978-85-425-0775-1

1. Computação. 2. Visão computacional. 3. Processamento de imagens. 4.


Aprendizado de máquina - Aplicações. I. Gomes, Rafael Beserra. II. Gonçalves,
Luiz Marcos Garcia. III. Titulo.

RN/UF/BSE-CCET CDU 004

Elaborado por Joseneide Ferreira Dantas – CRB-15/324


✐ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

▼❡♥s❛❣❡♠ ❞♦s ♦r❣❛♥✐③❛❞♦r❡s


❊st❡ ❧✐✈r♦ r❡✉♥❡ t♦❞♦s ♦s ✷✼ ❛rt✐❣♦s ❡♠ ♣♦rt✉❣✉ês q✉❡ ❢♦r❛♠ ❛♣r❡s❡♥t❛❞♦s ❞✉r❛♥t❡ ♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦
❈♦♠♣✉t❛❝✐♦♥❛❧✱ r❡❛❧✐③❛❞♦ ❡♠ ◆❛t❛❧✱ ❇r❛s✐❧✱ ❡♥tr❡ ✸✵ ❞❡ ♦✉t✉❜r♦ ❡ ✶ ❞❡ ♥♦✈❡♠❜r♦ ❞❡ ✷✵✶✼✳ ❋♦✐ ✉♠❛ ❤♦♥r❛ r❡❝❡❜❡r
♦ ❡✈❡♥t♦✱ ♣❡❧❛ ♣r✐♠❡✐r❛ ✈❡③ ♥❛ r❡❣✐ã♦ ◆♦r❞❡st❡✱ ❝♦♠ ✶✸✷ ♣❛rt✐❝✐♣❛♥t❡s✱ ✐♥❝❧✉✐♥❞♦ ♣r♦❢❡ss♦r❡s✱ ♣❡sq✉✐s❛❞♦r❡s✱
❛❧✉♥♦s ❞❡ ❣r❛❞✉❛çã♦ ❡ ♣ós✲❣r❛❞✉❛çã♦ ❞❡ t♦❞❛s ❛s r❡❣✐õ❡s ❞♦ ❇r❛s✐❧✳ ❏♦❤♥ ❚s♦ts♦s ✭❨♦r❦ ❯♥✐✈❡rs✐t②✮ ❡ ❈♦s✐♠♦
❉✐st❛♥t❡ ✭❈♦♥s✐❣❧✐♦ ◆❛③✐♦♥❛❧❡ ❞❡❧❧❡ ❘✐❝❡r❝❤❡✮ ❢♦r❛♠ ♦s ♣❛❧❡str❛♥t❡s ❝♦♥✈✐❞❛❞♦s ❡ ❘✐❝❛r❞♦ ❈♦r❞❡✐r♦ ❞❡ ❋❛r✐❛s
✭❯❋❘❏✮ ♠✐♥✐str♦✉ ✉♠ ♠✐♥✐❝✉rs♦ s♦❜r❡ ❈❯❉❆✳
❖ ❲♦r❦s❤♦♣ ❢♦✐ ✉♠❛ ♦♣♦rt✉♥✐❞❛❞❡ í♠♣❛r ♣❛r❛ ❞✐❢✉♥❞✐r ♣❡sq✉✐s❛s ❡♠ ✈✐sã♦ ❝♦♠♣✉t❛❝✐♦♥❛❧✱ ✉♠ ❞♦s tó♣✐❝♦s
♠❛✐s ♣r❡s❡♥t❡s ♥❛s t❡❝♥♦❧♦❣✐❛s ❛t✉❛✐s✳ ❆tr❛✈és ❞♦s r❡s✉❧t❛❞♦s ❞❡ss❛s ♣❡sq✉✐s❛s é ♣♦ssí✈❡❧ ❝♦♥❤❡❝❡r ♠❡❧❤♦r ❝♦♠♦
❡①tr❛✐r ✐♥❢♦r♠❛çõ❡s r❡❧❡✈❛♥t❡s ❞❡ ✐♠❛❣❡♥s ♣❛r❛ ❛♣❧✐❝❛çõ❡s ❡♠ ❛❣r✐❝✉❧t✉r❛ ❞❡ ♣r❡❝✐sã♦✱ ♠❡❞✐❝✐♥❛✱ ❡♥tr❡t❡r♥✐♠❡♥t♦✱
s❡❣✉r❛♥ç❛ ♣ú❜❧✐❝❛✱ ✐♥❞ústr✐❛✱ ♣❧❛♥❡❥❛♠❡♥t♦ ✉r❜❛♥♦✱ ❛♣❡♥❛s ♣❛r❛ ❝✐t❛r ❛❧❣✉♥s✳
◆ós ❣♦st❛rí❛♠♦s ❞❡ ❛❣r❛❞❡❝❡r ✐♠❡♥s❛♠❡♥t❡ ❛♦ ❝♦♠✐tê ♦r❣❛♥✐③❛r ❧♦❝❛❧ ❡ t♦❞❛ ❡q✉✐♣❡ ❞❡ ❛♣♦✐♦ ♣❡❧♦ ❡♠♣❡♥❤♦
♥❛ r❡❛❧✐③❛çã♦ ❞❡ss❡ ❡✈❡♥t♦✳ ❆ss✐♠ ❝♦♠♦ t❛♠❜é♠ ❛❣r❛❞❡❝❡♠♦s à ❛❣ê♥❝✐❛ ❞❡ ❢♦♠❡♥t♦ ❈❆P❊❙✱ ❛♦ Pr♦❣r❛♠❛ ❞❡
Pós✲❣r❛❞✉❛çã♦ ❡♠ ❊♥❣❡♥❤❛r✐❛ ❊❧étr✐❝❛ ❡ ❞❡ ❈♦♠♣✉t❛çã♦✴❯❋❘◆ ❡ ❛♦ Pr♦❣r❛♠❛ ❞❡ Pós✲❣r❛❞✉❛çã♦ ❡♠ ❈♦♠♣✉t❛✲
çã♦✴❯❋❘◆ ♣❡❧♦ ✜♥❛♥❝✐❛♠❡♥t♦✱ à ❋❯◆P❊❈ ♣❡❧♦ ❣❡r❡♥❝✐❛♠❡♥t♦ ❞❛s ✐♥s❝r✐çõ❡s✱ à ❙❇❈ ♣❡❧♦ s✐st❡♠❛ ❞❡ s✉❜♠✐ssã♦
❞❡ ❛rt✐❣♦s ❡ à ❯❋❘◆ ♣♦r t♦❞♦ ♦ ❛♣♦✐♦ ❧♦❣íst✐❝♦✳
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✐✐

❈♦♠✐tês ❞♦ ❊✈❡♥t♦

❈♦♠✐tê ❖r❣❛♥✐③❛❞♦r ▲♦❝❛❧


❇r✉♥♦ ▼❛rq✉❡s ❋❡rr❡✐r❛ ❞❛ ❙✐❧✈❛ ✭❯❋❘◆✮ ❏✉st♦ ❊♠✐❧✐♦ ❆❧✈❛r❡③ ❏á❝♦❜♦ ✭❯❋P❊✮
❇r✉♥♦ ▼♦tt❛ ❞❡ ❈❛r✈❛❧❤♦ ✭❯❋❘◆✮ ❖r✐✈❛❧❞♦ ❱✐❡✐r❛ ❞❡ ❙❛♥t❛♥❛ ❏ú♥✐♦r ✭❯❋❘◆✮
▲✉✐③ ▼❛r❝♦s ●❛r❝✐❛ ●♦♥ç❛❧✈❡s ✭❯❋❘◆✮ ❘❛❢❛❡❧ ❇❡s❡rr❛ ●♦♠❡s ✭❯❋❘◆✮
❆♥❞❡rs♦♥ ❆❜♥❡r ❞❡ ❙❛♥t❛♥❛ ❙♦✉③❛ ✭❯❊❘◆✮ ❘❛✐ss❛ ❚❛✈❛r❡s ❱✐❡✐r❛ ✭❯❋❘◆✮
❏ú❧✐♦ ❈és❛r P❛✉❧✐♥♦ ❞❡ ▼❡❧♦ ✭❯❋❘◆✮ ❚✐❛❣♦ P❡r❡✐r❛ ❞♦ ◆❛s❝✐♠❡♥t♦ ✭❯❋P❇✮

❈♦♠✐tê ❉✐r❡t♦r
▼❛r❝❡❧♦ ❆♥❞r❛❞❡ ❞❛ ❈♦st❛ ❱✐❡✐r❛ ✭❯❙P✮ ▼❛r❝♦ ❆♥tô♥✐♦ P✐t❡r✐ ✭❯◆❊❙P✮
❆♣❛r❡❝✐❞♦ ◆✐❧❝❡✉ ▼❛r❛♥❛ ✭❯◆❊❙P✮ ▼❛✉rí❝✐♦ ❈✉♥❤❛ ❊s❝❛r♣✐♥❛t✐ ✭❯❋❯✮
❊✈❛♥❞r♦ ▲✉ís ▲✐♥❤❛r✐ ❘♦❞r✐❣✉❡s ✭❯❙P✮ ▼❛✉rí❝✐♦ ▼❛r❡♥❣♦♥✐ ✭▼❛❝❦❡♥③✐❡✮
❍❡♠❡rs♦♥ P✐st♦r✐ ✭❯❈❉❇✮

❈♦♠✐tê ❞❡ Pr♦❣r❛♠❛
❆❞✐❧s♦♥ ●♦♥③❛❣❛ ✭❯❙P✮ ❏♦sé ❘♦❜❡rt♦ ◆♦❣✉❡✐r❛ ✭❯◆❊❙P✮
❆♥❛ ❈❧❛✉❞✐❛ ▼❛rt✐♥❡③ ✭❯❋❯✮ ❏ú❧✐♦ ❈és❛r P❛✉❧✐♥♦ ❞❡ ▼❡❧♦ ✭❯❋❘◆✮
❆♥❞ré ❇❛❝❦❡s ✭❯❋❯✮ ❏✉❧✐♦ ❈❡s❛r ◆✐❡✈♦❧❛ ✭P❯❈✲P❘✮
❆♣❛r❡❝✐❞♦ ◆✐❧❝❡✉ ▼❛r❛♥❛ ✭❯◆❊❙P✮ ❏✉r❛♥❞② ❆❧♠❡✐❞❛ ✭❯◆■❋❊❙P✮
❆r✐stó❢❛♥❡s ❙✐❧✈❛ ✭❯❋▼❆✮ ▲❡❛♥❞r♦ ◆❡✈❡s ✭❯◆❊❙P✮
❆②❧t♦♥ P❛❣❛♠✐ss❡ ✭❯◆❊❙P✮ ▲❡❛♥❞r♦ ❖❧✐✈❡✐r❛ ✭❯❋●❖✮
❇r✉♥♦ ▼♦tt❛ ❞❡ ❈❛r✈❛❧❤♦ ✭❯❋❘◆✮ ▲❡♦♥❛r❞♦ ▼❛t♦s ✭❯❋❙✮
❈❛r❧♦s ❚❤♦♠❛③ ✭❋❊■✮ ▲✉❝❛s ❋❡rr❛r✐ ❞❡ ❖❧✐✈❡✐r❛ ✭❯❋P❘✮
❈❤✐❞❛♠❜❛r❛♠ ❈❤✐❞❛♠❜❛r❛♠ ✭❯❉❊❙❈✮ ▲✉❝✐❛♥♦ ▲✉❧✐♦ ✭❯❙P✮
❈r✐st✐❛♥❡ ❋❡rr❡✐r❛ ✭❯❋●✮ ▲✉❝✐❛♥♦ ❙✐❧✈❛ ✭❯❋P❘✮
❈r✐st✐♥❛ ❱❛s❝♦♥❝❡❧♦s ✭❯❋❋✮ ▲✉✐③ ▼❛r❝♦s ●❛r❝✐❛ ●♦♥ç❛❧✈❡s ✭❯❋❘◆✮
❉❛♥✐❡❧ ❆❜❞❛❧❛ ✭❯❋❯✮ ▼❛r❝❡❧♦ ❆♥❞r❛❞❡ ❞❛ ❈♦st❛ ❱✐❡✐r❛ ✭❯❙P✮
❉❛♥✐❧♦ ❊❧❡r ✭❯♥❡s♣✮ ▼❛r❝❡❧♦ ❞♦ ◆❛s❝✐♠❡♥t♦ ✭❯❋❯✮
❉❡❜♦r❛❤ ❋❡r♥❛♥❞❡s ✭❯❋●❖✮ ▼❛r❝✐♦ ❆❧❡①❛♥❞r❡ ▼❛rq✉❡s ✭❯◆❊❙P✮
❉❡♥✐s ❙❛❧✈❛❞❡♦ ✭❯◆❊❙P✮ ▼❛✉r✐❝✐♦ ❈✉♥❤❛ ❊s❝❛r♣✐♥❛t✐ ✭❯❋❯✮
❉✐❜✐♦ ▲❡❛♥❞r♦ ❇♦r❣❡s ✭❯◆❇✮ ▼❛✉r✐❝✐♦ ●❛❧♦ ✭❯◆❊❙P✮
❊♠❡rs♦♥ P❡❞r✐♥♦ ✭❯❋❙❈❛r✮ ▼❛✉r✐❧✐♦ ❇♦❛✈❡♥t✉r❛ ✭❯◆❊❙P✮
❊✈❛♥❞r♦ ▲✉✐s ▲✐♥❤❛r✐ ❘♦❞r✐❣✉❡s ✭❯❙P✮ ▼❛①✐♠✐❧✐❛♠ ▲✉♣♣❡ ✭❯❙P✮
●✐❧s♦♥ ●✐r❛❧❞✐ ✭▲◆❈❈✮ ▼♦❛❝✐r P♦♥t✐ ✭❯❙P✮
●✉st❛✈♦ ❇✳ ❇♦r❜❛ ✭❯❚❋P❘✮ ▼✉r✐❧❧♦ ❍♦♠❡♠ ✭❯❋❙❈❛r✮
❍❡❧✐♦ P❡❞r✐♥✐ ✭❯◆■❈❆▼P✮ ❖❧❣❛ ❇❡❧❧♦♥ ✭❯❋P❘✮
❍❡♠❡rs♦♥ P✐st♦r✐ ✭❯❈❉❇✮ ❖r✐✈❛❧❞♦ ❱✐❡✐r❛ ❞❡ ❙❛♥t❛♥❛ ❏ú♥✐♦r ✭❯❋❘◆✮
❍❡r♠❛♥ ●♦♠❡s ✭❯❋❈●✮ P❛✉❧♦ ▼✐r❛♥❞❛ ✭❯❙P✮
■á❧✐s P❛✉❧❛ ❏r ✭❯❋❈✮ P❛✉❧♦ ❆♠❜rós✐♦ ✭❯❊❙❈✮
■♥❡s ❇♦❛✈❡♥t✉r❛ ✭❯❙P✮ ❘❛❢❛❡❧ ❇❡s❡rr❛ ●♦♠❡s ✭❯❋❘◆✮
■s❛❜❡❧ ▼❛♥ss♦✉r ✭P❯❈✲❘❙✮ ❘❛✐ss❛ ❚❛✈❛r❡s ❱✐❡✐r❛ ✭❯❋❘◆✮
❏❛❝♦❜ ❙❝❤❛r❝❛♥s❦✐ ✭❯❋❘●❙✮ ❘♦♥❛❧❞♦ ❈♦st❛ ✭❯❋●✮
❏❛❝q✉❡s ❋❛❝♦♥ ✭P❯❈✲P❘✮ ❙✐❧✈✐❛ ▼❛rt✐♥✐ ❘♦❞r✐❣✉❡s ✭❯▼❈✮
❏❛♥❞❡r ▼♦r❡✐r❛ ✭❯❋❙❈❛r✮ ❚❤✐❛❣♦ P✐r♦❧❛ ❘✐❜❡✐r♦ ✭❯❋❯✮
♦❛♦ P❛♣❛ ✭❯◆❊❙P✮ ❚✐❛❣♦ ◆❛s❝✐♠❡♥t♦ ✭❯❋P❇✮
❏♦sé ❙❛✐t♦ ✭❯❋❙❈❛r✮ ❲✐❧❧✐❛♠ ❙❝❤✇❛rt③ ✭❯❋▼●✮
❏♦sé ❊❞✉❛r❞♦ ❈❛st❛♥❤♦ ✭❯◆❊❙P✮
❙✉♠ár✐♦
❈♦❧♦r ❚❡①t✉r❡ ❈❧❛ss✐✜❝❛t✐♦♥ ❜② ✉s✐♥❣ ❖♣♣♦♥❡♥t ❈♦❧♦r ❛♥❞ ▲♦❝❛❧ ▼❛♣♣❡❞ P❛tt❡r♥ ✳ ✳ ✳ ✳ ✳ ✶
❆ ❝♦♠♣✉t❡r ✈✐s✐♦♥ s②st❡♠ ❢♦r s♦②❜❡❛♥ ❞✐s❡❛s❡s r❡❝♦❣♥✐t✐♦♥ ✉s✐♥❣ ❯❆❱s✿ ♣r❡❧✐♠✐♥❛r② r❡s✉❧ts ✼
❋❛❝✐❛❧ ❇✐♦♠❡tr✐❝s ❢♦r ❆❝❝❡ss ❈♦♥tr♦❧ ❯s✐♥❣ ▲❇P ❚❡①t✉r❡ ▼❡❛s✉r❡s ❛♥❞ ❊▲▼ ◆❡✉r❛❧ ◆❡t✇♦r❦s ✶✸
❈♦♠♣❛r❛t✐✈❡ ❆♥❛❧②s✐s ♦❢ ▲❇P ✇✐♥❞♦✇ ❢♦r ▲✉♥❣ ❋✐ss✉r❡ ❙❡❣♠❡♥t❛t✐♦♥ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✶✾
Pr❡❝✐s❡ ❡②❡ ❧♦❝❛❧✐③❛t✐♦♥ ✉s✐♥❣ t❤❡ ♥❡✇ ♠✉❧t✐s❝❛❧❡ ❤✐❣❤✲❜♦♦st ❲❡❜❡r ❧♦❝❛❧ ✜❧t❡r ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✷✺
❇✐♦♠❡tr✐❝ ✐r✐s ❝❧❛ss✐✜❝❛t✐♦♥ ✇❤❡♥ t❤❡ ❡②❡s ♣✉♣✐❧ r❡❛❝ts t♦ ❧✐❣❤t ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✸✶
❆ ♥♦✈❡❧ ♠❡t❤♦❞ ❢♦r s❤❛♣❡ ❛♥❛❧②s✐s ❜❛s❡❞ ♦♥ st❛t✐st✐❝s ♦❢ ❊✉❝❧✐❞❡❛♥ ❞✐st❛♥❝❡s ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✸✼
❆✉t♦♠❛t✐❝ s❡❣♠❡♥t❛t✐♦♥ ♦❢ t❤❡ ❤✉♠❛♥ ❜♦♥❡ ✈❛s❝✉❧❛r ♥❡t✇♦r❦ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✹✶
❊①♣❧♦r✐♥❣ ❢✉③③② ♥✉♠❜❡rs ❢♦r ✐♠❛❣❡ t❡①t✉r❡ ❛♥❛❧②s✐s ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✹✼
❇✐♥❛r✐③❛t✐♦♥ ❆❧❣♦r✐t❤♠s ❆♣♣❧✐❡❞ t♦ ❈❤r♦♠♦s♦♠❡s ■♠❛❣❡ ❙❡❣♠❡♥t❛t✐♦♥ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✺✸
▼✉❧t✐✲❝❧❛ss ❙❡❣♠❡♥t❛t✐♦♥ ♦❢ ❙❛t❡❧❧✐t❡ ■♠❛❣❡s ❜② ❈♦❧♦r ▼✐①t✉r❡ ❛♥❞ ◆❡✉r❛❧ ◆❡t✇♦r❦ ✳ ✳ ✳ ✳ ✺✾
❋❛❝✐❛❧ ❇✐♦♠❡tr✐❝s ❯s✐♥❣ ❙■❋❚✴❙❯❘❋ ✐♥ ❈♦♠♣❛r✐s♦♥ ✇✐t❤ ❊✐❣❡♥❢❛❝❡s ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✻✺
❆✉t♦♠❛t✐❝ ❱❡❤✐❝❧❡ ❈♦✉♥t ✐♥ ▼✉❧t✐♣❧❡ ❈❧✐♠❛t✐❝ ❛♥❞ ■❧❧✉♠✐♥❛t✐♦♥ ❈♦♥❞✐t✐♦♥s ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✼✶
▼❡t❤♦❞s ♦❢ ❞❡t❡❝t✐♥❣ ❛♥❞ r❡❝♦♥str✉❝t✐♥❣ ♣❛rt✐❛❧ ♦❝❝❧✉s✐♦♥s ✐♥ ❢❛❝❡ ✐♠❛❣❡s✿ ❙②st❡♠❛t✐❝ ▲✐t❡✲
r❛t✉r❡ ❘❡✈✐❡✇ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✼✻
❋❛❝❡ ❘❡❝♦❣♥✐t✐♦♥ ❇❛s❡❞ ♦♥ ❛ ▼✉❧t✐✲❙❝❛❧❡ ▲♦❝❛❧ ▼❛♣♣❡❞ P❛tt❡r♥ ▼❡t❤♦❞ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✽✷
❋❛❝✐❛❧ ❘❡❝♦❣♥✐t✐♦♥ ✐♥ ❉✐❣✐t❛❧ ■♠❛❣❡s ✉s✐♥❣ ▲♦❝❛❧ ❇✐♥❛r② P❛tt❡r♥ ▼❡t❤♦❞s ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✽✽
❆ ▼✉❧t✐✲❧❡✈❡❧ ❚❤r❡s❤♦❧❞✐♥❣ ▼❡t❤♦❞ ❇❛s❡❞ ♦♥ ■♠♣r♦✈❡❞ ●r♦✉♣ ❙❡❛r❝❤ ❖♣t✐♠✐③❛t✐♦♥ ❛♥❞
❖ts✉ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✾✹
❆ ◆❡✇ ❆♣♣r♦❛❝❤ t♦ ❘✐♣♣❧❡t ❚r❛♥s❢♦r♠✲❇❛s❡❞ ❚❡①t✉r❡ ❉❡s❝r✐♣t♦r ❢♦r ❇r❡❛st ▲❡s✐♦♥s ❈❧❛s✲
s✐✜❝❛t✐♦♥ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✶✵✵
❆ ❙t✉❞② ♦❢ ❙✇✐♠♠❡rs ❉❡t❡❝t✐♦♥ ✐♥ ❇❡❛❝❤ ■♠❛❣❡s ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✶✵✻
❆ ▼❡t❤♦❞ ❢♦r ❆✉t♦♠❛t✐❝ ❈♦rr❡❝t✐♦♥ ♦❢ ▼✉❧t✐♣❧❡✲❈❤♦✐❝❡ ❚❡sts ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✶✶✷
❆ ❝♦♠♣❛r✐s♦♥ ❜❡t✇❡❡♥ t✇♦ ❛♣♣r♦❛❝❤❡s t♦ s❡❣♠❡♥t ♦✈❡r❧❛♣♣❡❞ ❝❤r♦♠♦s♦♠❡s ✐♥ ♠✐❝r♦s❝♦♣②
✐♠❛❣❡s ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✶✶✽
■♠♣r♦✈✐♥❣ t❤❡ ❞❡✜♥✐t✐♦♥ ♦❢ ♠❛r❦❡rs ❢♦r t❤❡ tr❛♥s❢♦r♠❡❞ ✇❛t❡rs❤❡❞ ❝♦♠❜✐♥✐♥❣ ❤✲♠❛①✐♠❛
tr❛♥s❢♦r♠ ❛♥❞ ❝♦♥✈❡①✲❤✉❧❧ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✶✷✹
❆ ❈♦♠♣❛r✐s♦♥ ♦❢ ❚❡①t✉r❡ ❛♥❞ ❙❤❛♣❡ ❉❡s❝r✐♣t♦rs ❢♦r ■r✐s ▲♦❝❛t✐♦♥ ❜❛s❡❞ ♦♥ ❛ ❙❧✐❞✐♥❣ ❲✐♥❞♦✇
❆♣♣r♦❛❝❤ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✶✸✵
❋✉❧❧② ❈♦♥✈♦❧✉t✐♦♥❛❧ ◆❡✉r❛❧ ◆❡t✇♦r❦ ❢♦r ❖❝❝✉❧❛r ■r✐s ❙❡♠❛♥t✐❝ ❙❡❣♠❡♥t❛t✐♦♥ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✶✸✻
■♠♣r♦✈❡❞ ◆♦♥ ▲♦❝❛❧ ▼❡❛♥s ❛❧❣♦r✐t❤♠ ✉s✐♥❣ ❉❈❚✲❜❛s❡❞ ❑✲♠❡❛♥s ❝❧✉st❡r✐♥❣ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✶✹✷

✐✐✐
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✐✈

❈◆◆❋✉s✐♦♥✲●❡♥❞❡r✿ ❢✉s✐♦♥ ❢❛❝✐❛❧ ♣❛rts ♠❡t❤♦❞♦❧♦❣② ❢♦r ❣❡♥❞❡r ❝❧❛ss✐✜❝❛t✐♦♥ ✐♥ t❤❡ ✇✐❧❞ ✳ ✶✹✼
▲❡✉❦♦❝②t❡ ❙❡❣♠❡♥t❛t✐♦♥ ❛♥❞ ❈❧❛ss✐✜❝❛t✐♦♥ ✉s✐♥❣ ❈♦♠♣✉t❛t✐♦♥❛❧ ❱✐s✐♦♥ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✳ ✶✺✸
✶ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Color Texture Classification by using Opponent


Color and Local Mapped Pattern

Tamiris Trevisan Negri1,2, Raissa Tavares Vieira1, Adilson Gonzaga1


1
Department of Electrical Engineering and Computing, EESC/USP - University of São Paulo, São Carlos, SP - Brazil
2
Federal Institute of Education, Science and Technology of São Paulo - IFSP, Araraquara, Brazil
E-mail: tamirisnegri@ifsp.edu.br, raissa@ieee.org, agonzaga@sc.usp.br

Abstract— This paper presents a new color texture descriptor Local Mapped Pattern (LMP) [5]. Este novo descritor mapeia os
combining the Local Mapped Pattern (LMP) and Opponent padrões locais de uma textura para os bins de um histograma
Colors methodologies. Considering the RGB space, the new utilizando uma função de mapeamento que pode ser modificada
descriptor named Opponent Color Local Mapped Pattern de acordo com a aplicação. Os autores ainda mostram que o
(OCLMP) considers the differences between the central pixel - LMP é uma generalização do LBP, e que este último pode ser
taken from a color channel - and its neighbors - taken from the obtido modificando-se alguns parâmetros do primeiro.
opponent channel. The OCLMP descriptor is evaluated over two
color texture databases, Outex and USPTex, and compared with Motivado pelo alto desempenho do LMP em diversas
Opponent Color Local Binary Pattern descriptor (OCLBP), which aplicações [4-8] propomos, neste trabalho, a investigação da sua
also considers opponent colors in its approach. The experimental utilização na classificação de texturas coloridas, juntamente
results have shown that OCLMP performs better than OCLBP com a teoria de cores oponentes proposta por Jain e Healey [2],
reporting better accuracy and lower processing time. introduzindo o descritor Opponent Color Local Mapped Pattern
(OCLMP).
Keywords—Opponent Color, Local Mapped Pattern, Local
Binary Pattern, Color Texture Classification Este artigo está estruturado em seis seções. Nesta seção I
foram apresentadas as justificativas e a motivação para
classificação de texturas coloridas. A seção II resume o método
I. INTRODUÇÃO base para o descritor OCLMP, o qual é proposto neste trabalho
na seção III. O método e o material utilizado são descritos na
A classificação de texturas é uma importante tarefa na área seção IV, sendo os resultados obtidos discutidos na seção V.
de visão computacional. O uso da cor na tentativa de melhorar a Finalmente, a seção VI conclui o trabalho.
acurácia dos métodos de classificação tem sido comprovado em
muitos trabalhos, como o estudo feito por Bianconi et al. [1].
Dentre os desafios de se usar a “cor da textura” ou textura II. LOCAL MAPPED PATTERN
colorida, estão a forma como ela é extraída e o espaço de cores O descriptor Local Mapped Pattern (LMP) utiliza uma
considerado. Jain e Healey [2] introduziram a representação de função de mapeamento para construir um histograma que
texturas coloridas utilizando cores oponentes, processo que é representa as frequências dos padrões locais contidos em uma
baseado no sistema visual humano. Eles propõem a extração de determinada imagem (Fig. 1). Estes padrões são baseados nas
características de uma textura colorida utilizando pares de cores diferenças dos valores entre o pixel central e seus vizinhos.
oponentes dentro de um espaço de cores, juntamente com
características unicromáticas, ou seja, de um único canal de cor.
Essas características são computadas a partir das saídas de um
filtro de Gabor, combinando informações de diferentes bandas
espectrais em diferentes escalas.
Maenpaa e Pietikainen [3] propuseram o descritor Opponent
Color Local Binary Pattern (OCLBP). O OCLBP utiliza a
representação de cores oponentes proposta em [2] aplicada ao
descritor de texturas Local Binary Pattern (LBP) e, segundo os
resultados reportados, apresenta melhor desempenho que o Figura 1: Padrão Local 3x3.
descritor baseado nos filtros de Gabor.
Em 2012, Vieira et al. [4], introduziram um novo descritor
baseado em números fuzzy, que posteriormente evoluiu para o
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✷

Considerando-se uma vizinhança = � × � de uma histograma utilizando a Eq. (4) e a função de mapeamento
textura como sendo um padrão local, este pode ser mapeado para aprensentada na Eq. (5).
um bin ℎ de um histograma a partir da Equação (1)

∑�
�= ��
∑�− �� � � ℎ =� �( �
− ) (4)
�=
ℎ =� � �−
∑�= � �
− (1)

em que é a função de mapeamento aplicada a diferença entre �


= −[�� −� ] (5)
+ �
cada vizinho � e o pixel central , � é uma matriz de pesos
pré-definida e B é o número de bins do histograma.
A matriz de pesos, função de mapeamento e número de bins
do histograma são parâmetros a serem definidos de acordo com
a aplicação pretendida. Para a classificação de texturas, os III. OPPONENT COLOR LOCAL MAPPED PATTERN
autores sugerem B=256 e uma curva sigmóide como função de A representação de texturas coloridas utilizando cores
mapeamento (Eq. (2)) oponentes considera os pares oponentes dentro de um espaço de
cores. Para o espaço de cores RGB, por exemplo, temos os pares
= −[�� −� ] (2) R-G, R-B, G-R, G-B, B-R e B-G. Como destacado em [3], os
+ � pares simétricos como R-B e B-R por exemplo, são altamente
redundantes e por isso optamos por utilizar somente 3 pares de
cores oponentes R-G, R-B e G-B.
na qual, [ � − ] são as diferenças entre o valor do pixel
central e seus vizinhos � (� = , ⋯ , − ) e � é o parâmetro O descritor OCLMP combina a metodologia LMP com a
que determina a inclinação da curva. A Equação (3) mostra a teoria de cores oponentes. Para isso, considera-se o pixel central
matriz de pesos proposta. em um espaço de cores, e seus vizinhos são extraídos da cor
oponente, como mostrado na Figura 3. O descritor S-LMP é
aplicado a cada par de cores oponentes e também a cada canal
de cor separadamente, obtendo-se assim, seis vetores de
características que são então concatenados em um único vetor
�=[ ] (3)
(Fig. 4).

A metodologia pode ainda ser estendida para vizinhanças


circulares [6]. Dado um par ordenado (P,R) de inteiros positivos,
onde P é o número de pontos amostrados e R é o raio, uma região
simétrica circular pode ser definida como na Figura 2.

Figura 2: Vizinhança circular simétrica com P=8 e R=1.


Figura 3: Pares de cores oponentes e processo de seleção dos
pixels para um descritor de configuração (P,R) = (8,1).
As coordenadas de cada pixel vizinho ( = ,⋯,� −
), são dadas por − sin � ⁄� , cos � ⁄� em
relação ao pixel central localizado nas coordenadas (0,0). Os IV. MATERIAIS E MÉTODO
valores dos vizinhos que não estão localizados no centro do A avaliação do método foi realizada em duas bases de dados:
pixel são estimados por interpolação. Nessa nova versão Outex [9] e USPTex [10]. A base de dados Outex é
denominada Sampled-Local Mapped Pattern (S-LMP), a matriz disponibilizada pela Universidade de Oulu e possui várias suítes
de pesos não é considerada a fim de obter invariância a rotação. de testes previamente organizadas de acordo com a aplicação.
Os padrões locais são então mapeados para um bin ℎ do Neste trabalho foi utilizada a suíte Outex 13 [3], que possui 68
texturas (Fig. 5), de tamanho 746 x 538 pixels, adquiridas sob
✸ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Figura 4: Processo de geração do vetor de características do descritor OCLMP.

uma luz CIE A incandescente 2856 K. Cada textura é 128 x 128 pixels para uma das 191 classes, totalizando 2292
subdividida em 20 amostras de 128 x 128 pixels, gerando 1360 amostras. Metade das amostras foram utilizadas como conjunto
amostras. Metade das amostras é utilizada como conjunto de de teste e metade como conjunto de treinamento. As amostras
teste e a outra metade como conjunto de treinamento (conjunto foram separadas da mesma forma que na base Outex, seguindo
de busca). Essa divisão é realizada seguindo um padrão de um padrão de tabuleiro de xadrez.
tabuleiro de xadrez, em que a primeira amostra do canto superior
esquerdo pertence ao conjunto de treinamento.

Figura 5: As 68 texturas da suíte Outex 13.

A base de texturas USPTex contém 191 texturas adquiridas Figura 6: Exemplos de texturas da base de dados UPSTex
utilizando uma câmera digital com 512×384 pixels de resolução.
As texturas incluem feijões, arroz, tecido, vegetação, nuvens, O descritor é aplicado a cada amostra dos conjuntos de teste
etc. (Fig. 6). Neste experimento foram utilizadas 12 amostras de e de treinamento, gerando um vetor de características que
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✹

representa cada imagem. Cada vetor de características do (acurácia) são apresentados nas Tabelas III e IV, as quais
conjunto de teste é comparado a todos os vetores do conjunto de apresentam ainda uma comparação entre o desempenho dos
treinamento utilizando-se uma medida de distância. descritores OCLBP [3] e OCLMP.
A fim de avaliar como o descritor se comporta quando
diferentes medidas de distâncias são utilizadas, seu desempenho TABELA I: Valores dos parâmetros � otimizados para o banco de dados
foi analisado mediante duas métricas: distância L1 (Eq. (6)) e Outex para cada configuração de vizinhança e raio (P,R) em cada métrica
distância chi-quadrado (Eq.(7)), nas quais, S refere-se à amostra utilizada.
de busca do conjunto de testes e M refere-se à amostra do
(P,R) = (8,1) (P,R) = (16,2)
conjunto de treinamento, sendo B o número de bins. Distância Canais
� �
R -G 2,4918 2,0196
� , � = ∑�= | −� | (6) R-B 2,3554 0,5644

G-B 2,0229 0,9495


L1
� −�� R 0,1094 0,4221
� ,� = ∑�= (7)
� +�
G 0,0743 0,0394

B 0,3347 0,2095
Para a classificação utilizou-se o classificador k-NN (k
R -G 1,4755 1,8357
vizinhos mais próximos) com k=1, ou seja, a classe da amostra
do conjunto de treinamento que possui a menor distância da R-B 1,4567 2,1820
amostra de teste é considerada a predição do classificador.
G-B 1,6712 0,0177
O desempenho da classificação é reportado através da Chi-quadrado
R 0,3440 1,1866
acurácia, ou taxa de acerto (Eq. (9)).
G 1,0874 1,4281

B 0,4051 0,3688
ú � �
= ú
(9)

TABELA II: Valores dos parâmetros � otimizados para o banco de dados


USPTex para cada configuração de vizinhança e raio (P,R) em cada métrica
V. RESULTADOS E DISCUSSÕES utilizada.

O descritor OCLMP possui parâmetros que devem ser Distância Canais


(P,R) = (8,1) (P,R) = (16,2)
definidos de acordo com a aplicação, como número de bins do � �
histograma, função de mapeamento e configuração de raio e R -G 4,7392 4,3220
número de vizinhos. Pra esta aplicação os histogramas foram
construídos com 256 bins (B=256), e a função sigmóide foi R-B 0,8520 0,3417
utilizada no mapeamento. G-B 2,5253 1,4337
L1
Conforme apresentado na Eq. (5), a função sigmóide possui R 0,0743 0,0532
o parâmetro � que determina sua inclinação. Para otimização
deste parâmetro foi aplicado um algoritmo genético da Toolbox G 0,1488 4,6046
de otimização do Matlab (versão R2014a). A função objetivo a B 0,2685 0,0424
ser maximizada é a acurácia, e as imagens do conjunto de
treinamento foram utilizadas para realizar a otimização. O R -G 0,3108 3,1781
intervalo de possíveis valores para a inclinação da curva é R-B 0,7493 0,4475
] , ∞[. No entanto, a fim de tornar a otimização mais rápida e,
baseando-se em testes realizados previamente, optou-se por G-B 1,1202 0,2973
Chi-quadrado
restringir este intervalo para ] , 5]. R 0,7326 0,3307
Após testes preliminares, os parâmetros de vizinhança e raio G 0,4336 2,4226
(P,R) que obtiveram os melhores desempenhos foram (8,1) e
B 0,4454 0,2503
(16,2). Sendo assim, todos os experimentos foram realizados
considerando estas duas configurações.
A Tabela I apresenta os parâmetros otimizados por meio de
algoritmo genético para cada caso considerando-se a base de
dados Outex. Na Tabela II são apresentados os parâmetros
otimizados para a base de dados USPTex. Os resultados obtidos
✺ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

TABELA III: Acurácia (%) obtida pelos descritores OCLMP e OCLBP no TABELA V: Tempo de processamento (em segundos) para geração de um
banco de dados Outex. vetor de caraterísticas, utilizando os descritores OCLMP e OCLBP.

Distância Descritor Acurácia Descritor Tempo (s)

OCLMP (8,1) 94,26 OCLMP (8,1) 0,1184

OCLMP (16,2) 94,12 OCLMP (16,2) 0,1522


L1
OCLBP (8,1) 91,18 OCLBP (8,1) 0,1081

OCLBP (16,2) 92,94 OCLBP (16,2) 0,4859

OCLMP (8,1) 92,50

OCLMP (16,2) 93,68 Por meio dos resultados apresentados na Tabela V podemos
Chi-quadrado verificar que para a vizinhança (8,1) os dois descritores
OCLBP (8,1) 91,62 apresentaram tempo de execução muito próximo, perto de 0,11
OCLBP (16,2) 92,35 segundos. No entanto, para a configuração (16,2), a qual
apresenta os melhores resultados de acurácia, o descritor
OCLMP se mostrou em média 3 vezes mais rápido que o
OCLBP, gerando um vetor de características em
aproximadamente 0,15 segundos, enquanto o OCLBP precisa de
TABELA IV: Acurácia obtida pelos descritores OCLMP e OCLBP no
banco de dados USPTex. 0,48 segundos para realizar a mesma tarefa.

Distância Descritor Acurácia


VI. CONCLUSÕES
OCLMP (8,1) 91,97
Neste artigo, foi apresentado um novo descritor de texturas
OCLMP (16,2) 93,80 coloridas baseado na metodologia Local Mapped Pattern
L1 (LMP) e utlizando cores oponentes, nomeado Opponent Color
OCLBP (8,1) 91,62
Local Mapped Pattern (OCLMP). O descritor proposto foi
OCLBP (16,2) 91,56 avaliado em dois bancos de texturas coloridas disponíveis na
OCLMP (8,1) 91,27
internet, Outex e USPTex, sendo os resultados comparados com
os resultados obtidos pelo descritor Opponent Color Local
OCLMP (16,2) 93,80 Binary Pattern (OCLBP). O desempenho do descritor proposto
Chi-quadrado
OCLBP (8,1) 91,97 (OCLMP) foi superior ao do OCLBP nos dois bancos de
texturas coloridas utilizados, com ganho de acurácia superior a
OCLBP (16,2) 93,46
3% comparativamente ao OCLBP, e apresentando menor
tempo de processamento, sendo até 3 vezes mais rápido.
A partir dos resultados reportados na Tabela III, é possível
verificar que o descritor OCLMP supera o OCLBP na base de AGRADECIMENTOS
dados Outex 13, independente da métrica de distância utilizada
na avaliação. A vizinhança (8,1) se mostrou melhor para a Os autores agradecem o apoio financeiro da FAPESP,
distância L1, e a vizinhança (16,2) obteve melhor resultado com processo #2015/20812- 5, para a realização deste trabalho.
a distância chi-quadrado. Para a base de texturas USPTex, de
acordo com os resultados apresentados na Tabela IV, o OCLMP
também obteve melhor desempenho que o OCLBP, tanto REFERÊNCIAS
utilizando-se a distância L1, quanto a chi-quadrado. Além disso, [1] F. Bianconi, R. Harvey, P. Southam, and A. Fernández. Theoretical and
a vizinhança (16,2) apresentou melhores resultados, experimental comparison of different approaches for color texture
classification, J. Electron. Imaging 20, 2011.
independente da medida de distância utilizada. De modo geral,
[2] A. Jain and G. Healey. A multiscale representation including opponent
tanto o OCLBP, quanto o OCLMP apresentam melhores color features for texture recognition. IEEE Transactions on Image
resultados utilizando a vizinhança (16,2), o que pode ser Processing, vol. 7, no. 1, pp. 124–128, Jan 1998.
explicado pelo fato dessa configuração utilizar mais pixels na [3] T. Mäenpää and M. Pietikäinen. Classification with color and texture:
composição do valor de representação do padrão local. jointly or separately? Pattern Recognition, 37, 2004.
[4] R. T. Vieira, C. E. de Oliveira Chierici, C. T. Ferraz, and A. Gonzaga.
Outra análise realizada foi o tempo de execução. Para isso Local fuzzy pattern: A new way for micro-pattern analysis. Intelligent
calculou-se o tempo que cada descritor necessita para construir Data Engineering and Automated Learning - IDEAL 2012, ser. Lecture
o vetor de características relativo a uma amostra do banco de Notes in Computer Science, H. Yin, J. Costa, and G. Barreto, Eds.
dados USPTex. O computador utilizado para o teste possui Springer Berlin Heidelberg, 2012, vol. 7435, pp. 602–611.
processador Intel® Core™ i7-6560U CPU 2,2GHz, 8GB de [5] C. T. Ferraz, O. P. Junior, and A. Gonzaga. Feature description base on
RAM e sistema operacional Windows 10 Home. Os resultados center-symmetric local mapped patterns. Symposium on Applied
Computing, ACM-SAC 2014, Gyeongju, Korea, March 24 - 28 2014, pp.
são reportados na Tabela V. 39–44.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✻

[6] T. T. Negri, A. Gonzaga. Color texture classification by a local multiscale


descriptor. XI Workshop de Visão Computacional, São Carlos, 2015, pp.
292-979.
[7] C. T. Ferraz and A. Gonzada. Improving image classification performance
by descriptor size reduction and Bag-of-Features. XI Workshop de Visão
Computacional, São Carlos, 2015, pp. 358-363.
[8] C. Chierici, R.T. Vieira, C.T. Ferraz, J. Travaiani and A. Gonzaga. A new
approach for analyzing rotated textures. IX Workshop de Visão
Computacional, Rio de Janeiro, 2013.
[9] T. Ojala, T. Maenpaa, M. Pietikainen, J. Viertola, J. Kyllonen, S.
Huovinen, Outex—new framework for empirical evaluation of texture
analysis algorithms, in: Proceedings of the 16th International Conference
on Pattern Recognition, Vol. 1, Quebec, Canada, 2002, pp. 701–706,
http://www.outex.oulu.fi/.
[10] A. R. Backes, D. Casanova, and O. M. Bruno. Color texture analysis based
on fractal descriptors. Pattern Recognition, vol. 45, no. 5, pp. 1984–1992,
2012.
✼ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

A computer vision system for soybean diseases


recognition using UAVs: preliminary results
Everton Castelão Tetila1 , Bruno Brandoli Machado2 , Gercina Gonçalves da Silva3 , Hemerson Pistori3
Universidade Federal da Grande Dourados, UFGD, Dourados, MS, Brasil
1

Universidade Federal de Mato Grosso do Sul, UFMS, Ponta Porã, MS, Brasil
2
3
Universidade Católica Dom Bosco, UCDB, Campo Grande, MS, Brasil
evertontetila@ufgd.edu.br, bruno.brandoli@ufms.br, gercina.goncalves@gmail.com, pistori@ucdb.br

Abstract—Soybean has been the main Brazilian agricultural pulacional de insetos benéficos [4]. O controle das principais
commodity, contributing substantially to the country’s trade doenças da soja deve ser feito com base nos princı́pios do
balance. However, foliar diseases have hindered the high yield of manejo de doenças da soja [5]. Consiste de tomadas de decisão
soybean production, leading to depreciation of the final product.
This paper proposes a computer vision system to track soybean de controle baseadas no nı́vel de infestação e no estágio
foliar diseases in the field using images captured by the low de desenvolvimento da soja – informações essas obtidas em
cost UAV model DJI Phantom 3. The proposed system is based inspeções regulares por amostragem em diferentes regiões da
on the segmentation method SLIC to detect plant leaves in the lavoura.
images and on visual attributes to describe the features of foliar Normalmente a detecção da doença é realizada visualmente
physical properties, such as color, gradient, texture and shape.
Our methodology evaluated the performance of six classifiers, por um profissional do meio agronômico, o que pode levar a
using images captured at 2 meters high above the plantation. um diagnóstico impreciso ou incorreto. Bock et al. [6] listam
Experimental results showed that color and texture attributes uma série dessas desvantagens. Algumas doenças não têm
lead to higher classification rates, achieving the precision of quaisquer sintomas visı́veis associados, ou somente aparecem
97,80%. Results indicate that our approach can support experts quando é muito tarde para agir. Nesses casos, algum tipo
and farmers to monitor diseases in soybean fields.
Index Terms—soybean foliar diseases, UAVs, aerial images. de análise sofisticada, por meio de microscópios modernos, é
geralmente necessária. Em outros casos, os sinais só podem ser
detectados em algumas faixas do espectro eletromagnético que
I. I NTRODUÇ ÃO
não são visı́veis aos seres humanos. Uma abordagem comum é
A soja (Glycine max) tem sido a principal commodity agrı́cola o uso de sensores remotos que exploram a captura de imagens
brasileira, possuindo importante participação econômica na multiespectrais e hiperespectrais. A maioria das doenças, no
balança comercial do paı́s. O Brasil é o segundo maior entanto, geram algum tipo de manifestação no espectro visı́vel.
produtor mundial de soja, atrás apenas dos EUA. Na safra Devido aos altos custos de controle quı́mico e o seu impacto
2016/2017, o estado de Mato Grosso foi considerado o maior ecológico, um dos objetivos da agricultura de precisão é
produtor brasileiro do grão (29.952,9 milhões de toneladas), reduzir e otimizar as aplicações de pesticidas. A detecção e a
seguido pelo estado do Paraná (18.249,8 milhões de toneladas) classificação de várias doenças em estágios iniciais de epide-
e Rio Grande do Sul (16.374,6 milhões de toneladas) [1]. mias permitem uma aplicação mais eficiente de agroquı́micos
Apesar dos resultados satisfatórios, algumas doenças provo- [3]. Contudo, o monitoramento visual de doenças em estágios
cadas por fungos, bactérias, vı́rus e nematóides tem prejudi- iniciais no campo é um processo que requer elevado conheci-
cado consideravelmente a produção de soja em alguns estados. mento técnico, sendo suscetı́vel a falha humana.
Na safra 2016/17, o Consórcio Antiferrugem registrou 415 Para superar essas questões, há uma crescente motivação
ocorrências de focos da doença ferrugem asiática em diversos ao uso de Veı́culos Aéreos não Tripulados (VANTs) na agri-
estados produtores do Brasil, como Rio Grande do Sul (115 cultura. Segundo a Força Aérea Brasileira (FAB), um VANT
focos), Paraná (87 focos), Mato Grosso do Sul (64 focos), é toda aeronave projetada para operar sem piloto a bordo,
Tocantins (41 focos), Mato Grosso (34 focos), Bahia (32 fo- com carga útil embarcada e não utilizada para fins recreativos.
cos), entre outros [2]. Além disso, doenças como mancha-alvo, Neste contexto, eles são capazes de sobrevoar uma plantação
mı́ldio e oı́dio também podem afetar severamente o rendimento a poucos metros de distância com câmeras de alta resolução
da soja. O diagnóstico precoce de doenças é fundamental espacial, a fim de capturar imagens ricas em detalhes, o que
para a gestão de pesticidas na cultura e, consequentemente, torna possı́vel a criação de um sistema de visão computacional
pode reduzir os prejuı́zos econômicos e o impacto ambiental para identificar diferentes espécies de doenças da cultura de
decorrente do uso excessivo de agroquı́micos [3]. soja. Isso é essencial para a viabilidade deste tipo de aplicação,
Embora os danos causados na cultura da soja sejam, em uma vez que uma grande quantidade de imagens é capturada,
alguns casos, alarmantes, não se indica a aplicação preventiva sendo necessário analisá-las automaticamente. Além disso, o
de produtos quı́micos, pois a aplicação desnecessária eleva alto custo de produtos quı́micos associados a ações de baixo
os custos de produção e contribui para o desequilı́brio po- impacto ecológico levam a melhores práticas da agricultura de
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✽

precisão. Assim, o uso de VANTs em campos de cultivo tem de dados públicos de 54.306 imagens de folhas de plantas
sido considerado um importante instrumento para identificar doentes e saudáveis coletadas sob condições controladas, eles
manchas de doenças, permitindo que peritos e agricultores treinaram uma rede neural convolucional para identificar 14
tomem melhores decisões gerenciais. espécies de culturas diferentes e 26 doenças.
Diante do contexto exposto e da lacuna de pesquisa obser- Pujari et al. [11] analisaram a aparência da doença fúngica
vada, este artigo propõe um sistema de visão computacional oı́dio em diferentes culturas: uva, manga, pimentão, trigo,
para identificar automaticamente doenças foliares da soja, a feijão e girassol. Eles extraı́ram caracterı́sticas de cor e tex-
partir de imagens aéreas capturadas por um modelo de VANT tura das amostras de oı́dio e, depois, utilizaram essas carac-
de baixo custo bastante conhecido no mercado, denominado terı́sticas como entrada para dois classificadores: baseado-em-
DJI Phantom 3. Inicialmente, consideramos um passo de conhecimento e redes neurais artificiais (RNA).
segmentação de imagem para detectar as folhas das plantas nas Rumpf et al. [12] propõem um sistema para detectar doenças
imagens obtidas durante a inspeção de voo. Descrevemos as de plantas utilizando máquina de vetores de suporte baseado
folhas usando caracterı́sticas visuais, incluindo cor, gradiente, em reflectância hiperespectral. A principal contribuição deste
textura e forma. Nossa metodologia avalia seis classificadores trabalho é um procedimento que detecta e classifica, de modo
conhecidos da literatura, utilizando imagens capturadas a 2 pré-sintomático, as doenças cercospora, ferrugem e oı́dio
metros de altura da plantação. A abordagem proposta utiliza da beterraba-sacarina, baseando-se em ı́ndices espectrais da
um conjunto de 3.000 imagens, divididas em 6 classes: ferru- vegetação.
gem asiática, mancha-alvo, mı́ldio, oı́dio, solo (solo exposto e Estudos recentes sobre agricultura de precisão, utilizando
palha) e folhas saudáveis - para avaliar a taxa de classificação imagens de sensoriamento remoto obtidas por VANTs e al-
correta (TCC) do sistema. Os experimentos também compara- goritmos de aprendizado de máquina, foram propostos para
ram as TCC de cada caracterı́stica visual separadamente para identificar doenças em cı́tricos [13], detectar ervas daninhas
descobrir quais atributos são mais significativos em termos de em trigo [14] e também em milho [15]. Em [16], os autores
discriminação na tarefa de reconhecimento de doenças foliares utilizaram sensoriamento remoto com imagens no espectro do
da soja. visı́vel e do infravermelho próximo (NIR) para detectar duas
Este artigo está organizado da seguinte forma. A Seção II doenças de soja, incluindo o nemátodo de cisto e a sı́ndrome
oferece a revisão da literatura. A abordagem proposta para da morte súbita. Yuan et al. [17] recentemente usaram VANTs
identificar as doenças foliares da soja está descrita na Seção para medir o ı́ndice da área foliar da soja.
III. A Seção IV relata os materiais e métodos adotados nesta
pesquisa. A Seção V mostra os resultados experimentais,
seguidos por uma discussão. Finalmente, conclusões e traba- III. A BORDAGEM P ROPOSTA
lhos futuros são apresentados na Seção VI.
Nesta seção, apresentamos uma abordagem de visão computa-
II. R EVIS ÃO DA L ITERATURA cional para identificar doenças foliares da soja através de ima-
Nas últimas décadas muitos sistemas têm sido propostos para gens coletadas pelo VANT Phantom 3. A abordagem proposta
a detecção automática de doenças em plantas. No entanto, adota o algoritmo Simple Linear Iterative Clustering (SLIC)
poucos deles abordam o uso de imagens coletadas por VANTs para detectar as folhas das plantas nas imagens. O método
para a identificação de doenças da soja. Neste contexto, Pires SLIC emprega o algoritmo k-means [18] para a geração de
et al. [7] propuseram um método baseado em descritores locais regiões semelhantes, chamadas superpixels. O parâmetro k do
e histogramas de palavras visuais para identificar doenças de algoritmo refere-se ao número de superpixels na imagem e
soja usando imagens de folhas capturadas por um scanner de permite controlar o tamanho dos superpixels. Aqui, ajustamos
mesa. o parâmetro k para melhor segmentar as folhas das plantas de
soja.
Gui et al. [8] sugerem um novo método adaptado do método
Itti para detectar doenças da soja com base em regiões salien- De acordo com Achanta et al. [19], o algoritmo SLIC agrupa
tes. Este método utiliza recursos de baixo nı́veis de iluminação regiões de pixels no espaço 5-D definido por L, a, b (valores da
e cor, combinados com análise multi-escala para determinar escala CIELAB de cor) e as coordenadas x e y dos pixels. Uma
mapas de saliência em imagens, utilizando o algoritmo k- imagem de entrada é segmentada em regiões retangulares,
means e limiar de experiência combinada. definindo o número k de superpixels com aproximadamente
N
Shrivastava & Hooda [9] apresentam uma aplicação na k pixels, onde N é o número de pixels da imagem. Cada
agricultura para detecção e classificação de duas doenças região compõe
q um superpixel inicial de dimensões S × S,
da soja: mancha marrom e olho de rã. O dispositivo móvel onde S = Nk . Os centros dos agrupamentos de superpixel
captura a imagem no campo e depois um vetor de atributos Ck = [lk , ak , bk , xk , yk ] com k = [1, k] são escolhidos,
de forma é extraı́do no processamento da imagem que ajuda espaçados em uma matriz regular para formar os agrupamentos
um classificador k-NN na classificação da doença. de tamanho aproximado S 2 . Os centros são movidos para o
Mohanty et al. [10] descrevem uma arquitetura de rede valor de menor gradiente sobre uma vizinhança de 3×3 pixels,
neural convolucional para problemas de classificação de ima- evitando a alocação de centroides nas regiões de borda que
gens com um grande número de classes. Usando um conjunto tenham pixels ruidosos. Em vez de usar uma norma euclidiana
✾ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

(a) (b) (c) (d) (e)

Figura 1. Proposta do sistema de visão computacional para identificar doenças foliares da soja com imagens de VANT.

simples no espaço 5D, uma medida de distância Ds é definida A etapa final mostra uma imagem de teste avaliada pelo nosso
da seguinte forma: sistema de visão computacional (ver passo (e) da Figura 1). O
p resultado da taxa de classificação calculada para cada uma das
dlab = (lk − li )2 + (ak − ai )2 + (bk − bi )2 (1) doenças é mostrado na captura de tela da nossa ferramenta.
p
2
dxy = (xk − xi ) + (yk − yi ) 2 (2)
m IV. M ATERIAIS E M ÉTODOS
Ds = dlab + ∗ dxy (3) As próximas seções cobrem os materiais e métodos adotados
s
onde Ds é a soma da distância dlab (Equação 1) e a distância neste artigo.
dxy (Equação 2), normalizada pelo intervalo S. O parâmetro A. Delineamento Experimental
m corresponde ao controle de compactação do superpixel;
As imagens das plantas de soja foram capturadas a 2 metros de
quanto maior o seu valor, mais compacto é o agrupamento
altura com o VANT Phantom 3. Neste caso, nós escolhemos
em termos de proximidade espacial. Cada pixel da imagem é
dois metros porque valores menores causam o deslocamento
associado ao centroide mais próximo de um grupo e, depois de
das folhas devido ao vento gerado pelas pás dos rotores. Em
todos os pixels estarem associados a um centroide, um novo
contrapartida, para valores mais altos o tamanho das folhas
centro é calculado com o vetor Labxy de todos os superpixels
nas imagens é gradativamente reduzido e, consequentemente,
pertencentes ao grupo. No final do processo, alguns pixels
a resolução da imagem diminui. A Figura 2 mostra diferentes
podem estar conectados a um grupo incorretamente, então o
alturas testadas, no caso, 1, 2, 4, 8 e 16 metros.
algoritmo reforça a conectividade na última etapa, atribuindo
os pixels sozinhos aos maiores grupos vizinhos [19].
Um diagrama esquemático do sistema proposto é mos-
trado na Figura 1. Ela ilustra a metodologia que consiste
de cinco etapas: (a) aquisição de imagens, (b) segmentação
SLIC, (c) conjunto de imagens, (d) extração de atributos e,
finalmente, (e) classificação de doenças foliares. Inicialmente,
Figura 2. Planta da soja com a presença da doença do oı́dio capturada pelo
uma inspeção de voo foi conduzida com o VANT nos campos VANT em diferentes alturas.
de soja para capturar imagens da plantação (ver passo (a)
na Figura 1). Essas imagens foram segmentadas usando o Para tanto, as imagens foram capturadas a partir de um
método SLIC superpixels. Cada segmento de superpixel foi campo experimental de soja, mostrado na Figura 3. A área
classificado visualmente em uma classe especı́fica: ferrugem agrı́cola é situada na fazenda Bom Princı́pio, localizada no
asiática, mancha-alvo, mı́ldio, oı́dio, solo ou amostras de municı́pio de Dourados-MS, com coordenadas geográficas
folhas saudáveis. O valor de k = 2.000 foi ajustado para 22o 6’ 22.77” latitude Sul e 54o 15’ 20.05” longitude
dividir a imagem em 2.000 segmentos de superpixels (Figura Oeste. Foram coletadas 100 imagens aéreas durante a safra
1 (b)). Este valor corresponde ao tamanho aproximado da Set/2016–Fev/2017. A fim de identificar as folhas das plantas
segmentação de uma folha de soja. nas imagens, cada imagem foi segmentada por meio do
Após a segmentação da imagem com o método SLIC, os método baseado em superpixel, de acordo com o parâmetro
segmentos foliares pertencentes à classe foram visualmente k que melhor ajusta a detecção das folhas na planta. Para
analisados por um especialista para compor um conjunto de os nossos experimentos, os melhores parâmetros k foram
imagens de superpixels para treinamento e teste do sistema, encontrados empiricamente com o valor de 2.000 superpixels
ver etapa (c) da Figura 1. Neste caso, um perito ou um para segmentar as folhas das plantas de soja. Como resultado,
agrônomo foi responsável pela avaliação da representatividade 3.000 imagens de superpixels, sendo 500 imagens para cada
da amostra para a análise estatı́stica. Subsequentemente, as classe, foram distribuı́das entre as seis classes de identificação
imagens foram descritas como caracterı́sticas baseadas na cor, de doenças da soja. As classes, neste caso, correspondem às
gradiente, textura e forma (ver passo (d) da Figura 1) através doenças: ferrugem asiática, mancha-alvo, mı́ldio, oı́dio, solo e
de vetores de atributos extraı́dos das imagens de superpixels. folhas sem doença.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✶✵

com o tamanho, o que produz diferentes sensações táteis


associadas à aspereza, grosseria e regularidade. Forma des-
creve imagens dependendo do contorno dos objetos, enquanto
as caracterı́sticas de gradiente são baseadas nas derivadas
em diferentes direções da imagem. Em nosso sistema de
classificação de imagens, implementamos e usamos como
atributos os seguintes métodos: cor (estatı́sticas de cores [20]),
gradiente (histograma de gradientes orientados [21]), textura
(matriz de co-ocorrência de nı́vel de cinza [22] e padrões
binários locais [23]) e forma (momentos de Hu e momentos
centrais [24]).
Para a classificação de imagens, os algoritmos de aprendi-
zagem de máquina usam as imagens descritas para identificar
Figura 3. Visão aérea da área experimental utilizada para o plantio da cultura e classificar de acordo com os padrões visuais. Aqui, empre-
de soja.
gamos modelos de aprendizagem supervisionados com conjun-
tos de treinamento e teste divididos de acordo com a validação
Com apoio de um especialista da área agronômica, cada cruzada de dez dobras. Nós comparamos classificadores bem
imagem foi anotada, construindo assim, uma coleção de re- conhecidos, incluindo SMO [25], Adaboost [26], árvores de
ferências de superpixels para o conjunto de imagens (veja a decisão usando o algoritmo J48 [27] e Random Forest [28],
Figura 4). As imagens no formato .DNG foram capturadas k-vizinhos mais próximos (k-NN) [29] e Naive Bayes [30],
utilizando o VANT modelo DJI Phantom 3 Professional, a fim de avaliar estatisticamente o potencial da proposta de
equipado com um sensor Sony EXMOR de 1/2,3 polegadas e reconhecimento foliar nos campos de soja.
12,3 megapixels de resolução. As imagens foram capturadas V. R ESULTADOS E XPERIMENTAIS E D ISCUSS ÃO
a 2 metros de altura da plantação sobre os alvos de interesse,
usando um ângulo de 90◦ da câmera em relação ao solo. Os Nesta seção, descrevemos os experimentos e os resultados
alvos, neste caso, correspondem ao estrato superior da planta obtidos pela abordagem proposta. Na tarefa de classificação,
(folhas) que carregam as informações de doenças da soja. submetemos aos modelos de aprendizado de máquina as
imagens capturadas. Quatro métricas foram utilizadas para
avaliar o desempenho dos classificadores: taxa de classificação
correta (TCC), medida-F, área ROC e tempo médio para
construir o modelo de classificação. Para treinamento e teste
dos classificadores, foi utilizada a validação cruzada de 10
dobras estratificada. Neste esquema, as imagens do conjunto
de dados são divididas em 10 dobras, garantindo que cada
dobra tenha a mesma proporção de cada classe. Em seguida,
uma dobra é usada para testar, enquanto as dobras restantes
são usadas para treinar o classificador. O processo é repetido
10 vezes usando cada dobra exatamente uma única vez para o
teste. Finalmente, a taxa de classificação correta é dada pela
média das 10 rodadas. Para cada algoritmo testado, foram
Figura 4. Exemplos de imagens de superpixels do nosso conjunto de imagens,
divididos em doenças, solo e folha saudável. calculados os desempenhos médios das métricas ajustadas para
problemas com mais de duas classes.
Para verificar se os algoritmos testados diferem estatisti-
B. Extração de Atributos e Classificação camente em relação ao desempenho, nós utilizamos o teste
Extração ou descrição de atributos é um passo importante nos de hipóteses ANOVA no RStudio, com cada bloco correspon-
sistemas de classificação, visto que esta etapa é capaz de redu- dendo a uma classe do problema. Os valores-p encontrados
zir a informação dos padrões de conteúdo visual e representá- para cada métrica e o nı́vel de significância requerido foram
los em um vetor de caracterı́sticas. Existem vários atributos relatados para descartar a hipótese nula. Em seguida, os dados
visuais que descrevem as propriedades fı́sicas das imagens, foram analisados a partir de uma linha estatı́stica descritiva no
que dependem principalmente da cor, gradiente, textura e diagrama boxplot.
forma. Embora o sistema visual humano possa facilmente
discriminar imagens, a descrição das caracterı́sticas baseia- A. Avaliação de Classificação
se nas propriedades fı́sicas das superfı́cies dos objetos, ou A Figura 5 mostra os resultados de TCC obtidos por seis
seja, como elas refletem os diferentes valores de comprimento classificadores bem conhecidos da literatura, considerando
de onda. Os atributos de textura se concentram em descrever os valores da Tabela I. É possı́vel observar que não e-
imagens como padrões repetitivos que podem variar de acordo xiste diferença significativa de desempenho de TCC entre
✶✶ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

os classificadores SMO e Random Forest. Este resultado foi


confirmado pelo teste de Tukey (P < 0, 05). Neste critério de
desempenho, o classificador SMO obteve maior TCC, seguido
pelos classificadores Random Forest, J48, k-NN, Naive Bayes
e Adaboost. A Tabela I também mostra o tempo médio para
construir o modelo de classificação. Conforme a tabela, o
classificador k-NN obteve menor tempo de processamento,
seguido pelos classificadores Adaboost, Naive Bayes, SMO,
J48 e Random Forest.

Tabela I
M ÉTRICAS DE DESEMPENHO UTILIZADAS PARA AVALIAR O SISTEMA DE
VIS ÃO COMPUTACIONAL PROPOSTO .

Classificador TCC (%) Medida-F (%) Área ROC (%) Tempo (s) Figura 6. Diagrama boxplot comparando o desempenho entre os classifica-
SMO 97,80 97,80 99,50 0,62 dores para a métrica TCC.
RandomForest 97,76 97,80 99,90 4,47
J48 94,93 94,90 97,30 1,78
NaiveBayes 51,16 48,50 90,50 0,20
k-NN 88,03 88,00 92,80 0,00
AdaBoost 32,96 18,30 72,10 0,19

Figura 7. Matriz de confusão obtida pelo classificador SMO com a TCC para
cada classe investigada.

que para o classificador avaliado, os atributos cor (97,53%)


e textura (68,96%) são mais significativos em termos de
discriminação quando comparados aos atributos de gradiente
(46,16%) e forma (25,13%) na tarefa de reconhecimento de
Figura 5. TCC obtido por diferentes classificadores, utilizando extratores de
atributos combinados baseados em cor, gradiente, textura e forma. doenças foliares da soja.

A Figura 6 apresenta o desempenho de cada classificador


para a métrica TCC, com o valor da mediana em destaque
no diagrama boxplot. O diagrama apresenta ainda o intervalo
da variação do desempenho obtido por cada classificador. De
acordo com a figura, o classificador SMO apresentou a melhor
TCC, possuindo maior valor para a mediana e dispersão de
dados na melhor faixa de valores para a TCC.
A Figura 7 apresenta a matriz de confusão do classificador
SMO - que obteve o melhor resultado para a TCC. De acordo
com a figura, as classes oı́dio/mancha-alvo e mı́ldio/folha
saudável obtiveram maior número de instâncias classificadas
incorretamente, devido ao grau de semelhança existente entre Figura 8. TCC obtido pelo classificador SMO, utilizando cada extrator de
essas classes. atributo separado, baseado em cor, gradiente, textura e forma.

B. Avaliação de Extratores de Atributos O atributo cor é mais significativo que os demais atribu-
Outro objetivo do experimento foi avaliar o desempenho de tos porque as manchas de doenças geralmente apresentam
cada caracterı́stica visual que descreve as propriedades fı́sicas diferentes colorações na folha. Os primeiros sintomas da
da folha. Para este propósito, os atributos baseados em cor, gra- ferrugem asiática são caracterizados por pequenos pontos de
diente, textura e forma foram comparados individualmente em coloração esverdeada a cinza-esverdeada, mais escuros do
termos de TCC calculados pelo classificador SMO, como mos- que o tecido sadio da folha. As lesões da mancha-alvo se
tra a Figura 8. Os resultados deste experimento demonstram iniciam por pontuações pardas, com halo amarelado, evoluindo
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✶✷

para grandes manchas circulares de coloração castanho-clara a [11] J. D. Pujari, Recognition and classification of Produce affected
castanho-escura. Os sintomas iniciais do mı́ldio são manchas by identically looking Powdery Mildew disease, Y. Rajesh, Ed.
De Gruyter Open, 2014. [Online]. Available: https://doaj.org/article/
verde-claras que evoluem para a cor amarela na parte superior ef63bd9fffc34d42af2146c82c9127da
da folha. Já a doença oı́dio apresenta uma fina cobertura [12] T. Rumpf, A.-K. Mahlein, U. Steiner, E.-C. Oerke, H.-W. Dehne,
esbranquiçada nas folhas em decorrência da coloração branca and L. Plümer, “Early detection and classification of plant diseases
with support vector machines based on hyperspectral reflectance,”
do fungo [31]. Computers and Electronics in Agriculture, vol. 74, no. 1, pp. 91 – 99,
2010. [Online]. Available: http://www.sciencedirect.com/science/article/
VI. C ONCLUS ÃO pii/S0168169910001262
[13] F. Garcia-Ruiz, S. Sankaran, J. M. Maja, W. S. Lee, J. Rasmussen,
Neste artigo foi proposta uma nova abordagem baseada no and R. Ehsani, “Comparison of two aerial imaging platforms for
método de segmentação SLIC para identificar doenças foli- identification of huanglongbing-infected citrus trees,” Comput. Electron.
ares da soja utilizando VANTs. Consideramos um passo de Agric., vol. 91, pp. 106–115, 2013.
[14] J. Torres-Sánchez, J. Peña, A. de Castro, and F. López-Granados, “Multi-
segmentação de imagem para detectar as folhas das plantas nas temporal mapping of the vegetation fraction in early-season wheat fields
imagens tomadas com voos de um VANT modelo Phantom. using images UAV,” Computers and Electronics in Agriculture, vol. 103,
Em seguida, foi realizada a etapa de extração de caracterı́sticas pp. 104–113, 2014.
[15] J. M. Peña, J. Torres-Sánchez, A. Serrano-Pérez, A. I. de Castro, and
usando descritores visuais, incluindo cor, gradiente, textura e F. López-Granados, “Quantifying efficacy and limits of unmanned aerial
forma. Na etapa de classificação da nossa abordagem, com- vehicle (uav) technology for weed seedling detection as affected by
paramos seis classificadores bem conhecidos na literatura. A sensor resolution,” Sensors, vol. 15, no. 3, pp. 5609–5626, 2015.
[16] S. G. Bajwa, J. C. Rupe, and J. Mason, “Soybean disease monitoring
taxa de classificação correta confirmou que a nossa abordagem with leaf reflectance,” Remote Sensing, vol. 9, no. 2, pp. 127–133, 2017.
obteve a precisão de 97,80% na identificação da doença foliar, [17] H. Yuan, G. Yang, C. Li, Y. Wang, J. Liu, H. Yu, H. Feng, B. Xu,
utilizando o classificador SMO em imagens capturadas a 2 me- X. Zhao, and X. Yang, “Retrieving soybean leaf area index from
unmanned aerial vehicle hyperspectral remote sensing: Analysis of rf,
tros de altura. Os resultados experimentais também indicaram ann, and svm regression models,” Remote Sensing, vol. 9, no. 4, pp.
que os atributos de cor e textura levam a maiores taxas de 309–315, 2017.
classificação. Como parte de trabalhos futuros, pretendemos [18] J. A. Hartigan and M. A. Wong, “A k-means clustering algorithm,”
JSTOR: Applied Statistics, vol. 28, no. 1, pp. 100–108, 1979.
realizar novos experimentos com câmeras multiespectrais e [19] R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, and S. Susstrunk,
de maior resolução. Também consideramos comparar a nossa “Slic superpixels compared to state-of-the-art superpixel methods,”
abordagem com outras abordagens de aprendizagem. IEEE Trans. Pattern Anal. Mach. Intell., vol. 34, no. 11, pp. 2274–2282,
2012. [Online]. Available: http://dx.doi.org/10.1109/TPAMI.2012.120
[20] M. J. Swain and D. H. Ballard, “Color indexing,” International Journal
R EFER ÊNCIAS of Computer Vision, vol. 7, no. 1, pp. 11–32, 1991. [Online]. Available:
[1] C. N. de Abastecimento (CONAB), “Acompanhamento da safra http://dx.doi.org/10.1007/BF00130487
brasileira grãos, v.4 - safra 2016/17 - n.6 - sexto levantamento [21] N. Dalal and B. Triggs, “Histograms of oriented gradients for human
(in portuguese),” Brası́lia, DF, Brasil, pp. 1–176, 2017. [Online]. detection,” in Computer Vision and Pattern Recognition, 2005. CVPR
Available: http://www.conab.gov.br/OlalaCMS/uploads/arquivos/17 03 2005. IEEE Computer Society Conference on, vol. 1. IEEE, 2005, pp.
14 15 28 33 boletim graos marco 2017bx.pdf 886–893.
[2] E. B. de Pesquisa Agropecuária (EMBRAPA), “Consórcio antiferrugem [22] R. M. Haralick, “Statistical and structural approaches to texture,” Pro-
(safra 2016/2017) (in portuguese),” Brası́lia, DF, Brasil, 2016. [Online]. ceedings of the IEEE, vol. 67, no. 5, pp. 786–804, 1979.
Available: https://www.embrapa.br/soja/ferrugem/consorcioantiferrugem [23] T. Ojala, M. Pietikäinen, and T. Mäenpää, “Multiresolution gray-scale
[3] C. Hillnhuetter and A.-K. Mahlein, “Early detection and localisation of and rotation invariant texture classification with local binary patterns,”
sugar beet diseases: new approaches,” Gesunde Pflanzen, vol. 60, no. 4, IEEE Trans. Pattern Anal. Mach. Intell., vol. 24, no. 7, pp. 971–
pp. 143–149, 2008. 987, 2002. [Online]. Available: http://dx.doi.org/10.1109/TPAMI.2002.
[4] E. B. de Pesquisa Agropecuária (EMBRAPA), “Nı́veis de desfolha 1017623
tolerados na cultura da soja sem a ocorrência de prejuı́zos à [24] M. K. Hu, “Visual Pattern Recognition by Moment Invariants,” IRE
produtividade (in portuguese),” Londrina, PR, Brasil, 2010. [Online]. Transactions on Information Theory, vol. 8, pp. 179–187, 1962.
Available: http://www.cnpso.embrapa.br/download/CT79VE.pdf [25] J. C. Platt, “Advances in kernel methods,” B. Schölkopf, C. J. C.
[5] A. A. Henning, “Manejo de doenças da soja (glycine max l. merrill) (in Burges, and A. J. Smola, Eds. Cambridge, MA, USA: MIT
portuguese),” Informativo ABRATES, vol. 19, no. 3, p. 4, 2009. [Online]. Press, 1999, ch. Fast Training of Support Vector Machines Using
Available: http://ainfo.cnptia.embrapa.br/digital/bitstream/item/96109/1/ Sequential Minimal Optimization, pp. 185–208. [Online]. Available:
Manejo-de-doencas-da-soja-Glycine-max-L.-Merrill.pdf http://dl.acm.org/citation.cfm?id=299094.299105
[6] C. Bock, G. Poole, P. Parker, and T. Gottwald, “Plant disease severity [26] B. Kégl, “The return of adaboost.mh: multi-class hamming trees,”
estimated visually, by digital photography and image analysis, and by CoRR, vol. abs/1312.6086, 2013. [Online]. Available: http://arxiv.org/
hyperspectral imaging,” Critical Reviews in Plant Sciences, vol. 29, abs/1312.6086
no. 2, pp. 59–107, 2010. [27] J. R. Quinlan, “Induction of decision trees,” Mach. Learn., vol. 1, no. 1,
[7] R. D. L. Pires, D. N. Gonçalves, J. P. M. Oruê, W. E. S. Kanashiro, J. F. pp. 81–106, Mar. 1986. [Online]. Available: http://dx.doi.org/10.1023/A:
Rodrigues, B. B. Machado, and W. N. Gonçalves, “Local descriptors for 1022643204877
soybean disease recognition,” Computers and Electronics in Agriculture, [28] T. K. Ho, “Random decision forests,” in Proceedings of the Third
vol. 125, pp. 48–55, 2016. International Conference on Document Analysis and Recognition,
[8] Q. Z. Jiangsheng Gui, Li Hao and X. Bao, “A new method for soybean ser. ICDAR ’95. Washington, DC, USA: IEEE Computer Society,
leaf disease detection based on modified salient regions,” International 1995, pp. 278–285. [Online]. Available: http://dl.acm.org/citation.cfm?
Journal of Multimedia and Ubiquitous Engineering, vol. 10, pp. 45–52, id=844379.844681
2015. [29] N. S. Altman, “An introduction to kernel and nearest-neighbor non-
[9] D. S. H. Sourabh Shrivastava, “Automatic brown spot and frog eye parametric regression,” The American Statistician, vol. 46, no. 3, pp.
detection from the image captured in the field,” American Journal of 175–185, 1992.
Intelligent Systems, vol. 4, no. 4, pp. 131–134, 2014. [30] S. J. Russell and P. Norvig, Artificial Intelligence: A Modern Approach,
[10] S. P. Mohanty, D. P. Hughes, and M. Salathé, “Using deep learning 2nd ed. Pearson Education, 2003.
for image-based plant disease detection,” CoRR, vol. abs/1604.03169, [31] E. B. de Pesquisa Agropecuária (EMBRAPA), “Manual de identificação
2016. [Online]. Available: http://arxiv.org/abs/1604.03169 de doenças de soja - 5a edição (in portuguese),” 2014.
✶✸ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Facial Biometrics for Access Control Using LBP


Texture Measures and ELM Neural Networks

Valberto Enoc Rodrigues da Silva Filho1 Tarique da Silveira Cavalcante1 Edson Calvalcanti Neto2
1 Instituto Federal de Educação, Ciência e Tecnologia do Ceará, IFCE
2 Centro Universitário Estácio do Ceará

Resumo—The advance of computing has enabled the creation Neste contexto, pode-se definir um sistema de Reconhe-
of new technologies, which cover various commercial and non- cimento Facial e suas características como sendo um sistema
commercial sectors, such as, analysis of medical images, tracking de Visão Computacional que tem por objetivo identificar ou
systems, security, among others. In particular, companies have verificar indivíduos através de imagens faciais. Um sistema
sought to innovate in their security systems to protect their desse tipo consiste das seguintes etapas: Detecção Facial,
heritage and provide protection to their employees. Among the
Normalização, Representação e Classificação [2]. As etapas
prominent innovations, biometric identification systems, especi-
ally making use of facial biometrics, rises as good alternative de representação e classificação são enfatizadas nesse traba-
to replace most archaic and unsafe méthods. Facial recognition lho. Sobretudo a etapa de extração de atributos usadas para
systems are advantageous because they are reliable and not representar os objetos a serem classificados.
invasive. These systems are recurrent in the literature, and so have
Alguns exemplos de técnicas para extração de atributos são
provided the advancement of artificial intelligence techniques
to carry out this task. Among them, the LBP to extract facial encontrados na literatura. Destacam-se dois métodos em que
attributes have been noted for its computational simplicity and podem ser divididos os algoritmos de extração de atributos:
highly representativeness. This work is carried out an evaluation Holísticos e Baseados em Caracteríticias Locais [2]. No pri-
study of LBP together with an emerging neural network in meiro método, toda a imagem facial é utilizada como entrada
complex classification problems, ELM. In addition, this study do sistema de classificação. Um exemplo deste é o algoritmo
will be applied to two datasets of public domain images, namely, conhecido como Eigenfaces, que aplica a Análise de Compo-
Yale face database and Yale face database B, as well as a third nentes Principais (PCA) na imagem facial de entrada e a fim
proprietary dataset, created for this work. The results obtained de diminuir a dimensionalidade dos atributos, aumentando sua
with an average hit rate of 97.52% for the Yale B dataset, 81.32% representatividade [3]. No segundo método, atributos locais são
for the Yale dataset, and 99.57% for the proprietary dataset
extraídos. Atributos locais podem ser as medidas geométricas
suggests a combination of promising and robust techniques in
the facial recognition task in frontal images, which can be used da face, medidas de textura ou até descritores locais baseados
in access control systems. em transformada Wavelet.

Keywords—Facial Recognition, LBP, ELM O LBP tem sido recorrente em trabalhos que envolvem a
classificação de indivíduos por biometria facial. No entanto,
I. I NTRODUÇÃO para verificar a robustez do mesmo, classificadores mais sim-
O crescente avanço da ciência da computação tem influ- ples são utilizados. Neste trabalho, a classificação é realizada
enciado cada vez mais a vida do homem. Com o aumento da por um algoritmo de reconhecimento de padrões robusto e que
quantidade de dispositivos eletrônicos, tendo como exemplo tem sido utilizado para resolver problemas de grande comple-
tablets e smartphones, o uso de recursos computacionais no xidade: a rede neural Extreme Learning Machine (ELM).
cotidiano tem proporcionado mais oportunidade para o surgi- Alom [4] utilizam este classificador, além de algumas
mento de novas tecnologias. Novas idéias surgem a cada dia variações propostas, na tarefa de reconhecimento facial. Foi
para facilitar tarefas mais simples, por exemplo o agendamento verificado que o mesmo obtém resultados satisfatórios utili-
de compromissos eletronicamente, ou tarefas mais complexas, zando LBP como extrator de características.
como a aplicação em sistemas de segurança para controle de
acesso, ou identificação de indivíduos em ambientes públicos. Nexte contexto, este trabalho propõe analisar o desempe-
nho de duas variações do LBP: LBP8,1 e LBP8,2 , bem como
O uso de sistemas computacionais aplicados no contexto o desempenho da rede neural ELM e o efeito da variação de
de segurança tem mostrado ter relevância comercial. Diversos neurônios na camada oculta da rede no resultado final. Além
segmentos empresariais têm utilizado deste método para prote- disso, os algoritmos são aplicados em dois bancos de imagens
ger seu patrimônio e/ou prover segurança a terceiros, sobretudo de domínio público: Yale face database e Yale face database
com a implementação de sistemas de identificação biométrico B, além de um banco de imagens criado para este trabalho.
[1].
II. M ATERIAIS E MÉTODOS
Alguns exemplos de sistemas de identificação biométrico
são: reconhecimento de impressões digitais, reconhecimento Na Figura 1 é ilustrado o fluxograma do sistema desen-
de voz, reconhecimento de íris, reconhecimento facial, dentre volvido. A primeira etapa consiste na aquisição da imagem,
outras. O desenvolvimento desses métodos é possível por causa após a aquisição da imagem, o algoritmo de detecção de faces
da análise e processamento das imagens digitais fornecidas ao é aplicado à imagem original. A finalidade desse algoritmo
sistema, utilizando técnicas de visão computacional (VC). é encontrar as coordenadas da face na imagem, seguido por
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✶✹

não seja o objetivo do algoritmo proposto neste trabalho, foi


decidido incluir um banco em que o o sistema apresente
dificuldade em alcançar boas taxas de acerto para efeito de
comparação e análise de robustez. A Figura 3 contém exemplos
de imagens desse banco de imagens.
Figura 1. fluxograma de um sistema de reconhecimento facial.

um enquadramento adequado, resultando em uma imagem que Figura 3. Exemplo de imagens do Yale Face Database B Fonte: Autor
contém apenas a face, com o mínimo de informações externas.
Uma vez obtida a face recortada, esta é pré-processada e 2) Banco Próprio: Para a criação do banco próprio, foi
preparada para a etapa de extração de atributos. utilizada uma câmera USB da marca Logitech de referência
Na etapa de extração de características, são computados os C210. A resolução desta câmera é de 640 × 480 pixels e taxa
atributos da face de acordo com o algoritmo escolhido. Neste de captura de 15 frames por segundo foram determinantes na
trabalho, é dado o foco ao LBP e algumas de suas variações. escolha desta câmera, pois assim pode-se verificar o nível
Estes atributos são os dados de entrada para o algoritmo de de detalhes necessários da imagem para que os algoritmos
reconhecimento classificar o indivíduo encontrado na imagem envolvidos no processo de extração de atributos e reconheci-
original. Cada etapa deste processo é explicada com mais mento funcionem satisfatoriamente. Outra vantagem da câmera
detalhes a seguir. utilizada é o fato de possuir ajuste de foco automático.
A câmera foi utilizada em ambientes e iluminações varia-
A. Banco de Imagens das. Isto foi feito com o objetivo de simular ambientes cotidi-
A primeira etapa do sistema consiste em adquirir as ima- anos onde o sistema pode ser usado para controle de acesso.
gens que são avaliadas nos testes de detecção facial, extração Essas variações são importantes para garantir a robustez do
de atributos e finalmente, reconhecimento facial. algoritmo de detecção facial.

Para avaliação do sistema proposto, três conjuntos de B. Detecção Facial


imagens são submetidos à classificação do sistema. Dois dos
conjuntos de imagens utilizados são referentes ao banco Yale Como foi citado anteriomente, na etapa de segmentação de
Face Database, o terceiro conjunto de imagens consiste em um sistema de VC ocorre a separação do objeto de interesse,
um banco próprio criado para este trabalho [5]. para que este seja representado e identificado. No caso do
sistema de reconhecimento facial estudado nesse trabalho, o
1) Yale Face Database: A universidade de Yale construiu objeto de interesse é a face de uma pessoa. Na etapa de
um banco de imagens de faces em duas diferentes variações. detecção facial, um algoritmo que utiliza a combinação de
Yale Face Database (YFD) e Yale Face Database B (Big) atributos Haar e o classificador AdaBoost, o Detector Facial
(YFDB). de Viola/Jones [6] foi utilizado para esta tarefa. A implemen-
O Yale Face Database é um banco composto por 165 tação destas técnicas são encontradas na biblioteca de visão
imagens de 15 indivíduos. Cada indivíduo tem 11 imagens computacional Open Source Computer Vision (OpenCV).
com diferentes expressões faciais e configurações, são elas: O algoritmo retorna as coordenadas de um retângulo que
normal, feliz, triste, surpreso, piscando; iluminação centrali- circunscreve a face detectada, juntamente com a largura e
zada, iluminação esquerda, iluminação direita; com óculos e altura do mesmo. De posse das coordenadas, um ajuste aos
sem óculos. Cada imagem possui resolução fixa de 320 × 243. valores das coordenadas é realizado para melhor enquadrar a
A Figura 2 contém exemplos das diferentes configurações face, a fim de reduzir as informações ao redor da face no
de um mesmo indivíduo do banco em questão. plano de fundo da imagem. Foram retirados 25% da largura
do retangulo que contém a face. Este valor, foi determinado
empiricamente. A Figura 4 mostra a diferença entre o retângulo
no tamanho original e o reduzido.

Figura 2. Exemplo de imagens do Yale Face Database Fonte: Autor

O Yale Face Database B é um banco maior, amplamente (a) (b)


utilizado para testes de que envolvem variações de iluminação.
Este banco é composto por 2493 imagens de 39 indivíduos em Figura 4. Face detectada e enquadrada, a) retângulo original; b) retângulo
ajustado.
64 condições de iluminação diferentes. Cada imagem possui
resolução fixa de 168 × 192.
Uma vez que as coordenadas da face forem ajustadas, uma
As imagens contém pouquíssima informação devido a nova imagem é armazenada contendo somente a informação
baixa iluminação, visto que esse banco tem foco em avaliar o contida no retângulo da face. No entanto, como as coordenadas
desempenho de algoritmos invariantes à iluminação. Embora variam entre um frame e outro, é feito o redimensionamento
✶✺ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

da imagem de modo a ter sempre a mesma dimensão fixa. A 3) Equalização de Histograma: Para finalizar o pré-
dimensão escolhida para redimensionar a imagem foi de 190× processamento da imagem facial, é realizada a equalização
250. Este valor foi determinado empiricamente, porém levando de histograma da mesma. O objetivo da equalização nesta
em consideração as dimensões do retângulo que circunscreve a etapa é normalizar as intensidades da imagem para que seja
face, de modo a reduzir a perda de informações com a operação possível uma leitura robusta das medidas globais de contraste
de redimensionamento. Esta imagem é a imagem da face final, e variações de intensidade [7].
que é processada e classificada.
A Figura 5 contém exemplos de diferentes faces extraídas
da imagem original após detecção.

(a) (b) (c) (d)

Figura 6. pré-processamento, a) face inicial; b) correção gamma; c) filtro


DoG aplicado em (b); d) equalização de histograma aplicada em (c)
(a) (b) (c)
D. Extração de Atributos
Figura 5. Exemplos de faces após detecção facial
Nesta seção são descritos os processos que envolvem a
C. Normalização etapa de reconhecimento divididos em dois segmentos: extra-
O pré-processamento utilizado nesse sistema é composto ção de atributos, que compõem a aquisição e formatação dos
por uma sequência de três processos, como foi apresentado por dados, e a classificação, na qual será apresentando o algoritmo
[7]. São eles, em ordem de execução: correção gamma, filtro e forma de treinamento utilizado, bem como os testes de
DoG e equalização de histograma. Esta etapa é fundamental validação dos dados.
para reduzir a influência da iluminação no desempenho do A aquisição dos dados para classificação neste sistema cor-
classificador, tornando os atributos invariantes em situações responde à tarefa de computar os atributos, ou características
de captura diurnas e noturnas. representativas dos objetos a serem reconhecidos. O objeto a
É ilustrado na Figura 6(a) a imagem da face em tons de ser reconhecido é um indivíduo, e os atributos representam as
cinza antes de ser pré-processada. A etapa de normalização medidas de biometria facial deste.
utiliza esta imagem em seu estado inicial como entrada. Os algoritmos utilizados para calcular os atributos da face
1) Correção Gamma: A correção gamma trata-se de uma foram o LBP8,1 e LBP8,2 . Além disso, com o objetivo de
operação de transformação em tons de cinza que tem como aumentar a representatividade dos atributos da face, a imagem
objetivo expandir as regiões mais escuras da imagem, enquanto foi dividida em 25 regiões, como ilustra a Figura 7.
comprime as regiões mais claras [8]. O parâmetro gamma
utilizado nesse sistema foi γ = 0, 2.

2) Filtro DoG: Recebendo a imagem que já passou pela


correção gamma como entrada, o filtro DoG é aplicado. O
filtro DoG se trata de uma variação da máscara de nitidez
descrita por [8] e sua aplicação é dada por convolução simples.
Desta forma, o filtro foi implementado da seguinte maneira:
uma máscara gaussiana de tamanho t1 e desvio padrão σ1 é
aplicada na imagem original, salvando-se o resultado em uma
imagem Ig1 , uma segunda máscara gaussiana de tamanho t2 Figura 7. exemplo de funcionamento LBP8,1
e desvio padrão σ2 , é aplicada, armazenando o resultado em
uma imagem Ig2 . Esta, por sua vez, é subtraída da imagem de O LBP é um descritor de características capaz de extrair
entrada Igamma , o que resulta na equação informações de textura dos objetos. Para gerar o vetor de
características por este método, considera-se um pixel como
limiar e atribui-se 0 ou 1 aos seus vizinhos utilizando o limiar
Isub = Ig1 − Ig2 (1) de referência. A partir desses valores, forma-se um número
binário circular. Ao converter o número binário em decimal,
e finalmente, a imagem Isub é subtraída da imagem original, tem-se um valor correspondente ao intervalo [0, 2P ], dentre
resultando em, os quais estão contidos valores que, em sua forma binária
consistiam em padrões uniformes, isto é, números binários que
IDoG = Igamma − Isub (2) possuem menos de duas transições entre 0 e 1 e de 1 pra 0.
Foi observado por [9] que a maioria dos padrões binários
Os parâmetros t1 , σ1 , t2 , σ2 , foram definidos empirica- locais em imagens naturais são uniformes, sendo aproximada-
mente, e são os seguintes t1 = 29, σ1 = 6, t2 = 9, σ2 = 0, 25. mente 90% dos padrões calculados quando se utiliza P = 8
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✶✻

e R = 1 e cerca de 70% com P = 8 e R = 2. Deste modo, testes empíricos a fim de determinar o valor mais adequado
os padrão não-uniformes são agrupados em um único número para cada situação estudada.
decimal, a partir destes valores, um histograma é construído
representando a distribuição de frequência de cada padrão Para cada banco, foram calculadas métricas estatísticas re-
binário presente na imagem. presentativas do desempenho da rede neural ELM. As medidas
são taxa de acerto média (µ), taxa de acerto máximo (txmax ),
Pietikainen et al. [10] relatam que diversos trabalhos na taxa de acerto mínimo (txmin ), desvio padrão (σ).
literatura obtiveram melhores resultados quando utilizados
apenas os padrões uniformes ao invés de todos os padrões A taxa de acerto mede a quantidade de previsões corretas
possíveis. Fazer esta consideração torna os padrões mais repre- pela rede neural dividido pela quantidade de dados a serem
sentativos para o conjunto de dados em questão. Além disso, reconhecidos. A média desta medida pode ser expressa pela
os padrões uniformes são mais estáveis e menos propensos a equação seguinte:
ruídos [10].
txmax + txmin
A notação (P, R) nos permite analisar a quantidade de µ= . (3)
2
atributos calculados. Isto é possível pois sabe-se, pela quanti-
dade de pontos P , quantos padrões binários uniformes e não O desvio padrão é uma medida de dispersão estatística, e
uniformes são possíveis. Para P = 8, existem 58 padrões mede a variação existente de uma amostra em relação a média.
uniformes. Todavia, os padrões não uniformes são desconsi- O desvio padrão é definido pela seguinte fórmula:
derados. Assim, um vetor de 58 atributos é calculado para
cada região da imagem. Como as imagens foram divididas v
u
em 25 regiões, tem-se que a quantidade total de atributos por u 1 X
n

indivíduo é de 58 × 25 = 1450. σ=t (xi − µ)2 (4)


n − 1 i=1
Os dados foram organizados em um arquivo de atributos
único, contendo todas as amostras. Cada atributo é separado
em que xi representa a amostra da interação atual e n a
por tabulação e contém o rótulo dos indivíduos na último
quantidade de amostras.
coluna.
Todos algoritmos descritos nesse trabalho foram imple-
E. Classificação mentados em C++, com exceção da rede neural ELM, que
foi implementada em MATLAB, assim como o cálculo das
Neste trabalho, foi implementada a rede neural do tipo métricas estatísticas.
ELM para classificar os indivíduos. A ELM foi proposta por
[11] com o objetivo de superar as limitações da rede neural
A. Yale
de múltiplas camadas (MLP) com relação a quantidade de
neurônios totais da rede. [12] afirma que o número baixo Na Tabela I contém as taxas de acerto obtidas pela rede
de neurônios resulta um treinamento e convergência lenta, neural ELM aplicadas ao conjunto de dados Yale Face Data-
enquanto que uma alta quantidade de neurônios causa insta- base B utilizando as duas variações do LBP, com destaque ao
bilidade na rede. Além disso, por haver um maior número melhor resultado obtido.
de mínimos locais, causa o aumento na probabilidade de
divergência destes.
A geração de pesos aleatórios foi feita através de uma
função geradora de números pseudo-aleatórios com desvio
padrão bem baixo de 10−9 . Além disso, foi utilizado 70%
do banco para treino e o restante para teste. Os testes foram
realizados um total de 200 vezes a fim de se obter um valor
confiável para a média de acerto, taxa de acerto máxima da
rede, taxa de acerto mínima da rede e taxas de acerto máxima,
mínima e média por classe. Para o banco Yale B a quantidade
de neurônios utilizada foi entre 100 e 1500 variando de 100
em 100 neurônios na camada oculta, para o banco Yale a
quantidade de neurônios utilizada foi entre 10 e 150 variando
de 10 em 10 e finalmente, para o banco próprio, a quantidade Tabela I. TABELA COM TAXAS DE ACERTO OBTIDAS DO LBP81 ,
foi entre 100 e 200 variando de 10 em 10. LBP82 PARA O Yale B.

III. R ESULTADOS E D ISCUSSÕES


As taxas de acerto são elevadas, e isso mostra que o
Os dados para testes foram gerados para duas variantes do classificador operou com eficácia em separar as classes de
LBP a fim de descobrir qual é influência do raio e quantidade indivíduos. Isso só é possível quando os atributos extraídos
de pontos deste operador na representatividade da face. As da amostra são suficientemente bem representativos. Assim,
variantes foram o LBP81 e LBP82 , aplicadas aos mesmos é possível validar o desempenho da rede em classificar um
bancos de imagens. Além disso foi analisado a quantidade de conjunto de dados numeroso em amostras e dimensionalidade
neurônios da camada oculta da rede neural ELM baseados em dos atributos.
✶✼ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Percebe-se que as taxas de acerto são boas em ambas as motivo para o baixo desempenho do algoritmo de classificação
variações do LBP. Contudo, é possível observar que o LBP82 neste grupo de imagens.
obtém desempenho mais estável, pois mostrou resultados com
O LBP, por ser um descritor de texturas local, é sensível
menor desvio padrão, além de taxas médias semelhantes ao
à informações de forma geométrica. Neste caso, as expressões
longo da variação do número de neurônios. No entanto, houve
faciais presentes nesse banco influenciam fortemente as infor-
um declínio abrupto nas taxas de acerto com o aumento
mações locais da face do indivíduo.
suficiente da quantidade de neurônios. Isso ocorre devido a
multiplicação de matrizes presente na etapa de cálculo dos É apresentado na Figura 9 uma sobreposição das curvas,
pesos da rede neural, que envolve a geração de matrizes in- o que sugere que ambas as variações do LBP são sensíveis
versas, em que a grande diferença na quantidade de neurônios a mudanças de expressões faciais dos indivíduos. Todavia, o
em relação a quantidade de amostras do banco produz divisão mesmo aspecto côncavo da curva pode ser observado, o que
por número próximos de zero. indica que a quantidade de neurônios da camada oculta tem
um ponto ótimo em um valor intermediário na faixa de valores
escolhidos.

Figura 8. gráfico das taxas de acerto médio do LBP81 , LBP82 para o Yale
B.

Quanto a variação da quantidade de neurônios na camada Figura 9. gráfico das taxas de acerto médio do LBP81 , LBP82 para o Yale
oculta, foi observado que existe um valor ótimo para obtenção B.
das maiores taxas de acerto da rede neural. Como é ilustrado
na Figura 8, nota-se uma concavidade na curva que sugere que Foi concluído que, para o conjunto Yale B, o LBP obtém
existe uma quantidade de neurônios específica para o melhor excelente desempenho em condições de iluminação variadas.
desempenho da rede. Porém, este algoritmo não teve o mesmo sucesso com imagens
onde a geometria e medidas computacionais de texturas são
Analogamente aos resultados apresentados para o primeiro alteradas devido a diferentes expressões faciais das amostras
banco de imagens, a Tabela II contém as taxas de acerto obtidas
do banco Yale. É possível atribuir as baixas taxas a pequena
pela rede neural ELM aplicadas ao conjunto de dados Yale
quantidade de amostras com faces expressões constantes, isto
Face Database, utilizando as duas variações do LBP.
é, mais de uma imagem com a mesma expressão facial.

B. Banco Próprio
O banco de imagens faciais criadas pelo autor é composto
por imagens que simulam um ambiente cotidiano de um sis-
tema de controle de acesso. Todavia, imagens foram capturadas
em ambientes diferentes, porém com o cuidado de se obter
iluminação constante, não havendo nenhum esforço ativo em
capturar imagens com iluminação inadequada. As pessoas
envolvidas na construção do banco foram instruídas a agirem
de forma natural em frente a câmera, tal qual um funcionário
agiria ao tentar ter acesso por meio dessa biometria.
Como pode ser observado na Tabela III, as taxas de acerto
Tabela II. TABELA COM TAXAS DE ACERTO OBTIDAS DO LBP81 , obtidas nos testes realizados neste banco são elevadas, e de alto
LBP82 PARA O Yale B. valor prático, mostrando que esta combinação seria eficaz na
tarefa de um sistema de controle de acesso por reconhecimento
facial.
A taxas de acerto para este conjunto de dados não são
adequadas para um sistema prático. O banco de imagens faciais Nota-se, que tal qual o banco Yale, a diferença entre as
Yale é composto por imagens com diferentes expressões faciais variações do LBP é desprezível. Como pode ser visto na Figura
em cada amostra. Essas variações, juntamente com a baixa 10. Além disso, o gráfico aponta para um crescimento na
quantidade de amostras podem ser vistas como o principal taxa de acerto médio proporcional a quantidade de neurônios
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✶✽

IV. C ONCLUSÃO
Esta trabalho realizou uma avaliação dos método de pa-
drões binários locais (LBP), para extração de características
faciais, em conjunto com a rede neural ELM como algoritmo
de classificação aplicadas ao problema de biometria facial.
Essa avalicação foi realizada através do teste da influência das
variações de raio e quantidade de pontos do operador LBP e da
quantidade de neurônios na camada oculta da rede neural. Para
isto, é utilizado um conjunto de dados proprietário, construído
para este trabalho, bem como banco de imagens faciais sempre
presente na literatura.
Observou-se que a combinação LBP + ELM, bem
como a aplicação de uma combinação de técnicas de pré-
processamento, alcança a taxa média de 97,52% de acerto no
caso de um banco de imagens mais exigente por sua grande
quantidade de amostras e variedade de iluminação, Yale Face
Database B. Além disso, obtém 80,32% no banco Yale Face
Tabela III. TABELA COM TAXAS DE ACERTO OBTIDAS DO LBP81 , Database, no qual as imagens possuem alterações irrevelantes
LBP82 PARA O Yale B. na iluminação, porém bastante variação em expressões faciais,
justificando a redução no desempenho do algoritmo proposto.
E finalmente, atinge alto desempenho de 99,60% de taxa de
acerto médio em situação semelhante a de um sistema de
controle de acesso.

R EFERÊNCIAS
[1] R. Hans, “Using a biometric system to control access and exit of
vehicles at shopping malls in south africa,” in Engineering Technology
and Technopreneuship (ICE2T), 2014 4th International Conference on,
Aug 2014, pp. 148–151.
[2] R. Rouhi, M. Amiri, and B. Irannejad, “A review on feature extraction
techniques in face recognition,” Signal & Image Processing, vol. 3,
no. 6, p. 1, 2012.
[3] M. Slavković and D. Jevtić, “Face recognition using eigenface appro-
ach,” Serbian Journal of electrical engineering, vol. 9, no. 1, pp. 121–
130, 2012.
[4] M. Zahangir Alom, P. Sidike, V. Asari, and T. Taha, “State preserving
Figura 10. gráfico das taxas de acerto médio do LBP81 , LBP82 para o extreme learning machine for face recognition,” in Neural Networks
Yale B. (IJCNN), 2015 International Joint Conference on, July 2015, pp. 1–7.
[5] A. Georghiades, P. Belhumeur, and D. Kriegman, “Yale face data-
base,” Center for computational Vision and Control at Yale University,
na camada oculta. Alcançando seu valor máximo com 120 http://cvc. yale. edu/projects/yalefaces/yalefa, vol. 2, 1997.
neurônios na camada oculta, obtendo a taxa de acerto média [6] P. Viola and M. J. Jones, “Robust real-time face detection,” International
de 99,60%. journal of computer vision, vol. 57, no. 2, pp. 137–154, 2004.
[7] X. Tan and B. Triggs, “Preprocessing and feature sets for robust
Os testes realizados mostram que o LBP é versátil na face recognition,” in IEEE conference on computer vision and pattern
tarefa de classificação das faces. Apresentando desempenho recognition, CVPR, vol. 7, 2007, pp. 1–8.
satisfatório em reconhecer indivíduos, através de biometria [8] R. C. Gonzalez and R. E. Woods, Digital Image Processing, 2nd ed.
Prentice Hall, January 2008.
facial, em condições de iluminação desfavoráveis. Todavia,
[9] T. Ojala, M. Pietikainen, and T. Maenpaa, “Multiresolution gray-scale
houve uma queda nas taxas de acerto média quando tratavam- and rotation invariant texture classification with local binary patterns,”
se de imagens diferentes expressões faciais. Isso se deve ao fato IEEE Transactions on Pattern Analysis and Machine Intelligence,
do LBP ser um descritor local, o que torna as informações de vol. 24, no. 7, pp. 971–987, 2002.
regiões da imagem essenciais para os atributos da face como [10] M. Pietikainen, A. Hadid, G. Zhao, and T. Ahonen, Computer Vision
um todo. Além disso, foi possível observar a influência da Using Local Binary Patterns. Springer, 2011, vol. 40.
quantidade de neurônios da camada oculta na rede neural. [11] G.-B. Huang, Q.-Y. Zhu, and C.-K. Siew, “Extreme learning
machine: Theory and applications ",” Neurocomputing, vol. 70, no.
É possível observar que existe uma faixa de valores ótimos 1–3, pp. 489 – 501, 2006, neural NetworksSelected Papers from
para cada conjunto de dados a ser classificado. the 7th Brazilian Symposium on Neural Networks (SBRN ’04)7th
Brazilian Symposium on Neural Networks. [Online]. Available:
Dessa forma, podem-se atribuir os bons resultados à boa http://www.sciencedirect.com/science/article/pii/S0925231206000385
representatividade do LBP em extrair atributos de faces em [12] A. A. Mohammed, R. Minhas, Q. M. J. Wu, and M. Sid-Ahmed,
“Human face recognition based on multidimensional pca and extreme
situações normais, simuladas no banco próprio, assim como learning machine,” Pattern Recognition, vol. 44, pp. 2588–2597, 2011.
a eficácia da rede ELM em classificar objetos suficientemente
bem representativos.
✶✾ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Comparative analysis of LBP window for Lung


Fissure segmentation

Edson Calvalcanti Neto2 Paulo César Cortez2 Valberto Enoc Rodrigues da Silva Filho1 Tarique da Silveira Cavalcante1
1 Instituto Federal de Educação, Ciência e Tecnologia do Ceará, IFCE
2 Universidade Federal do Ceará

Resumo—Cancer is a class of diseases characterized by out- de suavização Laplaciano e realizam um processamento na


of-control cell growth. The initial treatment for lung cancer is imagem resultante através de método estatístico de forma a
lobectomy. To plan the lobectomy, it is important to have accurate obter uma aproximação da fissura na imagem de TC, o que
information about cracks, which determine the boundaries of the torna um algoritmo dependente do modelo geométrico que
lobes. The main objective of this work is to perform the analysis pode variar dependendo do pulmão em análise.
of the variation of the LBP window size in relation to the cleavage
segmentation. In this work, 5 CT examinations were used for an Lassen et al. [5] apresentaram um filtro ligeiramente di-
open database, LOLA11. The results of the proposed algorithm ferente baseado em um filtro utilizando matriz Hessiana e
are compared with two other works. From the final result of the obtendo os autovalores no qual a forma da fissura foi levada
segmentation, it was possible to define that the window size of em conta, assim como a força da estrutura de imagem para
15x15 pixels is the dimension that obtained the best performance.
uma melhor diferenciação entre vasculatura e fissuras. O filtro
This definition was made based on the results of the classifier
by varying the window size for 5 exams and compared with de realce da fissura não foi avaliado separadamente, uma vez
the metrics of Es (%), CS (%), S (%), average distance, and que fazia parte de um método de segmentação dos lobos.
standard deviation. Desta forma, o presente trabalho possui o objetivo de
Keywords—Fissure, LBP, Digital Image Processing realizar a análise comparativa do tamanho da janela do Local
binary Pattern (LBP) com o foco de determinar o melhor
tamanhoda janela à ser utilizado na aplicação de segmentação
I. I NTRODUÇÃO
de fissuras pulmonares.
Dentre as doenças que afetam a população mundial, um
alto nível incide nos pulmões. Deste modo, as pesquisas na II. R EVISÃO B IBLIOGRÁFICA
área de pneumologia possuem grande importância na saúde,
pois há uma preocupação com câncer, asma, bronquiectasia e A. Fissuras Pulmonares
a Doença Pulmonar Obstrutiva Crônica (DPOC) [1]. A imagem digital resultante de um exame de TC é com-
posta por pixels, na qual o valor de cada pixel corresponde à
A estimativa mais recente do INCA, para o Brasil em 2016,
atenuação da intensidade dos raios X, expressa em Unidades
indica a ocorrência de cerca 28.220 novos casos de CP para
Hounsfield (UH). A escala da intensidade de atenuação tem
o Brasil, sendo 17.330 entre homens e 10.890 entre mulheres.
valores específicos para cada tecido ou estrutura do corpo
Esses valores correspondem a um risco estimado de 17,49
humano. Por exemplo, o tecido ósseo está entre 600 e 2000
casos novos a cada 100 mil homens e 10,54 para cada 100
UH [3], [6].
mil mulheres. Excetuando os casos de câncer de pele não
melanoma, o CP é a segunda neoplasia mais frequente em Uma estrutura com implicações importantes para a segmen-
homens (8,1%), e a quarta nas mulheres (5,3%) [2]. tação de áreas locais, dentro do pulmão, é a fissura pulmonar,
que é uma superfície tridimensional (3D) de fronteira entre
Com o constante avanço tecnológico, novas áreas surgiram,
os lobos do pulmão. O pulmão esquerdo possui dois lobos
como é o caso da Engenharia Biomédica. Este ramo de pes-
separados por uma grande fissura, e o pulmão direito possui
quisa emprega técnicas das áreas de Inteligência Artificial (IA),
três lobos separados por duas fissuras [7]. Há ainda outras fis-
Processamento Digital de Imagens (PDI), Reconhecimento
suras, denominadas de fissuras interlobares que são depressões
de Padrões (RP), entre outras. Na Engenharia Biomédica,
profundas que se estendem a partir da superfície externa do
técnicas de Processamento de Imagens Digitais são aplicadas
pulmão para o seu centro.
em imagens médicas, como é o caso de imagens geradas por
Tomografia Computadorizada (TC), que foi desenvolvida por A pleura visceral, que cobre toda a superfície do pulmão,
Hounsfield. As principais facilidades dos exames de TC estão também penetra profundamente nas fissuras para que nessas
correlacionadas a produzir em menor tempo os diagnósticos; áreas a pleura visceral de lobos adjacentes entrem em contato.
detalhar imagens inalcançáveis à percepção natural da visão Devido a este revestimento pleural, as superfícies do pulmão
humana; aumentar a confiabilidade nas análises realizadas e que se encontram dentro das fissuras são lisas e, assim,
proporcionar aos cirurgiões uma maior segurança quanto aos permitem que os lóbulos individuais se movam livremente em
procedimentos [3]. relação um ao outro.
Pu et al. [4] fazem uso de um modelo geométrico para Existem dois tipos de fissuras pulmonares: as fissuras
realizar a segmentação inicial da fissura, após aplicar um filtro lobares e as fissuras acessório. As fissuras lobares delineam
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✷✵

os lobos dos pulmões e são importantes na localização de partir de vários tomógrafos, pois as imagens utilizadas foram
áreas que podem originar doenças que se espalham entre os obtidas de LObe Lung Analysis 11. A etapa seguinte consiste
lobos. Fissuras incompletas podem provocar um fluxo colateral na segmentação do pulmão, ou seja, nesta etapa será destacado
entre lobos e tornar determinada intervenção broncoscópica o pulmão na imagem, pois o método proposto atua de forma
de doenças pulmonares crônicas ineficazes. Já as fissuras a identificar fissuras dentro do pulmão. Após a segmentação
acessório são uma fenda de profundidade variável coberta do pulmão é realizada a filtragem Gaussiana 3D na imagem
por pleura visceral que ocorrem mais frequentemente entre original de forma a filtrar os ruídos. De posse do resultado
os segmentos pulmonares, mas também podem entrar planos da segmentação do pulmão e da filtragem, a próxima etapa
subsegmentares ou interbronquiais. Na literatura a maioria dos consiste na detecção da fissura pulmonar através de uma rede
métodos de detecção automática de fissura visam apenas a supervisionada. Por fim é realizado um pós-processamento
detecção de fissuras lobares [8]. para retirada de ruídos e preenchimento de algumas pequenas
lacunas. O fluxograma das etapas do método desenvolvido
A segmentação das fissuras pulmonares de tomografias
neste trabalho é ilustrado na Figura 2.
de tórax se tornou viável com o advento dos tomógrafos de
múltiplos detectores, permitindo a obtenção de imagens finas
a partir de TC de todo o pulmão. Uma vez que as fissuras
são superfícies finas nos pulmões, sobre uma secção grossa de
tomografia computadorizada, as fissuras são visíveis apenas
como bandas vagas de aumento da densidade devido ao efeito
de volume parcial [9].
Em imagens de TC, a fissura pode muitas vezes ser obser-
vada como uma curva fina com altos valores de atenuação, em
comparação com os tecidos circundantes [6]. Quando vista a
imagem do TC no plano axial da parte superior para inferior
do tórax, a fissura que mede a partir do meio para o lado
lateral do pulmão, parece mover-se a partir da posição posterior
para a anterior em ambos os pulmões. Na Figura 1 é possível
observar uma imagem de TC em que a fissura é destacada
a partir de um retângulo vermelho tanto no pulmão direito
quanto no esquerdo.

Figura 2. fluxograma do método de segmentação de fissuras.

As imagens utilizadas neste trabalho fazem parte de um


Figura 1. imagens de TC com fissura enfatizada.
banco de imagens de TC disponibilizadas para fins acadê-
micos por LOLA11 em https://lola11.grand-challenge.org/. O
III. M ATERIAIS E M ÉTODOS LOLA11 consiste em um banco de dados de imagens de TC
De posse das técnicas descritas no Capítulo anterior é de tórax, com anormalidades, que são utilizadas como base
realizada neste momento a descrição de todo o processo, bem para avaliação de algoritmos de segmentação de estruturas
como a detalhada configuração dos algoritmos utilizados para pulmonares. Foram utilizados 5 exames selecionados da base
segmentação das fissuras pulmonares. Também é apresentada com espessuras variando entre 0,5 e 0,8mm.
neste Capítulo a metodologia de criação do banco de dados Lassen et. al [5] utilizam o banco LOLA11 para validação
para treinamento e os métodos de avaliação utilizados para do método de segmentação de lobos pulmonares.
verificar a exatidão das segmentações.
Muitos algoritmos de segmentação de pulmão e lóbulos
O processo de segmentação das fissuras pulmonares é foram publicados, mas compará-los diretamente é difícil, pois
constituído por cinco fases: aquisição das imagens, segmen- são métodos diferentes e utilizam conjuntos de dados variados
tação do pulmão, filtragem gaussiana 3D, detecção de fissura para sua validação em seus artigos. Alguns métodos podem
com Multilayer Perceptron (MLP) e por fim a etapa de ser reimplementados com base na publicação disponível, mas
pós-processamento que contempla algoritmos de análise de muitas vezes há parâmetros a serem definidos nos quais um
componentes conectados e morfologia matemática. profundo conhecimento do método é necessário ou os dados
de treinamento utilizados não estão disponíveis ao público. O
A. Aquisição das Imagens
LOLA11 é um desafio no qual equipes enviam resultados de
A etapa de aquisição consiste na obtenção da imagem a segmentação de pulmão e lobo das imagens de TC contidas
partir do tomógrafo, neste trabalho as imagens são obtidas a no banco e os mesmos possuem seu desempenho avaliado.
✷✶ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

B. Segmentação do Pulmão e Filtragem Gaussiana 3D C. Segmentação Automática das Fissuras


A segmentação da área do pulmão é processada baseada O processo de segmentação automática é dividido em duas
no algoritmo de [10]. O método é iniciado com uma análise etapas. A primeira etapa revela-se em uma detecção automática
da imagem de TC, ver Figura 3(a), para identificar a semente de possíveis fissuras pulmonares, cuja resposta é um parâmetro
e, em seguida, realiza um crescimento de região 2D com um de entrada para a segunda etapa, que consiste em Crescimento
limiar fixo. de Região 3D e filtragem por volume.
O primeiro passo é encontrar um ou mais pontos dentro Para detectar as fissuras pulmonares é avaliado um algo-
dos pulmões a fim de se obter os pontos de partida para ritmo baseado em rede MLP utilizando valores de LBP como
a segmentação baseada na conectividade de áreas de baixa atributos. A avaliação do método dar-se-á pela comparação
densidade. No entanto, a segmentação de ambos os pulmões dos resultados com um “padrão ouro”, obtido por médicos
a partir de um ponto de semente pode ser dificultada por especialistas.
condições patológicas, tais como um brônquio obstruído e/ou
o colapso completo de um dos pulmões. Por isso, é necessário A rede MLP apresenta três camadas, uma camada de
sempre identificar as áreas de baixa densidade em ambos os entrada, uma oculta e uma de saída com dois neurônios, já
lados, restringindo a busca para a parte central dos dados. que se possui dois padrões a serem definidos, ou seja, uma
Para cada pulmão, um ponto de semente é determinado que saída para indicar se o elemento é pulmão e outra para indicar
corresponde a condição de ter valor inferior a -600 HU. se é fissura.
Em relação aos dados de entrada, representados por voxels,
A imagem original do pulmão pode ser observada na Figura
possuem como parâmetros os valores obtidos a partir do
3(a). Desta forma após o algoritmo de segmentação do pulmão
histograma do LBP baseados na sua vizinhança. Neste trabalho
é obtida a imagem segmentada como pode ser observada na
é utilizado como parâmetro o LBP8,2 u2
e para calcular os
Figura 3(b). Por fim, após a segmentação de todas as fatias do
padrões dos voxels é realizado um teste com quatro janelas com
exame de TC é possível obter a recostrução 3D do pulmão,
diferentes dimensões iguais a 11x11, 15x15, 17x17 e 21x21
como pode ser observada na Figura 3(c).
pixels e o melhor resultado deve ser utilizado.
Desta forma, os dados para treinamento são definidos da
seguinte forma: o vetor de entrada consiste em 60 atributos
em que 59 são os valores do LBP e o outro valor é o bias,
os rótulos são 0 ou 1 em que são classificados o pulmão e as
fissuras pulmonares.
A determinação da quantidade de neurônios que deve ser
utilizada na camada oculta, é uma tarefa complexa [11], em
(a) (b) (c) que geralmente faz-se uso de heurísticas. Assim, utiliza-se uma
rede cuja quantidade de neurônios ocultos é igual a duas vezes
Figura 3. imagens a) TC do pulmão, b) resultado da segmentação do Pulmão o número de classes. Logo a rede empregada para classificar
e c) resultado da segmentação 3D do pulmão. as fissuras possui 120 neurônios na camada oculta. A função
de ativação utilizada na camada oculta desta rede é a sigmóide
A próxima etapa consiste na filtragem, em que é aplicado logística devido à compatibilidade de sua saída e os valores
um filtro gaussiano 3D na imagem com o objetivo de suavizar dos dados. Quanto aos pesos iniciais da rede, são gerados
os componentes de alta frequência da imagem e assim aumen- números aleatórios entre -1.5 e +1.5 [12]. No treinamento da
tar a eficácia do algoritmo proposto. Neste trabalho é aplicado rede define-se uma taxa de aprendizagem decrescente de forma
um filtro gaussiano com µ=1mm e máscara de 3 × 3 × 3, estes que o seu valor inicial é de 0.5. Assim, a topologia utilizada
parâmetros foram obtidos de forma empírica. Na Figura 4(a) é 60/120/2, ou seja, 60 entradas, 120 neurônios na camada
é ilustrada a imagem original antes da filtragem e na Figura oculta e 2 de saída.
4(b) é ilustrada a imagem resultante após a filtragem.
Na fase de treinamento é formado um banco de dados
com 28000 conjuntos de atributos provenientes de 60 imagens
selecionadas aleatoriamente do banco de imagens LOLA11.
São atribuídos aos voxels escolhidos um rótulo igual a 1 caso
o mesmo represente parte de uma fissura, e rótulo igual a -
1 caso contrário. Estes rótulos são obtidos de forma manual
pelos médicos especialistas.
Em relação ao critério de parada de treinamento da rede, é
definido que o treinamento seja finalizado quando a rede passe
de 10 épocas sem diminuir o erro quadrático médio, ou se o
erro quadrático médio crescer em relação à época anterior. O
(a) (b) problema deste critério de parada está relacionado com uma
falsa parada através de um mínimo local, ou seja, a rede ainda
Figura 4. filtragem utilizando filtro gaussiano 3D, a) imagem original e b)
pode ser treinada, mas pára o treinamento porque atinge um
imagem filtrada. mínimo local. Desta forma, para corrigir este problema são
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✷✷

definidos vários pontos de início do treinamento de forma a


obter um melhor ponto mínimo global para a rede.
O resultado da rede supervisionada é ilustrado na Figura
5.

(a) (b)

Figura 6. imagens após aplicação do método proposto, a e b) resultados sem


afinamento.

Neste trabalho abordam-se duas metodologias no pós-


(a) (b) processamento para se obter os resultados: o primeiro resultado
é sem afinamento e o outro resultado é com o afinamento
Figura 5. imagens resultantes da detecção das fissuras. na imagem. Nas Figuras 6(a) e 6(b) as imagens ilustram
os resultados do método proposto sem afinamento no pós-
Por fim, o resultado da classificação apresentada pela processamento. Já nas Figuras 7(a) e 7(b) são ilustradas as
rede MLP pode ser interpretado como uma limiarização su- imagens resultantes do método com o afinamento no fim do al-
pervisionada, nas quais as regiões em branco consistem em goritmo. Desta forma, é possível observar que a quantidade de
regiões com textura semelhante à fissura. Este resultado da pixels identificados como fissuras na imagem sem o afinamento
limiarização serve como entrada para a próxima etapa que é bem maior do que a quantidade de pixels identificada na
consiste no pós-processamento. imagem com afinamento que deve influenciar no desempenho
das taxas.

D. Pós-Processamento
No pós-processamento é realizada uma análise de com-
ponentes conectadas baseada no algoritmo de crescimento
de regiões 3D, tendo como dados de entrada as imagens
resultantes da limiarização através da rede MLP na etapa
anterior.
A partir da imagem limiarizada, é armazenado em um vetor
V = [v1 v2 ... vn ] que são os voxels rotulados como
sementes, ou seja, os voxels que são rotulados como fissura
(a) (b)
pela rede. Deste modo, calcula-se a media µs dos componentes
desse vetor. Figura 7. imagens após aplicação do método proposto nesta dissertação, a e
b) resultados com afinamento.
A classificação do voxel v(x, y, z) em fissura ou não fissura
é concluída após a realização da etapa de análise de vizinhança.
Para ilustrar o resultado do método, é possível demarcar a
A partir da semente, o volume cresce de acordo com a fissura na imagem 2D, Figura 8(a), como também é possível
sua vizinhança até que em sua N iteração nenhum voxel seja gerar a imagem 3D do pulmão juntamente com a fissura,
adicionado. O método para identificação de similaridade entre Figura 8(b). A partir da Figura 8(b) é possível identificar o
os voxels ocorre através do nível de cinza, o qual, se for branco, formato resultante da fissura que se aproxima do modelo da
pertence à classe fissura e preto se for da classe não-fissura. fissura real em um pulmão.
Por fim, os volumes acima de 0,1 ml são mantidos e se forem
menores são descartados. O limiar de 0,1 ml foi obtido através
da literatura.
A imagem Ir é resultante do CR3D consiste que se
Ir (x, y, z) = 1 conclui-se que o voxel v(x, y, z) pertence à
classe fissura pulmonar. Em caso contrário, se Ir (x, y, z) = 0,
o voxel não foi classificado como fissura.
Após o CR3D, um fechamento através de operação mor-
fológica é aplicado nas imagens. A operação morfológica de
fechamento, baseada na metodologia descrita, é aplicado com
um kernel 3x3x3 cúbico de voxels, com o objetivo de fechar (a) (b)
lacunas menores. O elemento estruturante utilizado foi uma Figura 8. imagens da segmentação das fissuras pulmonares, a) resultado da
esfera de raio igual a 3 voxels. segmentação 2D em verde, e b) resultado da segmentação 3D.
✷✸ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

IV. R ESULTADOS dimensão 15x15, os mesmos possuem uma variação maior,


ou seja, essas dimensões de janelas criam uma instabilidade
A fim de realizar a validação do método proposto é de no momento da classificação, isto gera uma variação abrupta
extrema importância a comparação do mesmo com outro na sua taxa de acerto quando os dados de entrada sofrem
método. Neste trabalho, foi escolhido para comparação a variações.
método descrito em [5], devido a qualidade dos resultados e a
relevância do trabalho na literatura. Este fato pode ser observado através da Figura 10, na qual é
ilustrado um gráfico das taxas Es(%), CS(%) e S(%) variando
Neste sentido, para avaliar a eficácia do método de segmen- a dimensão da janela e agrupado por exame. Desta forma, é
tação de fissura proposto, os resultados obtidos são divididos possível identificar essa variação abrupta da taxa de acerto do
em três etapas: análise da influência da variação do tamanho de classificador quando utilizando dimensões de janelas iguais a
janela do LBP, análise do algoritmo de segmentação através 11x11, 17x17, 21x21. Neste gráfico, é possível observar que
de coeficientes estatísticos e análise utilizando a métrica de nos exames 1 e 2 o classificador utilizando tamanho de janela
distância média. Esta análise é realizada a partir de três resul- 15x15 possui taxa de acerto menor do que os outros, já nos
tados que são: resultado do método proposto sem afinamento, exame 3, 4 e 5 o classificador utilizando a janela de tamanho
resultado do método proposto com afinamento e resultado da 15x15 possui uma taxa de acerto maior.
[5].
Afim de definir a janela do LBP a ser utilizada no algo-
ritmo, é então realizado um teste com 4 tamanhos de janelas
diferentes sendo estes 11x11, 15x15, 17x17 e 21x21 pixels.
Este teste é realizado para identificar qual é a janela que
consegue obter a informação necessária para o classificador
obter seu melhor desempenho.
Para a obter os resultados do classificador utilizando dife-
rentes janelas foram utilizadas 100 imagens de 5 exames do
LOLA11. Essas imagens foram obtidas de uma sequência de
20 imagens de posições aleatórias dentro dos exames. Baseado
na descrição apresentada anteriormente, foram calculados os
valores em pixels de V P , F P , V N e F N e assim obtidas as
taxas de Es, S e CS.
Figura 10. gráfico com as taxas Es(%), CS(%) e S(%) em relação a cada
Os valores de V P , F P , V N e F N são ilustrados na tamanho de janela por exame.
Tabela I no geral por tamanho de janela, já na Tabela II são
ilustrados os valores dos coeficientes Es, S e CS para cada Baseado na métrica das taxas Es(%), CS(%) e S(%) é
dimensão de janela. Desta forma, é possível inferir, baseado possível determinar que o classificador possui uma melhor taxa
nos coeficientes que o classificador utilizando a janela de de acerto em geral quando utilizado uma janela 15x15 pixels
15x15 pixels obtém um resultado melhor comparado com as como dimensão padrão a ser utilizado para gerar o histograma
demais janelas, utilizando a métrica das taxas Es, S e CS. LBP. Para confirmar a certeza da utilização desta dimensão
de janela, é possível realizar a comparação dos resultados
baseado em outra métrica, ou seja, através da métrica da
distância média e desvio padrão em relação à fissura na
imagem segmentata pelo especialista e a imagem segmentada
automática.
Os valores da distância média e desvio padrão entre as
fissuras da imagens do padrão ouro e a imagem segmentada
automática são ilustrados da Tabela IV por dimensão de janela.
Desta forma, confirma-se a análise feita anteriormente, baseada
nos valores das distâncias e dos desvios, o classificador,
utilizando a janela de 15x15, obtém um resultado melhor
comparado com as dimensões 11x11, 17x17 e 21x21 pixels.
Analisando os valores da Tabela, pode-se observar que as
dimensões 17x17 e 21x21 possuem uma alta distância média e
Figura 9. gráfico com as taxas Es(%), CS(%) e S(%) em relação a cada para descartá-las totalmente, os resultados dos desvios padrões
exame por tamanho de janela. também são bastante elevados. Assim, é possível inferir, que
utilizando estas dimensões, o classificador fica instável. Com-
parando com a janela de 11x11 pixels, a janela com dimensão
Na Figura 9 é ilustrado o gráfico resultante desta compara-
15x15 possui um resultado melhor, pois possui uma distância
ção, sendo possível observar que o resultado do classificador
média e desvio padrão menores.
com dados de entrada resultantes do LBP com janela 15x15
se sobressai em relação às taxas de acerto do classificador Outra abordagem é realizar esta comparação por exame, ou
para as demais janelas de dimensões. Apesar destas dimensões seja, obter o valor resultante da distância média e do desvio
possuírem, em alguns exames, resultados melhores do que a padrão por exame variando-se as dimensões da janela.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✷✹

Tabela I. VALORES DE VP, FP, VN E FN POR DIFERENTES TAMANHOS DE JANELA


11x11 15x15 17x17 21x21
VP 18478 21634 17852 16645
FP 269591 178456 605288 759103
VN 5398753 5489888 5063056 4909241
FN 12589 9433 13215 14422

Tabela II. RESULTADO DO CLASSIFICADOR POR DIFERENTES TAMANHOS DE JANELA

% 11x11 15x15 17x17 21x21


Es 95,24 96,85 89,32 86,60
S 59,47 69,63 57,46 53,57
CS 96,88 96,18 82,20 77,43

Tabela III. RESULTADO DO CLASSIFICADOR POR DIFERENTES TAMANHOS DE JANELA BASEADO NA DISTÂNCIA MÉDIA E DESVIO PADRÃO

11x11 15x15 17x17 21x21


Distância média (cm) 4,5216 3,4985 22,9334 36,4953
Desvio padrão (cm) 10,4 7,7 37,4 42,9

computadorizada do tórax,” Master’s thesis, Universidade Federal do


Ceará, 2010.
[2] INCA, “Instituto nacional de câncer ministério da saúde,” august 2016.
[3] P. P. REBOUÇAS FILHO, “Mca crisp: nova técnica de segmentaćão
dos pulmões em imagens de tomografia computadorizada baseada no
método de contorno ativo,” Master’s thesis, Universidade Federal do
Ceará, 2010.
[4] J. Pu, J. K. Leader, B. Zheng, F. Knollmann, C. Fuhrman, F. C.
Sciurba, and D. Gur, “A computational geometry approach to automated
pulmonary fissure segmentation in ct examinations,” IEEE Transactions
on Medical Imaging, vol. 28, pp. 710–719, 2009.
[5] B. Lassen, E. M. van Rikxoort, M. Schimidt, S. Kerkstra, B. van Gin-
neken, and J.-M. Kuhnigk, “Automatic segmentation of the pulmonary
Figura 11. gráfico com as distâncias médias e os desvios padrões em relação lobes from chest ct scans based on fissures, vessels, and bronchi,” IEEE
a cada tamanho de janela por exame. Transactions on Medical Imaging, vol. 32, pp. 210–222, 2013.
[6] W. R. Webb, N. L. Muller, and D. P. Naidich, High-Resolution CT of
the LUNG, Li, Ed. Ma, 2001.
É ilustrado o gráfico resultante na Figura 11 a partir
[7] J. Wang, M. Betke, and J. P. Ko, “Pulmonary fissure segmentation
das distâncias médias e os desvios padrões para cada exame on {CT},” Medical Image Analysis, vol. 10, no. 4, pp.
comparado em relação à cada dimensão de janela. A partir 530 – 547, 2006, special Issue on Functional Imaging and
deste gráfico é possível concluir que o classificador, utilizando Modelling of the Heart (FIMH 2005). [Online]. Available:
a janela de tamanho 15x15 pixels, apresenta um resultado me- http://www.sciencedirect.com/science/article/pii/S1361841506000338
lhor, pois, as distâncias médias e seu desvio padrão, na maioria [8] M. O. Ariyürek, M. Gülsün, and F. Demirkazik, “Accessory fissures
dos exames, são menores comparado com os resultados do of the lung: evaluation by high-resolution computed tomography,”
European Radiology, vol. 11, no. 12, pp. 2449–2453, 2001. [Online].
classificador para as demais janelas. Available: http://dx.doi.org/10.1007/s003300100852
[9] E. M. van Rikxoort and Bram, “Automated segmentation of pulmonary
V. C ONCLUSÃO structures in thoracic computed tomography scans: a review,” Physics
in Medicine and Biology, vol. 58, no. 17, pp. 187–220, 2013.
Baseado nos resultados ilustrados na seção anterior, é [10] J.-M. Kuhnigk, “Quantitative analysis of lung morphology and function
possível definir em 15x15 pixels, a dimensão de janela a in computed tomographic images,” Ph.D. dissertation, 2008.
ser utilizada no método proposto. Esta definição foi realizada [11] N. Murata, S. Yoshizawa, and S.-I. Amari, “Network information
baseada nos resultados do classificador variando o tamanho da criterion-determining the number of hidden units for an artificial neural
janela para 5 exames e comparados com as métricas de Es(%), network model,” Neural Networks, IEEE Transactions on, vol. 5, no. 6,
pp. 865–872, Nov 1994.
CS(%), S(%), distância média e desvio padrão.
[12] W. Schimidt, “Initialization, backpropagation and generalization of
A justificativa dos resultados apresentados é devida as feed-forward classifiers,” IEEE International Conference on Neural
janelas maiores englobarem uma maior área de estruturas Networks, vol. 1, pp. 598–604, 1993.
semelhantes como vasos de pequeno calibre, e às janelas
menores não apresentarem uma representatividade de textura
suficiente para sua classificação. Após a definição da janela,
é possível obter os resultados mais detalhados do método
proposto utilizando a janela de 15x15 pixels.

R EFERÊNCIAS
[1] T. da Silveira Cavalcante, “Análise comparativa de técnicas para
segmentação automática de vias aéreas em imagens de tomografia
✷✺ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Precise eye localization using the new multiscale


high-boost Weber local filter
Alex A. Affonso, Evandro L.L. Rodrigues
Laboratório de Visão Computacional e Sistemas Microprocessados,
Departamento de Engenharia Elétrica, Escola de Engenharia de São Carlos, Universidade de São Paulo
Av. Trabalhador São-carlense, 400 – Cep 13566-590 – São Carlos, SP
E-mails: alex.affonso@usp.br, evandro@sc.usp.br

Abstract — the task of eye localization is a very important one, necessitam de imagens com grande contraste para atingirem
being too much relevant for several applications in computer grandes resultados [6]. Os métodos appearance-based utilizam
vision, such as face recognition, face and eye tracking, face técnicas estatísticas como PCA, SVM, etc. Apresentam o
expression evaluation, face alignment, eye blink detection, etc. inconveniente de terem dificuldades em encontrar os
This is a challenging and open task when considered in verdadeiros positivos em regiões pequenas e com um baixo
uncontrolled scenarios, which presents great variation of lighting, nível de falsos positivos. Por fim, o método feature-based faz
poses, facial expressions, partial occlusions, makeup, etc. This uso de algumas características dos olhos para discriminá-lo de
paper proposes a new method for precise eye localization under outros objetos, sofrendo também com imagens de baixo
uncontrolled conditions: the main goal of this method is the
contraste e com oclusões parciais dos olhos [7].
proposed MHBWLF (Multiscale High-boost Weber Local Filter).
This filter enhances the details of the periocular region (region Uma outra classe muito importante corresponde aos
around the eyes) by emphasizing the high frequency components, métodos que utilizam filtros baseados no domínio da
without eliminating the low ones. The proposed method was frequência, tais como ASEF [8] e MOSSE [9]. O filtro ASEF
evaluated using LFW and BioID databases and the results (average of synthetic exact filters) calcula um filtro exato de
showed that its performance is better than several state-of-the-art correlação para cada imagem de treinamento e produz um filtro
methods. final pela média dos filtros exatos. Vasquez-Fernandez et al.
[2] propuseram um filtro ASEF modificado, com normalização
Keywords — MHBWLF, Multiscale High-boost Weber Local da iluminação, obtendo resultados melhores que o ASEF [8].
Filter, Eye Localization, Unconstrained Scenarios, MOSSE Filter
Bolme et al. [9] propuseram o filtro MOSSE (minimum output
I. INTRODUÇÃO sum of squared error), que produz filtros similares ao ASEF,
porém necessitam de menos imagens de treinamento para
O problema de localizar os centros dos olhos, com grande atingirem um melhor desempenho.
precisão, em ambientes não controlados, é uma tarefa muito
desafiadora e que ainda se encontra em aberto [1, 2]. Esta Ge et al. [10] apresentam um banco de filtros de correlação:
tarefa é largamente utilizada em algoritmos de reconhecimento a ideia central é que, enquanto os filtros ASEF e MOSSE
facial, rastreamento de faces e olhos, avaliação de expressões apresentam um único filtro como solução, a proposta em [10]
faciais, etc., sendo muito instigante em condições do mundo apresenta um banco de filtros que melhor mapeiam as grandes
real (ambientes não controlados), que apresentam variações de variações entre as imagens. Ge et al. [11] propuseram ainda um
iluminação, poses e expressões faciais, oclusões parciais novo método, uma evolução de [10]: um banco de filtros de
devido ao uso de óculos ou cabelos longos, uso de maquiagem correlação com múltiplos canais, onde os filtros são mais
e acessórios, etc. Um outro fator de grande impacto é a discriminativos para as diversas condições faciais.
qualidade das fotos nas condições do mundo real como, por Este artigo apresenta um novo método para localização de
exemplo, em câmeras de segurança instaladas em aeroportos e olhos em ambientes não controlados: o método proposto é do
rodoviárias que, muitas vezes, tiram imagens fora de foco e tipo passivo; utiliza características locais de uma face, chamada
com a pessoa em movimento [3]. de região periocular (região que compreende os dois olhos de
Os métodos de localização dos olhos podem ser divididos uma face); realça os detalhes da região facial pelo uso do filtro
em duas categorias: ativos e passivos [4]. Os métodos ativos proposto (MHBWLF); usa um filtro MOSSE para o
fazem uso de um hardware especial, baseados em iluminação aprendizado das características realçadas pelo MHBWLF. O
no infravermelho, enquanto os métodos passivos utilizam método foi avaliado em duas bases de dados: LFW [12] e
apenas as imagens capturadas por câmeras, sem nenhum BioID [13] e os resultados demonstram que o método proposto
aparato especial. Os métodos passivos podem utilizar apresenta melhor desempenho que muitos outros métodos
características globais ou locais de uma imagem para a estado-da-arte.
localização dos olhos [1]. O restante do artigo está assim organizado: a secção II
Tan et al [5] classificaram os métodos de localização dos descreve o novo filtro MHBWLF proposto neste artigo; a
olhos em três categorias: template-based, appearance-base e secção III descreve o método proposto para localização de
feature-based. Os métodos template-based fazem uso de olhos, usando o filtro MHBWLF; a secção IV apresenta os
templates deformados e sua principal desvantagem é que resultados experimentais; e a secção V as conclusões finais.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✷✻

II. MULTISCALE HIGH-BOOST WEBER LOCAL FILTER


Este artigo introduz um novo filtro, chamado MHBWLF
(do inglês, multiscale high-boost Weber local filter). O filtro
MHBWLF foi desenvolvido para realçar os detalhes de uma
imagem, realçando o conteúdo de alta frequência da mesma
sem, no entanto, eliminar o seu conteúdo de baixa frequência.
Todo o seu desenvolvimento foi feito inicialmente para a
aplicação em um método de localização de olhos em ambientes
não controlados, conforme será descrito na secção III deste Figura 1 – Exemplo de uma vizinhança circular de 8 pixels
artigo. ao redor do pixel central �� .
O desenvolvimento do filtro MHBWLF foi inspirado no já
conhecido WLD [14], com algumas modificações que o tornam � �,� = � �� ��,�
adequado para sua utilização no realce de detalhes da região +


periocular. Enquanto o WLD calcula a diferença de um pixel
central para a sua vizinhança, o MHBWLF calcula a diferença Onde β é uma constante real, positiva, corresponde à
do valor médio de uma região do pixel central para a sua inclinação da curva sigmoide e utilizada para o controle da
vizinhança e, desta forma, a saída do MHBWLF é mais robusta suavidade da curva de saída, permitindo um melhor realce dos
quanto ao ruído presente no pixel central do que o WLD. Outra detalhes da região periocular. A função sigmoide utilizada na
diferença importante é que enquanto o WLD utiliza a função Equação (5) limita a saída do MHBWLF, prevenindo que a
arco-tangente para o cálculo do valor final filtrado, o mesma aumente ou diminua muito rapidamente quando
MHBWLF faz o uso da função sigmoide, função que permite � � �,� se torna muito grande ou pequena.
um controle da suavidade da curva de saída.
A Figura 2 apresenta alguns exemplos de uma imagem
O primeiro passo do MHBWLF é o cálculo de uma imagem filtrada utilizando o MHBWLF proposto neste artigo: todas as
filtrada pela média da vizinhança, o que é feito por meio de um imagens foram filtradas utilizando �� = e � = . Os
filtro de convolução de tamanho � �, como apresentado na tamanhos dos filtros pela média da vizinhança foram variados
Equação (1). Para um dado pixel , o seu valor médio em em 5x5, 7x7 e 9x9, enquanto a inclinação da curva sigmoide β
uma vizinhança � � também pode ser calculado conforme foi variada em 2, 0,2 e 0,02. As imagens filtradas demonstram
expresso na Equação (2), onde � denota a intensidade do i- que um filtro de vizinhança média maior produz bordas
ésimo vizinho de . maiores e vice-versa. Já um parâmetro β maior produz uma
imagem de saída mais suave, com menos detalhes. Por outro
ℎ= [ ⋱ ] lado, um β menor realça mais as componentes de alta
� frequência, o que também aumenta o conteúdo de ruído da

imagem. Desta forma, o ajuste da inclinação da curva sigmoide
β deve ser um compromisso de projeto a fim de realçar os
2− detalhes desejados, sem aumentar demasiadamente o conteúdo
de ruído da imagem filtrada.
= ∑ �

�=

Dado um pixel central � e sua vizinhança, conforme


ilustrado na Figura 1 (ilustração de uma vizinhança circular de
8 pixels), a diferença de intensidade � entre a vizinhança e o
valor médio é dada conforme a Equação (3).
�−

ΔI � �,� = ∑ � −
�=

Onde NV corresponde ao número de vizinhos igualmente


espaçados presentes na vizinhança (no caso da Figura 1 foi
utilizado �� = e R ao raio utilizado. Inspirado no WLD
[14], o MHBWLF também utiliza a fração de Weber e,
portanto, a razão de Weber é dada pela Equação (4).
∑�=�− � −
� � �,� =
+
Onde α é uma constante real, positiva, de pequeno valor, Figura 2 – Imagem original de entrada filtrada pelo
utilizada apenas para evitar a divisão por zero. Por último, tem- MHBWLF com NV = 8 e R = 1, usando filtro pela média
se a utilização da função sigmoide para o cálculo final da da vizinhança de (I) 5x5; (II) 7x7 e (III) 9x9. O parâmetro
imagem filtrada, conforme apresentado na Equação (5). β vale (a) 2; (b) 0,2 e (c) 0,02.
✷✼ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

III. APLICAÇÃO DO MHBWLF: LOCALIZAÇÃO DOS OLHOS treinamento e fase de teste. A fase de treinamento recebe um
A Figura 3 apresenta um diagrama geral do método conjunto de imagens de treinamento e um filtro MOSSE [9] é
proposto para a localização de olhos em ambientes não utilizado para o aprendizado das características realçadas pelo
controlados utilizando o novo filtro MHBWLF. O método filtro MHBWLF. A fase de teste recebe uma imagem de
proposto pode ser dividido em duas fases distintas: fase de entrada e tem como saída as posições (x,y) de cada olho.

Figura 3 – Diagrama do método proposto para localização de olhos usando o novo MHBWLF.

As duas fases, de treinamento e teste, possuem um bloco filtro MHBWLF, já descrito na secção II deste artigo. A
responsável pelo pré-processamento das imagens: este bloco imagem filtrada será utilizada como entrada para o filtro
recebe uma imagem de entrada e a converte para níveis de MOSSE, tanto na fase de treinamento, quanto na de teste. O
cinza, caso a mesma seja uma imagem RGB. Em seguida, tem- filtro MOSSE necessita de um conjunto de imagens de
se a detecção facial por meio do algoritmo de Viola-Jones [15], treinamento de entrada, com seu respectivo conjunto de
o qual é um detector facial clássico: caso o detector facial imagens de saída.
encontre mais do que uma face, o bloco de pré-processamento
irá considerar apenas a face central e ignorar as demais faces. As imagens de entrada � são obtidas pela saída do filtro
Por fim, a face detectada tem o seu tamanho ajustado para MHBWLF, nas duas fases de execução. Na fase de
120x120 pixels e então uma região de interesse é recortada: treinamento, as posições dos olhos de cada imagem são
esta região de interesse foi obtida empiricamente de modo que utilizadas para gerar as imagens � : estas imagens são
para todas as faces dos experimentos realizados e consideradas como as saídas desejadas e são calculadas pelo
demonstrados na secção IV esta região de interesse contenha os bloco Saídas Sintetizadas, apresentado anteriormente na Figura
dois olhos da face. Cabe ressaltar que esta região de interesse 3, e correspondem ao cálculo de uma gaussiana bidimensional,
foi determinada com certa folga, ou margem de segurança, conforme a Equação (6).
tolerando as inclinações nas faces usadas nos experimentos − � + − �

realizados. A Figura 4 ilustra o fluxograma do bloco de pré- �
x, y = �
processamento.
Onde i denota a i-ésima imagem do conjunto de imagens de
treinamento e σ define o raio do pico. O problema de
aprendizado do filtro MOSSE pode ser resumido no
aprendizado do filtro h, definido na Equação (7).


= h⋆ �
Figura 4 – Bloco de pré-processamento do método No entanto, esta tarefa é muito difícil de ser realizada no
proposto. domínio do espaço e, portanto, é realizada no domínio da
frequência. Usando letras maiúsculas para indicar as imagens
Após a imagem de entrada ser tratada pelo bloco de pré- no domínio da frequência, a Equação (7) pode ser escrita
processamento descrito anteriormente, tem-se a execução do conforme a Equação (8).
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✷✽


� = � ⊙ onde as imagens foram randomicamente selecionadas da base
LFW e tiveram as coordenadas dos olhos manualmente
Onde ⊙ representa uma multiplicação de elemento por marcadas. Este conjunto foi dividido em dois grupos de 1.000
elemento e * corresponde ao complexo conjugado. A fim de imagens cada, onde um grupo é utilizado para treinamento e o
encontrar um filtro que melhor mapeia o conjunto de imagens outro para teste, ressaltando que os grupos não possuem
de treinamento e suas respectivas saídas, Bolme et al. [9] nenhuma imagem em comum.
apresentaram um filtro ∗ que minimize a soma do erro
quadrático entre a saída atual ( � ⊙ ∗ ) e a saída desejada A fim de testar o método proposto em condições diferentes
( � ), problema que pode ser resumido conforme: da base LFW [12] foi utilizada também a base BioID [13]: esta
base, composta de 1.521 imagens de 23 pessoas, foi criada para
� ∗ a avaliação de métodos de detecção facial e possui as
∗ ∑| � ⊙ − �|

coordenadas dos olhos de todas as suas imagens. As imagens
foram adquiridas com foco no mundo real e apresenta imagens
E, resolvendo o problema apresentado, Bolme et al. [9] com grande variação de iluminação, fundo de cena e tamanhos
descreveram o filtro MOSSE, conforme a Equação (10). de faces diferentes.

∑� �⊙ ∗� B. Protocolo de avaliação
=
∑� � ⊙ ∗� + � Este trabalho utilizou a medida normalizada proposta por
Onde � é uma constante real, positiva, usada como um Jesorsky et al. [16] e apresentada na Equação (12), onde
parâmetro de regularização. O filtro treinado ∗ é então � ̃ , ��
� e � ̃ , ��
� correspondem às distâncias
utilizado durante a fase de teste para gerar uma imagem de Euclidianas dos centros dos olhos calculados ( �̃ e �̃ ) aos
saída , a partir de uma imagem de teste: respectivos centros reais fornecidos pelas bases (�� e �� ).

= � ⊙ ∗ max( � ̃� , �� , � ̃ � , �� )
D=
‖�� − �� ‖
Onde � representa a imagem de saída do filtro MHBWLF
para a imagem de teste, no domínio da frequência. A imagem O cálculo do erro relativo D é feito normalizando-se ainda a
está no domínio da frequência e é convertida para o máxima distância encontrada pela distância Euclidiana dos
domínio do espaço por meio da transformada inversa de centros dos olhos reais, tornando o método independente
Fourier, gerando a imagem . Cabe ressaltar aqui que o filtro quanto ao tamanho da face. Os resultados serão reportados
MOSSE é aplicado individualmente para cada olho e, portanto, calculando-se a acurácia para três pontos de erro relativo (D <
a solução apresentada na Figura 1 possui dois filtros ∗ , sendo 0,05, D < 0,10 e D < 0,25), método largamente utilizado por
um para o olho direito e outro para o olho esquerdo. diversos trabalhos na área [2, 3, 5, 17, 18].
Por fim, o último bloco é aquele que faz a avaliação do pico C. Resultados e Discussões
de correlação, conforme apresentado na Figura 1, gerando as O primeiro passo realizado foi o ajuste dos parâmetros do
posições (x,y) dos olhos. Este bloco recebe duas imagens , método proposto e, para isto, foi utilizado o conjunto de 2.000
sendo uma para o olho direito e outra para o olho esquerdo, e imagens da base LFW. Após os experimentos realizados
faz uma busca pelos picos de correlação, os quais representam obteve-se a seguinte configuração:
as posições (x,y) dos olhos. Idealmente, cada imagem
corresponde a uma imagem com fundo preto e uma gaussiana  Filtro média da vizinhança de 7x7 – Equação (1);
bidimensional cujo pico, de valor unitário, está centrado na  Constante = , – Equação (4);
posição do respectivo olho.  Inclinação = , – Equação (5);
 Raio � = , – Equação (6);
 Constante ∊= , – Equação (10)
IV. RESULTADOS EXPERIMENTAIS Esta configuração foi congelada e utilizada em todos os
O método proposto na secção III utilizando o novo filtro experimentos restantes apresentados nesta secção. A Figura 5
MHBWLF, foi avaliado nas bases LFW e BioID, conforme apresenta uma comparação de uma imagem facial filtrada pelo
descrito a seguir. WLD [14] e pelo MHBWLF: nota-se claramente que o filtro
MHBWLF realça muito mais os detalhes da região periocular
A. Base de dados: LFW e BioID que o WLD.
A base LFW [12] é uma das bases mais desafiadoras para o O método proposto utilizando o MHBWLF foi comparado
estudo do problema de reconhecimento facial, sendo composta com o SIFT [19], CS-LBP [20], CLAHE [21] e WLD [14]:
por 13.233 imagens de 5.749 pessoas, onde todas as imagens nesta comparação o mesmo método apresentado na Figura 3 foi
foram coletadas da Web a partir de condições reais do dia a dia, utilizado, porém substituindo o filtro MHBWLF pelos filtros
apresentando imagens faciais com grandes variações de poses, anteriormente indicados. A Tabela 1 apresenta os resultados
expressões faciais e iluminação, possui imagens de baixa utilizando-se o conjunto de 2.000 imagens da base LFW,
qualidade (fora de foco, baixa resolução, ruidosas, etc.), enquanto a Tabela 2 apresenta os resultados usando-se a base
imagens com oclusões parciais, etc. BioID. Os resultados, nas duas bases de dados, demonstram
A base LFW não apresenta as posições dos olhos e por isto que o método proposto apresenta um desempenho superior,
foi utilizado um conjunto de 2.000 imagens proposto em [5], para todos três pontos (D < 0,05, D < 0,10 e D < 0,25).
✷✾ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

método Gaussian Mixture Models [1] empregou outro conjunto


da base LFW. Analisando os resultados pode-se verificar que o
método proposto apresentou o melhor desempenho, mesmo
quando comparado com outros métodos estado-da-arte.
A Tabela 4 apresenta uma comparação dos resultados
obtidos com outros métodos encontrados na literatura, agora
considerando a base BioID. Todos os métodos descritos
utilizaram a base BioID original, pois esta base já fornece as
Figura 5 – Comparação do filtro MHBWLF e WLD: (a) coordenadas dos olhos de cada face. Os resultados obtidos na
face original apresentada em [14], (b) face filtrada pelo base BioID demonstram que o método proposto apresentou um
WLD [14] e (c) face processada pelo MHBWLF. desempenho melhor que outros métodos estado-da-arte,
corroborando que a solução apresentada é adequada para a
Tabela 1 – Acurácia da localização (%) na base LFW solução do problema proposto.
(conjunto de 2.000 imagens [5]), usando o mesmo Tabela 4 – Acurácia da localização (%) na base BioID –
protocolo para todos os filtros. comparação com outros resultados da literatura.
Filter D < 0,05 D < 0,10 D < 0,25 Method D < 0,05 D < 0,10 D < 0,25
SIFT (Gradient) 80,2% 94,9% 97,9% ZEP-MLP [18] 70,5% 91,9% 98,9%
CS-LBP 78,1% 96,0% 99,9% MICs + SIFT [23] 86,1% 91,7% 97,9%
CLAHE 81,6% 96,8% 99,9% ASEF + Mask20x20 [2] 87,2% 94,8% 99,6%
WLD 81,8% 96,2% 99,9% MSD [24] 89,6% 95,5% 99,1%
Proposed MHBWLF 85,8% 98,4% 100,0% iASEF [2] 93,0% 98,7% 100,0%
Proposed Method 96,8% 98,8% 100,0%
Tabela 2 – Acurácia da localização (%) na base BioID,
usando o mesmo protocolo para todos os filtros. A Figura 6 ilustra alguns resultados de localização de olhos
utilizando a base LFW, onde o círculo em vermelho
Filter D < 0,05 D < 0,10 D < 0,25
corresponde às coordenadas calculadas pelo método proposto e
SIFT (Gradient) 94,4% 95,9% 99,5% a marcação “X” em amarelo às coordenadas fornecidas pela
CS-LBP 93,8% 96,9% 99,5% base. Nota-se que o método proposto é capaz de localizar os
CLAHE 95,6% 97,8% 99,7% centros dos olhos com grande precisão, mesmo em ambientes
WLD 91,9% 95,8% 99,5% não controlados.
Proposed HBWLF 96,8% 98,8% 100,0%
O método proposto também foi comparado com outros
métodos encontrados na literatura. A Tabela 3 apresenta uma
comparação do método proposto com outros encontrados na
literatura usando a base LFW.
Tabela 3 – Acurácia da localização (%) na base LFW –
comparação com outros resultados da literatura.
Method D < 0,05 D < 0,10 D < 0,25
Original ASEF [2] 74,0% 90,7% 97,2%
ASEF + Mask20x20 [2] 74,4% 91,9% 99,0%
Intensity Filtering + k-means [4] 75,1% 90,6% 96,1%
Gaussian Mixture Models [1] 78,0% 97,0% -
RDHV [22] 78,4% 97,5% -
iASEF [2] 78,5% 96,0% 99,6%
Enhanced PS [5] 80,2% 98,4% -
Fast LL-SVM [17] 81,0% 93,3% 98,9%
D-RDHV [22] 84,4% 98,1% -
Proposed method 85,8% 98,4% 100,0%

Os métodos Original ASEF, ASEF + Mask20x20 e iASEF,


descritos em [2], Fast LL-SVM [17], RDHV e D-RDHV [22] Figura 6 – Alguns resultados usando a base LFW.
utilizaram o mesmo conjunto de 2.000 imagens da base LFW
usados neste artigo. O método Enhanced PS [5] também V. CONCLUSÕES FINAIS
utilizou este conjunto, porém com algumas transformações a
fim de gerar sinteticamente um número maior de imagens. O Neste artigo foi apresentado um novo método para se obter
método Intensity Filtering + k-means [4] utilizou outro a localização precisa dos olhos de uma face, mesmo em
conjunto, com 1.200 imagens da base LFW. E, por fim, o ambientes não controlados. Para tanto foi proposto um novo
filtro, chamado MHBWLF (multiscale high-boost Weber local
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✸✵

filter), o qual foi desenvolvido para realçar os detalhes da IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND
região periocular de uma face, realçando as componentes de EXPO (ICME), PAGES 1-5, DOI 10.1109/ICME.2014.6890249.
alta frequência sem, no entanto, eliminar as de baixa. E ainda, [11] GE, S., YANG, R., HE, Y., XIE, K., ZHU, H., CHEN, S. 2016.
LEARNING MULTI-CHANNEL CORRELATION FILTER BANK
cabe destacar que o filtro MHBWLD proposto possui diversos FOR EYE LOCALIZATION. NEUROCOMPUTING, VOLUME 173,
parâmetros ajustáveis, tornando-o interessante também para PART 2, PAGES 418-424,
diversas outras aplicações. HTTPS://DOI.ORG/10.1016/J.NEUCOM.2015.03.125
[12] HUANG, G.B., RAMESH, M., BERG, T., LEARNED-MILLER, E.,
O método proposto foi avaliado usando-se as bases LFW e 2007. LABELED FACES IN THE WILD: A DATABASE FOR
BioID, sobre o mesmo protocolo, e demonstrou-se superior ao STUDYING FACE RECOGNITION IN UNCONSTRAINED
WLD, SIFT, CS-LBP e CLAHE. Foi feita também uma ENVIRONMENTS. TECHNICAL REPORT 07-49, UNIVERSITY OF
comparação dos resultados obtidos com outros disponíveis na MASSACHUSETTS, AMHERST.
literatura, usando as bases LFW e BioID, e verificou-se que o [13] BIOID, 2001. THE BIOID FACE DATABASE. AVAILABLE FROM
método proposto apresentou um desempenho superior a vários HTTPS://WWW.BIOID.COM/ABOUT/BIOID-FACE-DATABASE
outros métodos estado-da-arte. Desta forma, verifica-se que o [14] CHEN, J., SHAN, S., HE, C., ZHAO, G., PIETIKAINEN, M., CHEN,
X., GAO, W. 2010. WLD: A ROBUST LOCAL IMAGE
método proposto é adequado para solucionar o problema DESCRIPTOR. IEEE TRANSACTIONS ON PATTERN ANALYSIS
apresentado, devendo também ser considerado em trabalhos AND MACHINE INTELLIGENCE, VOLUME 32, ISSUE 9, PAGES
futuros para a localização dos cantos dos olhos e da ponta do 1705-1720, DOI 10.1109/TPAMI.2009.155.
nariz. [15] VIOLA, P., JONES, M. 2001. RAPID OBJECT DETECTION USING
A BOOSTED CASCADE OF SIMPLE FEATURES. PROCEEDINGS
VI. REFERÊNCIAS OF THE 2001 IEEE COMPUTER SOCIETY CONFERENCE ON
COMPUTER VISION AND PATTERN RECOGNITION, VOLUME 1,
[1] WANG, J., XIONG, R., CHU, J., 2015. FACIAL FEATURE POINTS
PAGES 511-518, DOI 10.1109/CVPR.2001.990517.
DETECTING BASED ON GAUSSIAN MIXTURE MODELS.
PATTERN RECOGNITION LETTERS, VOLUME 53, PAGES 62-68, [16] JESORSKY O., KIRCHBERG K.J., FRISCHHOLZ R.W. 2001.
DOI HTTPS://DOI.ORG/10.1016/J.PATREC.2014.11.004. ROBUST FACE DETECTION USING THE HAUSDORFF
DISTANCE. IN: BIGUN J., SMERALDI F. (EDS) AUDIO- AND
[2] VAZQUEZ-FERNANDEZ, E., GONZALEZ-JIMENEZ, D., YU, L. L.,
VIDEO-BASED BIOMETRIC PERSON AUTHENTICATION.
2013. IMPROVED AVERAGE OF SYNTHETIC EXACT FILTERS
AVBPA 2001. LECTURE NOTES IN COMPUTER SCIENCE, VOL
FOR PRECISE EYE LOCALIZATION UNDER REALISTIC
2091. SPRINGER, BERLIN, HEIDELBERG, DOI 10.1007/3-540-
CONDITIONS. IET BIOMETRICS, VOLUME 2, ISSUE 1, PAGES
45344-X_14
10-20, DOI: 10.1049/IET-BMT.2011.0006.
[17] ZHANG, C., SUN, X., HU, J., DENG, W. 2014. PRECISE EYE
[3] YI, D., LEI, Z., LI, S. Z., 2011. A ROBUST EYE LOCALIZATION
LOCALIZATION BY FAST LOCAL LINEAR SVM. IEEE
METHOD FOR LOW QUALITY FACE IMAGES. INTERNATIONAL
INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO
JOINT CONFERENCE ON BIOMETRICS (IJCB). PAGES 1-6, DOI
(ICME), DOI 10.1109/ICME.2014.6890174.
10.1109/IJCB.2011.6117499.
[18] FLOREA, L. FLOREA, C., VERTAN, C. 2015. ROBUST EYE
[4] QIAN, Z., XU, D. 2010. AUTOMATIC EYE DETECTION USING
CENTERS LOCALIZATION WITH ZERO-CROSSING ENCODED
INTENSITY FILTERING AND K-MEANS CLUSTERING.
IMAGE PROJECTIONS. PATTERN ANALYSIS AND
PATTERN RECOGNITION LETTERS, VOLUME 31, ISSUE 12,
APPLICATIONS, VOLUME 20, PAGES 127-143, DOI
PAGES 1633–1640, DOI
10.1007/S10044-015-0479-X.
HTTP://DX.DOI.ORG/10.1016/J.PATREC.2010.05.012
[19] LOWE, D. G. 2004. DISTINCTIVE IMAGE FEATURES FROM
[5] TAN., X., SONG, F., ZHOU, Z., CHEN, S., 2009. ENHANCED
SCALE-INVARIANT KEYPOINTS. INTERNATIONAL JOURNAL
PICTORIAL STRUCTURES FOR PRECISE EYE LOCALIZATION
OF COMPUTER VISION, VOLUME 60, N. 2, PAGES 91-110, DOI:
UNDER UNCONTROLLED CONDITIONS. IEEE CONFERENCE
10.1023/B:VISI.0000029664.99615.94.
ON COMPUTER VISION AND PATTERN RECOGNITION, PAGES
1621-1628, DOI 10.1109/CVPR.2009.5206818. [20] HEIKKILÄ, M., PIETIKÄINEN, M., SCHMID, C. 2009.
DESCRIPTION OF INTEREST REGIONS WITH LOCAL BINARY
[6] YUILLE, A. L., COHEN, D. S. A., HALLINAN, P. W. 1989.
PATTERNS. PATTERN RECOGNITION, VOLUME 42, ISSUE 3,
FEATURE EXTRACTION FROM FACES USING DEFORMABLE
PAGES 425-436, DOI
TEMPLATES. PROCEEDINGS CVPR ‘89, IEEE COMPUTER
HTTPS://DOI.ORG/10.1016/J.PATCOG.2008.08.014.
SOCIETY CONFERENCE ON, PAGES 104-109, DOI
10.1109/CVPR.1989.37836. [21] ZUIDERVELD, K. 1994. CONTRAST LIMITED ADAPTIVE
HISTOGRAM EQUALIZATION. GRAPHIC GEMS IV. SAN DIEGO:
[7] ZHOU, Z.H., GENG, X. 2004. PROJECTION FUNCTIONS FOR EYE
ACADEMIC PRESS PROFESSIONAL, PAGES 474–485.
DETECTION. PATTERN RECOGNITION, VOLUME 37, ISSUE 5,
PAGES 1049-1056. DOI [22] JIN, X., TAN, X. 2016. FACE ALIGNMENT BY ROBUST
HTTP://DX.DOI.ORG/10.1016/J.PATCOG.2003.09.006. DISCRIMINATIVE HOUGH VOTING. PATTERN RECOGNITION,
VOLUME 60, PAGES 318-333, DOI
[8] BOLME, D. S., DRAPER, B. A., BEVERIDGE, J. R. 2009. AVERAGE
HTTPS://DOI.ORG/10.1016/J.PATCOG.2016.05.017.
OF SYNTHETIC EXACT FILTERS. IEEE CONFERENCE ON
COMPUTER VISION AND PATTERN RECOGNITION, PAGES [23] VALENTI, R., GVERS,T. 2012. ACCURATE EYE CENTER
2105-2112, DOI 10.1109/CVPR.2009.5206701. LOCALIZATION THROUGH INVARIANT ISOCENTRIC
PATTERNS. IEEE TRANSACTIONS ON PATTERN ANALYSIS
[9] BOLME, D. S., BEVERIDGE, J. R., DRAPER, B. A., LUI, Y. M. 2010.
AND MACHINE INTELLIGENCE, VOLUME 34, ISSUE 9, PAGES
VISUAL OBJECT TRACKING USING ADAPTIVE CORRELATION
1785-1798, DOI 10.1109/TPAMI.2011.251.
FILTERS. IEEE COMPUTER SOCIETY CONFERENCE ON
COMPUTER VISION AND PATTERN RECOGNITION, PAGES [24] YANG, F., HUANG, J., YANG, P., METAXAS, D. 2011. EYE
2544-2550, DOI 10.1109/CVPR.2010.5539960. LOCALIZATION THROUGH MULTISCALE SPARSE
DICTIONARIES. IEEE INTERNATIONAL CONFERENCE ON
[10] GE, S., YANG, R., WEN, H., CHEN, S., SUN, L. 2014. EYE
AUTOMATIC FACE & GESTURE RECOGNITION AND
LOCALIZATION BASED ON CORRELATION FILTER BANK.
WORKSHOPS (FG 2011), PAGES 514-518, DOI
10.1109/FG.2011.5771450.
✸✶ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Biometric iris classification when the eye’s pupil


reacts to light
Jones Mendonça de Souza Adilson Gonzaga
Department of Electrical and Computer Engineering Department of Electrical and Computer Engineering
EESC/USP - University of Sao Paulo EESC/USP - University of Sao Paulo
São Carlos, SP - Brazil São Carlos, SP - Brazil
Email: jonessouza@ifsp.edu.br Email: agonzaga@sc.usp.br

Resumo—Is the human iris texture a reliable biometric trait de uma amostra de íris com boa qualidade, com menos percen-
under varying illumination? It is a well-known biological beha- tual de ruído e variação na textura da íris. Em um ambiente não
vior that the eye’s pupil contracts under varying levels of light cooperativo, como por exemplo no reconhecimento de íris a
intensity, and dilates in the absence of light. But, what happens
with this biometric trait regarding its classification performance, distância [2] e em movimento [3], a variação de iluminação irá
taking into account each specific classification method? Based on produzir estímulos na pupila, de forma que a pupila se dilate
this question, we propose in this paper to evaluate some texture quando houver baixa incidência de luz, e se contraia devido
descriptors for iris recognition, considering pupil contraction ao excesso de luz incidente nos olhos. Dessa maneira, se os
and dilation. We also propose a new descriptor called Median- músculos da pupila estiverem contraídos a área da textura da
LMP and compare its performance to Daugman’s method, the
CLBP, the MBP and the WLD. Our results show that Daugman’s íris será maior e por consequência produzirá maior informação
algorithm is the best one for iris recognition when pupils are de atributos, favorecendo o processo de identificação. Mas, se
contracted. However, if the pupil dilates, our descriptor performs a pupila estiver dilatada os padrões da íris serão comprimidos,
better and faster than all the compared methods, primarily if one obtendo-se uma área menor na textura da íris com pouca
iris with a contracted pupil is used for searching another iris with informação de atributos.
a dilated pupil.
keywords - local descriptors; iris recognition; biometric systems Para extrair as características da íris, além dos descritores
de textura tradicionais como o filtro de Gabor 2D [1], a
transformada de wavelet [4], a pirâmide laplaciana [5], a de-
I. I NTRODUÇÃO composição rápida de wavelet de Haar [6], alguns descritores
Os sistemas biométricos são métodos para identificação de textura local também foram explorados. O Local Binary
pessoal com base em peculiaridades comportamentais e bioló- Pattern (LBP) [7] associado a textons discrimináveis [8]
gicas. Dentre as peculiares biométricas, a íris tem apresentado ou combinado com Learning Vector Quantization (LVQ) [9]
grande potencial em aplicações comerciais. A textura da íris foram aplicados para classificar amostras de íris. A principal
apresenta um padrão altamente complexo, composta de fibras vantagem dos descritores de textura local é sua invariância
musculares dispostas em diferentes sentidos. Esta estruturação relativa à variação de iluminação [7].
faz com que o padrão da íris seja exclusivo para cada pessoa Em um recente trabalho, Ferraz et al. [10] apresentaram um
e também para o seu próprio par. novo descritor de textura local chamado Local Mapped Pattern
O primeiro algoritmo desenvolvido para classificação dos (LMP). A abordagem LMP foi avaliada para diversos tipos de
padrões da íris foi proposto por John Daugman [1]. No textura, e apresentou melhor desempenho para amostras sob
algoritmo de Daugman a região de interesse é localizada variação de iluminação do que a abordagem LBP.
utilizando-se um operador integro-diferencial, que realiza a Neste trabalho é proposto avaliar alguns descritores de
delimitação entre a região da íris com a esclera e, da pupila textura local para o reconhecimento de íris, levando-se em
com a íris. Para compensar a variação de rotação da imagem consideração a contração e a dilatação da pupila. Além disso,
é proposto transformar o anel da íris, de coordenadas car- é proposto um novo descritor de textura de íris baseado na
tesianas para coordenadas polares, obtendo-se uma imagem abordagem LMP, denominado Median Local Mapped Pattern
dos padrões de íris com dimensão retangular. Para extrair as (Median-LMP). O método proposto foi comparado com diver-
características é utilizado o filtro de Gabor 2D, baseando-se a sos outros descritores de textura local como: o Local Mapped
informação de fase para representar os padrões em 2 bits. O Mattern (LMP ) [10], o Completed Modeling of Local Binary
grau de similaridade entre duas amostras é dado pelo cálculo Pattern (CLBP) [11], o Median Binary Pattern (MBP) [12], o
da distância de Hamming. Weber Local Descriptor (WLD) [13], além do método clássico
No entanto, o algoritmo de Daugman tem sido aplicado em na literatura para o reconhecimento de íris proposto por John
amostras de íris adquiridas em ambientes cooperativos, ou seja, Daugman [1]. O objetivo desta avaliação é o de fornecer
imagens estáticas capturadas sob curta distância focal e sob subsídios que possam ser utilizados no reconhecimento da
iluminação controlada. Essas condições favorecem a captura íris à distância e em ambientes não cooperativos, onde as
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✸✷

condições de iluminação causam movimento da pupila e, feito modificando-se o gc na Equação 2 pelo valor mediano da
portanto, variações de textura, degradando o desempenho de vizinhança analisada. Como a mediana da vizinhança já produz
sistemas biométricos de íris. um filtro de suavização, foi proposto alterar a matriz de ponde-
ração M (i) original do LMP Equação 3 para pesos de potência
II. M EDIAN L OCAL M APPED PATTERN
de dois, ou seja, M (i) = [20 , 21 , 22 , 23 , 24 , 25 , 26 , 27 ], assim
A abordagem original LMP considera a soma das diferenças como proposto no trabalho de Hafiane et al [12]. A Figura 1
de cada nível de cinza de uma determinada vizinhança do pixel ilustra a comparação entre o LMP e Median-LMP para geração
central como um padrão local, que pode ser mapeado para um do código a partir de uma mesma vizinhança.
histograma utilizando uma função de mapeamento [10]. Dada
a vizinhança de um pixel v = W xW , seu padrão pode ser III. BASES NÃO COOPERATIVAS
mapeado para um bin no histograma (hb ) usando a Equação 1, Para avaliar o descritor proposto em comparação com os
! descritores citados na literatura, em diferentes tamanhos de
pupila, foram utilizadas as bases de dados não cooperativas
Pv−1
i=1 fgi M (i)
hb = round P v−1 (B − 1) i = 1 to (v − 1) UBIRIS V2 [3] e CASIA-Iris-Distance [2]. Para ambas bases
i=1 M (i) de dados, foram utilizadas somente amostras do olho direito
(1)
na qual, fg é a função de mapeamento, M (i) é uma matriz para geração do vetor de característica, porque as imagens do
de ponderação com valores pré-definidos para cada posição olho direito foram utilizadas para sintonizar os parâmetros β
de pixel dentro da vizinhança local e B é o número de bins e B = bins.
do histograma. Esta equação representa uma soma ponderada A. Base de dados UBIRIS V2
de cada diferença de nível de cinza, a partir do pixel central
Proença [3] propôs um sistema não cooperativo baseado
da vizinhança, mapeada no intervalo [0,1] por uma função
na imagem da íris adquirida sob a banda visível. A proposta
de mapeamento, arredondando-se os valores para os bins B
do autor foi capturar amostras da íris humana a 8 metros de
possíveis no histograma. A função de mapeamento utilizada é
distância, usando um modelo de câmera profissional Canon
a sigmoidal apresentada na Equação 2, onde β é a inclinação
EOS 5D. Uma base de dados foi desenvolvida pelo autor
da curva e [gi − gc ] são as diferenças de nível de cinza
simulando o movimento da cabeça em diferentes ângulos. O
dentro da vizinhança centrada em gc , e a matriz de ponderação
autor nomeou esta base de dados como UBIRIS V2, contendo
apresentada na Equação 3 [10].
11.102 amostras de íris. Para realização dos experimentos,
1 neste trabalho, selecionou-se apenas um subconjunto contendo
fg = i = 1 to (v − 1) (2)
−[gi −gc ]
amostras/classe com variação no tamanho na pupila, conforme
1+e β
  ilustrado na Figura 2. Dessa maneira, foram selecionadas 882
1 1 1 amostras a partir da “Sessão 1” da base UBIRIS V2, divididas
M (i) = 1 1 1 i = 1 to (v − 1) (3) em 147 classes, sendo 6 amostras por classe.
1 1 1
Uma das principais vantagens mencionados em trabalhos
anteriores sobre LMP é o baixo custo computacional associado
a um alto desempenho. No entanto, pequenas diferenças ao
comparar padrões, devido ao ruído ou à mudança de ilu-
minação podem introduzir erros, principalmente se o valor
central do pixel mudar de um padrão para outro. Hafiane et al
[12] observaram o mesmo fenômeno e propuseram o Median
Binary Pattern (MBP) resultando em um descritor de textura
mais robusto para erros causados pela comparação com o pixel (a) Amostra com a pupila contraída (b) Amostra com a pupila dilatada
central.
Figura 2: Exemplo de duas amostras da base de dados UBIRIS
Com base no MBP e levando-se em consideração o alto
V2 com diâmetros de pupila diferentes.
desempenho da abordagem LMP para diversos tipos de textu-
ras, foi proposto neste trabalho um novo descritor de textura
chamado Median Local Mapped Pattern (Median-LMP) para B. Base de dados CASIA-Iris-Distance
a discriminação da textura da íris com a variação do tamanho Dong et al [2] propuseram um dispositivo para capturar
da pupila. O filtro mediano efetivamente reduz o ruído conhe- amostras de íris a 3 metros de distância. O dispositivo utiliza
cido como “sal e pimenta” no processamento de imagens. É uma câmera Pan-Tilt-Zoom (PTZ) responsável pelo rastrea-
importante ressaltar que a imagem da íris adquirida à distância mento e a focalização da região facial. Uma imagem de alta
em um ambiente não cooperativo tem maior probabilidade definição da face do usuário é adquirida, permitindo a extração
de ser afetada pelo ruído, devido à mudança de iluminação. de características da íris do lado esquerdo e direito. As
Sendo assim, é proposto utilizar o valor mediano de uma imagens de íris foram digitalizadas sob a banda infravermelho
vizinhança W xW como o elemento de comparação. Isto é próximo (NIR), com resolução espacial de 2352x1728 pixels.
✸✸ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

(a) Imagem original com uma região local 3 × 3 (b) Vizinhança 3 × 3 afe-
destacada em vermelho tada pelo ruído no pixel
central

(c) Código LMP generado pelo valor do pixel central gc = 255 (d) Código Median-LMP gerado pelo valor mediano da vizinhança gc = 30

Figura 1: Comparação entre o código LMP e Median-LMP.

IV. P ROCESSAMENTO E SEGMENTAÇÃO

A. Localização e segmentação da íris

Para a localização e segmentação das amostras de íris de


cada base de dados foi aplicado o algoritmo de Daugman
[1], conhecido como “Rubber Sheet Model” para se obter
o anel da íris normalizado. Com base na amostra obtida a
partir da aplicação do método de Daugman, foram gerados
(a) Amostra com a pupila contraída (b) Amostra com a pupila dilatada cinco subconjuntos com imagens em diferentes resoluções
Figura 3: Exemplo de duas amostras da base de dados CASIA- espaciais: 20x240, 30x360, 40x480, 50x600 e 60x720 pixels,
Iris-Distance com diâmetros de pupila diferentes. como ilustrado na Figura 4.

Os autores desenvolveram uma base de dados denominada


CASIA-Iris-Distance, que incluiu 142 usuários, totalizando
2.567 amostras de íris. A biblioteca OpenCV foi utilizada
para a localização dos olhos nas imagens da base de dados,
aplicando-se o classificador de objetos cascata de Haar. Para
realização dos experimentos, neste trabalho, foram seleciona-
das 5 amostras por classe, totalizando 710 imagens de íris.
A Figura 3 ilustra duas amostras de íris de mesma classe Figura 4: Subconjuntos gerados a partir das amostras norma-
apresentando variação no tamanho da pupila, ocasionado pela lizadas de cada base de dados.
mudança de luz do ambiente.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✸✹

B. Extração e comparação das características da íris Tabela I: Taxas de acerto (H) obtidas com a base de dados
UBIRIS V2
Para extração das características da íris foram implemen-
Resolução das amostras
tados os extratores de cada método comparado: o filtro de Métodos
20 × 240 30 × 360 40 × 480 50 × 600 60 × 720
Gabor 2D proposto por Daugman [1] e também os descritores Daugman 54.08 54.13 54.44 54.78 55.32
MBP 48.27 49.04 49.16 57.36 58.27
de textura local, CLBP [11], WLD [13], MBP [12], LMP Median-LMP 60.18 66.22 68.63 72.33 75.88
[10] e o Median -LMP (proposto neste artigo). No método de LMP 47,71 52,16 53,28 54,75 59,27
WLD 37.48 40.21 58.77 65.14 79.88
Daugman é utilizada a distância de Hamming para se obter a CLBP_M8,1u2 42.49 43.85 44.53 44.30 43.74
similaridade entre duas amostras. Já para os métodos baseados CLBP_S8,1
u2 47.93 47.14 47.59 46.80 46.04
CLBP_S/M/C8,1 u2 50.65 48.61 48.61 48.95 47.14
em descritores de textura local, foram gerados os histogramas CLBP_S_M/C8,1 u2 48.73 47.25 47.02 47.02 46.91
de códigos correspondentes e calculada à similaridade entre CLBP_S/M8,1 u2 47.59 46.46 47.25 47.93 45.66
duas amostras utilizando a distância Qui-Quadrado dada na CLBP_M/C8,1 45.21 44.98 47.36 45.78 46.04
u2

Equação 4,
B. Desempenho obtido com a Base de dados CASIA-Iris-
B
1 X (Sb − Yb )2 Distance
X 2 (S, Y ) = , (4) Esta base de dados foi desenvolvida utilizando um sistema
2 (Sb + Yb )
b=1
biométrico multimodal para aquisição de imagens da face e
na qual, S é a amostra de busca, Y é a amostra de consulta, da íris a longa distância. As amostras foram adquiridas a
B é o número de bins dos histogramas comparados, Sb é a uma distância de 3 metros da câmera, e cada uma delas
frequência do nível de cinza de S, e Yb é a frequência do nível contém a região frontal da face. Os olhos do lado direito foram
de cinza de Y . utilizados para a realização dos experimentos deste trabalho.
Foi utilizado o método de validação cruzada leave-one-out Os resultados apresentados na Tabela II, mostram o mesmo
para se obter o número de Verdadeiros Positivos (TP) e o comportamento da base anterior. Ou seja, o Median-LMP é
número de Falsos Negativos (FN), para todas as amostras de o melhor descritor em todas as resoluções, Daugman é o
consulta. A taxa de acerto do sistema foi obtida pelo cálculo segundo melhor nas baixas e WLD responde melhor nas altas
da Sensibilidade ou Hit-rate (H), dada pela Equação 5. resoluções. O aumento na taxa de acerto, comparativamente à
Tabela I, deve-se ao fato que, diferentemente da UBIRIS V2,
TP esta base foi adquirida sob iluminação NIR, o que reduziu
H= , (5) os reflexos naturais causados pela luz visível, aumentando o
TP + FN
desempenho.
V. R ESULTADOS E DISCUSSÃO
Tabela II: Taxas de acerto (H) obtidas com a base de dados
Em todas as tabelas, as células destacadas em cor “cinza CASIA-Iris-Distance
escuro”, representam os melhores resultados obtidos para cada
Resolução das amostras
teste, e as células em cor “cinza claro” representam o segundo Métodos
20 × 240 30 × 360 40 × 480 50 × 600 60 × 720
melhor resultado entre os métodos comparados, levando-se em Daugman 69.23 69.88 71.13 72.44 72.44
MBP 58.19 52.21 54.40 54.77 58.90
consideração a resolução espacial da amostra. Median-LMP 74.08 77.50 81.20 84.55 88.77
LMP 58,73 61,25 64,99 66,04 70,25
WLD 52.77 66.14 71.33 78.44 89.88
CLBP_M8,1u2 44.13 32.14 44.12 42.33 46.71
A. Desempenho obtido com a Base de dados UBIRIS V2 CLBP_S8,1
u2 58.40 44.88 50.88 52.48 48.66
CLBP_S/M/C8,1 u2 60.22 58.29 54.87 62.22 58.30
A base de dados UBIRIS V2 é a que mais se aproxima CLBP_S_M/C8,1 u2 58.77 54.33 58.91 52.23 56.80
do ambiente real não cooperativo, pois foi adquirida sob CLBP_S/M8,1 u2 50.66 58.90 50.27 54.19 56.14
CLBP_M/C8,1 u2 54.41 50.44 50.44 46.31 52.66
condições não restritas, ou seja, a distância, em diversos
ângulos e com variação de iluminação. Devido a este cenário é
encontrado nesta base de dados um grande volume de amostras C. Tempo de execução
com diferentes tamanhos de pupila. Um dado importante no reconhecimento biométrico de
Observando-se os resultados da Tabela I é possível notar íris em ambientes não controlados é o tempo computacional
que, apesar das baixas taxas de acerto de todos os métodos envolvido na busca por uma amostra em um banco de da-
comparados, o descritor proposto Median-LMP atingiu as dos. Utilizando-se busca sequencial, foi avaliado o tempo de
maiores taxas de acerto, e que estas taxas aumentam conforme execução de cada método comparativamente. Todos os testes
aumenta-se o tamanho da amostra. Ou seja, este resultado foram realizados em um computador Intel Core I7 920, 2,67
demonstra que o aumento da quantidade de informação de GHz, com 6 GB de RAM, executando o Windows 8.0 e com
textura contida em amostras maiores facilita o processo de o software Matlab versão R2001a. Os tempos comparativos
classificação. O método de Daugman teve o segundo me- de execução foram plotados em gráficos levando-se em con-
lhor desempenho em menores resoluções e o WLD responde sideração a pesquisa de uma amostra com todas as outras da
melhor nas maiores, chegando a superar nosso descritor na base de dados, ou seja, o tempo “um-para-muitos” e, também
resolução de 60x720 pixels. o tempo necessário para comparar apenas uma amostra com
✸✺ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

outra, o tempo de execução “um-para-um”. Tanto para o tempo


de “um-para-um” quanto o de “um-para-muitos”, foi levado
em consideração o tempo necessário para o método extrair
as características da amostra de busca (obtida pelo método
“Rubber Sheet Model”) e, comparar com as características
previamente armazenadas no banco de dados.
Como pode ser observado na Figura 5 a abordagem original
LMP apresenta os menores tempos de execução entre todos os
outros métodos avaliados, e o descritor proposto neste trabalho
Median-LMP é o segundo método mais rápido dentre os outros
comparados.

Figura 6: Tempo de execução “um-para-muitos”.

também a um aumento do tempo de processamento (“ônus”),


característico de cada metodologia.
VI. C ONCLUSÕES
Alguns trabalhos publicados anteriormente concluíram que
a textura da íris muda sob contração e dilatação da pupila,
podendo reduzir o desempenho de sistemas biométricos [14]
[2] [3] [15]. Além disso, há um crescente interesse em relação
ao reconhecimento de íris em ambientes não cooperativos,
Figura 5: Tempo de execução “um-para-um”. como por exemplo, a distância e/ou em movimento. Imagens
adquiridas de maneira não cooperativa e sob iluminação não
Com base no tempo de execução “um-para-muitos”, em que controlada podem apresentar variação no tamanho da pupila
é avaliado o tempo necessário para encontrar a classe de uma para a mesma pessoa. Baseado nessas argumentações, neste
amostra de consulta dentro da base de dados completa, por artigo foi proposto avaliar alguns descritores locais de textura
meio da busca sequencial, é possível observar na Figura 6 que e também o método clássico de John Daugman [1] para o
o método CLBP-M atingiu os menores tempos de execução, reconhecimento de íris, aplicados em imagens com variação
sendo considerado o mais rápido para esta finalidade. No do tamanho da pupila. Para isso, foram utilizadas duas bases
entanto, o descritor proposto neste trabalho Median-LMP de imagens de íris adquiridas de modo não cooperativo, a
também apresentou um bom desempenho, estando entre os UBIRIS V2 e a Cassia-Iris-Distance.
mais rápidos. Além disso, foi proposto, neste trabalho, um novo des-
Avaliando-se as taxas de acertos obtidas com as bases critor local de textura denominado Median-LMP e foram
de imagens de iris não cooperativas, é possível concluir avaliados os seguintes descritores locais de textura: Local
que, a metodologia proposta neste trabalho obteve melhor Mapped Pattern (LMP ) [10], Completed Modeling of Local
desempenho do que todos os métodos comparados. Nas duas Binary Pattern (CLBP) [11], Median Binary Pattern (MBP)
bases utilizadas, uma adquirida com iluminação visível e [12], Weber Local Descriptor (WLD) [13], além do método
outra com iluminação NIR, o descritor proposto neste trabalho proposto por John Daugman [1]. Para avaliar o “ônus” de
atingiu a maior taxa de acerto relativamente a todos os outros cada método, foi medido o tempo de processamento necessário
comparados, com amostras de 20 x 240 pixels até 50 x 600 para comparação de uma amostra com as amostras da base
pixels. Somente na resolução espacial de 60 x 720 pixels, o de imagens. Neste sentido, duas variáveis foram avaliadas:
WLD foi melhor do que os outros descritores deixando o o tempo de execução do algoritmo e a dimensionalidade do
Median-LMP em segundo lugar. Além disso, com exceção vetor de características. Observou-se que o descritor proposto
dos descritores derivados do CLBP, todos os outros tiveram Median-LMP é o que atingiu maior desempenho (“bônus
comportamentos similares nas duas bases: a taxa de acerto versus ônus”) entre todos os métodos avaliados para todas as
cresceu com o aumento da área amostrada da textura da iris bases de dados. Apesar da abordagem WLD obter maior taxa
(aumento da resolução espacial). Isso permite concluir que de acerto quando aplicada em amostras com maior resolução
uma maior quantidade de informação discriminante (textura) espacial (60 x 720 pixels), o tempo gasto para geração do vetor
aumenta o desempenho deste tipo de sistema biométrico. No de características é mais alto do que os tempos necessários
entanto, este aumento de taxa de acerto (“bônus”) corresponde para os métodos de Daugman e para o Median-LMP. O método
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✸✻

de Daugman consome maior tempo de execução, porque na [14] R. M. da Costa and A. Gonzaga, “Dynamic features for iris recogni-
etapa de comparação o algoritmo usa um procedimento de tion,” IEEE Transactions on Systems, Man, and Cybernetics, Part B
(Cybernetics), vol. 42, no. 4, pp. 1072–1082, Aug 2012.
“shift’ para se obter a melhor distância de Hamming entre os [15] K. Hollingsworth, K. W. Bowyer, and P. J. Flynn, “Pupil dilation
vetores de características. Sendo assim, o descritor Median- degrades iris biometric performance,” Computer Vision and Image
LMP se torna um método mais viável para aplicações em Understanding, vol. 113, no. 1, pp. 150 – 157, 2009. [Online]. Available:
http://www.sciencedirect.com/science/article/pii/S1077314208001173
tempo preditivo.
Como neste trabalho foram utilizados somente olhos lado
direito para realização dos experimentos, sugere-se para tra-
balhos futuros avaliar os descritores abordados a partir de
ambos lados dos olhos, obtendo-se um vetor de característica
mais robusto para a classificação. Sugere-se ainda modelar e
avaliar o problema considerando que a aquisição é afetada
por Random-Valued Impulse Noise e, comparar os resultados
aplicando-se a técnica de Deep Learning.

AGRADECIMENTOS
Os autores agradecem o apoio financeiro da FAPESP, pro-
cesso #2015/20812- 5 e, do Instituto Federal de São Paulo
(IFSP), para a realização deste trabalho.

R EFERÊNCIAS
[1] J. Daugman, “High confidence visual recognition of persons by a test
of statistical independence,” IEEE Trans. Pattern Anal. Mach. Intell.,
vol. 15, no. 11, pp. 1148–1161, 1993.
[2] W. Dong, Z. Sun, and T. Tan, “A design of iris recognition system
at a distance,” in Chinese Conference on Pattern Recognition, vol. 2.
Nanjing, China: IEEE, nov 2009, pp. 1 –5.
[3] H. Proença, “On the feasibility of the visible wavelength, at-a-distance
and on-the-move iris recognition,” in Workshop on Computational Intel-
ligence in Biometrics: Theory, Algorithms, and Applications. Hangzhou,
China: IEEE, Apr. 2009, pp. 9 –15.
[4] W. W. Boles and B. Boashash, “A human identification technique using
images of the iris and wavelet transform,” IEEE Transactions on Signal
Processing, vol. 46, no. 4, pp. 1185–1188, 1998.
[5] R. Wildes, J. Asmuth, G. Green, S. Hsu, R. Kolczynski, J. Matey, and
S. McBride, “A system for automated iris recognition,” in Applications
of Computer Vision, 1994., Proceedings of the Second IEEE Workshop
on, Dec 1994, pp. 121–128.
[6] T. W. Ng, T. L. Tay, and S. W. Khor, “Iris recognition using rapid haar
wavelet decomposition,” in 2010 2nd International Conference on Signal
Processing Systems, vol. 1, July 2010, pp. V1–820–V1–823.
[7] T. Ojala, M. Pietikäinen, and D. Harwood, “A comparative study of
texture measures with classification based on featured distributions,”
Pattern Recognition, vol. 29, no. 1, pp. 51–59, Jan. 1996. [Online].
Available: http://dx.doi.org/10.1016/0031-3203(95)00067-4
[8] M. De Marsico, M. Nappi, and D. Riccio, “Noisy iris recognition
integrated scheme,” Pattern Recognition Letters, vol. 33, no. 8, pp. 1006–
1011, Jun. 2012.
[9] M. Y. Shams, M. Z. Rashad, O. Nomir, and R. M. El-Awady, “Iris
recognition based on lbp combined LVQ classifier,” CoRR, 2011.
[10] C. T. FERRAZ, O. PEREIRA, M. V. ROSA, and A. GONZAGA,
“Object recognition based on bag of features and a new local pattern
descriptor,” International Journal of Pattern Recognition and Artificial
Intelligence, vol. 28, no. 08, p. 1455010, 2014. [Online]. Available:
http://www.worldscientific.com/doi/abs/10.1142/S0218001414550106
[11] Z. Guo, L. Zhang, and D. Zhang, “A completed modeling of local binary
pattern operator for texture classification,” IEEE Transactions on Image
Processing, vol. 19, no. 6, pp. 1657–1663, June 2010.
[12] A. Hafiane, G. Seetharaman, and B. Zavidovique, “Median binary
pattern for textures classification,” in Proceedings of the 4th
International Conference on Image Analysis and Recognition, ser.
ICIAR’07. Berlin, Heidelberg: Springer-Verlag, 2007, pp. 387–398.
[Online]. Available: http://dl.acm.org/citation.cfm?id=2394970.2395010
[13] J. Chen, S. Shan, C. He, G. Zhao, M. Pietikainen, X. Chen, and W. Gao,
“Wld: A robust local image descriptor,” IEEE Transactions on Pattern
Analysis and Machine Intelligence, vol. 32, no. 9, pp. 1705–1720, Sept
2010.
✸✼ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

A novel method for shape analysis based on statistics of Euclidean distances

Isaac Newton Melo Machado Francisco Evangelista Nobre Filho Jarbas Joaci de Mesquita Sá Junior
Universidade Federal do Ceará Universidade Federal do Ceará Universidade Federal do Ceará
Campus de Sobral Campus de Sobral Campus de Sobral
Email: engisaacnewton@gmail.com Email: evan.filho06@gmail.com Email: jarbas joaci@yahoo.com.br

Abstract—Shape analysis is an important field in computer “similaridade de caminho” [9], [10] é um exemplo dessa
vision and, throughout the years, many methods have been categoria. As assinaturas desses métodos são adequadas para
proposed for shape characterization. In order to contribute imagens que possuem oclusão ou articulação [1], [2].
to this line of research, this paper presents a novel shape Considerando as explicações acima, o presente trabalho
descriptor based on statistics of Euclidean distances. For this propõe um descritor que utiliza caracterı́sticas estatı́sticas
purpose, the technique computes Euclidean distances between (média, desvio padrão e distância mı́nima) das distâncias
points of a shape contour and stores them into a matrix, which relativas dos pontos de contorno entre si. Dessa forma, as
in turn is subdivided into submatrices. For each submatrix, the propriedades invariantes a escala, rotação e translação são
algorithm computes values such as mean, standard deviation mantidas. Além disso, haja vista a complexidade de alguns
and minimum distance for each column. Finally, attributes algoritmos, propomos um método de simples entendimento.
are computed from these data in order to construct a shape Este artigo é apresentado da seguinte forma: a Seção
signature. The proposed method presented high performance 2 apresenta o método desenvolvido, além de defini-lo ma-
in two benchmark datasets, surpassing other methods found tematicamente. A Seção 3 descreve as bases de imagens
in the literature. usadas e os experimentos realizados. A Seção 4 apresenta
os resultados obtidos e uma discussão sobre os mesmos.
Finalmente, a Seção 5 apresenta algumas considerações
1. Introdução sobre este trabalho.

Ao definirmos um objeto, consideramos algumas de 2. Método proposto


suas caracterı́sticas, como, cor, textura ou forma, sendo esta
última apenas dependente da existência do objeto, ou seja, Seja CN = {c1 , c2 , ...cN } o conjunto de todos os pontos
ela é invariante em relação a alterações na iluminação e do contorno de uma forma, em que c = (x, y) ∈ R2 é a
textura, por exemplo. Tratando-se de identificação visual, coordenada do ponto e D uma matriz de distâncias euclid-
a forma é um atributo que permite o reconhecimento dos ianas. Cada linha w da matriz D representa a distância do
objetos de forma fácil e objetiva. ponto c para todos os outros pontos do conjunto CN . Com a
Na área de visão computacional, os problemas envol- finalidade de tornar o método invariante à rotação e escala,
vendo classificação e segmentação de formas são antigos as distâncias das linhas de DN ×N são ordenadas e divididas
e, ao longo dos anos, diversos métodos de análise foram por N , sendo este o número de pontos do contorno. A
propostos. Eles se dividem em três grupos: baseados em con- propriedade de invariância à translação é respeitada, pois são
torno, região ou esqueleto [1]. Basicamente, suas diferenças tomados como referência os próprios pontos do contorno.
se encontram no local de extração de caracterı́sticas [2]. Após a transformação acima descrita, a matriz resultante
Os métodos baseados em contorno consideram a imagem é subdividida, de forma a obter sub-matrizes, com o intuito
como um conjunto de pontos ordenados e conectados por de extrair um maior número de caracterı́sticas e fornecer um
segmentos de reta. Nesses métodos, como esperado, pon- conjunto mais abrangente de estatı́sticas acerca dos valores
tos não interligados podem gerar alterações nos resulta- das distâncias. Para isso, definimos pela Equação 1 um
dos. Como exemplos dessa categoria, podemos citar os conjunto Hk de sub-matrizes que contém número igual de
descritores de Fourier [3], [4] e Curvature Scale Space linhas, N , e suas colunas definidas por N (tk ).
(CSS) [5]. Já os métodos baseados em região, que são
amplamente utilizados em formas genéricas, utilizam agru- 1 2 k
Hk = {SN ×N (t1 ) , SN ×N (t2 ) , ..., SN ×N (tk ) } (1)
pamentos de pixels semelhantes para gerar descritores [6].
Os momentos de Zernike [7], [8] são um exemplo. Por fim, Desta forma, o conjunto de sub-matrizes depende direta-
as técnicas baseadas em esqueleto geralmente modelam as mente do conjunto de parâmetros Tk , definido na Equação 2,
formas por meio de grafos ou dimensões fractais, utilizando ordenados de forma crescente e composto pelos coeficientes
as informações dos eixos médios do objeto. O método de ti , com i ∈ N∗ .
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✸✽

é composto por 9 classes com 11 imagens cada, o que nos


fornece um total de 99 imagens [11], [12]. Cada classe
Tk = {0, t1 , t2 , ..., tk } |
0 < t1 < t2 < · · · < tk ≤ 1 tem uma forma única e com diferenças significativas com
(2) relação às outras, como pode ser visto na Figura 1. Estão
Esses coeficientes definem o intervalo de colunas da incluı́das nessas diferenças oclusão, rotação e partes que
matriz resultante DN ×N pertencente a cada sub-matriz faltam (Figura 2).
×N (ti ) , dada por D[α, β], com α e β definidos na
i
SN
Equação 3. Tais intervalos dizem respeito às colunas que
variam de ⌊N · (ti−1 )⌉ + 1 até ⌊N · (ti )⌉. Portanto, Tk
formará os argumentos do descritor proposto, que variam
de forma a obter um melhor arranjo para a aplicação.

α = {1, 2, ..., N } β = {⌊N · (ti−1 )⌉ + 1, ..., ⌊N · (ti )⌉}


(3)
Figura 1. Exemplo das classes do banco de imagens generic shapes [11],
Após a obtenção do conjunto H de sub-matrizes, [12].
extraem-se três vetores dessas, que caracterizam a média
~ i ) e mı́nima distância (Υ
(~τi ), desvio padrão (Ψ ~ i ) de cada
coluna j das sub-matrizes. Esses vetores são definidos,
respectivamente, nas Equações 4, 5 e 6.

~τi = [A1 A2 A3 ··· AN (ti ) ] em que


N
1 X i (4)
Aj = S
N w=1 w,j

Figura 2. Imagens do banco generic shapes com oclusão e rotação [11],


~ i = [B1
Ψ B2 B3 · · · BN (ti ) ] em que [12].
v
u
u1 X N (5) O segundo banco de imagens apresenta formas de peixes
Bj = t (S i − Aj )2 [13]. Ele é dividido em 1.100 classes distintas, cada uma
N w=1 w,j
possuindo 10 imagens, o que totaliza 11.000 [17]. Cada
imagem possui escala e rotação diferentes, o que permite
~ i = [C1
Υ C2 C3 ··· CN (ti ) ] em que a realização de um teste mais abrangente e preciso das
i (6) propriedades de invariância a rotação e escala. Exemplos
Cj = min Sw,j do banco de imagens (ii) são dados na Figura 3.
∀w∈α

A partir desse ponto, criam-se os novos vetores


~1, φ
φ ~2, . . . , φ
~ k . Esses foram obtidos a partir da média µ e
desvio padrão σ dos vetores definidos nas Equações 4, 5 e
6 extraı́dos de cada uma das sub-matrizes SN i
×N (ti ) . Desse
~
modo, é definido φi , vetor de seis caracterı́sticas da sub-
matriz de ı́ndice i por

~ i = [µ(~τi )
φ σ(~τi ) ~ i)
µ(Ψ ~ i)
σ(Ψ
σ(Υ ~ i )].~ i)
µ(Υ
(7)
~ Figura 3. Exemplo das classes do banco de imagens fish [13].
Por fim, chegamos ao vetor de caracterı́sticas Ω
(Equação 8) composto pelos vetores de caracterı́sticas de O experimento foi realizado em 3 etapas: (i)
todas as sub-matrizes S i . segmentação, (ii) utilização do descritor proposto e (iii)
validação. As imagens utilizadas como objeto de estudo
Ω ~1
~ = [φ ~2
φ ··· ~k ]
φ (8) deste trabalho foram adquiridas pré-processadas (bina-
rizadas). Em seguida, com auxı́lio do software MATLAB,
3. Experimento uma segmentação morfológica foi realizada em cada uma
das imagens a fim de obter o contorno.
Na seção que segue será apresentado o experimento A partir das imagens segmentadas, o método descrito na
realizado, com o objetivo de analisar a eficiência do método Seção 2 é aplicado. As imagens passam pelo descritor pro-
descrito na Seção 2. Para isso, serão classificados dois posto, no qual a matriz C é gerada e, consequentemente, o
bancos de imagens: (i) generic shapes e (ii) fish. O primeiro ~ também. Quando as caracterı́sticas
vetor de caracterı́sticas Ω
✸✾ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

são extraı́das, a etapa (iii) inicia. A validação consiste em metade da matriz D possuir informações mais relevantes, o
classificar e validar as informações contidas em Ω ~ . Para que permite uma classificação mais precisa das imagens.
o presente trabalho foram utilizadas duas técnicas: Linear Após realizar a análise dos resultados expostos na Tabela
Discriminant Analysis (LDA) e validação cruzada leave - 1, um vetor T de tamanho médio foi escolhido (T =
one - out. Uma breve introdução sobre esses métodos será {0.05, 0.1, 0.2, ..., 0.8}). Sua função é servir como métrica
dada a seguir. de comparação dos resultados. Para essa configuração, é
Para a classificação foi utilizado o LDA. Esse é um possı́vel distinguir as classes com uma acurácia de 99.22%
classificador amplamente utilizado e consiste em estimar um na base de imagens fish e também manter eficiência de 100%
sub-espaço linear, de forma que a variância entre as classes de acertos quando aplicada na base de imagens generic
seja significativamente maior quando comparada à variância shapes.
dentro das classes [14]. O classificador realiza esse processo
definindo uma função densidade fi (x), i = 1, 2, ..., z , em ~.
TABELA 1. TAXAS DE ACERTO PARA ALGUNS VALORES DE Ω
que z é o número de classes que um banco de imagens
possui e x é a amostra. Com esses dados, o classificador Parâmetro T No Desc. Acurácia(%)
LDA obtém o valor da função densidade para cada classe i Generic shapes Fish
e classifica a amostra x para k , em que k é uma classe que {0.5, 1} 12 97.97 98.00
representa o maior valor de fi (x) . É importante ressaltar {0.33, 0.66, 1} 18 100 98.49
que essa função é definida através dos valores de média da {0.25, 0.5, 0.75, 1} 24 100 98.77
classe i e da matriz de covariância de todas as classes, como {0.2, 0.4, 0.6, 0.8, 1} 30 100 98.87
mostra a Equação 9. {0.1, 0.2, 0.4, 0.6, 0.8, 1} 36 98.98 99.11
{0.1, 0.2, 0.3, 0.4, 0.6, 0.8, 1} 42 97.97 99.15
1 1 {0.1, 0.2, ..., 0.5, 0.6, 0.8, 1} 48 97.97 99.17
fi (x) = − ln(|Σ|) − (x − µi )′ Σ−1 (x − µi )), (9) {0.05, 0.1, 0.2, ..., 0.8} 54 100 99.22
2 2
Por fim, a validação cruzada leave-one-out. Ela é uma {0.05, 0.1, 0.15, ..., 0.5} 54 93.93 98.85
técnica que busca avaliar a confiabilidade da generalização {0.1, 0.2, ..., 0.8, 1} 60 96.96 99.24
de um modelo. De forma simples, ela estima o erro do {0.05, 0, 1, ..., 0.4, 0.5, 0.75, 1} 66 98.98 99.30
nosso classificador. Esse processo é realizado utilizando uma {0.05, 0.1, ..., 0.5, 0.75, 1} 72 97.97 99.31
amostra x como teste, enquanto as demais são utilizadas {0.05, 0.1, 0.15, ..., 0.7} 84 71.71 99.11
para um conjunto de treinamento. Esse processo continua até
que todas as amostras x passem pelo processo de validação.
Ao final, a taxa de acerto média é a medida de desempenho 4.2. Comparação dos resultados
do classificador.
A fim de obter resultados aprimorados, a Subseção 4.2 Após definidos os parâmetros que permitem que o de-
mostra uma tabela comparando o método proposto com scritor proposto tenha um melhor desempenho, foi realizada
alguns tradicionais, como: descritores de Fourier [3], [4], a comparação com alguns descritores tradicionais, citados
momentos de Zernike [7], [8], descritores de Curvatura [15], ao final da Seção 2. Os resultados desses outros descritores
Multiscale Fractal Dimension [16] e Curvature Scale Space foram obtidos nos trabalhos [2], [17].
(CSS) [5]. A Tabela 2 mostra que o descritor proposto atinge uma
taxa de acerto elevada, que é significativamente maior que
4. Resultados e discussões os resultados do descritores tradicionais encontrados na
literatura.
4.1. Avaliação de parâmetros A acurácia encontrada para o banco generic shapes
se mostra superior às alcançadas em outros métodos. Isso
~ a partir da matriz
Para obter o vetor de caracterı́sticas Ω indica que o método proposto é eficiente para identificar
D é necessário um conjunto de parâmetros T . A fim de contornos com deformações ou oclusões. Apesar de o re-
encontrar um resultado que pode ser usado em comparações sultado escolhido ter um grande número de descritores
futuras, é necessário definir a mesma configuração de em comparação aos outros métodos, a quantidade de
parâmetros para as duas bases de imagens e assim configurar classificações corretas se mantém relativamente alta para
T de modo a encontrar a melhor descrição de caracterı́sticas. escolhas de parâmetros que geram menos descritores (12,
As taxas de acerto do experimento definido na Seção 3 18 e 24), mantendo as taxas de acertos próximas à máxima
foram obtidas variando-se T , valores expostos na Tabela 1. possı́vel.
De acordo com a tabela foi constatado que há dificuldade Quanto ao resultado do segundo banco, fish, o descritor
em diferenciar valores de caracterı́sticas similares e em anteriormente proposto é eficiente para extrair caracterı́sticas
grande quantidade. Por esse motivo, os conjuntos T que mantendo as propriedades de invariância a rotação e escala.
contêm cardinalidade elevada ou intervalos pequenos (0.01 Com exceção dos descritores de Fourier e do Curvature, nos
- 0.04) têm suas taxas de acerto muitos baixas, portanto quais os ganhos são de 0.15% e 1.67%, respectivamente,
foram retirados. Outro fato verificado diz respeito à primeira o descritor proposto nesse trabalho mostra um resultado,
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✹✵

no mı́nimo, 50% superior quando comparado aos demais. [6] M.K. Hu, Visual pattern recognition by moment invariants, IEEE
Esse resultado mostra que o método também é eficaz para Trans. Inform. Theory 8(2): 179–187, 1962.
distinguir formas similares. Outra caracterı́stica relevante é [7] N. D. Mustaffa Kamal and N. Jalil, Fastener recognition using com-
a acurácia, que se mantém superior a 98%, independente da bination of colour features with shape-based features and Zernike
moments, In IEEE Student Conference on Research and Develop-
variação do número de caracterı́sticas. ment (SCOReD), Kuala Lumpur, pages 1–5, 2016. Disponı́vel em:
Quanto à complexidade do algoritmo, necessitamos cal- http://ieeexplore.ieee.org/document/7810064/
cular as distâncias de todos os pontos do contorno entre
[8] M. Zhenjiang, Zernike moment-based image shape analysis and its
si, gerando N 2 distâncias. Assim, caracteriza-se um algo- application, Pattern Recogn. Lett 21 (2): 169–177, 2000.
rtimo O(N 2 ). Essa complexidade é uma desvantagem em
[9] X. Bai, X. Yang, D. Yu, and L. J. Latecki, Skeleton-based shape
comparação aos outros métodos, como Zernike e Fourier classication using path similarity, International Journal of Pattern
que possuem complexidade O(N log N ). Recognition and Articial Intelligence, 22(4): 733–746, 2008.
[10] X. Bai and L. J. Latecki, Path similarity skeleton graph matching,
TABELA 2. AVALIAÇ ÃO DOS DESCRITORES . O S RESULTADOS DOS IEEE Transactions on Pattern Analysis and Machine Intelligence
M ÉTODOS DE COMPARAÇ ÃO FORAM OBTIDOS NOS TRABALHOS [2], 30(7): 1282–1292, 2008.
[17].
[11] D. Sharvit, J. Chan, H. Tek, and B. B. Kimia, Symmetry-based
indexing of image databases, Journal of Visual Communication and
Descritores Acurácia(%) Image Representation, 9(4): 366–380, 1998.
Generic shapes Fish
[12] T. B. Sebastian, P. N. Klein, and B. B. Kimia, Recognition of
Descritor proposto 100 99.22 shapes by editing their shock graphs, IEEE Trans. Pattern Analysis
Fourier 83.84 99.07 and Machine Intelligence, 26(5): 550–571, 2004.
Zernike 91.92 12.23 [13] S. Abbasi, F. Mokhtarian, and J. Kittler, Search
Curvature 76.77 97.55 for similar shapes in the SQUID system: shape
M. S. Fractal Dimension 87.88 37.32 queries using image databases, 2005. Disponı́vel em:
http://www.ee.surrey.ac.uk/CVSSP/demos/css/demo.html.
Curvature Scale Space (CSS) 71.72 43.52
[14] K. Fukunaga, Introduction to Statistical Pattern Recognition, second
ed., Academic Press, 1990.
[15] W. Y. Wu and M. J. J. Wang, Detecting the dominant points by
5. Conclusão the curvature-based polygonal approximation, Graph. Models Image
Process. 55(2): 79–88, 1993.
No presente trabalho foi apresentado um descritor de
[16] R. da S. Torres, A. X. Falcão and L. da F. Costa, A graph-based
formas que utiliza o contorno de simples entendimento e approach for multiscale shape analysis, Pattern Recognition 37(6):
implementação. O descritor foi testado em dois bancos de 1163–1174, 2003.
imagens diferentes e obteve resultados superiores aos tradi- [17] A. R. Backes, D. Casanova, and O. M. Bruno, A complex network-
cionais. Podemos concluir pelo experimento que o método based approach for boundary shape analysis, Pattern Recognition,
proposto é eficiente em classificar imagens com oclusão, 42(1): 54–67, 2009.
articulação, partes faltantes, e é invariante a rotação, escala
e translação.
Por fim, como produções futuras, métodos semelhantes
que reduzam a complexidade da assinatura proposta, bem
como trabalhos com otimização ou seleção de carac-
terı́stiscas, devido ao alto número parâmetros e de de-
scritores, são exemplos de trabalhos que podem vir a mel-
horar os resultados expostos neste artigo.

Referências Bibliográficas
[1] A. R. Backes and O. M. Bruno, Shape classification using complex
network and Multi-scale Fractal Dimension, Pattern Recognition Let-
ters 31(1): 44-51, 2010.
[2] J. J. M. Sá Junior and A. R. Backes. Shape classification using line
segment statistics. Information Sciences, 305: 349–356, 2015.
[3] R. Gonzalez and R. E. Woods. Processamento de Imagens Digitais.
Editora Edgard Blucher, São Paulo, 2000.
[4] W. P. Lee, M. A. Osman, A. Z. Talib, K. Yahya, J. C. Burie,
J. M. Ogier, and J. Mennesson, Recognition of fish based on
generalized color Fourier descriptor, In Science and Information
Conference (SAI), London, pages 680–686, 2015. Disponı́vel em:
http://ieeexplore.ieee.org/document/7237215/
[5] F. Mokhtarian and M. Bober, Curvature Scale Space Representation:
Theory, Applications, and MPEG-7 Standardization, Kluwer Academic
Publishers, 2003.
✹✶ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Automatic segmentation of the human bone


vascular network
Pedro Henrique Campos Cunha Gondim Rejane Faria Ribeiro-Rotta Danilo Rocha Dias
Universidade Federal de Uberlândia Universidade Federal de Goiás Universidade Federal de Goiás
Email: phccgondim@gmail.com Email: rejanefrr@ufg.br Email: danilordias@yahoo.com.br

André Ricardo Backes Bruno Augusto Nassif Travençolo


Universidade Federal de Uberlândia Universidade Federal de Uberlândia
Email: arbackes@yahoo.com.br Email: travencolo@gmail.com

Resumo—Histological image analysis is considered “gold stan-


dard” to identify information for biological tissues and cells.
However, due the complexity of the biological tissue, manual
analysis has become onerous, slow and vulnerable to the sub-
jectivity of each researcher. Aiming to aid the researchers, we
proposed an automatic segmentation approach for histological
images of the human bone tissue. This segmentation approach
aims to isolate components of bone tissue known as bone canals
and osteocytes, responsible for oxygenation and nutrition of the
bones. We performed the evaluation of the method in terms
of accuracy, sensitivity, specificity and Dice coefficient. When
compared with traditional techniques like Otsu, Valley Emphasis
and Modified Valley Emphasis, the method proved to be better
for this type of segmentation.
Figura 1: Imagem histológica obtida aplicando-se corantes
I. I NTRODUÇ ÃO hematoxilina e eosina em lâmina de tecido ósseo.
Histologia é uma área da Biologia que estuda a formação,
estrutura e função de tecidos biológicos. A quantidade de
componentes presentes e a estrutura individual de cada tecido Pesquisadores das áreas biológicas reconhecem a im-
aumenta a complexidade das amostras, dificultando os estudos. portância da análise de imagens histológicas, tornando-a “gold
Para realizar uma análise histológica é feita uma secção extre- standard”. Porém, pela complexidade dos componentes a
mamente fina em uma parte do tecido. Em seguida, esta secção análise manual destas imagens se torna complexa, trabalhosa
é embebida em corantes para realçar componentes presentes e cara, além de estar sujeita a subjetividade de cada pesqui-
nos tecidos, como células, vasos e matriz intercelular. A sador [3]. O PDI (Processamento Digital de Imagens) possui
histologia é responsável por identificar estruturas normais e técnicas que podem auxiliar os especialistas. Por meio destas
patológicas presentes nos seres biológicos. [1]. técnicas é possı́vel extrair de tecidos ósseos informações como
Para que as estruturas teciduais possam ser visualizadas em número de canais, volume dos canais, diâmetro médio, quan-
microscópio, é necessário que seja obtida uma fina camada do tidade de osteócitos, densidade de osteócitos, etc. Entretanto,
tecido, que é fixado em uma lamina, e corado por diferentes para que todas essas medidas possam ser quantificadas, antes
técnicas especı́ficas para cada objetivo de avaliação. Dois co- é preciso realizar a segmentação da imagem, isto é, isolar e
rantes são comumente usados por especialistas quando se quer identificar, de forma automática, cada um dos componentes
pigmentar uma amostra de tecido, a hematoxilina e a eosina das imagens [4].
(H&E). Por meio da aplicação da hematoxilina é possı́vel A segmentação da região de interesse é a parte mais difı́cil
realçar partes basófilas (substâncias com potencial hidro- e pode determinar o êxito ou fracasso de todo um sistema
geniônico básico), como os núcleos. Após a sua aplicação, as de diagnóstico auxiliado por computador (CAD - “computer-
estruturas basófilas adquirem uma coloração púrpura-azulada. aided diagnosis”) [5]. Historicamente, pesquisadores na área
A eosina é responsável por detectar e pigmentar substâncias de PDI têm voltado seus esforços para a segmentação de
acidófilas (substâncias com potencial hidrogeniônico ácido), núcleos em imagens histológicas pigmentadas com H&E [6].
mudando a coloração destas estruturas para uma tonalidade Existem inúmeras técnicas já comprovadas eficientes para este
rosada [2]. Uma amostra histológica corada pela técnica H&E tipo de segmentação, porém segmentar outros artefatos das
é mostrada na Figura 1 a fim de ilustrar a ação dos corantes imagens histológicas, como os canais ósseos e osteócitos,
em uma amostra de tecido ósseo. ainda é um campo pouco explorado e com muitas dificuldades.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✹✷

O tecido ósseo contem uma matriz mineralizada, contendo


canais por onde passam vasos sanguı́neos, e na qual estão
os osteócitos “aprisionados” em lacunas. O processo de corte
e fixação de fatias de tecido ósseo em lâminas histológicas é
complexo, exigindo desmineralização prévia, e dificultando a
visualização de elementos celulares, especialmente dentro da (a) (b) (c)
matriz tecidual, como por exemplo os núcleos dos osteócitos.
Segmentar componentes destas imagens histológicas não Figura 2: Imagens histológicas irregulares: (a) Desfoque;
é uma tarefa trivial devido à complexidade da estrutura do (b) Luminosidade não uniforme; (c) Baixo contraste entre
tecido ósseo e aspectos visuais irregulares. Por exemplo, pode intensidades
ocorrer desfoque em alguma região da imagem, gerando um
borramento e, consequentemente, ruı́dos, como é mostrado
na Figura 2(a). Outra irregularidade que se mostrou comum II. M ATERIAIS E M ÉTODOS
foi a luminosidade não uniforme. Esse defeito é causado Os conjuntos de imagens foram fornecidos pelos pesqui-
pelo excesso de luz capturada em uma determinada região sadores em odontologia da Universidade Federal de Goiás.
da imagem, como exposto na Figura 2(b). Uma deformação Espécimes ósseos foram obtidos a partir de biópsia du-
extremamente prejudicial a segmentação automática baseada rante procedimento de instalação de implantes dentários, com
na intensidade é o baixo contraste entre os diferentes tons da auxı́lio de uma broca trefina com 2,7mm de diâmetro interno.
imagem. Sendo os tons muito próximos, uma pequena variação Os tecidos foram desmineralizados em solução de EDTA (pH
em um limiar pode resultar em uma falha da segmentação. 7,0) por uma semana, processados automaticamente (OMA
Essa anomalia na imagem é exibida na Figura 2(c). Ainda DM-20, M20090257, São Paulo, Brasil), incluı́dos em para-
que o processamento histológico seja extremamente rigoroso, fina, seccionados com um micrótomo (Leica RM2165) em
diversas variáveis neste processo podem influenciar na lumino- cortes sequenciais de 5µm, e fixados com a técnica de
sidade e coloração das imagens, como variações de espessura rotina de hematoxilina/eosina (HE; Merck KGaA). Imagens
e de desmineralização do tecido, variações de temperatura e microscópicas digitais foram obtidas usando uma câmera
pH, e variações na iluminação do microscópio. digital conectada ao microscópio óptico (x5) (Axio Scope A1,
Este trabalho é focado em amostras histológicas do tecido Carl Zeiss, 3322000179, Göttingen, Germany), que havia sido
ósseo humano extraı́dos da maxila e mandı́bula. Inserido neste previamente calibrado. Foram obtidos 10 conjuntos contendo
tecido se encontra a rede vascular óssea, responsável pelo de 12 a 20 imagens sequenciais. Cada conjunto de imagens
fornecimento de oxigênio e nutrientes para todo o tecido. corresponde a um sitio ósseo no qual foi instalado um implante
Uma patologia envolvendo essa rede vascular pode ocasionar dentário:
a diminuição de nutrientes para as células ou até mesmo inter-
romper a entrega tanto de oxigênio quanto de nutrientes [7]. • P3A – mandı́bula posterior esquerda (região de pré-
Por este e outros motivos o estudo dessa rede vascular é de molares);
extrema importância para os pesquisadores. • P3D – mandı́bula posterior direita (região de molares);
Os componentes a serem estudados neste trabalho são os ca- • S17 – maxila posterior direita (região de molares);
nais vasculares ósseos e osteócitos, os quais estão distribuı́dos • S19A – maxila posterior esquerda (região de molares);
na matriz óssea. Nas imagens histológicas, os canais ósseos • S27 – mandı́bula posterior direita (região de pré-molares);
são identificados por grandes aberturas de cor branca. Já os • S29A – maxila anterior (região de incisivos centrais);
osteócitos são representados por pequenas cavidades (lacunas), • S35 – mandı́bula posterior direita (região de molares);
também de cor branca,contendo um núcleo celular visı́vel nos • S36A – maxila posterior esquerda (região de pré-
casos de osteócitos ativos, ou vazias, no caso de morte ou molares);
perda celular [2]. A Figura 1 ilustra estes dois componentes. • S37 – mandı́bula posterior esquerda (região de molares)
A análise dos componentes da rede vascular óssea é mais • S39A – mandı́bula posterior esquerda (região de mola-
completa quando se tem a reconstrução 3D das amostras res).
seccionadas. Para realizar a reconstrução 3D é necessário sec- Por se tratarem de regiões diferentes, nas quais os dentes
cionar a rede vascular óssea serialmente, logo depois é feito o apresentam funções mastigatórias distintas, cada sitio apre-
alinhamento de cada imagem 2D obtida de cada secção serial. senta tecido ósseo com caracterı́sticas distintas quanto a micro-
Após o alinhamento das imagens é feita a segmentação do arquitetura trabecular (como número, espessura e volume das
objeto de interesse e a partir da segmentação é possı́vel agrupar trabéculas), e portanto variam quanto ao número e distribuição
as imagens e reconstruı́-las de maneira 3D [8]. Conseguindo de osteócitos, bem como quanto à vascularização.
assim a extração de caracterı́sticas intrı́nsecas a objetos de 3 A metodologia deste trabalho foi dividida em 3 etapas,
dimensões, como por exemplo o volume de cada canal ósseo. ilustradas na Figura 3. A primeira parte da metodologia foi
Neste trabalho foi desenvolvida uma técnica automática de o pré-processamento, responsável por corrigir e/ou ajustar
segmentação capaz de isolar os canais ósseos e osteócitos da as imagens para a próxima etapa. A segunda etapa foi o
rede vascular óssea de tecido humano. processamento, na qual foram testados e propostos métodos
✹✸ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

para a segmentação das imagens. Na terceira etapa ocorreu 3) Deconvolução de cor: Tem como objetivo principal a
o pós-processamento, no qual as imagens sofreram algumas separação dos canais de corantes como a hematoxilina e eosina
alterações para maximizar a acurácia. As seções seguintes ou até mesmo diaminobenzidine (DAB;brown). Segundo [10]
detalham cada uma dessas etapas. os métodos de deconvolução de cor anteriores a eles perdiam
informações, pois muitas das vezes a deconvolução era di-
recionada para áreas pigmentadas com apenas um corante.
Porém, é muito difı́cil que uma imagem histológica seja tão
bem definida. Portanto, eles desenvolveram um método que
pode ser usado para praticamente todas as combinações de
duas ou três colorações. O método é baseado na transformação
ortonormal da imagem original RGB (Red, Green, Blue).
Para dar continuidade a explanação sobre a deconvolução
de cor é necessário abordar a representação de cor. Mais
Figura 3: Diagrama do método proposto para segmentação especificamente sobre a relação entre a transmissão de luz
automática do canal vascular ósseo e osteócito em imagens e a espessura da camada do meio absorvente, conhecida
histológicas como a lei de Lambert-Beer’s [10]. Quando um feixe de luz
monocromática atravessa um meio transparente homogêneo,
cada camada desse meio absorve igual fracção de luz que atra-
A. Pré-processamento vessava. A lei pode ser expressa pela equação I = I0 ∗ 10−x1 ,
Nesta etapa ocorreu o ajuste de contraste, mudança de onde I é a intensidade da luz transmitida; I0 intensidade da
espaço de cor de RGB (red, green, blue) para XYZ na imagem luz incidente; x coeficiente de absorção; 1 a espessura do meio
original, e a deconvolução de cor descritas nas Seções II-A2, absorvente.
II-A1 e II-A3, respectivamente. No modelo RGB as intensidades IR , IG , IB são obtidas
1) Conversão de espaço de cor: A CIE (Commission pela câmera para cada pixel. A intensidade relativa a cada
Internationale de l’Eclairage — Comissão Internacional de canal depende da concentração de corante de uma maneira
Iluminação) padronizou as cores seguindo a representação não linear, por isso os valores de intensidade não podem ser
de tri-estı́mulo, que são os nı́veis de estı́mulo detectados diretamente usados para a separação e mensuração de cada
pelos três tipos de cone existentes no olho humano, criando corante [10]. No entanto, a densidade óptica (OD) de cada
assim o modelo de cor conhecido hoje como RGB. Pelo canal pode ser definida como ODx = −log10 (I/I0 ). Segundo
problema associado a mistura de cor negativa (ocasionada essa, a OD para cada canal é linear com a concentração de
pelo canal vermelho - R) a CIE desenvolveu em 1931 um absorção do material e por isso pode ser usada para a separação
novo espaço de cor denominado XYZ, o qual contém todas de múltiplos corantes na amostra [10].
as cores espectrais puras dentro do seu octante positivo e Cada um dos corantes presentes na amostra pode ser carac-
onde o seu canal Y representa a luminância, ou seja, o brilho terizado por uma densidade óptica especı́fica em cada um dos
percebido. A transformação de RGB para XYZ se dá por meio três canais RGB, o qual pode ser representado por um vetor de
da Equação 1 [9]. três posições. Por exemplo, uma amostra tingida apenas com
corante hematoxilina resulta em um OD com valores 0.18,
0.20 e 0.08 para os canais R, G e B, respectivamente[10].
    
X 0.490 0.310 0.200 R
 Y  = 0.177 0.812 0.011 G (1) Para cada corante que tingiu a amostra haverá então um
Z 0.000 0.010 0.990 B vetor de três posições. Assim, caso tenha-se uma amostra
com três corantes o vetor passa a ser uma matriz 3x3 da
Este trabalho enfrenta o desafio de segmentar regiões bran- densidade óptica de cada corante em relação aos canais RGB
cas e consequentemente com mais brilho na imagem. Com um [10], com cada linha representando um corante e cada coluna
modelo de cor que possui um canal destinado a luminosidade, representando um canal. Para cada corante pode-se determinar
as chances de resultados satisfatórios aumentam, por isso a uma densidade óptica em cada um dos três canais medindo a
necessidade da mudança de modelo de cor. absorção relativa ao vermelho, verde e azul [10]
2) Ajuste de contraste: Ajuste de contraste, ou realce, Para conseguir a separação dos corantes em [10] os autores
é uma técnica que se baseia na função de transformação fizeram uma transformação ortonormal das informações RGB
radiométrica. Essa função consiste em mapear as variações para extrair as informações independentes de cada corante.
de intensidade do intervalo original para um novo intervalo Depois normalizaram a transformação para obter o balance-
de cinza. Essa técnica é aplicada ponto a ponto, ou seja, a amento correto do fator de absorção de cada corante. Para
intensidade de cada pixel é calculada separadamente, indepen- a normalização é preciso dividir cada vetor OD pelo seu
dentemente de seus vizinhos. Quanto maior o novo intervalo tamanho total, resultando assim em uma matriz normalizada
de intensidade de cinza, maior será o contraste. Normalmente M [10]. Os valores da matriz normalizada sobre a combinação
o ajuste é empı́rico, porém o mesmo pode ser feito por meio dos corantes de hematoxilina, eosina e DAB utilizados neste
de análise de histograma [5]. trabalho são expostos na Equação 2.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✹✹

  construir uma partição C que minimize o erro quadrático


0.550 0.758 0.351 descrito na Equação 3 [11].
0.398 0.634 0.600 (2)
k X
0.754 0.077 0.652 X
Erro(C) = |p − mi |2 (3)
Seja C o vetor de três posições para as quantidades dos três i=1 p∈Ci
corantes em um pixel em particular, então o vetor de nı́veis OD
A execução do método k-médias se divide em 4 grande
detectado para aquele pixel é y = CM. A partir disso pode-se
etapas:
dizer que C = M−1 [y]. Isso significa que a multiplicação entre
o OD da imagem com o inverso da matriz OD, pode definir a 1) Escolhe-se aleatoriamente um número k de centros
matriz de deconvolução D, resultando em uma representação (seeds) para iniciar os grupos;
ortogonal dos corantes formando a imagem: C = D[y] [10]. 2) Cada elemento é atribuı́do ao grupo cujo centro esteja
O processo final de deconvolução de cor implica que: mais próximo;
3) Move-se cada centro para a média (centróide) dos obje-
• Subtraindo parte do OD do verde e OD do azul para o
tos do grupo correspondente;
OD vermelho obtém-se o OD da hematoxilina;
4) Repete-se os passos 2 e 3 até que algum critério de
• Subtraindo uma porção do OD de vermelho e OD azul
convergência seja satisfeito (no caso, o erro quadrático);
para o OD verde obtém-se o OD da eosina;
• Subtraindo uma porção de OD vermelho com OD azul
Inicialmente os elementos são distribuı́dos aleatoriamente
para OD verde obtém-se o OD da DAB; entre os k grupos. A cada nova iteração o algoritmo tenta
minimizar a distância intra-classe, ou seja, a distância en-
Para este artigo o melhor resultado é o canal da hemato-
tre elementos do mesmo grupo devem possuir as menores
xilina, que ajuda na detecção dos osteócitos ao passo que a
distâncias, e maximizar a distância entre-classes (elementos
maioria conta com núcleos, além de ajudar no preenchimento
de grupos distintos com maiores distâncias). A execução do
dos canais ósseos pois possuem componentes básicos (PH) em
método termina quando os elementos de um grupo estão
seu interior.
o mais próximo possı́vel uns dos outros e elementos de
B. Processamento grupos distintos estão o mais longe possı́vel baseado no erro
Para a etapa de processamento foi utilizado o algoritmo quadrático [11].
de agrupamento k-médias com a similaridade baseada na
distância euclidiana. Esse algoritmo foi utilizado com o intuito
de segmentar uma imagem em um conjunto de k partições.
O algoritmo foi aplicado no canal Y com k = 7 núcleos
e no primeiro canal da deconvolução de cor com k = 5
núcleos. Após a segmentação os dois resultados obtidos foram
unidos em uma única imagem. Os valores de k foram definidos
empiricamente.
Mesmo combinando o resultado das duas execuções do k-
médias o resultado mostrou-se abaixo do aceitável. Com o
intuito de melhorar o resultado obtido foi implementada uma
técnica de crescimento de regiões. Nela, os pixels segmentados
pelo k-médias foram selecionados na imagem original e a
média de suas intensidades se tornou o ponto de partida do
algoritmo.
A partir disso, os pixels da imagem original que são vizinhos Figura 4: Passo-a-passo do processamento aplicado a uma
a uma região segmentada e que estiverem dentro de um imagem.
limiar de cor serão incorporados ao resultado final. As seções
seguintes detalham o funcionamento dos algoritmos k-médias 2) Crescimento de regiões guiado: A ideia básica desta
e de crescimento de regiões. técnica é unir pixels ou sub-regiões a regiões maiores base-
1) Algoritmo de agrupamento k-médias: Os algoritmos de ado em critérios definidos previamente para o crescimento.
agrupamento tem por objetivo agrupar objetos baseados na Geralmente a técnica começa com um conjunto de pontos
similaridade. A ideia geral do algoritmo pressupõe uma base denominados “sementes”, e as regiões crescem a partir destas
de dados com n elementos e um número k ≤ n (fornecido pelo sementes anexando a elas os vizinhos que possuem carac-
usuário) que será a quantidade de grupos a serem formados terı́sticas similares [5].
ao final da execução do método. Neste trabalho, a imagem resultante da etapa de junção
Matematicamente, o método pode ser assim descrito. Seja da aplicação do algoritmo k-médias é utilizada como uma
C = C1 , ..., Ck uma partição dos dados em k grupos e máscara para selecionar os pixels de interesse na imagem origi-
m1 , m2 , . . . , mk elementos escolhidos em cada grupo para nal. Calcula-se a média dos pixels selecionados em cada canal.
representar o seu centro. O objetivo do método k-médias é Em seguida, percorre-se o conjunto de pixels inicialmente não
✹✺ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

selecionados calculando a distância euclidiana entre o pixel e dos canais ósseos durante a segmentação. As intensidades
a média da região. Se este pixel estiver a uma distância menor dos pixels nas imagens 14, 16 e 17 se diferem bastante das
que a estipulada (esta distância é baseada na quantidade de demais. A estrutura dos canais ósseos das imagens 14 e 15
pixels agrupados, caso passa-se de 15% da total da imagem foi danificada pela luminosidade, impossibilitando a extração
ela era diminuı́da) ele é adicionado a região de interesse. de caracterı́sticas pelos especialistas, o que ocasionou o seu
descarte.
C. Pós-processamento Das 21 imagens do conjunto S35, 20 foram segmentadas.
A etapa de pós-processamento consiste na remoção de arte- Em algumas imagens há problemas de luminosidade, fazendo
fatos que possam atrapalhar a identificação dos canais ósseos e com que as intensidades das regiões de interesse se asseme-
osteócitos. Primeiramente, realizou-se a remoção de pequenos lhasse ao restante da imagem. A imagem 19 apresenta um
objetos para evitar ruı́dos no resultado final. Na sequência desbalanceamento de luminosidade entre o lado esquerdo e
foram removidos os objetos que não possuı́am um mı́nimo direito da imagem (o lado esquerdo é mais claro do que o
de circularidade, pois os canais ósseos e osteócitos possuem direito). Além disso, o lado esquerdo possui borramento e a
uma certa circularidade. Por fim, foi feito o preenchimento de imagem contém uma faixa de coloração rosada mais intensa
buracos nas áreas selecionadas. Isso foi feito para completar as que as demais, impossibilitado a sua segmentação.
regiões de interesse e não perder a sua forma original. A Figura No conjunto S36A, foi possı́vel segmentar as 9 imagens.
4 apresenta um exemplo de cada passo do processamento Todas as imagens deste conjunto possuem interferência da cor
aplicado em uma imagem. branca no seu fundo. Existem tecidos dentro do canal ósseo
que se ligam ao resto do tecido da imagem, fazendo com que
III. R ESULTADOS se perdesse um pouco da estrutura do canal ósseo.
Para cada imagem foram geradas 2 imagens segmentadas, No conjunto S37 o centro de todas as imagens é muito
uma contendo os osteócitos e outra com os canais ósseos. Esse claro (branco interferindo nas cores), causando confusão entre
separação foi necessária para os trabalhos futuros (mais deta- região de interesse e restante da imagem. No entanto, todas as
lhes na Seção VI). Em cada um dos 10 conjuntos de imagens 13 imagens foram segmentadas.
houveram dificuldades particulares e em graus diferentes. O conjunto S39A possui 8 imagens. Todas as imagens
O conjunto P3A possui 13 imagens sequenciais (de 1 a tinham graves problemas de luminosidade, mas que não im-
13), das quais 12 foram segmentadas. A imagem 12 estava pediram a sua segmentação. O total de imagens dos conjuntos
tão danificada pela luminosidade que optou-se por descartá- é de 142 das quais 137 foram segmentadas.
la. A maioria das imagens estava com baixı́ssimo contraste
entre os elementos de interesse e o restante da imagem. As IV. AVALIAÇ ÃO DOS RESULTADOS
bordas de todas as imagens tinham resquı́cio de hematoxilina. Foram utilizadas 3 métricas para avaliar as segmentações:
O conjunto P3D possui 20 imagens e todas foram seg- acurácia, sensibilidade e especificidade. Por meio da
mentadas. Em todas as imagens havia baixo contraste. As comparação entre a segmentação automática e a segmentação
intensidades variam muito entre as imagens do conjunto. As manual é possı́vel obter quatro classificações para as regiões
duas últimas imagens do conjunto possuem uma estrutura segmentadas: o verdadeiro positivo (VP), corresponde ao pixel
diferente das demais, dificultando ainda mais a etapa de classificado como sendo de canal ósseo ou osteócito e que
segmentação. realmente é de canal ósseo ou osteócito; o verdadeiro negativo
O conjunto S17 possui 12 imagens e todas foram segmen- (VN), que é o pixel classificado como não sendo de canal
tadas. O maior problema do conjunto foi o borramento de ósseo ou osteócito e que realmente não é de canal ósseo ou
osteócitos em todas as imagens. osteócito; o falso positivo (FP) é o pixel classificado como
No conjunto S19F, de um total de 10 imagens, 9 foram seg- sendo de canal ósseo ou osteócito, mas que não é de canal
mentadas. A imagem 2 possui objetos de mesma intensidade ósseo ou osteócito; e o falso negativo (FN) representa pixel
das regiões de interesse, o que dificulta a segmentação. Todas classificado como não sendo de canal ósseo ou osteócito, mas
as imagens possuem graves problemas de luminosidade. A que é de canal ósseo ou osteócito.
imagem 3 estava tão danificada, com tantos objetos semelhan- A partir dessas quatro classificações é possı́vel calcular as
tes as regiões de interesse que seria impossı́vel o especialista métricas de sensibilidade (Se), especificidade (Es) e acurácia
extrair alguma informação, sendo portanto descartada. (Ac). A sensibilidade (Se = V PV+F P
N ) calcula a quantidade
Existem 19 imagens no conjunto S27, e todas foram seg- de pixels segmentados pelo método manual e que foram
mentadas. A hematoxilina realçou algumas regiões que não segmentados corretamente pela técnica proposta. A especifi-
eram de interesse, porém não afetou de forma significativa a cidade (Es = V NV+F N
P ) mostra a quantidade de pixels que
segmentação, já que estes objetos foram eliminados no pós- não foram detectados pelo método manual e também não
processamento. foram segmentados pela técnica proposta. A acurácia (Ac =
V P +V N
O conjunto S29A possui 17 imagens e 15 foram seg- V P +V N +F P +F N ) reflete os pixels corretamente segmentados
mentadas. Os canais ósseos de todas as imagens possuem em toda a região de interesse [12].
tecido dentro deles que se conectam ao tecido do resto da A Tabela I mostra os resultados médios obtidos para cada
imagem, ocasionado perda de muita informação da estrutura conjunto para as métricas de sensibilidade (Se), especificidade
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✹✻

(Es) e acurácia (Ac). Os resultados mostram que a técnica são a região de interesse de cada imagem, calcular uma média
proposta apresenta bons resultados nas 3 medidas A principal e fazer com que o crescimento de regiões seja executado até
exceção é o conjunto S29A, o qual apresentou baixo resultado que a quantidade de pixels seja menor ou igual a esta média.
de sensibilidade devido a presença de tecido dentro dos canais Caso esta etapa não fosse feita o resultado da segmentação
ósseos, comprometendo a segmentação. incluiria muitos pixels falso positivos e as formas dos canais
ósseos e osteócitos seriam perdidas.
Tabela I: Sensibilidade, especificidade e acurácia
VI. T RABALHOS FUTUROS
Conjunto SE ES AC
P3A 91,17 99,91 98,44 A segmentação das imagens histológicas do tecido ósseo
P3D 67,40 99,40 98,37 humano é uma parte importante da reconstrução 3D, a qual se
S17 83,59 99,78 98,97 dá em 3 etapas. A primeira etapa constiste no alinhamento das
S19F 62,16 99,98 97,20
S27 94,51 98,74 98,18 imagens de cada conjunto. A segunda etapa é a segmentação,
S29A 63,18 94,15 91,10 sendo a reconstrução 3D a terceira etapa. Atualmente as
S35 85,68 99,95 99,41 imagens já foram alinhadas e segmentadas e como trabalho
S36A 97,86 91,99 94,20
futuro pretende-se realizar a reconstrução 3D dos conjuntos.
S37 81,42 99,93 96,95
S39A 90,33 99,21 97,69 VII. AGRADECIMENTOS
Média 85,99 98,30 97,05
Este trabalho é apoiado pelo CNPq (proc. 456855/2014-9
Foi utilizado também o coeficiente de Dice para compa- e 302416/2015-3), CAPES, FAPEMIG (proc. APQ-01345-13,
rar os resultados obtidos pelo método proposto (MP) com REONCO-52-11, APQ-03437-15) e PROPP-UFU.
Otsu [13], Valley Emphasis (VE) [14] e Modified Valley R EFER ÊNCIAS
Emphasis (MVE) [15]. O coeficiente de Dice é uma medida
[1] F. Liu, A. Mackey, R. Srikuea, K. Esser, and L. Yang, “Automated image
de sobreposição entre duas regiões e é comumente usado segmentation of haematoxylin and eosin stained skeletal muscle cross-
para avaliação de segmentação [16]. A Equação 4 descreve sections,” J Microsc, vol. 252, no. 3, pp. 275–285, 2013.
o coeficiente de Dice e a Tabela II mostra a comparação [2] L. C. Junqueira, J. Casaroli-Marano, J. C. Ricardo Pedro tr LC Junqueira
et al., Histologia básica, 2000.
entre os resultados. Note que em todas as bases a abordagem [3] L. Azevedo, A. M. Faustino, and J. M. R. Tavares, “Segmentation and 3d
proposta mostrou-se superior as demais técnicas, corroborando reconstruction of animal tissues in histological images.” Computational
sua eficácia no problema proposto. and Experimental Biomedical Sciences: Methods and Applications, pp.
193–207, 2015.
[4] F. Xing and L. Yang, “Robust nucleus/cell detection and segmentation
|A ∩ B| in digital pathology and microscopy images: a comprehensive review,”
Dice = 2 (4)
|A| + |B| IEEE Rev Biomed Eng, vol. 9, pp. 234–263, 2016.
[5] R. C. Gonzalez and R. Woods, Processamento Digital de Imagens.
Tradução de Cristina Yamagami e Leonardo Piamonte. São Paulo:
Tabela II: Coeficiente de Dice para Modified Valley Emphasis Pearson Prentice Hall, 2010.
(MVE); Otsu; Valley Emphasis (VE) e o Método Proposto (MP) [6] L. Nguyen, A. B. Tosun, J. L. Fine, A. V. Lee, D. L. Taylor, and S. C.
Chennubhotla, “Spatial statistics for segmenting histological structures
Conjunto MVE Otsu VE MP in h&e stained tissue images,” IEEE Trans Med Imag, 2017.
P3A 90,67% 89,84% 63,93% 95,08% [7] A. F. de Abreu, B. V. de Paiva, F. S. Rocha, P. Dechichi, and B. A. N.
P3D 42,25% 43,45% 49,25% 73,58% Travençolo, “Análise do impacto da radioterapia na rede vascular óssea
S17 72,33% 63,48% 64,87% 88,93% auxiliada por um algoritmo de esqueletonização,” in CBIS - Congresso
S19 30,79% 19,58% 18,54% 76,21% Brasileiro da Informática em Saúde, 2014.
[8] G. D. Rabelo, B. A. N. Travençolo, M. A. Oliveira, M. E. Beletti,
S27 89,50% 87,61% 88,13% 93,60%
M. Gallottini, and F. R. X. d. Silveira, “Changes in cortical bone
S29A 51,74% 48,17% 48,23% 60,81%
channels network and osteocyte organization after the use of zoledronic
S35 63,52% 55,31% 56,55% 91,40% acid,” Archives of Endocrinology and Metabolism, vol. 59, no. 6, pp.
S36A 78,68% 78,75% 78,75% 92,74% 507–514, 2015.
S37 69,16% 64,82% 64,09% 89,11% [9] M. Tkalcic and J. F. Tasic, Colour spaces: perceptual, historical and
S39A 76,50% 64,60% 64,42% 93,02% applicational background. IEEE, 2003, vol. 1.
Média 61,51% 53,69% 59,76% 85,44% [10] A. C. Ruifrok, D. A. Johnston et al., “Quantification of histochemical
staining by color deconvolution,” Anal Quant Cytol Histol, vol. 23, no. 4,
pp. 291–299, 2001.
V. C ONCLUS ÃO [11] K. Krishna and M. N. Murty, “Genetic k-means algorithm,” IEEE Trans
Existem grandes desafios na segmentação de imagens his- Syst , Man, Cybern, vol. 29, no. 3, pp. 433–439, 1999.
[12] M. Oger, P. Belhomme, and M. N. Gurcan, “A general framework for
tológicas. Os principais desafios são os aspectos visuais irregu- the segmentation of follicular lymphoma virtual slides,” Comput Med
lares, como os descritos na Seção III. As técnicas de maneira Imaging Graph, vol. 36, no. 6, pp. 442–451, 2012.
isolada não foram capazes de obter um resultado satisfatório, [13] N. Otsu, “A threshold selection method from gray-level histograms,”
IEEE Trans Syst , Man, Cybern Part B, vol. 9, no. 1, pp. 62–66, 1979.
porém quando combinadas o resultado gerado pode ser capaz [14] H.-F. Ng, “Automatic thresholding for defect detection,” Pattern Recog-
de auxiliar biólogos, patologistas entre outros especialistas na nit Lett, vol. 27, no. 14, pp. 1644–1649, 2006.
analise dos canais ósseos e osteócitos. A parte mais complexa [15] J.-L. Fan and B. Lei, “A modified valley-emphasis method for automatic
thresholding,” pp. 703–708, 2012.
do desenvolvimento foi chegar ao limiar de cada iteração [16] M. Veta, P. J. van Diest, R. Kornegoor, A. Huisman, M. A. Viergever,
do crescimento de regiões. Como se trata de um sistema and J. P. Pluim, “Automatic nuclei segmentation in h&e stained breast
automático, foi necessário calcular a quantidade de pixels que cancer histopathology images,” PLoS One, vol. 8, no. 7, p. e70221, 2013.
✹✼ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Exploring fuzzy numbers for image texture analysis


Geovane da Silva Patrı́cio, Carolina Yukari Veludo Watanabe
Computer Science Departament
Federal University of Rondônia
e-mail: diouvane.gs@gmail.com, carolina@unir.br

Resumo—Fuzzy numbers present the ability to represent Um grande número de técnicas tem sido proposto para a
uncertainties, instead of conventional methods based on extração de caracterı́sticas de textura. Com base no domı́nio
traditional logic (crisp). Digital images may suffer damage do qual o recurso da textura é extraı́do, estas podem ser ampla-
such as noise or distortion during the capture process, and the
theory of fuzzy logic and sets becomes an interesting approach mente classificadas por métodos de extração de caracterı́sticas
to address such problems. Aiming to explore this approach in de textura espaciais (métodos estatı́sticos e estruturais) e
the image texture analysis, in this work we study the method espectrais [2].
Location Fuzzy Pattern (LFP), proposed by Vieira (2013), which Métodos estatı́sticos tendem a definir textura como suave,
was originally developed using sigmoid (LFP-s), symmetric grossa, fina, granulada etc. Como descritores estatı́sticos sim-
triangular (LFP-t) and gaussian (LFP-g) functions to calculate
the membership degrees of the central pixel in relation to its ples podem ser citados a média, momentos, uniformidade,
neighborhood. Here, we extended the method to the symmetric correlação, contraste, homogeneidade e entropia. Métodos es-
trapezoidal function, which we called LFP-tr. We compared truturais lidam com a captura do arranjo espacial de primitivas
the performance of the four membership functions, using two de textura presentes na imagem. Já os métodos espectrais são
image data sets: Brodatz, and one with lung pathologies. The baseados em propriedades do espectro de Fourier e são usadas
best results were using the sigmoid function and we get high
accuracy to characterize lung pathologies. para detectar a periodicidade global em uma imagem pela
identificação de picos de alta energia no espectro [3] [1].
Index Terms — Feature Extraction, texture analysis, Fuzzy Caracterı́sticas espaciais podem ser extraı́das de qualquer
Numbers, Image Processing. tipo de formato sem perda de informação e geralmente
possuem significado semântico compreensı́veis por humanos.
I. I NTRODUÇ ÃO Contudo, é difı́cil adquirir um número suficiente de carac-
terı́sticas espaciais para a representação de uma imagem ou
Com o desenvolvimento de equipamentos de aquisição de região, e métodos espaciais são usualmente sensı́veis a ruı́dos.
imagens na área médica, o avanço do uso da internet e a Por outro lado, os métodos espectrais são robustos e utilizam
popularização de smartphones, um grande volume de dados menos recursos computacionais, visto que a convolução no
de imagens são gerados atualmente. Assim, diversas técnicas domı́nio espacial é obtida como o produto no domı́nio da
computacionais têm sido desenvolvidas para realizar o pro- frequência, na qual é implementada usando as Transformadas
cessamento automático dessas imagens visando dar suporte a Rápidas de Fourier (FFT), mas não possuem significado
sistemas de auxı́lio ao diagnóstico e sistemas de recuperação compreensı́vel por humanos.
de imagens por conteúdo. As abordagens por micropadrões locais surgem então como
Uma imagem digital pode ser tratada como uma coleção uma alternativa promissora para tratar regiões e extração
de pixels representados como grandes matrizes de números de caracterı́sticas de imagens digitais. Nesta abordagem, os
inteiros correspondentes às intensidades ou cores destes pixels descritores de textura local têm como objetivo modelar algo-
em diferentes posições na imagem. O objetivo geral de uma ritmos que tenham a capacidade de analisar as propriedades
extração de caracterı́stica é extrair padrões significativos a par- da superfı́cie de um objeto. O processo é realizado a partir
tir destes números. Estes padrões podem ser encontrados nas da análise e da codificação de uma vizinhança, computando
cores, texturas ou formas presentes em uma imagem digital. as relações de intensidades relativas entre os pixels desta
As medições geradas a partir destes padrões são denotadas vizinhança.
como caracterı́sticas de baixo nı́vel (low-level features) [1]. Com relação ao processo de captura/aquisição de imagens
Uma abordagem importante para a descrição de regiões de digitais, estas podem sofrer distorções, sejam borrões ou
uma imagem é quantificar seu conteúdo de textura. A textura ruı́dos. Uma alternativa que tem se mostrado eficaz para
é uma das mais importantes caracterı́sticas presentes em uma representar ou manipular tais incertezas são os números fuzzy.
imagem. Enquanto a cor é usualmente a propriedade de um Inicialmente, os sistemas fuzzy surgiram como uma forma de
pixel, as texturas só podem ser medidas a partir de um conjunto modelar e tratar incertezas inerentes a lı́ngua ou ao cotidiano
de pixels. Devido ao seu grande poder discriminatório, as humano.
caracterı́sticas presentes nas texturas são amplamente usadas Um método que utiliza o poder descritivo dos sistemas e
em recuperação de imagens e técnicas semânticas de aprendi- números fuzzy para modelar a distribuição de nı́veis de cinza
zagem [2]. de um micropadrão como um conjunto fuzzy e que a partir
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✹✽

de funções de pertinência gera códigos fuzzy para representar de pertinência sigmoide (LFP-s), triangular simétrica (LFP-t)
o grau de pertinência dos pixels vizinhos em relação ao pixel e gaussiana (LFP-g).
central é o proposto por [4], chamado Local Fuzzy Pattern Na Fig. 1 está representado o pipeline da metologia reali-
(LFP), para caracterização de textura. Originalmente, este zada neste trabalho, e cada uma das etapas estão descritas a
método foi apresentado usando as funções sigmoide (LFP-s), seguir.
triangular simétrica (LFP-t) e gaussiana (LFP-g) para calcular
os graus de pertinência do pixel central.
Assim, o objetivo deste trabalho foi explorar o método
desenvolvido por [4], estendendo-o para a função trapezoidal
simétrica, o qual chamamos de LFP-tr, para caracterização
de textura de imagens médicas. Para analisar o desempenho
da LFP-tr e das outras funções, foram calculadas as taxas
de acerto usando a distância Chi-quadrado, sobre duas bases
de imagens: Brodatz e uma com patologias de pulmão. O
restante do artigo está estruturado da seguinte maneira: na Figura 1: Metodologia
Seção II são apresentados os trabalhos correlatos ao LFP,
na Seção III é apresentado o descritor proposto, chamado
A. Organização da base de imagens
LFP-tr, e a metodologia de desenvolvimento da pesquisa, a
Seção IV apresenta os resultados e discussões, comparando Nesta seção estão descritas as bases de imagens utilizadas.
os desempenho do LFP-tr aos propostos na literatura (LFP-s, 1) Álbum de Brodatz: A primeira base de imagens de
LFP-g e LFP-t), e por fim a Seção V apresenta as conclusões. texturas utilizada para avaliar o desempenho do extrator de
caracterı́sticas aqui proposto com relação aos originalmente
II. T RABALHOS CORRELATOS propostos por [4], foi o álbum de Brodatz [11]. Este conjunto
O Texture Unit (TU) [5] foi um dos primeiros métodos pro- de imagens digitalizadas possui uma enorme variedade de
postos para caracterização e classificação de textura, onde se texturas e é amplamente utilizado para testes e pesquisas na
relaciona a intensidade dos nı́veis de cinza de uma vizinhança. área de processamento de imagens digitais visando a extração
A principal desvantagem deste descritor é a quantidade elevada de caracterı́sticas.
de códigos gerados, há 6561 unidades de textura possı́veis. Foram selecionadas do álbum de Brodatz 111 imagens de
Já o Local Binary Pattern (LBP) [6], outro método utilizado texturas naturais e sintéticas. Cada imagem é considerada
na descrição e classificação de texturas, reduz a quantidade como uma classe de dimensão 640×640 pixels. De cada classe
de códigos gerados pelo TU para 256. No entanto, com esta são extraı́das 10 amostras aleatórias, como exemplificado na
simplificação, há uma redução do poder discriminatório e Fig. 2, totalizando assim em 1110 amostras de texturas. Fo-
o aumento da sensibilidade a ruı́dos, visto que é realizada ram geradas amostras de diversos tamanhos: 45×45, 50×50,
uma comparação crisp entre os pixels, perdendo assim, a 55×55, 60×60, 65×65, 70×70, 75×75, 80×80, 85×85 e
informação relacionada com a quantidade real da diferença 90×90.
entre os valores dos pixels.
Algumas metodologias que utilizam o poder descritivo
dos conjuntos e números fuzzy já foram propostas, como:
segmentação de imagens de textura [7] [8]; análise, reconhe-
cimento e classificação [9], [10]. Os problemas citados acima
obtiveram a ajuda da lógica fuzzy para gerenciar adequada-
mente informações vagas ou ambı́guas, tornando o processo
de caracterização e classificação mais flexı́vel. Todas, de uma
certa forma, são versões fuzzificadas da metologia Local
Binary Pattern (LBP) [6].
Em [4] é proposta uma generalização do LBP para usar
números fuzzy, chamado Local Fuzzy Pattern (LFP), o qual
foi estudado e explorado neste trabalho para caracterização de
texturas da base amplamente conhecida de Brodatz e uma base
de imagens de pulmão para diferenciação de patologias.
III. M ETODOLOGIA Figura 2: Geração de amostras a partir das imagens de textura do álbum de Brodatz.
Nesta seção, a metodologia proposta usando Local Fuzzy
Pattern - trapezoidal pertinence function (LFP-tr) é descrita. O 2) Álbum de Pulmão: Para verificar a aplicação do vetor
método LFP-tr aqui proposto é uma extensão do método LFP de caracterı́stica proposto no domı́nio de imagens médicas,
desenvolvida por [4], que originalmente utilizou as funções a segunda base de imagens utilizada pertence a um conjunto
✹✾ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

de imagens de tomografia computadorizada de alta resolução O grau de pertinência µ̂g(i,j) do pixel central definido pela
de exames torácicos focados em pulmão [12]. A base de vizinhança W × W é dado pela média ponderada dos valores
imagens está dividida em um total de seis classes distintas, de pertinências de cada pixel. Tal grau de pertinência define o
de acordo com a patologia detectada: enfisema, consolidação, cógigo LFP que reflete a estrutura do micropadrão dentro da
vidro fosco, favo de mel (ou faveolamento), espessamento vizinhança considerada.
e normal. Na Fig. 3 uma amostra de cada classe citada Neste trabalho propomos a extensão da metodologia de [4]
anteriormente é exemplificada. para a função de pertinência trapezoidal simétrica, ao que
chamamos de Local Fuzzy Pattern - Trapezoidal (LFP-tr), que
possui um aspecto semelhante a função de pertinência triagular
simétrica. Para analisar matematicamente a função trapezoidal,
a representação matemática e gráfica do número fuzzy trape-
zoidal é apresentada na Eq. 2 e na Fig. 4, respectivamente:
Figura 3: Exemplos de texturas presentes no álbum de Pulmão (a) enfisema (b)  x−a
consolidação (c) espessamento (d) faveolamento (e) normal (f) vidro fosco [12]. 
 m−a , se a ≤ x < m

se m ≤ x ≤ n

 1,
Cada classe de imagens possui 451 amostras distintas, ϕA (x) = b−x (2)
totalizando assim em 2706 imagens utilizadas no processo de  , se n < x ≤ b
 b−n


classificação e extração de caracterı́sticas. Diferentemente da  0, caso contrário
base de imagens de Brodatz, as amostras possuem um tamanho
fixo de 64×64 pixels.
B. Método Local Fuzzy Pattern usando função trapezoidal -
LFP-tr para extração de caracterı́sticas de textura
A abordagem utilizada neste trabalho chama-se Local Fuzzy
Pattern (LFP), proposta inicialmente por [4], que apesar de
receber a mesma nomenclatura do método proposto por Ca-
ponetti et al. (2006), se diferencia pelo fato de uma função de
pertinência estar diretamente responsável pelo código LFP.
Tal metodologia é baseada na teoria fuzzy, porém sem o
uso de regras fuzzy. Os pixels são interpretados como números Figura 4: Representação gráfica da função de pertinência trapezoidal [4].
fuzzy e a vizinhança como um conjunto fuzzy.
Tratando os nı́veis de cinza de um pixel como números fuzzy Partindo do fato de que se trata de um trapézio simétrico,
é possı́vel incorporar a sua variabilidade inerente aos conceitos ou seja, m − a = n − m = b − n = δ, e colocando todos os
fuzzy, fornecendo assim uma metodologia mais apropriada valores em função de m, temos:
para tratar imagens digitais. O fato de a abordagem utilizada se
basear em números fuzzy ao invés de conjuntos fuzzy implica a = m − δ; n = m + δ; b = m + 2δ (3)
diretamente no custo computacional da metodologia.
A representação por números fuzzy é paramétrica e a sendo δ o espalhamento do número fuzzy.
definição de uma função de pertinência apropriada é heurı́stica Realizando as substituições em (2), obtemos:
e aberta a diversas possibilidades. A definição das funções
x−a x − (m − δ) x−m
de pertinência baseia-se nas propriedades da vizinhança do v1 = = =1+ (4)
micropadrão W × W e do pixel central g(i, j) em uma m−a m − (m − δ) δ
imagem digital. Cada distribuição de nı́veis de cinza dentro da
vizinhança é considerada um conjunto fuzzy devido ao grau b−x (m + 2δ) − x x−m
de incerteza gerado pelos processos de aquisição ou ruı́dos v2 = = =2− (5)
b−n (m + 2δ) − (m + δ) δ
imprevisı́veis que podem afetar uma imagem [4].
O grau de pertinência do pixel central g(i, j) para o micro- Considerando que os valores da função de pertinência po-
padrão definido pela vizinhança W × W é apresentado na Eq. dem assumir os valores [0,1], uma função trapezoidal simétrica
1: pode então ser definida como:
PW PW
l=1 [fg(i,j) P (k, l)]
fg(i,j) = max(min(min(v1, v2), 1), 0). (6)
µ̂g(i,j) = k=1PW PW (1)
k=1 l=1 P (k, l) Substituindo os valores de v1 e v2, temos:
onde fg(i,j) é a função de pertinência que irá gerar os valores
     
das pertinências em relação ao pixel central, e P (k, l) é a x−m x−m
matriz de pesos para a vizinhança A(k, l) com a mesma fg(i,j) = max min min 1 + ,2 − ,1 ,0
δ δ
dimensão W × W . (7)
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✺✵

onde x e m representam a vizinhança analisada A(k, l) e o Uma classificação é considerada correta se esta pertencer
pixel central g(i, j), respectivamente. à mesma classe da amostra para qual a menor distância foi
A função de pertinência trapezoidal gera valores no inter- encontrada. Os resultados são armazenados em uma matriz
valo [0, 1], sendo necessária a conversão para um esquema de confusão (o número de acertos, para cada classe, se loca-
de nı́vel de cinza de 8 bits, os graus de pertinência são liza na diagonal principal M (Ci , Cj ), os demais elementos,
multiplicados por 255 e arredondados ao fim. O histograma M (Ci , Cj ), para i 6= j, representam erros de classificação) e
do LFP-tr, assim como as demais funções analisadas, possuem a sensibilidade (resultados de classificação verdadeiros positi-
256 bins (quantidade de valores representados no histograma vos) é então calculada de acordo com a Eq. 11.
e que variam entre 0 e 255).
TP
As matrizes de peso de tamanho 3×3 e 5×5 possuem a S= (11)
seguinte forma: TP + FN
  onde T P são os verdadeiros positivos e F N os falsos negati-
1 1 1 vos.
(8)
 
P (k, l) = 1 0 1
IV. R ESULTADOS E D ISCUSS ÕES
1 1 1
Nesta seção são apresentados os resultados experimentais
 
1 1 1 1 1 obtidos com o descritor LFP-tr comparado aos propostos por
  [4] (LFP-s, LFP-t e LFP-g). As bases de imagens utilizadas
1 1 1 1 1
  foram o álbum de Brodatz e o conjunto de amostras de
P (k, l) =  1 1 0 1 1
 (9) exames computadorizados com foco em pulmão, apresentados
 
1 1 1 1 1 anteriormente.
1 1 1 1 1 Pelo fato de o método utilizado ser paramétrico e a escolha
das funções ideais ser heurı́stica, é necessário definir os
C. Obtenção dos vetores de caracterı́sticas
parâmetros utilizados em cada descritor. Na função sigmoide
O conjunto de amostras extraı́das da base de imagens de há a inclinação da curva representada por β, as funções
texturas de Brodatz foi submetida ao extrator de caracterı́sticas triangular e trapezoidal têm em comum o parâmetro δ que
Local Fuzzy Pattern (LFP) [4] , utilizando as funções de define o espalhamento dos números fuzzy, e σ definindo o
pertinência sigmoidal (LFP-s), triangular (LFP-t), gaussiana desvio padrão na função gaussiana. A seguir são apresentados
(LFP-g), todas estas já utilizadas no trabalho referenciado, os resultados e os parâmetros que propiciaram os melhores
acrescentando-se a função de pertinência trapezoidal (LFP-tr), resultados para todos os descritores.
para posterior comparação de resultados.
Para as bases de imagens de textura, com diferentes ta- A. Resultados para o álbum de Brodatz
manhos de amostras, foram aplicados os métodos LFP-s, As Tabelas I e II apresentam as sensibilidades obtidas
LFP-t, LFP-g e LFP-tr, gerando seus histogramas a partir para a vizinhança de tamanho 3×3, enquanto as Tabelas III e
das distribuições de probabilidade dos códigos provenientes IV monstram os valores dos parâmetros utilizados. Os valores
dos descritores utilizados. Cada imagem passa então a ser em negrito representam o melhor valor de sensibilidade obtido
representada por um vetor de caracterı́sticas com 256 atributos. de acordo com o tamanho de amostra e seu correspondente
descritor.
D. Classificação das amostras
Tabela I: Melhores valores de sensibilidade obtidos pelas funções analisadas utilizando
Após a extração das caracterı́sticas das imagens e da uma vizinhança 3x3.
obtenção dos vetores de caracterı́sticas, estes últimos são 3x3 45x45 50x50 55x55 60x60 65x65
classificados usando a distância Chi-quadrado [4], conforme LFP-s 81,622 86,306 90 91,802 92,973
Eq. 10: LFP-t 71,802 78,018 79,459 82,883 86,667
LFP-g 77,297 82,432 83,964 86,847 88,829
255
1 X (P i − Qi)2 LFP-tr 72,252 74,685 80,541 84,144 85,766
χ2 (P i, Qi) = (10)
2 i=0 (P i + Qi)
Tabela II: Demais tamanhos de amostras analisadas utilizando a vizinhança 3x3 e os
onde Qi é a frequência do nı́vel de cinza da amostra avaliada valores de sensibilidade obtidas.
e Pi a frequência do nı́vel de cinza da amostra do conjunto 3x3 70x70 75x75 80x80 85x85 90x90
que está sendo comparada com a amostra avaliada. Para cada LFP-s 94,414 96,667 96,216 96,667 97,207
histograma de uma amostra gerado, a validação cruzada leave- LFP-t 88,198 89,189 91,532 92,162 93,333
one-out (forma particular de validação cruzada onde o número LFP-g 91,892 92,342 93,604 94,865 95,586
de classificação é o número de exemplos, o classificador é LFP-tr 89,099 90,541 90,541 91,532 93,243
construı́do n vezes, utilizando os dados completamente no
treino e sendo custoso computacionalmente) é utilizada para Comparando os resultados fica evidente que o aumento no
comparação com os histogramas das demais amostras (1109 tamanho das amostras proporciona uma melhor classificação
outras amostras para o álbum de Brodatz), por exemplo. das imagens. A função de pertinência sigmoidal (LFP-s)
✺✶ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Tabela III: Parâmetros utilizados para obter os melhores valores de sensibilidade Tabela VII: Parâmetros utilizados para obter os melhores valores de sensibilidade
utilizando uma vizinhança 3x3. utilizando uma vizinhança 5x5.
3x3 45x45 50x50 55x55 60x60 65x65 5x5 45x45 50x50 55x55 60x60 65x65
β (LFP-s) 1,002 0,75 0,95 1,05 0,9 β (LFP-s) 0,9 0,9 0,9 0,9 0,9
δ (LFP-t) 5,6 5,6 5,8 5,65 5,65 δ (LFP-t) 5,8 5,8 5,8 5,7 5,8
σ (LFP-g) 1,8 1,8 1,8 1,55 1,65 σ (LFP-g) 1,1 1,1 1,1 1,1 1,1
δ (LFP-tr) 5,6 5,8 5,4 5,4 5,6 δ (LFP-tr) 5,8 5,8 5,8 5,4 5,8

Tabela IV: Valores de parâmetros e seus respectivos tamanhos de amostra. Tabela VIII: Demais valores de parâmetros e seus respectivos tamanhos de amostra.
3x3 70x70 75x75 80x80 85x85 90x90 5x5 70x70 75x75 80x80 85x85 90x90
β (LFP-s) 0,71 0,75 0,75 0,725 1,005 β (LFP-s) 0,9 0,9 0,9 0,9 0,95
δ (LFP-t) 5,65 5,6 5,8 5,72 5,72 δ (LFP-t) 5,72 5,8 5,8 5,8 5,8
σ (LFP-g) 1,8 1,8 1,8 1,8 1,8 σ LFP-g 1,15 1,1 1,1 1,1 1,1
δ (LFP-tr) 5,4 5,8 5,3 5,3 5,8 δ (LFP-tr) 5,35 5,3 5,35 5,65 5,8

obteve os melhores valores de sensibilidade dentre todos os B. Resultados para o álbum de pulmão
tamanhos de amostras comparados, chegando a superar em
A base de imagens de pulmão se divide em seis clas-
mais de 6% o segundo melhor valor de sensibilidade, no caso
ses distintas, cada classe representando um tipo diferente
da amostra de tamanho 75×75 do álbum de Brodatz. Observa-
de laudo médico, os possı́veis laudos são: 1 - enfisema;
se que a função trapezoidal mostrou-se mais eficiente que a
2 - consolidação; 3 - espessamento; 4 - faveolamento; 5 -
função triangular em alguns tamanhos de amostras.
normal; 6 - vidro fosco. Para cada classe de imagens foram
As Tabelas V e VI apresentam os valores de sensibilidade
selecionadas 451 amostras de tamanho único de 64×64 pixels,
obtidos para a vizinhança de tamanho 5×5:
num total de 2706 amostras. Aplicando os descritores LFP-
Tabela V: Melhores valores de sensibilidade obtidos pelas funções analisadas utilizando
s, LFP-t, LFP-g e LFP-tr, os valores de sensibilidade foram
uma vizinhança 5x5. obtidos e apresentados nas Tabelas IX e X seguidos dos valores
5x5 45x45 50x50 55x55 60x60 65x65 de parâmetros utilizados.
LFP-s 66,036 72,432 76,757 81,892 85,225
LFP-t 60,541 67,207 71,892 75,225 79,369 Tabela IX: Valores de sensibilidade obtidos para vizinhança 3×3.
LFP-g 68,649 73,874 77,568 79,73 85,315 3x3 64x64
LFP-tr 60,27 66,396 72,883 77,207 80,541 LFP-s 80,377
LFP-t 65,965
LFP-g 66,408
LFP-tr 64,339
Tabela VI: Demais tamanhos de amostras analisadas utilizando a vizinhança 5x5 e os
valores de sensibilidade obtidas.
5x5 70x70 75x75 80x80 85x85 90x90 Na Tabela IX é possı́vel notar que o melhor valor de
LFP-s 88,018 89,73 92,523 93,694 95,045 sensibilidade foi obtido pelo descritor LFP-s (sigmoide), em
LFP-t 81,441 85,856 86,937 88,468 89,82 negrito. O descritor LFP-tr (trapezoidal) obteve o valor de
LFP-g 86,216 88,378 91,351 92,072 92,523 sensibilidade mais baixo, considerando uma vizinhança 3×3.
LFP-tr 84,234 85,946 87,387 89,189 90,721
Tabela X: Parâmetros utilizados para obter os melhores valores de sensibilidade para
Os valores de sensibilidade obtidos mostram que um au- cada descritor, com uma vizinhança 3×3.
3x3 64x64
mento da vizinhança (de 3×3 para 5×5) não necessaria-
β (LFP-s) 1,2
mente proporcionou um melhor processo classificatório. Tanto δ (LFP-t) 70
usando uma vizinhaça 3×3 quanto uma de 5×5, para todos os σ (LFP-g) 20
descritores a sensibilidade aumentou de acordo com o aumento δ (LFP-tr) 49
do tamanho da amostra. Isso ocorreu porque é possı́vel coletar
um maior número de informações da textura. Já as Tabelas XI e XII definem os valores para uma
Ainda é possı́vel notar que, a partir de amostras de tamanho vizinhança 5×5 obtidos com o álbum de pulmão. É possı́vel
60×60, o descritor LFP-s (sigmoide) foi o que apresentou me- observar que o melhor valor de sensibilidade obtido foi pelo
lhores valores de sensibilidade. Apesar de na maior parte dos descritor LFP-s, sendo o LFP-tr o segundo melhor resultado.
resultados do descritor proposto LFP-tr (trapezoidal) ter obtido O descritor que apresentou o desempenho mais baixo foi o
um desempenho um pouco melhor que o LFP-t (triangular), LFP-g, ao contrário do álbum de Brodatz, que este descritor
e em alguns momentos um desempenho um pouco inferior, apresentou o segundo melhor desempenho na maioria dos
pode-se observar que ambos apresentaram um desempenho experimentos realizados. Na tabela dos parâmetros, diferen-
muito semelhante, inclusive, quando observados os parâmetros temente dos parâmetros encontrados para o álbum Brodatz, é
encontrados para os melhores valores de sensibilidade, que na possı́vel ver que os valores de δ encontrados para a função
maioria das vezes possuı́ram o mesmo valor de δ. triangular foi bem diferente da trapezoidal.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✺✷

Tabela XI: Valores de sensibilidade para vizinhança 5×5.


5x5 64x64
acima de 80%, o que pode ser considerado um resultado
LFP-s 74,759 promissor, já que o problema de identificação de patologias
LFP-t 63,895 em pulmão é de difı́cil caracterização.
LFP-g 63,303 Assim, o LFP mostra-se sensı́vel à função de pertinência
LFP-tr 64,929
utilizada e também aos parâmetros para definição dessas
Tabela XII: Parâmetros utilizados para obter os melhores valores de sensibilidade, com funções. O maior poder discriminatório dos conjuntos e
uma vizinhança 5×5. números fuzzy mostrou ser uma boa forma de analisar,
5x5 64x64 reconhecer e classificar micropadrões presentes em imagens
LFP-s 7
LFP-t 52,5
digitais e na aplicação médica.
LFP-g 20
LFP-tr 27,5

R EFER ÊNCIAS
V. C ONCLUS ÃO [1] J. Ahmad, M. Sajjad, I. Mehmood, S. Rho, and S. W. Baik, “Describing
colors, textures and shapes for content based image retrieval-a survey,”
Este artigo apresentou um novo descritor, chamado LFP-tr, arXiv preprint arXiv:1502.07041, p. 15, 2015.
que é uma extensão da função LFP proposta por [4], para a [2] D. Zhang, M. M. Islam, and G. Lu, “A review on automatic image
annotation techniques,” Pattern Recognition, vol. 45, no. 1, pp. 346–
função de pertinência trapezoidal. Para validar o desempenho 362, 2012.
deste descritor, foram realizados experimentos em duas bases [3] R. C. Gonzalez and R. E. Woods, Processamento de imagens digitais,
de imagens, e os valores de sensibilidade de todas as funções terceira ed. Edgard Blucher, 2008.
[4] R. T. Vieira, “Análise de micropadrões em imagens digitais baseada em
de pertinência, quando aplicados sobre a base de imagem de números fuzzy,” Msc. Dissertation, 2013.
Brodatz, foram muito satisfatórios, sendo superiores a 90% em [5] D.-C. He and L. Wang, “Texture unit, texture spectrum, and tex-
tamanhos de amostras maiores. Observa-se pelos resultados ture analysis,” IEEE transactions on Geoscience and Remote Sensing,
vol. 28, no. 4, pp. 509–512, 1990.
que o descritor proposto obteve desempenho muito semelhante [6] T. Ojala, M. Pietikäinen, and D. Harwood, “A comparative study of
ao LFP-t. Também foi possı́vel verificar que o descritor LFP- texture measures with classification based on featured distributions,”
s mostrou-se mais adequado para a maioria das amostras, e Pattern recognition, vol. 29, no. 1, pp. 51–59, 1996.
[7] L. Caponetti, C. Castiello, A. M. Fanelli, and P. Górecki, “Texture
que tanto o LFP-tr quanto o LFP-t e o LFP-g variaram no segmentation with local fuzzy patterns and neuro-fuzzy decision sup-
ranking de desempenho. Analisando o desempenho do LFP port,” in International Conference on Knowledge-Based and Intelligent
para todas a funções de pertinência, é possı́vel observar que Information and Engineering Systems. Springer, pp. 340–347.
[8] L. Tlig, M. Sayadi, and F. Fnaiech, “A new descriptor for textured image
o método não se comporta bem para amostras pequenas, com segmentation based on fuzzy type–2 clustering approach,” International
tamanho inferior a 60×60, e que o uso de uma vizinha menor Journal of Signal and Imaging Systems Engineering, vol. 7, no. 3, pp.
(no caso a de 3×3) permitiu que caracterı́sticas de textura mais 159–166, 2014.
[9] D. K. Iakovidis, E. G. Keramidas, and D. Maroulis, “Fusion of fuzzy
significativas fossem extraı́das. Assim, ressalta-se a premissa statistical distributions for classification of thyroid ultrasound patterns,”
de que a escolha do tipo de extrator, do tipo de função e dos Artificial Intelligence in Medicine, vol. 50, no. 1, pp. 33–41, 2010.
parâmetros utilizados muda de acordo com a base de imagens [10] S. Katsigiannis, E. Keramidas, and D. Maroulis, FLBP: Fuzzy Local
Binary Patterns. Berlin, Heidelberg: Springer Berlin Heidelberg, 2014,
analisadas. pp. 149–175.
Os valores obtidos de sensibilidade com a base de pulmão [11] P. Brodatz, Textures: a photographic album for artists and designers.
para o LFP-tr foram consideravelmente inferiores aos obtidos Dover Pubns, 1966.
[12] M. P. da Silva, “Processamento de consultas por similaridade em
com o álbum de Brodatz para um tamanho de amostra seme- imagens médicas visando à recuperação perceptual guiada pelo usuário,”
lhante, mas o descritor LFP-s apresentou uma sensibilidade Ph.D. dissertation, 2009.
✺✸ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Binarization Algorithms Applied to Chromosomes


Image Segmentation
Angélica L. Jesus∗ , Valmir Macario∗ , Filipe R. Cordeiro∗ , Suy F. Hwang† , Fabiana F. Lima†
∗ Departamento de Estatística e Informática
Universidade Federal Rural de Pernambuco

†Divisão de Técnicas Analíticas e Nucleares (DITAN)


Centro Regional de Ciências Nucleares do Nordeste (CRCN-NE/CNEN)
e-mail: {angelica.lopes,valmir.macario,filipe.cordeiro}@ufrpe.br{shwang,fflima}@cnen.gov.br

Resumo—Chromosome analysis is an important procedure 4 dias para a preparação das amostras e produção de lâminas
to detect genetic diseases. However, the process of identifying [5]. Esses aspectos motivam o uso de sistemas computacionais
chromosomes can be very time consuming since they are selected para automatizar e dinamizar a análise cromossômica.
manually. In an automated chromosome analysis system, the
thresholding step is often used to identify individuals or cluster Em sistemas automatizados, é muito importante que os
of chromosomes. This paper provides a review of threshold cromossomos estejam destacados do fundo da imagem para
techniques in literature applied to chromosome segmentation. permitir que o sistema faça algumas análises, tais como,
We have implemented fifteen methods, which are divided into contar se o número de cromossomos esperado está presente
four categories: clustering, entropy, histogram and local based ou verificar as diferentes formas ou tipos de cromossomos.
methods. The techniques were evaluated with CRCN-NE and
BioImLab datasets, consisting of 112 images, using the metrics Este artigo tem como objetivo revisar técnicas de threshol-
of accuracy, precision, MCC and sensitivity. Results have showed ding, que é uma abordagem usada para destacar objetos na
that clustering algorithms achieved better results for both bases. imagem, aplicadas na segmentação de imagens de cromo-
A post processing step was also applied, increasing the quality ssomos. Este trabalho avalia 15 algoritmos de binarização,
of results. We could observe that the image acquisition process que representam quatro categorias da literatura: agrupamento,
has a significant impact on the algorithm choice.
baseada em entropia, método baseado em histograma e local.
I. I NTRODUÇÃO Para avaliar os algoritmos foram utilizadas as métricas MCC,
precisão, sensibilidade e acurácia em duas bases de imagens
Cromossomos são estruturas presentes em todas as células com diferentes características quanto a presença de ruídos, ilu-
nucleadas de todos os organismos vivos. Em sua vasta apli- minação e contraste. Além disso, este artigo contribui desen-
cação, a análise cromossômica é uma importante ferramenta volvendo um algoritmo de pós-processamento para melhorar
na estimativa da dose absorvida por um indivíduo exposto à a qualidade da segmentação, eliminando ruídos residuais dos
radiação ionizante (dosimetria). No caso de exposição exce- algoritmos de binarização.
ssiva a essas radiações, é importante uma avaliação rápida
e precisa da estimativa dessa dose para que a equipe médica A. Trabalhos relacionados
defina qual estratégia é mais eficiente no tratamento. A técnica Várias pesquisas têm sido realizadas para desenvolver um
de análise de dicêntricos tem sido utilizada na análise de dose sistema computacional que auxilie na análise cromossômica.
absorvida [1]. Esta técnica demanda muito tempo, quando Kurtz et al. [6] aplicaram técnicas de visão computacional
realizado manualmente, e os sistemas automatizados são esca- como suavização, realce de contraste, dilatação e limiari-
ssos e custosos [2]. Além disso, a experiência e habilidade do zação para segmentar os cromossomos, visando auxiliar o
profissional citogeneticista é um fator importante para a correta geneticista na análise da forma do cromossomo, não avali-
classificação das aberrações, o que torna a análise subjetiva [3]. ando/comparando métodos de binarização existentes. Poletti
A maioria dos laboratórios de citogenética executam a aná- et al. [7] fizeram uma comparação com imagens segmentadas
lise de cromossomos de forma manual [4]. No Centro Regional manualmente, entre uma variedade de métodos de limiarização
de Ciências Nucleares do Nordeste (CRCN - NE), no Brasil, o voltados para segmentação de imagens de cromossomos, con-
processo de análise cromossômica é feito manualmente; i.e., cluindo que métodos que possuem limiarização local obtêm
um especialista por meio de um microscópio óptico analisa melhor desempenho, por se adaptarem melhor a variações do
ao menos 500 células em metáfase (fase do ciclo celular em fundo da imagem. Porém essa comparação é feita em apenas
que os cromossomos são visíveis) por cada amostra irradiada, uma base de imagens e não há etapa de pós-processamento.
contabilizando a frequência de aberrações cromossômicas en- Em 2015, Kurtz et al. [2] criaram um software que permite
contradas em cada metáfase. Este processo leva um tempo ao usuário segmentar a imagem e identificar os cromossomos
aproximado de 5 dias para avaliar cada indivíduo, mais 3 a utilizando correlação de padrões de banda, porém ele não
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✺✹

aborda a avaliação de métodos de binarização presentes nesse primeiro plano e do fundo da imagem. As iterações são
artigo. interrompidas quando o módulo da diferença entre o valor
do limiar de duas iterações seguidas |Tn − Tn+1 | se torna
II. A LGORITMOS DE B INARIZAÇÃO
suficientemente pequeno, definindo dessa forma o valor do
Binarização, ou limiarização, é a conversão de uma imagem limiar [10].
originalmente em tons de cinza para uma imagem binária (com O algoritmo K-means [11] é um algoritmo simples de apren-
dois tons), geralmente preto e branco. dizagem não supervisionado. A ideia principal é definir um
A maior dificuldade na aplicação da limiarização é a defi- número k de centroides, um para cada grupo. Em seguida, cada
nição do valor do limiar. No survey de Sezgin e Sankur [8] dado (nesse caso pixel da imagem) é analisado e associado
foi desenvolvido uma taxonomia voltada para algoritmos de ao centroide mais próximo a ele até que não tenha nenhum
binarização, onde foram definidos seis grupos ou categorias de dado pendente formando os primeiros grupos. Em seguida os
acordo com as informações que eles exploram na imagem. Os k centroides são recalculados e os pixels devem ser novamente
15 algoritmos avaliados neste artigo são baseados em quatro associados com os k centroides mais próximos a eles. Esses
dessas categorias como mostra a Tabela I, são elas: i. métodos passos são repetidos até que os centroides não se movimentem
de agrupamento: a ideia principal desses métodos consiste em mais.
separar os pixels (níveis de cinza), em grupos de acordo com O método de Seleção iterativa (IS) [12] é um processo
as características similares que eles possuem; ii. baseados em iterativo para encontrar o limiar ótimo. O método assume,
entropia: nesta categoria a ideia é explorar a distribuição da arbitrariamente, um valor inicial para o limiar e refina esse
entropia dos níveis de cinza em uma imagem; iii. métodos limiar de acordo com os níveis de cada classe. Inicialmente o
baseados em formas de histograma: esses métodos encontram valor de cinza médio é atribuído ao limiar e com base nesse
o limiar com base nas propriedades de forma do histograma; limiar são coletadas estatísticas dos níveis binários (preto e
iv. métodos locais: um limiar é calculado para cada região branco) das classes. A partir disso, calcula-se a média da escala
da imagem, levando em consideração apenas os pixels da de cinza para os pontos abaixo do limiar Tb da mesma forma
vizinhança. para os pontos acima do limiar To .
Tabela I: Algoritmos divididos em categorias B. Métodos baseados em entropia
Otsu O algoritmo de Kapur [7] considera que a imagem contém
Métodos baseados em agrupamento
Riddler duas fontes de sinais diferentes e que ela é resultado de
K-means duas distribuições de probabilidade. Então, para obter o limiar
Seleção Iterativa
ótimo a entropia total de cada imagem particionada (primeiro
Kapur plano e fundo) é calculada e em seguida, é feita a maximização
Pun
Métodos baseados em entropia da entropia entre o primeiro plano (HB ) e o fundo (HW ).
Johannsen
Sahoo O algoritmo de Pun [13] considera o nível de cinza do his-
Two Peaks tograma como estatisticamente independente. O limiar ótimo
Métodos baseados em formas de histograma Mean gray level é calculado maximizando o limite superior das somas das
Percentage of black
entropias a posteriori dos pixels do primeiro plano da imagem
Bernsen mais a dos pixels do plano de fundo da imagem.
Niblack
Métodos locais
Sauvola No algoritmo de Johannsen [14], o objetivo é dividir a ima-
White gem minimizando a interdependência entre os níveis de cinza.
Para isso, igualmente aos algoritmos de Kapur e Pun, são
Os algoritmos Seleção iterativa, Mean gray level e Percen- calculadas a entropia dos pixels pretos (HB ) e separadamente,
tage of black não foram categorizados no survey mas foram a entropia dos pixels brancos (HW ).
classificados nesse trabalho como algoritmo de agrupamento e O algoritmo Sahoo [15] utiliza a entropia de Reny para
algoritmos baseados na forma do histograma, respectivamente. encontrar o limiar ótimo. Esse método usa duas distribuições
Abaixo, são descritos os algoritmos em cada categoria. de probabilidade (objeto e fundo) derivados da imagem ori-
ginal em níveis de cinza, incluindo o método da soma das
A. Métodos baseados em agrupamento máximas probabilidades (Kapur) e o método entrópico de
Otsu é caracterizado por ser não parametrizado e não correlação. Considere p0 , p1 , p2 , ...p255 como a distribuição de
supervisionado [9]. O limiar ótimo é escolhido minimizando probabilidade para cada nível de cinza. Desta distribuição de
a soma ponderada das variações dentro das classes, primeiro probabilidade, duas distribuições são derivadas, uma delas é a
plano e fundo da imagem. Nesse método, a minimização das distribuição da classe do objeto e a outra distribuição da classe
variações é equivalente à maximização da dispersão/variância do fundo.
entre as classes [8].
O Algoritmo de Riddler é baseado num esquema iterativo C. Métodos baseados em formas de histograma
que mistura modelos de duas classes gaussianas. Um novo A utilização do histograma para determinar o limiar é uma
limiar Tn é escolhido a cada iteração baseado na média do técnica bem comum. Foi observado que quando há um vale
✺✺ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

entre dois picos no histograma, o limiar é facilmente encon- Avaliação dos resultados. As etapas são descritas nas próximas
trado. O método que utiliza essa característica do histograma Subseções. O fluxograma abaixo mostra a relação entre as
é denominado Two peaks (TP) [12]. Esse método pode ser etapas, como ilustrado na Figura 1.
dividido basicamente em dois passos: encontrar os dois picos
e encontrar o menor ponto entre eles.
A técnica Mean gray level (MGL) [16], ou nível de cinza
médio, soma todos os valores de todos os pixels da imagem,
calculando a média deles obtendo assim o limiar. Em outras
palavras, o limiar é definido pelo valor médio do histograma
em tons de cinza. A aplicação do Mean gray level faz com que, Figura 1: Fluxograma do processo de segmentação
aproximadamente, metade dos pixels da imagem se tornem
pretos e metade se tornem brancos.
O algoritmo Percentage of black (ou, porcentagem de preto) A. Base de imagens
[12] calcula o limiar, com auxílio de um histograma que,
nesse contexto, é um vetor com mesmo número de dimensões Foram utilizadas duas bases de imagens com diferentes
de uma imagem em níveis de cinza. Multiplicando-se um características quanto iluminação, contraste e presença de
histograma pela quantidade de pixels total da imagem pode-se ruídos. A primeira base de imagem utilizada foi produzida e
obter o número total de pixels pretos. Para encontrar o limiar disponibilizada pelo Laboratório de Dosimetria Biológica do
conta-se o número de pixels consecutivamente a começar do CRCN-NE, no Brasil. Ela é composta de 35 imagens (vide
pixel 0 do histograma até atingir o número desejado de pixels Figura 2 (a)) de células em metáfase, que foram capturadas
pretos. O limiar é o nível de cinza associado ao último pixel através de um microscópio óptico, rotuladas por especialistas
contado. e estão apresentadas no formato TIFF, com resolução de
2048 × 1536 pixels. Toda a base foi utilizada no trabalho.
D. Métodos locais
O método de Bernsen [17] utiliza o valor do contraste local
para definir os limiares. Esse algoritmo calcula a média entre o
valor mínimo (Imin) e o máximo (Imax) de níveis de cinza
que pertencem à vizinhança do pixel. Porém, a atribuição do
limiar ótimo é baseada no valor de contraste local.
A ideia do algoritmo de Niblack [18] é encontrar o limiar
com relação ao contraste da vizinhança. Para isso é feita uma
varredura na imagem com uma janela de tamanho N xN e
para cada pixel da imagem é calculada a média µ(x, y) e o (a) (b)
desvio padrão σ(x, y) da vizinhança contida dentro da janela. Figura 2: Exemplo de imagem das bases: (a) CRCN-NE; (b)
O algoritmo de Sauvola é um melhoramento do método BioImLab
de Niblack. O algoritmo de Sauvola difere na contribuição
do desvio padrão ao resultado sendo ideal quando há uma A segunda base de imagem possui 162 imagens disponibili-
má distribuição da iluminação na imagem. Quando há muito zadas pelo Laboratório de Imagiologia Biomédica (BioImLab)
ruído na imagem, o limiar é reduzido [8]. Ele adiciona um do Departamento de Engenharia da Informação da Univer-
novo parâmetro ao cálculo do limiar chamado faixa dinâmica sidade de Padova, localizado na Itália [20]. (vide Figura 2
do desvio padrão. A inclusão desse parâmetro diminui a (b)). Neste trabalho foram utilizadas 77 imagens, pois algumas
sensibilidade relacionada ao peso do método Niblack, porém células possuem mais de uma imagem capturadas de diferentes
torna o algoritmo sensível ao novo parâmetro [18]. ângulos. Todas com suas respectivas imagens com segmenta-
O algoritmo de White [19] é um pouco mais simples que ção ideal, feitas manualmente. As imagens foram capturadas
os citados acima, pois realiza uma simples comparação do por meio de um microscópio óptico após terem sido corados
valor do tom de cinza do pixel com a média dos tons de com quinacrina (Bandeamento Q). As imagens apresentam
cinza dos seus vizinhos. Na aplicação deste trabalho, se o formato JPG, com tamanho de 768x576 e resolução de 8
pixel é significativamente mais claro que a média, ele pertence bits/pixels.
à classe dos cromossomos, senão pertence ao fundo.
III. M ETODOLOGIA B. Segmentação
A metodologia utilizada neste trabalho é usada para seg- Na etapa de segmentação foram utilizados os 15 algoritmos
mentar e comparar vários algoritmos de limiarização aplicados de binarização (descritos no Seção II). Esses algoritmos são
na segmentação de imagens de cromossomos. Este processo é bem conhecidos, mas com exceção do algoritmo de Otsu e
dividido em quatro etapas: i. Seleção da imagem de cromosso- K-means, no nosso conhecimento, eles não foram aplicados
mos de entrada; ii. Segmentação; iii. Pós-processamento; iv. no contexto de segmentação de cromossomos.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✺✻

C. Pós-processamento E. Escolha de Parâmetros


O objetivo desta etapa é eliminar os pequenos ruídos que Dos 15 algoritmos testados, quatro deles possuem parâ-
permaneceram ou foram geradas na binarização. As técnicas metros (Bernsen, Niblack, Sauvola e K-means). Nesse ex-
utilizadas para redução de ruídos foram o filtro gaussiano e a perimento, exploramos diferentes parâmetros dentro de um
operação morfológica de abertura. O filtro gaussiano foi usado intervalo predefinido e escolhemos a melhor configuração
para suavizar a imagem e apagar os pequenos detalhes da baseada nas métricas descritas na Seção III-D.
imagem. A operação de abertura utilizado para remover os Foram variados dois parâmetros do algoritmo de Bernsen,
pequenos ruídos que surgiram na segmentação da imagem, tamanho da janela (9,15 e 31) e valor do contraste (5, 10, 15
sem alterar as propriedades de forma do cromossomos, foi e 20). O algoritmo foi executado 12 vezes com a combinação
aplicado após a aplicação do filtro gaussiano. Os parâmetros desses parâmetros.
testados no pós-processamento foram o tamanho da janela O algoritmo de Niblack foram variados o tamanho da janela
do filtro gaussiano (3,9 e 15) e a tamanho do elemento (9, 15 e 31) e o peso (-0.8, -0.2, 0.2 e 0.8) combinados 2 a 2,
estruturante da abertura (5,7 e 9). O algoritmo foi executado também foi executado 12 vezes.
9 vezes com a combinação desses parâmetros. O elemento No algoritmo Sauvola, apenas o tamanho da janela (9, 15 e
estruturante utilizado tem a forma elíptica, por ser mais 31), sendo executados 3 vezes.
próximo ao formato de um cromossomo. O algoritmo de K-means também foi executado 3 vezes com
os valores de k igual 3, 5 e 7 em cada execução. O número
máximo de iterações utilizado foi de 10 iterações.
D. Avaliação dos resultados
IV. R ESULTADOS
A avaliação de segmentação foi realizada utilizando as mé-
tricas a seguir: acurácia, sensibilidade, precisão e coeficiente A. Avaliação de parâmetros
de correlação de Matthews. Para o algoritmo de Bernsen, na base do CRCN, o contraste
A acurácia expressa pela quantidade de pixels classificados exerce maior influência na qualidade da imagem com relação
corretamente em relação ao total de pixels total, como mostra à acurácia, precisão e MCC, porém o tamanho da janela
a Equação 1: teve maior impacto na sensibilidade. Diferente da base obtida
do BioImLab, o tamanho da janela teve mais influência nas
TP + TN métricas utilizadas do que o contraste, provavelmente pelo
Acurácia = (1)
TP + TN + FP + FN fato de as imagens possuírem pouca variação de luminosi-
dade e menor presença de ruídos. A variação de parâmetros
A sensibilidade representa a quantidade de pixels classifi-
no algoritmo de Niblack mostra que apenas o aumento do
cados corretamente em relação aos pixels rotulados pelo es-
tamanho da janela está diretamente relacionado à melhora
pecialista [21], sendo definida matematicamente pela Equação
nas taxas de sensibilidade, precisão e MCC em ambas as
2:
bases. O parâmetro tamanho da janela do algoritmo de Sauvola
TP
influenciou o resultado de todas as métricas ao aumentar o
Sensibilidade =
TP + FN
(2) tamanho da janela apenas na base do CRCN. No algoritmo
de K-means, o número de grupos, k = 3, obteve a melhor
A Precisão, também chamada de predição de valores po- performance em todas as métricas, exceto para a sensibilidade
sitivos (Positive Predictive Value - PPV), é a quantidade de a qual obteve o valor ligeiramente inferior.
pixels classificados como sendo cromossomos, sobre o número
B. Segmentação
total de pixels que o algoritmo identificou como cromossomo,
conforme Equação 3. A análise de segmentação foi realizada para base de imagens
CRCN e BioImLab. A Figura 3 ilustra a segmentação de
TP técnicas de limiar para uma imagem da base do CRCN.
Precisão = PPV = (3)
TP + FP A Figura 3(a) mostra a imagem original e a Figura 3(b)
mostra a imagem rotulada por especialistas. As Figuras 3(a)-
O coeficiente de correlação de Matthews (MCC) é considerado
(j) mostram o resultado da segmentação dos algoritmos Otsu,
uma boa métrica para avaliar a similaridade entre classifi-
Mean Gray Level, Kapur, Pun, Ridler, Two Peaks, Seleção
cações binárias [7]. Diferente das métricas citadas acima,
iterativa e K-means, respectivamente. Pode-se notar, na Figura
compreende um intervalo entre -1 e +1. O valor -1 indica
3, que a segmentação obtida pelo algoritmo de Otsu foi a
total desacordo entre as imagens, e o valor +1 indica total
mais próxima da segmentação ideal, com alguns ruídos, mas
combinação entre elas. Quando o coeficiente de correlação é
preservando as regiões dos cromossomos. A segmentação de
igual a 0 significa que há aleatoriedade na predição dos valores
Mean gray Level, na Figura 3(c), por exemplo, possui menos
[22]. Pode ser calculado pela Equação 4 abaixo.
falsos positivos, mas alguns cromossomos foram perdidos no
processo de segmentação. Os algoritmos de Kapur e Pun,
TP × TN + FP × FN representados na Figura 3(e) e (g), respectivamente, não con-
MCC = p (4)
(TP + FP)(TP + FN)(TN + FP)(TN + FN) seguiu obter a segmentação da imagem corretamente, para esta
✺✼ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

(a) (b) (c) (d) (e)

(f) (g) (h) (i) (j)

Figura 3: Exemplo de segmentação de uma imagem para cada técnica de limiarização (a) Imagem original (Base CRCN-NE);
(b) Segmentação ideal; (c) Otsu; (d) Mean Gray Level; (e) Kapur; (f) Pun; (g) Ridler; (h ) Two Peaks; (i) Seleção iterativa; (j)
K-means.

imagem analisada. As demais técnicas não foram mostradas na Tabela III: Resultados da segmentação base BioImLab
Figura 3 porque eles tiveram resultados ruins para a imagem Algoritmos MCC Precisão Sensibilidade Acurácia
do exemplo, retornando uma imagem completamente preta.
K-means 78,8%(0,15) 69%(0,25) 96,6% (0,07) 96,7%(0,03)
A Tabela II mostra os algoritmos analisados e seus respecti- Riddler 65,9%(0,16) 71,8%(0,09) 66,9% (0,09) 96,2%(0,03)
vos valores de MCC, precisão, sensibilidade e acurácia obtidos Sauvola 68,4%(0,12) 57,4%(0,17) 88,1% (0,04) 96,6% (0,03)
na base do CRCN sem pré-processamento. O algoritmo de Johannsen 67,5%(0,16) 50,5%(0,21) 99,9% (0,004) 93,6% (0,05)
Kapur 65,7%(0,27) 53,4%(0,26) 93,4%(0,22) 87,9%(0,25)
Otsu alcançou o melhor resultado para esta base. Note que os TP 62,8%(0,30) 64,9%(0,34) 72%(0,38) 96%(0,20)
valores de MCC e precisão não foram muito altos, isso ocorreu Sahoo 50,3%(0,20) 67,8%(0,32) 42%(0,12) 95,6%(0,02)
provavelmente pela presença de ruídos na base do CRCN. SI 41,2%(0,19) 65,4%(0,35) 30,6%(0,13) 95,2%(0,02)
Otsu 38,9%(0,28) 26%(0,22) 100%(0,36) 60,6%(0,36)
Tabela II: Resultados da segmentação base CRCN MGL 36,1%(0,18) 65%(0,35) 24,8%(0,12) 95%(0,02)
White 19,1%(0,23) 13,1%(0,22) 99,3%(0,01) 35%(0,25)
Pun 18%(0,25) 14,4%(0,27) 99,3%(0,02) 28,9%(0,25)
Algoritmos MCC Precisão Sensibilidade Acurácia
PB 16,1%(0,22) 11,6%(0,19) 100%(0,23) 27%(0,23)
Otsu 61.7%(0.13) 45.8%(0.15) 88.3% (0.15) 97.3% (0.01) Niblack 10,5%(0,03) 6,2%(0,02) 96,8%(0,02) 27,4% (0,06)
K-means 58.4%(0.20) 44.5%(0.23) 86.6%(0.17) 95.6%(0.05) Bernsen 3,5%(0,05) 5,5%(0,02) 74,6%(0,05) 35,1% (0,08)
Kapur 50.4% (0.29) 38.1% (0.23) 73.9% (0.40) 97.1%(0.01)
IS 44.2%(0.27) 48.3%(0.31) 47.4% (0.32) 97.7% (0.01)
Bernsen 43.7%(0.14) 31.9%(0.17) 71.5%(0.08) 93.9%(0.07)
PB 39.9%(0.05) 18.3%(0.05) 98.3% (0.02) 91.2%(0.00) inviabilizar o uso desse algoritmo já que o tempo é fator
TP 39%(0.26) 30.5%(0.30) 75.1%(0.35) 88.2%(0.13) importante na estimativa da dose.
MGL 28.6%(0.24) 38.7%(0.33) 25.3%(0.28) 97.6%(0.01)
Sahoo 22.4%(0.26) 28.7%(0.21) 13.9%(0.29) 97.6%(0.01)
Por fim, notou-se que alguns algoritmos como Johannsen,
Niblack 16.6%(0.01) 5.2%(0.01) 90.7%(0.05) 67.4%(0.02) Sauvola e Otsu são mais sensíveis as diferentes características
Pun 14.1%(0.02) 3.9%(0.01) 99.9%(0.00) 51.8%(0.03) das bases do que os demais avaliados. Isso quer dizer, que o
Sauvola 10.7%(0.01) 3.3%(0.00) 91.8%(0.04) 48.2%(0.01)
Riddler 9.5%(0.17) 21.2%(0.29) 7.7%(0.19) 97.6%(0.01)
mesmo algoritmo apresentou resultados bem diferentes para
White 2.1%(0.04) 18.2%(0.31) 0.4%(0.01) 97.8%(0.01) cada base de imagem.
Johannsen 1.2%(0.07) 11.9%(0.31) 2.5%(0.15) 97.8%(0.01)
C. Pós-processamento
Na base de imagens do BioImLab, os resultados ligeira- Para melhorar a qualidade da segmentação, e remover os
mente diferentes, provavelmente por causa das diferentes ca- ruídos que permaneceram, ou surgiram durante segmentação,
racterísticas existente entre as bases de imagens como con- a etapa de pós-processamento foi criada utilizando o filtro
traste, iluminação e excesso de ruídos. Os melhores resultados gaussiano com janela de tamanho 3x3 e a técnica morfológica
foram obtidos pelo algoritmo de K-means e Riddler. de abertura com elemento estruturante de tamanho 5 e forma
Pode-se observar que os algoritmos de agrupamento obtive- elíptica, obtendo um melhoramento de 4,31% na precisão,
ram os melhores resultados em ambas as bases, com destaque 1,11% no MCC e acurácia de 0,28%.
para o algoritmo de K-means considerado o melhor para a Na base do BioImLab a imagem resultante da segmentação
base do BioImlab e o segundo melhor na base do CRCN. não possui pequenos ruídos então o não foi necessário a uti-
Contudo, embora o K-means tenha obtido boa performance lização de técnicas de pós-processamento. A Figura 5 mostra
em relação aos demais seu tempo de execução foi bem alto um exemplo do resultado/eficácia na aplicação dos filtros na
em comparação ao tempo dos outros algoritmos. Isso pode etapa de pós-processamento.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✺✽

UNIVERSIDADE DE SAO, 1997.


[2] G. C. Kurtz, G. S. Cantarelli, M. R. Sagrillo, and F. G. Pires, “Soft-
ware para auxílio no processo de elaboração do cariótipo,” Revista de
Informática Teórica e Aplicada, vol. 22, no. 2, pp. 109–123, 2015.
[3] C. H. Z. PANTALEÃO, “Contribuição à análise e classificação cito-
genética baseada no processamento digital de imagens e no enfoque
lógico-combinatório,” Master’s thesis, UNIVERSIDADE FEDERAL DE
SANTA CATARINA, 2003.
[4] F. Abid and L. Hamami, “A survey of neural network based automated
systems for human chromosome classification,” Artificial Intelligence
Review, pp. 1–16, 2016.
[5] M. Da Matta, M. Dümpelmann, M. Lemos-Pinto, T. Fernandes, and
Figura 4: Comparação entre segmentação de Otsu e Otsu com A. Amaral, “Processamento de imagens em biodosimetria: Influência da
pós-processamento qualidade das preparações cromossômicas,” Scientia Plena, vol. 9, no.
8 (b), 2013.
[6] G. C. Kurtz, T. BONINI, L. PERLES, M. SAGRILLO, and G. LI-
BRELOTTO, “Identificação automática de cromossomos humanos.”
SIBGRAPI, 2008.
[7] E. Poletti, F. Zappelli, A. Ruggeri, and E. Grisan, “A review of
thresholding strategies applied to human chromosome segmentation,”
Computer methods and programs in biomedicine, vol. 108, no. 2, pp.
679–688, 2012.
[8] M. Sezgin et al., “Survey over image thresholding techniques and
quantitative performance evaluation,” Journal of Electronic imaging,
vol. 13, no. 1, pp. 146–168, 2004.
[9] N. Otsu, “A threshold selection method from gray-level histograms,”
Figura 5: Exemplo de uma imagem depois da segmentação (a) IEEE transactions on systems, man, and cybernetics, vol. 9, no. 1, pp.
62–66, 1979.
e depois do pós- processamento (b) [10] T. Ridler and S. Calvard, “Picture thresholding using an iterative
selection method,” IEEE transactions on Systems, Man and Cybernetics,
vol. 8, no. 8, pp. 630–632, 1978.
V. C ONCLUSÃO [11] J. MacQueen et al., “Some methods for classification and analysis of
multivariate observations,” in Proceedings of the fifth Berkeley sympo-
Este trabalho realiza um estudo na etapa de segmentação sium on mathematical statistics and probability, vol. 1, no. 14. Oakland,
de um sistema computacional para automatizar a análise CA, USA., 1967, pp. 281–297.
cromossômica. O estudo foi feito usando 15 algoritmos de [12] J. R. Parker, Algorithms for image processing and computer vision. John
Wiley & Sons, 2010.
limiarização e uma etapa de pós-processamento, usando dois [13] P. K. Sahoo, S. Soltani, and A. K. Wong, “A survey of thresholding
conjuntos de dados: CRCN e BioImLab. techniques,” Computer vision, graphics, and image processing, vol. 41,
Foi constatado que os algoritmos de agrupamento (clus- no. 2, pp. 233–260, 1988.
[14] J. FACON, “LIMIARIZAÇÃO POR ENTROPIA DE
tering) obtiveram melhor performance, sendo o algoritmo JOHANNSEN,” https://www.ppgia.pucpr.br/~facon/Binarizacao/
de Otsu e K-means os melhores na base do CRCN e K- LimiarEntropiaJohannsen3.PDF, accessed: 2017-05-22.
means e Riddler os melhores na base do BioImLab. Embora [15] P. Sahoo, C. Wilkins, and J. Yeager, “Threshold selection using renyi’s
entropy,” Pattern recognition, vol. 30, no. 1, pp. 71–84, 1997.
o algoritmo de K-means tenha obtido bons resultados em [16] D. C. Costa, “Mapa auto-organizável com campo receptivo adaptativo
ambas as bases sua utilização pode se tornar inviável, em local para segmentação de imagens,” Master’s thesis, UNIVERSIDADE
termos de tempo de execução, principalmente quando aplicado FEDERAL DE PERNAMBUCO, 2007.
[17] O. I. Singh, T. Sinam, O. James, and T. R. Singh, “Local contrast
em imagens com grandes dimensões. os algoritmo de Otsu e and mean thresholding in image binarization,” International Journal of
Riddler são mais rápidos que o K-means. Em geral, notou-se Computer Applications, vol. 51, no. 6, 2012.
que a forma de aquisição das imagens tem grande influência [18] D. T. Ikeda, “Seleção não-supervisionada de métodos de binarização
para documentos históricos,” Departamento de Ciência da Computação,
nos resultados dos algoritmos, mas alguns algoritmos como Instituto de Matemática e Estatística, Universidade de São Paulo, São
Johannsen, Sauvola e Otsu possuem maior sensibilidade às Paulo, 2011.
variações das bases de imagens apresentando resultados bem [19] J. M. White and G. D. Rohrer, “Image thresholding for optical character
recognition and other applications requiring character image extraction,”
diferentes em cada base. IBM J. Res. Dev, vol. 27, pp. 400–411, 1983.
A etapa de pós-processamento desenvolvida neste trabalho [20] “BioImLab Laboratory of Biomedical Imaging,” http://bioimlab.dei.
conseguiu melhorar a qualidade de segmentação dos melhores unipd.it/Chromosome%20Data%20Set%204Seg.htm, accessed: 2017-
05-22.
algoritmos de limiarização da base de imagens do CRCN. [21] K. D. Marcomini, H. Schiabel, and L. B. Verçosa, “Aplicação de
Assim, o estudo neste trabalho indica que, se aplicado em soft- contornos ativos para a segmentação de nódulos em imagens de ul-
ware futuro, ele pode auxiliar o citogeneticista na análise da trassonografia da mama,” Revista Brasileira de Física Médica, vol. 6,
no. 2, pp. 103–107, 2012.
imagem cromossômica. Trabalhos futuros serão desenvolvidos [22] P. Baldi, S. Brunak, Y. Chauvin, C. A. Andersen, and H. Nielsen,
com a finalidade de detectar e separar cromossomos colados e “Assessing the accuracy of prediction algorithms for classification: an
sobrepostos, para obter uma contagem mais precisa, além da overview,” Bioinformatics, vol. 16, no. 5, pp. 412–424, 2000.
classificação do tipo de cromossomos.
R EFERÊNCIAS
[1] M. A. DA SILVA, “Dosimetria biológica em proteção radiológica:
Elaboração de curvas dose-resposta para”co e’"cs,” Ph.D. dissertation,
✺✾ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Multi-class Segmentation of Satellite Images by


Color Mixture and Neural Network
Diego Rafael Moraes and Adilson Gonzaga
Department of Electrical and Computer Engineering
University of São Paulo
São Carlos, Brazil
diego.moraes@usp.br and agonzaga@sc.usp.br

Abstract—The Misturograma-RNA is a recent technique for Esta nova proposta, também aplicada em imagens de pele
color image segmentation, based on Color Mixture and Artificial humana, mostrou-se mais eficiente na segmentação e
Neural Network, which has been applied only for binary classificação do que o uso individual do Misturograma e da
classification. This paper proposes to investigate if this technique Rede Neural Artificial (RNA).
can be used for multiclass problems, as well as for any color
images. In this paper, we applied this approach for satellite image Neste trabalho, o objetivo é investigar se o Misturograma-
segmentation, due to be a hard task for segmentation methods RNA pode ser utilizado para a segmentação de imagens
and also to the great applicability in rural and urban areas. coloridas de mais de uma classe, ou seja, se pode ser utilizado
The goal of this paper was to segment four classes from satellite como classificador multiclasse. Por se tratar de um
images: tree, soil, street and water. We also have generated a classificador neural, tem-se a premissa da possibilidade de se
satellite image database, extracted from Google Earth prototipar a RNA com mais de uma classe.
from 10 cities of different countries, in 4 different scales (500m,
1000m, 1500m and 2000m). Our results show that the Para investigar esta premissa, foram realizados testes em
Misturograma-RNA is a multiclass classifier technique and imagens de satélites, devido a sua aplicabilidade no auxílio à
surpassed two other classical literature classifiers, the SVM and resolução de problemas em diversas áreas, sendo um dos seus
ANN, reaching over 93% of sensitivity. principais focos o mapeamento geográfico, que busca a
localização de objetos específicos em áreas urbanas e rurais.
Keywords—color image segmentation; multiclass image.
Nas áreas urbanas, o foco é a identificação de objetos como
I. INTRODUÇÃO casas e prédios [7-9], ruas e estradas [10-12] etc. Segundo [13],
utilizando-se imagens de satélites, é possível realizar diversas
A segmentação de imagens coloridas é um desafio na Visão
tarefas, como o estudo e planejamento do crescimento urbano,
Computacional, pois existem menos técnicas na literatura do
gestão de desastres, vigilância e segurança, sensoriamento
que as relativas ao processamento em nível de cinza.
remoto, aplicações militares etc.
Entretanto, imagens coloridas possuem mais informações do
que imagens em nível de cinza, permitindo investigar novas Em áreas rurais, as aplicações são direcionadas para o
relações entre os canais de cores. monitoramento na agricultura [14], no crescimento de
plantações [15], na detecção de pragas, no desmatamento
O Misturograma [1] é uma técnica que se mostrou eficiente
ilegal, no monitoramento de rios, entre outros.
para a segmentação de imagens coloridas. Utilizou, para isto,
duas combinações: a primeira foi a mistura de cores, Segundo [16], novos estudos têm sido realizados para a
semelhante à decomposição das camadas de tintas em telas previsão de catástrofes ecológicas, atividades agrícolas,
artísticas; a segunda foi uma ponderação na sua equação, poluição marítima, mudança climática, vigilância em geral,
fazendo uma analogia com a retina humana, que possui uma mapeamento das zonas de desastre, planejamento de logística e
variação na quantidade dos seus cones. O resultado dessa definição de vias de acesso para as operações de socorro, etc.
combinação foi um método de quantização de cores em 256
planos ao longo do cubo RGB, adicionado de um classificador Este trabalho concentra-se em imagens coloridas de alta
gaussiano para a segmentação em nível dos pixels. resolução no espectro visível, extraídas do Google Earth, pois
são facilmente adquiridas e não possuem custo devido à
Porém, uma limitação do Misturograma é ser apropriado disponibilidade da nova geração de sensores, tais como:
para distinguir amostras de apenas duas classes, ou, mais IKONOS, EROS, OrbView, QuickBird, SPOT5, WorldView,
precisamente, dizer se um pixel é ou não pertencente à classe GeoEye, Pleiades, tornando-se essenciais para a detecção
treinada. Foi estatisticamente superior na segmentação de pele automática de objetos geoespaciais [7].
humana frente a outras metodologias [2-5].
Como objetivo de segmentação, foram escolhidas 4 classes:
Baseado no Misturograma, tanto no seu potencial quanto na árvores, solos (gramados e terra), ruas e água (rios e lagos). A
sua limitação, foi proposta uma alteração do seu classificador maior dificuldade é a complicada diferenciação entre regiões
gaussiano por um classificador neural do tipo Perceptron Multi de árvores e solo, principalmente em gramados, dificultando,
Camadas (PMC), originando, assim, o Misturograma-RNA [6].
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✻✵

assim, o processo de análise das imagens tanto manualmente, a Para cada cidade, foram escolhidos 3 pontos para realizar a
olho nu, como automaticamente, de forma computacional. captura da imagem. Para cada ponto, foram extraídas 4
imagens com altitude variável (500m, 1000m, 1500m e
Para a realização dos testes, por não ter sido encontrado
2000m), permitindo, assim, realizar futuros testes com escalas
disponível um banco de imagens de satélite com as classes diferentes.
desejadas, foi construído um banco de dados de imagens reais
extraídas do Google Earth, de diferentes localidades do planeta Cada imagem possui, obrigatoriamente, no mínimo as 4
e diversas escalas em relação à altura da aquisição da imagem. classes utilizadas neste trabalho (árvore, solo, rua e água), com
dimensão de 1280x580 pixels e salvas no formato TIFF, para
O foco do trabalho não é desenvolver uma técnica para não sofrerem nenhum tipo de compressão. Um exemplo de
aplicações exclusivamente de satélites, pois, nestes casos,
imagem é exibido na Fig. 2.
depende muito de cada problema a ser resolvido, tipo de
imagem (quantidade de bandas, ruídos), diferentes técnicas etc.
As técnicas variam conforme a especialidade e afinidade de
cada autor, incluindo, mas não se limitando, a abordagens de
cor, forma, texturas, sistemas inteligentes, entropia etc.
Sendo assim, como o objetivo é investigar o desempenho
do Misturograma-RNA em aplicações multiclasses, os
resultados foram comparados com outros dois classificadores
consagrados da literatura, uma Rede Neural Artificial (RNA)
do tipo Perceptron Multi-Camadas (PMC) e uma Máquina de
Vetor Suporte (SVM). Fig. 2. Imagem extraída de Berlim (Alemanha) com zoom de 500m.

II. METODOLOGIA Para cada imagem, será gerada manualmente uma imagem
Todas as implementações, simulações, testes e análises de referência (ground truth), com auxílio de um editor de
estatísticas utilizaram a plataforma MATLAB. A Fig. 1 exibe imagens, atribuindo-se cores diferentes para cada classe e preto
um diagrama das etapas realizadas para o desenvolvimento para o restante. A Fig. 3 exibe um exemplo deste ground truth.
deste trabalho.

Fig. 3. Imagem ground truth: árvore (verde), solo (amarelo), rua (vermelho)
e água (azul); em preto são objetos que não são de interesse.
Fig. 1. Sequência das etapas deste trabalho.
Para todas as imagens adquiridas, foram extraídas regiões
A. Construção e disponibilização do banco de dados de de cada classe, com tamanhos variados por meio de recortes
imagens de satélite manuais, organizadas também pela escala. A Fig. 4 mostra
Este banco de dados foi criado para auxiliar futuras alguns exemplos dessas amostras.
pesquisas com imagens de satélite em visão computacional ou
áreas afins. É composto por 120 imagens coloridas de alta
resolução no espectro visível, extraídas pela ferramenta do a)

Google Earth, de 10 cidades de diferentes países, a saber:


Berlim (Alemanha), Buenos Aires (Argentina), Foz do Iguaçu
(Brasil), London (Canadá), Hong Kong (China), Londres b)
(Inglaterra), Veneza (Itália), Varsóvia (Polônia), Nova Iorque
(Estados Unidos) e Distrito de Colúmbia (Estados Unidos).
Esta diversificação de lugares é proposital, pois tem-se c)
como premissa que imagens adquiridas de forma bem
controlada (mesma região geográfica e mesmo satélite) têm
maiores probabilidades de encontrar um padrão e/ou correlação d)

entre as cores e textura das imagens. Portanto, pretende-se


investigar a correlação em diferentes regiões geográficas,
capturadas por diferentes satélites, o que influencia diretamente Fig. 4. Amostras na escala de 500m: a) árvore; b) solo; c) rua; d) água.
a variação da cor e textura das imagens.
✻✶ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Para a criação do banco, seguiu-se um protocolo, Para os experimentos deste trabalho, cada conjunto de
padronizando-se, assim, desde a aquisição das imagens até a 100% foi dividido em 3 novos conjuntos, também apresentados
nomenclatura dos arquivos e pastas. Para cada imagem, foi na Tabela II. Um conjunto chamado Treino, com 70% das
criado um registro com diversas informações, sendo elas: nome amostras disponíveis, com a finalidade dessas amostras serem
da cidade e do país, latitude e longitude (em graus), escala apresentadas no processo de treinamento dos métodos. O
(resolução: pixels/metro), nome do satélite e data de aquisição. conjunto chamado Teste possui 15% das amostras que restaram
após serem selecionadas as 70% de Treino, ou seja, essas
Todos os marcadores utilizados na ferramenta do Google
amostras de teste não fizeram parte do treinamento. Isto
Earth foram salvos e estão disponíveis para acesso junto ao permitiu uma análise mais confiável estatisticamente, pois
banco. A estrutura final do banco pode ser observada na Fig. 5.
avaliou se realmente os métodos treinados generalizaram o seu
conhecimento, sendo capazes de resolver problemas
Banco de Dados semelhantes.
Imagens de Satélite

Por fim, o conjunto chamado Validação, com o restante das


amostras que não foram utilizadas no Treino e no Teste, ou
500m 1000m 1500m 2000m seja, os últimos 15% das amostras totais. Este grupo é utilizado
por técnicas de RNA, funcionando como critério de parada do
treinamento caso o erro comece a subir consecutivamente. Para
o SVM, este conjunto de Validação foi somado ao conjunto de
Original Recortada Referência Amostras
Treino, pois, assim como auxiliam o processo de treinamento
das RNA’s, seria injusto não auxiliarem também o SVM.
Árvore Solo Rua Água Ainda analisando a Tabela II, mesmo considerando o
menor quantitativo disponível, ou seja, o grupo do zoom de
Fig. 5. Estrutura de pastas do banco de dados. 2000m, que possui 429.507 amostras, este número mostrou-se
suficiente para realizar análises estatísticas confiáveis.
O banco está disponível para download em
http://imagem.sel.eesc.usp.br/base/Satellite/Satellite.zip. Com o total de amostras, foram realizados quatro
experimentos quantitativos (um para cada zoom disponível).
A Tabela I exibe a quantidade de amostras (pixels
Para cada experimento, foram testados os três métodos: uma
individuais), disponíveis para cada classe (Árvore, Solo, Água
rede neural do tipo PMC, que foi chamada de RNA-PMC; um
e Rua), de acordo com a altura que a imagem foi capturada
classificador SVM, e, por fim a proposta de investigação deste
(zoom: 500m, 1000m, 1500m e 2000m).
trabalho, o Misturograma-RNA.
TABELA I. QUANTIDADE DE PIXELS POR ZOOM E POR CLASSE. Uma das dificuldades do trabalho é a classificação dessas
amostras, pois, espacialmente, estão muito próximas, mesmo
sendo de classes diferentes. A Fig. 6 exibe a distribuição das
amostras com zoom de 500m das quatro classes no cubo RBG.

Na Tabela I, é contabilizado um total de 2.288.684 de


amostras (pixels) para o zoom de 500m, 822.213 para 1000m,
546.970 para 1500m e 429.507 para 2000m. Uma observação
importante é que, ao variar a altura de aquisição das imagens,
quanto mais distante é a altura, menores são os objetos, e isto
dificulta a seleção dos pixels correspondentes a cada classe,
pois, a olho nu, os objetos ficam tão pequenos que geram
dúvidas a qual classe pertencem.
Fig. 6. Distribuição das amostras com zoom de 500m no cubo RGB.
B. Uso do banco de imagens de satélite neste trabalho Árvore (verde), solo (amarelo), rua (vermelho) e água (azul).
As amostras foram agrupadas por zoom, formando, assim,
quatro grupos, cada um referente a uma altura de aquisição da Analisando-se a Fig. 6, observa-se que as amostras de
imagem. O total de amostras por zoom pode ser encontrado na classes diferentes estão realmente muito próximas umas das
primeira coluna da Tabela II, identificada como 100%. outras – em alguns casos, até misturadas e/ou sobrepostas.

TABELA II. QUANTIDADE TOTAL DE AMOSTRAS (PIXELS) POR ZOOM. Uma das vantagens do Misturograma-RNA frente aos
demais classificadores é que, antes de classificar, as amostras
são quantizadas em planos, e isto objetiva separar as amostras
de classes diferentes que estavam muito próximas no espaço.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✻✷

C. Misturograma-RNA foram iniciados aleatoriamente com valores entre 0 e 1. Para o


O Misturograma-RNA é dividido em duas fases: a primeira treinamento, foi utilizado o algoritmo Backpropagation de
fase é responsável pela quantização em planos; a segunda é Levenberg-Marquardt. O valor para a taxa de aprendizagem foi
responsável pela classificação. definido como 0,5, e a precisão requerida foi de 10-6.

Para quantizar em planos, considera-se os valores RGB do Os detalhes da implementação das rotinas de validação
pixel em análise, e isso é realizado pela equação 1. cruzada, referentes à escolha da melhor topologia (quantidade
de neurônios) de cada rede neural, podem ser encontrados no
#$%&'%( trabalho original do Misturograma-RNA [6].
�= (1)
)
D. SVM (Support Vector Machine)
que retorna um valor de “m” entre 0 e 255, indicando,
assim, a qual dos 256 planos aquele pixel em análise deve ser O kernel do classificador SVM foi configurado com uma
projetado. Um exemplo pode ser visto na Fig. 7. função de base radial gaussiana, com sigma igual a 1,0. Esta
escolha foi embasada em dois fatos: a disposição espacial das
amostras não é linearmente separável, como mostra a Fig. 6, e
também para investigar o comportamento de um algoritmo de
(x,y) = [R,G,B] agrupamento das amostras.
(3,3) = [75,92,62]
E. RNA-PMC (Rede Neural Artificial do tipo PMC)
Para justificar a aplicação de uma rede para cada plano
(Misturograma-RNA), foi implementada uma RNA do tipo
m=
(4 × R) + (2 × G) + B
m=
(4 × 75) + (2 × 92) + 62
= 78
PMC (RNA-PMC), com as mesmas especificações detalhadas
7 7 na sessão II-C, mas, com todas as amostras independentes dos
Fig. 7. Exemplo de uma amostra de Árvore sendo projetada em um plano.
planos, ou seja, apenas um classificador neural para todo o
cubo RGB.
Após todas as amostras disponíveis serem quantizadas, é
III. RESULTADOS
aplicado uma rede neural em cada um dos planos. Esta é a
diferença da proposta do Misturograma-RNA frente ao Para todas as simulações, independente da metodologia ou
Misturograma, pois neste é utilizado um único classificador zoom, foi calculada e armazenada a matriz de confusão, assim,
gaussiano ao longo de todo o cubo RGB que contém todas as é possível realizar diversas análises estatísticas.
amostras (Fig. 6). Baseado nas matrizes de confusão, foi calculada a
Na proposta do Misturograma-RNA, aplica-se um Sensibilidade de cada classificador, de acordo com cada zoom
classificador neural para cada um dos planos. Isto torna a tarefa e cada metodologia. Os resultados são exibidos na Tabela III.
de classificação mais eficiente, pois não existe mais o universo
todo de amostras para serem classificadas, e sim uma menor TABELA III. SENSIBILIDADE DE CADA METODOLOGIA PARA CADA ZOOM.
região, concentrada em cada plano, conforme pode ser visto na
Fig. 8.

Fig. 8. Intersecção do plano m=78 com as amostras (500m) no cubo RGB.


Árvore (verde), solo (amarelo), rua (vermelho) e água (azul). A Tabela III mostra por zoom, que o Misturograma-RNA
foi mais eficiente do que os outros dois métodos para qualquer
Para cada um dos 256 planos, foi proposta uma RNA com altura de aquisição da imagem de satélite, ficando em segundo
arquitetura do tipo PMC e aprendizado supervisionado. Cada lugar o SVM, e, por fim, a RNA-PMC.
rede recebe 3 sinais de entrada, sendo, respectivamente, os
canais do espaço de cor RGB normalizados e presentes em O Misturograma-RNA atingiu sensibilidade de 93,69%
cada plano. Como saída, foi utilizado o método One of C- para o zoom de 500m, superando em 4% o SVM e 6% a RNA-
Class, que consiste em associar cada neurônio da camada de PMC. Seu pior desempenho foi no zoom de 1000m,
saída diretamente a uma classe – portanto, 4 neurônios. alcançando 90,77%, e, assim, foi superior em 3% ao SVM e
5% comparativamente à RNA-PMC. Mesmo considerando os
Como função de ativação, para a camada escondida foi outros zoons, 1500m e 2000m, o Misturograma-RNA sempre
utilizada a função Logística, e, para a camada de saída, a supera os outros métodos, seguido do SVM, e, por fim, da
função Linear. Os pesos sinápticos e os limiares de ativação RNA-PMC.
✻✸ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Para visualizar melhor o comportamento de todos os satélites, acabam ficando de certa forma “esverdeadas”, e não
métodos ao se variar a altura de aquisição das imagens, foi azuis e/ou transparentes como se esperava, exemplo visto na
gerado o gráfico exibido na Fig. 9. Fig. 4d.
100 Outra confusão bastante constante foi entre ruas e solos,
90 que pode ser justificada pelo fato de que nas imagens do banco,
Sensibilidade %

80
70 quase sempre ao lado de uma rua existia um gramado ou
60 canteiro, correspondente ao solo.
50
40
30 Estas confusões elevaram o número de Falsa Rejeição
20 (razão de uma classe não classificada como ela mesma) a
10
0 valores de 20% para árvore, 13% para solo e 11% para ruas.
500m 1000m 1500m 2000m
Para finalizar os resultados, foram contabilizados os tempos
Misturograma-RNA SVM RNA-PMC dos treinamentos de todas as simulações, sendo utilizado, para
isto, um mesmo computador, com processador Core i7 de 2.5
Fig. 9. Representação gráfica das sensibilidades em cada zoom e método. GHz, 24 GB memória RAM e sistema operacional Ubuntu de
64-bits. A Tabela VI mostra os tempos computados.
Observa-se, na Fig. 9, que, para qualquer zoom, o
Misturograma-RNA é mais eficiente, seguido do SVM, e, por TABELA VI. TEMPO APROXIMADO DE CADA METODOLOGIA POR ZOOM.
fim, da RNA-PMC. A Tabela IV exibe os resultados do cálculo
da média de Sensibilidade de todos os zoons para cada método.

TABELA IV. SENSIBILIDADE MÉDIA DE CADA METODOLOGIA.

O Misturograma-RNA superou as demais metodologias,


alcançando mais de 92% de sensibilidade, valor este
considerado expressivo quando considerada a diversidade das
amostras de satélite.
Na Tabela VI, pode ser visto que, para qualquer zoom, o
Porém, para saber se realmente se o Misturograma-RNA SVM mostra-se mais rápido do que os demais métodos. Isto é
pode ser considerado um método eficiente para problemas porque os classificadores neurais exigem a descoberta da
multiclasse, objetivo inicial deste trabalho, faz-se necessário melhor topologia (quantidade de neurônios), executando
uma análise na matriz de confusão. Para isto, foi selecionada a rotinas de validação cruzada.
pior taxa de Sensibilidade, encontrada no zoom de 1000m,
onde o Misturograma-RNA alcançou o valor de 90,77%. A No entanto, o Misturograma-RNA foi mais rápido que a
Tabela V apresenta esta matriz de confusão. RNA-PMC, principalmente para um maior número de
amostras, que é o caso do zoom de 500m. A justificativa é que,
TABELA V. MATRIZ DE CONFUSÃO: MISTUROGRAMA-RNA PARA 1000M. apesar do Misturograma ter que ajustar a topologia de 256
redes neurais, uma para cada plano que foi quantizado, a
quantidade de amostras por plano é muito menor do que se
considerado o cubo RGB.
Em contrapartida, a RNA-PMC, por não fazer a
quantização, se sobrecarrega no processo de treinamento, pois
precisa ajustar seus pesos para atender as mais de 1,6 milhão de
amostras de treinamento para o zoom de 500m, que levou para
A diagonal principal da Tabela V mostra que o número de isto, 92 dias de treinamento, valor muito superior às 47 horas
pixels de cada classe de entrada classificados corretamente em consumidas pelo Misturograma-RNA.
sua correspondente classe de saída é expressivo. Mas, assim IV. CONCLUSÃO
como esperado, houve maior confusão entre as classes de
árvore e solo, tanto por amostras de árvores que foram Neste trabalho, foi avaliada a aplicação da técnica
classificadas erroneamente como solos, quanto como de solos denominada de Misturograma-RNA, publicada anteriormente
que foram confundidos com árvores. para classificação binária de imagens coloridas e
especificamente para pixels de pele humana, como um
Uma surpresa foi a confusão entre as amostras de árvore e segmentador multiclasse em imagens de satélite.
água, representando praticamente a metade da confusão entre
árvores com solos. Isto aconteceu pois, nas imagens originais, A classificação deste tipo de pixel de imagem tem
as regiões de água (rios e lagos), quando adquiridas por aplicabilidade em áreas urbanas e rurais, com o objetivo de
segmentar quatro classes: árvore, solo, rua e água.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✻✹

Neste trabalho, foi criado e disponibilizado um banco de 2000. Proceedings. 15th International Conference on, vol. 1, 2000, pp.
dados de imagens de satélites, imagens estas extraídas do 1056–1059. 

Google Earth, de 10 cidades de diferentes países, sendo [5] N. Bourbakis, P. Kakumanu, S. Makrogiannis, R. Bryll, and S.
Panchanathan, “Neural network approach for image chromatic
armazenadas 3 imagens para cada uma das cidades, e cada adaptation for skin color detection,” International Journal of Neural
imagem foram adquiridas em 4 escalas diferentes (500m, Systems, vol. 17, no. 01, pp. 1–12, 2007. 

1000m, 1500m e 2000m), totalizando, assim, 120 imagens. [6] D. R. Moraes, J. P. B. Casati and A. Gonzaga, “Human skin
segmentation based on Color Mixture and Artificial Neural Networks,”
O resultado da classificação dos pixels com o in XII Workshop de Visão Computacional, 2016. 

Misturograma-RNA foi comparado com os resultados de [7] J. Wang et al., “An efficient approach for automatic rectangular building
outros dois métodos, um classificador SVM e uma RNA do extraction from very high resolution optical satellite imagery,” IEEE
tipo PMC, pois são utilizados em diversas aplicações, com Geoscience and Remote Sensing Letters, v. 12, n. 3, p. 487-491, March
excelentes resultados. 2015.
[8] M. Wang, S. Yuan and J. Pan, “Building detection in high resolution
Analisando os resultados estatisticamente, para os quatro satellite urban image using segmentation, corner detection combined
experimentos realizados, um para cada zoom, o Misturograma- with adaptive windowed Hough Transform,” in IEEE International
RNA foi mais eficiente na Sensibilidade que os outros dois Geoscience and Remote Sensing Symposium (IGARSS), 2013,
métodos. Superou, em média, o SVM em mais de 3% e a Melbourne. Proceedings... Melbourne: IEEE, p. 508-511, 2013.
RNA-PMC em mais de 6%, alcançando valor máximo de [9] S. Freire et al., “Introducing mapping standards in the quality assessment
of buildings extracted from very high resolution satellite imagery,”
93,69% para o zoom de 500m e valor mínimo de 90,77% para ISPRS Journal of Photogrammetry and Remote Sensing, v. 90, p. 1-9,
1000m. April 2014.
Baseado nos resultados obtidos, conclui-se que o método [10] L. Abraham and M. Sasikumar, “A fuzzy based road network extraction
from degraded satellite images,” in International Conference on
do Misturograma-RNA pode ser utilizado para segmentação de Advances in Computing, Communications and Informatics (ICACCI),
imagens coloridas multiclasse, assim como para quaisquer 2013, Mysore. Proceedings… Mysore: IEEE, 2013, p. 2032-2036,
outras aplicações multiclasses com imagens coloridas. 2013.
[11] O. Besbes and A. Benazza-Benyahia, “Joint road network extraction
Como trabalho futuro, o objetivo é investigar se o from a set of high resolution satellite images,” in 22ND European Signal
Misturograma-RNA é invariante a escala. Esta hipótese é Processing Conference (EUSIPCO), 2014, Lisbon. Proceedings…
sustentada se considerarmos que não houve alterações Lisbon: IEEE, p. 2190-2194, 2014.
significativas no comportamento da Sensibilidade ao se variar [12] R. Gaetano et al., “Morphological road segmentation in urban areas from
o zoom. high resolution satellite images,” in 17TH International Conference On
Digital Signal Processing (DSP), 2011, Corfu. Proceedings… Corfu:
AGRADECIMENTOS IEEE, p. 1-8, 2011.
[13] H. Iftikhar and K. Khurshid, “Fusion of Gabor filter and morphological
Os autores agradecem o apoio financeiro da FAPESP, operators for the detection of settlement zones in Google Earth satellite
processo #2015/20812-5, para a realização deste trabalho. images,” in IEEE International Conference On Signal And Image
Processing Applications (ICSIPA), 2011, Kuala Lumpur. Proceedings...
REFERENCES Kuala Lumpur: IEEE, p. 232-237, 2011.
[1] O. Severino and A. Gonzaga, “A new approach for color image [14] S. Jamali et al., “Detecting changes in vegetation trends using time
segmentation based on color mixture,” Machine Vision and series segmentation”, Remote Sensing of Environment, v. 156, p. 182-
Applications, vol. 24, no. 3, pp. 607–618, 2013. 195, January 2015.
[2] P. Peer and F. Solina, “An automatic human face detection method,” in [15] S. Aksoy, I. Z. Yalniz and K. Tasdemir, “Automatic detection and
4th Computer Vision Winter Workshop, 1999, pp. 122–130. 
 segmentation of orchards using very high resolution imagery”, IEEE
Transactions on Geoscience and Remote Sensing, v. 50, n. 8, p. 3117-
[3] D. Forsyth and M. Fleck, “Automatic detection of human nudes,” 3131, August 2012.
International Journal of Computer Vision, vol. 32, no. 1, pp. 63–77,
1999. 
 [16] A. L. Barbieri et al., “An entropy-based approach to automatic image
segmentation of satellite images,” Physica A: Statistical Mechanics and
[4] J. Brand and J. S. Mason, “A comparative assessment of three ap- its Applications, v. 390, n. 3, p. 512-518, 2011.
proaches to pixel-level human skin-detection,” in Pattern Recognition,
✻✺ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Facial Biometrics Using SIFT/SURF


in Comparison to Eigenfaces
Alexandre Zaghetto1 , Cauê Zaghetto1 , Luiz H. M. Aguiar2 , Mateus Mendelson1 , Flávio de B. Vidal1
1 Departamento de Ciência da Computação, Universidade de Brasília (UnB), Brasília - DF, Brasil
2 Campus Guajará-Mirim, Instituto Federal de Rondônia (IFRO), Guajará-Mirim - RO, Brasil

E-mails: zaghetto@unb.br, zaghettoc@bitgroup.co, luiz@bitgroup.co, mendelson@bitgroup.co, fbvidal@unb.br

Resumo—Although facial recognition is a traditional type of evolução dos algoritmos de reconhecimento facial pode ser
biometrics, it is still an open field for improvement. Factors encontrado na literatura [6].
such as proper face positioning, inadequate ilumination, cor- Um desafio comum para algoritmos tradicionais, como
rectness of face/backgroung segmentation and partial occlusion
make facial recognition a challenging task when used in real por exemplo o Eigenfaces [7], é tratar imagens faciais com
scenarious. The present article proposes the use of algorithms irregularidades (e.g., oclusão, emoção, rotação e outros). Além
based on scale invariant texture descriptors to perform facial disso, é comum que métodos tradicionais façam uso de alguma
biometric recognition and compares these algorithms with the espécie de treinamento e, para tanto, faz-se necessária uma
Eigenfaces. The Viola-Jones method was used to detect faces in base de dados que contenha muitas amostras da mesma
the photographs and three different approaches were considered
to perform their recognition, namely: (a) SIFT (Scale Invariant face. Em função dos argumentos supramencionados, a busca
Feature Transform); (B) SURF (Speeded Up Robust Features); por diferentes métodos de se realizar reconhecimento facial
and (c) Eigenfaces. A database with 10 photos of 65 subjects was ainda é um desafio. Em especial, é possível considerar o
created. The 650 images were acquired through a conventional SIFT e o SURF como potenciais alternativas ou, ao menos,
webcam. The results show that SIFT and SURF may outcome ferramentas de suporte ao reconhecimento facial [8]. Esses
Eigenfaces’ performance.
algoritmos, além de dispensarem treinamento e de necessita-
rem de configuração prévia mínima, são invariantes a escala e
I. I NTRODUÇÃO
modestamente invariantes à rotação [9]. Naturalmente, como
A necessidade de se reconhecer indivíduos a partir de não foram concebidos com a finalidade de realizar reco-
suas características fisiológicas ou comportamentais vem ga- nhecimento facial, ainda carecem de validação experimental.
nhando importância. Atualmente o uso de senhas numéricas Neste sentido, avaliar seus desempenhos quando aplicados a
ou alfanuméricas vem se tornando inconveniente. É comum bases de dados independentes, com imagens de diferentes
uma pessoa em um único dia fazer uso de diversas senhas qualidades e resoluções, obtidas por diferentes câmeras é
para, por exemplo, acessar bancos, e-mails, faturas eletrônicas, fundamental para validação de resultados e verificação da
computadores, áreas restritas, entre outros serviços. Diante hipótese de que o SIFT e o SURF podem ser considerados para
disso, encontrar maneiras de reconhecer indivíduos a partir realizar reconhecimento facial. Diante do exposto, o presente
de suas características intrínsecas (e.g., assinatura, voz, im- trabalho pretende comparar o desempenho destes algoritmos
pressões digitais, face etc.) ganha importância e destaque. A com o algoritmo Eigenfaces (classicamente utilizado com essa
área do conhecimento humano que estuda o reconhecimento finalidade), quando aplicados a uma base de dados de imagens
de indivíduos por meio de suas características fisiológicas ou de baixa resolução obtida por webcams convencionais.
comportamentais chama-se biometria [1]. O trabalho está organizado da seguinte maneira: a Seção
Dentre as diversas formas de se realizar o reconhecimento II apresenta conceitos básicos sobre biometria e algoritmos já
de indivíduos, a biometria facial é uma das que vêm sendo existentes para biometria facial; a Seção III apresenta a base
cada vez mais utilizadas. No entanto, o desempenho alcançado de dados, bem como a configuração do algoritmo Eigenfaces
com a biometria facial, quando comparado a outras biome- utilizada para os testes realizados; o resultados experimentais
trias [2], ainda é considerado baixo. Isso indica a necessidade são apresentados na Seção IV e as conclusões, bem como
de melhorias nos algoritmos atuais e a proposta de outros que trabalhos futuros, são apresentados na Seção V.
possam superar as dificuldades existentes. Nesse sentido, o
presente trabalho pretende avaliar o desempenho dos algo- II. R EVISÃO DA L ITERATURA
ritmos baseados em casamento de padrões Scale Invariant A seguir serão apresentados alguns conceitos necessários à
Feature Transform (SIFT) e Speeded Up Robust Features plena compreensão do trabalho proposto.
(SURF) quando aplicados ao reconhecimento biométrico fa-
cial. Muito embora os algoritmos SIFT e SURF não tenham A. Biometria
sido originalmente concebidos com o intuito de realizar tarefas Define-se biometria como sendo a identificação automati-
de reconhecimento biométrico, trabalhos recentes mostram zada de um indivíduo à partir de suas características compor-
que quando utilizados com esse propósito geram resultados tamentais e/ou fisiológicas que sejam únicas e cuja imitação
promissores [3], [4], [5]. Uma visão detalhada a respeito da por um terceiro não seja trivial [10], [11], [12]. Tal definição
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✻✻

abrange tanto sistemas clássicos que utilizam impressões di- D. Viola-Jones


gitais obtidas a partir de um dedo banhado em tinta, como O processo de reconhecimento facial em imagens digitais
sistemas mais modernos que implementam o reconhecimento ainda é uma das tarefas mais desafiadoras da área de visão
automático por meio de face, voz, escrita, padrões de digitação, computacional, sendo que seu desempenho depende de uma
gesto, íris, veias e outros [13]. Com o avanço da tecnologia etapa anterior, que é a correta detecção da região delimitadora
(sensores e algoritmos), os sistemas biométricos foram se da face. Na última década, dentro as diversas técnicas desen-
tornando cada vez mais robustos, eficientes e rápidos. volvidas para efeito de detecção facial, a de maior repercussão
A escolha do traço biométrico a ser utilizado em um sistema foi a proposta por Paul Viola e Michael Jone [16]. Seu sucesso
deve ser baseada em seis parâmetros [2], [14]. São eles: se deve principalmente à sua robustez (alta taxa de verdadeiro
• Universalidade: ser comum a todos os indivíduos; positivo e baixa taxa de falso positivo) e à sua velocidade.
• Unicidade: ser diferente entre indivíduos; Resumidamente a técnica está dividida em quatro estágios: (1)
• Permanência: ser invariante ao tempo; seleção de descritores Haar; (2) cálculo da imagem integral;
• Coletabilidade: ser conveniente de se adquirir; (3) treinamento AdaBoost; e (4) classificadores em cascata.
• Aceitabilidade: ser aceito por parte dos usuários; Descritores Haar são funções bidimensionais que repre-
• Evasibilidade: ser robusto à fraudes. sentam aspectos locais de objetos a serem detectados [21].
Um sétimo parâmetro, Desempenho, também pode ser consi- Observa-se que a elaboração desses descritores foi minu-
derado. No presente artigo, entende-se que tal parâmetro nada ciosamente definida para atuar mediante às características
mais é do que função dos demais. O traço biométrico ideal faciais de um humano. Visualmente podem ser representados
(de máximo Desempenho) é aquele que possui elevado grau por imagens binárias retangulares, subdivididas em retângulos
em cada um dos seis parâmetros acima citados. Tal cenário, pretos e brancos, conforme descrito no trabalho original de
entretanto, é inexistente [14]. Sendo assim, cada situação exige Viola e Jones [16].
um determinado grau de exigência para cada parâmetro. O sistema de detecção aqui discutido não opera diretamente
A face é um traço biométrico que possui altas univer- sobre os valores de intensidade da imagem, mas sim sobre
salidade, coletabilidade, aceitabilidade e robustez, além de atributos extraídos com o auxílio dos descritores Haar. Os
média permanência. No entanto, apresenta baixa unicidade, atributos são calculados a partir da soma dos pixels que estão
resultando em um baixo desempenho geral. sob a área branca do descritor subtraída da soma dos pixels
que estão sob a área preta do mesmo descritor. Porém, devido
B. Biometria Facial à grande quantidade de possíveis descritores empregados do
O reconhecimento facial é o meio mais utilizado por seres cômputo dos atributos, faz-se necessária uma etapa de otimi-
humanos no processo de identificação mútua. Um indivíduo é zação.
capaz de reconhecer um rosto familiar em um ambiente não Com o objetivo de se acelerar o tempo de processamento,
controlado em cerca de 100 a 200ms (milissegundos) [15]. uma imagem integral I(x, y) é utilizada como uma represen-
Sistemas biométricos baseados no reconhecimento da face tação alternativa da imagem original O(x, y). A partir desta
humana exploram, em geral, características vinculadas à loca- representação, os valores em I(x, y) passam a ser a soma de
lização e forma de atributos faciais como olhos, sobrancelhas, todos os valores superiores e à esquerda de O(x, y). Uma
narizes, lábios e outros. Os desafios surgem quando o sistema vez obtidos estes valores para I(x, y), as operações podem
é submetido a condições adversas, e.g., movimentação das ser realizadas a partir da soma resultante dos vértices de uma
pessoas passíveis de identificação, comportamento imprevisí- região retangular em I(x, y), representando a soma de todos os
vel do plano de fundo da imagem, múltiplos ângulos faciais, elementos da área retangular equivalente na imagem original
variação de iluminação. Mesmo considerando o estado da O(x, y), o que reduz a complexidade no cálculo dos atributos.
arte no que se refere à detecção [16] e ao reconhecimento A partir da construção da imagem integral, obtém-se os
facial [17], [18], [19], esse tipo de sistema biométrico ainda descritores a serem utilizados no treinamento do classificador.
está longe da sua forma definitiva e é campo aberto para O algoritmo Viola-Jones propõe a utilização de uma variação
aprimoramentos [20]. do AdaBoost [22]. O algoritmo proposto tem por função não
apenas treinar o classificador, mas também a selecionar um
C. Métricas de Desempenho para um Sistema Biométrico
conjunto reduzido de descritores.
É comum sistemas serem submetidos a análises de desem- Por fim, o Viola-Jones apresenta um método que combina
penho. Com sistemas biométricos não é diferente. Dentre as classificadores em cascada de forma a possibilitar o rápido
mais diversas métricas adotadas para avaliação de um sistema descarte de regiões irrelevantes, reservando mais computação
biométrico, destacam-se as taxas de Falsa Aceitação, Falsa a regiões mais propensas a conterem objetos de interesse.
Rejeição, Verdadeira Aceitação e Verdadeira Rejeição [20].
Pode-se, ainda, tratar um sistema biométrico como um sistema E. Scale Invariant Feature Transform e Speeded Up Robust
de classificação e, neste caso, é possível utilizar uma matriz Features
de confusão, que consiste em evidenciar as classificações A transformada SIFT (do inglês Scale-Invariant Feature
(identificações) corretas e as equivocadas. Este último foi o Transform) [23] destina-se à extração de pontos de interesse
método empregado no presente artigo. relevantes para descrever e detectar características locais de
✻✼ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

uma imagem, tendo como diferencial a invariância na escala


e rotação. A obtenção dos descritores é realizada a partir
de quatro etapas principais: Detecção de extremos na escala
espacial, localização de pontos de interesse, atribuição de
orientação e descritor do ponto de interesse.
Os descritores SURF [24] (do inglês Speeded-Up Robust
Features) são uma técnica que surgiu da necessidade de se
realizar o SIFT com melhor desempenho computacional, ou
seja, a concepção do SURF foi inspirada pelo SIFT. Apesar de,
originalmente, o SURF não ter sido concebido com o intuito
de ser uma ferramenta voltada para aplicações em biometria,
esta técnica tem sido aplicada neste contexto, com resultados Figura 1. Relação entre o comprimento e a largura da sépalas da Iris Setosa.
competitivos aos algoritmos tradicionais [25]. As variáveis são altamente correlacionadas e apresentam aproximadamente a
A realização dos descritores SURF [23], [24], assim como mesma variância.
na transformada SIFT, é feita em quatro etapas. As diferenças
entre os dois métodos são:
• A escala espacial na transformada SIFT é implemen-
tada utilizando diferença de gaussianas convoluídas com
imagens de diferentes resoluções espaciais. No SURF,
esta etapa é realizada por meio da variação da dimensão
da janela do filtro, que é convoluída com a imagem
integral, como descrito por [16]. Note que, dessa forma, o
SURF permite que diferentes escalas sejam processadas
em paralelo, reduzindo o seu tempo de processamento
computacional.
• A atribuição de orientação, no SURF, é definida a partir
Figura 2. Relação entre o comprimento e a largura da sépalas da Iris
de transformadas Wavelets aplicadas nas direções hori- Setosa no novo sistema de coordenadas. As variáveis estão praticamente
zontal e diagonal. descorrelacionadas e apresentam valores de variâncias diferentes.
• Na etapa de montagem do descritor de pontos de inte-
resse, os dois métodos utilizam supressão não-máxima de A PCA é usualmente aplicada a problemas onde o
extremos no espaço. Esta supressão determina os pontos tratamento da complexidade é criticamente necessário,
de interesse utilizando matrizes Hessianas. Todavia, o apresentado-se como uma ferramenta que propicia a redução
SURF realiza esta etapa de forma mais robusta e com da dimensionalidade de um vetor de atributos. A simplificação
tempo reduzido na extração dos descritores. do conjunto original de atributos por meio da PCA gera as
Os descritores SURF podem ser adaptados para a identifi- chamadas componentes principais, que nada mais são do que
cação de faces, utilizando como entrada a região delimitada novos atributos, resultantes da combinação linear daqueles que
por uma face previamente detectada na imagem, definindo compõem o vetor original. As componentes principais formam
um conjunto de descritores formado pelo pontos de interesse. uma base ortogonal, onde não há informação redundante.
Estes descritores são utilizados para a formação de um modelo Para ilustrarmos o funcionamento da PCA, apresentaremos
de referência, e, a partir deste modelo, realizar a medida um caso particular onde um problema com dois atributos é
de similaridade no processo de identificação facial com fins brevemente explorado antes de passarmos ao caso das faces.
biométricos. Para obter uma identificação facial positiva real, Considere o gráfico apresentado na Figura 1, que mostra a
são necessárias pelo menos três correspondências de pontos de relação entre o comprimento (x1 ) e a largura (x2 ) das sépalas
interesse (quantidade definida empiricamente) entre o modelo de 50 amostras da planta Iris Setosa [27]. Os atributos são
de referência e a imagem a ser analisada. altamente correlacionados e apresentam aproximadamente a
mesma variância. Observamos no gráfico uma reta crescente
F. Eigenfaces que atravessa a nuvem de pontos. Trata-se da reta ao longo da
Os vários algoritmos aplicados ao reconhecimento facial se qual o conjunto de dados apresenta a máxima variância. Há
baseiam em conjuntos de características, sendo que caracterís- também uma segunda reta, perpendicular (descorrelacionada
ticas podem ser classificadas em dois principais grupos. Em em relação) à primeira, que passa pelo centro de massa dos
um grupo estão aquelas ditas geométricas, e no outro grupo dados. É possível utilizar essas duas retas como uma nova
estão aquelas ditas fotométricas, ou baseadas em vistas. Dentre referência e calcular a posição dos dados em relação a esse
os algoritmos que se utilizam de características fotométricas, o nosso sistema de coordenadas, conforme mostrado na Figura 2.
Eigenfaces é um dos mais utilizados e baseia-se na aplicação Note que os novos atributos x′1 e x′2 , agora chamados de
da Análise de Componentes Principais (do inglês, Principal componentes principais, estão descorrelacionados e apresen-
Component Analysis ou PCA) [26] a imagens. tam valores de variâncias significativamente diferentes. Vale
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✻✽

Início

Abrir câmera

Obtém o quadro atual


Figura 3. Reorganização da imagem original em um vetor. da câmera

ressaltar, ainda, que x′1 e x′2 não coincidem com x1 e x2 ,


respectivamente. Ao mudarmos de sistema de coordenadas, Não
O algoritmo
Viola-Jones conseguiu
a interpretação dos atributos x1 e x2 como comprimento e detectar uma face no
quadro atual?
largura não se aplica às componentes principais x′1 e x′2 .
A redução de dimensionalidade do problema original ocorre Sim

por meio da eliminação de subconjuntos de componentes Armazena o quadro atual Espera 5 segundos

principais que apresentam baixa variância, ou seja, contribuem


pouco para a composição do sinal original. Utilizando ainda o
Foram
exemplo da Iris Setosa, seria possível caracterizar o fenômeno armazenadas 10
Não
imagens?
em questão a partir apenas da componente x′1 , uma vez que x′2
contribui com bem menos informação. Ou seja, um problema Sim

originalmente definido em duas dimensões passa a ser caracte- Final

rizado em uma única. Aqui foi apresentado um exemplo com Figura 5. Fluxograma do algoritmo de aquisição e registro de um indivíduo
apenas duas variáveis. Os benefícios dessa técnica tornam-se no banco de dados.
mais evidentes quando o conjunto original de atributos é maior.
Para se aplicar a PCA como ferramenta de reconhecimento construída a partir da combinação linear de suas componentes
facial, inicialmente deve-se reorganizar os pixels da imagem principais. Apenas para efeito de ilustração, a Figura 4 mostra
em um vetor, conforme ilustrado na Figura 3. No exemplo uma face média e um conjunto de 3 Eigenfaces calculadas a
em questão, os três pixels da primeira linha tornam-se os três partir de 25 indivíduos (3 faces cada) presentes no conjunto
primeiros elementos do vetor, os três pixels da segunda linha de treinamento. Apenas essas três componentes principais são
tornam-se os próximos três elementos e, por fim, a última linha responsáveis por 42.37% da informação presente no conjunto
contribui com os três últimos elementos do vetor. de treinamento.
Na operação, quando uma face desconhecida é apresentada
ao classificador, ela também recebe uma representação em
termos de uma combinação linear das componentes principais
(Eigenfaces) e os pesos atribuídos a cada uma de suas com-
ponentes são comparados aos pesos atribuídos à representação
de cada face do conjunto de treinamento. Calcula-se, então, a
distância entre os vetores de pesos. Se em uma determinada
comparação a distância é inferior a um limiar especificado
pelo usuário, a face desconhecida é reconhecida como sendo
do indivíduo em questão.
Figura 4. Imagem média (mais à esquerda) e 3 Eigenfaces (mais à direita)
calculadas a partir de 25 indivíduos (3 faces cada) presentes no conjunto A matemática e os algoritmos por trás das técnicas aqui
de treinamento. Uma face qualquer pode ser aproximada por meio de uma apresentadas já foram exaustivamente abordados pela litera-
combinação linear de Eigenfaces, conforme exemplificado. Os valores p0 a tura. Por isso, apresentamos a PCA [26] e o Eigenfaces [7] de
p3 indicam o peso de cada elemento da base.
forma a oferecer apenas uma intuição a respeito do assunto.
A seguir será apresentada a metodologia utilizada no presente
O próximo passo é realizar o procedimento descrito an- trabalho.
teriormente para um conjunto de imagens de treinamento e
arranjar os vetores resultantes em uma matriz M . Considere III. M ETODOLOGIA
que o conjunto proposto é formado por N imagens de di-
mensões k × k pixels. A matriz resultante terá k 2 linhas e A. Formação da Base de Faces
N colunas, ou seja, cada coluna representa uma face. Em A base de teste foi construída com 10 fotografias de 65
seguida aplica-se a PCA em Mk2 ×N e realiza-se a redução de usuários, totalizando 650 imagens. Para adquirir as faces, foi
dimensionalidade, preservando as colunas da matriz resultante aplicado um algoritmo que continuamente analisa o vídeo de
que estão associadas às mais altas variâncias. A PCA permite a um indivíduo posicionado em frente a uma webcam conven-
conversão de um conjunto de N imagens em L < N variáveis cional e armazena um snapshot (fotografia) apenas se uma
descorrelacionadas denominadas Eigenfaces. Essas variáveis face tiver sido detectada por meio do algoritmo Viola-Jones
são, na verdade, as componentes principais do conjunto de trei- (o Fluxograma 5 ilustra a execução do algoritmo que registra
namento, sendo que cada imagem desse conjunto pode ser re- um usuário no banco de dados). Entre o armazenamento de
✻✾ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

(a) (b) (c)


Figura 8. Resultado do pré-processamento das imagens: as faces são
(a) (b) (c) recortadas com o auxílio do algoritmo de Viola-Jones e posteriormente
redimensionadas de forma a apresentarem a mesma quantidade de linhas e
Figura 6. Exemplos de imagens que compõem a base de faces. Durante a colunas. Nesse exemplo, as imagens apresentam tamanho 256 × 256 pixels
captura garantiu-se que houvesse uma iluminação adequada e que o fundo com tamanho de armazenamento aproximado de 8KB cada uma.
não fosse ruidoso. Além disso, não foi permitida a presença simultânea de
mais de um usuário na frente da câmera.
em níveis de cinza e recortadas com o auxílio do algoritmo
um snapshot e o reinício da análise do vídeo à procura de de Viola-Jones. São posteriormente redimensionadas de forma
uma nova face, há um intervalo de tempo no qual não há a apresentarem a mesma quantidade de linhas e colunas. No
processamento (5 segundos). Com isso tenta-se garantir certa presente trabalho, optou-se por utilizar imagens de 256 × 256
variabilidade entre as fotografias. A única instrução dada aos pixels. O objetivo do pré-processamento é reduzir a área da
usuários é que não se mexam de forma abrupta. Durante a imagem de forma a conter apenas a face do usuário, única
captura garantiu-se que houvesse uma iluminação adequada e informação necessária ao reconhecimento, além de promover
que o fundo não fosse ruidoso. Além disso, não foi permitida um alinhamento mínimo entre as faces presentes em amostras
a presença simultânea de mais de um usuário na frente da diferentes. A Figura 8 mostra um exemplo de resultado do pré-
câmera. A Figura 6 mostra um exemplo de três fotografias processamento proposto. Observe que os olhos apresentam-se
adquiridas pela webcam que foram inseridas no conjunto de aproximadamente no mesmo intervalo de linhas.
dados.
IV. R ESULTADOS E XPERIMENTAIS
Das 650 faces capturadas, 130 (2 de cada indivíduo) são
utilizadas no treinamento do classificador, 455 (7 de cada um
dos 65 indivíduos) são reservadas à etapa de testes. Nessa
etapa, cada uma das 455 amostras do conjunto de teste é
apresentada ao classificador e, a partir da resposta obtida,
computa-se a matriz de confusão. A partir da matriz de
Figura 7. Método de comparação entre as faces Fi,j dos indivíduos Ij . confusão calcula-se o percentual geral de acerto. Cada uma
A figura mostra apenas o método de comparação da face F1,1 , porém esse das imagens do conjunto de teste (455) foi submetida aos
procedimento é repetido para todas as faces. classificadores e as matrizes de confusão foram calculadas. A
Uma análise comparativa entre os algoritmos SIFT, SURF e matriz de confusão não é aqui apresentada, uma vez que sua
Eigenfaces foi realizada. Por motivo de compatibilidade entre reprodução é inviável, pois contempla 65 usuários e, dessa
os métodos, apenas um subconjunto da base de dados foi forma, possui dimensões 65 × 65. A partir dessas matrizes,
utilizado. Para que tal fato possa ser compreendido, suponha foi possível obter as taxas de verdadeiros positivos e falsos
que cada amostra da base de dados é dada por Fi,j , i = 1..10 negativos. Essas duas métricas são utilizadas no cálculo da
e j = 1..65, sendo i o número da amostra para um dado taxa total de acerto. Como é apresentado na Tabela I, a taxa
indivíduo j. Realiza-se, então, o cômputo do número de total de acerto observada para o Eigenfaces foi de 88, 35%,
keypoint entre as amostras do conjunto de teste, duas a duas. 96, 26%, 97, 36% e 98, 02% para 5, 10, 20 e 65 componentes
Cada amostra do conjunto {Fn,m }n=3..9, m=1..65 é comparada principais, respectivamente. Já para o SIFT/SURF, a taxa de
com as amostras do conjunto {Fi,j }i=n, j=1..65 ∪ {Fn+1,m } − acerto foi de 100% em todos os casos.
{Fn,m }, totalizando 455 (7 × 65) comparações. Em outras Tabela I
palavras, cada amostra n de um determinado indivíduo é R ESULTADO DO Eigenfaces UTILIZANDO DIFERENTES QUANTIDADES DE
comparada às n−ésimas amostras dos demais indivíduos e à COMPONENTES PRINCIPAIS : 5, 10, 20 E 65.
5 10 20 65
amostra n+1 do mesmo individuo. Pelo fato do casamento da
Taxa de Acerto 88,35 % 96,26 % 97,36 % 98,02 %
n−ésima face depender da amostra n+1 do mesmo indivíduo, Taxa de Erro 11,65 % 3,74 % 2,64 % 1,98 %
interrompe-se o processo quando n = 9. O método de
comparação é ilustrado na Figura 7. A comparação que resultar Os resultados obtidos a partir do SIFT/SURF apresentam
no maior número de keypoints é a vencedora. A hipótese é melhor desempenho quando comparados aos resultados obti-
que comparações entre indivíduos diferentes resultam em um dos pelo Eigenfaces. A situação na qual as duas abordagens
número de keypoints inferior ao computado para amostras apresentam resultados mais próximos é com o uso de 65
diferentes do mesmo indivíduo. componentes principais. O SIFT/SURF, entretanto, mantém o
desempenho de 100% até mesmo na situação com a menor
B. Configuração do Eigenfaces quantidade de componentes principais. Dessa forma, a abor-
O primeiro passo antes de se aplicar o Eigenfaces consiste dagem aqui proposta apresenta não apenas uma melhoria na
no pré-processamento das imagens. As faces são convertidas precisão da classificação, mas também possibilita manter esta
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✼✵

melhora ao mesmo tempo em que o custo computacional é [2] A. K. Jain, A. Ross, and S. Prabhakar, “An introduction to
significativamente reduzido. Note que o uso de apenas 5 com- biometric recognition,” IEEE Trans. Cir. and Sys. for Video
Technol., vol. 14, no. 1, pp. 4–20, Jan. 2004. [Online]. Available:
ponentes principais pelo SIFT/SURF possibilita a obtenção de http://dx.doi.org/10.1109/TCSVT.2003.818349
100% na taxa de acerto, ao passo que o uso de 65 componentes [3] S. Liao, A. K. Jain, and S. Z. Li, “A fast and accurate unconstrained
principais pelo Eigenfaces resulta na obtenção de 98, 02% de face detector,” IEEE transactions on pattern analysis and machine
intelligence, vol. 38, no. 2, pp. 211–223, 2016.
acerto. Para construir a base de dados, utilizou-se uma webcam [4] P. Dreuw, P. Steingrube, H. Hanselmann, H. Ney, and G. Aachen,
VGA (Tipo fixo) com resolução de 640 × 480 pixels. “Surf-face: Face recognition under viewpoint consistency constraints.”
Uma amostra da base de dados com 3 (três) in BMVC, 2009, pp. 1–11.
[5] S. Liao, A. K. Jain, and S. Z. Li, “Unconstrained face detection,”
indivíduos está disponível para download (endereço: Technická zpráva, Department of Computer Science Michigan State
http://github.com/BaseFacesComp/Amostra-da-Base-de-Faces). University, prosinec, 2012.
[6] N. Wang, X. Gao, D. Tao, H. Yang, and X. Li, “Facial feature point
V. C ONCLUSÕES detection: A comprehensive survey,” Neurocomputing, 2017.
[7] M. Turk and A. Pentland, “Eigenfaces for recognition,” J. Cognitive
A utilização de novos métodos e algoritmos para reali- Neuroscience, vol. 3, no. 1, pp. 71–86, 1991.
zar reconhecimento facial é uma necessidade, visto que os [8] S. Tiwari, A. Singh, and S. K. Singh, “Integrating faces and soft-
resultados desta modalidade de biometria quando aplicada biometrics for newborn recognition,” Int. J. Adv. Comput. Eng. Archit,
vol. 2, no. 2, pp. 201–209, 2012.
a situações reais ainda deixa espaço para melhoramentos. [9] E. Rublee, V. Rabaud, K. Konolige, and G. Bradski, “Orb: An efficient
Métodos tradicionais, já validados, são comuns na bibliografia, alternative to sift or surf,” in Computer Vision (ICCV), 2011 IEEE
mas demandam condições de operação bem comportadas international conference on. IEEE, 2011, pp. 2564–2571.
[10] R. Clarke, “Human identification in information systems: Management
e estabelecidas. A busca por soluções mais heterodoxas e challenges and public policy issues,” Information Technology and Peo-
flexíveis é uma necessidade, mas para que sejam validadas ple, 1994.
faz-se necessária a comparação com os métodos tradicionais. [11] A. Jain, B. Klare, and A. Ross, “Guidelines for best practices in
biometrics research,” 8th IAPR International Conference on Biometrics,
O presente trabalho propôs a utilização do SIFT e do SURF 2015.
como algoritmos de identificação biométrica, comparando-os [12] N. K. Ratha and V. Govindaraju, Advances in Biometrics: Sensors,
ao tradicional Eigenfaces. Observou-se que o SIFT e o SURF Algorithms and Systems, 1st ed. Springer-Verlag London, 2008.
[13] J. Wayman, “A definition of biometrics,” in National Biometric Test
apresentaram desempenho superior ao melhor desempenho do Center Colected Works 1997-2000. San Jose State University, 2000.
Eigenfaces (por volta de 2%). Tal diferença justifica-se pelo [14] A. Ross and A. K. Jain, “Human recognition using biometrics: an over-
fato do Eigenfaces ser uma técnica extremamente sensível a view,” in Annales Des Télécommunications, vol. 62, no. 1-2. Springer,
2007, pp. 11–35.
condições externas, além de ter seu desempenho afetado por [15] S. Haykin, Redes Neurais - Principios e Praticas, 2nd ed. Bookman,
transformações geométricas, o que não ocorre com os demais 2001.
métodos. Os testes mostraram que, apesar do SIFT e do SURF [16] P. Viola and M. J. Jones, “Robust real-time face detection,” International
journal of computer vision, vol. 57, no. 2, pp. 137–154, 2004.
não terem sido originalmente propostos como algoritmos de [17] M. Turk and A. Pentland, “Eigenfaces for recognition,” J. Cognitive
reconhecimento biométrico, ambos apresentam potencial para Neuroscience, vol. 3, no. 1, pp. 71–86, Jan. 1991. [Online]. Available:
superar o Eigenfaces, um algoritmo consagrado, em cenários http://dx.doi.org/10.1162/jocn.1991.3.1.71
[18] F. Chelali, A. Djeradi, and R. Djeradi, “Linear discriminant analysis for
mais adversos. Os resultados foram gerados utilizando uma face recognition,” in Multimedia Computing and Systems, 2009. ICMCS
base de dados (criada) de 650 imagens de faces, sendo ’09. International Conference on, April 2009, pp. 1–10.
elas compostas por 10 amostras faces de cada um dos 65 [19] L. Wiskott, J.-M. Fellous, N. Kruger, and C. von der Malsburg, “Face
recognition by elastic bunch graph matching,” in Image Processing,
indivíduos. É sabido que existem bases de dados tradicionais 1997. Proceedings., International Conference on, vol. 1, Oct 1997, pp.
para realizar comparação entre algoritmos de reconhecimento 129–132 vol.1.
facial. Embora outros trabalhos já tenham utilizado essas [20] A. K. Jain and S. Pankanti, “Automated fingerprint identification and
imaging systems,” in Advances in Fingerprint Technology, 2nd ed., H. C.
bases tradicionais para testar o SIFT e o SURF, para garantir Lee and R. E. Gaensslen, Eds. Boca Raton: CRC Press, 2001, ch. 8.
a validação consistente de uma nova proposta é possível [21] S.-K. Pavani, D. Delgado, and A. F. Frangi, “Haar-like features with
considerar que avaliar o desempenho desta, quando aplicada optimally weighted rectangles for rapid object detection.” Pattern Re-
cognition, vol. 43, no. 1, pp. 160–172, 2010.
à bases de dados independentes, faz parte do processo de [22] W. Fan, S. J. Stolfo, and J. Zhang, “The application of
convencimento científico. Finalmente, destaca-se que a base adaboost for distributed, scalable and on-line learning,” in
de dados construída (disponível para a comunidade científica) Proceedings of the Fifth ACM SIGKDD International Conference
on Knowledge Discovery and Data Mining, ser. KDD ’99. New
é composta por imagens de baixa qualidade/resolução, adqui- York, NY, USA: ACM, 1999, pp. 362–366. [Online]. Available:
ridas com baixo grau de controle do ambiente e sem nenhuma http://doi.acm.org/10.1145/312129.312283
instrução especial para os indivíduos colaboradores (cobaias). [23] D. G. Lowe, “Distinctive image features from scale-invariant keypoints,”
Int. J. Comput. Vision, vol. 60, no. 2, pp. 91–110, Nov. 2004. [Online].
Trabalhos futuros podem incluir a formação de uma base de Available: http://dx.doi.org/10.1023/B:VISI.0000029664.99615.94
faces mais numerosa e diversa, a análise da capacidade de [24] H. Bay, A. Ess, T. Tuytelaars, and L. Van Gool, “Speeded-
reconhecimento em diferentes ângulos faciais e a avaliação da up robust features (surf),” Comput. Vis. Image Underst., vol.
110, no. 3, pp. 346–359, Jun. 2008. [Online]. Available:
capacidade de distinção entre gêmeos idênticos. http://dx.doi.org/10.1016/j.cviu.2007.09.014
[25] G. Du, F. Su, and A. Cai, “Face recognition using surf features,” in
R EFERÊNCIAS Proceedings of the SPIE, vol. 7496, Oct 2009, pp. 749 628–1.
[1] J. Wayman, A. Jain, D. Maltoni, and D. Maio, “An introduction to [26] I. Jolliffe, Principal Component Analysis. Springer-Verlag, 2002.
biometric authentication systems,” in Biometric Systems: Technology, [27] R. A. Fisher, “The use of multiple measurements in taxonomic pro-
Design and Performance Evaluation. London: Springer, 2005, ch. 1. blems,” Annals of Eugenics, vol. 7, no. 7, pp. 179–188, 1936.
✼✶ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Automatic Vehicle Count in Multiple


Climatic and Illumination Conditions
Ricardo Fantin da Costa, Hugo Vieira Neto and Keiko Verônica Ono Fonseca
Graduate Program in Electrical and Computer Engineering
Federal University of Technology – Paraná
Email: ricardofantin@gmail.com

Abstract—Traffic engineering can benefit from the use of à sua área para determinar se dois veículos foram agrupados
quantitative parameters extracted directly from the streets to erroneamente e devem ser separados. Em [7], manchas de
plan traffic flow, especially if these extracted parameters are movimento são separadas quando ultrapassam a linha entre
reliable in different illumination and climatic conditions. This
paper discusses the feasibility of obtaining such descriptive duas faixas de veículos.
parameters to help plan the traffic flow in a city using computer No presente trabalho é apresentada uma forma de segmen-
vision techniques, namely segmentation and counting of vehicles, tação baseada na premissa de que um veículo possui seu com-
using real data from a camera installed in a street crossing. The primento maior que sua largura. Combinando as técnicas de
algorithm was built using frame differences, mathematical mor- análise da direção do eixo principal da mancha do movimento
phology and contour correspondence, and with few configuration
parameters (the definition of a counting line and the expected [8] com a direção esperada da velocidade do veículo, pode-
length of vehicles) it was able to count vehicles accurately in se determinar se o suposto veículo detectado está alinhado
different climatic and illumination conditions. com a direção do movimento. Se não estiver, provavelmente
detectou-se erroneamente dois veículos como sendo apenas
I. I NTRODUÇÃO um – quando este tipo de situação é detectada, os veículos
A engenharia de tráfego utiliza múltiplos parâmetros para são separados pelo algoritmo proposto neste trabalho.
descrever o trânsito em uma cidade. Obter esses parâmetros de O restante deste artigo está organizado da seguinte forma:
forma rápida e em grande quantidade facilita o planejamento a Seção II descreve os materiais e métodos empregados; a
do trânsito, sendo que três fatores principais são destacados Seção III descreve os experimentos realizados para a obtenção
em [1] para analisar o tráfego: o fluxo de veículos, a sua dos resultados discutidos na Seção IV; e finalmente a Seção V
velocidade média e a distância média entre eles. A medida apresenta as principais conclusões sobre os resultados obtidos
de fluxo é feita pela contagem dos veículos, que consiste no e algumas sugestões de investigações futuras.
objetivo deste trabalho.
Diversas técnicas para realizar a segmentação e contagem II. M ATERIAIS E M ÉTODOS
de veículos existem. Almeja-se um método de rápido proces- Os materiais utilizados nos experimentos relatados neste
samento e que seja capaz de trabalhar com câmeras que não trabalho são vídeos adquiridos por uma câmera instalada em
tenham que ser posicionadas especialmente para este fim. Um um cruzamento na cidade de Curitiba. Foram selecionados
processo comum para segmentar objetos em movimento utiliza cinco vídeos de uma mesma câmera em diferentes horários
modelagem de fundo da cena. do dia e em diferentes condições climáticas. Cada vídeo tem
No contexto de aplicações de contagem de veículos, em a duração de dez minutos, com trinta quadros por segundo,
[2] é proposta uma forma de atualizar o modelo do fundo da totalizando dezoito mil quadros por vídeo, o que torna a base
cena levando em consideração veículos parados ou movimento de dados utilizada bastante rica em informações.
lento de veículos por meio de um processo de espera por um A câmera utilizada para a aquisição dos vídeos é capaz
determinado período. Quando a segmentação está sendo feita de rotacionar, adquirindo cenas do trânsito a partir de di-
com exatidão ou há poucos veículos ou não há muita oclusão, ferentes pontos de vista e com diferentes níveis de zoom.
é possível acompanhar a trajetória dos veículos. Em [3] é Caso um processamento corriqueiro fosse utilizado, refazer
apresentada uma técnica simples para seguir e contar veículos as calibragens necessárias cada vez que o ponto de vista de
com altas taxas de acurácia e em [4], os pontos de interesse aquisição da câmera fosse alterado se tornaria uma tarefa
de objetos em movimento são agrupados e analisados quanto bastante inconveniente. Portanto, busca-se uma solução sufi-
a possuírem velocidades próximas e distribuição que corres- cientemente genérica para realizar o processamento de vídeo
ponda ao tamanho estimado de um veículo. Uma abordagem independentemente do ponto de vista de aquisição das imagens
híbrida com modelagem de fundo e agrupamento de pontos de e com baixo custo computacional, devido ao grande volume
interesse é apresentada em [5]. Outro exemplo de modelagem de dados a serem processados.
de fundo e segmentação de veículos com base na forma das O processo geral aplicado sobre os vídeos está ilustrado
manchas de movimento foi apresentado em [6], em que o na Figura 1. A entrada se dá na forma da especificação de
fecho convexo de uma mancha de movimento é comparada uma linha no local onde deseja-se contar quantos veículos
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✼✷

passaram e do tamanho estimado para esses veículos. O pela técnica da diferença absoluta entre quadros, como ilustra a
processo retorna os instantes de tempo em que veículos com Figura 2. Neste processamento, os quadros em cores do vídeo
o tamanho especificado cruzaram a linha de contagem. foram previamente convertidos para tons de cinza.

Vídeo

(a) Diferença
Absoluta

(b) Binarização
(a)

(c) Dilatação

(d) Separação
(b)

(e) Contagem

Dados
Figura 1: (a) diferença absoluta de quadros; (b) binarização
dos pixels em dois grupos (em movimento ou estáticos);
(c) operação morfológica de dilatação para unir os pixels
(c)
em movimento; (d) separação de veículos, caso manchas
de movimento tenham seu eixo principal em uma direção Figura 2: (a) e (b) apresentam dois quadros subsequentes; (c)
diferente da direção do elemento morfológico; (e) contagem apresenta o módulo da diferença entre esses quadros (invertida
através da ligação do centro de cada mancha com o centro e normalizada para melhor visualização).
correspondente em dois quadros anteriores.
Uma vez calculada a diferença de valores dos pixels na etapa
O objetivo inicial do algoritmo proposto é o de separar os representada na etapa (a) da Figura 1, é necessário determinar
veículos do fundo para depois contá-los, pois a contagem é o limiar de separação entre o que se consideram pixels em
uma das poucas métricas objetivas para validar os resultados movimento ou pixels estáticos. Para este fim, utiliza-se o al-
do experimento. O movimento dos veículos pode ser detectado goritmo de Otsu [9] no histograma da diferença absoluta entre
✼✸ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

quadros. A ideia por trás deste algoritmo é a de determinar de contagem. A Figura 4 ilustra mais detalhadamente uma
um ponto de separação no histograma de forma a minimizar situação de contagem.
o desvio padrão dos valores do histograma à esquerda (pixels
estáticos) e à direita (pixels em movimento), conforme etapa
(b) da Figura 1.
Os pixels classificados como estando em movimento na
diferença absoluta entre quadros correspondem às bordas
ortogonais à direção do movimento, conforme ilustrado na
Figura 3 – bordas do asfalto com a frente do veículo, do capô
com o para-brisa, do para-brisa com o teto e da traseira do
veículo com o asfalto. Diversas regiões homogêneas do veículo
acabam sendo classificadas como sendo pixels estáticos e para
agrupá-las foi usado o filtro morfológico da dilatação com
elemento estruturante em forma de linha orientada na direção
do movimento. Essa forma de elemento estruturante tende
a não agrupar os veículos que estão nas faixas de trânsito
adjacentes, auxiliando também a reduzir os efeitos causados
por postes, fios de distribuição de eletricidade e outros objetos Figura 4: O centro de cada mancha de movimento é represen-
existentes na cena que possam obstruir os objetos de interesse. tado por um círculo azul, sendo a posição anterior que esse
centro ocupou também representada por um círculo ligado ao
centro atual. Quando é detectada a passagem do centro pela
linha de contagem, a cor dos círculos é alterada para preto.

III. E XPERIMENTOS
O algoritmo foi aplicado em cinco vídeos com a linha de
contagem entre as coordenadas (228, 292) e (447, 317), e
com o mesmo tamanho da linha do elemento estruturante da
Figura 3: À esquerda um dos veículos classificados como dilatação (18 pixels). A validação dos resultados foi efetuada
estando em movimento pela limiarização; no centro o ele- através da comparação com os dados corretos de contagem de
mento estruturante em forma de linha orientada na direção do veículos pela linha de contagem (padrão-ouro), realizada ma-
movimento; à direita o resultado da dilatação. nualmente por um operador humano. As situações analisadas
foram: 1) contagem de um veículo; 2) contagem de um veículo
A partir da etapa (c) da Figura 1 existem manchas (regiões) em duplicidade; e 3) falha na contagem de um veículo, sendo
de movimento e não mais pixels de interesse. Deseja-se a as duas últimas situações indesejadas.
correspondência de apenas um veículo a cada mancha de A avaliação dos resultados levou em conta quando um
movimento, mas pode ocorrer o agrupamento de mais de veículo deixou de ser contado e quando um veículo foi contado
um veículo. Então, é preciso extrair mais informações da erroneamente. A razão entre o número de veículos contados
mancha de movimento para determinar se uma separação se corretamente pelo total de veículos deveriam ter sido contados
faz necessária. O algoritmo proposto se utiliza da técnica dos é definido como acurácia e consiste na principal métrica de
momentos para calcular o centro de massa e os eixos principais qualidade do processo. Uma segunda métrica possível de ser
das manchas [8]. A direção do eixo principal da mancha utilizada consiste em desconsiderar os veículos que não foram
de movimento deve ser próxima à direção do movimento e contados e calcular a preditividade positiva para mensurar se
aproximadamente perpendicular à linha de contagem – se não o algoritmo está contando elementos inexistentes.
o for, conclui-se que a mancha deve ser separada em duas. O Para realizar a contagem, o usuário define a linha de conta-
ponto de separação usado é o centro de massa, com uma linha gem e o tamanho do elemento estruturante da dilatação. Estes
na direção do movimento esperado do veículo. Na etapa (d) são os únicos dados que o usuário deve informar ao sistema,
da Figura 1 é exibido o resultado de uma separação em duas sendo a direção do elemento estruturante da dilatação sempre
manchas. ortogonal à linha de contagem. Quando um veículo cruza a
Ao final do processamento é necessário definir a correspon- linha de contagem são registrados os seguintes metadados:
dência das manchas de movimento entre quadros. Para isto, o número do quadro, o tamanho em pixels do veículo, a
verifica-se em dois quadros anteriores se existe uma mancha de localização do centro da mancha de movimento e a localização
movimento com tamanho, orientação do eixo principal e centro desse mesmo centro no quadro anterior. Diversas informações
próximos a cada mancha encontrada no quadro atual. Com podem ser retiradas destes metadados, além da contagem do
esta informação é possível traçar a movimentação da mancha fluxo de veículos, como por exemplo a temporização dos
entre os quadros e detectar se algum centro passou pela linha semáforos e a quantidade de veículos trafegando em cada pista.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✼✹

Tabela I: Resultados da contagem de veículos nos cinco vídeos utilizados.


Verdadeiros Falsos Falsos Acurácia Pred. Positiva
Vídeo Horário Condições Positivos Positivos Negativos (VP/(VP+FP+FN)) (VP/(VP+FP))
1 19:40-19:50 Dia de chuva 187 1 27 87% 99%
2 21:00-21:10 Noite de chuva 158 0 17 90% 100%
3 23:30-23:40 Noite (tons de cinza) 80 0 7 92% 100%
4 09:30-09:40 Dia nublado 316 0 35 90% 100%
5 12:00-12:10 Dia de sol 113 0 7 94% 100%

IV. R ESULTADOS E D ISCUSSÕES


Os resultados dos experimentos de contagem de veículos
são mostrados na Tabela I. A fim de avaliar o desempenho do
algoritmo, foi verificado quando um veículo foi corretamente
contado (Verdadeiro Positivo), quando um veículo não exis-
tente foi contado ou quando um mesmo veículo foi contado
em duplicidade (Falso Positivo) e quando um veículo deixou
de ser contado (Falso Negativo).
Em situações comuns em que os veículos estão em movi-
mento, a contagem ocorre como esperado. Os momentos em
que ocorrem erros na contagem são principalmente quando
o semáforo acaba de abrir e os veículos ainda não estão em
uma velocidade razoável para o movimento ser adequadamente
detectado entre quadros consecutivos. Nestas situações, a dila-
tação acaba agrupando em uma mesma mancha de movimento
carros da mesma faixa e o veículo mais à frente acaba não
sendo contado. Figura 5: Contagem de veículos (área) ao longo do tempo
Uma informação adicional possível de ser obtida pelo pro- (quadro) registrado no vídeo número 4, em que são notórios
cessamento são os momentos em que o semáforo está fechado os períodos em que o semaforo está fechado.
ou aberto. Como dificilmente um falso positivo é detectado
passando pela linha de contagem, os momentos em que o
semáforo está fechado não apresentam nenhuma contagem. também a sua interpretação e posterior uso. A distância entre
A Figura 5 apresenta um gráfico contendo os intervalos de as bordas perpendiculares ao movimento dos veículos acaba
tempo em que ocorreu contagem de veículos. No intervalo de sendo um parâmetro mínimo necessário.
1870 até 3277 não há contagem de veículos, evidenciando Segundo o Departamento Nacional de Infraestrutura de
um período de tempo em que o semáforo estava fechado, Transportes [10] um operador experiente pode contar e clas-
sendo esse um padrão que se repete em todo o gráfico. Essa sificar corretamente até aproximadamente 450 veículos por
informação simples pode ser usada para detectar anomalias hora. Comparado a valores da ordem de centenas de veículos
grandes no trânsito. O termo preditividade positiva refere-se a cada dez minutos, torna-se claro que o trabalho executado
à relação entre o número de acertos pelo numero total de pelo algoritmo proposto pode vir a substituir o trabalho de
veículos que o algoritmo contou. Na Tabela I os altos valores pelo menos dois operadores humanos no cruzamento em que
de preditividade positiva indicam grande robustez do método os vídeos foram adquiridos, podendo ser executado ininterrup-
para encontrar longos períodos de tempo com uma pista de tamente durante longos períodos de tempo.
trânsito parada.
V. C ONCLUSÃO
Com as imagens reais de uma mesma rua em diversos horá-
rios e condições climáticas distintas pode-se obter um grande Sob todas as condições climáticas dos diferentes vídeos
número de situações interessantes para a análise do método. a acurácia do algoritmo foi de 90,6% em média, um valor
Se para cada condição climática e horário uma configuração considerado promissor. A baixa variação na acurácia eviden-
distinta fosse necessária, então o método proposto neste artigo cia que o método proposto não foi afetado pelas condições
não seria viável. Com o usuário configurando apenas a linha adversas testadas e também não está tendencioso para apenas
de contagem na direção ortogonal ao movimento esperado dos uma condição climática específica.
veículos, supõe-se que o tamanho do elemento da dilatação O agrupamento de manchas de movimento separadas pe-
seja simples de ser configurado. las regiões homogêneas dos veículos através da operação
Uma característica importante do algoritmo proposto neste morfológica de dilatação em formato de linha na direção
trabalho é a pequena quantidade de parâmetros específicos do movimento foi eficaz em auxiliar na detecção correta
para regular os algoritmos de visão computacional. É natural de veículos ao mesmo tempo em que não causou uniões
ao usuário especificar o local da contagem, já que cabe a ele indesejadas com veículos próximos.
✼✺ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Próximo ao foco da câmera situa-se a região mais nítida


das imagens, constituindo o local ideal para se realizar a
contagem dos veículos. Foi selecionada a faixa de pedestres
como local preferencial para contar os veículos, garantindo
um local onde é possível contar até mesmo os veículos que
realizam a conversão no cruzamento.
Mais informações sobre o tráfego podem ser retiradas das
séries temporais geradas pela contagem em trabalhos futuros.
A verificação da temporização dos semáforos frente a períodos
de estagnação do fluxo de veículos ou a detecção de eventos
(como acidentes) que causem a obstrução de uma via são
exemplos nesse sentido.
O uso do fluxo ótico denso também pode ser usado para
determinar quais pixels estão em movimento na cena, subs-
tituindo a diferença de quadros seguida da operação morfo-
lógica da dilatação. Embora essa abordagem seja susceptível
a encontrar movimento nas sombras projetadas pelos veículos
em alguns horários do dia, não é tão suscetível a ruído de
pixels isolados. O uso do fluxo ótico denso permitiria detectar
automaticamente situações em que um operador humano está
movimentando a câmera, por exemplo, e mudar automatica-
mente os parâmetros de processamento.
AGRADECIMENTOS
Os autores agradecem a bolsa de estudos concedida pelo
Conselho Nacional de Desenvolvimento Científico e Tecno-
lógico (CNPq) e a gentil cessão dos vídeos utilizados pela
Urbanização de Curitiba (URBS).
R EFERÊNCIAS
[1] A. Pande and B. Wolshon, Traffic Engineering Handbook, 7th ed. John
Wiley & Sons, 2016.
[2] M. Vargas, J. M. Milla, S. L. T. Marín, and F. Barrero, “An enhanced
background estimation algorithm for vehicle detection in urban traffic
scenes.” IEEE Transactions on Vehicular Technology, vol. 59, no. 8, pp.
3694–3709, 2010.
[3] D. Li, B. Liang, and W. Zhang, “Real-time moving vehicle detection,
tracking, and counting system implemented with OpenCV,” in IEEE
International Conference on Information Science and Technology, 2014,
pp. 631–634.
[4] Z. Kim, “Real time object tracking based on dynamic feature grouping
with background subtraction,” in IEEE Conference on Computer Vision
and Pattern Recognition, June 2008, pp. 1–8.
[5] C. Bouvié, J. Scharcanski, P. Barcellos, and F. L. Escouto, “Tracking
and counting vehicles in traffic video sequences using particle filtering,”
in IEEE International Instrumentation and Measurement Technology
Conference, 2013, pp. 812–815.
[6] A. P. Vieira and R. F. da Costa, “Contagem volumétrica de veículos
em vias urbanas,” Trabalho de Conclusão de Curso, Universidade
Tecnológica Federal do Paraná, Curitiba, Paraná, 2014. [Online].
Available: http://repositorio.roca.utfpr.edu.br/jspui/handle/1/2971
[7] A. Sanchez, P. D. Suarez, A. Conci, and E. Nunes, “Video-based
distance traffic analysis: Application to vehicle tracking and counting,”
Computing in Science Engineering, vol. 13, no. 3, pp. 38–45, 2011.
[8] R. J. Prokop and A. P. Reeves, “A survey of moment-based techniques
for unoccluded object representation and recognition,” CVGIP: Graphi-
cal Models and Image Processing, vol. 54, no. 5, pp. 438 – 460, 1992.
[9] N. Otsu, “A threshold selection method from gray-level histograms,”
IEEE Transactions on Systems, Man and Cybernetics, vol. 9, pp. 62–
66, 1979.
[10] Departamento Nacional de Infraestrutura de Transportes (DNIT), Ma-
nual de Estudos de Tráfego, Rio de Janeiro, 2006.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✼✻

Methods of detecting and reconstructing partial


occlusions in face images: Systematic Literature
Review
Jonas Mendonça Targino Sarajane Marques Peres Clodoaldo Aparecido de Moraes Lima
University of São Paulo - EACH University of São Paulo - EACH University of São Paulo - EACH
São Paulo, Brazil São Paulo, Brazil São Paulo, Brazil
Email: jonas.mendonca@usp.br Email: sarajane@usp.br Email: c.lima@usp.br

Abstract—Facial recognition systems in real world environ- lidar com essas variações do ambiente. Sabe-se que problemas
ments often have to deal with uncontrolled and unpredictable de iluminação, pose e expressão já foram tratados de forma
conditions, such as major changes in illumination, pose, ex- satisfatória por vários estudos [11], porém o problema de
pression, and occlusion, which introduce intraclass variations
and degrade recognition performance. Compared with problems oclusões parciais em imagens de face ainda não possui trata-
of illumination, pose and expression, the problem related to mento satisfatório [29], merecendo um pouco mais de atenção
occlusion is relatively little studied in the area. Although little da comunidade cientı́fica, identificando as técnicas presentes
attention has been given to the problem of occlusion in the facial no estado de arte, tipos de oclusões tratadas por cada uma
recognition literature, the importance of this problem should be delas, e consequentemente suas vantagens e desvantagens.
emphasized, since the presence of occlusion is very common in
uncontrolled scenarios and may be associated with several safety Mediante essa justificativa, esta revisão sistemática (RS)
issues. For this justification, this systematic review (RS) identifies, identifica, avalia e interpreta estudos primários relevantes
evaluates and interprets relevant primary studies that present que apresentam técnicas para detecção e reconstrução de
techniques for detecting and reconstructing partial occlusions in oclusões parciais em imagens de face visando o reconheci-
face images for biometric recognition. mento biométrico. A motivação para esta RS surge a partir
Keywords—Biometric systems; uncontrolled environment; fa-
cial recognition; occlusion detection; occlusion reconstruction. da ausência de estudos secundários abordando esse tema. Este
artigo é organizado da seguinte forma: a seção II apresenta
os principais conceitos teóricos relacionados ao tema da RS;
I. I NTRODUÇ ÃO
a seção III descreve o método utilizado nessa RS; a seção
Biometria é uma área que abrange uma diversidade de IV evidencia os resultados e discussões objetivando responder
tecnologias utilizadas para fins de identificação pessoal por as questões de pesquisa; a seção V explicita uma análise de
meio da coleta e mensuração de caracterı́sticas fı́sicas ou possı́veis ameaças a validade desta RS; e por último, a seção
comportamentais extraı́das de cada indivı́duo. As modalidades VI apresenta as conclusões.
fı́sicas incluem impressão digital, geometria da mão, padrão
da orelha e caracterı́sticas faciais. Já as modalidades com- II. F UNDAMENTAÇ ÃO T E ÓRICA
portamentais incluem voz, assinatura, padrão de digitação e A análise das caracterı́sticas faciais de cada indivı́duo
outros. O fato das modalidades biométricas estarem ligadas possibilita aplicações nas mais diversas áreas, tais como,
diretamente a alguma caracterı́stica dos usuários consiste numa reconhecimento facial, reconhecimento por meio da ı́ris e
possibilidade extraordinária para superar os problemas de análise de emoções. Neste trabalho é dado ênfase ao reco-
segurança causados pelas estratégias tradicionais de reconhe- nhecimento facial, mais precisamente as técnicas de detecção
cimento, sendo mais difı́ceis de serem roubadas ou falsificadas e reconstrução de oclusões parciais em imagens de face.
quando comparadas a técnicas convencionais [20]. Oclusão é o posicionamento de algo na frente do que
A face é a modalidade biométrica mais explorada [27] desejamos visualizar, impedindo uma visão holı́stica do que
por contar com métodos de coleta não intrusivos e não está por trás. No contexto de reconhecimento facial, [7] afirma
exigir total colaboração do usuário para a coleta de dados. que a oclusão é o elemento básico que limita a informação a
O reconhecimento facial pode ser aplicado por exemplo, em ser extraı́da da imagem de face. De acordo com [27], quando
sistemas de vigilância para identificação de indivı́duos que lidamos com sistemas de natureza não controlada existe um
representam possı́veis ameaças em ambientes como saguões, fator que impede uma fácil e rápida identificação da pessoa.
aeroportos, praças, escolas, etc. Entretanto, em ambientes Esse fator é a oclusão, e lidar com ela não é uma tarefa fácil, já
como esses, as imagens de faces capturadas podem estar que a mesma significa a obstrução de uma parte da imagem de
sujeitas a variações de iluminação, pose, expressão e oclusão, face por objetos, como óculos, lenços, mãos, cabelos e assim
sendo que o sistema de reconhecimento deve ser capaz de por diante.
✼✼ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Há dois problemas distintos relacionados com o reconhe- • Q4 - Quais bases de dados estão sendo utilizadas ? Quais
cimento facial com oclusões: detecção da face ocluı́da e os tipos de variações presentes nas bases?
recuperação da face ocluı́da. A primeira tarefa consiste em As questões de pesquisa Q1 e Q2 motivam encontrar as
determinar se uma imagem de face está ou não ocluı́da, e técnicas presentes no estado da arte. Já as questões de pesquisa
pode ser utilizada para rejeitar automaticamente as imagens Q3 e Q4 têm motivação na análise das bases de dados
ocluı́das em algumas aplicações, tais como, imagens de face existentes, formas de comparação das técnicas, quantidade
para passaporte. Este mecanismo de rejeição nem sempre de indivı́duos participantes e tipos de variações (iluminação,
é adequado para reconhecimento facial em alguns cenários, expressão, pose e oclusão) presentes nas imagens das bases.
como por exemplo, em sistema de vigilância, em que nenhuma
outra imagem pode ser obtida devido a falta de cooperação do C. Protocolo da Revisão Sistemática
indivı́duo. A segunda tarefa consiste em restaurar as regiões Segundo [15], um protocolo de RS estabelece os métodos
ocluı́das das imagens faciais. Esta tarefa pode recuperar as necessários para a condução da RS. Um protocolo bem defi-
áreas obstruı́das, mas esta pode não contribuir diretamente para nido é essencial para redução de resultados tendenciosos em
o reconhecimento, visto que as informações da identidade do uma pesquisa. A construção do protocolo de pesquisa dessa
indivı́duo podem estar contaminadas por algum ruı́do durante RS seguiu as diretrizes propostas por [15]: (i) motores de
a recuperação. busca; (ii) estratégia de pesquisa; (iii) estratégia de seleção;
(iv) estratégia de avaliação da qualidade dos estudos; e (v)
III. M ÉTODO
métodos de extração e sı́ntese dos dados.
A RS caracteriza-se como um estudo secundário que visa Os motores de busca utilizados para obtenção dos artigos
identificar, avaliar, comparar e interpretar todos os trabalhos foram Scopus1 , IEEE2 e Web of Science (WoS)3 . A String de
disponı́veis para uma determinada questão de pesquisa ou um busca canônica aplicada nos motores de busca é apresentada
problema, oferecendo um meio de propor direcionamentos na tabela I.
e tendências na área objeto de estudo. Segundo [15], a
diferença entre uma revisão sistemática e os demais tipos de Tabela I
estudos secundários é o seu processo sistemático de condução S TRING DE BUSCA
da pesquisa, essa sistematização garante que a revisão seja
replicável e livre de viés, melhorando seu caráter cientı́fico. ( TITLE-ABS-KEY ( occlusion* ) AND TITLE-ABS-KEY ( detect* OR
Esta RS segue as diretrizes propostas por [15], que relata recogni* OR analys* OR reconstruct* ) AND TITLE-ABS-KEY ( face
OR faces OR facial ) AND ( biometr* ) )
três passos fundamentais: (i) planejamento (seção III); (ii)
condução (seção III-D) e (iii) relatório (seção IV).
A. Justificativa para a Revisão Sistemática A seleção dos estudos aconteceu a partir da aplicação de
um conjunto de critérios de inclusão (CI) e exclusão (CE),
A partir da pesquisa por trabalhos cientı́ficos nos principais esses critérios foram elaborados de modo a selecionar estudos
motores de busca, não foi possı́vel encontrar nenhuma RS primários com um nı́vel mı́nimo de qualidade, acessı́vel e
abordando o tema aqui estudado. Os artigos avaliados na pre- pertencentes ao escopo da RS. Os critérios aplicados foram:
sente RS foram desenvolvidos por pesquisadores de diferentes
• CI-1 Trabalhos que apresentem técnicas para detecção de
grupos de pesquisa interessados nas técnicas para detecção
oclusão em imagens da face.
e reconstrução de oclusões parciais em imagens de face vi-
• CI-2 Trabalhos que apresentem técnicas para
sando o reconhecimento biométrico. Portanto faz-se necessário
reconstrução da face.
avaliar as técnicas para detecção e reconstrução de oclusões
• CI-3 Trabalhos que apresentem modelagens hı́bridas para
parciais presentes no estado da arte, e com isso compartilhar
detecção de oclusões parciais e/ou reconstrução facial.
junto a comunidade cientı́fica, um artefato contendo um re-
• CI-4 No caso de artigos com conteúdo duplicado,
sumo das técnicas existentes, permitindo que pesquisadores
escolher somente a versão mais completa e mais nova
e interessados na área possam iniciar seus trabalhos a partir
deste artefato, economizando tempo e minimizando a chance
• CE-1 Trabalhos que estejam na forma de livros, capı́tulos
de não acessar um estudo primário relevante.
de livros (por não ser possı́vel mensurar seu nı́vel de
B. Questões de pesquisa contribuição cientı́fica), prefácio de eventos, pôster, arti-
As questões de pesquisa foram elaboradas com base em gos de revisão e artigos resumidos.
• CE-2 Trabalhos que não estejam na lı́ngua inglesa.
[15], são elas:
• CE-3 Trabalhos que não sejam revisados por pares.
• Q1 - Quais as técnicas utilizadas para detecção de
oclusões parciais e como são aplicadas? Em relação a avaliação da qualidade dos estudos primários,
• Q2 - Quais técnicas estão sendo utilizadas para
foi estabelecida uma série de critérios de qualidade (CQ)
reconstrução de faces humanas parcialmente ocluı́das e 1 https://www.scopus.com
como são aplicadas? 2 http://ieeexplore.ieee.org/Xplore

• Q3 - Como os resultados são analisados e comparados? 3 webofknowledge.com/


❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✼✽

que permitiram analisar e comparar a qualidade e relevância trabalho. Esses questionamentos são apresentados na tabela
dos estudos selecionados. Por meio desses critérios os es- IV.
tudos foram ordenados de forma a apresentar uma visão
clara da relevância que eles apresentaram. Para elaborar os Tabela IV
critérios de qualidade foram consideradas questões relaciona- D IRECIONAMENTO PARA EXTRAÇ ÃO E S ÍNTESE DOS DADOS
das a contribuição, detalhamento do trabalho, possibilidade de QP Atributos
replicação da técnica e disponibilização de pseudocódigos. Os Q1 Estratégia, forma de aplicação, tipo de abordagem (baseada em
critérios de qualidade estão listados na tabela II. textura, transformadas, subespaços ou modelos) aplicada a detecção
de oclusão.
Q2 Estratégia, forma de aplicação, tipo de abordagem (baseada em
Tabela II subespaços ou modelos) aplicada a reconstrução de oclusão, técnica
C RIT ÉRIOS DE QUALIDADE de validação da reconstrução.
Q3 Forma de comparação, descrição da avaliação da técnica.
No Critério Q4 Base de dados utilizada, quantidade de indivı́duos e variações
CQ01 Os objetivos da pesquisa são claramente definidos? presentes nas imagens da base de dados.
CQ02 O contexto é adequadamente descrito?
CQ03 As técnicas de detecção de oclusões foram apresentadas claramente? QP = Questões de pesquisa
CQ04 As técnicas de reconstrução facial foram apresentadas claramente?
CQ05 O código de detecção de oclusões foi disponibilizado?
CQ06 O código de de reconstrução facial foi disponibilizado? D. Condução da Revisão Sistemática
CQ07 O ambiente do estudo primário foi apresentado claramente?
CQ08 A proposta do estudo foi validada? O processo de busca de estudos primários envolveu o
CQ09 A proposta do artigo é comparada com outras propostas?
CQ10 A base de dados foi apresentada? perı́odo compreendido entre janeiro de 2005 e março de 2017.
CQ11 O experimento é aplicado em conjuntos de dados suficientes? Conforme ilustrado na figura 1, esta revisão foi aplicada
CQ12 Os resultados foram apresentados claramente? sobre três motores de busca e resultou na recuperação de
um total de 440 estudos. O detalhamento da quantidade de
Para cada critério foi atribuı́da uma pontuação da seguinte artigos retornados a partir de cada fonte de dados e também a
forma: se o critério foi atendido (1 ponto); se o critério não quantidade de artigos resultantes da fase de aplicação dos CI
foi atendido (0 ponto); se o critério foi atendido parcialmente e CE são apresentados também na figura 1.
(0.5 ponto). Essas pontuações foram atribuı́das com o intuito Os critérios de inclusão e exclusão foram aplicados ma-
de possibilitar a ordenação dos artigos. Com essa ordenação nualmente por meio da análise do tı́tulo e resumo de cada
foi possı́vel analisar em mais detalhes as técnicas de detecção estudo. Na existência de dúvida, o estudo foi analisado por
e reconstrução de oclusões parciais em faces humanas, visando completo. Após esse processo, 38 estudos primários foram
o reconhecimento biométrico mediante ambientes não contro- lidos na ı́ntegra, e deste, sete foram removidos por meio da
lados, como pretendido para responder as questões de pesquisa aplicação dos critérios de qualidade, visto que estes apresen-
desta RS. taram pontuação menor do que seis, sendo classificados como
Após a atribuição da pontuação para todos os artigos foi de baixa qualidade.
possı́vel verificar o nı́vel de contribuição de cada um perante os
objetivos desta RS. Além disso com o intuito de facilitar uma
classificação dos artigos de acordo com sua qualidade, foram
estabelecidos cinco nı́veis para o ordenamento dos artigos:
muito alto, alto, regular, baixo e muito baixo. A distribuição
da pontuação nesses nı́veis está ilustrada na tabela III.

Tabela III
P ONTUAÇ ÃO PARA OS CRIT ÉRIOS DE QUALIDADE

Nı́vel de qualidade Pontuação


Muito alto 10 ≤ pontuação ≤ 12
Alto 8 ≤ pontuação ≤ 9, 5
Regular 6 ≤ pontuação ≤ 7, 5 Figura 1. Processo de busca e seleção dos artigos
Baixo 4 ≤ pontuação ≤ 5, 5
Muito baixo 0 ≤ pontuação ≤ 3, 5

IV. R ESULTADOS E DISCUSS ÕES


Para extração e sı́ntese dos dados, os estudos foram li-
dos integralmente com iniciativas a extrair informações que Após a condução do protocolo, 31 estudos primários foram
respondessem as questões de pesquisa. Para extração des- selecionados. A tabela V lista os 31 artigos, além de seus
sas informações foi elaborado um formulário de extração identificadores criados para facilitar sua apresentação nesta
de atributos descritivos para direcionar os trabalhos desta RS. A figura 2 ilustra uma série temporal do número de
revisão. Alguns desses atributos foram: ID, tı́tulo, autor, ano estudos publicados por ano (2005 a 2017), a partir dessa série
de publicação e fonte de publicação. Além disso alguns é possı́vel verificar a média de publicação de 2,58 artigos
questionamentos foram respondidos mediante a leitura de cada por ano. É válido salientar que dos estudos incluı́dos após a
✼✾ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Figura 2. Número de estudos por ano de publicação

Tabela V Figura 3. Técnicas para detecção de oclusões parciais em imagens de faces


E STUDOS SELECIONADOS

ID Ref. ID Ref. ID Ref. ID Ref. Tabela VI


A1 [5] A9 [16] A17 [23] A25 [9] E STUDOS QUE TRABALHAM COM DETECÇ ÃO DE OCLUS ÕES PARCIAIS EM
IMAGENS DE FACES (#: N ÚMERO DE ESTUDOS )
A2 [34] A10 [21] A18 [22] A26 [25]
A3 [11] A11 [28] A19 [8] A27 [30]
A4 [29] A12 [2] A20 [12] A28 [33] Abordagem # ID %
A5 [1] A13 [17] A21 [19] A29 [14] Baseada em 3 A30, A18, A23 9.67%
A6 [32] A14 [18] A22 [10] A30 [13] Textura
A7 [3] A15 [4] A23 [24] A31 [26] Baseada em 3 A1, A10, A16 9.67%
A8 [6] A16 [35] A24 [31] Transformadas
Baseada em 3 A5, A14, A28 9.67%
Subespaço
Baseada em 15 A2, A4, A11, A6, A25, A32, A7, 48.38%
aplicação dos critérios de qualidade, 35,48% foram publicados Modelos A9, A13, A15, A19, A20, A21,
em conferências e 64,54% em periódicos. A24, A25, A26, A29, A31
As próximas subseções elencam discussões que objetivam
responder às questões de pesquisa desta RS.
aplicam técnicas baseadas em subespaço. Uma estratégia bas-
A. Técnicas de detecção de oclusões parciais em imagens da tante utilizada é o PCA e suas variações. Essa estratégia é
Face (Q1) popular, pois é capaz de projetar imagens em um subespaço de
Após a leitura na ı́ntegra dos artigos selecionados, foi imagens de face, e partir dessa projeção é possı́vel reconstruir
elaborada uma lista de técnicas para detecção de oclusões qualquer imagem de entrada (ocluı́da) por meio da análise da
parciais em imagens da face. Essa lista é apresentada na figura projeção da face ocluı́da no subespaço de faces.
3. A forma de aplicação da técnica depende da forma de
C. Análise e comparação dos resultados (Q3)
análise da parte ocluı́da, sendo possı́vel detectar e manipular
a oclusão a partir de quatro abordagens. Essas abordagens são A análise da imagem reconstruı́da é feita por meio das
baseadas em: textura, transformadas, subespaços e modelos. A técnicas SNR (do inglês: signal-to-noise ratio), PSNR (do
tabela VI apresenta os estudos dessa RS que trabalham com inglês: Peak signal-to-noise ratio) e RMS (do inglês: Root
detecção de oclusão a depender do tipo de abordagem. mean square), as quais comparam a imagem sem oclusão
As técnicas baseadas em textura são aquelas que utili- com a imagem reconstruı́da. Além disso, para realizar a
zam os pixels da imagem para extrair atributos, enquanto comparação das técnicas, alguns trabalhos utilizam classifi-
as transformadas aplicam transformações na imagem para cadores para analisar a taxa de reconhecimento obtidas com
extrair atributos. As técnicas baseadas em subespaço projetam as imagens reconstruı́das.
a imagem da face em um subespaço de faces sendo possı́vel D. Bases de dados utilizadas (Q4)
extrair caracterı́sticas da face projetada, enquanto as técnicas
baseadas em modelos são aquelas em que os atributos são A partir desta revisão foi possı́vel constatar que existem
extraı́dos a partir de um modelo geométrico construı́do para inúmeras bases de dados de referência para comparação.
representar a face humana. Em muitos casos os autores criam suas próprias bases de

B. Técnicas para reconstrução de imagens de faces (Q2)


Tabela VII
Após a leitura dos estudos, foi possı́vel encontrar técnicas E STUDOS QUE TRABALHAM COM RECONSTRUÇ ÃO DE IMAGENS DE FACE
para reconstrução de imagens da face baseadas em subespaço (#: N ÚMERO DE ESTUDOS )
e modelo. Essas técnicas são apresentadas na figura 4. A tabela
VII apresenta a distribuição do uso dessas técnicas nos artigos Abordagem # ID %
Baseada em 9 A1, A3, A4, A27, A7, A9, 29.03%
analisados. modelos A16, A17, A22
A partir da análise realizada nesses estudos primários, é Baseada em 9 A10, A12, A15, A18, A19, 29.03%
possı́vel concluir que a maioria dos trabalhos dessa natureza subespaços A24, A26, A28, A30
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✽✵

E. Avaliação dos artigos


A partir da leitura na ı́ntegra dos artigos incluı́dos, foi
possı́vel analisar seus critérios de qualidade presentes na tabela
II. Dessa maneira, foi possı́vel categorizar todos os artigos de
acordo com a sua relevância e contribuição para a pesquisa.
Tendo isso em vista, construiu-se a tabela VIII a fim de
estabelecer a pontuação da qualidade de todos os estudos lidos.

Tabela VIII
AVALIAÇ ÃO DA QUALIDADE DOS ESTUDOS PRIM ÁRIOS POR MEIO DOS
CRIT ÉRIOS DE QUALIDADE

ID CQ1 CQ2 CQ3 CQ4 CQ5 CQ6 CQ7 CQ8 CQ9 CQ10 CQ11 CQ12 Pontuação
A1 1 1 1 1 0,5 0,5 1 1 1 1 1 1 11
A2 1 1 0,5 0 0 0 1 0,5 1 1 0,5 0,5 7
A3 1 1 0 1 0 1 1 1 1 1 0,5 1 9,5
A4 1 1 1 0,5 1 0,5 1 1 1 1 1 1 11
A5 1 1 1 0 1 0 1 1 0,5 1 1 1 9,5
A6 1 1 1 0 0,5 0 1 1 0,5 1 1 1 9
Figura 4. Técnicas para reconstrução de imagens de face A7 1 1 1 0 0,5 0 1 1 0,5 1 0,5 1 8,5
A8 1 1 0 0,5 0 0,5 1 0,5 1 0,5 0,5 0,5 7
A9 1 1 1 1 0,5 1 1 1 1 1 1 1 11,5
A10 1 1 1 1 1 1 1 1 1 1 1 1 12
A11 1 1 1 0 0 0 1 1 1 1 1 1 9
A12 1 1 1 1 1 1 1 1 1 1 1 1 12
dados e testam as técnicas nesse escopo, sem disponibilizá- A13
A14
1
1
1
0,5
1
0,5
0
0
1
0
0
0
1
1
1
1
1
1
1
1
1
0,5
1
1
10
7,5
lo para possı́veis consultas ou iniciativas de reprodutibili- A15
A16
1
1
1
1
1
1
1
1
0
0
0
0
1
1
1
1
0,5
1
1
1
0,5
1
1
1
9
10
A17 1 1 0 1 0 1 1 1 1 1 1 1 10
dade. Além disso os autores não costumam disponibilizar A18
A19
1
1
1
1
1
1
1
1
1
0
0,5
0
1
1
1
1
1
1
1
1
1
1
1
1
11,5
10
informações básicas como quantidade de indivı́duos, variações A20
A21
1
1
1
1
0,5
0,5
0
0
0
0,5
0
0
0,5
1
1
1
1
1
1
1
0,5
1
1
1
7,5
9
de iluminação, pose, expressão e oclusão. A22
A23
1
1
1
1
0,5
0,5
1
0,5
1
0
1
0
1
1
1
1
1
0
1
0,5
1
1
1
0,5
11,5
7
A24 1 1 1 0,5 0,5 0,5 1 1 1 1 1 1 10,5
A partir da leitura dos artigos visualizou-se três bases de A25 1 1 0,5 0 0,5 0 1 1 1 1 1 1 9
A26 1 1 0,5 0,5 0 0 1 1 0,5 1 1 0,5 8
dados que são comumente utilizadas, pois possuem um grande A27
A28
1
1
1
1
0,5
1
0,5
1
0
0
0
0
1
1
1
1
1
1
1
1
1
1
1
1
9
10
número de imagens ocluı́das. Tais bases são: AR, Yale e A29
A30
1
1
1
1
1
0
0
1
0,5
0
0
1
1
1
1
1
1
1
1
1
1
1
1
1
9,5
10

FRGC. As bases de dados e seu percentual de uso perante A31


Total
1
31
1
30,5
1
22,5
0
16
1
12
0
9,5
1
30,5
1
30
1
27,5
1
30
1
27,5
1
29
10
296
Media 1 0,98 0,72 0,51 0,38 0,30 0,98 0,96 0,88 0,96 0,88 0,93 9,54
os estudos lidos integralmente são apresentados na figura 5.
Ao analisarmos a pontuação dos estudos, podemos perceber
por meio da média, que a pontuação dos artigos foi próxima de
9, 55, sendo possı́vel perceber uma contribuição significativa
dos estudos. Pode-se concluir por meio da tabela VIII que
menos de 40% dos estudos apresentaram o algoritmo da
técnica proposta.
V. A MEAÇAS A VALIDADE
São consideradas ameaças à validade da revisão sistemática
Figura 5. Percentual das bases de dados utilizadas nos artigos selecionados todos os fatores que podem influenciar de maneira negativa
em seus resultados e possı́veis replicações do protocolo de
Essas bases apresentam as seguintes caracterı́sticas: pesquisa. Este trabalho pode apresentar algumas ameaças,
• AR - esta base de dados foi utilizada em nove dos as quais são: viés na seleção dos estudos e imprecisões na
trabalhos analisados (29%). Ela possui um pouco mais extração dos dados. Alguns problemas na seleção dos estudos
de 4.000 imagens de faces frontais de 126 indivı́duos podem acontecer dependendo da estratégia de busca, dos
(70 homens e 56 mulheres). Para cada indivı́duo, são critérios de inclusão, exclusão e qualidade.
coletadas 26 fotos, estas estão sujeitas a 13 variações Alguns efeitos indesejados para os resultados desta RS
de iluminação, expressão facial e oclusão (por exemplo, que podem decorrer dos critérios de qualidade estabelecidos
óculos de sol e cachecol). são: algumas caracterı́sticas que seriam importantes para a
• YALE - esta base contém 5760 imagens frontais de 10 realização deste trabalho podem não ter sido consideradas,
pessoas, capturadas sobre 64 variações de iluminação e aspectos que não favoreceram uma pontuação honesta.
e nove de pose. Essa base foi utilizada em quatro dos Uma outra ameaça que pode estar presente neste trabalho é
estudos selecionados (14%). que alguns estudos primários podem ter utilizado detecção e
• FRGC - foi a terceira base de dados mais utilizada, a reconstrução de oclusões parciais sem fins biométricos.
qual é encontrada em três estudos (11%). Essa base de
dados contém 12776 imagens frontais de 222 indivı́duos, VI. C ONCLUS ÕES DA REVIS ÃO
as quais 6388 imagens foram coletadas em ambientes Este trabalho teve como principal objetivo analisar as abor-
controlados e outras 6388 foram coletadas em ambientes dagens existentes no que se refere as técnicas de detecção e
não controlados. reconstrução de oclusão facial. Avaliando os 31 estudos, foi
✽✶ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

possı́vel notar que a abordagem baseada em modelos precisa [12] S. Eum, J. K. Suhr, and J. Kim. Face recognizability evaluation for atm
ser mais estudada por meio de iniciativas a aumentar sua applications with exceptional occlusion handling. In Computer Vision
and Pattern Recognition Workshops (CVPRW), 2011 IEEE Computer
eficiência, visto que essas técnicas apresentam maior robustez Society Conference on, pages 82–89. IEEE, 2011.
quando aplicadas aos cenários não controlados por não ser [13] T. Hosoi, S. Nagashima, K. Kobayashi, K. Ito, and T. Aoki. Restoring
sensı́vel a iluminação. occluded regions using fw-pca for face recognition. In Computer Vision
and Pattern Recognition Workshops (CVPRW), 2012 IEEE Computer
Constatou-se nessa RS que a produção cientı́fica, tratando Society Conference on, pages 23–30. IEEE, 2012.
o problema de detecção e reconstrução de oclusões parciais [14] S.-M. Huang and J.-F. Yang. Subface hidden markov models coupled
em imagens de face, está estabilizada em 2,58 estudos por with a universal occlusion model for partially occluded face recognition.
IET biometrics, 1(3):149–159, 2012.
ano, sendo possı́vel enxergar tendências de pesquisas na área. [15] B. Kitchenham. Procedures for performing systematic reviews. Keele,
Entretanto, é possı́vel perceber que essa taxa é baixa e que a UK, Keele University, 33(2004):1–26, 2004.
área ainda é pouco estudada por apresentar inúmeras variações [16] J. Lai and X. Jiang. Robust face recognition using trimmed linear
regression. In ICASSP, pages 2979–2983, 2013.
de iluminação, pose, expressão e oclusão. Dessa forma, esta [17] X.-X. Li, D.-Q. Dai, X.-F. Zhang, and C.-X. Ren. Structured sparse
RS contribui com o desenvolvimento da área ao apontar, error coding for face recognition with occlusion. IEEE transactions on
a partir de um processo sistemático de análise da área, as image processing, 22(5):1889–1900, 2013.
[18] R. Min and J.-L. Dugelay. Inpainting of sparse occlusion in face
lacunas que precisam ser investigadas e quais são as técnicas, recognition. In Image Processing (ICIP), 2012 19th IEEE International
as formas de avaliação e comparação e as bases de dados Conference on, pages 1425–1428. IEEE, 2012.
existentes. [19] G. Passalis, P. Perakis, T. Theoharis, and I. A. Kakadiaris. Using
facial symmetry to handle pose variations in real-world 3d face recogni-
Este trabalho serve como um ponto de referência para ana- tion. IEEE Transactions on Pattern Analysis and Machine Intelligence,
lisar os objetivos, progressos e consequentemente as dificul- 33(10):1938–1951, 2011.
dades apresentadas pela comunidade pesquisadora da área de [20] M. Sharif, S. Mohsin, and M. Y. Javed. A survey: Face recognition
techniques. Research Journal of Applied Sciences, Engineering and
reconhecimento facial em ambientes de coleta não intrusivos. Technology, 4(23):4979–4990, 2012.
Com essa RS foi possı́vel notar que apenas 11 (35,48%) [21] M. Sharma, S. Prakash, and P. Gupta. An efficient partial occluded face
trabalhos apresentaram o algoritmo da técnica proposta, sendo recognition system. Neurocomputing, 116:231–241, 2013.
[22] J. Shermina and V. Vasudevan. Recognition of the face images with
possı́vel inferir que a indisponibilidade do código e do pseu- occlusion and expression. International Journal of Pattern Recognition
docódigo podem atuar como variáveis que inviabilizem o pro- and Artificial Intelligence, 26(03):1256006, 2012.
cesso de replicação da técnica. Podemos ver esses resultados [23] M. Song, D. Tao, X. Huang, C. Chen, and J. Bu. Three-dimensional
face reconstruction from a single image by a coupled rbf network. IEEE
analisando os critérios de qualidade CQ05 e CQ06 presentes Transactions on Image Processing, 21(5):2887–2897, 2012.
na tabela VIII. [24] M. Storer, M. Urschler, and H. Bischof. Occlusion detection for
icao compliant facial photographs. In Computer Vision and Pattern
R EFER ÊNCIAS Recognition Workshops (CVPRW), pages 122–129. IEEE, 2010.
[25] Y. Su, H. Ai, and S. Lao. Multi-view face alignment using 3d shape
[1] A. Aisha, S. Muhammad, S. J. Hussain, and R. Mudassar. Face model for view estimation. In International Conference on Biometrics,
recognition invariant to partial occlusions. KSII Transactions on Internet pages 179–188. Springer, 2009.
and Information Systems (TIIS), 8(7):2496–2511, 2014. [26] X. Tan, S. Chen, Z.-H. Zhou, and F. Zhang. Recognizing partially
[2] N. Alyuz, B. Gokberk, and L. Akarun. 3-d face recognition under occluded, expression variant faces from single training image per person
occlusion using masked projection. IEEE Transactions on Information with som and soft k-nn ensemble. IEEE Transactions on Neural
Forensics and Security, 8(5):789–802, 2013. Networks, 16(4):875–886, 2005.
[3] N. Alyuz, B. Gokberk, and L. Akarun. Detection of realistic facial [27] D. Venkatakrishnan, C. Hariram, N. Anantharaj, and A. Muthulakshmi.
occlusions for robust 3d face recognition. In Pattern Recognition (ICPR), 3d face recognition with occlusions using fisher faces projection. Applied
2014 22nd International Conference on, pages 375–380. IEEE, 2014. Mechanics & Materials, (573), 2014.
[4] N. Alyüz, B. Gökberk, L. Spreeuwers, R. Veldhuis, and L. Akarun. [28] X. Wei, C.-T. Li, and Y. Hu. Robust face recognition with occlusions in
Robust 3d face recognition in the presence of realistic occlusions. In both reference and query images. In Biometrics and Forensics (IWBF),
Biometrics (ICB), 2012 5th IAPR International Conference on, pages 2013 International Workshop on, pages 1–4. IEEE, 2013.
111–118. IEEE, 2012. [29] X. Wei, C.-T. Li, Z. Lei, D. Yi, and S. Z. Li. Dynamic image-to-
[5] W. Bellil, H. Brahim, and C. B. Amar. Gappy wavelet neural network class warping for occluded face recognition. IEEE Transactions on
for 3d occluded faces: detection and recognition. Multimedia Tools and Information Forensics and Security, 9(12):2035–2050, 2014.
Applications, 75(1):365–380, 2016. [30] J. Wright, A. Y. Yang, A. Ganesh, S. S. Sastry, and Y. Ma. Robust
[6] A. Bindu and C. R. Kumar. Inpainting for big data. In Signal and Image face recognition via sparse representation. IEEE transactions on pattern
Processing (ICSIP), 2014 Fifth International Conference on, pages 62– analysis and machine intelligence, 31(2):210–227, 2009.
67. IEEE, 2014. [31] S. Yan, H. Wang, J. Liu, X. Tang, and T. S. Huang. Misalignment-robust
[7] H. Chandel and S. Vatta. Occlusion detection and handling: a review. face recognition. IEEE transactions on image processing, 19(4):1087–
International Journal of Computer Applications, 120(10), 2015. 1096, 2010.
[8] C.-C. Chiang and Z.-W. Chen. Recognizing partially-occluded faces [32] M. Yang, Z. Feng, S. C. Shiu, and L. Zhang. Fast and robust face
by recovering normalized facial appearance. International Journal of recognition via coding residual map learning based adaptive masking.
Innovative Comp., Information and Control, 7(11):6219–6234, 2011. Pattern Recognition, 47(2):535–543, 2014.
[9] M. De Marsico, M. Nappi, and D. Riccio. Faro: Face recognition against [33] B. Zhang, P. Cerone, and Y. Gao. Robust face recognition by hierarchical
occlusions and expression variations. IEEE Transactions on Systems and kernel associative memory models based on spatial domain gabor
Cybernetics-Part A: Systems and Humans, 40(1):121–132, 2010. transforms. Journal of Multimedia, 1(4):1–10, 2006.
[10] Y. Deng, Q. Dai, and Z. Zhang. Graph laplace for occluded face [34] Y. Zhang, Y. Lu, H. Wu, C. Wen, and C. Ge. Face occlusion detection
completion and recognition. IEEE Transactions on Image Processing, using cascaded convolutional neural network. In Chinese Conference on
20(8):2329–2338, 2011. Biometric Recognition, pages 720–727. Springer, 2016.
[11] P. Dou, L. Zhang, Y. Wu, S. K. Shah, and I. A. Kakadiaris. Pose- [35] J. Zhu, D. Cao, S. Liu, Z. Lei, and S. Z. Li. Discriminant analysis with
robust face signature for multi-view face recognition. In Biometrics gabor phase for robust face recognition. In Biometrics (ICB), 2012 5th
Theory, Applications and Systems (BTAS), 2015 IEEE 7th International IAPR International Conference on, pages 13–18. IEEE, 2012.
Conference on, pages 1–8. IEEE, 2015.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✽✷

Face Recognition Based on a Multi-Scale Local


Mapped Pattern Method
Eduardo Machado Silva Maurílio Boaventura Inês Aparecida Gasparotto Boaventura
DMAP-IBILCE-UNESP DMAP-IBILCE-UNESP DCCE-IBILCE-UNESP
E-mail: eduardo.msilva094@gmail.com Email: maurilio@ibilce.unesp.br Email: ines@ibilce.unesp.br

Resumo—In this paper we apply the LMP (Local Mapped maneira eficiente. Para a extração destes tipos de caracte-
Pattern) in multi-scale version, herein referred to as MSLMP rísticas, existem na literatura duas abordagens distintas para
(Mult-Scale Mean Local Mapped Pattern) for the problem of descrever a face e, em alguns casos, a combinação dessas duas
face recognotion. The proposal of this approach is to extract
micro patterns and to attenuate noisy actions often occurring in abordagens, que são os métodos baseados em características
digital images. The Results of the method applied on face imagem globais [16].
of some well known face Database, such as ESSEX, JAFFE and Os métodos globais utilizam a superfície facial inteira para
ORL, are represented. The experiments have been carried out compor o vetor de características e extraem características
so far suggest that the presented technique provides detections
with high performances than the results presented in the state- estatíticas da imagem. Os métodos PCA (Principal Component
of-art research in the specialized scientific literature. For some Analysis), LDA (Linear Discriminante Analysis), ZM (Zernike
mentioned databases the results have reached 100% of accuracy Moments), 2DPCA e momentos invariantes são de extração
de características globais para sistemas de reconhecimento de
I. I NTRODUÇÃO faces [18].
Dentre os algoritmos baseados em características locais, o
O Reconhecimento facial é uma das tecnologias biométricas
LBP (Local Binary Patterns) introduzido por Ojala et. al [19]
mais utilizadas em sistemas automatizados que necessitam
é um dos descritores de textura de melhor desempenho e tem
garantir a identidade de uma pessoa para acesso autorizado
sido largamente usado em várias aplicações que envolvem
e monitoramento. A grande aceitação do uso da face tem
reconhecimento facial [18], [11], [22]. As principais vantagens
várias vantagens sobre outras tecnologias biométricas: ela é
do LBP são invariância à mudanças de tons de cinza e a
natural, não exige equipamentos sofisticados, a aquisição de
facilidade de implementação. Atualmente, existem na literatura
dados é baseada em abordagens não invasivas, e pode ser feito
diversas propostas de extensão do LBP aplicado à sistemas de
a distância, de maneira cooperativa ou não [13].
reconhecimento facial [23], [15],[8].
Um sistema de reconhecimento de faces pode ser usado
de duas maneiras distintas: com o objetivo de verificação ou Uma extensão do LBP, chamada Mean Local Mapped Pat-
com o objetivo de identificação de uma pessoa. No caso de tern (LMP) [10], e Multi-Scale Local Binary Pattern (MSLBP)
verificação, o sistema deve determinar se a pessoa é quem diz [14], foram desenvolvidas com o propósito de analisar texturas
ser e, para a tarefa de identificação, o sistema deve determinar, em imagens. Tais métodos comparam histogramas gerados por
dentre um conjunto de pessoas, cujas características faciais micro padrões extraídos de texturas. No MSLBP, um histo-
estão armazenadas em uma base de dados, qual é a face grama é construído em cada escala com os valores gerados
que mais se parece com a imagem sob análise. Tais sistemas por padrões da imagem suavizados pela filtragem Guassiana.
são amplamente aplicados em segurança, forças armadas, A Técnica LMP consiste de suavizar os níveis de cinza da
aplicação da lei, robótica e outras. imagem do mapeamento feito por uma função pré-definida.
Para cada pixel da imagem, o mapeamento da região é feito
Embora muitos estudos em reconhecimento facial tenham
com base em uma região específica de sua vizinhança.
sido feitos, problemas com variação de iluminação, poses
com oclusão facial, expressão facial e envelhecimento ainda A ideia deste trabalho é utilizar para reconhecimento facial
são desafios, pois influenciam a performance dos sistemas de o método MSLMP, introduzido em [4], que é uma versão multi
reconhecimento facial e motivam o desenvolvimento de novos escala do método LMP.
sistemas de reconhecimento que lidam com esses problemas Nos testes para avaliação da performance desse método
e sejam mais confiáveis. foram utilizadas as seguintes bases de dados: MUCT, ORL,
O projeto de sistemas de reconhecimento facial robustos JAFFE, ESSEX 94 e GRIMACE.
e precisos depende da escolha do método de extração de Este artigo está organizado da seguinte forma: na Seção
característica utilizado. Há diferentes tipos de características II são descritos os aspectos teóricos e práticos utilizados no
que podem ser empregadas tais como: detalhes de estruturas, desenvolvimento do trabalho, na Seção III mostra-se os resul-
texturas, detalhes de bordas, informasão estrutural da face e tados experimentais e, por fim, na Seção VI são apresentadas
outras informações importantes que precisam ser extraídas de as conclusões e propostas para trabalhos futuros.
✽✸ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

II. M ETODOLOGIA  
rn − rn−1
A ideia deste trabalho foi utilizar o MSLMP como extrator Gn = 2.round + 1, (3)
2
de características de imagens de faces para averiguar a sua
capacidade de reconhecimento facial. Assim, encontram-se na qual a função round : R → N+ associa a um valor o
descritos nesta seção os métodos MSLBP e LMP que deram menor inteiro não negativo maior que ele. Em cada nível, o
origem ao MSLMP. valor δn necessário para aplicar o filtro Gaussiano é dado por:
A. Multi-scale Local Binary Pattern (MSLBP) Gn
δn = p , (4)
O método MSLBP proposto por [14], consiste na extração −2 ln(1 − p)
do padrão LBP de cada pixel da imagem em diferentes escalas onde p foi estabelecido como 0.95.
para um valor fixo de amostragem, após suavização Gaussiana.
B. Local Mapped Pattern (LMP)
De acordo com [17], o objetivo do uso de filtros Gaussianos
de passa-baixa é para que em cada amostra na vizinhança se O LMP, que é uma extensão do LBP, assume que a
possa coletar uma quantidade de informação maior que aquela distribuição dos níveis de cinza na vizinhança de um pixel
com um único pixel. A figura 1 exemplifica esse processo, nela é um padrão local e pode ser representada pela diferença dos
são apresentadas vizinhanças de um pixel quantizadas por oito níveis de cinza da vizinhança do pixel central [10]. Dessa
amostras, como propõe [14], onde formam-se oito setores que forma, cada pixel g(i, j) é mapeado em função de uma região
distam um raio Rn do pixel central. Os círculos representam W × W em torno deste (Figura 2a), através da Equação (5)
a área para extração do padrão LBP ao redor de cada amostra W X
X W

após filtragem. O raio externo da “área útil"na figura 1, que é fg(i,j) (g(k, l).P (k, l)))
usado para calcular o raio Rn para a extração do LBP, é dado h(g(i, j)) = k=1 l=1
, (5)
por W X
X W
  P (k, l)
2
rn = rn−1 . − 1 , n ∈ {2, ..., N } , (1) k=1 l=1
1 − sin(π/Pn )
na qual fg(i,j) é a função de mapeamento (Figura 2b), respon-
na qual N é o número de escalas e Pn a amostragem de sável pela suavização dos níveis de cinza da vizinhança que
cada escala, que no caso do MSLBP foi considerado Pn = 8 mapeará os W 2 − 1 vizinhos do pixel central g(i, j) (Figura
∀n ∈ N. 2c), e P é uma matriz de pesos W × W pré-definida (Figura
2d). Este mapeamento define então o micro padrão LMP da
região W × W (Figura 2e).

Figura 1. Distribuição ótima dos raios do padrão MSLBP com respeito à


redução de redundância da informação capturada pela padrão. Fonte: [4].

Os raios rn estabelecem a distância entre o pixel e a borda


de uma vizinhança, por isso r1 é definido como 1.5 que é a
menor distância entre o pixel a e borda de uma região 3 × 3.
Os raios das operações LBP são escolhidos de forma que as
“áreas úteis” estejam em contato. Consequentemente, define-
se o raio do operador LBP na escala n (n ≥ 2) como o ponto
médio entre rn e rn−1 , assim
Figura 2. Cálculo do mapeamento relativo ao pixel central. (a) Vizinhança
rn + rn−1 3 × 3 do pixel central g(2, 2), (b) Função de mapeamento, (c) Matriz dos
Rn = , n ∈ {2, ..., N } . (2) mapeamentos realizados na vizinhança do pixel central, (d) Matriz de pesos,
2 (e) Mapeamento relativo à vizinhança de g(2, 2). Fonte : [4].
Analogamente ao caso dos rn os raios dos operadores
representam a distância entre o pixel central e os pixeis de sua Através da Equação (5) pode-se deduzir outros descritores
vizinhança, portanto R1 é definido como 1 por ser a menor de padrões presentes na literatura. Por exemplo, o LBP [20] é
distância entre o pixel central e os de sua vizinhança 3 × 3. obtido ao usar a função de mapeamento como sendo a função
Os raios rn são usados para calcular o tamanho da janela dos degrau de Heavisidade (H), dada pela Equação (6):
 
filtros Gaussianos, Gn , na escala n como mostra a Equação 1 A(k, l) − g(i, j) > 0,
(3): H [A(k, l) − g(i, j)] = . (6)
0 A(k, l) − g(i, j) ≤ 0.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✽✹

Nas condições anteriores, ao levar em conta o LBP para multi escala. Assim, nesse método a evolução de cada escala
uma vizinhança 3 × 3 da imagem, a matriz de pesos é dada se faz de acordo com o aumento do tamanho da dimensão
por: das vizinhanças do pixel g(i, j). Portanto, as dimensões Wn
  (Equação (12)) da matriz de pesos Pn , expressa por (13),
1 2 4 aumentam de acordo com a escala.
P =  8 0 16 
32 64 128
Wn = 2.round(Rn ) + 1, (12)
para que os valores do padrão estejam em [0,255] é necessário
normalizar o resultado obtido. Tal normalização é feita através 
0 1 0 0 0 0 1 0 0 0 0

da Equação (7):  0 0 1 0 0 0 1 0 0 0 1 
 

 0 0 0 1 0 0 1 0 0 1 0 


 0 0 0 0 1 0 1 0 1 0 0 

 3 X3  
 1 1 1 1 1 1 1 1 0 0 0 

 X  P11 = 0 0 0 0 1 0 1 0 0 0 0 . (13)
NLBP = round h(g(i,
| {z } j)) . P (k, l) .
 (7) 
 0 0 0 1 1 1 1 1 1 1 1


0 0 1 0 1 0 1 0 0 0 0
 
 k=1 l=1   
∈[0,1] | {z } 
 0 1 0 0 1 0 0 1 0 0 0


255  1 0 0 0 1 0 0 0 1 0 0 
O método LMP utiliza a função Sigmoide, dada pela 0 0 0 0 1 0 0 0 0 1 0
Equação (8), como aplicação de mapeamento, pois a suavidade
Em [3] foram realizados testes com matrizes de pesos para
da função Sigmoide transmite uma abordagem mais realística
classificação de texturas utilizando o MSLMP. A matriz que
para o padrão LMP, o que vai atenuar a perda de informação
obteve o melhor resultado de acurácia dessa pesquisa está
sofrida pela presença de ruído na imagem.
representada em (13). Assim, nesse trabalho foi adotada essa
matriz, nela estão contidas as distribuições dos valores não
1 nulos das matrizes de peso até a quinta escala do método.
fg(i,j) (A(k, l)) = , λ ∈ (0, 1].
A(k,l)−g(i,j)
(8)
1+ e− λ Considerando o valor P11 (6, 6) como centro, que representaria
Assim, a matriz de pesos P , descrita pela Equação (5), é o pixel da imagem a ser extraída o micro padrão, tem-se que
uma matriz 3 × 3 dada por: a região 3 × 3 denota a P1 (matriz de pesos para a escala
  um). A região 5 × 5, tomando a região 3 × 3 como sendo a
1 1 1 matriz nula, representa a P2 . A vizinhança 7 × 7, escolhida da
P =  1 0 1 . (9) mesma forma que a 5 × 5, denota a P3 e a vizinhança 11 × 11
1 1 1 denota a P5 . Nota-se que as matrizes Pn foram construídas
Como fg(i,j) (g(i, j)) = 0.5 seja qual for o valor de g(i, j) de forma a considerar apenas oito amostras de cada região do
o valor central de P foi considerado igual a 0, evitando esse pixel para o cálculo do MSLMP. Portanto, o padrão MSLMP
cálculo e melhorando a performance do método. Então, o de um pixel g(i, j) na n-ésima escala é obtido pela Equação
padrão LMP de pixel g(i, j) é dado pela Equação (10): (14):
X
(fg(i,j) (g(k, l))) X
(k,l)∈I−{(i,j)} (fg(i,j) (g(k, l)))
LM P (g(i, j)) = , (10) (k,l)∈In −{(i,j)}
8 M SLM P (g(i, j)) = , (14)
na qual I = {(k, l) : k = i − 1, i, i + 1 e l = j − 1, j, j + 1}. 8
Como os valores gerados pela função Sigmoide estão entre 0 na qual, In = {(k, l) : k = i − C, i − 1, i + C − 1, i + C e
e 1, o padrão LM P está contido no intervalo (0, 1). Portanto, l = j −(C −1), j +1, j −1, j +C −1}, onde C = round(Rn ).
para obter valores em [0, 255] é usada a versão normalizada Da mesma forma que o LMP, o padrão MSLMP também está
dos valores obtidos pela Equação (10), assim, o padrão final no intervalo (0, 1) e por isso é utilizada a versão normalizada,
extraído de cada pixel g(i, j) é dado pela Equação (11): dada pela (15):
NLM P = round(255.LM P (g(i, j))). (11) NM SLM P = round(255.M SLM P (g(i, j))). (15)
C. Multi-scale Local Mapped Pattern (MSLMP)
D. Extração de Características
A presença de ruídos na imagem prejudica a extração do
padrão LBP das regiões, devido a isso, em [4] é proposto uma Pela Equação (15) nota-se que os padrões normalizados
extensão multi escala do método LMP descrito na subseção MSLMP são valores no intervalo [0,255]. Em [20] são apre-
anterior, cujo propósito é atenuar a ação ruidosa presente nas sentados alguns valores dentro desse intervalo denominados
imagens através do uso de aplicações que suavizam as altas uniform patterns. Esses valores representam uma classe que
frequências presentes nas vizinhanças de um mesmo pixel. é responsável, na maioria das vezes, por mais de 90% pelas
Tais vizinhanças seriam representadas por raios que aumentam características mais representativas da imagem. De maneira
conforme o nível do processo, caracterizando o método como geral, o uniform pattern é um valor U ∈ [0, 255] ∪ Z, que em
✽✺ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

sua representação binária (b1 b2 b3 b4 b5 b6 b7 b8 ), com bi ∈ {0, 1} confusão (Mi ) onde cada linha da matriz denota uma face.
respeita a desigualdade (16): A taxa de acerto (Ai ) do método para essa validação é dada
8
X pela Equação (19):
|b1 − b8 | + |bi − bi−1 | ≤ 2. (16) tr(M )
Ai = , (19)
i=2 R
De acordo com [14], dadas K amostras da região de um na qual tr é uma função que associa uma matriz quadrada
pixel, existem (K − 1).K + 2 uniform patterns. Para K = 8, ao seu traço, R é a quantidade de amostras para teste e i é
no método em questão, tem-se 58 valores entre 0 e 255 que o grupo de validação em que as imagens se encontram, i =
satisfazem a relação (16). Para a extração de características {1, 2, 3, 4, 5} . A taxa de acerto final é calculada pela mádia
de uma imagem, em cada escala do método, gera-se um aritmética entre todos os grupos considerados neste caso.
histograma dos valores obtidos pela equação (15) e em seguida
toma-se a taxa de ocorrência dos 58 uniform patterns nos B. Bases de Dados Utilizadas
respectivos histogramas, então somam-se as taxas restantes
Para a avaliação dos resultados foram consideradas as
para formar o vetor Xn = (x1 , x2 , ..., xN ) ∈ [0, 1]59 . O
seguintes bases de dados: MUCT, ORL, JAFFE, GRIMACE e
vetor de características é dado pelo vetor v = norm(x), cujo
ESSEX 94. Cada conjunto de imagens de uma mesma pessoa
número de coordenadas é N.59, N é o número de escalas
será denotado por “classe” do banco de dados.
utilizadas e norm(.) é a função de normalização dada pela
A base de Dados MUCT (Milborrow/University of Cape
Equação (17):
Town) [24], contém 3755 imagens, de dimensões 480 × 640,
1 de 276 pessoas. Dez tipos de iluminações foram considerados.
norm(y) = .(y − min(y)). (17)
max(y) − min(y) Comparada a outras bases de dados públicas, a MUCT apre-
III. R ESULTADOS E XPERIMENTAIS senta maior diversidade de iluminação, idade e etnia. É uma
Para cada imagem de dados é extraído o padrão MSLMP, base de dados disponível gratuitamente para fins acadêmicos.
criando então o vetor de características. Para cada base de Nesta base de dados, cada indivíduo foi fotografado utilizando
dados utilizada foram separadas 20% das imagens para teste cinco câmeras (webcans) e da forma mais natural possível.
e 80% para o treinamento, em forma de rodízio, e então, o O objetivo desta base de dados são aplicações que requerem
processo de validação cruzada é executado. ambientes não controlados, o que dificulta muito o reconhe-
cimento/identificação das pessoas. É muito difícil encontrar
A. Processo de Avaliação e Classificação trabalhos que utilizam essa base de dados para avaliação de
O processo de classificação é feito calculando-se a distân- performance de métodos destinados ao reconhecimento de
cia Chi-quadrado [21] entre dois vetores de características faces. A Figura 4 contém exemplos das imagens da MUCT.
vi , wj ∈ Rn , através da Equação (18): Cada classe dessa base contém de 10 à 15 imagens sendo 5
n delas de uma específica iluminação.
1 X (vi,k − wj,k )2
χ2 (vi , wj ) = , (18)
2 (vi,k + wj,k )
k=1
na qual, vi representa o vetor de características da i−ésima
amostra de teste a ser avaliada e wj o vetor de característica
da j−ésima amostra de treino. A figura (3) ilustra o processo
de classificação.

Figura 4. Iluminação e Câmeras MUCT.

A base de dados ORL (Olivetti Research Laboratory) da


Universidade de Cambridge [25], contém 400 imagens, de
dimensões 92 × 112, de 40 pessoas. As imagens que com-
põem essa base foram obtidas sob diferentes condições de
iluminação, poses e expressões faciais.
A base de dados JAFFE (Japanese Female Facial Expres-
sion) [26], contém 213 imagens faciais (6 expressões básicas e
Figura 3. Processo de classificação de faces. uma neutra), de dimensões 256 × 256 , tiradas de 10 modelos
japonesas. Esta base foi criada com o intuito de averiguar
Após todas as imagens de teste, de um dos cinco grupos a capacidade de diferenciar emoções das pessoas através de
de validação, serem classificadas é gerada uma matriz de fotos.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✽✻

Tabela I
TAXA DE ACERTOS DA MUCT

Grupo Acertos
Grupo_a 90,28%
Grupo_b 90,81%
Grupo_c 83,22%
Grupo_d 63,15%
Grupo_e 89,08%
Figura 5. Algumas Imagens da ORL. Média 83,30%

fazem qualquer menção quanto à forma de seleção dessas


imagens.
Para a base ORL foi feito um reajuste no brilho de cada
imagem. A Tabela II é referente a taxa de acertos obtidos
aplicando o método com quatro escalas na base. Cada grupo
possui duas imagens para teste e oito para treino, as imagens
de treino de cada classe foram escolhidas a cada cinco
Figura 6. Algumas imagens da JAFFE. imagens, portanto no grupo (a) temos uma imagem de treino
das primeiras cinco imagens da classe a outra obtida das outras
cinco, para os grupos seguintes, essas imagens sofreram um
A base de dados Essex 94 e Grimace, [5] e [6], respectiva-
deslocamento de uma imagem.
mente, foram ambas publicadas pelo mesmo autor [7]. A Essex
94 contém 3060 imagens de 153 pessoas. A Grimace contém
Tabela II
360 imagens de 18 indivíduos apresentando diferentes expres- TAXA DE ACERTO ORL COM O AUMENTO DO BRILHO DE CADA IMAGEM
sões faciais. As dimensões das imagens são de 180 × 200.
Grupo Acertos
Grupo_a 97,5%
Grupo_b 97,5%
Grupo_c 96,25%
Grupo_d 98,75%
Grupo_e 97,50%
Média 97,50%

Em [1], os autores relatam também uma taxa de 97,5%


Figura 7. Exemplo de Imagens da Grimace. de acurácia, porém foram aplicadas técnicas de pré-
processamento mais sofisticadas e não relatam o processo de
validação cruzada.
C. Resultados Obtidos
Dois trabalhos foram utilizados nesta pesquisa com pro- A Tabela III é referente aos acertos do método utilizando a
pósito de comparação de métodos, [2] e [1]. No primeiro é base de dados JAFFE com uma escala. As classes da validação
utilizada uma técnica para extração e classificação de imagens foram compostas por duas imagens de teste e oito de treino
que consiste na aplicação sucessiva de dois filtros baseados na sendo essas obtidas da mesma maneira que na ORL.
distância Euclidiana mínima e em PCA. No segundo é aplicada
uma técnica de Auto-faces para extrair características gerais Tabela III
da face seguindo de uma aplicação do PCA para selecionar as TAXA DE ACERTOS JAFFE
mais importantes e então é usada distância Euclidiana para o
Grupo Acertos
processo de classificação. Grupo_a 100,00%
A Tabela I apresenta as taxas de acertos obtidos pela base Grupo_b 100,00%
de dados MUCT utilizando sete escalas do método. Cada Grupo_c 100,00%
Grupo_d 100,00%
grupo representa diferentes escolhas das imagens de teste e Grupo_e 100,00%
de treinamento no processo de validação cruzada e de forma a Média 100,00%
equilibrar os diferentes tipos de iluminação. Essa escolha foi
feita de maneira que para cada classe uma imagem de cada A Tabela IV é referente aos acertos obtidos pelo método
iluminação fosse escolhida para teste e as restantes para treino. usando uma escala na base de dados Grimace. Cada grupo
Embora esses resultados sejam inferiores aos obtidos no contém quatro imagens para teste e 16 para treino, como cada
trabalho de [2], o qual apresenta uma taxa de acerto de 87, 5% classe possui 20 imagens a cada cinco imagens foram tiradas
nesta mesma base de dados. Os autores relatam que foram uma imagem para teste formando assim um determinado grupo
utilizadas sete imagens para treino e uma para teste, sem da validação, os demais grupos foram formados fazendo-se
executar o processo de validação cruzada. Os autores não deslocamento de imagens.
✽✼ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Tabela IV [5] COLLECTION OF FACIAL IMAGES: FACES94.


TAXA DE RECONHECIMENTO G RIMACE http://cswww.essex.ac.uk/mv/allfaces/faces94.html, acessado pela
última vez em 12/07/2017.
Grupo Acertos [6] COLLECTION OF FACIAL IMAGES: GRIMACE.
Grupo_a 100,00% http://cswww.essex.ac.uk/mv/allfaces/grimace.html, acessado pela
Grupo_b 100,00% última vez em 12/07/2017.
Grupo_c 100,00% [7] COLLECTION OF FACIAL IMAGES.
Grupo_d 100,00% http://cswww.essex.ac.uk/mv/allfaces/, acessado pela última vez
Grupo_e 100,00% em 12/07/2017.
Média 100,00% [8] DAHMOUNI, A.; AHARRANCE, N.; SATORI, K; MOUTAOUAKIL,
K. Face Recognition Using Local Binary Probabilistic Pattern (LBPP)
and 2D-DCT Frequency Decomposition. 2016 13th Internacional Con-
ference Computer Graphics, Imaging and Visualization, p. 73-77. 2016.
A Tabela V é referente aos acertos na base de dados Essex [9] FERRAZ, C. T.; JUNIOR, O.P.; GONZAGA, A. Feature Description
94 com três escalas do método. As classes da validação Based on Mean Local Mapped Pattern. X Workshop de Visão Compu-
tacional, 2014 Uberlândia, p. 32-37, 2014.
compostas por quatro imagens de teste e 16 de treino sendo [10] FERRAZ, C. T.; PEREIRA, O.; GONZAGA, A. A Feature Description
essas obtidas da mesma maneira que na Grimace. Based on Center-Symmetric Local Mapped Patterns. Proceedings of the
29th Annual ACM Symposium on Applied Computing - SAC’14, p.39-
44, 2014.
Tabela V [11] HU, H.; CHOU, H.; CHEN, Y.; YI, C. Local Binary Pattern Special
TAXA DE ACERTOS E SSEX 94 Investigation Based on Search Image Face Texture Recognition. 2016
International Symposium on Computer, Consumer and Control, p. 686-
Grupo Acertos 689, 2016.
Grupo_a 98,37% [12] HUANG, J.; YUEN, P. C.; LAI, J. H.; LI, C. Face Recognition
Grupo_b 99,51% Using Global and Local Features. EURASIP Journal on Applied Signal
Grupo_c 99,67% Processing 2004, p. 530-541, 2004.
Grupo_d 99,51% [13] JAIN ,A.K.; LI,S.Z., Handbook of Face Recognition. 2a. edição. New
Grupo_e 99,51% York, USA:Springer-Verlag, 2011
Média 99,31% [14] JIA, X.; YANG,X.; CAO, K., ZANG, Y.; et al. Multi-scale Local
Binary Pattern With Filters for Spoof Fingerprint Detection. Information
Sciences„ v.268,p. 91-102, 2014.
Em [2], os autores relatam 100% de acurácia nas bases [15] LI, Y. Novel Face Recognition Algorithm Based on Adaptive 3D Local
Grimace e Essex 94, porém das 20 imagens de cada classe Binary Pattern Features and Improved Singular Value Decomposition
os autores escolheram apenas quatro para realizar seus experi- Method. International Conference on Inventive Computation Technolo-
gies (ICICT), p. 1-7, 2016.
mentos não especificando a forma da escolha dessas imagens. [16] LIU, K.; MOON, S. Robust Dual-Stage Face Recognition Method Using
PCA and High-Dimensional-LBP. Proceedinfs of the IEEE International
IV. C ONCLUSÕES E T RABALHOS F UTUROS Conference on Information and Automation Ningbo, p. 1828-1831, 2016
[17] MÄENPÄÄ, T.; PIETIKÄINEN, M. Multi-scale Binary Patterns for
A contribuição deste trabalho está em apresentar o descritor Texture Analysis. Scia 2003, p.885-892, 2003.
MSLMP como um modelo para reconhecimento facial visto [18] MAJEED, S. Face Recognition using Fusion of Local Binary Pattern and
Zernike Moments. IEEE International Conference on Power Eletronics,
que em [4] este método se mostrou robusto para a análise Intelligent Control and Energy Systems, pp.1-5, 2016.
de texturas. Além disso, o método mostrou bons resultados [19] OJALA, T.; PIETIKÄINEN, M.; HARWOOD, D. A Comparative Study
conseguindo até 100% de acurácia nas bases Essex e JAFFE. of Texture Measure with Classification Based on Feature Distributions.
Pattern Recognition, v.29 ,n. 1,p. 51-59, 1996.
Ainda existem técnicas que podem melhorar a taxa de reco- [20] OJALA, T.; PIETIKÄINEN, M.; MÄENPÄÄ, T. Multiresolution Gray-
nhecimento do método como, segmentação da face, mudança scale and Rotation Invariant Texture Classification With Local Binary
da matriz de pesos e até métricas novas de similaridades para Patterns. IEEE Transactions on Patterns Analysis and Machine Inteli-
gence, v.24,n. 7,p. 971-987, 2002.
classificar um vetor de características em uma determinada [21] PELE, O.; WERMAN, M. The Quadratic-chi Histogram Distance
classe. Family. Proceedings of the 11th European Conference on Computer
Vision, 2010, p. 749-762.
AGRADECIMENTO [22] SALEH, S. A.; AZAM, S.; YEO, K. C.; SHANMUGAM, B. An
Improved Face Recognition Method Using Local Binary Pattern Method.
Os autores agradecem à CAPES pelo apoio financeiro. 2017 11th International Conference on Inteligent Systems and Control
(ISCO), p. 112-118, 2017.
[23] SCHLETT, T.; RATHGEB, C.; BUSCH, C. A Binarization Scheme for
R EFERÊNCIAS Face Recognition Based on Multi-scale Block Local Binary Patterns.
[1] BARNOUTI, N. H. Improve Face Recognition Rate Using Different 2016 Gesellschaft fur informatik e. V., Bonn, Germany, 2016.
Image Pre-procssing Techniques. 2016 American Journal of Engeneering [24] THE MUCT FACE DATABASE. http://www.milbo.org/muct/index.html,
Research(AJER), v. 5, ed. 4, p. 46-53, 2016. acessado pela última vez em 12/07/2017.
[2] BARNOUTI, N. H.; MATTI, W. E.; AL-DABBAGH, S. S. M.; NASER, [25] THE DATABASE OF FACES.
M. A. S. Face Detection and Recognition Using Viola-Jones with PCA- http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html,
LDA and Square Euclidean Distance. Internacional Journal of Advanced acessado pela última vez em 12/07/2017.
Computer Science and Applications, v. 7, No. 5, p. 371-377, 2016. [26] THE JAPANESE FEMALE FACIAL
[3] BRAVO, M. J. A. Análise do Descritor de Padrões Mapeados Local- EXPRESSION (JAFFE) DATABASE.
mente em Multiescala para Classificação de Textura em Imagens Digi- http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html,
tais. Dissertação (Mestrado), Universidade Estadual "Júlio de Mesquita acessado pela última vez em 12/07/2017.
Filho"(UNESP), São José do Rio Preto, 2016. [27] TURK, M.; PENTLAND, A. Eigenfaces for Recognition. Journal of
[4] CONTRERAS, R. C.; BOAVENTURA, M.; BOAVENTURA, I. A. Cognitive Neuroscience, pp.71-86, 1991.
G. Multi-scale Local Mapped Pattern for Image Texture Analisys. XI
Workshop de Visão Computacional, 2015, São Carlos, v. 11,2015.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✽✽

Facial Recognition in Digital Images using Local


Binary Pattern Methods
Caroline M. Rodrigues, Marco A. Piteri, Francisco A. Silva, Danillo R. Pereira
Danilo M. Eler, Almir O. Artero Faculdade de Informática de P. Prudente
Faculdade de Ciências e Tecnologia FIPP - UNOESTE
Universidade Estadual Paulista - UNESP Presidente Prudente, SP
Presidente Prudente, SP email: chico@unoeste.br, dpereira@ic.unicamp.br
email: {carol, piteri, daniloeler, almir}@fct.unesp.br

Abstract—Among the several methods available in A relevância do problema de reconhecimento facial é


the literature for the facial recognition problem, we ainda maior quando a importância das aplicações passí-
have chosen three variants of LBP with different win- veis de serem desenvolvidas é observada, a maioria delas
dow sizes to conduct this study. This technique, has
been widely used successfully in the context of facial relacionadas a questões de vigilância e de segurança, que
recognition. From the extraction of LBP characteristics incluem o monitoramento de ambientes, autenticação de
of images belonging to the ORL, JAFFE, IMM and Cal- usuários em sistemas digitais (cursos de EAD, por exem-
tech databases, the experiments were performed using plo) e controle de acesso a equipamentos (dispositivos
unsupervised classification - euclidean, Chi-square and móveis, notebooks), ou ainda, em acesso a ambientes
measurement of blocks distances and Jensen-Shannon
divergence. To understand the improvements provided restritos [1], [2].
by the variants of the LBP method, comparisons were Mais recentemente, identificar pessoas a partir de sua
made using the following criteria: accuracy, perfor- face nas redes sociais ou saber se duas ou mais imagens
mance and storage.The analysis of the experiment fotográficas contêm a presença de uma mesma pessoa
indicate a success rate greater than 90% for all variants. também se tornaram objeto de interesse, inclusive na área
Using the Multidimensional Scaling (MDS) technique,
we obtained the two most significant discriminant com- criminal. Embora as pesquisas realizadas na última década
ponents associated to each of the faces belonging to the tenham produzido inúmeros avanços, fatores associados
databases used, allowing the projection of these faces as condições de luminosidade em ambientes internos e
in a scatter plot. externos, posição/orientação da face em relação a câmera,
oclusões, uso de artefatos (óculos, chapéu/boné, barba,
I. Introdução bigode), idade e alterações na expressão da face, causam
um efeito significativo em sua representação, e, conse-
A Biometria se preocupa em desenvolver métodos para a quentemente, dificulta o seu reconhecimento, devendo,
identificação de seres humanos a partir de suas caracterís- portanto, ser superado. Nesse sentido, desenvolver técnicas
ticas físicas (impressões digitais, face, íris, DNA, padrão que sejam capazes de reconhecer um indivíduo a partir de
termal da face) e/ou comportamentais (forma de andar, sua face, de forma completamente automática a partir de
voz, assinatura). Embora as impressões digitais sejam, uma imagem ou vídeo digital é considerado extremamente
indiscutivelmente, as características mais exploradas junto complexo e continua a ser um enorme desafio [1], [3]. O
aos sistemas biométricos existentes no mercado, o emprego principal objetivo desse trabalho é comparar três variantes
da face tem chamado a atenção dos pesquisadores, na do método LBP aplicadas ao problema de reconhecimento
medida em que a captura da imagem pode ser feita à facial. Para esse propósito, diferentes medidas foram obti-
distância, com facilidade e de modo não invasivo. Cada das para cada uma das variantes aplicadas as bases ORL,
vez mais, ambientes com grandes aglomerações de in- JAFFE, IMM e Caltech.
divíduos, como aeroportos, estádios de futebol, metrôs, Este artigo está estruturado da seguinte maneira: na Se-
centros de cidades e outros, possuem uma quantidade ção II é apresentada uma breve revisão bibliográfica, com
significativa de câmeras de vídeos e são monitorados para ênfase na contextualização teórica das variantes LBP uti-
diferentes propósitos (por exemplo, detectar a presença lizadas. A Seção III descreve o conjunto de experimentos
de terroristas, criminosos e/ou pessoas procuradas). Nesse realizados com as variantes do LBP implementadas com
sentido, identificar um indivíduo de forma completamente diferentes tamanhos de janelas para cada uma das bases
automática a partir de uma imagem digital que contém de dados usadas neste trabalho e discute os resultados dos
sua face é um problema que tem recebido cada vez mais experimentos com relação a performance e custos associ-
a atenção da comunidade científica que atua na área de ados ao tempo de pré-processamento e de memória usada
Biometria [1]. em cada uma das variantes. Em particular, o processo de
✽✾ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

classificação foi baseado em técnicas não-supervisionadas central. Cada um dos vizinhos contribui com esse valor
por meio de métricas aplicadas aos histogramas formados binário obtido de GD para compôr um código LBP por
pelas características obtidas por meio das variantes LBP. meio da Equação 2.
Além disso, com o propósito de visualizar as relações de (
similaridade dos espaços de características gerados a partir 1 se (fp − fc ) ≥ 0
S(fp − fc ) = (1)
do conjunto de faces, foi empregada uma técnica de redu- 0 se (fp − fc ) < 0
ção de dimensionalidade conhecida por Multidimensional
P −1
Scaling (MDS), que possibilitou a construção de represen- X
LBPP,R = S(fp − fc )2p (2)
tações gráficas baseadas no posicionamento de pontos no
p=0
plano, permitindo a identificação da similaridade das faces
por meio de Gráficos de Dispersão. Finalmente na Seção B. LBP Circular
IV são apresentadas as considerações finais do trabalho O LBP, como é possível observar na Equação 2, é
desenvolvido. representado por LBPP,R onde P é a quantidade de
vizinhos e R é o raio de abrangência da vizinhança. Apesar
II. Referencial Teórico de originalmente a vizinhança proposta ser quadrada, o
Uma questão fundamental no processo de reconheci- método possui variações que possibilitam melhorias nos
mento facial é a construção de um espaço de características resultados, sendo utilizada atualmente, em sua maioria,
robusto e que seja altamente discriminante, de modo a uma vizinhança circular, com alguns exemplos representa-
reduzir fatores não controlados. As diferentes técnicas pro- dos na Figura 1. Com o uso de uma vizinhança circular,
postas na literatura ao longo das décadas para resolver esse o ponto da vizinhança não coincide, necessariamente, com
problema podem ser enquadradas em duas abordagens o centro de um pixel, assim, é feita uma interpolação para
gerais – os métodos baseados na geometria (globais) e encontrar as coordenadas do pixel central da vizinhança
os métodos holísticos baseados na aparência (locais), que gp = I(xp , yp ) (onde p = 0, ..., P − 1 e I é a imagem em
tem sido os mais efetivos com relação a performance. Uma uso), a ser utilizado, conforme ilustra as relações dadas
terceira abordagem pode ser mencionada e busca combinar pela Equação 3 [1].
elementos de ambas as anteriores.
Deve-se realçar que a quase totalidade dos métodos
baseados em aparência possuem alguns passos básicos
bem definidos: captura da imagem; seleção/extração das
características para a criação de um modelo da face e
as regras que permitem discriminar uma face da outra
(classificação).
Entre as técnicas propostas para a extração de ca- (a) (P,R)=(8,1) (b) (P,R)=(16,2) (c) (P,R)=(8,2)
racterísticas locais, e, portanto, associada ao paradigma
baseado em aparência, um deles tem se destacado das Figura 1. Exemplo de vizinhança circular.
demais - o Local Binary Pattern (LBP), que foi proposto
originalmente como um descritor de texturas por meio
do mapeamento binário das diferenças de nível de cinza 2πp 2πp
xp = x + Rcos( ); yp = y + Rsin( ) (3)
entre uma vizinhança e seu pixel central [4] e que depois P P
mostrou-se um poderoso método de descrição local de
características na representação de faces [5]. Desde então, Assim que o código LBP de cada um dos pixels de uma
inúmeras variantes do LBP original surgiram. subjanela é encontrado, pode-se determinar o histograma
É possível observar ainda que a representação de ca- relativo à quantidade de cada valor de código presente.
racterísticas faciais é pouco susceptível a variação de O histograma final é obtido a partir da concatenação dos
iluminação (na escala de cinza) [6], além do código LBP ser histogramas menores e apresenta dimensionalidade 256 em
computado de forma simples e rápida. Nesse sentido, essa um LBP com vizinhança contendo 8 pixels, considerando
seção irá se limitar a discussão teórica de três importantes a imagem como uma janela única. No entanto, o uso
variantes do método LBP que tem sido efetivas no reco- da imagem como janela única ocasiona perda de algu-
nhecimento facial, que foram devidamente implementadas mas características locais e, consequentemente, diminui
e sobre as quais os experimentos foram realizados. o desempenho no processo de reconhecimento, ao passo
que, a subdivisão da imagem em subjanelas e posterior
A. LBP Quadrado concatenação dos histogramas obtidos aumenta significa-
Uma diferença de nível de cinza ou Grey-level Difference tivamente a dimensionalidade das características a serem
(GD) no LBP padrão é codificada em 0’s e 1’s, especifi- comparadas. Uma alternativa à esse aumento crítico de
cando se esta é maior ou menor que 0, de acordo com a dimensionalidade é a variante LBP com Multi-Direção e
Equação 1, onde fp é um pixel da vizinhança e fc é o pixel Rotação Invariante.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✾✵

C. Multi-Direção e Rotação Invariante conta com 400 imagens de dimensões 92x112 em escala
O método LBP Uniforme Invariante a Rotação, ou de cinza, sendo 10 imagens de 40 individuos [7]; JAFFE,
Rotation Invariant Uniform LBP (Riu-LBP), apresenta a que é uma base contendo 213 imagens com 7 expressões
vantagem de possuir baixa dimensionalidade, mas a per- faciais de 10 mulheres de dimensões 256x256, sendo 6
formance (taxa de sucesso) é comprometida por não conter expressões básicas e 1 neutra [8], [9]; IMM, contando com
informações de direcionamento. Assim, em [3], é proposta 240 imagens de 40 pessoas (33 homens e 7 mulheres)
a técnica Fusão de Nível de Característica Multi-Direcional sem óculos, com diferentes posicionamentos de face (fron-
Riu-LBP, ou Feature-Level Fusion of Multi-Directional tal, perfis esquerdo e direito) e com dimensões 640x480
Riu-LBP, que preserva a redução de dimensionalidade e [10], [11]; e, CALTECH, uma base de dados de imagens
incorpora informações de direção, melhorando as taxas de frontais contendo 450 imagens de dimensões 896x592 de
sucesso na etapa final de classificação. aproximadamente 27 pessoas sob diferentes condições de
Um subconjunto de tamanho Pi e menor ângulo positivo iluminação, expressão e planos de fundo [12].
θi (1 ≤ i ≤ k) representado por S(θi , Pi ) pode ser dividido A detecção de face foi feita para todas as imagens,
em subconjuntos ainda menores, conforme o exemplo da incluindo aquelas sem muitas informações de fundo ob-
Figura 2. Em seguida, aplica-se o Riu-LBP convencional jetivando viabilizar a automatização, tarefa que foi con-
em cada subdivisão, dado pela Equação 4, onde s(x) duzida por meio da técnica de Viola-Jones disponível no
é a função de atribuição de 0 ou 1 do LBP original. toolkit gráfico do Matlab. Após a detecção, as imagens
O LBP final é obtido por meio da união de cada Riu- faciais foram normalizadas para as dimensões 500x500
LBP, ∪ki=1 LBP(Pi ,θi ,R) (M, N ), onde a dimensão é dada e na sequência foram extraídas características de cada
Pk
por D = (M.N ). i=1 (Pi + 2). uma das bases de dados apresentadas utilizando o LBP
Quadrado, LBP Circular e LBP Multi-Direção e Rotação
Invariante aplicados globalmente (500x500) ou em subre-
giões de tamanho 100x100 e 50x50 pixels. As caracterís-
ticas obtidas foram armazenadas em arquivos individuais
para cada face e, posteriormente, comparadas utilizando-
se distância entre histogramas. Para tanto foram utilizadas
as métricas Euclidiana, Chi-Quadrado, Medida de Blocos
e Divergência de Jensen-Shannon, dadas, respectivamente,
pelas Equações 5, 6, 7 e 8, onde, Simj (I, I ′ ) representa a
similaridade na região j das imagens que originaram os
histogramas, e, tj é dado pela Equação 9. A similaridade
total é dada pela soma das regiões [2], [1], [13], [14].
sX
Simj (I, I ) =

(fj (i) − fj′ (i))2 (5)
j

Figura 2. Divisão em vizinhanças de 16, 8 e 4 pontos.


X (fj (i) − fj′ (i))2
Simj (I, I ′ ) = (6)
i
fj (i) + fj′ (i)
X
Simj (I, I ′ ) = |fj (i) − fj′ (i)| (7)
PP
 p=0 s(fp − fc ) se unif orme

j
Riu2
LBP(P,R) = (4)
P +1

c.c.
 X
Simj (I, I ′ ) = − [fj (i)log(fj (i))+
i (8)
fj′ (i)log(fj′ (i)) − 2tj (i)log(tj (i))]
III. Experimentos e Resultados
Os experimentos foram elaborados utilizando um com- tj = 0, 5.(fj + fj′ ) (9)
putador pessoal com processador Intel Core i5-2410M com
dois núcleos físicos de 2.30Ghz, 8Gb de memória RAM e De forma a facilitar a análise a partir dos experimentos
sistema operacional Windows 10. A implementação dos realizados, os dados foram devidamente tabulados. Deve
métodos envolvidos foi realizada com o uso do software ser realçado que para cada uma das variantes do método
MATLAB v. 9.1.0, juntamente com os toolkits de Proces- LBP implementado, diferentes tamanhos de subjanela fo-
samento Digital de Imagens e de Visão Computacional. ram adotados e são indicados pela letra N . Em todas
Foram utilizadas algumas bases de dados que contém as tabelas apresentadas na sequência, as últimas quatro
um conjunto diversificado de imagens faciais: ORL, que colunas representam as métricas usadas, a saber: 1 -
✾✶ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Distância Euclidiana, 2 - Qui-Quadrado, 3 - Distância de Tabela III


Blocos e 4 - Divergência de Jensen-Shannon. Taxa de sucesso do método LBP Multi-Direção e Rotação
Invariante.
A Tabelas I, II e III apresentam as taxas de reconhe-
cimento (matching) dos métodos LBP Quadrado, LBP Base N 1 2 3 4
Circular e LBP Multi-Direção e Rotação Invariante, res- 500 0.585 0.6625 0.59 0.63
pectivamente, para as bases utilizadas. ORL 100 0.92 0.9175 0.92 0.92
50 0.9055 0.91 0.905 0.905
Tabela I 500 0.835681 0.887324 0.859155 0.868545
Taxa de sucesso do método LBP Quadrado JAFFE 100 1 1 1 1
50 1 1 1 1
BaseN 1 2 3 4 500 0.229167 0.366667 0.25 0.3
500 0.765 0.81 0.79 0.79 IMM 100 0.541667 0.566667 0.5875 0.4875
ORL 100 0.915 0.9325 0.93 0.93 50 0.570833 0.575 0.575 0.5375
50 0.9125 0.92 0.92 0.9175 500 0.422472 0.474157 0.451685 0.45618
500 0.920188 0.934272 0.929577 0.929577 CALTECH 100 0.87622 0.887387 0.885135 0.87622
JAFFE 100 1 1 1 1 50 0.91236 0.919101 0.92809 0.924607
50 1 1 1 1
500 0.329167 0.308333 0.304167 0.333333
IMM 100 0.55 0.56557 0.558333 0.558333 nas bases consideradas. Na Tabela IV pode ser obser-
50 0.591667 0.595833 0.6 0.591667 vado o tempo médio de processamento para cada uma
500 0.467416 0.514607 0.516854 0.51236 das variantes analisadas. O menor tempo corresponde ao
CALTECH 100 0.865169 0.907865 0.920337 0.88764 valor 1, enquanto os demais foram normalizados a partir
50 0.907865 0.940562 0.947303 0.910112
deste. Por sua vez, na Tabela V é possível observar o
espaço de memória (em Kb) usado para armazenar as
características extraídas de cada imagem (lembrando que
Tabela II suas dimensões foram normalizadas e portanto os dados
Taxa de sucesso do método LBP Circular.
obtidos apresentam mesma dimensionalidade quando as
BaseN 1 2 3 4 bases são modificam), por meio de cada uma das variantes,
500 0.7775 0.8175 0.7875 0.815 com diferentes tamanhos de subjanelas.
ORL 100 0.929078 0.938534 0.93617 0.93617
50 0.9275 0.9175 0.9225 0.91 Tabela IV
500 0.920188 0.948357 0.929577 0.943662 Tempo médio de pré-processamento para a extração de
JAFFE 100 1 1 1 1 características.
50 1 1 1 1
Tempo LBP
500 0.316667 0.4 0.325 0.341667
LBP Quadrado 1
IMM 100 0.570833 0.575 0.58333 0.566667 LBP Circular 1.6256
50 0.595833 0.597833 0.6 0.595833 LBP Invariante 8.7137
500 0.438202 0.525843 0.469663 0.483146
CALTECH 100 0.914607 0.894382 0.935843 0.907865
50 0.94382 0.947979 0.952809 0.948315
Tabela V
Espaço de memória (em Kb) para representar as
Considerando as possíveis aplicações das técnicas de características LBP.
reconhecimento facial é de fundamental importância estar
500 100 50
atento, não somente para a taxa de sucesso, mas também
LBP Quadrado 2 5 13
aos custos associados ao desempenho e de armazenamento LBP Circular 1 3 6
de cada método utilizado. LBP Invariante 1 2 5
Em particular, o tempo médio necessário para comparar
dois histogramas (resultado da classificação) a partir das A tarefa de extrair ou inferir relações entre objetos
características previamente obtidas, por meio dos méto- compostos por dados multidimensionais pode ser facilitada
dos LBP quadrado, LBP circular e LBP Multi-Direção por meio de técnicas de visualização. Vale lembrar que o
e Rotação Invariante foram computados para cada um espaço de características necessário para representar uma
dos tamanhos de janelas e métricas utilizadas e, no pior face por meio de métodos LBP’s possuem alta dimen-
caso, é da ordem de milésimos de segundos, ou seja, quase são. Nesse sentido, utilizando a técnica Multidimensional
insignificante, razão pela qual não serão disponibilizados Scaling (MDS), foi possível posicionar as faces no espaço
aqui. bidimensional para facilitar o entendimento das relações
Uma outra medida importante é o tempo de pré- de similaridades existentes no espaço de alta dimensão
processamento, ou seja, o tempo gasto para extrair as (multidimensional). Assim, por meio da projeção no es-
características LBP associadas as faces de cada imagem paço bidimensional (gráfico de dispersão), observa-se o
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✾✷

espalhamento das faces e as relações entre as classes e


intra-classes.
As Figuras 3, 4 e 5 ilustram os gráficos de dispersão para
cada uma das variantes LBP’s implementadas (subjanelas
de tamanho 50x50), em consonância com as bases de dados
usadas. Nos gráficos, as cores representam as classes das
faces. A visualização de como o espaço de características
está organizado contribui para o entendimento das taxas
(a) ORL.
de sucesso apresentadas nas Tabelas I, II e III; isto é, os
gráficos de dispersão que apresentam grupos bem definidos
de uma mesma classe, obtiveram maiores taxas de sucesso.

(b) JAFFE.

(a) ORL.

(c) IMM.

(b) JAFFE.

(d) CALTECH.

Figura 4. Projeções das faces por meio de características do LBP


Circular.
(c) IMM.

Ao utilizar a imagem como uma única janela parte dos


padrões locais são perdidos, enquanto que com o uso
de subjanelas muito pequenas inúmeros padrões locais
irrelevantes podem ser encontrados e, neste caso, igual-
mente degradar os resultados do reconhecimento. Nesse
sentido, os experimentos indicam que encontrar o trade-off
(d) CALTECH. entre tamanho de janela e taxa de acerto é uma questão
fundamental no método LBP. No caso geral, conforme
Figura 3. Projeções das faces por meio de características do LBP
Quadrado. pode ser observado nas Tabelas I, II e III, as janelas
de tamanho 50x50 apresentaram os melhores resultados,
independemente da métrica adotada, do método utilizado
IV. Conclusão e da base usada.
Este artigo compara variantes do método LBP, em parti- Deve-se destacar que as diferentes variantes quando
cular, LBP Quadrado, LBP Circular e LBP Multi-Direção aplicadas à base ORL possuem resultados semelhantes
e Rotação Invariante. A partir dos experimentos reali- para janelas 100x100 e 50x50, enquanto na base JAFFE,
zados é possível observar que o tamanho das subjanelas em função de suas características, para essas mesmas
condiciona o desempenho no processo de reconhecimento. janelas, o percentual de acerto foi de 100%. A elaboração
✾✸ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

processamento para a extração das características, a


variante LBP Quadrada apresentou o menor tempo,
seguida pelo LBP Circular, enquanto que o LBP Multi-
Direção e Rotação Invariante fez uso de menos espaço de
memória para armazenamento das características.
As Figuras 3, 4 e 5 mostram o espalhamento entre as
classes de imagens associadas às diferentes variantes usa-
das. Pode-se observar que o menor espalhamento é obtido
(a) ORL.
por meio do uso das características extraídas pelo LBP
Quadrado, fato que pode ser prejudicial ao distanciamento
entre as classes de face, diminuindo assim a discriminância
e podendo indicar perda de qualidade nos resultados, no
entanto, a projeção das faces por meio das características
obtidas pelo LBP Multi-Direção e Rotação Invariante, que
apresenta o maior espalhamento analisado, pode indicar o
efeito contrário no sentido de apresentar maior espalha-
(b) JAFFE. mento intra classes, diminuindo a semelhança entre faces
da mesma classe, e também prejudicar os resultados.
Por fim, conclui-se que a variante LBP Circular apre-
senta melhores resultados com relação à taxa de acertos,
independentemente da base utilizada, sendo que os resul-
tados são maximizados para janelas de tamanho 50x50 em
conjunto com a métrica de blocos.
Referências
(c) IMM.
[1] M. Pietikäinen et al., Computer vision using local binary pat-
terns. Springer, 2011.
[2] C. Chen, “Decision level fusion of hybrid local features for face
recognition,” in IEEE Int. Conference Neural Networks & Signal
Processing, Zhenjiang, June 2008, pp. 199–204.
[3] Y. Fang, J. Luo and C. Luo, “Fusion of multi-directional ro-
tation invariant uniform LBP features for face recognition,” in
2009 Third International Symposium on Intelligent Information
Technology Application, 2009, pp. 332–335.
[4] O. Ojala, M. Pietikäinen and T. Mäenpää, “Multi-resolution
gray-Scale and rotation invariant texture classication with
(d) CALTECH.
LBP,” in IEEE Transactions on Pattern Analysis and Machine
Intelligence,vol. 24, pp. 971–987, 2002.
Figura 5. Projeções das faces por meio de características do LBP [5] T. Ahonen, A. Hadid and M. Pietikäinen, Face recognition with
Multi-Direção e Rotação Invariante. LBP. University of Oulu, Finland: Machine Vision Group,
2004.
[6] M. Mirmehdi, X. Xie and J. Suri, Handbook of texture analysis.
Imperial College Press, 2008.
[7] F. Samaria and A. Harter, “Parametrisation of a stochastic
de uma abordagem de modo a automatizar o tamanho da model for human face identification,” in 2nd IEEE Workshop on
janela que maximiza as taxas de acerto é algo que deve Applications of Computer Vision,pp. 138–142, December 1994.
ser investigado. [8] M.J. Lyons et al., “Coding facial expressions with gabor wave-
let,” in 3rd IEEE International Conference on Automatic Face
Além disso, a partir dos resultados obtidos e das carac- and Gesture Recognition, pp. 200–205, 1998.
terísticas das imagens faciais contidas em cada uma das [9] M.J. Lyons. [Online]. Available:
bases obtem-se a confirmação de que o LBP é uma técnica http://www.kasrl.org/jaffe_info.html.
[10] M.M. Nordstrom et al., “The IMM face database,” Technical
com baixa suscetibilidade à variações de iluminação, o que University of Denmark, Tech. Rep., May 2004.
não se verifica à variações no posicionamento facial. As [11] M.B. Stegmann. Free data sets for statis-
técnicas LBP aplicadas à base CALTECH, que possui ima- tical models of shape. [Online]. Available:
http://www.imm.dtu.dk/ aam/datasets/datasets.html.
gens com maiores variações de iluminação, apresentaram [12] (2005, March) Caltech Categories. [Online]. Available:
resultados na ordem de 90% de sucesso enquanto que a http://www.vision.caltech.edu/html-files/archive.html.
aplicação do LBP à base IMM, com pouca variação de [13] S. Brahnam et al., Local binary patterns: New variants and
applications. Springer, 2014.
iluminação e grandes variações de posicionamento da face, [14] T. Mäenpää, “The local binary pattern approach to texture
resultou em acertos da ordem de 60%, quando considerado analysis - Extensions and applications,” Ph.D. dissertation,
o LBP Circular com janelas 50x50, independentemente da University of Oulu, Oulu, Finland, 2003.
métrica usada.
De uma perspectiva do tempo gasto no pré-
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✾✹

A Multi-level Thresholding Method Based on


Improved Group Search Optimization and Otsu
Luciano D. S. Pacı́fico
Departamento de Estatistica e Informatica - DEInfo
Universidade Federal Rural de Pernambuco - UFRPE
Recife, Pernambuco, Brazil
Email: luciano.pacifico@ufrpe.br, ldsp.ufrpe@gmail.com

Abstract—Image segmentation is a fundamental process for im- sua população ao long da busca, o que pode tornar difı́cil
age analysis and computer vision. One of the most effective image ao método a fuga de pontos ótimos locais.
segmentation methods is Otsu algorithm, originally proposed to Neste trabalho, uma versão melhorada do GSO, denom-
segment a gray image in two classes, but extended to multi-level
thresholding afterwards. The computational cost for multi-level inada IGSOOtsu , é aplicada ao problema de segmentação
Otsu limits its application in real world problems, and many de imagens coloridas. O IGSOOtsu faz uso de um operador
evolutionary algorithms (EAs) have been applied to optimize Otsu de reinicialização aleatória como forma de eliminação dos
algorithm. In this paper, a hybrid Otsu and improved Group membros mais fracos da população do GSO, de modo a
Search Optimization (GSO) algorithm is presented to deal with garantir sua diversidade populacional e facilitar a exploração
multi-level color image thresholding problem, named IGSOOtsu .
The proposed IGSOOtsu is compared to other EAs from lit- de novas regiões do espaço de busca do problema, o que pode
erature through twelve real color image problems, showing its auxiliar na fuga de regiões ótimas locais.
potential and robustness even when compared to original GSO O trabalho é dividido como segue. Inicialmente, o algoritmo
algorithm. Otsu multi-nı́vel e o GSO serão brevemente descritos nas
Seções II e III, respectivamente. Em seguida, o IGSOOtsu será
I. I NTRODUÇ ÃO
apresentado (Seção IV). Os resultados experimentais serão
A sementação de imagens visa dividir uma imagem em discutidos na Seção V, seguidos pelas conclusões do trabalho
regiões ou segmentos, de modo geral, de acordo com discon- (Seção VI).
tinuidades ou similaridades presentes na própria imagem. Uma
categoria de abordagens tradicionais para a segmentação de II. O M ÉTODO OTSU M ULTI -N ÍVEL
imagens com base na similaridade é a categoria de técnicas de Considere que D denota o número total de limiares a
Limiarização [1], sendo o método Otsu [2] um dos algoritmos serem aplicados a uma imagem que contém L nı́veis de
mais populares nessa categoria. cinza. A imagem resultante será dividida em (D + 1) classes
O método Otsu original previa a divisão de uma imagem C0 , C1 , ..., CD . A proporção rk de nı́veis de cinza em cada
em nı́vel de cinza em duas classes (binarização da imagem), classe é calculada de acordo com a eq. (1):
porém tal algoritmo pode ser facilmente extendido para lidar  PT
Pi=0 pi , se k = 0
i
com problemas de limiarização multi-nı́vel. Uma limitação

Tk+1
da abordagem multi-nı́vel do algoritmo Otsu é o fato de que rk = i=Tk pi , se 1 ≤ k ≤ D − 1 (1)

PL−1
seu custo computacional cresce significativamente conforme o i=TD pi , se k = D
número de limiares aumenta, o que pode tornar seu emprego
onde Ti é o i-ésimo limiar, os limiares são tais que T1 < T2 <
proibitivo em aplicações reais.
... < TD−1 < TD , e pi é a proporção do nı́vel de cinza i na
Na literatura, vários Algoritmos Evolucionários (EAs) têm
imagem, dada abaixo (eq. (2)).
sido empregados no intuito de melhorar o algoritmo Otsu,
como o Algoritmo Genético (GA) [3], [4], a Evolução Difer- L−1
X
encial (DE) [5], [6], a Otimização por Enxame de Partı́culas pi = ni /N, pi ≥ 0, pi = 1 (2)
(PSO) [7], [8] e, mais recentemente, a Otimização por Busca i=0

em Grupo (GSO) [9], [10]. onde ni é o número de pixels com nı́vel de cinza i na imagem,
O GSO é uma meta-heurı́stica de busca evolucionária e N é o número total de pixels da imagem.
nova, inspirada na interação de animais sociais, que possuem O nı́vel de cinza médio de uma classe Ck é dado pela
comportamento de busca por recursos em grupos, com seus equação abaixo (eq. (3)).
ambientes. Esse algoritmo tem obtido bons desempenhos na  PT PTi
i=0 pi , se k = 0
i
otimização de vários problemas difı́ceis quando comparado (Pi=0 i · pi )/ P

a outros EAs como o GA e o PSO [11], por exemplo. µk = ( Ti=T k+1
k
Tk+1
i · pi )/ i=T k
pi , se 1 ≤ k ≤ D − 1
 P
 L−1 P L−1
Contudo, o GSO sofre de problemas comuns a outros EAs, ( i=TD i · pi )/ i=TD pi , se k = D
como a convergência prematura e perda de diversidade de (3)
✾✺ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

O objetivo do Otsu multi-nı́vel é maximizar a função de


fitness abaixo (eq.(4)) [10]:
D
X
f= ri · (µi − µ)2 (4) Fig. 1. Representação de um membro para três dimensões por canal do RGB.
i=0

onde µ é o nı́vel de cinza médio da imagem.


onde ~r3 ∈ ℜn é uma sequência uniforme aleatória obtida no
III. OTIMIZAÇ ÃO POR B USCA EM G RUPO intervalo (0, 1), e ◦ é o produto de Hadamard ou Schur, que
calcula o produto interno entre dois vetores.
No GSO, a população G de S indivı́duos é chamada de
Os rangers irão executar buscas aleatórias no espaço do
grupo, enquanto os indivı́duos da população são chamados de
problema, sendo essa estratégia denominada ranging [13]. O
membros. A busca desempenhada por cada membro no GSO
operador de ranging é apresentado abaixo (eq. (10)).
leva em consideração seu campo de varredura visual. Em um
problema definido por um espaço de busca n-dimensional, o i- ~ t+1 = X
X ~ t (~
~ t + li D t+1
(10)
i i i αi )
ésimo membro na t-ésima iteração da busca terá uma posição
atual definida pelo vetor X ~ t ∈ ℜn e um ângulo de cabeça onde
i
definido pelo vetor α ~ i ∈ ℜn−1 . A direção da busca do i-
t
li = ar1 lmax (11)
ésimo membro, que é um vetor D ~ t (~
i αi ) = (di1 , . . . , din ), pode
t t t

~ i através de uma transformação polar para


ser calculada por α t IV. A BORDAGEM P ROPOSTA : O IGSOOtsu
coordenadas cartesianas dada por: Considere uma imagem colorida I, composta pelos canais
n−1
Y R, G e B. No IGSOOtsu , a imagem I será decomposta para
dti1 = t
cos(αiq ), (5) cada um dos canais do RGB, originando as imagens IR , IG e
q=1 IB em nı́veis de cinza, sendo cada imagem tratada de forma
n−1
Y independente para propósitos de segmentação [14]. Desta
dtij = t
sin(αi(j−1) ) t
cos(αiq )(j = 1, . . . , n − 1), forma, cada membro do grupo do IGSOOtsu representará
q=1 D dimensões (limiares) para cada canal do RGB, ou seja,
dtin = t
sin(αi(n−1) ) o i-ésimo membro do grupo será um vetor X ~ i ∈ ℜn , tal
que n = 3 × D. Como exemplo, se para cada canal do
RGB forem gerados três limiares (D = 3), teremos que o
Um grupo no GSO consiste de três tipos de membros: membro X ~ i ∈ ℜ9 , sendo suas três primeiras caracterı́sticas
producers, scrougers e rangers. Durante cada geração do correspondentes aos limiares do canal R, as três caracterı́sticas
GSO, o membro do grupo que encontrou a melhor reserva de subsequentes representantes dos limiares do canal G, e suas
recursos (melhor valor de fitness), é escolhido como producer três últimas caracterı́sticas representarão os limiares do canal
[12]. B, como ilustrado na Figura 1. A população inicial é obtida
Na t-ésima geração do GSO, o producer X ~ pt executará aleatoriamente, de modo que para cada imagem IR , IG e IB
a estratégia de producing pela observação de três pontos tenhamos D limiares na forma T1 < T2 < ... < TD−1 < TD .
aleatórios em seu campo visual: um ponto a zero grau (eq. A avaliação de cada membro X ~ i é dada como a soma da
(6)), um ponto no hipercubo à sua direita (eq. (7)), e um ponto função de fitness do método Otsu para cada uma das imagens
no hipercubo à sua esquerda (eq. (8)). IR , IG e IB (eq.(12)).
~z = X
X ~ pt (~
~ pt + r1 lmax D αpt ) (6) D
X
~ i)
fR ( X = rRi · (µRi − µR )2 (12)
~ pt + r1 lmax D
~r = X ~ pt (~ ~r2 θmax i=0
X αpt + ) (7) D
2 X
~ i)
fG ( X = rGi · (µGi − µG )2
~l = ~t ~ t (~ t ~r2 θmax
X X +
p r1 lmax D p αp− ) (8) i=0
2 D
X
onde r1 ∈ ℜ é um número aleatório obtido através de uma ~ i)
fB ( X = rBi · (µBi − µB )2
distribuição normal com média 0 (zero) e desvio padrão 1 i=0
(um), ~r2 ∈ ℜn−1 é uma sequência uniforme obtida aleatoria- ~ i)
f (X = ~ i ) + fG ( X
fR ( X ~ i ) + fB ( X
~ i)
mente no intervalo (0, 1), θmax ∈ ℜn−1 é o ângulo máximo
de busca e lmax ∈ ℜ é a distância máxima de busca.
Todos os scroungers tentarão alcançar as reservas já en- Após o processo de inicialização aleatória, cada membro X ~0
i
contradas pelo producer, sendo essa estratégia denominada é avaliado. Após a avaliação da população inicial, o processo
scrounging. O operador de scrounging no GSO é dado por geracional do IGSOOtsu terá inı́cio, sendo cada membro
(eq. (9)): modificado através dos operadores de producing, scrounging
X ~ it + ~r3 ◦ (X
~ t+1 = X ~ pt − X~ it ) (9) ou ranging, como no GSO padrão.
i
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✾✻

Algorithm 1 IGSOOtsu
t ← 0.
Inicialização: Para cada membro X ~ (0) , escolha aleatoria-
i
mente D limiares para cada canal do RGB, de modo que
os limiares Ti sejam tais que T1 < T2 < ... < TD−1 < TD
em cada canal.
Calcule o valor inicial da função de fitness de cada um dos
membros X ~ (0) .
i
enquanto (condições de término não forem satisfeitas) faça
Escolha o melhor membro do grupo como o producer
X~ pt para a iteração atual.
Execute o operador de producing para o X ~ pt .
Escolha um percentual dos membros do grupo (exceto o
X~ t ) para executar o operador de scrounging.
p
Ranging: Os demais membros irão executar a estratégia
de ranging.
Fig. 2. Imagens coloridas adotadas: (a) Airplane, (b) Gellybeans1, (c) Calcule o novo valor da função de fitness para cada
Geallybeans2, (d) House1, (e) House2, (f) Lake, (g) Lena, (h) Mandrill, (i) ~ t.
Peppers, (j) Splash, (k) Tiffany and (l) Tree. membro X i
Ordene os membros da população de acordo com o valor
de fR (X ~ t ).
i
Como uma forma de melhoria para o GSO, no IGSOOtsu Reinicialize aleatoriamente as caracterı́sticas correspon-
um operador de reinicialização aleatória é empregado e apli- dentes aos D limiares da imagem IR para um percentual
cado aos membros mais fracos do grupo, de modo a promover dos piores membros X ~ t de acordo com fR (X ~ t ), de modo
i i
o aumento da diversidade populacional durante as gerações que os novos limiares satisfaçam TR1 < TR2 < ... <
da busca. Como cada membro X ~ i do grupo do IGSOOtus TR(D−1) < TRD .
representa o conjunto de valores de limiares para cada uma das Ordene os membros da população de acordo com o valor
imagens em nı́veis de cinza IR , IG e IB , os valores parciais de fG (X ~ t ).
i
~ i ), fG (X
da função de fitness fR (X ~ i ) e fG ( X~ i ) são usados na Reinicialize aleatoriamente as caracterı́sticas correspon-
determinação dos membros mais fracos. Para cada canal do dentes aos D limiares da imagem IG para um percentual
RGB, ordena-se o grupo de acordo com seu valor para cada dos piores membros X ~ t de acordo com fG (X ~ t ), de modo
i i
uma das funções parciais fR (X ~ i ), fG (X ~ i ) e fG ( X~ i ). Para cada que os novos limiares satisfaçam TG1 < TG2 < ... <
canal do RGB, um percentual dos membros mais fracos é TG(D−1) < TGD .
escolhido para que suas caracterı́sticas em relação ao canal ao Ordene os membros da população de acordo com o valor
qual o mesmo foi considerado mais fraco sejam reinicializadas de fB (X ~ t ).
i
aleatoriamente. Desta forma, um membro poderá ter apenas Reinicialize aleatoriamente as caracterı́sticas correspon-
um conjunto de suas caracterı́sticas reinicializado, tendo em dentes aos D limiares da imagem IB para um percentual
vista que tal membro pode ser considerado fraco em um dos dos piores membros X ~ t de acordo com fB (X ~ t ), de modo
i i
canais do RGB, porém em algum outro canal ser considerado que os novos limiares satisfaçam TB1 < TB2 < ... <
bom o suficiente, não havendo necessidade de reinicialização TB(D−1) < TBD .
em todas as suas caracterı́sticas. A reinicialização aleatória t := t + 1.
permite que regiões ainda não exploradas do espaço de busca fim enquanto
do problema passem a ser visitadas, assim como também evita retorne X ~ pt .
que o producer acabe atraindo todos os membros da população
para uma região de pontos ótimos locais do espaço de busca
do problema.
O IGSOOtsu é apresentado no Algoritmo 1. adotados para cada algoritmo são apresentados na Tabela I,
de acordo com [10].
V. R ESULTADOS E XPERIMENTAIS Todos os algoritmos foram executados no ambiente MAT-
LAB 7.6. O número de limites para cada canal do RGB variou
Nesta seção, o IGSOOtsu proposto é testado em doze de 2 até 5 [10]. Trinta testes independentes foram executados
imagens coloridas reais e comparado a métodos consagra- para cada algoritmo em cada uma das imagens e para cada
dos da literatura. As imagens selecionadas são: Airplane, um dos valores de limiares por canal do RGB. Todos os
Gellybeans01, Geallybeans02, House01, House02, Lake, Lena, algoritmos evolucionários tiveram como ponto de partida a
Mandrill, Peppers, Splash, Tiffany e Tree (Figure 2). mesma população inicial em cada um dos testes, sendo tal
Os algoritmos evolucionários de comparação adotados população obtida pela geração aleatória dos limites iniciais
foram o GA, o DE, o PSO e o GSO [10]. Os parâmetros por canal do RGB, de modo que os limites se apresentassem
✾✼ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

TABLE I
PAR ÂMETROS ADOTADOS POR CADA ALGORITMO .

Algoritmo Parâmetro Valor


Todos S 20 TABLE II
os EAs Gerações 100 R ESULTADOS EXPERIMENTAIS PARA DOIS E TR ÊS LIMIARES POR CANAL
GA Taxa de Crossover 0.8 DO RGB.
Taxa de Mutação 0.1
DE Taxa de Crossover 0.3 2-D 3-D
Imagem Algoritmo
F 0.5 Média Std. Média Std.
PSO c1 e c 2 2.0 GA 5072.7 30.0 5285.1 19.0
w de 0.9 à 0.4 DE 5155.1 0.06 5359.3 1.26
GSO e lm ax 5 Airplane PSO 5155.1 0.009 5359.8 7.38
IGSOOtsu θmax 5 GSO 5149.7 27.2 5348.2 18.3
IGSOOtsu 5155.1 0.0 5361.0 0.928
IGSOOtsu Taxa de Reinicialização 10%
GA 4560.0 13.0 4665.0 13.6
DE 4610.5 0.01 4718.2 0.985
Gellybeans01 PSO 4608.8 9.20 4712.2 12.0
ordenados. GSO 4599.7 34.2 4709.5 11.9
IGSOOtsu 4610.5 0.009 4716.7 2.85
A avaliação dos modelos levou em consideração o valor GA 5689.2 28.3 5836.8 14.6
médio obtido para a função de fitness. O critério de avaliação DE 5769.1 0.004 5912.4 1.47
inclui um sistema de ranks obtido através da aplicação de Gellybeans02 PSO 5766.1 1.62 5904.0 17.8
GSO 5764.8 16.9 5907.0 12.9
testes de hipóteses do tipo teste de Friedman [15], [16] para IGSOOtsu 5769.1 0.007 5913.0 1.70
a métrica adotada. GA 7514.7 65.0 7952.6 45.5
O teste de Friedman é um teste de hipóteses não-paramétrico DE 7660.2 0.009 8117.1 0.522
House01 PSO 7660.2 1.97 8117.7 0.122
que calcula valores de ranks para os algoritmos para cada base GSO 7660.2 0.031 8112.1 29.7
de dados separadamente. Se a hipótese nula de que os ranks IGSOOtsu 7660.2 0.021 8117.6 0.129
não são significativamente diferentes for rejeitada, o teste de GA 7516.5 24.7 7700.5 23.1
Nemenyi [17] é adotado com um teste post hoc para o teste de DE 7578.2 4.48 7797.5 0.09
House02 PSO 7569.5 8.97 7791.8 21.5
Friedman. De acordo com o teste de Nemenyi, a performance GSO 7571.3 8.95 7776.8 31.7
de dois algoritmos é considerada significativamente diferente IGSOOtsu 7579.7 0.506 7797.5 0.037
se a diferença entre seus valores médios de rank for ao menos GA 12742.7 48.6 13091.4 32.1
DE 12867.0 0.013 13209.9 0.733
maior que uma diferença crı́tica dada por: Lake PSO 12867.0 0.010 13204.0 26.4
s GSO 12867.0 0.004 13205.8 19.0
nalg (nalg + 1) IGSOOtsu 12867.0 0.009 13210.7 0.476
CD = qa (13) GA 5425.6 67.8 5791.4 35.0
6nbases DE 5582.2 0.0 5940.0 0.401
Lena PSO 5582.3 0.018 5916.1 47.1
onde nbases representa o número de bases de dados, nalg GSO 5582.3 0.028 5916.8 33.0
representa o número de algoritmos comparados e qa são IGSOOtsu 5582.3 0.029 5940.1 0.396
valores crı́ticos baseados em√estatı́sticas nos limites do modelo GA 7826.1 66.9 8323.6 33.8
DE 8006.9 0.017 8499.2 0.677
t de Student divididas por 2 [18]. Nos testes realizados, o Mandrill PSO 8006.9 0.024 8496.4 19.9
grau de significância foi fixado em α = 0.05 para o teste de GSO 8006.9 0.217 8499.8 0.853
Friedman. IGSOOtsu 8006.9 0.021 8500.0 0.276
GA 8468.5 40.4 8872.3 32.6
A Figura 3 apresenta o resultado obtido para a imagem Pep- DE 8619.3 0.0 9036.4 11.3
pers considerando-se que cada canal do RGB foi dividido em 3 Peppers PSO 8619.3 0.023 9036.8 24.6
limites. Pode-se observar que houve uma melhor separação dos GSO 8619.3 0.028 9018.7 25.1
IGSOOtsu 8619.3 0.023 9044.9 0.955
grupos de cores para os algoritmos DE, PSO e IGSOOtsu nesse GA 8421.1 33.8 8833.3 35.9
exemplo, refletindo em uma melhor segmentação da imagem. DE 8513.5 6.79 8948.0 1.08
Em uma análise global oferecida pelo teste de Fried- Splash PSO 8491.5 17.1 8944.9 10.5
GSO 8488.0 33.1 8939.9 32.5
man/Nemenyi (Tabela V), podemos observar que em média o IGSOOtsu 8515.2 0.008 8948.4 1.33
IGSOOtsu obteve melhor desempenho que os demais algorit- GA 2176.2 13.3 2351.6 13.4
mos avaliados para os testes com 3, 4 e 5 limites por canal do DE 2226.7 3.78 2415.2 2.94
Tiffany PSO 2204.4 22.9 2388.6 16.5
RGB, tendo obtido o melhor desempenho médio para 2 canais GSO 2182.3 32.9 2359.4 35.1
juntamente com o DE, o que mostra seu potencial quando IGSOOtsu 2223.9 5.50 2414.7 4.40
o espaço de busca do problema torna-se mais complexo. As GA 12241.6 58.7 12546.7 27.7
diferenças nos resultados apresentados são estatisticamente DE 12368.7 0.0 12644.4 1.21
Tree PSO 12368.7 0.012 12637.3 21.6
significativas de acordo com o teste de Friedman/Nemenyi GSO 12368.7 0.017 12633.4 22.9
(com significância α = 0.05 e distância crı́tica CD = 1.7608). IGSOOtsu 12368.7 0.017 12645.5 1.07
Da Figura 4 à Figura 7, os resultados dos ranks médios
para o teste de Friedman-Nemenyi são apresentados, sendo
os algoritmos apresentados do pior (à esquerda) ao melhor (à
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✾✽

TABLE III
R ESULTADOS EXPERIMENTAIS PARA QUATRO E CINCO LIMIARES POR
CANAL DO RGB.

4-D 5-D
Imagem Algoritmo
Média Std. Média Std.
GA 5389.1 16.7 5462.4 15.6
DE 5481.3 1.36 5539.4 4.71
Airplane PSO 5475.9 16.1 5535.7 13.4
GSO 5461.4 20.9 5525.5 16.8
IGSOOtsu 5483.2 2.86 5542.5 3.38
GA 4722.7 9.51 4765.7 10.7
DE 4781.9 3.07 4811.4 1.89
Gellybeans01 PSO 4769.7 16.3 4799.6 13.2 Fig. 3. Segmentação para a imagem Peppers com 3-D.
GSO 4761.7 22.2 4789.4 15.7
IGSOOtsu 4783.6 0.566 4810.2 4.45 TABLE IV
GA 5921.9 16.5 5975.6 16.3 Ranks M ÉDIOS DOS TESTES DE F RIEDMAN /N EMENYI PARA CADA
DE 5990.2 0.932 6033.3 6.74 DIMENS ÃO .
Gellybeans02 PSO 5974.9 20.9 6022.5 12.9
GSO 5966.0 23.2 6014.7 13.2 Algoritmo 2-D 3-D 4-D 5-D
IGSOOtsu 5991.7 0.744 6035.4 5.59 GA 17.5083 17.2694 16.6333 16.4694
GA 8177.8 34.2 8297.5 25.4 DE 95.4972 78.2444 81.3139 87.9278
DE 3631.9 2.16 8429.5 3.27 PSO 86.1861 100.5764 96.2361 87.4417
House01 PSO 8306.5 18.6 8423.7 17.6 GSO 82.3472 74.4528 68.13.89 67.2222
GSO 8308.5 10.9 8412.9 21.5 GSOOtsu 95.9611 106.9596 115.1778 118.4389
IGSOOtsu 8312.0 2.59 8435.0 1.80
GA 7802.5 14.9 7860.7 13.5
DE 7873.8 3.79 7937.2 6.48
House02 PSO 7869.7 11.5 7929.5 15.4 direita). Os resultados experimentais mostram que o operador
GSO 7863.3 23.2 7920.8 16.9 de reinicialização dos elementos mais fracos foi capaz de
IGSOOtsu 7877.0 3.23 7941.7 5.33 favorecer a diversidade populacional, de modo que o grupo
GA 13275.0 21.8 13392.7 20.4
DE 13403.0 2.51 13513.7 2.73 do IGSOOtsu foi capaz de evitar a convergência prematura da
Lake PSO 13401.6 15.6 13503.9 21.6 população, obtendo desempenho global médio melhor que o
GSO 13392.1 19.4 13499.4 17.1 do GSO padrão.
IGSOOtsu 13406.0 1.53 13518.8 1.82
GA 5948.9 32.3 6058.3 19.5 VI. C ONCLUSION
DE 6090.1 3.69 6157.2 6.80
Lena PSO 6067.1 38.2 6144.8 18.5 Neste trabalho, um modelo hı́brido do algoritmo Otsu com
GSO 6062.3 27.2 6125.3 26.5 uma variação melhorada da Otimização por Busca em Grupo
IGSOOtsu 6093.0 4.87 6161.5 7.54
GA 8573.6 35.0 8716.9 29.5 foi apresentado, chamado IGSOOtsu , para a segmentação
DE 8735.4 1.85 8858.3 3.93 através da limiarização multi-nı́vel de imagens coloridas. O
Mandrill PSO 8723.5 29.0 8852.7 19.5 IGSOOtsu faz uso de um operador de reinicialização aleatória
GSO 8734.5 10.9 8857.8 13.5
IGSOOtsu 8738.8 0.677 8866.0 1.47 para um percentual dos piores membros da população, como
GA 9108.4 32.1 9244.8 23.6 forma de aumentar a diversidade populacional, assim como de
DE 9260.2 2.70 9364.7 4.27 oferecer mecanismo de fuga de pontos ótimos locais.
Peppers PSO 9250.2 33.7 9350.8 24.2
GSO 9248.7 24.6 9354.4 19.8 Experimentos foram conduzidos através do uso de doze
IGSOOtsu 9263.8 1.47 9370.9 2.13 imagens coloridas reais e pela comparação do IGSOOtsu com
GA 9007.5 26.4 9104.7 19.3 quatro algoritmos evolucionários da literatura: o GA, o DE,
DE 9124.1 6.80 9184.6 3.39
Splash PSO 9119.4 20.9 9185.9 10.0 o PSO e o GSO padrão. Testes de hipótese do tipo teste de
GSO 9103.8 23.7 9180.6 12.9
IGSOOtsu 9128.4 0.805 9190.7 3.36
GA 2446.4 10.7 2507.4 9.67
DE 2495.8 1.92 2560.8 4.20
Tiffany PSO 2490.1 13.0 2555.1 17.4
GSO 2472.8 24.4 2533.4 18.5
IGSOOtsu 2495.1 2.52 2563.5 3.32
GA 12693.7 22.9 12787.1 16.9
DE 12789.4 3.84 12876.3 2.72
Tree PSO 12784.0 14.8 1287.2 16.1
GSO 12774.4 13.2 12874.1 12.8
IGSOOtsu 12794.1 3.96 12881.4 1.16

Fig. 4. Teste de Friedman em relação à duas dimensões.


✾✾ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Friedman/Nemenyi foram adotados como medida de validação


dos experimentos.
Os resultados experimentais mostram o potencial do
IGSOOtsu na tarefa de segmentação de imagens coloridas,
tendo em vista que o IGSOOtsu foi capaz de obter melhor
desempenho global médio que os demais algoritmos testados
(incluindo o GSO padrão) para todas as dimensões do prob-
lema testadas.
Como trabalhos futuros, modificações nos operadores evolu-
cionários do GSO serão propostas, assim como versões
hı́bridas desse modelo com outros EAs da literatura.
R EFERENCES
Fig. 5. Teste de Friedman em relação à três dimensões.
[1] R. C. Gonzalez and R. E. Woods, “Digital image processing prentice
hall,” Upper Saddle River, NJ, 2002.
[2] N. Otsu, “A threshold selection method from gray-level histogram,”
IEEE Transactions on Systems, Man and Cybernetics, vol. 9, no. 1,
pp. 62–66, 1979.
[3] J. H. Holland, “Genetic algorithms,” Scientific american, vol. 267, no. 1,
pp. 66–72, 1992.
[4] S. Zhou and P. Yang, “Infrared image segmentation based on otsu and
genetic algorithm,” in Multimedia Technology (ICMT), 2011 Interna-
tional Conference on. IEEE, 2011, pp. 5421–5424.
[5] R. Storn and K. Price, “Differential evolution: a simple and efficient
adaptive scheme for global optimization over continuous spaces. inter-
national computer science institute, berkeley,” CA, 1995, Tech. Rep.
TR-95–012, Tech. Rep., 1995.
[6] S. Kumar, M. Pant, and A. Ray, “Differential evolution embedded
otsu’s method for optimized image thresholding,” in Information and
Communication Technologies (WICT), 2011 World Congress on. IEEE,
2011, pp. 325–329.
[7] J. Kennedy and R. Eberhart, “Particle swarm optimization,” in Neural
Networks, 1995. Proceedings., IEEE International Conference on, vol. 4.
IEEE, 1995, pp. 1942–1948.
[8] Z. Zhang and N. Zhou, “A novel image segmentation method com-
bined otsu and improved pso,” in Advanced Computational Intelligence
(ICACI), 2012 IEEE Fifth International Conference on. IEEE, 2012,
pp. 583–586.
[9] S. He, Q. Wu, and J. Saunders, “A novel group search optimizer inspired
by animal behavioural ecology,” in Evolutionary Computation, 2006.
Fig. 6. Teste de Friedman em relação à quatro dimensões.
CEC 2006. IEEE Congress on. IEEE, 2006, pp. 1272–1278.
[10] Z. Ye, L. Ma, W. Zhao, W. Liu, and H. Chen, “A multi-level thresholding
approach based on group search optimization algorithm and otsu,”
in Computational Intelligence and Design, 2006. CEC 2006. IEEE
International Symposium on. IEEE, 2015, pp. 275–278.
[11] S. He, Q. H. Wu, and J. Saunders, “Group search optimizer: an opti-
mization algorithm inspired by animal searching behavior,” Evolutionary
Computation, IEEE Transactions on, vol. 13, no. 5, pp. 973–990, 2009.
[12] I. D. Couzin, J. Krause, N. R. Franks, and S. A. Levin, “Effective
leadership and decision-making in animal groups on the move,” Nature,
vol. 433, no. 7025, pp. 513–516, 2005.
[13] C. L. Higgins and R. E. Strauss, “Discrimination and classification of
foraging paths produced by search-tactic models,” Behavioral Ecology,
vol. 15, no. 2, pp. 248–254, 2004.
[14] G. Parthasarathy and D. Chitra, “Thresholding technique for color image
segmentation,” International Journal for Research in Applied Science &
Engineering Technology, vol. 3, no. 6, pp. 437–445, 2015.
[15] M. Friedman, “The use of ranks to avoid the assumption of normality
implicit in the analysis of variance,” Journal of the american statistical
association, vol. 32, no. 200, pp. 675–701, 1937.
[16] ——, “A comparison of alternative tests of significance for the problem
of m rankings,” The Annals of Mathematical Statistics, vol. 11, no. 1,
pp. 86–92, 1940.
[17] P. Nemenyi, “Distribution-free multiple comparisons,” in Biometrics,
vol. 18. INTERNATIONAL BIOMETRIC SOC 1441 I ST, NW, SUITE
700, WASHINGTON, DC 20005-2210, 1962, p. 263.
[18] J. Demšar, “Statistical comparisons of classifiers over multiple data sets,”
Fig. 7. Teste de Friedman em relação à cinco dimensões. The Journal of Machine Learning Research, vol. 7, pp. 1–30, 2006.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✶✵✵

A New Approach to Ripplet Transform-Based Texture


Descriptor for Breast Lesions Classification
Wagner L. Moreira Junior*, Marcelo Z. do Nascimento**, Leandro A. Neves***
*Centro de Matemática, Computação e Cognição, Universidade Federal do ABC, Santo André, SP
**Faculdade de Computação – FACOM - Universidade Federal de Uberlândia, Uberlândia, MG
*** DCCE, Universidade do Estado de São Paulo (UNESP), São José do Rio Preto, SP
Email: wmoreira@gmail.com, marcelo.zanchetta@gmail.com, neves.leandro@gmail.com

Abstract - In this study, it was explored the Ripplet-II Ripplet-II. Uma das abordagens utilizadas para adquirir
transform to identify new approaches for texture analysis of informações sobre transições de níveis de cinza entre dois
histological images of breast lesions, in comparison to wavelet, pixels é a obtida através da construção da matriz de co-
which proves not to be very efficient for the identification of ocorrência [3]. Outra técnica que vem sendo explorada para
image contours. To obtain more robust results, statistical análise de imagens médicas é através das medidas de entropia,
characteristics, widely used for medical image analysis, were que mede o grau de confusão da imagem. Trabalhos recentes
obtained, such as Co-occurrence Matrix and other measures of têm utilizado diversas formas de medida de entropia [4],[5],
entropy, in addition to Shannon. The images used were obtained tais como as entropias de Renyi [6], Harvrda-Charvat [5],
from the base of the National Cancer Institute of the United Kapur [7] e Tsallis [8], além da entropia de Shannon.
States, and the ReliefF and Random Forest (RaF) algorithms
Ainda são poucos os estudos de classificação de lesões de
were applied for selection and classification of the
characteristics. Rate of 0,875 for area under the ROC curve was
mama existentes na literatura, que exploram descritores
the most significant result obtained with the classification of baseados em Ripplet-II [25]. Por isso, a introdução da
Ripplet-II transform coefficients, combined with all the transformada de Ripplet-II, seus coeficientes e diferentes
extracted characteristics sets. This result demonstrated the características estatísticas de primeira e segunda ordem,
superiority of Ripplet-II in relation to wavelet in the description derivadas da imagem transformada em diferentes resoluções,
of textures. são as principais contribuições deste estudo.
Este trabalho visa explorar uma nova abordagem para
obtenção de descritores de textura em imagens histológicas de
I. INTRODUÇÃO câncer de mama, utilizando a capacidade da transformada
Dentre os tipos mais frequentes de câncer em mulheres, o Ripplet-II em identificar e distinguir as massas benignas ou
câncer de mama é o tipo que mais acomete em todo o mundo. malignas de maneira mais assertiva. O classificador Random
Segundo o Instituto Nacional do Câncer (INCA), é um dos Forest foi empregado na avaliação dos descritores propostos.
tipos de câncer mais comum entre as mulheres, o qual Um grupo de imagens histológica de mama foi avaliado com
responde a cerca de 25% dos casos novos a cada ano. Em os métodos propostos.
2016, são esperados 57.960 casos novos de câncer de mama
no Brasil [24]. II. METODOLOGIA
No processamento de imagens médicas, uma importante
aplicação na obtenção de diagnósticos de doenças é através da O diagrama de blocos da Figura 1 demonstra a estrutura
extração de informações descritas pela textura da imagem. A da sequência utilizada para realizar os experimentos
extração de dados texturais vem sendo utilizada na análise e propostos.
interpretação de imagens médicas para determinação de
ROI das Imagens
padrões na classificação de um determinado tipo de imagem Histológicas
[1]. Essa etapa tem contribuído para o desenvolvimento de
sistemas computacionais de apoio ao diagnóstico (Computer
Aided Diagnosis – CAD) para diversos tipos de câncer. Ripplet-II–1D Ripplet-II–2D
Uma variedade de métodos de processamento de imagens Discreta Discreta
é utilizada na obtenção de informações de textura, tais como
funções de auto correlação, métodos baseados em modelos,
dimensão fractal, filtros baseado em processamento de sinal e
Estatísticas
muitos outros. Uma representação esparsa e eficiente das Coeficientes
Estatísticas
Entropias de Primeira
da MCC
imagens é altamente necessária no reconhecimento de Ordem
padrões, numa visão computacional e no processamento de Extração de Características
imagens. Embora vários métodos, como a transformada de
Fourier, a transformada Wavelet e a transformada Ridgelet Seletor de
Características
tenham sido propostos na literatura, eles não conseguem (ReliefF)
resolver as descontinuidades bidimensionais (2D) ao longo de
qualquer curva em uma imagem [2]. Considerando a diferença
significativa nas descontinuidades presentes na região de Classificador
(RaF)
lesões de massa benigna-maligna e sua transformação
circundante, a Ripplet-II, apresentada por Xu e Wu em 2010,
pretende resolver a questão dessas descontinuidades 2D ao Figura 1: Diagrama de blocos das etapas do experimento.
longo das bordas. Juntamente com os coeficientes Ripplet-II,
várias características de textura estatística de primeira e Neste experimento foram extraídas, primeiramente, para
segunda ordem são derivadas da imagem transformada cada imagem histológica, as transformadas Discretas Ripplet-
II 1D e Ortogonal 2D. A função wavelet-mãe utilizada foi a
✶✵✶ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Symlet8, por ser ortogonal, possuir suporte compacto, recursos devido à sua eficiência na representação de bordas e
permitindo uma análise mais discriminante das imagens. texturas. As experiências na classificação de textura e na
Além disso, a Symlet8 vem demonstrando bons resultados, recuperação de imagens demonstram que o esquema baseado
como nos trabalhos de Eltoukhy, Faye e Samir [9], e Jacomini em transformada Ripplet-II supera as abordagens baseadas em
et al. [10]. transformadas wavelet e ridgelet.
. Em seguida, a partir dos coeficientes das versões 2D, A Ripplet-II se baseia na transformada generalizada de
foram calculadas as medidas estatísticas da matriz de co- Radon [13], [14]. A transformada de generalizada de Radon
ocorrência, seis medidas de entropias e as medidas estatísticas converte curvas em pontos. Ela cria picos localizados nos
de primeira ordem. Em uma terceira etapa, combinando-se os parâmetros da curva correspondentes. Intuitivamente, a
grupos de características com os coeficientes das
transformada Ripplet-II consiste em duas etapas: 1) usar a
transformadas, aplicou-se o seletor ReliefF para eliminação de
ruídos e de atributos não relevantes. Por fim, o classificador transformada generalizada de Radon para converter
Random Forest foi executado para avaliar as combinações singularidades ao longo de curvas em singularidades de
propostas. A aproximação proposta foi desenvolvida em pontos no domínio Radon; 2) utilizar a transformada wavelet
linguagem MATLAB e na plataforma WEKA (Waikato para resolver singularidades pontuais no domínio Radon [2].
Environment for Knowledge Analysis) [11]. A seguir são A transformada de Radon clássica é definida no espaço 2D
detalhadas as etapas do experimento: como a integral de uma função 2D de entrada sobre linhas
retas. Para uma função integral 2D f(x,y), onde (x,y) ∈ ℝ , a
A. Banco de Imagens transformada clássica de Radon f(x,y) é definida por:
Para este estudo foram utilizadas 52 imagens histológicas
digitalizadas, sendo 26 de lesões do tipo maligna e 26 de
lesões do tipo benigna, extraídas de regiões de interesse (ROI) (1)
do banco de imagens do Instituto Nacional do Câncer Então, pode-se converter f(x,y) para f(�, �), no sistema de
(National Cancer Institute) e Instituto Nacional do coordenadas polares, e então a transformada clássica de
Envelhecimento (National Institute on Aging), nos Estados Radon pode ser calculada por:
Unidos, as quais se encontram disponíveis para download em
[12]. As imagens microscópicas foram adquiridas por meio de
um microscópio de luz (Zeiss Axioscope), com objetiva de (2)
20x e câmera digital colorida (AXio Cam MR5) acoplada. As
imagens foram selecionadas em regiões de interesse no Para estender a transformada clássica de Radon, os
formato tif, padrão de cor RGB, resolução de 1388x1040 pesquisadores propuseram a transformada de generalizada de
pixels, com quantização de 24 bits. A figura 2 apresenta dois Radon, que é baseada em uma integral ao longo de uma
exemplos de imagens de câncer benigno e maligno, utilizadas família de curvas [13], [14]. Num sistema polar com
neste estudo. As ROI's foram recortadas com tamanho coordenadas (ρ,ϕ), uma curva pode ser determinada por:
512x512 pixels, onde o centro da imagem corresponde ao
centro da anormalidade presente. Esse tamanho foi
selecionado devido aos resultados promissores em diferentes (3)
estudos presente na literatura [21], [22]. Onde r e � são fixos, e d denota uma graduação. Para d=1
e d=2, a Eq. (3) representa uma linha reta e uma parábola
como mostrado na Figura 3(a) e 3(b), respectivamente. Para
d=-1e d=-2, a Eq. (3) representa círculos através da origem e
cardioides, como mostrado na Figura 3(d) e 3(e),
respectivamente. Quando 0<d<1 ou -1<d<0, as curvas se
cruzam pelo menos uma vez. Com isso, tem-se uma única
curva. Caso contrário, as curvas não se cruzam, o que levará a
situações complicadas. Então, considera-se somente |d|≥1.
(a) (b) Refere-se à d>0 como "curvas positivas" e d<0 como "curvas
Figura 2: Exemplo de imagens histológicas de câncer negativas".
benigno (a) e maligno (b) – Fonte: [11]

B. Extração da Ripplet-II Discreta


Para extração dos coeficientes Ripplet-II, as imagens
passaram por um filtro para transformação das mesmas em
escala de níveis de cinza.
Para melhorar ainda mais a capacidade de representar
singularidades 2D, Jun Xu and Dapeng Wu criaram em 2010
uma nova transformada chamada transformada Ripplet Tipo
II (Ripplet-II) [2]. A nova transformada é capaz de capturar
singularidades 2D ao longo de uma família de curvas em
imagens. Na verdade, a transformada Ridgelet é um caso
especial de transformada Ripplet-II com grau 1. A Figure 3: Curvas definidas pela Eq.(3) em coordenadas
transformada Ripplet-II proporciona a liberdade nas cartesianas. (a) d = 1. (b) d = 2. (c) d = 3. (d) d = -1. (e) d =
configurações de parâmetros, o que pode ser otimizado para -2. (f) d = -3 – Fonte: [2].
problemas específicos. Ela pode ser usada para extração de
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✶✵✷

A transformada generalizada de Radon ao longo de curvas Com o objetivo de descrever as propriedades contidas na
pode ser definida nas coordenadas polares (ρ,ϕ) por: textura de uma imagem, Haralick [15] propôs 14 medidas
estatísticas a serem calculadas a partir das matrizes de co-
ocorrência. Para este estudo, serão utilizadas quatro destas
(4) medidas, descritas a seguir.
Segundo Xu e Wu [2], se a entrada da transformada Conforme Pedrini e Schwartz [3]:
Ripplet-II é uma imagem digital, deve se utilizar a
transformada Ripplet-II Discreta. A transformada Ripplet-II Contraste é a característica que mede a diferença entre os
Discreta da função f pode ser obtida calculando-se primeiro a tons de cinza, conforme a equação:
discreta GRT (DGRT) de f, e depois extraindo-se a Wavelet
Discreta WT 1D (DWT) da DGRT de f como:
(7)
(5) Correlação é a característica que mede a dependência
linear entre os tons de cinza, conforme a equação:
Se for aplicada a transformada wavelet 2D aos coeficientes
de Radon generalizados, a transformada wavelet adicional ao
longo do ângulo θ mantém o potencial de melhorar a dispersão
dos coeficientes da transformada. Os autores deram a esta (8)
nova transformada o nome de Ripplet-II Ortogonal. De Energia é a característica que expressa a uniformidade da
maneira similar a Ripplet-II, a sua versão Ortogonal pode ser textura, conforme a equação:
obtida por:

(6)
(9)
Para este estudo, três níveis de decomposição foram
Homogeneidade denota a característica de homogeneidade
escolhidos para as transformadas 1D, obtendo-se um total de
dos tons de cinza da imagem, conforme a equação:
479 coeficientes das sub-imagens, e 265.470 coeficientes das
sub-imagens de detalhe de dois níveis de decomposição para
as transformadas 2D. ∑= ∑ = p
2 ij
(10)
+ −
C. Estatísticas da Matriz de Co-ocorrência
Uma das técnicas muito utilizada na extração de D. Entropias
características de textura em imagens de mama é através do A medida de entropia é uma das métricas utilizadas na
método da matriz de co-ocorrência. O método de matriz de co- análise de textura de imagens [3], pois mede o grau de
ocorrência de níveis de cinza foi apresentado no início dos confusão da imagem. Este conceito foi introduzido por
anos 70 por Haralick [15]. É um dos métodos mais utilizados Shannon em 1948, mas ao longo dos anos outros
para a extração de características de imagens, e com o passar pesquisadores apresentaram outras maneiras de se calcular a
dos anos diversas variações têm sido propostas quanto a forma medida de entropia. A entropia de Shannon é calculada
de se calcular as matrizes de co-ocorrência [16]. conforme a equação:
Uma matriz de co-ocorrência definida por P de uma
imagem pode ser associada a uma direção (ângulo) θ e uma
distância d entre os pixels de valor, P(i, j, d, θ) armazenado (11)
em uma linha i e coluna j. Essa matriz consiste no número de
vezes em que o pixel de valor i possui vizinhos de valor j à Onde Pm1m2 é a probabilidade de um pixel em uma imagem
esquerda ou à direita e a uma distância d = 1, 2, 3, ..., entre os digital assumir um determinado valor de intensidade.
pixels vizinhos. Normalmente, são utilizadas quatro direções, Renyi [6] generaliza a entropia de Shannon, introduzindo
0º, 45º, 90º e 135º, conforme a Figura 4. um grau α, onde α ≥ 0 e α ≠ 1, conforme a equação:

(12)
A entropia Harvrda-Charvat é aplicada em estudos de
física [5] e também utiliza um parâmetro α, conforme a
equação:

(13)
Figura 4: representação dos elementos da matriz de co- A entropia de Tsallis é uma generalização da entropia de
ocorrência Boltzmann–Gibbs [8], e definida conforme a equação:
Cada elemento da matriz de co-ocorrência representa a
frequência com que um pixel com nível de cinza i e outro com
nível de cinza j ocorrem na imagem, separados por uma (14)
distância d, na direção θ, ou separados entre si de Δx colunas
e Δy linhas [16].
✶✵✸ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

A entropia de Kapur [7], além de um valor de ordem α, apenas uma amostra de dados de cada classe para testar e as
introduz um tipo β, conforme a equação: demais para treinar. Foram avaliados os grupos de imagens
histológicas de lesões maligna e benigna.
Avaliações quantitativas foram realizadas por meio de
métricas como sensibilidade, especificidade, acurácia e área
sob a curva ROC (Receiver Operating Characteristic). A curva
(15) ROC exibe as relações entre taxas de acertos e erros para cada
A entropia de Vajda [5] é um tipo especial da entropia de grupo analisado, demonstrando assim o desempenho obtido
Kapur, com valor de β=1: em cada algoritmo proposto. O objetivo deste trabalho foi
analisar a eficiência da transformada Ripplet-II para
classificação das imagens.

III. RESULTADOS EXPERIMENTAIS


(16)
A Tabela 1 mostra o resultado das métricas de
sensibilidade e especificidade da avaliação do descritor
E. Seleção e Classificação de Características baseado em Ripplet-II. Foram realizadas seis avaliações,
Com intuito de eliminar ruídos das imagens e combinando os coeficientes das transformada Ripplet-II 1D
características menos relevantes para a etapa de classificação, com as características estatísticas extraídas das suas versões
foi utilizado o seletor de características ReliefF (uma extensão 2D: os descritores estatísticos de segunda ordem sobre a
do Relief), um algoritmo com abordagem de ponderação de matriz de co-ocorrência, entropias e estatísticas de primeira
características, que busca vários vizinhos mais próximos para ordem. Os resultados mostram que a combinação entre as
tornar o processo de seleção mais robusto a ruído e lida com informações Ripplet-II 1D, junto com os descritores
várias classes [17]. Estudos recentes de classificação de estatísticos, contribuíram para melhores valores das medidas
imagens de mama vêm utilizando este seletor para otimização de sensibilidade e especificidade.
de amostras [18]. Este seletor fornece como resultado um Com objetivo de uma análise comparativa, a transformada
ordenamento (ranking) das características, das mais wavelet com função Symelet 8 foi empregada nesse estudo. A
relevantes para as menos relevantes. Neste estudo o seletor Tabela 2 mostra o comparativo do resultado da Classificação
ReliefF foi utilizado para obtenção das melhores amostras a da wavelet com a Ripplet, inicialmente com todos os dados e,
serem utilizadas na etapa de Classificação. No algoritmo numa segunda etapa, utilizando o seletor ReliefF. Os
ReliefF foram selecionados apenas 12,5% das características resultados de área ROC mostram que as informações obtidas
mais relevantes, após a etapa de rank. sob as subbandas Ripplet-II foram superiores aos dados
Para demonstrar a eficácia da técnica utilizada, é obtidos com a transformada wavelet. Neste experimento pode-
necessário utilizar-se um algoritmo de classificação. Neste se notar que o classificador teve seu melhor desempenho
estudo foi utilizado o classificador Random Forest. Ele tem quando as estatísticas da matriz de co-ocorrência estão
sua definição baseada em um conceito de árvores de presentes, obtendo-se 0,885 e 0,875 de área sob a ROC.
regressão, induzido por um método de amostragem com Na Tabela 3 é apresentado os valores de sensibilidade e
repetição, bootstrap, de um conjunto de dados de treinamento, especificidade, técnicas empregadas na literatura para
usando descritores aleatórios selecionados no processo de classificação de lesões benigna e maligna de mama [23]. Os
indução de árvore. O processo de criação da árvore pode ser valores demonstram a relevância da Ripplet-II na
visto em [12]. Este classificador vem sendo explorado em identificação de leões malignas em relação às benignas,
imagens de mama e tem-se destacado conforme demonstram comparado com outras técnicas já exploradas.
os estudos de Vibha et al. [11], Junior et al. [19] e Liu et al.
[20].
Nesta etapa, foi utilizado o método de rotação (leave-one-
out cross-validation) com valor de n = 1. Este método utiliza

Sem Seletor Com Seletor (ReliefF)


Qtd. Qtd.
Grupo de características Sensibilidade Especificidade Sensibilidade Especificidade
Características Características

Coef Ripplet-II-1D + MCC 80,77% 48,08% 575 88,46% 61,54% 197

Coef Ripplet-II-1D + Entropias 59,61% 51,92% 515 63,46% 53,85% 460


Coef Ripplet-II-1D +
69,23% 53,85% 509 75,00% 51,92% 372
Estatísticas
Coef Ripplet-II-1D + MCC +
82,69% 65,38% 605 84,61% 65,38% 219
Estatísticas
Coef Ripplet-II-1D + MCC +
84,61% 65,38% 641 90,38% 71,15% 80
Estatísticas + Entropias

Tabela 1: Resultado das métricas de sensibilidade e especificidade para os grupos de características combinados com
os coeficientes da Transformada Ripplet-II 1D.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✶✵✹

Sem Seletor Com Seletor (ReliefF)


Grupo de características Área ROC Qtd. Caract. Área ROC Qtd. Caract.

Wavelet-1D 0,587 479 0,664 30

Ripplet-II-1D 0,654 479 0,673 470

Coef Wavelet-1D + MCC 0,750 575 0,769 30

Coef Ripplet-II-1D + MCC 0,817 575 0,885 197


Coef Wavelet-1D +
0,779 515 0,827 198
Entropias
Coef Ripplet-II-1D +
0,538 515 0,635 460
Entropias
Coef Wavelet-1D +
0,654 509 0,712 198
Estatísticas
Coef Ripplet-II-1D +
0,558 509 0,673 372
Estatísticas
Coef Wavelet-1D + MCC +
0,740 605 0,827 35
Estatísticas
Coef Ripplet-II-1D + MCC +
0,827 605 0,865 219
Estatísticas
Coef Wavelet-1D + MCC +
0,721 641 0,827 198
Estatísticas + Entropias
Coef Ripplet-II-1D + MCC +
0,827 641 0,875 80
Estatísticas + Entropias

Tabela 2: Resultado da Classificação, área sob a curva ROC das características combinadas com os coeficientes da
Ripplet-II 1D e Wavelet 1D.

Grupo de características Sensibilidade Especificidade


Coef Ripplet-II-1D + MCC + AGRADECIMENTOS
90,38% 71,15%
Estatísticas + Entropias
DSC based method [23] 87,00% 77,00% Os autores agradecem à FAPEMIG (projeto TEC- APQ-
02885-15) pelo suporte financeiro.
HSC based method [23] 81,00% 76,00%
Tabela 3: Comparativo de valores de sensibilidade e
especificidade obtidos de outras técnicas apresentadas na REFERÊNCIAS
literatura.
[1] X. Liu, X. You, and Y. ming Cheung, “Texture image retrieval
using non-separable wavelets and local binary patterns,” in
IV. CONCLUSÃO Computational Intelligence and Security, 2009. CIS ’09.
International Conference on, vol. 1, 12 2009, pp. 287–291.
Neste trabalho foi apresentado uma nova aproximação
para descrição de informações de textura, baseada em [2] J. Xu, D. Wu: “Ripplet-II transform for feature extraction”,
transformada Ripplet-II, para avaliação de lesões em imagens Proc. SPIE 7744, Visual Communications and Image
histológicas de mama. Também foram comparadas a eficácia Processing, 77441 pp. 77441R-77441R-10, 2010.
das transformadas wavelet e Ripplet-II na identificação de
características que diferenciem os grupos de lesões de mama [3] H. Pedrini e W. Schwartz, W., “Análise de imagens digitais:
benignas das malignas, utilizando-se o seletor de princípios algoritmos e aplicações”. São Paulo: Thomson
características ReliefF e o classificador Random Forest. Pode- Learning, 2008.
se observar, diante dos resultados obtidos, que a Ripplet-II
apresenta melhor desempenho que a wavelet, quando [4] U. Rajendra Acharya, U. Raghavendra, Hamido Fujita, Yuki
analisadas as imagens histológicas de lesões de mama. Em Hagiwara, Joel EW Koh, Jen HongTan, Vidya K. Sudarshan,
trabalhos futuros, pretende-se aplicar esta mesma metodologia Anushya Vijayananthan, Chai Hong Yeong, Anjan Gudigar,
com uma base de imagens radiológicas de câncer de mama, e Kwan Hoong Ng, “Automated characterization of fatty liver
explorar outros seletores e classificadores de características. disease and cirrhosis using curvelet transform and entropy
features extracted from ultrasound images”, Computers in
Biology and Medicine 79 250–258, 2016.
✶✵✺ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

[5] V. Pandey, V. Gupta, “MRI Image Segmentation Using [16] E. Azevedo, A. Conci, “Computação Gráfica: Teoria e
Shannon and Non Shannon Entropy Measures”, International Prática”, volume 1. [S.1.]: Elsevier, Rio de Janeiro, Brasil, 11
Journal of Application or Innovation in Engineering & edition, 2008.
Management (IJAIEM), Volume 3, Issue 7, ISSN 2319 –
4847, 2014. [17] I. Kononenko, “Estimating attributes: Analysis and extension
of RELIEF”. Proceedings of the European Conference on
[6] A. Renyi, On measures of Entropy and Information, in: Machine Learning (pp. 171{182). Catania, Italy: Berlin:
Proceedings of the Fourth Berkeley Symposium on Springer-Verlag, 1994.
Mathematical Statistics and Probability, Volume 1:
Contributions to the Theory of Statistics, University of [18] X. Liu, J. Tang, “Mass Classification in Mammograms Using
California Press, Berkeley, California, pp. 547–561, 1961 Selected Geometry and Texture Features, and a New SVM-
Based Feature Selection Method”, IEEE SYSTEMS
[7] J.N. Kapur, P.K. Sahoo, A.K.C. Wong, A new method for JOURNAL vol: 8 (3), 2014.
gray-level picture thresholding using the entropy of the
histogram, Comput. Vis., Graph. Image Process. 29 273–285, [19] G. B. Junior, A. C. de Paiva, A. C. Silva, and A. C. M. de
1985. Oliveira, “Classification of breast tissues using moran’s index
and geary’s coefficient as texture signatures and svm,”
[8] C. Tsallis, “Possible Generalization of Boltzmann-Gibbs Computers in Biology and Medicine, vol. 39, no. 12, pp. 1063
Statistics”, Journal of Statistical Physics, DOI – 1072, 2009.
10.1007/BF01016429, ISSN 00224715, PMID 2174, ISBN
0022-4715, 1988. [20] J. Liu, X. Liu, J. Chen, and J. Tang, “Improved local binary
patterns for classification of masses using mammography,” in
[9] M. M. Eltoukhy, I. Faye, and B. B. Samir, “A Comparison of Systems, Man, and Cybernetics (SMC), IEEE International
wavelet and curvelet for breast cancer diagnosis in digital Conference, pp. 2692 –2695, 2011.
mammogram,” Computer in Biology and Medicine, vol. 40,
no. 4, pp. 384–391, 2010. [21] R. D. Dantas, M. Z. Nascimento, R. S. Jacomini, D. C. Pereira,
and R. P. RAMOS, “Fusion of two-view information: S v d
[10] R. de Souza Jacomini, M. do Nascimento, R. Dantas, and R. based modeling for computerized classification of breast
Ramos, “Comparison of PCA and ANOVA for information lesions on mammograms,” in Mammography - Recent
selection of CC and MLO views in classification of Advances, N. Uchiyama and M. Z. do Nascimento, Eds.
mammograms”, Intelligent Data Engineering and Automated Intech, pp. 261–278, 2011.
Learning - IDEAL 2012, ser. Lecture Notes in Computer
Science, H. Yin, J. Costa, and G. Barreto, Eds. Springer Berlin [22] R. S. Jacomini, M. Z. Nascimento, R. Dantas, e R. Ramos,
/ Heidelberg, vol. 7435, pp. 117–126, 2012. “Classificação de lesões benigna e maligna combinando
informações morfológicas e textura obtidas em duas visões
[11] L. Vibha, G. Harshavardhan, K. Pranaw, P. Shenoy, K. mamográficas”. XXIII Congresso Brasileiro de Engenharia
Venugopal, and L. Patnaik, “Classification of mammograms Biomédica. Citado nas páginas 16, 34, 36, 37, 41, e 84, 2012.
using decision trees,” in Database Engineering and
Applications Symposium, IDEAS’06. 10th International. [23] H. Rezaeilouyeh, M. H. Mahoor, S. M. Mavadati, J. J. Zhang,
IEEE, 2006, pp. 263–266, 2006. “A Microscopic Image Classification Method using Shearlet
Transform”, IEEE International Conference on Healthcare
[12] L. Shamir, N. Orlov, D. Eckley, M. Macura, T. J., Goldberg, I. Informatics, 978-0-7695-5089-3, 2013.
G., IICBU 2008: a proposed benchmark suite for biological
image analysis, Medical & biological engineering & [24] INCA (2017). Estimativa 2016: Incidência de câncer no brasil.
computing, 46 (9), 943–947, 2008. disponível em: https://goo.gl/8b3TP6, acesso em: 23 Julho de
2017.
[13] A. Cormack, The Radon transform on a family of curves in
the plane (I), Proceedings of the American Mathematical [25] R. Rabidas, J. Chakraborty e A. Midya. “Analysis of 2D
Society 83 (2), 325-330, 1981. Singularities for Mammographic Mass Classification”. The
Institution of Engineering and Technology, Volume 11(Issue
[14] A. Cormack, The Radon transform on a family of curves in the 1), 22 – 32, 2017.
plane (II), Proceedings of the American Mathematical Society
86 (2), 293-298, 1982.

[15] R. M Haralick; K Shanmugam; Its'hak Dinstein, "Textural


Features for Image Classification", IEEE Transactions on
Systems, Man, and Cybernetics. SMC-3 (6): 610–621, 1973.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✶✵✻

A Study of Swimmers Detection in Beach Images


Ricardo Luna da Silva, Sérgio Chevtchenko, Allan Alves de Moura, Valmir Macario, Filipe Rolim Cordeiro
Departamento de Estatística e Informática - Universidade Federal Rural de Pernambuco
e-mail: {cardo.luna, sergio.chf, allan.moura16}@gmail.com, {valmir.macario, filipe.rolim}@ufrpe.br

Resumo—Some beach areas must be monitored continuously onde os autores sabem, nenhum outro trabalho detecta pessoas,
to avoid risks related to aquatic environments, such as drowning especificamente em imagens de praia.
and shark attacks. If necessary, a rescue team must respond Para obter o objetivo desse sistema, as imagens com pessoas
as fast as possible. This work proposes a detection algorithm
to detect swimmers as part of an automatic monitoring system. são segmentadas e, posteriormente, cada segmento gerado
The main challenges to resolve this problem are the brightness é classificado como tendo uma pessoa ou não. Para cada
variation, the position of the sun in different moments of the day, segmento, as características são geradas através de descritores
segmentation difficulty, submerged people and far position of the de imagem que servem como entrada para o classificador. Os
camera. This work performs a study of swimmers detection in descritores foram escolhidos principalmente considerando a
beach images using the following descriptors and combinations:
Hu Moments, Zernike Moments, Gabor Filter, HOG and LBP. capacidade de descrever texturas, formas, uma vez que as pes-
Moreover, the PCA technique is used to reduce the dimensionality soas tendem a ter textura e forma distintivas em comparação
of features. The accuracy of detection is evaluated using Random com outros objetos e também devem ter alguma tolerância
Forest and SVM classifiers. Experiments showed that SVM with à oclusão, pois as pessoas estarão parcialmente submersas.
the radial kernel with HOG, LBP and PCA obtained promising Os descritores avaliados neste trabalho são momentos de Hu,
results, with 90.31% of accuracy.
momentos de Zernike, filtro de Gabor, Histograma de Gradi-
I. I NTRODUÇÃO entes Orientados (HOG) e Padrões Binários Locais (LBP). Os
classificadores avaliados foram o Random Forest e Máquina
O monitoramento por câmeras é cada vez mais auxiliado por de Vetor de Suporte (SVM) com kernel linear e radial, pois
sistemas de computadores que ajudam a identificar situações estes são usados principalmente em sistemas em tempo real
de risco. Em algumas praias, como em Boa Viagem, localizada [2]–[4].
em Recife, Brasil, existe o risco de ataques de tubarões. De O restante deste artigo está organizado da seguinte forma:
acordo com o Comitê de Monitoramento de Incidentes de Os trabalhos relacionados são fornecidos na Seção II. Os
Tubarão (CEMIT) [1], desde 1992, na área metropolitana de conceitos básicos dos algoritmos, descritores e classificadores
Recife, 60 pessoas foram vítimas de ataques de tubarão e 40% estão descritos na Seção III. Diversos resultados experimentais
dos casos resultaram em morte. e comparações são demonstrados na Seção IV. Conclusões e
Em algumas dessas praias, há salva-vidas que monitoram trabalhos futuros são apresentados na Seção V.
o movimento das pessoas para prevenir acidentes. No entanto
é difícil monitorar toda a costa de forma contínua. Somente II. T RABALHOS R ELACIONADOS
na região metropolitana de Recife existem 32 quilômetros de Os trabalhos encontrados na literatura para detecção de
áreas restritas para nadar. Apesar dos avisos sobre a presença pessoas em imagens são principalmente focados em aplica-
de tubarões, muitas pessoas avançam nas áreas de risco. ções como: veículos autônomos, monitoramento de vigilância,
O objetivo deste trabalho é contribuir com uma etapa do estabelecimentos comerciais e outros. Portanto, foi possível
protótipo de um sistema automático para detectar pessoas nas encontrar uma grande variedade de técnicas para detectar pes-
praias da região metropolitana de Recife. O sistema irá emitir soas. No entanto, apesar dos inúmeros trabalhos relacionados,
um alerta se alguém deixar o perímetro da praia considerado não há projetos que se concentram na identificação de pessoas
seguro. Na maioria dessas praias, este perímetro é dado por em imagens de praia.
barreiras naturais (recifes), pois a maioria dos acidentes são Um dos trabalhos mais citados para detectar pessoas é de
causados pelo avanço de pessoas além do perímetro seguro. Viola et al. [5], que propôs uma estrutura de detecção de
O uso do sistema proposto pode ajudar a diminuir o número pedestres que usa descritores de Haar, e em seguida aplica
de incidentes de tubarões. AdaBoost para construir um subconjunto de características e
As etapas deste sistema são segmentação, classificação e compor um classificador. Outro detector de pedestres bem
rastreamento. Este trabalho centra-se na segunda etapa (clas- conhecido foi desenvolvido por Dalal et al. [2]. No seu
sificação) do rastreamento automático de pessoas na praia. trabalho, a imagem é dividida em células, e o Histograma de
Algumas novas abordagens precisam ser desenvolvidas para Gradientes Orientados de cada célula é calculado. Eles usam
este sistema de monitoramento, dado que as pessoas estarão um SVM linear para alcançar uma boa taxa de detecção.
submersas e podem desaparecer temporariamente da visão da Mais recentemente, para detectar e rastrear pessoas, o traba-
câmera. Além disso, o ambiente não controlado e dinâmico lho de Xie et al.. [6] extrai características HOG utilizando uma
de uma praia propicia um maior desafio para o sistema. Até GPU (Graphics Processing Unit). Todos os verdadeiros pontos
✶✵✼ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

positivos, pontos na imagem com pessoas, são acompanhados onde x2 + y 2 ≤ 1. As coordenadas da imagem original são
por um conjunto de descritores SURF e EMD [7]. dimensionadas para um disco unitário x2 + y 2 = 1, e ∗ denota
Na literatura, outras técnicas utilizam a semântica de cor o complexo conjugado. O polinômio de Zernike Vnm (x, y) é
como característica da segmentação e classificação apenas da definido como
parte superior do corpo. Wang et al.. [3] têm como o número
de classes um valor fixo que varia de acordo com a semântica
(pele, cabelo, roupa e fundo). E para a classificação eles usam Vnm (x, y) = Vnm (r, θ) = Rnm (r)ejmθ
um algoritmo SVM linear, comumente usado no estado da arte n−|m|
2
X (n − s)!
desse tipo de problema. Rnm (r) = (−1)s     rn−2s
n+|m| n−|m|
O algoritmo Random Forest também foi usado para classifi- s=0 s! 2 −s ! 2 −s !
cação de pedestre no trabalho de Marin et al. [4]. Eles propõem (2)
um procedimento de bootstrapping, onde diferentes árvores
cobrindo diferentes configurações espaciais de pedaços no Onde j é a unidade imaginária e 0 ≤ r ≤ 1. A transformação
objeto, reconhecendo diferentes pontos de vista de pedestres e da imagem normalizada (x, y) para o domínio do círculo
poses de corpo usando HOG ou combinando descritores HOG unitário (r, θ) é dado por
e LPB [8]. p y
r = x2 + y 2 , θ = tan−1 (3)
Alguns trabalhos se concentram em identificar a parte de x
cima do corpo. Estes trabalhos são especialmente relevantes Esses momentos são utilizados para descrever textura e for-
para a nossa pesquisa, onde parte do corpo estará debaixo de mato das imagens.
água. O trabalho de Tu et al.. [9] é para classificar cabeça e 3) Características de Gabor: Essas características são ba-
ombro em imagens de vigilância com estratégia em cascata seadas no filtro de Gabor [13]. Um filtro de Gabor 2D de uma
onde é usada um classificador SVM linear. Em Hu et al. imagem tem os seguintes parâmetros:
[10], a primeira etapa do algoritmo usa dois descritores, HOG
• Tamanho da janela do filtro (w);
e LBP para eliminar a maioria dos candidatos. No segundo
• Desvio padrão gaussiano (σ);
estágio, um descritor RCM (Region Covariance Matrix) com
• Orientação da normal para as linhas paralelas da função
custo computacional maior é usado para refinar a classificação
de Gabor (θ);
usando um algoritmo de aprendizagem de kernel múltiplo.
• Comprimento de onda do fator sinusoidal(λ);
Nosso sistema difere dos sistemas atuais devido ao ambiente
• Razão de aspecto espacial (γ);
de praia. Principalmente porque neste ambiente as ondas se
• Fase (ψ).
movem constantemente e a iluminação é bastante incerta ao
longo do dia, dependendo da quantidade de nuvens no céu e Variando os parâmetros acima é possível melhorar as propri-
da posição do sol. Além disso as pessoas ficarão parcialmente edades visuais de uma imagem, como por exemplo a frequên-
submersas na água. Portanto nosso trabalho realiza um estudo cia espacial e a orientação. O vetor característica de Gabor
de diferentes descritores de imagem e os combina para avaliar é obtido através da aplicação de um filtro sobre a imagem e
esses descritores em imagens de praia com banhistas. transformando a resposta em um vetor unidimensional. Desta
forma, o vetor resultante é do mesmo tamanho da imagem
III. C ONCEITOS original.
Esta seção descreve os descritores de imagens e algoritmos 4) Histograma de Gradientes Orientados (HOG): A ideia
avaliados neste trabalho. principal por traz do descritor HOG é de que uma imagem
A. Extração de características pode ser representada pelo seu gradiente [2]. Um vetor de
características HOG é computado seguindo os passos abaixo:
1) 1) Momentos de HU: o conjunto de momentos invari-
antes de HU [11] são constantes a variação de escala, rotação 1) Calcular gradientes para uma imagem em tons de cinza.
e translação. Os sete momentos de hu utilizados neste artigo 2) Dividir a imagem em células de um tamanho especi-
são extraídos de imagens binarias. fico. Aumentando o tamanho da célula é possível obter
2) Momentos de Zernike: Os polinômios de Zernike foram informações de maior escala. Reduzindo o tamanho da
primeiramente propostos em 1934 por Frits Zernike. Estes célula, obtém-se informações mais detalhadas.
momentos são conhecidos por serem invariantes à rotação 3) Extrair o histograma de orientação do gradiente para
e podem ser modificados para serem estáveis a escala e cada célula.
translação [12]. 4) Agrupar células dos histogramas em blocos e normalizar
O momento complexo 2D de ordem n e repetição m, sobre cada bloco que são a energia total dos histogramas de
uma função de intensidade de imagem f (x, y), é grupos de células. Blocos de menor tamanho aumentam
a atenuação para variações de iluminação local.
n + 1 XX 5) O vetor de características final é obtido concatenando os
Zn,m = f (x, y)Vnm (x, y)∗ histogramas de cada célula.
π x y
A Figura 1 ilustra a orientação e magnitude dos gradientes
n − |m| even, |m| ≤ n (1) encontrados para uma amostra positiva e negativa.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✶✵✽

usado em trabalhos de detecção de pessoas [17]. Seja um


i=1 ,
exemplo de treinamento rotulado na forma de {(yi , xi )}N
com yi ∈ {−1, +1}, xi ∈ Rn . Para um kernel nos pontos,
k(x, z) : Rn × Rn → R, com produto interno Φ(x) · Φ(z),
(a) (b) (c) numa dimensão de espaços de características possivelmente
alta, o algoritmo encontra um hiperplano no qual separa
melhor os dados, minimizando:
N
1 X
τ (w, ξ) = kwk2 + C ξi (4)
2 i=1
(d) (e) (f)
Figura 1. Uma amostra positiva (a) e negativa (d) da base de dados com os sujeito a yi ((w · xi ) + b) ≥ 1 − ξi e ξi ≥ 0, onde C > 0 é
respectivos gradientes, magnitude (b) (e) e orientação (d) (f). o equilíbrio entre regularização e a violação da restrição. Na
formulação dupla é maximizada:
5) Padrões Binários Locais (LPB): Inicialmente proposto N
X 1X
por [14] para classificação de texturas, este descritor de carac- W (α) = αi − αi αj yi yj k(xi , xj ) (5)
terísticas foi aplicado com sucesso para diferentes problemas, i=1
2 ij
como por exemplo a detecção de faces e também de pessoas.
sujeito a restrições 0 ≥ αi ≥ C e αi yi = 0. A decisão é
Uma característica básica do LBP é obtida através de uma
sign(h(x)), em que:
vizinhança 3x3 de cada pixel, como mostrado na Figura 2.
Um limiar é utilizado, comparando o pixel central com cada m
X
um de seus vizinhos e o seu resultado é codificado como um h(x) = αl yl k(x, xl ) + b (6)
rotulo binário. Um histograma da quantidade de transições l=1
entre 0 e 1 ou 1 e 0 são associados com código uniforme onde xl : l ∈ 1, 2, . . . , m são os vetores de suporte. Para
dependendo de uma codificação de posição dessa transição. kernels lineares, podemos escrever, k(x, z) = hhx , zi i, em
Se tiver somente 0 ou 2 transições, o código é único, para que h() pode ser reescrito como h(x) = hw, xi i + b, onde
mais, as transições são contadas como o mesmo código. Por P m
l=1 αl yl xl .
exemplo, o código na figura 2, é contado como mais de 2 Embora o classificador linear seja útil o suficiente devido a
transições. O histograma pode ser utilizado como um descritor sua complexidade linear, importante para sistemas de tempo
de texturas. Características LBP podem ser expandidas para real, é mais utilizado quando os dados são linearmente se-
uma maior vizinhança. Por exemplo, existe uma 16-vizinhança paráveis. A solução para este mesmo algoritmo ser utilizada
dentro do raio de 2 pixels. Geralmente, cada pixel é descrito para base de dados não-linearmente separáveis é mapear os
utilizando P pontos de vizinhança dentro de um raio com R dados para uma dimensão maior φ : X → ℑ, onde X é o
números de pixels. A variância de tons de cinza da vizinhança espaço de entrada e ℑ representa o espaço de características.
local pode ser utilizada como uma métrica complementar de A escolha apropriada de φ permite que a base de dados
contraste. A seguir, a notação (P, R) vai ser usada para pixels mapeada em ℑ seja separada por uma SVM linear. Com
onde P significa pontos de amostra em um círculo de raio este objetivo, a função do kernel k(x, z) que satisfaz as
R. Se uma coordenada de pontos no círculo não corresponder condições de Mercer [18], resulta em uma matriz K semi-
a uma coordenada de imagem, o ponto pode ser interpolado definida. O kernel normalmente utilizado para fazer isso é o
pela interpolação linear mais próxima. kernel Radial RBF. Para o Kernel  radial, podemos reescrever
k(x, z) = hexp −σkxi − zk2 i, então  h() pode
Pmser escrito
como h(x) = hexp −σkxi − zj k2 i + b, onde l=1 αl yl xl .
2) Random Forests: Random Forests [19] também obteve
bons resultados na literatura para detecção de pessoas [20].
É um método de aprendizado de conjuntos que combina a
Figura 2. Exemplo de uma característica LBP predição de varias árvores de decisão usando o mecanismo de
voto majoritário.
Um classificador denotado por ψ = (z, X), é um preditor
B. Classificação para a classe z usando o conjunto de dados de treinamento
Baseado no estudo completo de classificadores de [15], e X. Supondo que existe uma sequência finita de conjuntos de
baseado em demais estudos de detecção de pessoas presentes treinamento {X (k) }, k = 1, 2, . . . , K, onde cada um consiste
na seção II, os seguintes classificadores foram selecionados de M observações independentes vindo da mesma distribuição
para a tarefa de reconhecimento subjacente a todos os conjuntos de dados X. A ideia central
1) Máquina de Vetor de Suporte (SVM): A Máquina de é utilizar {X (k) } para obter um classificador melhor do
Vetor de Suporte [16], é um classificador binário bastante que o classificador simples, tendo como restrição somente a
✶✵✾ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

sequência de classificadores ψ = (z, X (k) ). A classe mais 1) Gabor filter:


votada zj é a associada ao dado xi . • w: 2, 5, 10, 20, 40, 80 e 120 pixels.
IV. AVALIAÇÃO E XPERIMENTAL • θ: 0◦ , 45◦ e 90◦ .
Esta seção apresenta a metodologia usada para avaliar a Os resultados da grade de busca são apresentados na Tabela I.
detecção de pessoas em imagens de praia. A melhor taxa de reconhecimento de 85,14% foi obtida com
A. Base de dados w = 40 e θ = 45◦
A base de dados com imagens contém fotos tiradas de
Tabela I
postos de guarda-vidas na praia de Boa viagem em 2016. As TAXA DE RECONHECIMENTO (%) DURANTE A SELEÇÃO DO PARÂMETRO
fotografias foram devidamente rotuladas usando a ferramenta DO FILTRO DE G ABOR ( ORIENTAÇÃO E TAMANHO DA JANELA )
online LabelMe [21]. Os rótulos delimitam as regiões de
2 5 10 20 40 80 120
pessoas nas imagens de praia como mostrado na Figura 3. 0◦ 79,22 76,33 76,68 80,50 70,36 64,90 64,46
45◦ 79,38 78,72 77,82 81,82 85,14 79,44 71,88
90◦ 71,55 76,43 74,70 67,77 63,60 62,03 61,79

2) Momentos de Zernike: O parâmetro avaliado foi ordem


(n): 5, 10, 15, 20, 25 e 40. Como pode ser visto pela Tabela II,
a taxa de reconhecimento de 87.42% foi obtida quando n = 10

Tabela II
TAXA DE RECONHECIMENTO PARA DIFERENTES ORDENS DO MOMENTO
DE Z ERNIKE

Ordem: 5 10 15 20 25 40
Figura 3. Imagem rotulada da praia de Boa Viagem-Recife-Brasil.
Acurácia (%): 87,04 87,42 86,97 86,27 85,80 84,38

Nosso conjunto de dados é composto de 1000 segmentos


contendo pessoas e 1000 segmentos de objetos que podem 3) HOG: Os parâmetros avaliados são:
ser confundidos com pessoas durante a segmentação, como • Tamanho da célula: 4×4, 8×8 e 16×16.
por exemplo extensões de recifes, cadeiras, pássaros, entre • Tamanho do bloco: 1×1, 2×2, 3×3 e 4×4.
outros. Todas as imagens são redimensionadas para a resolução
de 29 × 25 pixels, no qual é o tamanho médio das imagens Taxas de reconhecimento associadas com os parâmetros acima
encontradas na base de dados. Uma amostra de segmentos são apresentadas na Tabela III. Devido ao tamanho pequeno
positivos e negativos são mostrados na Figura 4. O objetivo das imagens (29×25), algumas combinações de células e
do classificador é determinar os segmentos que contém pessoas blocos não foram possíveis, deixando espaços em branco.
nessas imagens (classe positiva). Os melhores resultados foram alcançados com células 8×8
e blocos 2×2.

Tabela III
TAXA DE RECONHECIMENTO (%) PARA DIFERENTES TAMANHOS DE
CÉLULAS ( LINHAS ) E BLOCOS ( COLUNAS ) PARA O DESCRITOR HOG
(a) (b) (c) (d) (e) (f)
1x1 2x2 3x3 4x4
Figura 4. Um exemplo de imagens positivas (a) (b) (c) e negativas (d) (e) 4x4 78,22 79,77 79,29 81,01
(f). 8x8 79,57 81,39
16x16 69,36
B. Seleção de parâmetros
A maioria dos descritores e classificadores possuem pa- 4) LBP: Como anteriormente, devido ao pequeno tamanho
râmetros que influenciam os resultados. Estes parâmetros das imagens, raio e vizinhança foram fixados em 1 e 8
foram selecionados experimentalmente em uma base de dados respectivamente.
separada, contendo 392 imagens da classe positiva e 296
• Tamanho da célula: 4×4, 8×8 e 16×16.
imagens da classe negativa. O classificador Random Forests foi
• Normalização do histograma: nenhuma e L2.
utilizado para todos os experimentos. Cada configuração foi
• Interpolação de pixels vizinhos: linear e mais próximo.
avaliada 50 vezes através da seleção aleatória de 80% da base
de dados para treinamento e o restante para teste. Os melhores Como pode ser visto na tabela IV, o melhor descritor LBP
parâmetros foram selecionados com base na taxa média de foi formado por células 8×8 sem normalização e interpolação
detecção do classificador com o descritor correspondente. para o pixel mais próximo. Além disso, a taxa de reconheci-
Os parâmetros seguintes foram considerados: mento varia principalmente pelo tamanho da célula.
❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧ ✶✶✵

Tabela IV outras acurácias na mesma tabela. Na tabela VIII, a segunda


TAXA DE RECONHECIMENTO (%) PARA DIFERENTES PARÂMETROS DO melhor taxa (83,80%) é equivalente a melhor (84,42%), então
LBP
as duas são destacadas.
Normalização: L2 Nenhum L2 Nenhum No geral, a melhor taxa de reconhecimento é 93,31% com
Interpolação: Linear Linear Mais próximo Mais próximo
1,43% de desvio padrão. Isto foi obtido com o classificador
célula 4x4: 87,56 87,32 87,88 87,79
célula 8x8: 89,54 89,19 89,77 89,82 SVM com kernel radial e utilizando o PCA.
célula 16x16: 84,41 84,42 84,41 85,05
Tabela VI
TAXA DE RECONHECIMENTO (%) NA BASE DE TESTES USANDO
Depois da seleção de parâmetros, o método de extração de CLASSIFICADOR Random Forest
características definido na seção anterior foi implementado em
MatLab R
a seguir: Hu Zernike Gabor HOG LBP
Hu 65,61
1) Hu – Vetor de características com 7 escalares. Zernike 78,94 75,59
2) Zernike – 66 escalares, correspondente as características Gabor 73,26 74,14 72,68
de Zernike de ordem 10. HOG 81,22 82,82 80,86 80,89
LBP 85,70 86,44 85,42 88,03 85,66
3) Gabor – vetor de característica com 725 escalares,
obtidos através da convolução de uma imagem com o
filtro de Gabor. O filtro é formado por uma janela de
40×40 pixels com inclinação de 45◦ . Outros parâmetros Tabela VII
TAXA DE RECONHECIMENTO (%) NA BASE DE TESTES USANDO
deste filtro são mantidos com seus valores padrões. CLASSIFICADOR Random Forest E PCA
4) HOG – 144 escalares são obtidos através da divisão da
imagem em células 8×8 e agrupando histogramas em Hu Zernike Gabor HOG LBP
Hu 63,19
blocos de 2×2 para normalização. Zernike 73,95 70,97
5) LBP – 531 escalares, obtidos considerando 8-vizinhança Gabor 54,52 76,84 54,67
e células 8×8. HOG 80,63 81,96 81,95 80,68
LBP 82,56 81,01 84,49 83,08 82,32
O tamanho de cada vetor de característica acima e a sua
combinação de pares são resumidos na TabelaV.

Tabela V Tabela VIII


TAMANHO DOS VETORES DE CARACTERÍSTICA E SUAS COMBINAÇÕES EM TAXA DE RECONHECIMENTO (%) NA BASE DE TESTES USANDO
PARES CLASSIFICADOR SVM COM kernel LINEAR

Hu Zernike Gabor HOG LBP Hu Zernike Gabor HOG LBP


Hu 7 Hu 50,39
Zernike 73 66 Zernike 77,64 78,22
Gabor 732 791 725 Gabor 67,02 68,95 67,13
HOG 151 210 869 144 HOG 80,04 84,42 66,64 80,04
LBP 538 597 1256 675 531 LBP 82,13 83,80 75,02 82,59 82,13

C. Classificação
Os vetores de características previamente descritos são Tabela IX
TAXA DE RECONHECIMENTO (%) NA BASE DE TESTES USANDO
também concatenados em pares. Os resultados apresentados CLASSIFICADOR SVM COM kernel LINEAR E PCA
nesta Seção são a média entre 50 repetições com separação
Hu Zernike Gabor HOG LBP
aleatória do conjunto de dados, onde 80% é treinamento (800
Hu 55,36
imagens por classe) e 20% de teste (200 imagens por classe). Zernike 75,31 66,97
Cada combinação de características é testada com classifi- Gabor 54,88 74,50 54,74
cadores Random Forest e SVM (kernel linear e radial). Uma HOG 79,82 81,56 82,26 79,7
LBP 82,43 82,7 84,58 85,14 82,03
técnica comum de redução de características é o PCA [22], do
inglês Principal Components Analysis, foi aplicada ao vetor
de características. A fim de evitar viés, os autovetores foram
obtidos da base de dados de teste, mantendo o suficiente para Tabela X
representar 95% da variância. A taxa de reconhecimento com TAXA DE RECONHECIMENTO (%) NA BASE DE TESTES USANDO
CLASSIFICADOR SVM COM kernel RADIAL
os dois classificadores acima é apresentada com e sem o uso
do PCA nas Tabelas VI, VII, VIII, IX, X e XI. Um teste- Hu Zernike Gabor HOG LBP
Hu 50,38
T estatístico com intervalo de confiança de 95% é usado Zernike 55,92 55,28
para comparar o melhor resultado numérico em cada tabela Gabor 50,00 50,00 50,00
contra outros resultados pertencentes a mesma tabela. Os HOG 74,72 63,23 50,00 74,92
resultados destacados são estatisticamente melhores do que LBP 88,59 72,62 50,00 88,94 88,54
✶✶✶ ❆♥❛✐s ❞♦ ❳■■■ ❲♦r❦s❤♦♣ ❞❡ ❱✐sã♦ ❈♦♠♣✉t❛❝✐♦♥❛❧

Tabela XI AGRADECIMENTOS
TAXA DE RECONHECIMENTO (%) NA BASE DE TESTES USANDO
CLASSIFICADOR SVM COM kernel RADIAL E PCA Os autores gostariam de agradecer à FACEPE e a SDS-PE
pelo seu apoio financeiro.
Hu Zernike Gabor HOG LBP
Hu 61,91 R EFERÊNCIAS
Zernike 77,48 74,00
Gabor 55,26 69,86 55,29 [1] CEMIT, “Statistics of shark incidents in the state
HOG 83,19 86,68 76,19 83,44 of pernambuco-brazil,” jul 2017. [Online]. Availa-
LBP 88,46 89,18 86,89 90,31 88,44 ble: http://www.portaisgoverno.pe.gov.br/c/document_library/get_file?
uuid=456ed61c-2b3a-4283-8523-aa508231d51f\&groupId=124015
[2] N. Dalal and B. Triggs, “Histograms of oriented gradients for human
O custo computacional deste descritor também é conside- detection,” in Computer Vision and Pattern Recognition, 2005. CVPR
2005. IEEE Computer Society Conference on, vol. 1. IEEE, 2005, pp.
rado na Tabela XII. A diagonal desta tabela indica o tempo 886–893.
médio de extração de um único descritor de característica. Este [3] S. Wang, J. Zhang, and Z. Miao, “A new edge feature for head-shoulder
experimento utilizou imagens em tons de cinza com 29 × 25 detection,” in Image Processing (ICIP), 2013 20th IEEE International