13 - Deteccao Splicing PDF

Anlise Forense de Documentos Digitais
Prof. Dr. Anderson Rocha

anderson.rocha@ic.unicamp.br http://www.ic.unicamp.br/~rocha
Reasoning for Complex Data (RECOD) Lab. Institute of Computing, Unicamp

Av. Albert Einstein, 1251 - Cidade Universitria CEP 13083-970 Campinas/SP - Brasil
Deteco de Splicing
Abordagens Baseadas em Inconsistncias de Iluminao
Organizao
Organizao
! Introduo. ! Deteco de Splicing. Tipos de Abordagens. Abordagens Baseadas em Iluminao. Abordagem Baseada na reexo de raios de luz no
olho.
! Concluso.
A. Rocha, 2012 Anlise Forense de Documentos Digitais
Introduo
Computao Forense Digital

o conjunto de tcnicas cientcas para a preservao, coleo, validao, identicao, anlise, interpretao, documentao e apresentao de evidncias derivadas de meios digitais com a nalidade de facilitar e/ou permitir a reconstruo de eventos, usualmente de natureza criminal
Edward Delp Purdue University
Anlise Forense de Documentos Digitais

! o campo de pesquisas relacionado anlise de
documentos digitais para vericao de sua autenticidade e integridade. A. Rocha, S. Goldenstein
! Atualmente de vital importncia devido ao
gigantesco nmero de documentos digitais, dos mais diversos tipos, presentes no nosso dia-a-dia.
Adulterao X Falsicao
! Existem dois tipos de adulteraes em documentos
digitais:
Ajustes que visam melhorar a aparncia do documento (um ajuste de brilho em imagens por exemplo). Ajustes que visam enganar o visualizador, o que caracteriza uma falsicao. Um exemplo o processo de composio de imagens atravs de contedo retirado de outras imagens.
8
Deteco de Splicing
Splicing: Denio
! ! ! !
Uma das possveis adulteraes com o intuito de enganar o visualizador obtida utilizando-se partes de duas ou mais imagens para compor uma nova. Tal processo denominado na literatura como Splicing. Atualmente, diversos casos de splicing tm sido encontrados principalmente em meios de comunicao como jornais e revistas de diversas partes do mundo. Com o intuito de manipular a opinio dos observadores a maioria dos casos envolvem polticos e personalidades do meio artstico.
11
Exemplo
Em setembro de 2010 o jornal egpicio Al-Ahram alterou uma foto colocando o presidente Hosni Mubarak sendo seguido por diversos lderes de estado.
Telegraph Media Group Limited 2010

12
Tipos de Abordagens
Splicing Abordagens
! H diversas formas de se detectar splicing na literatura. ! Algumas das possveis abordagens envolvem: Baseadas em inconsistncias em descritores. Baseadas em inconsistncias do processo de aquisio. Baseadas em inconsistncias de compresso. Baseadas em inconsistncias de iluminao.
14
Abordagens baseadas em inconsistncias de iluminao
Abordagens
! Exposio de Falsicaes Detectando Inconsistncias
na Iluminao. [Micah K. Johnson and Hany Farid 2005] de Falsicaes Atravs de Raios de Luz ! Exposio Especulares nos Olhos. [Micah K. Johnson and Hany Farid 2007] de Falsicaes em Ambientes de Iluminao ! Exposio Complexa. [Micah K. Johnson and Hany Farid 2007b]
16
Exposio de Falsicaes por Inconsistncias na Iluminao
Mtodo
! Estima a posio da fonte de luz da cena atravs de !
informaes como a superfcie normal de um ponto e um termo constante de luz do ambiente. Os autores sugerem trs tipos de aproximaes: Baseada em uma fonte de luz situada no innito num modelo 3-D. Baseada em uma fonte de luz situada no innito em um modelo 2-D. Baseada em uma fonte de luz local em 2-D.
18
Desvantagens do mtodo
! A utilizao do mtodo requer a localizao do limite ! !
de ocluso da imagem, feito manualmente por um usurio. Tal localizao torna o mtodo muito dependente do conhecimento do usurio. A determinao de uma falsicao envolve a determinao de um limiar (11o) entre os as direes de iluminao encontradas na imagem.
Resultados do Mtodo
M. K. Johnson 2005
20
Resultados do Mtodo
M. K. Johnson 2005
21
Exposio de Falsicaes em Ambientes de Iluminao Complexa
Mtodo
! O primeiro passo do mtodo a criao de um modelo
para representar a irradincia (quantidade de luz recebida) em um ponto da imagem. harmnicos esfricos.
! Os autores utilizam uma representao por meio de 9
23
Mtodo
M. K. Johnson 2007b
24
Mtodo
! A partir de um conjunto de restries (como assumir !
que a funo de resposta de cmera linear) os autores expressam a intensidade de iluminao de um pixel atravs da irradincia e da superfcie normal ao pixel. Isso permite que os autores utilizem os harmnicos esfricos para representar a intensidade de luz em um ponto x.
25
Resultados do Mtodo
M. K. Johnson 2007b
26
Resultados do Mtodo
M. K. Johnson 2007b
27
Resultados do Mtodo
M. K. Johnson 2007b
28
Exposio de Falsicaes por Reexos Oculares
Mtodo
! Tcnica baseada na deteco de inconsistncias nos
raios de luz reetidos pelos olhos.
! Supe que em imagens adulteradas as pessoas foram
fotografadas sob diferentes condies de iluminao.
30
Exemplo
! Imagem exibindo o apresentador e os juzes da
atrao americana American Idol.
Fox News and the Associated Press

31
Reexo Especular
! a reexo da luz de uma superfcie onde a reexo
incidente se reete em um ngulo igual ao ngulo de incidncia.
Priscila e Tiago
32
Reexo Especular nos Olhos
Micah Kimo Johnson
33
Reexo Especular nos Olhos
Micah Kimo Johnson
34
Sistemas de Coordenadas
! importante notar que existem dois sistemas de
coordenadas: Sistema relativo ao posicionamento do olho. Caixa Alta Sistema relativo ao posicionamento da cmera. Caixa Baixa
35
Viso geral do Mtodo
36
Passo-a-Passo
37
Etapa 1: Direo da Fonte Luz
Etapa 1: Direo da Luz

Calibrao de Cmera
! !
Para obter a direo da luz L necessrio conhecer os vetores V (direo do observador) e N (normal superfcie). Para obter V e N em um sistema de coordenadas comum, primeiro necessrio estimar a transformao projetiva H que descreve a transformao de coordenadas do mundo em coordenadas da imagem.
39

Calibrao de Cmera
A Transformao projetiva H que descreve a transformao de coordenadas do mundo em coordenadas da imagem.
40
!"#"$%&'()*+,-./*+0*$123'4-*('#
5"36.+)".-7(+'+4'$"&'
8)"'+9:++123+'+1-"4"+*;+<#$+-(+;&*(3+*;+'(+*%="43 >*+?"+7"3+'+&"'.*('%#"+-$'7"@
A#-)"+.*2&4":+A"-3B
!"#"$%&'()*+,-./*+0*$123'4-*('#
8)"'+C:+'))+'+%'&&-"&+3*+%#*4D+*E+$*.3+*;+3F"+&'G.
HF-.+&")24".+%#2&&-(7 HF"+*1"(-(7+D(*?(+'.+3F"+!"#$%&$#
A#-)"+.*2&4":+A"-3B
!"#"$%&'()*+,-./*+0*$123'4-*('#
f
f = focal length c = center of the camera

I-72&"+;&*$+I*&.G3F
>-$"(.-*('#-3G+!")24J*(+K'4F-("+LM>+3*+C>N
3D world 2D image
Figures Stephen E. Palmer, 2002
O&*="P/*:+4**&)Q+)"+$2()*+!4**&)Q+)"+-$'7"$
. .
v u
Optical Center (u0, v0) f
. .
Camera Center (tx, ty, tz) Z Y
K'3&-B+)"+O&*="P/*
R,T
Slide Credit: Saverese
jw kw Ow iw
x: Image Coordinates: (u,v,1) K: Intrinsic Matrix (3x3) R: Rotation (3x3) t: Translation (3x1) X: World Coordinates: (X,Y,Z,1)
Voltando...

Calibrao de Cmera
! !
A geometria dos olhos explorada para estimar a transformao. O limbus a borda entre a esclera (parte branca) e a ris (parte colorida). Ele pode ser modelado um crculo (em verde na Figura).
Priscila e Tiago
Rhcastilhos
41

Calibrao de Cmera
No entanto, a imagem do limbus ser uma elipse na imagem capturada pela cmera. Exceto quando os olhos esto exatamente de frente para a cmera.
Priscila e Tiago
42

Calibrao de Cmera
! !
Intuitivamente a distoro de uma elipse para um crculo est relacionada com a pose e posio dos olhos em relao cmera. Desta forma eles procuram a transformao que alinha a imagem do limbus a um crculo.
43

Calibrao de Cmera
! !
No geral, a transformao projetiva que mapeia coordenadas 3D do mundo em coordenadas 2D da imagem so representadas por coordenadas homogneas, como uma matriz H 3x4. Eles assumem que pontos no limbus so coplanares e denem as coordenadas do mundo de forma que os pontos do limbus pertencam ao plano Z = 0.
44

Calibrao de Cmera
! !
Com esse pressuposto, a transformao projetiva reduzida para uma transformao projetiva planar H 3x3, onde pontos da mundo X e pontos da imagem x so representados por vetores homogneos 2D. Assim, pontos do limbus em coordenadas do mundo deve obedecer a seguinte equao implcita do crculo:
45

Calibrao de Cmera
Pontos do limbus em coordenadas do mundo deve obedecer a seguinte equao implcita do crculo:
O vetor
formado pelo centro do crculo C e seu raio r.
46

Calibrao de Cmera
H e so encontrados utilizando a seguinte funo erro nestes dois parmetros:
Esta funo de erro um Problema de Mnimos Quadrados no linear, resolvida usando um mtodo iterativo (e.g., GaussNewton, Levenberg-Marquadt).
47

Calibrao de Cmera
! ! !
Problema: com somente um nico crculo no existe uma nica transformao projetiva H que minimize a equao da soma dos quadrados dos erros. Soluo: com dois crculos coplanares a transformao pode ser determinada de forma nica. Desta forma, a funo de erro deve incorporar os dois olhos para estimar a transformao H.
48

Calibrao de Cmera
Depois de estimar a matriz de transformao H, esta deve ser decomposta em termos de parmetros intrnsecos e extrnsecos da cmera.
49

Calibrao de Cmera
! Os parmetros intrnsecos da cmera:

Distncia focal f; Centro da cmera; Distoro geomtrica introduzida pelo sistema tico; Proporo do pixel (relao largura/comprimento).
50

Calibrao de Cmera
Simplicao:
O centro da cmera o centro da imagem; No h distoro radial; a proporo do pixel 1.
Resta somente o foco f.

51

Calibrao de Cmera
! Parmetros extrnsecos da cmera:
Matriz de rotao R e vetor de translao t.
! Juntos eles denem a transformao entre o
sistema de coordenadas do mundo no sistema de coordenadas da cmera.
52

Calibrao de Cmera
! Uma vez que os pontos do limbus pertencem a
um nico plano, a transformao projetiva pode ser decomposta da seguinte forma em termos dos seus parmetros intrnsecos e extrnsecos:
onde um fator de escala, os vetores colunas r1 e r2 so a primeira e a segunda coluna da matriz de rotao R, t o vetor de translao e K uma matriz 3x3 diagonal com o foco.
53

Calibrao de Cmera
H a transformao das ! Relembrando: coordenadas do mundo para as coordenadas da imagem.
! Pretende-se encontrar a transformao
que
transforma as coordenadas do mundo em coordenadas da cmera, e a rotao R.
54

Calibrao de Cmera
! Com a distncia focal f conhecida possvel

estimar diretamente:
55

Calibrao de Cmera
! Com a distncia focal f desconhecida para estimar

necessrio primeiro estimar f.
! Estima-se a distncia focal decompondo a matriz

H em oito variveis desconhecidas: Distncia focal; Fator de escala ; ngulos de rotao para o eixos x, y e z; Trs coordenadas do vetor de translao t.
56

Calibrao de Cmera

57

Calibrao de Cmera

58

Calibrao de Cmera

59

Calibrao de Cmera

60

Calibrao de Cmera

61

Direo da Cmera V
! ! ! !
Na etapa de calibrao de cmera foi estimado o centro do crculo C = (C1; C2). O centro do limbus no sistema de coordenadas do mundo dado por Xc = (C1 C2 1)^T. No sistema de coordenadas da cmerao centro passa a ser:
A direo de Cmera o vetor que parte do centro do limbus para a origem do sistema de coordenas da cmera:
62

Direo Normal N
O vetor 3D normal superfcie do olho N estimado a partir de um modelo do olho.
Micah 2007
Priscila & Tiago
63

Direo Normal N

y
M. K. Johnson 2007
Priscila & Tiago
64

Direo Normal N
Priscila & Tiago
65

Direo Normal N
Priscila & Tiago
66

Direo Normal N
Priscila & Tiago
67

Direo Normal N
Priscila & Tiago
68

Direo Normal N
Priscila & Tiago
69

Direo Normal N
70

Direo Normal N
71

Direo Normal N
72

Direo da Luz L
73
Etapa 2: Estimar a posio da fonte de luz e erros angulares
Consistncias das Estimativas

! Estimado o raio de luz reetido para cada pessoa da ! !
foto, necessrio se vericar se todos eles partiram de uma mesma fonte de luz. O primeiro passo se estimar a fonte de iluminao da cena. Para isso necessrio ! que sejam assumidas algumas restries.
75

! Fontes de luz so pontuais. ! Raios convergem em direo fonte de luz. ! Para cada um dos i raios de luz especulares, o ngulo
entre o vetor para a fonte de luz na posio x e a direo estimada
a posio do i-simo raio de luz especular.

76
Micah 2007
77

! ! Dados N raios de luz e as respectivas posies de fontes de luz estimadas, a fonte de luz pontual pode ser estimada maximizando a funo de erro abaixo, atravs do mtodo no-linear do gradiente conjugado
78

! ! Assim, denota a posio da fonte de luz. Logo o ngulo entre o i-simo raio de luz e fonte de luz dado por
! !
! Mesmo depois de estimar a fonte de iluminao da

cena, os autores preferem no trabalhar com um limiar para dizer se uma imagem possui ou no splicing.
79
Etapa 3: Tomada de Deciso

! ! Utilizam um mtodo estatstico denominado Teste de Hipteses.
! !
!
Representam respectivamente a mdia dos N erros angulares da imagem, a mdia e o desvio padro estimados de imagens normais.
81

! ! Por m a signicncia do Teste de Hipteses dada em termos da funo de erro padro
! Onde
!
82

! Se a signicncia do Teste de Hipteses for menor que
um determinado nvel escolhido (e.g. 1%) ento o erro angular mdio dos raios de luz maior que o esperado e considerado inconsistente. Caso contrrio a estimativa no pode ser considerada inconsistente.
!
83
Resultados
Imagens Sintticas
! Imagens sintticas dos olhos foram geradas utilizando o software pbrt. ! Foram utilizadas 12 posies diferentes para os olhos. ! Os olhos foram iluminados com duas fontes de luz: !
!
Uma fonte xa alinhada com a cmera. Uma fonte colocada em 1 de 4 posies diferentes. Imagens de 1200 x 1600 com a crnea ocupando menos de 0,01% da imagem.
85
Imagens Sintticas
Micah 2007
86
Imagens Sintticas
! A posio do limbus e dos raios de luz especulares so extrados automaticamente. ! Todas as variveis (como a transformao projetiva H, a ! !
superfcie normal, a direo do visualizador, e a direo da fonte de luz foram estimadas). Com uma distncia focal conhecida o erro angular mdio foi de 2.8o com desvio padro de 1.3o e erro mximo de 6.8o. Com uma distncia focal desconhecida o erro angular mdio foi de 2.8o com desvio padro de 1.3o e erro mximo de 6.3o.
87
Imagens Reais Com Iluminao Controlada

! Um segundo cenrio exibe um sujeito fotografado em um ambiente de iluminao controlada. ! A posio do sujeito, bem como das fontes de luz foram ajustados manualmente. ! A posio do limbus e dos raios de luz especulares foram manualmente selecionados. ! Com um comprimento focal conhecido, o erro angular
mdio foi de 8.6o e com um comprimento desconhecido a mdia foi de 10.5o.
88
Imagens Reais Com Iluminao Controlada
Micah 2007
89
Imagens Reais
! 20 imagens retiradas do Flickr. ! Elipses foram ajustadas manualmente ao redor do limbus. ! Os raios especulares foram localizados selecionando um ! !
limite retangular ao redor dos raios de luz e computando o centride da seleo. No total foram estimadas 88 direes de luz (44 pessoas). O erro angular mdio foi de 6.4o, com desvio padro de 2.8o e erro mximo de 12.8o.
90
Imagens Reais
Micah 2007
91
Falsicaes
Micah 2007
92
Falsicaes
! Os erros mdios das falsicaes sempre foram maiores

que os erros das imagens autnticas, o que pode ser visto na tabela abaixo.
93
Concluses
Concluses e Crticas
! O autor valida seu mtodo com pouqussimas
imagens.
! O mtodo funciona em imagens que possuem pessoas. ! Para que o mtodo funcione de maneira correta
necessrio que o raio de luz seja reetido nos olhos. de luz nos olhos for removido.
! O mtodo pode ser facilmente burlado se o reexo

95
Concluses e Crticas
! Mtodo estendido por P. Saboia, T. Carvalho e A.
Rocha, ICIP 2011 para incorporar novas caractersticas e aprendizado de mquina
101
Referncias
Referncias

[Micah K. Johnson and Hany Farid 2007b] M.K. Johnson and H. Farid. Exposing Digital Forgeries in Complex Lighting Environments. IEEE Transactions on Information Forensics and Security, 3(2):450461, 2007. [Micah K. Johnson and Hany Farid 2007] M.K. Johnson and H. Farid. Exposing digital forgeries through specular highlights on the eye. In 9th International Workshop on Information Hiding, Saint Malo, France, 2007. [Micah K. Johnson and Hany Farid 2005] M.K. Johnson and H. Farid. Exposing digital forgeries by detecting inconsistencies in lighting. In ACM Multimedia and Security Workshop, New York, NY, 2005. [Micah K. Johnson 2007]. M. K. Johnson. Lighting and Optical Tools for Image Forensics. PhD thesis, Department of Computer Science, Dartmouth College, Hanover, NH, 2007. [Anderson R. Rocha and Siome K. Goldenstein 2010] A.R. Rocha and S.K. Goldenstein. Atualizaes em Informtica, chapter CSI: Anlise Forense de Documentos Digitais, pages 263317. Sociedade Brasileira de Computacao (SBC), 2010.
97
Obrigado!

13 - Deteccao Splicing PDF

Diunggah oleh

Informasi Dokumen

Judul Asli

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

13 - Deteccao Splicing PDF

Diunggah oleh

Hak Cipta:

Format Tersedia

Anlise Forense de Documentos Digitais

Prof. Dr. Anderson Rocha

Reasoning for Complex Data (RECOD) Lab. Institute of Computing, Unicamp

Computao Forense Digital

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Anlise Forense de Documentos Digitais

! Atualmente de vital importncia devido ao

A. Rocha, 2012 Anlise Forense de Documentos Digitais

A. Rocha, 2012 Anlise Forense de Documentos Digitais

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Telegraph Media Group Limited 2010

Abordagens baseadas em inconsistncias de iluminao

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Exposio de Falsicaes por Inconsistncias na Iluminao

A. Rocha, 2012 Anlise Forense de Documentos Digitais

A. Rocha, 2012 Anlise Forense de Documentos Digitais

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Exposio de Falsicaes em Ambientes de Iluminao Complexa

! Os autores utilizam uma representao por meio de 9

A. Rocha, 2012 Anlise Forense de Documentos Digitais

A. Rocha, 2012 Anlise Forense de Documentos Digitais

A. Rocha, 2012 Anlise Forense de Documentos Digitais

A. Rocha, 2012 Anlise Forense de Documentos Digitais

A. Rocha, 2012 Anlise Forense de Documentos Digitais

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Exposio de Falsicaes por Reexos Oculares

! Supe que em imagens adulteradas as pessoas foram

fotografadas sob diferentes condies de iluminao.

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Fox News and the Associated Press

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Reexo Especular nos Olhos

Micah Kimo Johnson

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Reexo Especular nos Olhos

Micah Kimo Johnson

A. Rocha, 2012 Anlise Forense de Documentos Digitais

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Viso geral do Mtodo

A. Rocha, 2012 Anlise Forense de Documentos Digitais

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Etapa 1: Direo da Fonte Luz

Etapa 1: Direo da Luz

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Etapa 1: Direo da Luz

A Transformao projetiva H que descreve a transformao de coordenadas do mundo em coordenadas da imagem.

A. Rocha, 2012 Anlise Forense de Documentos Digitais

f = focal length c = center of the camera

Figures Stephen E. Palmer, 2002

Optical Center (u0, v0) f

Slide Credit: Saverese

Etapa 1: Direo da Luz

Etapa 1: Direo da Luz

Etapa 1: Direo da Luz

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Etapa 1: Direo da Luz

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Etapa 1: Direo da Luz

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Etapa 1: Direo da Luz

formado pelo centro do crculo C e seu raio r.

A. Rocha, 2012 Anlise Forense de Documentos Digitais

Etapa 1: Direo da Luz