Anda di halaman 1dari 57

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

3. Codificao de Imagem

Codificao de Imagens Estticas

Codificao de Vdeo

Teoria da Informao

Pedro Mendes Jorge

3.1

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Codificao de Imagens Estticas


N orm a ITU (CC ITT ) Grupo 3 Grupo 4 JBIG Descrio Desenvolvido para a com presso de im agens com 2 tons; Prim eiram ente utilizado para transmisso de fax; Joint (ITU -ISO /IEC ) Bilev el Im age G roup; Desenvolvido para a com presso de im agens com 2 tons e im agens em nveis de cinzentos; Joint (ITU -ISO /IEC ) Photographic Expert G roup; Desenvolvido para a com presso de im agens estticas;

JPEG

Teoria da Informao

Pedro Mendes Jorge

3.2

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

JPEG - Joint Photographic Expert Group Compresso de imagens estticas de nveis de cinzento ou a cores; Algoritmo baseado na codificao por transformada - DCT; Explora as caractersticas visuais humanas; mais utilizada como tcnica no reversvel (lossy) (pode ser reversvel - lossless); Compromisso entre a qualidade e o factor de compresso;

Teoria da Informao

Pedro Mendes Jorge

3.3

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

JPEG - Joint Photographic Expert Group 4 Modos de operao Baseline Hierrquico

DCT Sequencial

DCT Progressivo

Reversvel

Teoria da Informao

Pedro Mendes Jorge

3.4

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

JPEG Codificador baseado na DCT (Sequencial e Progressivo)


Imagem original Bloco
Coeficientes

DCT

Quantificao

Coeficientes Seleccionados

Codificao Huffman

Bits

Matriz de Quantificao

Tabela de Codificao

Teoria da Informao

Pedro Mendes Jorge

3.5

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

JPEG Descodificador baseado na DCT (Sequencial e Progressivo)


Coeficientes Seleccionados

Imagem reconstruda Desquantificao


Coeficientes

Bits

Descodificao Huffman

Bloco

IDCT

Tabela de Codificao

Matriz de Quantificao

Teoria da Informao

Pedro Mendes Jorge

3.6

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Algoritmo JPEG Sequencial 1. A imagem dividida em blocos de dimenso 8x8; 2. calculada a DCT bidimensional de cada bloco; 3. Os coeficientes de cada bloco so seleccionados e quantificados de acordo com uma matriz de quantificao T (luminncia e crominncia);

I (i, j ) I DCT (i, j ) = round DCT T (i, j )

16 12 14 14 T = 18 24 49 72

11 10 16 12 14 19 13 16 24 17 22 29 22 37 56

24 26 40 51 68

40 58 57 87

51 60 69 80

109 103

35 55 64 81 104 113 64 78 87 103 121 120 92 95 98 112 100 103

61 55 56 62 77 92 101 99

A matriz de quantificao determinada de acordo com as caractersticas visuais humanas e pode ser escalada para permitir diferentes nveis de compresso;
Teoria da Informao Pedro Mendes Jorge 3.7

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Algoritmo JPEG Sequencial (continuao) 4. Os coeficientes quantificados so reordenados utilizando um procedimento em zig-zag, formando uma sequncia unidimensional;

5. Os coeficiente diferente de zero so codificados de acordo com um cdigo de Huffman;

Teoria da Informao

Pedro Mendes Jorge

3.8

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Algoritmo JPEG Sequencial (continuao) As imagens a cores so consideradas no formato YUV, ou seja, luminncia (Y) e crominncia (U e V).

Y = 0.30 R + 0.59G + 0.11B B Y U= + 0.5 2 R Y V= + 0.5 1.6


As componentes YUV so analizadas de duas formas diferentes: noninterleaved e interleaved.

Teoria da Informao

Pedro Mendes Jorge

3.9

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Algoritmo JPEG Sequencial (continuao) No mtodo noninterleaved as componentes so consideradas separadamente; No mtodo interleaved as componentes YUV so agrupadas e formam o que se define como Minimum Coded Unit (MCU); formato 4:4:4 - luminncia e crominncia com igual resoluo MCU - formado com 1 Y, 1 U, 1 V formato 4:2:0 - luminncia com o dobro da resoluo das crominncias MCU - formado com 4 Y, 1 U, 1 V

Teoria da Informao

Pedro Mendes Jorge

3.10

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Exemplo do Algoritmo JPEG Sequencial


Imagem original Coeficientes DCT
1337 -38 -20 -10 -6 2 4 3 56 -27 -17 -8 1 3 4 1 -27 13 10 9 6 0 -1 0 18 44 33 17 4 -3 -2 -4 78 32 21 9 -3 -7 -9 -2 -60 -1 -6 -10 -7 -4 0 -1 27 -24 -16 -13 -5 0 2 3 -27 -10 -9 1 5 3 4 1

Coeficientes DCT Quantificados


84 -3 -1 -1 0 0 0 0 5 -2 -1 0 0 0 0 0 -3 1 1 0 0 0 0 0 1 2 1 1 0 0 0 0 3 1 1 0 0 0 0 0 -1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

Teoria da Informao

Pedro Mendes Jorge

3.11

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Exemplo do Algoritmo JPEG Sequencial (continuao)


Sequncia unidimensional (zig-zag) dos coeficientes seleccionados
84 5 -3 -1 -2 -3 1 1 -1 -1 0 0 1 2 3 -1 1 1 0 0 0 0 0 0 1 1 0 1

Ao coeficiente DC aplicado uma codificao diferencial Aos coeficiente AC aplicado uma codificao RLC ao nmero de coeficientes de valor 0 que o antecedem Sequncia dos coeficientes seleccionados com cdigos RLC
5 5 -3 -1 -2 -3 1 1 -1 -1 2 1 2 3 -1 1 1 6 1 1 1 1

Sequncia de bits
100101 100 101 01 00 00 0 01 01 01 00 00 1 00 1 00 0 00 0 11100 1 01 10 01 11 00 0 00 1 00 1 00 1 1111011 1 00 1 11 00 1 1010 EOB

Teoria da Informao

Pedro Mendes Jorge

3.12

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Teoria da Informao

Pedro Mendes Jorge

3.13

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais


Coeficientes DCT Desquantificados
1344 -36 -14 -14 0 0 0 0 55 -24 -13 0 0 0 0 0 -30 14 16 0 0 0 0 0 16 38 24 29 0 0 0 0 72 26 40 0 0 0 0 0 -40 0 0 0 0 0 0 0 51 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

Instituto Superior de Engenharia de Lisboa

Imagem reconstruda

Imagem do erro
16 7 1 4 3 2 6 6 27 7 6 4 3 7 8 7 27 29 2 9 8 2 2 5 0 13 8 0 2 5 2 8 3 0 2 0 2 0 2 5 6 0 5 4 10 5 3 9 5 0 4 7 8 4 6 4 1 2 6 1 14 12 4 12

Teoria da Informao

Pedro Mendes Jorge

3.14

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Algoritmo JPEG Progressivo A diferena deste algoritmo de codificao JPEG em relao ao anterior est no mtodo de envio dos coeficientes da DCT. Existem 2 mtodos para agrupar os coeficientes : seleco espectral; seleco por aproximaes sucessivas.
seleco espectral LSB . . . MSB

aproximaes sucessivas 0 1 2 ... 62 63 3.15

Coeficientes ordenados em zig-zag

Teoria da Informao

Pedro Mendes Jorge

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Algoritmo JPEG Progressivo Seleco Espectral Os coeficientes so ordenados em bandas espectrais onde as bandas correspondentes s menores frequncias so enviadas em primeiro lugar; Seleco por Aproximaes Sucessivas Os coeficientes so enviados em primeiro lugar com uma baixa resoluo e em seguida so refinados progressivamente; As duas tcnicas podem ser utilizadas em simultneo utilizando seleco espectral com aproximaes sucessivas.

Teoria da Informao

Pedro Mendes Jorge

3.16

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Codificao de Vdeo
Norma H.261 MPEG Descrio ITU (CCITT) Expert Group on Visual Telephony Vdeoconferncia e Vdeofone em ISDN ISO Moving Picture Expert Group Fase 1: Armazenamento de vdeo e udio digital com dbito de 1,5 Mbps; (1992) Armazenamento em CD-ROM ou em disco; Fase 2: Armazenamento de vdeo e udio digital ao ritmo de 10-20 Mbps (1994); Vdeo digital de alta definio incluindo HDTV; Fase 4: Transmisso de vdeo e udio digital a dbitos baixos (<64Kbps); (1998) Vdeofone, Internet, Video on Demand (VOD); Fase 7: Descrio dos contedos multimdia; (2001) Pesquisa, acesso e manipulao de contedos multimdia;
Pedro Mendes Jorge 3.17

Teoria da Informao

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

ITU-T H.261 Aplicao Vdeoconferncia Vdeofone Utiliza a rede digital de integrao de servios - ISDN (Integrated Services Digital Network) que pode ter dbitos p x 64Kbps, com p=1,,30. Exemplo p=1, 64Kbps = 48Kbps Vdeo + 16Kbps udio Em geral a comunicao de vdeoconferncia requer p6, ou seja, 384Kbps.

Teoria da Informao

Pedro Mendes Jorge

3.18

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

ITU-T H.261 Caractersticas importantes : Atraso mximo de 150 mseg. Implementao em hardware simples. similar ao JPEG no sentido em que utiliza a DCT como ferramenta de compresso e os coeficientes da transformada so codificados com cdigos de Huffman. No entanto, uma grande diferena reside no facto de que esta norma utiliza compensao de movimento para a predio temporal. considerado um sistema hbrido dado que tira partido da redundncia espectral e temporal
Teoria da Informao Pedro Mendes Jorge 3.19

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Compensao de Movimento Tira partido da redundncia temporal que existe entre imagens consecutivas. Existe a necessidade de estimar o movimento que ocorreu entre as imagens consecutivas. A tcnica mais utilizada para a estimao do movimento considerar o movimento por blocos, ou seja, todos os pixeis dentro de um bloco obedecem ao mesmo tipo de movimento. Um modelo simples para o movimento considerar somente translaes. Assim, para cada bloco necessrio estimar o vector de deslocamento.

Teoria da Informao

Pedro Mendes Jorge

3.20

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Compensao de Movimento
Imagem anterior (t-1)

Vector de movimento

Imagem actual (t)

Teoria da Informao

Pedro Mendes Jorge

3.21

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Compensao de Movimento Para a estimao do vector do movimento no se utiliza a imagem toda mas uma janela de procura. N + 2n2
m1
Bloco (MxN) em anlise da imagem actual

n2

N
m1

n2
Janela de procura da imagem anterior

M + 2m1

Teoria da Informao

Pedro Mendes Jorge

3.22

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Compensao de Movimento Os algoritmos de estimao do movimento do bloco diferem nos seguintes aspectos : Critrio de semelhana entre blocos; Estratgia de procura; Determinao das dimenses do bloco;

Teoria da Informao

Pedro Mendes Jorge

3.23

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Compensao de Movimento Critrio de parecena entre blocos Erro quadrtico mdio (MSE Mean Squared Error) 2 1 M N A MSE (d1 , d 2 ) = (X m, n X m + d1 , n + d 2 ) MN m =1n =1

[d , d ]
1 2

= arg min MSE (d1 , d 2 )


d1 , d 2

Erro absoluto mdio (MAE Mean Absolute Error) 1 M N A MAE (d1 , d 2 ) = X m, n X m + d1 , n + d 2 MN m =1n =1 T d1 , d 2 = arg min MAE (d1 , d 2 )

d1 , d 2

Teoria da Informao

Pedro Mendes Jorge

3.24

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Compensao de Movimento Estratgia de procura Procura em cruz

(Figura retirada de Digital Video Processing, A. Tekalp, 1995)

Teoria da Informao

Pedro Mendes Jorge

3.25

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Compensao de Movimento Estratgia de procura Procura em trs passos

(Figura retirada de Digital Video Processing, A. Tekalp, 1995)

Teoria da Informao

Pedro Mendes Jorge

3.26

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

ITU-T H.261 Para que esta norma seja compatvel com as normas de transmisso de televiso existentes, PAL, NTSC e SECAM, foi criado um formato intermdio de imagem - Common Intermediate Format, CIF.

PAL NTSC SECAM CIF


Codificador Canal Descodificador

PAL CIF NTSC SECAM

Teoria da Informao

Pedro Mendes Jorge

3.27

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

ITU-T H.261 CIF - Common Intermediate Format


Resoluo Luminncia Crominncia CIF Quarter CIF 352 x 288 176 x 144 176 x 144 88 x 72

Teoria da Informao

Pedro Mendes Jorge

3.28

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

ITU-T H.261 Multiplexagem Vdeo Hierarquia de estrutura de blocos, onde o bloco bsico composto por uma matriz de 8x8 componentes de luminncia ou crominncia. 1 Nvel - Imagem 352 x 288 pixeis (1584 blocos bsicos) 2 Nvel - Grupo de Blocos (GOB) 176 x 48 pixeis (132 blocos bsicos) 3 Nvel - Macrobloco (MB) 16 x 16 pixeis (4 blocos bsicos) 4 Nvel - Bloco bsico 8 x 8 pixeis

Teoria da Informao

Pedro Mendes Jorge

3.29

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Multiplexagem Vdeo
GOB 1 GOB 3
288 linhas

GOB 2

... ...
GOB 12
8 colunas
1 8

...
GOB 11

176 colunas

MB 1 MB 2 MB 12 MB 13 MB 23 MB 24

... ... ...

MB 11 MB 22 MB 33
48 linhas

352 colunas

Y1 Y3

Y2 Y4 C1 C2

8 Linhas
57 64

Teoria da Informao

Pedro Mendes Jorge

3.30

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Multiplexagem Vdeo Cada estrutura composta por um cabealho e dados da estrutura do nvel inferior. Imagem PSC TR PTYPE PEI PSPARE GOBs

PSC - Picture Start Code (20 bits 0000 0000 0000 0001 0000) TR - Temporal Reference (5 bits) Identifica cada imagem; PTYPE - Picture Type (6 bits) Identifica o formato das imagens (CIF ou QCIF); PEI- Picture Extra Insersion; PSPARE - Spare Bits para utilizao futura (0, 8, 16, );

Teoria da Informao

Pedro Mendes Jorge

3.31

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

GOB

GBSC

GN

GQAUNT

GEI

GSPARE

MBs

GBSC - GOB Start Code (16 bits 0000 0000 0000 0001) GN - Group Number (4 bits) Identifica cada GOB; GQUANT - Group Quantizer (5 bits) Indica um dos 31 nveis de quantificao; GEI- Group Extra Insersion; PSPARE - Spare Bits para utilizao futura (0, 8, 16, );

Teoria da Informao

Pedro Mendes Jorge

3.32

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Macrobloco

MVD MTYPE MVD CBP Bs

MBA

MQAUNT

MBA STUFFING

MBA - MB Adress (at 11 bits) Indica a posio do MB no GOB; MTYPE - MB Type (at 10 bits) Identifica o modo de compresso; MQUANT - MB Quantizer (5 bits) Indica um dos 31 nveis de quantificao; MVD - Motion Vector Data (at 11 bits) Indica o vector de movimento; CBP - Coded Block Pattern (at 9 bits) Indica os padres de codificao; Teoria da Informao Pedro Mendes Jorge 3.33

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Bloco Bsico

TCOEFF

EOB

TCOEFF - Transform Coefficient (8 bits ou at 13 bits), Indica o coeficiente da DCT ; EOB - End of Block, Indica o fim do bloco bsico (10);

Teoria da Informao

Pedro Mendes Jorge

3.34

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Algoritmo de Compresso de Vdeo 2 modos principais Intra Similar norma JPEG para compresso de imagens estticas, codificao DCT por blocos; Inter Primeiramente realizada uma predio temporal com ou sem compensao de movimento; enviado o erro de predio entre os blocos das imagens consecutivas, com codificao DCT.

Teoria da Informao

Pedro Mendes Jorge

3.35

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Algoritmo de Compresso de Vdeo Existem vrias opes por combinao de : mudana do valor do passo de quantificao; no modo inter, existncia ou no de compensao de movimento; compensao de movimento com ou sem filtragem;

Teoria da Informao

Pedro Mendes Jorge

3.36

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

A norma ITU-T H.261 no especifica os seguintes pontos : Critrio para a escolha do modo de compresso;

Estimao do vector de movimento;

Filtragem;

Teoria da Informao

Pedro Mendes Jorge

3.37

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Um algoritmo para a escolha do modo de compresso pode ser resumido nos seguintes passos: 1. Estimao do vector de movimento para cada MB; 2. Seleco do modo de compresso para cada MB baseado em critrios que envolvem o calculo do erro de predio do MB, ou seja:
dbd ( x, t ) = b( x, t ) b( x d , t 1)

dbd - displaced block difference b(.,.) - bloco x - coordenadas do bloco d - vector de movimento (diferena) 3. Processa-se cada MB gerando o seu cabealho seguido dos dados correspondente ao modo de compresso escolhido;
Teoria da Informao Pedro Mendes Jorge 3.38

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Modos de Compresso [MTYPE]


MQUANT Intra Intra Inter Inter Inter+MC Inter+MC Inter+MC Inter+MC+LF Inter+MC+LF Inter+MC+LF o o o o o o o o o o o o o o o o o o o o MVD CBP TCOEFF o o o o VLC 0001 0000 001 1 0000 1 0000 0000 1 0000 0001 0000 0000 01 001 01 0000 01

Teoria da Informao

Pedro Mendes Jorge

3.39

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

1. Estimao do vector de movimento para cada MB Compensao de movimento por blocos de 16x16 da imagem de luminncia;

As componentes do vector de movimento podem assumir valores inteiros entre 15;

Teoria da Informao

Pedro Mendes Jorge

3.40

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

2. Seleco do modo de compresso A. Em primeiro lugar a escolha do modo intra ou inter pode ser realizado com base na comparao da medida de varincia do MB original e uma medida do erro de predio, por exemplo:

MSE =

1 15 15 2 [b0 (i, j ) bMC (i, j )] 256 i = 0 j = 0

b0 - MB original bMC - MB com compensao de movimento (predito da imagem anterior)


B. O modo inter pode ser escolhido com base na medida anterior aplicada ao MB, bMC , com ou sem vector de movimento, e na opo de filtragem para remoo do efeito de bloco devido compensao do movimento.

Teoria da Informao

Pedro Mendes Jorge

3.41

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Um exemplo de uma curva para a deciso do modo intra/inter

(grfico retirado de Rao & Hwang)

Teoria da Informao

Pedro Mendes Jorge

3.42

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Um exemplo de uma curva para a deciso do modo MC/no MC

(grfico retirado de Rao & Hwang) Teoria da Informao Pedro Mendes Jorge 3.43

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Coded Block Pattern [CBP]

1 3
Y

2 4

5
CB

6
CR

CPB = 32 P1 + 16 P2 + 8 P3 + 4 P4 + 2 P5 + P6 Pn = 1 se existe algum coeficiente presente no bloco n


(tabela retirada de Rao & Hwang) Teoria da Informao Pedro Mendes Jorge 3.44

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais


CBP Code 1110 1101 1100 1011 1010 1001 1001 1000 1000 0111 0111 0110 0110 0101 0101 0100 0100 0011 0011 0011 0011 0010 0010 0010 0010 0010 0010 0010 0010 0001 0001 0001 0000 0000 0000 0000 1000 1000 0000 1000 0000 1000 0000 1000 0000 1000 0000 1000 0000 1100 1000 0100 0000 1110 1100 1010 1000 0110 0100 0010 0000 1111 1110 1101 CBP 35 13 49 21 41 14 50 22 42 15 51 23 43 25 37 26 38 29 45 53 57 30 46 54 58 31 47 55 59 27 39 Code 0001 0001 0001 0001 0001 0001 0001 0001 0001 0001 0001 0001 0001 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 1100 0 1011 0 1010 0 1001 0 1000 0 0111 0 0110 0 0101 0 0100 0 0011 0 0010 0 0001 0 0000 0 1111 0 1110 0 1101 0 1100 0 1011 0 1010 0 1001 0 1000 0 0111 0 0110 0 0101 0 0100 0 0011 1 0011 0 0010 1 0010 0 0001 1 0001 0

Instituto Superior de Engenharia de Lisboa

Coded Block Pattern [CBP]

60 64 68 16 32 12 48 20 40 28 44 52 56 61 61 62 62 24 36 63 63 65 69 17 33 66 10 18 34 37 11 19

Teoria da Informao

Pedro Mendes Jorge

3.45

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Quantificao e Codificao dos Coeficientes da DCT [TCOEFF] Limiarizao Com o intuito de diminuir o nmero de coeficientes a enviar realizado para cada coeficiente um processo de limiarizao varivel que depende do passo de quantificao. Quantificao Os coeficientes da DCT so quantificados uniformemente. O parmetro QUANT (G ou M) varia entre 1 e 31; O passo de quantificao dado por 2*QUANT (varia entre 2 e 62, de 2 em 2); O passo de quantificao igual dentro de cada MB.

Teoria da Informao

Pedro Mendes Jorge

3.46

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Quantificador para o coeficiente DC Intra

Quantificador para os restantes coeficientes

(grficos retirados de Rao & Hwang) Teoria da Informao Pedro Mendes Jorge 3.47

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Coeficientes quantificados (TCOEFF) so ordenados em zig-zag: Codificao dos pares (RUN , LEVEL )
RUN nmero de coeficientes consecutivos com valor 0; LEVEL nvel do coeficiente quantificado;

(visualizar tabelas)

REC = 0 se LEVEL = 0 REC = QUANT ( 2 LEVEL + 1) 1* REC = QUANT ( 2 * LEVEL 1) + 1*


Teoria da Informao

LEVEL > 0 LEVEL < 0

* se QUANT impar

Pedro Mendes Jorge

3.48

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Memria de Sada Dado que o processo de gerao de bits descrito anteriormente no tem um dbito constante, existe uma memria de sada que permite transformar este dbito varivel num dbito constante e assim ser aplicado a um ou mais canais ISDN. Para que a memria no encha ou no fique vazia, existem determinados procedimentos para controlar a sua capacidade : Modificar o passo de quantificao; Introduzir bit stuffing;

Teoria da Informao

Pedro Mendes Jorge

3.49

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Diagrama de Blocos da Codificao de Vdeo na norma ITU-T H.261

(diagrama retirado de Rao & Hwang) Teoria da Informao Pedro Mendes Jorge 3.50

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Norma MPEG-1 Objectivo Desenvolvimento de um algoritmo flexvel de codificao para o armazenamento de udio e vdeo num suporte digital como seja o CD-ROM ou DAT com um dbito binrio at 1,5 Mbps. Caractersticas Principais Define uma sintaxe e uma semntica para a criao da sequncia de bits; Acesso aleatrio s diferentes imagens da sequncia vdeo; Capacidade de procura rpida para a frente ou para trs da sequncia vdeo; Atrasos mximos na codificao/descodificao de 1seg. aproximadamente;

Teoria da Informao

Pedro Mendes Jorge

3.51

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Formato de Entrada Standard Input Format - SIF


ITU-R 601 NTSC PAL SECAM SIF Pr-processamento Codificador Descodificador SIF Ps-processamento ITU-R 601 NTSC PAL SECAM

N m ero de colun as N m ero de linh as D bito de im agen s N m ero de M B po r im agem D bito de M B D bito bin rio

768 pixeis 576 pixeis 30 im agen s/seg 396 9900 M B/seg 1.856.000 bits/seg

Teoria da Informao

Pedro Mendes Jorge

3.52

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Estrutura de Dados 6 nveis hierrquicos 1 Sequncia - formada por vrios grupos de imagens; 2 Grupo de Imagens (GOP- Group of Pictures) - formada por vrias imagens; 3 Imagem - Intra (I), Predicted (P), Bidirectional (B) e DC (D); 4 Slice - formado por Macro Blocos; 5 Macro Bloco - composto por 4 blocos Y, 1 U e 1 V; 6 Bloco - composto pela matriz de pixeis de dimenso 8x8 que codificada com a DCT;
Teoria da Informao Pedro Mendes Jorge 3.53

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Estrutura de Dados

(figura retirada de Rao & Hwang) Teoria da Informao Pedro Mendes Jorge 3.54

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Estrutura da Sequncia de Bits

Teoria da Informao

Pedro Mendes Jorge

3.55

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

1 Sequncia Cabealho - SHC (Sequence Header Code), dimenso das imagens, relao entre a altura e a largura do pixel (aspect ratio), dbito de imagens, dbito binrio, dimenso do buffer do descodificador e matrizes de quantificao; 1 ou mais grupos de imagens (GOPs) EOS - End Of Sequence

Teoria da Informao

Pedro Mendes Jorge

3.56

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

2 Grupo de Imagens (GOP- Group of Pictures) um grupo de imagens que forma uma sequncia consecutiva para visualizao; iniciado com uma imagem I ou B e termina com uma imagem I ou P; O comprimento mnimo de uma imagem I e o comprimento mximo no especificado; O comprimento do GOP est relacionado com o tipo de compresso das imagens que o compem, ou seja, se j foram codificadas/transmitidas todas as imagens necessrias para gerar a sequncia completa.

Teoria da Informao

Pedro Mendes Jorge

3.57

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

3 Imagem Imagem I (Intra) - Utiliza somente codificao por transformada e serve como ponto para o acesso aleatrio sequncia de vdeo codificada. Todos os blocos so codificados com DCT, quantificados e aplicado um cdigo de comprimento varivel (como na norma JPEG). As imagens I so utilizadas no algoritmo de predio das imagens P e B. Imagem P (Predicted) - codificada utilizando compensao de movimento de uma imagem I ou P anterior ! . Esta tcnica chamada predio posterior (forward) de I/P para P. Este modo similar ao modo Inter da norma H.261. As imagens P so utilizadas no algoritmo de predio das imagens P ou B.

Teoria da Informao

Pedro Mendes Jorge

3.58

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

3 Imagem (cont.)

Imagem B (Bidireccional) - codificada utilizando como referncia imagens posteriores ou anteriores ! . chamada predio bidireccional dado que pode utilizar predio posterior, anterior (backward) ou ambas.

Imagem D (DC) - um caso especial da imagem I (Intra) onde somente contm os coeficientes DC de cada bloco. So utilizadas quando se pretende rapidez mas tm uma qualidade limitada.

Teoria da Informao

Pedro Mendes Jorge

3.59

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

(figura retirada de Rao & Hwang) Teoria da Informao Pedro Mendes Jorge 3.60

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

4 Slice importante para o tratamento dos erros. Se um slice estiver corrompido com rudo pode saltar-se para o prximo slice. O nmero de slices numa imagem pode variar de 1 at ao nmero total de MB. O cabealho do slice contm um cdigo de incio, a sua posio na imagem e o factor de escalamento da matriz de quatificao.

Teoria da Informao

Pedro Mendes Jorge

3.61

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

5 Macro Bloco praticamente igual definio utilizada na norma H.261. O cabealho contm informao sobre : MBA, tipo de compresso, factor de escalamento da matriz de quantificao, vector de movimento e CBP.
Imagem I Intra Intra-A Imagem P Intra Intra-A Inter-D Inter-DA Inter-F Inter-FD Inter-FDA Skipped Imagem B Intra Intra-A Inter-F Inter-FD Inter-FDA Inter-B Inter-BD Inter-BDA Inter-I Inter-ID Inter-IDA Skipped

Tipos de MB

Teoria da Informao

Pedro Mendes Jorge

3.62

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Modos de Compresso na Imagem I Intra - Utiliza a matriz de quantificao sem escalamento; Intra-A - Utiliza a matriz de quantificao com escalamento especificado em MQUANT;
8 16 19 22 22 26 26 27 16 16 22 22 26 27 27 29 19 22 26 26 27 29 29 35 22 24 27 27 29 32 34 38 26 27 29 34 27 29 34 37 29 34 34 38 29 34 37 40 32 135 140 48 35 140 148 58 38 46 56 69 46 56 69 83

Teoria da Informao

Pedro Mendes Jorge

3.63

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Modos de Compresso na Imagem P Permite predio com compensao de movimento baseada na imagem I ou P anterior. Nos modos intra e intra-A o MB codificado independentemente tal como na imagem I. Nos modos inter realizada predio: Inter-D - envia os coeficientes DCT do erro de predio; Inter-F - envia o vector de movimento; Inter-A - envia o factor de escalamento da matriz de quantificao; skipped - indica que utilizado o mesmo bloco da imagem anterior.
Teoria da Informao Pedro Mendes Jorge 3.64

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Modos de Compresso na Imagem B Pode ser utilizado predio com compensao de movimento bidireccional (codificao com interpolao), ou seja, utilizando as imagens I ou P adjacentes.

(Figura retirada de Digital Video Processing, A. Tekalp, 1995)

Teoria da Informao

Pedro Mendes Jorge

3.65

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

~ ~ b = 1c1 + 2 c2 com 1 , 2 = 0;0,5;1 1 + 2 = 1

Se 1 = 1 e 2 = 0 - predio posterior; Se 1 = 0 e 2 = 1 - predio anterior; Se 1 = 0,5 e 2 = 0,5 - predio bidireccional;

Teoria da Informao

Pedro Mendes Jorge

3.66

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Vantagens Permite lidar melhor com o problema da ocluso; Predio baseada em 2 imagens pode melhorar a SNR; Como as imagens B no so utilizadas para a predio de novas imagens, podem ser codificadas com menos bits sem provocarem propagao de erros. Desvantagens necessrio ter 2 buffers no codificador e descodificador; Se forem enviadas muitas imagens B seguidas, aumenta o atraso na codificao/descodificao e diminui a correlao entre as imagens de referncia provocando o aumento de bits para a codificao.
Teoria da Informao Pedro Mendes Jorge 3.67

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Nos modos intra e intra-A o MB codificado independentemente tal como na imagem I. Nos modos inter realizada predio: Inter-D - envia os coeficientes DCT do erro de predio; Inter-F - envia o vector de movimento correspondente ao modo posterior (forward); Inter-B - envia o vector de movimento correspondente ao modo anterior (backward); Inter-I - envia os vectores de movimento correspondentes aos modos posterior e anterior; Inter-A - envia o factor de escalamento da matriz de quantificao; skipped - indica que utilizado o mesmo bloco da imagem anterior.

Teoria da Informao

Pedro Mendes Jorge

3.68

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Sequncia de Imagens Codificadas

(exemplos retirados de Rao & Hwang) Teoria da Informao Pedro Mendes Jorge 3.69

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Codificador e Descodificador MPEG-1 Estimao de movimento; Predio com compensao de movimento; Seleco do modo de compresso (MTYPE); Seleco do factor de escalamento da matriz de quantificao (MQUANT); Quantificao e desquantificao; DCT e DCT inversa; Codificao com palavras de cdigo de comprimento fixo e varivel; Multiplexagem; Memria e a sua gesto;
Teoria da Informao Pedro Mendes Jorge 3.70

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Codificador e Descodificador MPEG-1 O nmero de imagens I, P e B num GOP depende da aplicao, no entanto a norma impem que, no mnimo, exista uma imagem I num grupo de 132 imagens. A utilizao de imagens B opcional. A norma no especifica o algoritmo de deteco de movimento nem as escolhas do modo de compresso (MTYPE) e do factor de escalamento da matriz de quantificao (MQUANT) . Pode ser utilizada preciso de

1 pixel. 2

Teoria da Informao

Pedro Mendes Jorge

3.71

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Codificador e Descodificador MPEG-1 Em geral um codificador utiliza os seguintes passos: 1. Deciso do tipo de imagens (I, P ou B) no GOP; 2. Estimao do vector de movimento de cada MB nas imagens P e B; 3. Determinao do modo de compresso para cada MB; 4. Escolha do factor de escalamento da matriz de quantificao se necessrio;

Teoria da Informao

Pedro Mendes Jorge

3.72

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Comparao entre as normas H.261 e MPEG-1

(Tabela retirada de Digital Video Processing, A. Tekalp, 1995)

Teoria da Informao

Pedro Mendes Jorge

3.73

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Norma MPEG2 (ISO/IEC 13818) (ITU-T H.262) Objectivos Codificao de vdeo de alta qualidade (at 20 Mb/s): exemplos de aplicao : video on demand (VOD), televiso digital, armazenamento em DVD, HDTV; Compatibilidade com vdeo entrelaado (CCIR601, PAL, NTSC); Codificao escalvel para adaptao a canais com diferentes larguras de banda ou largura de banda varivel; Extenso compatvel do MPEG-1 para permitir uma maior diversidade de dbitos e resolues.
Teoria da Informao Pedro Mendes Jorge 3.74

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Perfis (Profiles) Definem subconjuntos da sintaxe global que implicam nveis de complexidade diferentes nos algoritmos de codificao/descodificao [4]; Nveis (Levels) Definem restries de alguns parmetros dos bitstream - um determinado Nvel corresponde a determinados valores mximos de resoluo espacial, temporal e bit rate [4].

Teoria da Informao

Pedro Mendes Jorge

3.75

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Perfis e Nveis

Teoria da Informao

Pedro Mendes Jorge

3.76

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Perfis e Nveis O perfil 4:2:2 e multiview foram desenvolvidos posteriormente definio do MPEG-2; Compatibilidade com os perfis e nveis anteriores; Low Level SIF Main Level - CCIR601 (SDTV compatvel com PAL e NTSC) High Level - HDTV Simple Profile utilizado em aplicaes de vdeo conferncia; Main Profile utilizado na maior parte das aplicaes do MPEG-2: MP@ML - DVD vdeo; MP@HL - HDTV (H1440 Europa);
Teoria da Informao Pedro Mendes Jorge 3.77

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Vdeo Progressivo e Entrelaado


Progressivo Entrelaado

imagem t

field 1

field 2

imagem t

Teoria da Informao

Pedro Mendes Jorge

3.78

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Vdeo Progressivo e Entrelaado Tipo de imagens em MPEG-2 Vdeo progressivo Frame Picture Tipo I,P ou B Vdeo entrelaado Frame Picture Tipo I,P ou B Field Picture Tipo I,P ou B

Exemplo de um GOP de vdeo entrelaado com 4 imagens

P I
Teoria da Informao

P B

Pedro Mendes Jorge

3.79

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Codificao de Vdeo Entrelaado Frame Picture


8 8 8

field 1 field 2

Field Picture Os campos (fields) so tratados como imagens separadas. Se o primeiro campo (field 1) for do tipo I, o segundo campo (field 2) do tipo I, P ou B; Se o primeiro campo for do tipo P ou B, o segundo campo do mesmo tipo.
Teoria da Informao Pedro Mendes Jorge 3.80

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Codificao de Vdeo Entrelaado Compensao de Movimento (1 de 3)


16 16 8 16 8

frame prediction from frame picture 1 (P) ou 2 (B) vectores de movimento


Teoria da Informao Pedro Mendes Jorge

field prediction from frame picture 2 (P) ou 4 (B) vectores de movimento


3.81

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Compensao de Movimento (2 de 3)
16 16 16 8 16 16 8

field prediction from field picture 1 (P) ou 2 (B) vectores de movimento por cada campo

16x8 prediction from field picture 2 (P) ou 4 (B) vectores de movimento


3.82

Teoria da Informao

Pedro Mendes Jorge

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Compensao de Movimento (3 de 3) Dual-prime MC utilizado somente em imagens do tipo P

Teoria da Informao

Pedro Mendes Jorge

3.83

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Codificao de Vdeo Entrelaado


8 8 8 8

8 8

Frame-DCT
8 8 8

8 8

8 8

8 8

Field-DCT
8 8 8

Teoria da Informao

Pedro Mendes Jorge

3.84

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Codificao de Vdeo Entrelaado

Zig-zag scan (progressivo)

Anternate scan (entrelaado)

Teoria da Informao

Pedro Mendes Jorge

3.85

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Modos de Codificao Escalveis (Scalable) O sinal de vdeo codificado de forma hierrquica, em vrias camadas; As camadas correspondem a bitstreams que podem ser transmitidos em canais diferentes; Apenas a camada base (base layer) pode ser descodificada independentemente das outras - as camadas superiores dependem das inferiores; Diversos parmetros de qualidade do sinal so incrementados quando se descodifica as camadas superiores: SRN, resoluo espacial ou resoluo temporal [4]; SNR Scalability - 2 escalas de relao sinal/rido; Spatial Scalability - 2 escalas de resoluo espacial; Temporal Scalability - 2 escalas de dbito de imagens; Hybrid Scalability - combinao de dois dos mtodos anteriores.
Teoria da Informao Pedro Mendes Jorge 3.86

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

SNR Scalability

Codificador

Descodificador

Teoria da Informao

Pedro Mendes Jorge

3.87

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Spacial Scalability

Codificador

Descodificador

Teoria da Informao

Pedro Mendes Jorge

3.88

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Temporal Scalability desenhado para sistemas que necessitam de diferentes resolues temporais ou dbitos de imagens (frame-rate) varivel: A camada base codificada a um dbito inferior; A camada base serve para a compensao de movimento das camadas superiores. Hybrid Scalability Os modos anteriores podem ser combinados (2 a 2) formando 3 modos hbridos de codificao escalvel; Por exemplo, o modo hbrido SNR-Spatial utilizado em SDTV/HDTV ou videophone/SDTV;
Teoria da Informao Pedro Mendes Jorge 3.89

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Sequncia de bits em MPEG-2

Se Sequence Extension no existe utilizada a sintaxe do MPEG-1, caso contrrio utilizada a sintaxe do MPEG-2; Sequence Extension inclui a definio do perfil/nvel, modo progressivo/entrelaado, modo escalvel, etc. Picture Coding Extension contm informao sobre tipo frame/field, alternatre scan, matriz de quantificao, etc.
Teoria da Informao Pedro Mendes Jorge 3.90

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Outros aspectos da Codificao MPEG-2 Os macroblocos intra-DC so quantificados com passos de quantificao que podem ser de 8, 4, 2 ou 1 (em MPEG-1 sempre de 8);

Os coeficientes AC so quantificados entre [-2048, 2047] em oposio a [-256, 255] como no MPEG-1;

O parmetro MQUANT pode, adicionalmente, tomar valores reais entre 0,5 e 56.

Teoria da Informao

Pedro Mendes Jorge

3.91

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Norma MPEG4 (ISO/IEC 14496) Objectivos Codificao de vdeo e udio a dbitos baixos; Aplicaes Multimdia texto, fala, msica, imagens, grficos e vdeo; Codificao de vdeo baseada em objectos com atribuio de diferentes bit streams/bit rates; Interactividade; Aplicaes Comunicaes multimdia, internet, VOD, jogos de vdeo interactivos, vigilncia, etc.
Teoria da Informao Pedro Mendes Jorge 3.92

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Representao da informao associada imagem [3]

Teoria da Informao

Pedro Mendes Jorge

3.93

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Representao Baseada em Objectos Audiovisual Object - AVO objecto visual; objecto udio; combinao dos anteriores. Objecto visual pode ser natural ou sinttico; Objecto udio pode ser : 1) natural ou sinttico, 2) mono, stereo ou multicanal (ex: som surround). Descrio dos AVO (espao-temporal) e representao da cena. Permite interactividade.
Teoria da Informao Pedro Mendes Jorge 3.94

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Ferramentas de Codificao Video object coding: codificao de vdeo natural ou sinttico, rectangular ou de objectos vdeo de forma arbitrria; Mesh object coding: codificao de objectos visuais representados por modelos poligonais (mesh); Model-based codig: codificao de representaes sintticas da face e do corpo humano; Still texture coding: codificao de texturas estticas;

Teoria da Informao

Pedro Mendes Jorge

3.95

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Video Object Coding Um objecto vdeo (VO) um segmento arbitrrio de vdeo que tem um significado semntico. A instanciao bidimensional de um objecto vdeo num determinado momento define um plano do objecto vdeo (VOP object video plane). Um VOP caracterizado pelas suas textura (luminncia e crominncia) e forma.

Teoria da Informao

Pedro Mendes Jorge

3.96

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Video Object Coding A codificao do VOP envolve a codificao da forma, a compensao de movimento e codificao da textura baseado na DCT. A codificao do VOP realizada ao nvel do conjunto mnimo de macroblocos de forma rectangular que contm o VO.

A codificao pode ser I, P, ou B.

Teoria da Informao

Pedro Mendes Jorge

3.97

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Diagrama de blocos do codificador MPEG4 para VOPs [3]

Teoria da Informao

Pedro Mendes Jorge

3.98

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Texture Coding

Inside blocks codificao com DCT (como em MPEG1/2); Boundary blocks codificao com Shape-Adaptive DCT (SA-DCT); Outside block no so codificados; Os coeficientes DCT so quantificados, ordenados em zig-zag e aplicado um VLC.

Teoria da Informao

Pedro Mendes Jorge

3.99

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Shape Coding

Bitmap-based shape coding Forma - binary alpha plane Informao se o pixel pertence ou no ao objecto; Transparncia gray-scale alpha plane Informao do nvel de transparncia, 0 (transparente) a 255 (opaco).
Teoria da Informao Pedro Mendes Jorge 3.100

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Sprite Coding utilizado para a codificao de VO estticos.

Teoria da Informao

Pedro Mendes Jorge

3.101

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Mesh Object Coding Representao de objectos visuais naturais ou sintticos e texturas estticas com modelos poligonais bidimensionais. Os vrtices das formas triangular definem os ns e podem ser utilizados para a representao do movimento dos objectos. O correspondente do VOP chama-se MOP (mesh object plane).

Teoria da Informao

Pedro Mendes Jorge

3.102

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Mesh Object Coding Intracoding Intercoding

Teoria da Informao

Pedro Mendes Jorge

3.103

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Exemplos de Mesh Object [3]

Teoria da Informao

Pedro Mendes Jorge

3.104

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Model-Based Coding Cada objecto tem uma representao sinttica 3D (modelo). Codificao dos parmetros que descrevem o modelo e o seu comportamento. Face Object Model Body Object Model Cada modelo da face ou do corpo humano tem associado um conjunto de parmetros (FDP face definition parameters ou BDP body definition parameters); Cada movimento da face ou do corpo humano controlado por um conjunto de parmetros (FAP face animation parameters ou BAP body animation parameters);
Teoria da Informao Pedro Mendes Jorge 3.105

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Face Object Model 82 feature points 68 low-level animation

low-level expressions high-level expressions

Teoria da Informao

Pedro Mendes Jorge

3.106

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Codificao escalvel: - frame-based temporal, spatial and quality (SNR) scalability; - object-based scalability (spatial and temporal). Perfis

Teoria da Informao

Pedro Mendes Jorge

3.107

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Teoria da Informao

Pedro Mendes Jorge

3.108

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Norma MPEG7 (ISO/IEC 18034) Objectivos Define uma norma para a descrio do contedo dos objectos audiovisuais. ...what is represented is not the information itself but the information about the information. Permita a pesquisa, acesso e manipulao de contedos multimdia (featurebased versus text-based). Procurar sequncias vdeo onde apaream carros desportivos vermelhos Low-level features: textura, forma ou cor; High-level features
Teoria da Informao Pedro Mendes Jorge 3.109

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Descrio Visual 1. Descritores (Descriptors-D) Um determinado contexto visual representado por caractersticas (ex: textura); Os descritores so atributos que representam essas caractersticas.

Teoria da Informao

Pedro Mendes Jorge

3.110

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Teoria da Informao

Pedro Mendes Jorge

3.111

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

2. Esquema de Descritores (Description Scheme-DS) Define um par {S, R}, onde S define um conjunto de componentes e R um conjunto de inter-relaes entre os componentes de S. Os componentes podem ser descritores, descritores e outros esquemas de descritores ou esquemas de descritores. 3. Linguagem de Definio de Descritores (Description Definition Language-DDL) Define a linguagem utilizada para especificar o esquema de descritores. Inclui regras sintcticas e semnticas.

Teoria da Informao

Pedro Mendes Jorge

3.112

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Bibliografia
[1] - A. Tekalp, Digital Video Processing, Prentice-Hall, 1995; [2] - R. Clarke, Digital Compression of Still Images and Video, Academic Press, 1996; [3] A. Bovik, Handbook of Image & Video Processing, Academic Press, 2000; [4] S. Faria, Televiso Digital - MPEG 2 Vdeo, Seminrio Ordem dos Engenheiros, 2000. [5] K. Rao & J. Hwang, Techniques & Standards for Image, Video and Audio Coding, Prentice Hall, 1996

Teoria da Informao

Pedro Mendes Jorge

3.113