TP301 - Codificao de Fonte

Rausley A. A.
de Souza-2011
Introduo Teoria da Informao:
Codificao de Fonte
PS-GRADUAO EM ENGENHARIA
DE REDES E SISTEMAS DE
TELECOMUNICAES
Prof. Rausley Adriano Amaral de Souza
rausley@inatel.br
2
Rausley A. A. de Souza-2011
Contedo
A Entropia como uma medida bsica de
informao.
O Teorema da Codificao de Fonte e
algoritmos de compactao de dados.
Informao Mtua e sua relao com a
capacidade do canal de informao para a
transmisso de informao.
Teorema da Codificao de Canal como base
para comunicaes confiveis.
Teorema da Capacidade de Informao como a
base para a soluo de compromisso entre a
largura de faixa do canal e a relao sinal-rudo.
3
Format
Source
encode
Encrypt
Channel
encode
Multiplex
Pulse
modulate
Bandpass
modulate
Frequency
spread
Multiple
Access
X
M
T
C
h
a
n
n
e
l
Format
Source
decode
Decrypt
Channel
decode
Demulti-
plex
Detect
Demod-
ulate &
Sample
Frequency
despread
Multiple
Access
R
C
V
Synch-
ronization
Information
source
Information
sink
Digital
input
Digital
output
h
c
(t)
Channel
impulse
response
Optional
Essential
Bit stream
Digital
baseband
waveform
Digital
bandpass
waveform
From other
sources
To other
destinations
Block diagram of a typical digital communication system
4
Referncias Bibliogrficas
Este material est baseado nas seguinte referncias:
Notas de Aulas do prof. Geraldo Gil. Limites Fundamentais na Teoria da
Informao.
Sistemas de Comunicao. Analgicos e Digitais. Simon Haykin. 4 Edio.
Bookman
Digital Communications Fundamentals and Applications. Bernard Sklar.
Second Edition. Prentice Hall.
A Universal Algorithm for Sequential Data Compression. Lempel-Ziv Paper:
IEEE Transactions on Information Theory, 23(3), pp. 337343, May 1977.
http://www.cs.duke.edu/courses/spring03/cps296.5/papers/ziv_lempel_1977
_universal_algorithm.pdf
Shannon Paper: http://www.stanford.edu/class/ee104/shannonpaper.pdf
A Mathematical Theory of Communication. C. E. SHANNON:
http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf
Huffman's original article: D.A. Huffman, "A Method for the Construction of
Minimum-Redundancy Codes", Proceedings of the I.R.E., September 1952,
pp 10981102
http://compression.ru/download/articles/huff/huffman_1952_minimum-
redundancy-codes.pdf
Proof of the Kraft-McMillan Inequality:
http://www.cl.cam.ac.uk/teaching/2004/InfoTheory/proofKraftMcMillan.pdf
5
Duas questes fundamentais
Qual a complexidade irredutvel abaixo
da qual um sinal no pode ser
comprimido?
Qual a mxima taxa de transmisso
para uma comunicao confivel em um
canal ruidoso?
Resposta: codificao de fonte
(comunicao eficiente) e codificao de
canal (comunicao confivel).
6
Incerteza, Informao e Entropia
Seja um experimento probabilstico que envolva
a observao da sada de uma fonte de eventos
discretos em unidades de intervalo de tempo
(intervalo de sinalizao).
Estes eventos podem ser modelados como
variveis discretas aleatrias (s
k
) que fazem
parte de um conjunto ou alfabeto (S).
S = {s
0
, s
1
, ... , s
K-1
}
probabilidades P(S = s
k
) = p
k
, para k = 0, 1, ... , K-1.
1
1
0
=
=
K
k
k
p
7
Smbolos emitidos pela fonte sejam
estatisticamente independentes
Fonte discreta sem memria (tem o
sentido de que o smbolo emitido a
qualquer tempo independente de uma
escolha prvia).
Um sistema com realimentao no
uma fonte discreta sem memria
8
Antes de o evento S = s
k
ocorrer, h incerteza.
Quando o evento S = s
k
ocorre, h surpresa.
Depois da ocorrncia do evento S = s
k
, h
ganho na quantidade de informao, cuja
essncia pode ser vista como a resoluo da
incerteza.
Incerteza ou surpresa: Se no h surpresa no
h informao.
A quantidade de informao, I(s
k
), obtida por um
evento, s
k
( ) bits
1
log
2
|
|
\
|
=
k
k
p
s I
9
Propriedades da Quantidade de
Informao
Evidentemente, se estivermos absolutamente certos
do resultado de um evento, mesmo antes de ele
ocorrer, nenhuma informao ser ganha.
Isto equivale a dizer que a ocorrncia de um evento
S = s
k
fornece alguma informao ou no fornece
qualquer informao, jamais provoca perda de
informao
( ) 1 para 0 . 1 = =
k k
p s I
( ) 1 0 para 0 . 2
k k
p s I
10
Propriedades da Quantidade de
Informao
Ou seja, quanto menos provvel um evento
for, mais informao ganharemos quando ele
ocorrer.
Se s
k
e s
l
forem estatisticamente
independentes.
( ) ( )
l k l k
p p s I s I < > ento . 3
( ) ( ) ( )
l k l k
s I s I s s I + = . 4
11
Exemplo
Admitamos que p indique a probabilidade de algum
evento. Represente graficamente a quantidade de
informao obtida pela ocorrncia deste evento para
0 p 1.
12
Entropia
A mdia da quantidade de informao I(s
k
)
de uma fonte de alfabeto (S) dada por
H(S) definida como entropia.
A entropia determina a quantidade mdia
de informao por smbolo (evento) da
fonte.
( ) ( ) [ ]
( )

=
|
|
\
|
=
=
1
0
2
1
log
K
k
k
k
k
p
p H
s I E H
S
S
13
Propriedades da Entropia
onde K o nmero de smbolos do alfabeto da
fonte
H(S) = 0, se e somente se a probabilidade
p
k
= 1 para um dado valor de k e todas as
outras probabilidades so iguais a zero. Neste
caso no h incerteza.
H(S) = log
2
K, se e somente se p
k
= 1/K, ou
seja, todos os smbolos so equiprovveis.
Neste caso a incerteza mxima.
( ) K H
2
log 0 S
14
Exemplo
Considere uma fonte
discreta sem memria
que emite os
smbolos
s
0
= 0 e s
1
= 1, com
probabilidades p
0
e
p
1
, respectivamente.
Dica:
0 quando 0 log x x x
( ) ( ) ( ) bits 1 log 1 log
0 2 0 0 2 0
p p p p S H =
15
Exemplo
Uma fonte emite um de quatro smbolos possveis
durante cada intervalo de sinalizao. Os smbolos
ocorrem com probabilidades p
0
=0.4, p
1
=0.3, p
2
=0.2 e
p
3
=0.1. Encontre a quantidade de informao obtida
observando-se a emisso desses smbolos pela fonte.
16
Exemplo
Uma fonte emite um de quatro smbolos s
0
, s
1
, s
2
e s
3
com probabilidades 1/3, 1/6, 1/4 e 1/4, respectivamente.
Os smbolos sucessivos emitidos pela fonte so
estatisticamente independentes. Calcule a entropia da
fonte.
17
Exemplo
Calcule a mdia de informao, em bits/caractere, para
o idioma ingls, assumindo que cada um dos 26
caracteres no alfabeto ocorrem com igual probabilidade.
No considere os espaos e pontuaes.
Como sabido, os caracteres no alfabeto no aparecem
com igual frequncia no idioma ingls (ou em qualquer
outro idioma), a resposta anterior representar um
limitante superior na quantidade mdia de informao
por caractere. Refaa os clculos assumindo que os
caracteres ocorrem com as seguintes probabilidades:
p = 0.10: para as letras a, e , o, t
p = 0.07: para as letras h, i, n, r, s
p = 0.02: para as letras c, d, f, l, m, p, u, y
p = 0.01: para as letras b, g, j, k, q, v, w, x,z
18
Teorema da Codificao de Fonte
Transmisso eficiente
Necessidade de conhecimento da estatstica da
fonte
Cdigo Morse (cdigo de tamanho varivel)
e representada por um
q representada pela sequncia - - -.
19
Codificador de fonte
Objetivo: retirar redundncia
Eficincia: De maneira geral, quanto menor o
nmero de dgitos para a representao da
mensagem melhor o sistema
Classificao dos cdigos de fonte
Comprimento fixo
Comprimento varivel
Se alguns smbolos so mais provveis que
outros, os cdigos de comprimento varivel so
mais eficientes
20
Cdigo ASCII
b
1
,b
2
,b
3
,b
4
,b
5
,b
6
,b
7
Souce: Wikipedia: http://en.wikipedia.org/wiki/ASCII
21
Comprimento mdio
onde l
k
o nmero de bits mdio da palavra
cdigo correspondente ao smbolo k.
Admitamos que L
min
seja o valor mnimo
possvel de . Definimos, ento, a eficincia
de codificao como
=
=
1
0
K
k
k k
l p L
L
L
min
=
L
22
Exemplo
Um arquivo com 10k smbolos transmitido. Quantos
bits, em mdia, so transmitidos com os cdigos I e II.
111 11 0,125 S
3
110 10 0,125 S
2
10 01 0,250 S
1
0 00 0,500 S
0
Cdigo II Cdigo I Probabilidade Smbolo
23
Primeiro Teorema de Shannon
Teorema da Codificao de Fonte: Dada uma
fonte discreta sem memria de entropia H(S), o
comprimento mdio das palavras cdigos para
um esquema de codificao livre de distoro
limitado como
A entropia H(S) representa um limite fundamental ao
nmero mdio de bits por smbolo da fonte
necessrio para representar uma fonte discreta sem
memria no sentido de que ele pode ser to pequeno
quanto a entropia H(S), mas no menor do que ela.
( ) S H L
24
Eficincia de codificao
Uma vez que o Teorema da Codificao
de Fonte admite que , ento o maior
valor possvel para a eficincia de
codificao de fonte igual a unidade.
( )
L
H S
=
( ) S H L =
25
Compactao de Dados
Transmisso eficiente: informaes redundantes
devem ser removidas do sinal que ser
transmitido.
Compactao: no h perda de informao
(compresso sem perdas),
Compresso: admite-se perda de informao.
Na compactao de dados, o processo de
codificao de fonte limitado,
necessariamente, pela entropia da fonte.
A compactao de dados obtida atribuindo-se
descries breves aos resultados mais
frequentes da sada de fonte e descries mais
longas aos menos frequentes.
26
Codificao de Prefixo
Um cdigo prefixo aquele que nenhuma
palavra cdigo prefixo para qualquer outra
palavra cdigo (singularmente decodificvel).
Exemplos de cdigos de fonte
0111 111 11 0,125 S
3
011 110 00 0,125 S
2
01 10 1 0,25 S
1
0 0 0 0,5 S
0
Cdigo III Cdigo II Cdigo I Probabilidade Smbolo
27
Decodificao de um
Cdigo de Prefixo
rvore de decodificao para o Cdigo II.
Decodificao inequvoca e instantnea.
Decodifique 1011111000
28
Desigualdade de Kraft-McMillan
Uma condio necessria, mas no
suficiente, para que um cdigo possa ser
um cdigo prefixo
Exemplo para os cdigos I, II e III
1 2
1
0

K
k
l
k
29
Propriedades adicionais
Se a probabilidade de um evento igual ao inverso da
base numrica da codificao elevado ao comprimento
da palavra cdigo correspondente a este evento, ou seja
ento
Entretanto, isso uma casualidade uma vez que
necessrio que a correspondncia estabelecida ocorra
para todas as probabilidades e suas respectivas
palavras cdigos. Para esta condio particular, diz-se
que o cdigo prefixo est casado com a fonte.
k
l
k
p

= 2
( ) S H L =
30
Exemplo
Analise os quatro cdigos relacionados abaixo.
a) Dois desses quatro cdigos so cdigos-prefixo.
Identifique-os e construa suas rvores de deciso
individuais.
b) Aplique a desigualdade de Kraft-McMillan aos
cdigos. Discuta os resultados.
111 111 0011 1111 S
4
110 110 0010 1110 S
3
10 011 001 110 S
2
01 01 01 10 S
1
00 0 0 0 S
0
Cdigo IV Cdigo III Cdigo II Cdigo I Smbolo
31
Algoritmo de Huffman
Exemplo de Cdigo de Prefixo
Os smbolos da fonte so listados em ordem decrescente de
probabilidade. Aos dois smbolos de menor probabilidade,
localizados no p da coluna, so atribudos os 0 e 1.
Os dois smbolos de menor probabilidade so agrupados em um
nico smbolo, cuja probabilidade a soma das probabilidades. As
probabilidades so novamente listadas em ordem decrescente de
probabilidade em uma segunda coluna. Na reordenao dos
smbolos por ordem decrescente de probabilidade o novo smbolo,
resultado do agrupamento, colocado na posio mais alta
possvel, sem violar a ordem decrescente de probabilidade.
O procedimento repetido at que restem apenas dois smbolos,
aos quais so atribudos novamente os bits 0 e 1.
As palavras cdigos binrias so obtidas fazendo o caminho
inverso, a partir da ltima coluna, em direo a primeira coluna,
anotando-se os bits encontrados em cada percurso, at cada
smbolo listado na primeira coluna
32
Exemplo
Suponha uma fonte discreta sem memria
S = {s
0
, s
1
, s
2
, s
3
, s
4
} com probabilidades
P(S = s
k
) = {0,4; 0,2; 0,2; 0,1; 0,1}.
Palavras cdigos, Comprimento mdio das palavras
cdigos, Entropia, Eficincia, rvore de deciso
33
Algoritmo de Huffman
O processo de codificao de Huffman
no nico
No agrupamento dos smbolos, o rtulo 0 e
1 para cada smbolo arbitrrio, poderia ser
1 e 0. Entretanto, a mesma conveno deve
ser mantida do incio ao fim.
A colocao de smbolos combinados com
mesma probabilidade que outro(s), na
posio mais alta da coluna, tambm
arbitrrio, poderia ser na posio mais
baixa.
34
Exemplo
Refaa o exemplo anterior, adotando como padro a
colocao de smbolos combinados com mesma
probabilidade que outro(s) na posio mais baixa da
coluna.
35
Varincia do comprimento das
palavras cdigos
Calcule a varincia para os dois exemplos
anteriores.
( )
=
=
1
0
2
2
K
k
k k
L l p
36
Exemplo
Decodifique sequncia 00010110111000 usando a
rvore do exemplo no slide 32.
O algoritmo de Huffman produz um cdigo prefixo com
comprimento mdio prximo da entropia e
inequivocamente decodificvel.
37
Exemplo
A Figura exibe uma
rvore de Huffman.
Qual a palavra
cdigo para os
smbolos A, B, C, D,
E, F e G
representados por
ela? Quais so seus
tamanhos de palavra-
cdigo individuais?
38
Extenso de uma Fonte Discreta
sem Memria
Considere com
P(S = s
k
) = {p
0
; p
1
; p
2
}.
Extenso da fonte S em S
2
.
{ }
2 1 0
, , s s s = S
p
2
. p
2
p
2
. p
1
p
2
. p
0
p
1
. p
2
p
1
. p
1
p
1
. p
0
p
0
. p
2
p
0
. p
1
p
0
. p
0
Probabilidades
0
Smbolos
s
2
s
2
s
2
s
1
s
2
s
0
s
1
s
2
s
1
s
1
s
1
s
0
s
0
s
2
s
0
s
1
s
0
s
0
Blocos
{ {{ { } }} }
8 1 0
2
, , , K = == = S
) ( ) ( S S nH H
n
= == =
39
Exemplo
Suponha uma fonte discreta sem memria
S = {s
0
, s
1
, s
2
} com probabilidades P(S = s
k
) = {0,6; 0,3;
0,1}. Admita que essa fonte deva ser codificada com
um cdigo prefixo com eficincia igual ou maior do
que 0,95.
a) Codificao da fonte S
b) Codificao da fonte S
2
40
Codificao de Lempel-Ziv
O algoritmo de Huffman pressupe o conhecimento prvio da
estatstica da fonte.
Para aplicaes tais como compactaes de textos existem cdigos
que se adaptam estatstica da fonte.
O algoritmo de Lempel-Ziv adaptativo e no necessita do
conhecimento prvio da estatstica da fonte.
Usa palavras de comprimento fixo para representar um nmero
varivel de smbolos da fonte.
Basicamente, a codificao no algoritmo de Lempel-Ziv realizada
analisando-se o fluxo de dados da fonte em segmentos que sejam
as subsequncias mais breves no encontradas anteriormente (no
dicionrio).
41
Exemplo
Codificao da sequncia
000101110010100101. . .
Inicialmente os bits 0 e 1 so previamente
armazenados nas posies numricas 0 e
1, conforme apresentado a seguir. Tais
posies numricas compem o livro de
cdigos (codebook).
- - Blocos codificados
1 0 Subsequncias
8 7 6 5 4 3 2 1 0 Posio numrica
42
Exemplo
000101110010100101. . .
Em seguida, a subsequncia mais curta, ainda no
armazenada em nenhuma posio binria, armazenada na
posio 2 pelo codificador. Esta subsequncia 00. O
processo de codificao consiste em transmitir a posi transmitir a posi o de o de
mem mem ria ria onde se encontra a parte da subsequncia 00 j
armazenada anteriormente, na forma binria, e o que
novidade simplesmente repetido. Ou seja, da subsequncia
00, o primeiro 0 se encontra na posio numrica 0 (000 em
binrio) e o segundo 0 simplesmente repetido.
000 0 - - Blocos codificados
00 1 0 Subsequncias
8 7 6 5 4 3 2 1 0 Posio numrica
43
Exemplo
000101110010100101. . .
Novamente a prxima subsequncia mais curta ainda no
armazenada em nenhuma posio binria, que a
subsequncia 01, armazenada na posio 3. A posio de
memria onde se encontra a parte da subsequncia 01 j
armazenada a posio 0 (000 em binrio) e a parte
novidade, ou seja 1, repetida. Logo, o bloco codificado
agora 0001.
000 1 0000 - - Blocos codificados
01 00 1 0 Subsequncias
8 7 6 5 4 3 2 1 0 Posio numrica
44
Exemplo
000101110010100101. . .
Este procedimento repetido conforme
apresentado na sequncia a seguir.
011 1 0001 0000 - - Blocos codificados
011 01 00 1 0 Subsequncias
8 7 6 5 4 3 2 1 0 Posio numrica
001 0 0111 0001 0000 - - Blocos codificados
10 011 01 00 1 0 Subsequncias
8 7 6 5 4 3 2 1 0 Posio numrica
011 0 0010 0111 0001 0000 - - Blocos codificados
010 10 011 01 00 1 0 Subsequncias
8 7 6 5 4 3 2 1 0 Posio numrica
45
Exemplo
000101110010100101. . .
101 0 0110 0010 0111 0001 0000 - - Blocos codificados
100 010 10 011 01 00 1 0 Subsequncias
8 7 6 5 4 3 2 1 0 Posio numrica
101 1 1010 0110 0010 0111 0001 0000 - - Blocos codificados
101 100 010 10 011 01 00 1 0 Subsequncias
8 7 6 5 4 3 2 1 0 Posio numrica
46
O codificador e o decodificador possuem o mesmo nmero
de memrias no livro de cdigos e, portanto, o
decodificador conhece o tamanho do bloco codificado.
O decodificador tambm inicia o processo de decodificao
com os bits 0 e 1 armazenados nas posies numricas 0
e 1.
O decodificador compe o seu prprio livro de cdigo
usando as memrias na mesma sequncia que o
codificador.
Em comparao com a codificao de Huffman, o
algoritmo de Lempel-Ziv usa cdigos com tamanho fixo
para representar um nmero varivel de smbolos da fonte.
47
Em uma primeira anlise, podemos chegar concluso
que este algoritmo no compacta nada, pelo contrrio.
Essa uma idia falsa uma vez que a sequncia
utilizada muito curta para o algoritmo reconhecer
padres de repetio. Conforme mencionado no livro
texto, na prtica, so utilizados blocos com 12 bits, o
que resulta em 4096 posies no livro cdigo. Alm
disso, o algoritmo de Lempel-Ziv reconhece redundncia
entre caracteres, o que no ocorre com o algoritmo de
Huffman. Particularmente eficiente para compactao de
textos, o algoritmo de Lempel-Ziv pode atingir uma taxa
de compactao de 55% contra 43% do algoritmo de
Huffman, para textos em ingls
48
Exemplo
Considere a seguinte sequncia binria
111010011000101101001011010001...Use o algoritmo
de Lempel-Ziv para codificar essa sequncia. Suponha
que os smbolos 0 e 1 j estejam no codebook.
49
Canais Discretos sem Memria
Discreto: os dois alfabetos possuem tamanhos finitos e o termo
Sem memria: o smbolo corrente presente na sada depende
apenas do smbolo corrente presente na entrada e de nenhum outro
anterior.
p(y
k
|x
j
) representa o conjunto das probabilidades de transio
( ) ( )
j k j k
x X y Y P x y p = = = | |
50
Matriz de canal ou
matriz de transio
Cada linha de P corresponde a um smbolo fixo
de entrada e cada coluna a um smbolo fixo de
sada.
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
(
(
(
(
1 1 1 1 1 0
1 1 1 1 1 0
0 1 0 1 0 0
| | |
| | |
| | |
J K J J
K
K
x y p x y p x y p
x y p x y p x y p
x y p x y p x y p
L
M M M
L
L
P
( )
=
=
1
0
1 |
K
k
j k
x y p
( ) ( ) ( )
j j k k j
x p x y p y x p | , =
( ) ( ) ( )
=
=
1
0
|
J
j
j j k k
x p x y p y p
51
Exemplo
Canal binrio
simtrico (BSC)
J = K = 2
Alfabeto de entrada:
x
0
= 0, x
1
= 1
Alfabeto de sada:
y
0
= 0, y
1
= 1
( )
( )
p p p
x y P p
x y P p
= =
= = =
= = =
01 10
01
10
1 | 0
0 | 1
52
Exemplo
a) Seja o canal BSC do slide anterior. Considere que os smbolos 0
e 1 tm a mesma probabilidade de ocorrer. Encontre a
probabilidade de os smbolos binrios 0 e 1 aparecerem na sada
do canal.
b) Repita o clculo anterior, supondo que os smbolos binrios de
entrada 0 e 1 tenham probabilidades e de ocorrer,
respectivamente.
53
Teorema da Codificao de Canal
Ser que existe um esquema de codificao
de canal eficiente o suficiente para tornar a
probabilidade de erro de bit arbitrariamente
baixa sem que a quantidade de redundncia
introduzida seja demasiadamente alta?
54
Terceiro Teorema de Shannon
Teorema da Capacidade de Informao ou Teorema da
Capacidade de Canal
A capacidade de informao de um canal contnuo com largura de
faixa de B hertz, perturbado por rudo Gaussiano branco aditivo de
densidade espectral N
0
/2, dada por
dada em bits por segundo, onde P a potncia mdia do sinal
transmitido.
Se um canal discreto sem memria tem uma capacidade C e uma
fonte gera informaes a uma taxa menor que C, ento existe uma
tcnica de codificao tal que a sada da fonte pode ser transmitida
ao longo do canal com uma probabilidade arbitrariamente baixa de
erro de smbolo
1
.
|
|
\
|
+ =
B
S
B C
0
2
1 log
1
Simon Haykin, Michael Moher. Sistemas Modernos de Comunicaes Wireless Bookman, 2008.
55
Terceiro Teorema de Shannon
Para um sistema ideal R
b
= C.
Ento S = E
b
/T
b
= E
b
R
b
= E
b
C.
=
0
B
|
\
|
+ =
|
|
\
|
+ =
|
|
\
|
+ =
S
B
C
E
B
S
B
C
b
1 log 1 log 1 log
2
0
2
0
2
B
C
E
B
C
b
1 2
0

= == =
56
Diagrama de Eficincia de Largura
de Banda
O limite representado
por uma fronteira entre a
regio em que possvel
uma transmisso livre de
erros (R
b
< C) e a regio
em que isso no
possvel (R
b
> C) em um
plano da eficincia de
largura de faixa em
funo da relao entre
a energia de bit e a
densidade espectral de
rudo.
1
57
Observaes
Limite de Shannon para um canal AWGN
(Largura de Banda Infinita): The ratio of energy
per data bit E
b
to one-sided noise power spectral
density
0
in an AWG channel above which
errorless transmission is possible when bandwidth
limitations are not placed on the signal and
transmission is at channel capacity
1
.
Compensaes entre E
b
/
0
, R
b
/B e a
probabilidade de Erro de smbolo P
e
.
dB 6 . 1 693 . 0 2 log
1 2
lim lim
0
= = =
|
|
\
|

=
|
|
\
|

B
C
E
B
C
B
b
B
1
Bhargava, V.K. Forward Error Correction Coding Mobile Communications Handbook Ed. Suthan S. Suthersan
Boca Raton: CRC Press LLC, 1999
58
Exemplo
Um canal de faixa de voz da rede telefnica tem uma largura de
banda de 3.4 kHz.
a) Calcule a capacidade de informao do canal telefnico
correspondente a uma relao sinal-rudo de 30 dB.
b) Calcule a relao sinal-rudo mnima necessria para suportar
transmisso de informao atravs do canal telefnico a uma
taxa de 9600 bps.
59
PSK M-rio e FSK M-rio
(a) Comparison of M-ary PSK against the ideal system for P
e
= 10
5
and increasing M.
(b) Comparison of M-ary FSK against the ideal system for P
e
= 10
5
and increasing M.
60
Exemplo
Considere a necessidade de transmisso a uma taxa de 100 kbps
em um sistema de voz (com largura de banda de 3 kHz). possvel
a transmisso nesta taxa (livre de erros) com um SNR de 10 dB?
Justifique sua resposta. Se no for possvel, quais as possveis
modificaes no sistema?
61
Exemplo
Uma imagem de televiso em preto e branco pode ser vista como
uma imagem que consiste em aproximadamente 310
5
elementos,
em que cada um tem a mesma probabilidade de ocupar um dos 10
nveis de brilhos distintos. Suponha que (1) a taxa de transmisso
seja de 30 quadros de imagem por segundo e que (2) a relao
sinal-rudo seja de 30 dB. Usando o teorema da capacidade de
informao, calcule a largura de banda mnima necessria para
suportar a transmisso do sinal de vdeo resultante.
62
Futuro
When determining the best area on which to focus future
technology enhancements, it is interesting to note that HSDPA,
1xEV-DO, and IEEE 802.16e-2005 all have highly optimized links
that is, physical layers. In fact, as shown in Figure 16, the link layer
performance of these technologies is approaching the theoretical
limits as defined by the Shannon bound. (The Shannon bound is a
theoretical limit to the information transfer rate [per unit bandwidth]
that can be supported by any communications link. The bound is a
function of the Signal to Noise Ratio [SNR] of the communications
link.) Figure 16 also shows that HSDPA, 1xEV-DO, and IEEE
802.16e-2005 are all within 2 to 3 decibels (dB) of the Shannon
bound, indicating that there is not much room for improvement from
a link layer perspective. Note that differences do exist in the design
of the MAC layer (layer 2) and this may result in lower than expected
performance in some cases as described previously. From:
http://www.3gamericas.org/documents/EDGE_HSPA_and_LTE_Bro
adband_Innovation_Rysavy_Sept_2008.pdf
63
64
Exerccio Adicional
O alfabeto de uma fonte discreta sem memria
composto por 5 smbolos. Os smbolos emitidos pela
fonte devem ser codificados por meio de um cdigo
prefixo a partir do histograma da frequncia de
emisso apresentado abaixo. O nmero total de
smbolos do histograma foi emitido em 1 ms. Pede-se:
a) A entropia da fonte.
b) As palavras cdigos de um
cdigo prefixo para esta fonte.
c) A eficincia de codificao.
d) Determine qual a taxa
de bit na sada do codificador
de fonte.
0
50
100
150
200
250
300
350
400
450
S0 S1 S2 S3 S4
Smbolos
N
m
e
r
o

d
e

S
m
b
o
l
o
s
65
Exemplo
a) Encontre a capacidade mdia, em bps, que seria
necessria para transmitir um sinal de TV em preto e
branco de alta-resoluo taxa de 32 quadros
(imagens) por segundo. Cada imagem composta de
at 210
6
elementos e 16 diferentes nveis de brilho.
Todos os elementos so independentes e tem a
mesma probabilidade de ocorrncia.
b) Para um TV em cores, este sistema adicionalmente
fornece 64 diferentes combinaes de cores. Quanto
ser o adicional de capacidade necessria comparada
com o sistema em preto e branco?
c) Encontre a capacidade necessria se, das
combinaes cor - nveis de brilho, 100 elementos
ocorrem com probabilidade 0.003, 300 das
combinaes ocorrem com probabilidade 0.001 e 624
das combinaes ocorrem com probabilidade 0.00064.

TP301 - Codificao de Fonte

Diunggah oleh

Informasi Dokumen

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

TP301 - Codificao de Fonte

Diunggah oleh

Hak Cipta:

Format Tersedia

Rausley A. A.

Anda mungkin juga menyukai