TAREA DE INF-163 TEORIA DE LA INFORMACION Y

CODIFICACION.
1. ¿Cuál es la cantidad de información al sacar una figura de un mazao
de cartas?
1
𝐼(𝑥1 ) = log 2 (12) = 2.1155 𝑏𝑖𝑡𝑠
52

2. Mostrar un ejemplo de un código de codificación única que no sea

instantáneo.
Símbolo de Código
la fuente
s1 0
s2 01
s3 011
s4 0111
1. ¿Cuál es la longitud media de un código compacto 3-ario para la
siguiente Fuente-S?
S s1 s2 s3 s4 s5 s6 s7
pi 1/3 1/3 1/9 1/9 1/27 1/27 1/27

S pi C S pi C S pi C
s1 1/3 0 s1 1/3 0 s1 1/3 0
s2 1/3 1 s2 1/3 1 s2 1/3 1
s3 1/9 20 s3 1/9 20 S34567 1/3 2
s4 1/9 21 s4 1/9 21
s5 1/27 220 s567 1/9 22
s6 1/27 221
s7 1/27 222

𝐿(𝐶) = ∑ 𝑝𝑖 𝑙𝑖

1 1 1 1 1 1 1 13
𝐿(𝐶) = ∗1+ ∗1+ ∗2+ ∗2+ ∗3+ ∗3+ ∗3=
3 3 9 9 27 27 27 9
13
𝐿(𝐶) =
9
2. Una Fuente-S tiene 4 símbolos cuyas probabilidades mantienen la
siguiente relación: p4 <= p3 <= p2 <= p1. ¿Cuál es la longitud media de
un código de Huffman binario para dicha Fuente-S?
Analizando a fuerza bruta obtenemos que:
L(C) = p1+2p2+3(p3 + p4)
L(C) = 2(p1 + p2) + 2(p3 + p4)
3. De un ejemplo de una Fuente-S que tenga más de 4 símbolos y un
código instantáneo C para dicha Fuente-S tal que H(S) = L(C).
𝐻(𝑆) = 𝐿(𝐶)
𝐻(𝑆) − 𝐿(𝐶) = 0
1
∑ 𝑝𝑖 log 𝑟 − ∑ 𝑝𝑖 𝑙𝑖 = 0
𝑝𝑖
1
∑ 𝑝𝑖 (log 𝑟 − 𝑙𝑖 ) = 0
𝑝𝑖
Si suponemos que la Fuente-S es equiprobable (pi = p). Entonces:
1
𝑝 ∑ (log 𝑟 − 𝑙𝑖 ) = 0
𝑝
Dado que la acumulada de todas las probabilidades suman 1, entonces se
deduce que p > 0, entonces la única condición para la igualdad es:
1
log 𝑟 − 𝑙𝑖 = 0
𝑝
Despejando:
1
𝑝=
𝑟 𝑙𝑖
Por conveniencia podemos forzar que los códigos asociados a cada símbolo
tienen la misma longitud entonces, con lo cual se puede presumir de que se
puede construir una Fuente-S con rl símbolos cada uno codificado con longitud
l. Haciendo cálculos mentales podemos deducir que usando el método de
construcción de un código r-ario de Huffman entonces obtendremos un árbol r-
ario completo de( l + 1) niveles.
Ejemplificando:
Supongamos un código 5-ario con cada uno de los códigos de longitud 2,
entonces se tiene que la probabilidad es 1/5^2 = 1/25
Fuente-S = (S, Ω)
Símbolo Probabilidad Código
A 1/25 00
B 1/25 01
 C 1/25 02
D 1/25 03
E 1/25 04
F 1/25 10
G 1/25 11
H 1/25 12
I 1/25 13
J 1/25 14
K 1/25 20
L 1/25 21
M 1/25 22
N 1/25 23
O 1/25 24
P 1/25 30
Q 1/25 31
R 1/25 32
S 1/25 33
T 1/25 34
U 1/25 40
V 1/25 41
W 1/25 42
X 1/25 43
Y 1/25 44
4. Supongamos que las palabras código de un código lineal(binario) C de
dimensión k y longitud N, se colocan como filas de una matriz de 2k
filas y N columnas, donde no hay columnas que tengan solo 0’s.
Demuestre que cada columna consiste de 2k-1 0’s y 2k-1 1’s.
Un código C es lineal si C es un subespacio de 2N. Ademas cumple las siguientes
propiedades:
(w+u) ϵ C donde w,u ϵ C.
(b.u) ϵ C donde u ϵ C.
Si C es un código lineal entonces cada columna en C que no sea solo de 0’s
consiste de 2k-1 0’s y 2k-1 1’s.
Por contrarecíproca:
Si cada columna en C que no sea solo de 0’s no consiste de 2k-1 0’s y 2k-1 1’s
entonces C no es un código lineal.
Entonces tenemos que probar dos casos:
1) 0’s < 1’s
2) 0’s > 1’s
Para el caso 1):
Denotaremos #0(c) y #1(c) como el numero de 0’s y 1’s respectivamente en la
columna c.
Tomamos uno de los 1’s y por las propiedades de un código lineal debe cumplirse
(w+u) ϵ C donde w,u ϵ C, pero si combinamos todos el resto de los 1’s con el
primer 1 seleccionado entonces podemos generar el resto de las cadenas
pertenecientes al código, pero no es posible dado que la cantidad de 0’s es menor
a la cantidad de 1’s - 1. Nótese que combinar 1’s con 1’s con el operador + nos da
como resultado 0 pero.
#0(c) < #1(c) - 1
Para el caso 2):
Tomamos uno de los 1’s y por las propiedades de un código lineal debe cumplirse
(w+u) ϵ C donde w,u ϵ C, pero si combinamos todos el resto de los 0’s con el
primer 1 seleccionado entonces podemos generar el resto de las cadenas
pertenecientes al código, pero no es posible dado que la cantidad de 0’s es mayor
a la cantidad de 1’s - 1. Nótese que combinar 1’s con 0’s con el operador + nos da
como resultado 1 pero.
#0(c) > #1(c) – 1
Por lo que la reciproca es la verdad original, entonces la proposición original
también es verdad.
Por lo tanto se requiere que ambas cantidades sean iguales:
#0(c) = #1(c)