FACULTAD DE INGENIERÍA DE SISTEMAS VIRTUAL

TEORIA DE LA INFORMACION
ACTIVIDAD EVALUATIVA TALLER EJE 2.
ENTROPIA BINARIA

Presentado por
YON BAIRON QUINTANA BANQUET

FUNDACIÓN UNIVERSITARIA DE ÁREA ANDINA

SAN ANDRES DE SOTAVENTO / CORDOBA

MAYO
2019
 Objetivo de aprendizaje.
Hallar la extensión de una fuente de memoria nula.

Descripción del taller:

Hallar la extensión de una fuente de memoria nula.
Partiendo del siguiente alfabeto S = {M1, M2, M3}, con P{M1} = P{M2} = 1/5 y P{M3} = 1/3
probabilidad de secuencia de cada símbolo.
Símbolo M 𝝈𝟏 𝝈𝟐 𝝈𝟑 𝝈𝟒 𝝈𝟓 𝝈𝟔 𝝈𝟕 𝝈𝟖 𝝈𝟗

Secuencia M1M1 M1M3 M2M1 M2M3 M1M2 M2M2 M3M1 M3M2 M3M3
de símbolos
probabilidad 1/25 1/15 1/25 1/15 1/125 1/25 1/15 1/15 1/9

1/25 1/25
M1 M2
1/25 1/15
1/15 1/15
1/15 1/15

M3
M1=M2
M2=1/5 1/9
M3=1/3

σ1 = M1M1 σ2 = M1M3 𝜎 3 = 𝑀2𝑀1 𝜎 4 = 𝑀2𝑀3

1 1 1 1 1 1 1 1
σ1 = . σ2 = . 𝜎3 = . 𝜎4 = .
5 5 15 3 5 5 5 3
1 1 1 1
σ1 = σ2 = 𝜎3 = 𝜎4 =
25 15 25 15
σ5 = M1M2 σ6 = M2M2 σ7 = M3M1 σ8 = M3M2
1 1 1 1 1 1 1 1
σ5 = . σ6 = . σ7 = . σ8 = .
5 5 5 5 3 1 3 5
1 1 1 1
σ5 = σ6 = σ7 = σ8 =
25 25 15 15

σ9 = M3M3
1 1
σ9 = .
3 3
1
σ9 =
9

Hallar la Entropía Binaria aplicando la fórmula.