CADENAS DE MARKOV

Espacio de estados de un
proceso:

El conjunto de todos los

posibles estados que
un proceso puede
ocupar en los distintos
movimientos se llama
espacio de estados. Un
espacio de estados
puede ser
finito,
numerable
no numerable.

Usaremos a1,a2,.....an
para representar los (n)
estados de un estado
ai > aj para
representar que el
proceso se mueve del
estado (i) al estado (j).

Probabilidades de transicin de
un solo paso

P(ai > aj) es la

probabilidad condicional para

que el proceso que se
encuentra en el estado ai se
mueva al estado aj en un slo
paso, y se designa por Pij .
Esto recibe el nombre de
probabilidad de transicin de
un slo paso. Si todas estas
probabilidades son conocidas
para todos los pares de estados
se ordenan en una matriz
cuadrada que recibe el
nombre de matriz de transicin.

P = [pij]

Ejemplo:
Sea una persona sentada en
el asiento de en medio de una
fila de cinco asientos

[marcados con
A,B,C,D,E] de izquierda

a
derecha. Esta persona se mueve
por seis veces de una silla a la
otra, estando sus movimientos
controlados por una moneda que
se tira al aire.
a) Si no est al final de una
fila de asientos se mueve
hacia la derecha si sale CARA y
hacia la izquierda si sale
CRUZ.
b) Si est al final se quedar
donde est salga lo que salga.

Espacio de Estados:
[ A, B, C, D, E ]
A

1/2 0

1/2 0

1/2 0

1/2 0

1/2 0

P[A > A] = P[E > E] = 1

ya que se queda donde est.

P[B > A] = 1/2 puesto

que la probabilidad de que
salga CR es 1/2.

P[C > C] = 0 ya que

aqu no se puede quedar.
La pij = 1

Las matrices que tienen

elementos no negativos y a
suma de los elementos de
sus filas valen la unidad se
llaman matrices estocsticas

Vector probabilidad inicial

Existe un vector
probabilidad inicial tal
que:

a = (a1, a2,....an) en
la que los elementos ai
son las probabilidades de
que el estado inicial del
proceso sea Si.

En el ejemplo anterior
El vector probabilidad
inicial sera

a = (0, 0,.1, 0, 0)
puesto que el proceso
comienza en la silla C.

Propiedad de Markov

Considerar una secuencia

Si,Sj,Sk de un experimento
cuyo vector y matriz inicial son
conocidos. Entonces la
secuencia de probabilidad ser:
P( Si,Sj,Sk ) = P( Si) P( Si>Sj)
P( Sj>Sk) P( Si)

Podramos ampliar la regla

para cubrir secuencias de
cualquier nmero de pasos. A
los procesos a los cuales
podemos aplicar esta regla se
dicen que tienen la propiedad
de Markov.

Para tales procesos la

probabilidad de la siguiente
direccin depende del estado
presente del proceso y no
depende del estado precedente.
Ejemplo:
En el problema anterior
calcular la probabilidad de la
secuencia.

P[C,D,C,B,A,A,A] =
P[C] P[C >D] P[D
>C] P[C >B]. P[B
>A] P[A >A] P[A
>A]
=1.1/2.1/2.1/2.1/2.1.1
=1/16

Cadena de Markov finita y

estacionara.
Una cadena de Markov estacionara
y finita queda completamente definida
cuando se conoce:

a) Espacio de estados finito.

b) Una matriz [Pij] de probabilidades de

transicin de un slo paso estacionara.

c) El vector de probabilidad inicial.

. Cadena ergdica: transicin de

n pasos

El diagrama es un grfico
de una secuencia de una
muestra de una cadena
de Markov de cinco
estados A > E .En los
doce pasos se recorren
todos los estados y se
sale. Evidentemente el
proceso no puede
quedarse nunca
atrapado. A los estados
que pueden atrapar un
proceso se les llaman
estados absorventes.

Probabilidades de transicin
superiores
La probabilidad de que el
proceso pase del estado Si al
Sj en (n) pasos se llama
probabilidad de transicin en
n pasos y se simboliza por :

P(n)ij
La matriz formada por
todos los P(n)ij es una
matriz cuadrada y se
denomina matriz de
transicin de un (n) pasos.

TEOREMA:

Si P es la matriz de
transicin de un paso en una
cadena finita de Markov,
entonces Pn es la matriz de
transicin de (n) pasos.

La probabilidad P(n)ij es la probabilidad de

pasar de Si a Sj en dos pasos.
Suponiendo (m) estados en S.
Existen m caminos mutuamente excluyentes

Si>S1>Sj Si>S2>Sj.......
Las probabilidades de esos caminos son:

pi1 p1j
pi2 p2j
........
Por lo que por la regla de la cadena la
probabilidad del suceso Si>Sj en dos pasos
ser la suma de estas dos probabilidades.
As

Pij(n) = Pir Prj

Pero por definicin de la multiplicacin de
matrices, la sumatoria es el elemento ij simo
de la matriz P2. Luego

P2 = Pij
Por induccin se puede demostrar que

Pn = Pij(n)

MATRIZ DE UN SOLO PASO

1/2 0

1/2 0

1/2 0

1/2 0

MATRIZ DE DOS PASOS

1/2 1/4 0

1/2 0

1/4 0

1/4 0

1/4

1/4 0

1/2 0

1/4

CADENAS DE MARKOV
ABSORVENTES

Estados transitorios:

Sea T un subespacio de
S y T' su
complementario. Si cada
estado de T se puede
alcanzar desde otro estado
de T y es posible
moverse de un estado de T
a otro T', entonces T es un
conjunto transitorio. Un
estado transitorio es un
elemento de un conjunto
transitorio.

Estados ergdicos:

Sea E un subconjunto

de S y E' el
complementario de E en
S. Si cada estado de E
se puede alcanzar
desde cualquier otro
estado de E, pero
ningn estado de E' se
puede alcanzar desde
E, entonces E recibe el
nombre de conjunto
ergdico. Un estado
ergdico es un elemento
de un conjunto ergdico.

 CADENAS DE MARKOV
ABSORVENTES

Son cadenas en donde

todos los estados
transitorios son absorventes.

CADENAS ERGODICAS
Cadena que est formada
por un conjunto ergdico se
llama cadena ergdica. Se
distinguen dos tipos de
cadenas ergdicas:
a) Cadena ergdica cclica:
en ella slo se puede entrar
en un estado a intervalos
peridicos fijos.
b) Cadena ergdica
regular: cadena ergdica
nocclica.

EJEMPLO

S1
S2

S1

S2

1/2

1/2

1/2

1/2

Est claro que el sistema

completo nunca estar
completamente "atrapado" en un
estado, as que la cadena es
regular.

Siempre es posible moverse de

un estado a cualquier otro, en
cualquier paso siendo los
movimientos nocclicos. As la
cadena y la matriz son regulares.

S1

S2

S3

S1

3/4

1/4

S2

1/2

1/2

S3

1/4

3/4

S1

S1

S2

S3

1/4

1/4

S2

1/3

1/3

S3

1/4

1/4

Despus de n pasos la cadena entrar

(con probabilidad 1 cuando n tiende a
) en S2 o en S3. Una vez situada en
uno de estos estados nunca podr pasar a
S1. Por lo tanto S1 es un estado
transitorio y as la cadena es no regular y
por lo tanto noergdica, aunque el
conjunto [ S2, S3 ] sea un conjunto
ergdico.

S1

S1

S2

S3

S2

S3

La cadena se mueve con perodo

3 a travs de los conjunto
cclicos [ S1 ] [ S2 ] y [ S3 ]. Es por
lo tanto una cadena cclica
ergdica y no una cadena regular.

Fuentes de Markov

Fuentes de Markov Hasta este momento se

ha considerado las fuentes de memoria nula,
pero en la mayora de los casos reales los
smbolos del alfabeto no tienen probabilidades
fijas, sino que dichas probabilidades
dependern en general de los smbolos
emitidos. A este tipo de fuentes se les denomina
fuentes de Markov.

Fuentes de Markov
Supongamos que un sistema evoluciona con el
tiempo. En cada instante t cada parmetro
tendr unos valores determinados. Cada
coleccin de esos valores define lo que
llamamos estado del sistema. La evolucin es
tal que en unos instantes determinados el
estado cambia o permanece fijo. Es decir que
en cada instante el sistema evoluciona con una
transicin de
un estado a otro, o bien
permanece en el anterior.

ESTADOS DE UN SISTEMA
En cada instante t ( t1 <t<
t2) el sistema se
encuentra en el estado
E1. En t2 existe una
transicin a E2 y en t3
permanece
en
este
estado. Para conocer el
estado del sistema es
preciso
conocer
la
probabilidad de transicin
P(E1>E2).

E3
E2
E1
t1

t2

t3

t4

 La fuente de Markov , o fuentes con memoria,

es aquella en que la presencia de un
determinado smbolo ai depende de un nmero
finito m de smbolos precedentes. Esta fuente
se llama fuente de Markov de orden m y viene
definida por su alfabeto
A = (a1, a2,....an)
y el conjunto de probabilidades
P( ai/aj1, aj2,....ajm)
Para i = 1,2....n y j = 1, 2....m

 Esto nos indica que la probabilidad de un

smbolo cualquiera viene determinada por la
secuencia de los m smbolos que lo preceden .
Definiremos el estado de la fuente de Markov de
orden m por los m smbolos precedentes y
puesto que el alfabeto de la fuente es de n
smbolos, entonces una fuente de Markov de
orden m admite nm estados posibles. Al emitir la
fuente nuevos smbolos el estado de la fuente
cambia.

 Sea una fuente de Markov de n smbolos

de alfabeto A = (a1, a2,.aj...an).
Se define la probabilidad de aparicin del
smbolo ai despues de la secuencia (a j1,
aj2,....ajm) por

P( ai/aj1, aj2,....ajm)

 Como hay nm sucesiones posibles de m

smbolos y cada una de estas sucesiones
puede considerarse como un estado del
sistema.

Xi` = ai2,....aim. ai
o

P( ai/ai1, ai2,....aim)

Xi = ai1, ai2,....aim
P( ai/ Xi)

Fuentes de Markow
ergdicas:
Se dice que una fuente de
Markov es ergdica,
cuando siendo estacionara
las probabilidades de
estado tienden a
estabilizarse y hacerse
constantes cuando t .
A esta distribucin lmite de
probabilidades se le
denomina rgimen
permanente de la fuente, o
sea que cuando una fuente
entra en un estado y queda
atrapado en l.

La condicin necesaria
y suficiente para que una
fuente sea ergdica es
que si Pij es la matriz
estocastica de la fuente
y p1,p2......pn cantidades
desconocidas que
representan a las
probabilidades de
estado, se tiene que
cumplir que:
Pj = Pj Pij
sea compatible y la
distribucin estacionara.

Entropa de una fuente de

Markov:
Sea una fuente de
Markov de alfabeto A =
(a1, a2,....an). Para hallar
la informacin media por
smbolo procedamos de
la siguiente manera:
1.- Determinacin de la
informacin absoluta por
smbolo emitido en una
transicin de estado fija.

Si nos encontramos en el
estado definido por Xj=
(aj1, aj2,....ajm), es decir los
m
smbolos
emitidos
anteriormente fueron (aj1,
aj2,....ajm), la probabilidad
condicional de recibir ai
es decir de pasar al
estado
Xj= (aj2,
aj3,....ajm, ai) es:
P( ai/aj1, aj2,....ajm).

Utilizaremos la siguiente
notacin:
Probabilidad de aparicin del
smbolo ai despus de la
secuencia (aj1, aj2,...ajm):
P(ai/aj1,aj2,..ajm).= P(ai/Xj)
probabilidad del smbolo
emitido en estado anterior.
Probabilidad de la secuencia
(aj1, aj2,....ajm):
P( aj1, aj2,....ajm).= P(Xj) =
Probabilidad de Estado
anterior.

Indudablemente la
probabilidad del estado
actual es igual a la
probabilidad del estado
anterior por la
probabilidad de
transicin de un estado
a otro., esto es :
P(Xj) = P(ai/Xi).P(Xi) [I]

 Al emitir el smbolo ai y se pasa del

estado Xj = (aj1, aj2,....ajm) al Xj= ( aj2,....ajm
ai ) .
La cantidad de informacin
correspondiente es: I( ai/aj1, aj2,....ajm) = log P( ai/aj1, aj2,....ajm)
utilizando la otra notacin
I( ai/Xj /) = - log P(ai/Xj)

 2.- Si ahora dejamos fijo el estado X j = (aj1,

aj2,....ajm) y recorremos todos los smbolos ai de
la fuente y calculamos el promedio
obtendremos la informacin media por smbolo
para un estado dado Xj, valor ya independiente
de los smbolos. Este valor ser:
H [ A/aj1, aj2,....ajm] =
P( ai/aj1, aj2,....ajm) I ( ai/aj1, aj2,....ajm)
H [ A/aj1, aj2,....ajm] =
- P( ai/aj1, aj2,....ajm) log P( ai/aj1, aj2,....ajm)

 3.- Si ahora promediamos el valor anterior

recorriendo los nm estados posibles, tendremos
la cantidad media de informacin o entropa de
la fuente de Markov de orden m . Ser
entonces:
H[A] = - nm H[ A/aj1, aj2,....ajm] P( aj1, aj2,....ajm)
Sustituyendo el valor
H[A] = - nm P( aj1, aj2,....ajm) P( ai/aj1,
aj2,....ajm) log P( ai/aj1, aj2,....ajm)

Ejemplo:
Supongamos una
fuente de Markov de
cuatro estados cuyo
diagrama se presenta en
la fig. Demostrar que la
fuente es ergdica y
calcular la informacin
suministrada por la
fuente.

 Los estados iniciales

son:

E1 = (0,0)

E2 = (0,1)

E3 = (1,0)

E4 = (1,1)

Las probabilidades de
transisicin son:
P11 = 0.8 P12 = 0.2
P13 = 0
P14 = 0
P21 = 0
P22 = 0
P23 = 0.5 P24 = 0.5
P31 = 0.5 P32 = 0.5

P33 = 0
P34 = 0
P41 = 0 P42 = 0
P43 = 0.2 P44 = 0.8

La matriz de
transicin sera:
E1

E2

E3

E4

E1

0.8

0.2

E2

0.2

E3

0.5

0.5

E4

0.2

Aplicando la condicin
necesaria y suficiente de
ergocidad
Pi = Pi Pij
0.8 0.2

0.8

p1

p2

p3

p4 =

0 0

0 0.2 0

0 0
0.5 0.5

0 0.2 0
0

p1

p2

p3

p4

 Resolviendo:

p1 = 0.8p1 + 0.5p3

p2 = 0.2p1 + 0.5p3

p3 = 0.5p1 + 0.2p4

p4 = 0.2p3 + 0.8p4

p1 + p2 + p3 + p4 = 1

Compatible y determinado
cuya solucin es:

p1 = p4 = 5/14

p2 = p3 = 2/14

Entonces las probabilidades

de estado son:
p1 = p(0,0) = 5/14
p2 = p(0,1) = 2/14
p3 = p(1,0) = 2/14
p4 = p(1,1) = 5/14
Luego la fuente es ergdica
y las probabilidades de
estado son las probabilidades
son las anteriores
independientes de la
distribucin inicial.

Recurdese que la probabilidad del estado actual es la

probabilidad del estado anterior por la probabilidad de
transicin del estado anterior al actual.
P(Xj) = P(ai/Xi) P(Xi)

ESTADO
ANTERIOR

PR. ESTADO
ANTERIOR

SIMBOLO
EMITIDO

ESTADO
ACTUAL

PR. ESTADO
ACTUAL

PR. TRANSICION
AN-AC

00

5/14

00

0.8 5/14 =
4/14

0.8

00

5/14

01

0.2 5/14 =
1/14

0.2

01

2/14

10

0.5 2/14 =
1/14

0.5

01

2/14

11

0.5 2/14 =
1/14

0.5

11

5/14

10

0.2 5/14 =
1/14

0.2

11

5/14

11

0.8 5/14 =
4/14

0.8

10

2/14

00

0.5 2/14 =
1/14

0.5

10

2/14

01

0.5 2/14 =
1/14

0.5

 La cantidad de informacin Para obtener la cantidad

adquirida cuando se pasa
media de informacin por
de un estado Xi a un estado
smbolo a partir del estado
Xi, dejamos fijo el estado
Xj es:
Xi = ai1 ,...ain y

I(aj/Xi) = log P(aj/Xi) = Ij

recorremos todos los
I(0/00) = log p(0/00) =log 0.8 = I1
I(1/00) = log p(1/00) =log 0.2 = I2
smbolos de la fuente.
I(0/01) = log p(0/01) =log 0.5 = I3

.
H[A/Xi] = p(aj/Xi) Ij

H[A/Xi]= p(aj/Xi) log p(aj/Xi)

Entonces
H[A/00] = - p(0/00) log p(0/00) - p(1/00) log p(1/00)
H[A/01] = - p(0/01) log p(0/01) - p(1/00) log p(1/01)
H[A/10] = - p(0/10) log p(0/10) - p(1/10) log p(1/10)

H[A/11] = - p(0/11) log p(0/11) - p(1/11) log p(1/11)

La informacin media suministrada por la fuente
independiente de los estados y de los smbolos lo
obtenemos promediando [*] recorriendo los Nn
estados posibles.

H[A] = i p(Xi) H[A/Xi]

Sustituyendo el valor de [*] en la anterior

H[A]= -i p(Xi) ij p(aj/Xi) log p(aj/Xi)

 Entonces

H[A] = i p(Xi) H[A/Xi]

H[A] = p(00) H[A/00] + p(01) H[A/01] +

p(10) H[A/10] + p(11) H[A/11]

H[A] = 0.8 5/14 log 0.8 + ..........

= [4/14 log 0.8 +1/14 log 0.2 +1/14 log

0.5 +1/14 log 0.5 +1/14 log 0.2 +4/14 log 0.8
+1/14 log 0.5 +1/14 log 0.5 = 0.81 Bits

Extensin de una fuente de

Markov de orden N
Sea una fuente de Markov de orden
N y alfabeto A = [a1,a2...an]. La
extensin de orden n de la fuente
anterior es otra fuente de Markov de
alfabeto Nn elementos, estando cada
elemento formado por n smbolos de
A. La entropa de esta fuente es

H[An] = n H[A]

Fuente afn de una fuente de

Markov
Dada una fuente de Markov de orden de
orden n y alfabeto [a1,a2...am] y sean [
p(a1), p(a2)......p(am)] las
probabilidades absolutas de los smbolos.
Se denomina fuente afn de A y la
representamos por A* a la fuente de
memoria nula que tiene el mismo alfabeto
que A e igual juego de probabilidades.

Teorema:
Una fuente de Markov
proporciona menor cantidad de
informacin que su fuente afn.
Vamos a demostrarlo para fuentes
de Markov de primer orden y
luego lo generalizamos. Las
probabilidades de transicin son
de la forma:
p(ai/aj) y cumplen la
condicin
p(ai/aj) = 1
Recordando la desigualdad
logartmica
log x < x 1
p(ai) p(aj)

x=

p( a1 ) p( a 2 )
p( a1 , a 2 )

p( a1 ) p( a 2 )
p( a1 ) p( a 2 )
log

-1
p( a1 , a 2 )
p( a1 , a 2 )

i=1

j =1

p( a i ) p( a j )
p( a i , pa j ) log
0
p( a i )/p( a j )

p( a , pa
i

i=1

) log p( ai ) -

j=1

i=1

( pa , pa
i

) log p( ai / a j ) 0

i=1 j=1

p( ai ) log p( ai ) -

( pa , pa
i

) log p( ai / a j ) 0

i=1 j=1

Pero
p(ai) log p(ai) = H[A*]
p(ai,aj) log p(ai/aj) = H[A]
Entropa de la fuente de Markov de primer orden
Luego H[A*] H[A]
La igualdad se cumple solamente en el caso de que p(ai, aj) = p(ai) p(aj)

i=1

j=1

i=1

p( ai ) p( a j )
p( ai , pa j ) log

p( ai , a j )

p( ai ) p( a j )

( pai , pa j )

p(
,
)
a
a
i
j
i=1 j=1

p( ai ) p( a j )
j=1 p( ai , pa j ) log p( ai ,a j )
m

( pa ) ( pa ) - p( a ,a )
i

i=1 j=1

El segundo miembro de la desigualdad vale 0 ya que cada doble

sumando es la unidad.
n
m
p( ai ) p( a j )
p( ai , pa j ) log
0

p( ai , a j )
i=1 j=1
Pero p(ai aj) = p(aj) p(ai/aj)
Luego

Estructura del lenguaje

Un caso particularmente
importante de generacin de
informacin es la creacin de
un mensaje compuesto de
palabras de la lengua inglesa.
Demostraremos en este
apartado como podremos
aproximarnos a un mensaje de
este tipo mediante una
secuencia de fuentes de
informacin cada vez mas
complicadas

Sea un conjunto de 27
smbolos, las 26 letras del
alfabeto ingls, mas un espacio
La fuente mas simple de este
alfabeto seria aquella de
memoria nula, con todos los
smbolos igualmente probables.
La entropia de esta fuente seria
H (S) = log 27 = 4,75
bits/smbolos
La secuencia siguiente muestra
una secuencia tpica de
smbolos emitidos por la fuente
Definiremos esta secuencia
como aproximacin cero al
ingls
ZEWRTZYNSADXESYJRQY_
WGECIJJ_oBVI~RBQPOZBYM
BUAWVLBTQCNIKFMP
T~MVUUGBSAXHLHSIE _ M

TABLA 22 PROBABILIDADES DE LOS SIMBOLOS EN INGLES (REZA 1961)

SIMBOLOS

PROBABILIDAD

SIMBOLOS

PROBABILIDAD

Espacio

0.1859

0.0574

0.0642

0.0632

0.0127

0.0152

0.0128

0.0008

0.0317

0.0484

0.1031

0.0514

0.0208

0.0796

0.0152

0.0228

0.0467

0.0083

0.0575

0.0175

0.0008

0.0013

0.0049

0.0164

0.0321

0.0005

0.0198

La entropia de una
fuente de memoria
nula, cuyas
probabilidades sean
las de esa tabla, tiene
el valor
H (S) = - Pilog pi =
4,03 bits/smbolos

La siguiente frase representa

una secuencia tpica de
simbolos emitidos por esta
fuente.
.
AI_NGAE__TI'F_NNR_ASAEV
_OIE_BAINTHA_HYROO_POE
R_SETRYGAIETRWCO_
_EHDUARU_EU_C_FT_NSRE
M_DIY_ SE__F_O_SRIS _R
_UNNASHOR
Primera aproximacin al ingls.
Aun cuando no puede
calificarse de buen ingls, esta
secuencia presenta la
estructura propia del lenguaje
(comprese con la
aproximacin cero):

Las (.palabras de esta aproximacin

son, en su mayor parte, de longitud
apropiada, y la proporcin entre
vocales y consonantes ms real Aun
cuando no puede calificarse de buen
ingls, esta secuencia presenta la
estructura propia del lenguaje
(comprese con la aproximacin
cero): Las (.palabras de esta
aproximacin son, en su mayor parte,
de longitud apropiada, y la
proporcin entre vocales y
consonantes ms real

 Utilizando una fuente de Markov de primer orden, con

smbolos de probabilidades condicionales bien elegidas
Estas probabilidades fueron definidas por Pratt (1942)
H (A) = - P(ai/bj) log P(ai/bj) = 3,32 bit/smbolos
URTESEIETHING_AD_E_AT_FOULE_ITHALIORT _
WACT _ D _ STE _ MINTSAN _ OLINS _ TWID _
OULY _ TE _ THIGHE _ CO _ YS _ TH _ HR _
UPAVIDE _ PAD _ CTAVED
Segunda aproximacin al ingls
La secuencia obtenida en la segunda aproximacin ya
deja trascender un regusto a ingls

 El mtodo de Shannon puede

aplicarse a la construccin de
mejores aproximaciones al
ingls. En efecto, pueden
elegirse las letras
precedentes, construyendo as
una secuencia tpica de una
fuente de Markov,
aproximacin del ingls, de
segundo orden.

IANKS_CAN_OU_ANG_RLER
_THATTED_OF_TO_SHOR _
OF _ TO _ HAVEMEM _ Al _
MAND _ AND _ BUT
_WHISSITABLY _
THERVEREER _ EIGHTS _
TAKILLIS _ TA
Tercera aproximacin al ingls
Puede ampliarse el
procedimiento anterior, para
generar secuencias tpicas de
probabilidades idnticas Sin
embargo, es prcticamente im
posible para m mayor de 2

 Shannon, utiliz una fuente de informacin de

memoria nula que emite palabras inglesa en lugar de
letras Las probabilidades de ocurrencia de las
diferentes palabras son aproximadamente las mismas
que en un texto ingls Shannon (1948) obtuvo la
aproximacin mostrada en la siguiente secuencia.
REPRESENTING AND SPEEDILY IS AN GOOD APT
OR COME CAN DIFFERENT NATURAL HERE HE
THE A IN CAME THE TO OF TO EXPERT
GRAY COME TO FURNISHES THE LINE MES
SAGE HAD BE THESE
Cuarta aproximacin al ingles

 haciendo depender de la palabra precedente la

probabilidad de que una palabra sea elegida
La fuente correspondiente sera una fuente de
Markov de primer orden, con palabras inglesa
como smbolos Shannon (1948) construy una
secuencia tpica a partir de una fuente de este
tipo.
THE HEAD AND IN FRONTAL ATTACK ON
AN ENGLISH WRITER THAT THE
CHARACTER OF THIS POINT IS
THEREFORE ANOTHER METHOD FOR THE
LETTERS THAT TIIE TIME OF WHO EVER
TOLD THE PROBLEM FOR AN UNE~
PECTED
Quinta aproximacin al ingls

 R_EPTTFVSIEOISETE_
TLTGNSSSNLN_UNST_
FSNSTF_E_IONIOILEC
MPADINMEC_TCEREPT
TFLLUMGLR
ADBIUVDCMSFUAISRP
MLGAVEAI _ MILLUO
a) Primera aproximacin
al francs

UOALNAO_NEL_D_NIS
_ETR_TEGATUEOEC_S
_ASUDU_ZELNNTSSCA
SOSED_T_I_R_EIS_TA
MMO_TIIUOEDEO _ UEI
_ EOSEELA _
NMSLAANTEC
a) Primera Aproximacin
al Espaol

 ITEPONT_JENE_IESEM
ANT _ PAVEZ _ L_BO _
S _ PASE_LQU _ SUIN _
DOTI _ CIS _
NCMOUROUNENT_FUIT
_JE_DABREZ
oAUIETOUNT_LAGAUV
RSOUT_MY
b) Segunda aproximacin
al francs

CINDEUNECO_PE_CAL
_PROS_E_LAS_LABITE
JASTE_ONTOMECITRO
DRESIO_PAY_EN_SPUS
EL_LA_ S _
UTAJARETES _
OLONDAMIVE _ ESA _
S _ CLUS _
b) Segunda aproximacin
al Espaol.

 JOU_MOUPLAS_DE_M
ONNERNAISSAINS_DE
ME
US_VREH_BRE_TU_DE
_TOUCUEUR_DIMMERE
_IL
ES _ MAR _ELAME _
RE _ A _ VER _ IL _
DOUVENTS _ SO
c) Tercera aproximacin
al francs.

RAMA _ DE T.LA _ EL _
GUIAIMO _ SUS _
CONDIAS_SU _ E _
UNCONDADADO _ DEA
_ MARE _
TO_UERBALIA_NUE_Y
_HERARSIN_DE_SE_S
US_SUPAROCEDA
C) Tercera aproximacin
al Espaol.