Cadenas de Markov

Cuando, conociendo el pasado y el

presente, el comportamiento
probabilstico del futuro inmediato slo
depende del estado presente
Prof. Ricardo Cano

Concepto de
cadena de Markov
En honor al matemtico ruso Andrei
Andreyevich Markov,

Cadenas de Markov
Las cadenas de Markov y los procesos de Markov
son un tipo especial de procesos estocsticos que
poseen la siguiente propiedad:

Propiedad de Markov: Conocido el estado del

proceso en un momento dado, su comportamiento
futuro no depende del pasado. Dicho de otro
modo, dado el presente, el futuro es
independiente del pasado

Propiedad Markoviana
Sea {Xn: n 0} un proceso estocstico discreto (es
decir, cada Xn es una variable aleatoria discreta).
Diremos que tiene la propiedad de markoviana si se
cumple:

P{Xn+1= j / X0= i0 , X1= i1 . . . Xn= in } =

P{Xn+1= j / Xn= in } = pi,j(n)

Probabilidades de Transicin
pi,j(n) = la probabilidad de que el proceso,
estando en el estado i en el tiempo n,
pase al estado j en el instante
siguiente
Cuando pi,j(n) = pi,j (esto es, no depende de n) se
dice que las probabilidades de transicin son
estacionarias. Lo supondremos de ahora en
adelante.

Matriz de Transicin
Las probabilidades de transicin definen la
matriz P = [pij] que satisface

1) pij 0 para todo i, j

2) p ij 1 para todo i
j

Matriz de Transicin: Ejemplo 1

Tiempo
n+1

Estado 0 Estado 1 Estado 2 Estado 3

Estado 0

0,20

0,65

0,15

0,60

0,40

Estado 2

0,15

0,15

0,30

0,40

Estado 3

Tiempo Etado 1
n

Ejemplo 2: un modelo para el

desplazamiento poblacional
Para efectos de una investigacin, en un
determinado pas, una familia puede clasificarse
como habitante de zona urbana, rural o suburbana.
Se ha estimado que durante un ao cualquiera, el
15% de todas las familias urbanas se cambian a
zona suburbana y el 5% a zona rural. El 6% de las
familias suburbanas pasan a zona urbana y el 4% a
zona rural. El 4% de las familias rurales pasan a
zona urbana y el 6% a zona suburbana.

Cadenas de Markov: ejemplo 2

Tendremos la siguiente matriz de transicin
Urb.

Surb.

Rur.

0,80 0,15 0,05

P 0,06 0,90 0,04

0,04 0,06 0,90

Cadenas de Markov
0,05
0,90

0,8

0,15
Urb

0,04
Surb.

0,06
0,04

0,90
Rural

0,06

Distribucin de una Cadena de

Markov
Sea {Xn : n 0} una Cadena de Markov, con
distribucin inicial aj = P{X0= j} para j = 1,2, . . .
Entonces, para cualquier k0 y para cualesquiera
i0 , . . , ik pertenecientes al conjunto de estados del
proceso se cumple:
P{X0=i0 , X1=i1,...,Xk=ik} = ai0 pi0i1 pi1i2 ... pik-1ik
donde
pij = P{Xm+1= j / Xm= i}

Probabilidades de transicin en
n etapas
Pregunta: si en el tiempo t el proceso de Markov se
encuentra en el estado i, cul es la probabilidad de
que n pasos despus se encuentre en el estado j ?
Resp:

P{Xn+t= j /Xt= i }= P{Xn= j /X0= i } (estacionaria)

= p(n)i,j (notacin)
n
= elemento (i,j) de la matriz P

Ecuacin de
Chapman-Kolgomorov
Si el resultado anterior se combina con la identidad matricial
Pn+m = Pn Pm , obtenemos:

pij( n m ) pik( n ) p(kjm )

k

Una transicin desde i hasta j en n+m pasos puede lograrse

moviendose desde i hasta un punto intermedio k en n pasos
(con prob p(n)i,k ) y despus, dado que el proceso est en el
estado k (la propiedad de Markov permite que seamos
indeferentes a la ruta recorrida), moverse hasta el estado j
en m pasos (con prob p(m)k,j ). Luego, deben considerarse
todas las opciones posibles para el punto intermedio.

Consecuencia de los resultados

anteriores
Pregunta: cul es la probabilidad de que el sistema
se encuentre en el estado j en el tiempo n?
Resp.
Sea at = (a0, a1,...,am ) la distribucin inicial de la
Cadena de Markov (con m estados) , entonces:
P{Xn= j}= elemento j del vector at Pn

Aplicacin de resultados
anteriores
Consideremos el ejemplo 2, y supongamos que al inicio
de la investigacin, el 35% de la poblacin viva en reas
urbanas, el 45% en rea suburbana, y el resto en rea
rural.
a)

Si inicialmente una familia vive en un rea rural, cul es

la probabilidad de que tres aos despus esta familia viva
en un rea urbana?

b)

Cual es la probabilidad de que tres aos despes de

iniciada la investigacin una familia viva en el rea
urbana?

Aplicacin de resultados
anteriores
0,5399 0, 3353 0,1248

3
P 0,1352 0,7593 0 ,1055
0,0967 0,1622 0,7411

a (0, 35 0,45 0, 20 )
t

a)

0,0967

b)

0,2691

Ejemplo 3

El departamento de estudios de mercado de

una fbrica estima que el 20% de la gente
que compra un producto un mes, no lo
comprar el mes siguiente. Adems, el 30%
de quienes no lo compren un mes lo
adquirir al mes siguiente. En una poblacin
de 1000 individuos, 100 compraron el
producto el primer mes. Cuntos lo
comprarn al mes prximo? Y dentro de
dos meses ?.

Para
resolver
este tipo de
problemas,
lo
primero
es
hacer
un
esquema.
A la vista del
esquema
podemos pasar
a construir la
matriz
de
probabilidades
de transicin:

0.80

0.20

0.30

0.70

Calculo
0.8 0.2

P (1)
0
.
3
0
.
7

Matriz inicial

0.8 0.2
(350,650)
(C, N) 100 900
0
.
3
0
.
7

El primer mes comprarn 350

y no comprarn 650

0.8 0.2 0.8 0.2 0.7 0.3

P ( 2)
0
.
3
0
.
7
0
.
3
0
.
7
0
.
45
0
.
55

0.7 0.3
(475,525)
(C, N) 100 900
0.45 0.55

El segundo mes comprarn

475 y no comprarn 525