D 1/2 0 1/2 0
Ejemplo
Supongamos que el clima de una determinada regin
slo puede ser soleado (s1) o nublado (s2) y que las
condiciones del clima en maanas sucesivas forman una
cadena de Markov con probabilidades de transicin
estacionarias. La matriz de transicin est dada por:
Urb.
0,80 0,15 0,05
P 0,06 0,90 0,04
Surb.
Rur.
0,04 0,06 0,90
Cadenas de Markov: Ejemplo
0,05
0,90
0,8 0,15 0,90
0,04
0,06 0,06
0,04
Distribucin de una Cadena de
Markov
Sea {Xn : n 0} una Cadena de Markov, con
distribucin inicial aj = P{X0= j} para j = 1,2, . . .
Entonces, para cualquier k0 y para cualesquiera
i0 , . . , ik pertenecientes al conjunto de estados
del proceso se cumple:
P{X0=i0 , X1=i1,...,Xk=ik} = ai0 pi0i1 pi1i2 ... pik-1ik
donde:
pij = P{Xm+1= j / Xm= i}
Probabilidades de transicin en
n etapas
Pregunta:
Si en el tiempo t el proceso de Markov se
encuentra en el estado i. Cul es la probabilidad
de que n pasos despus se encuentre en el
estado j?
Respuesta:
P{Xn+t = j / Xt= i } = P{Xn= j / X0= i } (estacionaria)
= p(n)i,j (notacin)
n
= elemento (i,j) de la matriz P
Ecuacin de
Chapman-Kolgomorov
Si el resultado anterior se combina con la identidad
matricial Pn+m = Pn Pm, obtenemos:
pij( n m ) pik( n ) p(kjm )
k
Una transicin desde i hasta j en n+m pasos puede
lograrse movindose desde i hasta un punto intermedio
k en n pasos (con probabilidad p(n)i,k ) y despus, dado
que el proceso est en el estado k (la propiedad de
Markov permite que seamos indiferentes a la ruta
recorrida), moverse hasta el estado j en m pasos (con
probabilidad p(m)k,j). Luego, deben considerarse todas las
opciones posibles para el punto intermedio.
Consecuencia de los resultados
anteriores
Pregunta:
Cul es la probabilidad de que el sistema se
encuentre en el estado j en el tiempo n?
Respuesta:
Sea at = (a0, a1,...,am ) la distribucin inicial de
la Cadena de Markov (con m estados),
entonces:
P{Xn= j} = elemento j del vector at Pn
Aplicacin de resultados
anteriores
Consideremos el ejemplo demo y supongamos que al
inicio de la investigacin, el 35% de la poblacin viva en
reas urbanas, el 45% en rea suburbana, y el resto en
rea rural. Preguntas:
a) Si inicialmente una familia vive en un rea rural.
Cul es la probabilidad de que tres aos despus
esta familia viva en un rea urbana?
b) Cul es la probabilidad de que tres aos despus
de iniciada la investigacin una familia viva en el
rea urbana?
Aplicacin de resultados anteriores
0.80 0.15 0.05 0.80 0.15 0.05 0.80 0.15 0.05
0.06 0.90 0.04 * 0.06 0.90 0.04 * 0.06 0.90 0.04
0.04 0.06 0.90 0.04 0.06 0.90 0.04 0.06 0.90
Respuestas:
a) 0,0967
0.2691 0.4915 0.2394
b) 0,2691
Clasificacin de estados en
Cadenas de Markov
Estado Alcanzable:
El estado j es alcanzable desde el estado i, si
existe n > 0 tal que p(n)i,j > 0; es decir, es
posible que el proceso llegue al estado j desde
el estado i.
Se denota por: i j.
Clasificacin de estados en
Cadenas de Markov
Estados que se comunican:
Los estados i, j se comunican si: i j.
Atencin:
La relacin es una relacin de equivalencia
(reflexiva, simtrica y transitiva). Me permite dividir
el conjunto de estados en clases de equivalencia.
Cuando una cadena de Markov tiene slo una
clase de equivalencia, se dice que es irreducible.
Clasificacin de estados en
Cadenas de Markov
f (n)jk = probabilidad de que, partiendo del
estado j, la cadena llegue al estado k,
por primera vez en el tiempo n.
Estado Peridico:
Un estado recurrente i es peridico, con
periodo k > 1, si k es el menor nmero tal que
todas las trayectoria que parte de i y regresan
a i, tienen longitud mltiplo de k.
Nota: Si no es peridico se le dice aperidico.
Clasificacin de estados en
Cadenas de Markov
Cadena Ergdica
Si todos los estados de una Cadena de
Markov son recurrentes, aperidicos y se
comunican entre si, se dice que la cadena
es Ergdica.
Propiedades a largo plazo de
una Cadena de Markov
Pregunta interesante:
Existe una probabilidad lmite de que el
sistema se encuentre en el estado j, despus
de muchas transiciones, y que esta
probabilidad sea independiente del estado
inicial?
Propiedades a largo plazo de
una Cadena de Markov
Afirmacin:
Si P es la matriz de transicin de una Cadena
de Markov que tiene los estados {1, 2, ...k},
entonces, para j=1, 2, ..,k.
lim p
(n)
i, j j
n
Propiedades a largo plazo de
una Cadena de Markov
Escrito de otra forma:
1 2 k
1 2 k
lim P n
n
2 k
1
Propiedades a largo plazo de una
Cadena de Markov
Para obtener los j se tiene presente las
ecuaciones de estado estable
a) j 0
k
b) j i pij esto es P
t t
i 1
k
c) j 1
j 1
Ejemplo (desplazamiento poblacional)
Dado que la matriz del ejemplo demo es
ergdica, podemos hacer: 0,80 0,15 0,05
( 1 , 2 , 3 ) ( 1 , 2 , 3 ) 0,06 0,90 0,04
0,04 0,06 0,90
1 2 3 1
Una opcin seria:
1 0,80 1 0,06 2 0,04 3
2 0,15 1 0,90 2 0,06 3
1 1 2 3
Solucin:
Cuya solucin es
(1, 2, 3) = (0.2077 , 0.4918 , 0.3005)
Es decir, si con el paso del tiempo se mantiene
el comportamiento descrito por el modelo (lo
cual es poco probable) despus de muchos
aos, aproximadamente, el 21% de la
poblacin ocupar las zonas urbanas, el 49%
las suburbanas y el 30% la rural.
Tiempo de primera pasada
Estamos interesados en tener informacin
respecto al nmero de pasos (transiciones) que
hace el proceso al ir de un estado i a un estado
j por primera vez.
Se define:
Ti,j = tiempo de primera pasada al ir del estado i
al estado j.
Tiempo de primera pasada
Definimos el tiempo esperado de recurrencia
E(Ti,j ) = mij
m 12 1 p 11m 12 p 13m 32
m 32 1 p 31m 12 p 33m 32
se sustituye y agrupa
1 0 , 20 m 12 0 ,05 m 32
1 0 ,04 m 12 0 ,10 m 32
cuyo resultado es m 12 8, 33 y m 32 13, 33
Ejemplo: continuacin
Entonces, en promedio transcurren 8,33 aos
para que una familia que inicialmente vive en
una zona urbana llegue a vivir en zona
suburbana, por primera vez.
Ejemplo:
En una cierta regin el tiempo atmosfrico sigue la siguiente
secuencia: Un da se denomina soleado (S) si el sol luce ms
de la mitad del da, y se denomina nublado (N), si lo hace
menos. Por experiencia, se sabe que si hay un da nublado,
es igual de probable que el da siguiente sea tambin
nublado. Si el da es soleado hay una probabilidad de 2/3 de
que sea tambin soleado.
1. Construya la matriz de transicin T de este proceso.
2. Si hoy est nublado. Cul es la probabilidad de que
dentro de tres das est tambin nublado? y de que est
soleado?
Calcula T5 y T10. Cul es el comportamiento de Tn
cuando n ? Cmo se comporta p(n) cuando n ?
Depende el lmite de p(0)?
Ejemplo: continuacin
Asumimos que el proceso es markoviamo y que
el tiempo slo depende del da anterior.
Se tiene una cadena de Markov con dos
estados: E1 Da nublado N, E2 Da soleado
Es decir:
Ejemplo: continuacin
Empezando los pasos a partir del da actual, se
tiene que:
de modo que:
Ordenados obtenemos la
en un tabla Matriz transicin
Ejemplo:
El nivel de negocio de la Bolsa puede considerarse cada
da alto (A) o bajo (B). Para un periodo de 5301 das se
dispone de la secuencia BAABBA..., y que nos permite
representar la alternancia mediante el cuadro adjunto: