Captulo 17
Cadenas de Markov
El estudio de cmo una variable aleatoria cambia con el tiempo incluye procesos
estocsticos, en particular se pone mucha atencin en un tipo de proceso
estocstico llamado cadena de Markov; las cadenas de Markov han sido aplicadas
en reas como educacin, comercializacin, servicios de salud, finanzas,
contabilidad y produccin.
Algunas aplicaciones y usos de las cadenas de Markov usualmente son , podemos
saber cmo el precio de las acciones de una empresa evoluciona en el mercado.
El estudio de cmo cambia una variable aleatoria con el tiempo incluye los
procesos estocsticos. En particular, nos centramos en un tipo de proceso
estocstico conocido como cadena de Markov. Estas se han aplicado en reas
como la educacin, la comercializacin, la salud servicios, finanzas, contabilidad y
produccin.
Proceso Estocstico
Un proceso estocstico discreto en el tiempo es una descripcin de la relacin
entre las variables aleatorias X0, X1, X2.
Podemos concluir diciendo que un proceso estocstico continuo en el tiempo,
es simplemente un proceso estocstico en el que el estado del sistema se puede
ver en cualquier instante, no slo en instantes discretos del tiempo.
Captulo 17
Pgina 1 de 16
Cadena de Markov
Un tipo especial de proceso estocstico en tiempo discreto es llamado cadena de
Markov. Para simplificar nuestra exposicin, suponemos que en cualquier
momento, el proceso estocstico en tiempo discreto puede estar en uno de un
nmero finito de estados marcados como 1, 2,. . . , S. Definicin: Proceso
estocstico de tiempo discreto si, para t= 0, 1, 2,.y todos los estados. En esencia,
dice que la distribucin de probabilidad del estado en el tiempo t+1 depende del
estado en el tiempo t (it) y no depende de los estados de la cadena pasados a
travs de la manera que en el tiempo t. En nuestro estudio de las cadenas de
Markov, hacemos el supuesto adicional de que para todo estado
i y j y toda t , P (Xt +1=j|Xt =i)es independiente det. Este supuesto nos permite
escribir P (Xt +1= j|Xt i) _ pij donde pij es la probabilidad de que, dado el sistema
se encuentra en el estado i en el tiempo t, ser en un estado j en el tiempo t+1. Si
el sistema se mueve desde el estado i durante un perodo de al estado j durante el
prximo perodo, se dice que una transicin de i a j se ha producido.
La Pij a menudo hace referencia a las probabilidades de transicin de la cadena
de Markov. La ecuacin implica que la ley de probabilidades sobre el estado el
prximo perodo de la actual estado no cambia (o se mantiene estacionaria) con el
tiempo. Por esta razn, es a menudo llama la Asuncin de estacionalidad.
Cualquier cadena de Markov que satisface la ecuacin se llama cadena
estacionaria de Markov. Nuestro estudio de las cadenas de Markov tambin nos
obliga a definir el qi que la probabilidad de que la cadena se encuentra en el
estado i en el tiempo 0, es decir, P (X0=i)=qi. Llamamos al vector q=[q1q2.qs]
la distribucin de probabilidad inicial de la cadena de Markov. En la mayora de las
aplicaciones, las probabilidades de transicin se muestra como un s X
s probabilidad de transicin de la matriz P.
Captulo 17
Pgina 2 de 16
Donde
Pij (n)
estado i al estado j.
Resulta claro que
Pgina 3 de 16
X ( probabilidad de transicinde k a j)
Usando la definicin de P, la matriz de probabilidad de transicin, se reescribe la
ltima
ecuacin
como
El lado dere3cho de (3) es solo el producto escalar del rengln i de la matriz P con
la columna J de la matriz P. por consiguiente,
la matriz
Pij (2)
es el ij-simo elemento de
n>1 ,
Pij ( 0 ) = 1 si j=i
0 si j i
Captulo 17
Pgina 4 de 16
Cadena Irreductible
Se dice que una cadena de Markov es irreducible si cada estado
alcanzar desde cualquier otro estado
transiciones; o sea, para
Ei
Ej
se puede
i j ,
Cadenas Ergodicas
Captulo 17
Pgina 5 de 16
( 0)
un
gran
nmero
de
Captulo 17
Pgina 6 de 16
ij -esimo elemento de
Recordemos que el
es
Pij ( n ) . El teorema 1
i ,
grande,
{a oj }
de que se
.
P
{a (jn )}
tn
{a (jn )}
en trminos de
{a (j0 )}
transicin, o
y
P , se
Pgina 7 de 16
( 0)
( 0)
( 0)
( 0)
Tambin
a(j2)= a(i1) Pij =
i
Donde
( a P )=P = a ( P P )= a
(0 )
k
ki
( 0)
k
ij
P2kj= Pki P ij
ki
ij
(0 )
k
P2kj
al estado
en
P(ijn )
Donde
( P
( n1)
ik
P kj = a(i0) P(ijn)
o de
pasos dada
( n1 )
pij = Pik
k
Pkj
( nm )
Pij = Pik
k
iy j ,
( m)
P kj , 0<m<n
Pgina 8 de 16
X ( probabilidad de ir de i a j en n transiciones)
i=s
Donde
q=[q 1 q 2 qs ]
Pn )
Captulo 17
Pgina 9 de 16
Cadenas Absorbentes.
Variedad de aplicaciones interesantes de la cadena de Markov tienen que ver con
cadenas en las que algunos de los estados son absorbentes y el resto son
estados transitorios, Este tipo de cadena se llama cadena absorbente.
Consideremos una cadena de Markov absorbente: si se comienza en un estado
Captulo 17
Pgina 10 de 16
pij =1
. En este caso
Ej
Ej
que tenga
se denomina estado
absorbente.
Todos los estado de una cadena irreducible deben formar un conjunto cerrado y
ningn otro subconjunto puede ser cerrado. El conjunto cerrado C tambin debe
satisfacer todas las condiciones de una cadena de Markov y por ello, puede
estudiarse de forma independiente.
Una cadena de Markov en la que una o ms estados es un estado absorbente es
una cadena de Markov absorbente. Para contestar preguntas importantes acerca
de una cadena de Markov absorbente, se listan los estados en el siguiente orden:
primero los estados transitorios, luego los estados absorbentes.
Suponga que hay s m estados transitorios (t 1, t2, , ts-m )y m estados absorbentes
(a1 , a2 ,, am ). Se escribe la matriz de probabilidades de transicin P como sigue:
Captulo 17
Pgina 11 de 16
Captulo 17
Pgina 12 de 16
Uso de LINGO
Captulo 17
Pgina 13 de 16
En la lnea 2, se crean los posibles estados y se define para cada estado I el nivel
de censo de estado estable y el nmero contratado, N(I) y H(I), respectivamente.
En la lnea 3, se crea para cada par de estados (I,J) la probabilidad TPROB (I,J)
de ir del estadoI en un periodo al estado j durante el siguiente periodo.En la lnea
6, se introduce el valor de H(I) para cada estado I. En las lneas 7 a 9, se introduce
la TPROB (I,J) para el ejemplo 9. En las lneas 11 a 13, se crea para cada estado I
la ecuacin (14).Observe que usamos el hecho de que
Captulo 17
Pgina 14 de 16
Al
(n)
pij 0
como
n ,
para toda y y j y,
lim a j = j ,
j=0,1, 2,
Captulo 17
Pgina 15 de 16
a(0)
j .
en este caso,
se
j= i pij
i
1= j
j
jj =
1
j
Bibliografa
Investigacin de Operaciones
Autor: Wayne L. Winston
Indiana University
Captulo 17
Pgina 16 de 16