Unidad 6.

Procesos de Markov

Procesos de Markov Cuando en la generalizacin ms simple de un modelo permite que la probabilidad de un resultado de cierto experimento u observacin dependa del que corresponde a la observacin que inmediatamente le precede, pero no de los resultados de otras observaciones anteriores. ntonces se dice que este proceso o secuencia de este tipo es una cadena de Markov de primer orden. ste proceso llamado as!, "aciendo re#erencia a su creador, consiste de una secuencia de experimentos u observaciones, $ posee un n%mero in#inito de resultados posibles& a', a(, a), *, ar, esto se interpreta como la probabilidad del resultado a +, para cierto experimento u observacin, $ depender cuando muc"o, de la observacin que inmediatamente le precede, #ormando cierta probabilidades de la #orma p i+, $ las cuales con#orman un matriz de la #orma& LA MATRIZ DE ESTADO.
p11 p 21 p31 p12 p 22 p32 p13 ... p1r p 23 ... p 2 r donde cada rengln ,#ila- de la matriz debe p33 ... p rr

sumar '.

p
j =1

ij

= 1 para i . ', ( , ), *, r

/as probabilidades de los estados en la prueba se calculan como sigue en una matriz de orden ,(x(-.

[ p1

p11 p2 ] p21

p12 = [ p1 p22

p2 ]

Para el caso en que se conocen las probabilidades del lado izquierdo, se podrn calcular las probabilidades al siguiente estado de resultados. 0in embargo a largo plazo, el vector rengln de la izquierda multiplica a la matriz, que a su vez, se iguala al vector del lado derec"o, #ormando un sistema de ecuaciones, con la condicin de una ecuacin adicional p1 + p2 = 1 1e manera que se garantice la solucin al sistema.
1) 2) 3) p1 p11 + p2 p21 = p1 + p2 = 1 p1 p12 + p2 p22 = p2 p1

2eneralizando&

Unidad 6. Procesos de Markov

r r r p p p p ... i i1 i i 2 pi pir = i =1 i =1 i =1

[ p1

p 2 ...

pr ]

Cuando un proceso de Markov est en equilibrio, la probabilidad de cada posible resultado o estado de resultado es constante entre una $ otra observacin, porque garantiza un estado a largo plazo cuando se multiplican los vectores $ matrices en un proceso iterativo, de manera que "a$ que analizar cuidadosamente los resultados obtenidos, $a que la multiplicacin repetitiva puede llevar a que la matriz siempre sea la misma, $ no se obtengan resultados deseables. stos procesos de Markov, sin embargo, "an sido %tiles para resolver $ proponer soluciones a problemas de conom!a $ 3dministracin. Ejemplo 6.1 n cierta colonia del 1istrito 4ederal, cada sexenio, el 56 de los electores del partido P37 ,Partido de 3ccin 7acional- cambian de a#iliacin, se van "acia otros partidos por pre#erencias personales razones pol!ticas, algunos generalmente se cambian al P89 ,Partido 8evolucionario 9nstitucional-. n tanto que el partido del P89 pierde el :6 de su a#iliacin partidaria. ;Cul es la proporcin de electores a#iliados a cada partido en el largo plazo< P37 =.>5 =.=: P89 =.=5 =.>:

P37 P89

4ormando la matriz de estado para calcular las probabilidades&

[ p1

0.93 p2 ] 0.05

0.07 = [ p1 0.95

p2 ]

Multiplicando se obtiene el sistema de ecuaciones&

1) 2) 3) 0.93 p1 + 0.05 p2 = p1 0.07 p1 + 0.95 p2 = p2 p1 + p2 = 1

Para la ecuacin ,'-& =.>)p' ? p' @ =.=:p( . =, Para la ecuacin ,(-& =.=5p' @ =.>:p( ? p( . =,

?=.=5p' @ =.=:p( . =

=.=5p' ? =.=:p( . =

l sistema de ecuaciones queda escrito entonces en la siguiente #orma&

Unidad 6. Procesos de Markov

1) 2) 3)

0.07 p1 +0.05 p 2 = 0 0.07 p1 0.05 p 2 = 0 p1 + p 2 =1

0lo debe resolverse el sistema ,'- $ ,)-, o bien ,(- $ ,)-, el cual dar el mismo resultado, de acuerdo a la teor!a, $ por la condicin de que p1 + p2 = 1 n este caso se resuelve el sistema ,(- $ ,)-&
2) 3) 0.07 p1 0.05 p 2 = 0 p1 + p 2 =1

8esolviendo por determinantes.

0 0.05 1 0(1) 1( 0.05) 0.05 1 p1 = = = = 0.4167 0.07(1) 1( 0.05) 0.12 0.07 0.05 1 1

0.07 0 1 0.07(1) 1(0) 0.07 1 p2 = = = = 0.5833 0.07(1) 1( 0.05) 0.12 0.07 0.05 1 1

/a probabilidad del P37 a largo plazo, es que se quedar con el A'.656 de electores a#iliados, en tanto que el P89 se quedar con el :B.))6 de sus a#iliados. Ejemplo 6.2 n cierta #brica de la ciudad de MCxico, el sindicato "a estimado la probabilidad de que estalle una "uelga en 5:6 ,=.5:-, mientras que la probabilidad de que no suceda es de (:6 ,=.(:-. ntre tanto, los patrones "an estimado la probabilidad de que "a$a "uelga en )=6, ,=.)=-, $ de que no se va$an a "uelga en 5=6 ,=.5=-. 0i los patrones $ el sindicato de obreros no estn de acuerdo en los siguientes meses, ;cul es la probabilidad de que estalle la "uelga< /os l Patrones 0indicato Patrones =.5: =.(: 0indicato =.)= =.5= Matriz de estado&

Unidad 6. Procesos de Markov

[ p1

0.75 p2 ] 0.30

0.25 = [ p1 0.70

p2 ]

4ormando el sistema de ecuaciones&

1) 2) 3) 1) 2) 3) 1) 2) 3) 0.75 p1 + 0.30 p 2 = p1 0.25 p1 + 0.70 p 2 = p 2 p1 + p 2 =1

0.75 p1 p1 + 0.30 p 2 = 0 0.25 p1 + 0.70 p 2 p 2 = 0 p1 + p 2 =1

0.25 p1 +0.30 p 2 = 0 0.25 p1 0.30 p 2 = 0 p1 + p 2 =1

8esolviendo ,(- $ ,)-&

0 0.30 1 1 = 0 1( 0.30 ) = 0.30 = 0.55 p1 = 0 . 25 0 . 30 0.25 1( 0.30 ) 0.55 1 1

0.25 0 1 1 0.25 0 p2 = = = 0.45 0.55 0.55

/a probabilidad de que estalle la "uelga p ' . ::6, $ de que no estalle p( . A:6

Ejemplo 6.3 n la clase de 9nvestigacin de Dperaciones, el pro#esor al llegar a clase considera que "abr examen sorpresa el B:6 de las veces, $ "ablar del tema del d!a el ':6 de las veces. Mientras que al siguiente mes, el pro#esor estima que "abr examen sorpresa el 6=6, $ "ablar del tema del d!a en la clase el A=6 de las

Unidad 6. Procesos de Markov

veces. 0i la situacin continua as! el #inal del semestre, ;cul es la probabilidad de que aplique el examen, $ o bien, el pro#esor "able del tema del d!a<

xamen Eema

xamen Eema sorpresa del d!a =.B: =.': =.)= =.5=

0.15 =[ p1 0.40

Matriz de estado&

[ p1
1) 2) 3)

0.85 p2 ] 0.60

p2 ]

0.85 p1 +0.60 p 2 = p1 0.15 p1 +0.40 p 2 = p 2 p1 + p 2 =1

1) 2) 3) 1) 2) 3)

0.85 p1 p1 +0.60 p 2 = 0 0.15 p1 +0.40 p p 2 = 0 p1 + p 2 =1

0.15 p1 +0.60 p 2 = 0 0.15 p1 0.60 p 2 = 0 p1 + p 2 =1

8esolviendo con ,'- $ ,)- por determinantes&

0 0.60 1 1 0 0.60 0.60 p1 = = = = 0.80 0.15 1( 0.60 ) 0.75 0.15 0.60 1 1

0.15 0 1 0.15 1 0.15 0 p2 = = = = 0.20 0.75 0.75 0.75

/a probabilidad de que el pro#esor aplique examen es del B=6 ,p ' . =.B=-, $ de que analice el tema del d!a (=6.

Unidad 6. Procesos de Markov