Anda di halaman 1dari 18

Cadenas de Markov

VICTOR HUGO ZAMORA HERRARTE


CARN: 200010805
INVESTIGACIN DE OPERACIONES 2
ING. FERNANDO LVAREZ
AUX. LEONEL CAAL

Contenido

Introduccin
Caso de aplicacin
Formulacin de las cadenas de Markov
Procesos estocsticos
Propiedad de transicin de primer orden
Probabilidad de transicin estacionaria de n pasos
Probabilidad de transicin estacionaria de estados
estables
Tiempos de primer paso
Cadenas de Markov absorbentes

Introduccin

Una cadena de Markov es una serie de eventos, en


la cual la probabilidad de que ocurra un evento
depende del evento inmediato anterior.
Esta dependencia del evento anterior distingue a
las cadenas de Markov de las series de eventos
independientes, como tirar una moneda al aire o un
dado.
Permite encontrar el promedio a la larga o las
probabilidades de estado estable para cada estado.
Con esta informacin se puede predecir el
comportamiento del sistema a travs del tiempo.

Caso de Aplicacin

Aplicacin a la administracin : Planeacin de


Personal

Muchas firmas emplean trabajadores de diferentes niveles


de clasificacin dentro de la misma categora de trabajo.
Una planeacin de personal a largo plazo apropiada
requiere que se considere el movimiento de personas
tanto hacia arriba en el escalafn de clasificacin como
hacia afuera de la organizacin. El anlisis de Markov
puede ayudar en este esfuerzo de planeacin.

Ver ejemplo

Formulacin de las Cadenas


de Markov

Proceso para formular una cadena de Markov:

El generador de Markov produce uno de n eventos


posibles.

La probabilidad de que Ek sea el siguiente evento


generado es una probabilidad condicional: P( Ek / Mj ).
Esto se llama probabilidad de transicin del estado Mj al
estado Ek.

Probabilidades de transicin:

Una forma de describir una cadena de Markov es con


un diagrama de estados. En ste se ilustra un sistema
de Markov con cuatro estados posibles: M1, M2 , M3 y
M4. La probabilidad condicional o de transicin de
moverse de un estado a otro se indica en el diagrama.

Otro mtodo para exhibir las probabilidades de


transicin es usar una matriz de transicin.

Otro mtodo para exhibir las probabilidades de


transicin es usar una matriz de transicin. Para n
= 0, 1, 2, ....

El superndice n no se escribe cuando n = 1

Procesos Estocsticos

Un proceso estocstico se define como una


coleccin indexada de variables aleatorias { X t },
donde el subndice t toma valores de un conjunto T
dado.
Con frecuencia T se toma como el conjunto de
enteros no negativos y X, representa una
caracterstica de inters medible en el tiempo t. Por
ejemplo, el proceso estocstico, X1 , X2 , X3,
puede representar la coleccin de niveles de
inventario semanales de un producto dado, o puede
representar la coleccin de demandas semanales
de este producto.

Propiedad Markoviana de
Primer Orden

Se dice que un proceso estocstico tiene la


propiedad markoviana si:

P{Xt+1 = j | X0 = K0, X1 = K1, , Xt -1 = Kt - 1, = Kt - 1, Xt = 1}


= P{X t+1 | X1 = i}, para toda t = 0, 1, y toda sucesin i, j, K0,
K1, , Ki - 1.

Las probabilidades de transicin (de un paso) son


estacionarias y por lo general se denotan por pij .
As, tener probabilidades de transicin
estacionarias implican que las probabilidades de
transicin no cambian con el tiempo.
Ver ejemplos

Probabilidad de Transicin
Estacionaria de n Pasos

Las ecuaciones de Chapman-Kolmogorov


proporcionan un mtodo para calcular estas
probabilidades de transicin de n pasos :

Esta ecuacin simplemente sealan que al ir


de un estado i al estado j en n pasos, el
proceso estar en algn estado k despus de
exactamente m (menor que n) pasos.

En trminos ms generales, se concluye


que la matriz de probabilidades de
transicin de n pasos se puede obtener de
la expresin :

P(n) = P * P .... P = Pn = PPn-1 = Pn-1 P.

La matriz de probabilidades de transicin de


n pasos se puede obtener calculando la nsima potencia de la matriz de transicin de
un paso.
Ver ejemplo

Probabilidades de Transicin
Estacionaria de Estados Estables

Teorema: Sea P la matriz de transicin de una


cadena de M estados . Existe entonces un vector
tal que

Se establece que para cualquier estado inicial i,

El vector
a menudo se llama
distribucin de estado estable, o tambin
distribucin de equilibrio para la cadena de
Markov. Para encontrar la distribucin de
probabilidades de estacionario para una cadena
dada cuya matriz de transicin es P, segn el
teorema, para n grande y para toda i:

Ver ejemplo

Tiempos de Primer Paso

Con frecuencia es conveniente poder hacer


afirmaciones en trminos de probabilidades sobre
el nmero de transiciones que hace el proceso al ir
de un estado i a un estado j por primera vez . este
lapso se llama tiempos de primer paso al ir del
estado i al estado j. Cuando J = i, esta tiempo de
primer paso es justo el nmero de transiciones
hasta que el proceso regresa al estado inicial i. En
este caso, el tiempo de primer paso se llama
tiempo de recurrencia para el estado i.
Ver ejemplo

Cadenas de Markov
Absorbentes

Describen procesos o sistemas que cesan


despus de alcanzar determinadas
condiciones, se definen a continuacin:

Un estado absorbente es aquel que tiene una


probabilidad de ser abandonado igual a cero, y
el proceso o se detiene completamente o se
detiene para luego comenzar a partir de algn
otro estado.
Una cadena de Markov es absorbente si:

a) tiene por lo menos un estado absorbente


b) es posible ir desde cada estado no absorbente
hasta por lo menos un estado absorbente.

A partir del anlisis de esta clase de


cadenas es posible determinar los
siguientes datos:

El nmero esperado de pasos antes de que el


proceso sea absorbido.
El nmero esperado de veces de que el proceso
est en cualquier estado no absorbente.
La probabilidad de absorcin por cualquier
estado absorbente dado.

El primer paso del anlisis es reagrupar la matriz


de transicin en cuatro submatrices:

I Submatriz identidad a x a.
0 Submatriz cero a x n indica la probabilidad de ir desde
un estado absorbente hasta un estado no absorbente.
A Submatriz n x a indica la probabilidad de ir desde
cualquier estado no absorbente hasta un estado
absorbente.
N Submatriz n x n indica la probabilidad de ir desde
cualquier estado no absorbente hasta cualquier otro
estado no absorbente.

Ver ejemplos

Anda mungkin juga menyukai