CADENAS DE

MARKOV
Procesos estocsticos
Un proceso estocstico se define como una coleccin
indexada de variables aleatorias {Xt}, donde el ndice t
toma valores de un conjunto T dado.

Con frecuencia T se considera el conjunto de enteros
no negativos mientras que Xt representa una
caracterstica de inters cuantifcable en el tiempo t.

Por ejemplo, Xt puede representar los niveles de
inventario al fi nal de la semana t.
Estados (M +1 ; se etiquetan 0, 1, 2, ..., M)

Estado del sistema en el tiempo t, de manera
que sus nicos valores posibles son 0, 1, . . ., M.

Puntos del tiempo dados, etiquetados t = 0, 1,
2, . . .


De esta forma, los procesos estocsticos

{Xt}= {X0, X1, X2, . . .}

Proporcionan un representacin matemtica de
la forma en que evoluciona la condicin del
sistema fsico a travs del tiempo.

Ejemplo de clima
El clima en el pueblo de Centerville puede cambiar
con rapidez de un da a otro. Sin embargo, las
posibilidades de tener clima seco (sin lluvia) maana
es de alguna forma mayor si hoy esta seco, es decir,
si no llueve.

En particular, la probabilidad de que maana este
seco es de 0.8 si hoy esta seco, pero es de solo 0.6
si hoy llueve.
Estas probabilidades no cambian si se considera la
informacin acerca del clima en los das anteriores a
hoy.

La evolucin del clima da tras da en Centerville es un
proceso estocstico:

Si se comienza en algn da inicial (etiquetado como
da 0), el clima se observa cada da t, para t = 0, 1,
2,)

El estado del sistema en el dia t puede ser:

Estado 0= El dia t es seco

o bien

Estado 1= El da t es lluvioso

Asi, para t =0, 1, 2, . . ., la variable aleatoria Xt toma
los valores,

0 si da t es seco
1 si da t es lluvioso

Ejemplo de inventarios
La tienda de fotografa de Dave tiene el siguiente
problema de inventario:

El negocio tiene en almacn un modelo especial de
cmara que se puede solicitar cada semana.

Sean D1, D2, . . . Representan las demandas respectivas
de esta cmara (el numero de unidades que se venderan
si el inventario no se agota) durante la primera, segunda
semanas, . . ., respectivamente
Entonces, la variable aleatoria Dt (para t = 1, 2, . . .) es:

Dt =numero de cmaras que se venderian en la semana
t si el inventario no se agota.

(Este numero incluye las ventas perdidas cuando se
agota el inventario.)

Se supone que las Dt son variables aleatorias
independientes e idnticamente distribuidas que tienen
una distribucin Poisson con media de 1.
Sea X0 el numero de cmaras que se tiene en el
momento de iniciar el proceso,
X1 el numero de cmaras que se tienen al final de la
semana 1,
X2 el numero de cmaras al final de la semana 2, etc.,

entonces la variable aleatoria Xt (para t = 0, 1, 2, . . .) es

Xt =numero de cmaras disponibles al fi nal de la
semana t.
Suponga que X0 = 3, de manera que la semana 1 se
inicia con tres cmaras a mano.

{Xt} ={X0, X1, X2, . . .}

Es un proceso estocstico donde la variable aleatoria Xt
representa el estado del sistema en el tiempo t, a saber

Estado en el tiempo t =numero de cmaras disponibles
al fi nal de la semana t.
Como propietario de la tienda, Dave deseara aprender
mas acerca de como evoluciona este proceso
estocstico a travs del tiempo mientras se utilice la
poltica de pedidos actual que se describe a
continuacin.

Al final de cada semana t (sbado en la noche), la
tienda hace un pedido que le entregan en el momento
de abrir la tienda el lunes. La tienda usa la siguiente
poltica para ordenar:

Si Xt =0, ordena 3 cmaras.
Si Xt mayor que 0, no ordena ninguna cmara.


En consecuencia, el nivel de inventarios flucta entre un
mnimo de cero y un mximo de tres cmaras, por lo que
los estados posibles del sistema en el tiempo t (al final de
la semana t) son:

Estados posibles = 0, 1, 2, o 3 cmaras disponibles.

Como cada variable aleatoria Xt (t =0, 1, 2, . . .)
representa el estado del sistema al final de la semana t,
sus nicos valores posibles son 0, 1, 2, 3. Las variables
aleatorias Xt son dependientes

CADENAS DE MARKOV
Es necesario hacer algunos supuestos sobre la
distribucin conjunta de X0, X1, . . . para obtener
resultados analticos. Un supuesto que conduce al manejo
analtico es que el proceso estocstico es una cadena de
Markov, que tiene la siguiente propiedad esencial:

La probabilidad condicional de cualquier evento
futuro dados cualquier evento pasado y el estado
actual Xt =i, es independiente de los eventos pasados
y solo depende del estado actual del
proceso.(propiedad Markoviana)
Las probabilidades condicionales de una cadena de
Markov se llaman probabilidades de transicin (de un
paso), si:



entonces se dice que las probabilidades de transicin (de
un paso) son estacionarias. As, tener probabilidades de
transicin estacionarias implica que las probabilidades de
transicin no cambian con el tiempo.
La existencia de probabilidades de transicin (de un
paso) estacionarias tambin implica que, para cada i, j y
n (n 5 0, 1, 2, . . .),



para toda t =0, 1, . . . Estas probabilidades condicionales
se llaman probabilidades de transicinde n pasos.

Las probabilidades de transicin de n pasos pij (n) son
simplemente la probabilidad condicional de que el
sistema se encuentre en el estado j exactamente
despus de n pasos (unidades de tiempo), dado que
comenz en el estado i en cualquier tiempo t.

Como las pij (n) son probabilidades condicionales, deben
ser no negativas y, como el proceso debe hacer una
transicin a algn estado, deben satisfacer las
propiedades

Una notacin conveniente para representar las
probabilidades de transicin de n pasos es la matriz de
transicin de n pasos
Observe que la probabilidad de transicion en un renglon
y columna dados es la de la transicion del estado en ese
renglon al estado en la columna.
Las cadenas de Markov tienen las siguientes
propiedades:

1. Un numero finito de estados.
2. Probabilidades de transicin estacionarias
.
Tambin se supondr que se conocen las probabilidades
iniciales P{X0 = i} para toda i.
Formulacin del ejemplo del clima como una cadena
de Markov
En el ejemplo del clima que se presento, recuerde que la
evolucin del clima da tras da en Centerville se ha
formulado como un proceso estocstico {Xt} (t = 0, 1, 2, .
. .) donde
Si usamos otra notacin que se introdujo en esta
seccin, las probabilidades de transicin (de un paso)
son



para toda t 5 1, 2, . . ., por lo que estas son las
probabilidades de transicin estacionarias. Adems,


Por lo tanto, la matriz de transicin es





donde estas probabilidades de transicin se refieren a la
transicin del estado del rengln al estado de la
columna. Tenga en mente que el estado 0 hace
referencia a un da seco, mientras que el estado 1
significa que el da es lluvioso, as que estas
probabilidades de transicin proporcionan la
probabilidad del estado del clima el da de maana,
dado el estado del clima del da de hoy.
Ejemplo de acciones.

Considere el siguiente modelo del valor de una accin:

Al final de un da dado se registra el precio. Si la accin
subi, la probabilidad de que suba maana es de 0.7. Si
la accion bajo, la probabilidad de que suba maana es
de solo 0.5. (Para simplificar, cuando la accion
permanezca con el mismo precio se considerara un
aumento.)
Esta es una cadena de Markov, donde los estados
posibles de cada da son los siguientes:

Estado 0: El precio de la accin subi este da.
Estado 1: El precio de la accin bajo este da.

La matriz de transicin que muestra cada probabilidad
de ir desde un estado particular hoy hasta un estado
particular maana, esta dada por