Cadena de

Markov
ITA 2A

Modelos matemticos

Gabriela Parra

Luna Esmeralda Ledezma

Ramirez
Marco Antonio Rodriguez
Sarmiento

La cadena de Markov es un caso particular del proceso

estocstico con el estado discreto (el parmetro, en
general, el tiempo puede ser discreto o continuo) y tiene la
propiedad de Markov, llamado as por el matemtico Andrei
Andreyevich Markov . La configuracin de esta propiedad,
tambin llamada memoria de Markov, es que los estados
anteriores son irrelevantes para la prediccin de los
siguientes estados, ya que se conoce el estado actual.
Una cadena de Markov es una secuencia X 1 , X 2 , X 3 , ...
de variables aleatorias . El alcance de estas variables, es
decir, el conjunto de valores que pueden tomar, se
llama espacio de estados , donde x n indica el estado del
proceso en el tiempo n . Si la distribucin de la probabilidad
condicional de X n1 en los ltimos estados es una funcin
slo de X n , entonces:
donde x es un estado del proceso. La identidad anterior
define la propiedad de Markov .
Una manera simple de ver un tipo especfico de cadena de
Markov es a travs de una mquina de estados finitos . Si
se encuentra en el estado y en el instante n , entonces la
probabilidad de que se mueve al estado x en el
instante n + 1 no depende de n , y slo depende del
estado actual y que eres. Por lo tanto en cualquier
momento n, una cadena de Markov finita se puede
caracterizar por una matriz de probabilidad cuyo elemento
( x , y ) viene dada por
y es
independiente del tiempo n . Estos tipos de cadena de
Markov finita y discreta tambin se pueden describir por
medio de un grfico dirigido (orientada), donde cada borde
se etiqueta con las probabilidades de transicin de un
estado a otro y estos estados representados como nodos
conectados por bordes.
Andrei Markov obtuvo los resultados de estos procesos
en 1906 . Una generalizacin a espacios de infinitos estados
contables fue dada por Kolmogorov en 1936. Las cadenas
de Markov se relacionan con el movimiento browniano y
lahiptesis ergdica , dos temas importantes de la fsica en
los primeros aos del siglo XX , pero la motivacin de
Markov para el desarrollo de la teora parece haber sido
para extender la teora de un gran nmero de eventos
dependientes.

Ejemplo:

En una comunidad hay 3 supermercados (S1, S2, S3) existe

la movilidad de un cliente de uno a otro. El 1 de septiembre,
de los clientes va al S1, 1/3 al S2 y 5/12 al S3 de un total
de 10.000 personas. Cada mes esl S1 retiene el 90% de sus
clientes y pierde el 10% que se va al S2. Se averigu que el
S2 solo retiene el 5% y pierde el 85% que va a S1 y el resto
se va a S3, el S3 retiene solo el 40%, pierde el 50% que va
al S1 y el 10% va al S2.
a) Establecer la matriz de transicin
b) Cul es la proporcin de clientes para los
supermercados el 1 de
Noviembre?
c) Hallar el vector de probabilidad estable.
SOLUCIN:
a) La matriz de transicin para el orden S1, S2, S3 es:

b) Para el mes de noviembre (han transcurrido 2 meses

desde 1 de septiembre), la proporcin de clientes es:

La proporcin es del 81,58% para S1, 9,58% para S2 y

8,83% para S3
b) El vector de probabilidad estable se obtiene
resolviendo:

El sistema resultante es: