1.

INTRODUCCIN
Las cadenas de Markov son una herramienta para analizar el comportamiento de
determinados tipos de procesos estocsticos, esto es, procesos que evolucionan de
forma no determinista a lo largo del tiempo en torno a un conjunto de estados.
Por tanto, representa un sistema que vara su estado a lo largo del tiempo, siendo cada
cambio una transicin del sistema. Dichos cambios no estn predeterminados, aunque
s lo est la probabilidad del prximo estado en funcin de los estados anteriores,
probabilidad que es constante a lo largo del tiempo. Eventualmente, en una transicin,
el nuevo estado puede ser el mismo que el anterior y es posible que exista la
posibilidad de influir en las probabilidades de transicin actuando adecuadamente
sobre el sistema (decisin).
Una cadena de Markov es un caso especial de los procesos de Markov. Se utiliza para
estudiar el comportamiento a corto y largo plazo de ciertos sistemas estocsticos.
En matemticas, se define como un proceso estocstico discreto que cumple con la
Propiedad de Markov, es decir, si se conoce la historia del sistema hasta su instante
actual, su estado presente resume toda la informacin relevante para describir en
probabilidad su estado futuro.
Muchas personas tienen la costumbre de organizar su vida y sus das basndose en
prediccin y en seales. Hoy da el estilo de vida es uno mucho ms cmodo ya que
est llena de aparatos tecnolgicos, creo que no es algo desconocido el que las
personas no hayan visto la seccin del tiempo en los medios noticiosos.
Ms bien las noticias y la seccin del tiempo para las personas comunes es algo
rutinario, se observa la seccin del tiempo y se obtiene una idea sobre cmo se podra
planificar su da de trabajo o en mejores momentos el da de sus vacaciones. El
mtodo utilizado por los meteorlogos para predecir un da lluvioso o seco, adems del
sistema de satlites, son las cadenas de Markov y el hallar la matriz de transicin. Las
cadenas de Markov tienen como misin hallar la probabilidad de que ocurra un evento
luego de haber ocurrido un evento anterior.
Esto significa que los meteorlogos buscan hallar la probabilidad de que un da este
lluvioso o seco, dejndose llevar de lo sucedido en el da anterior. Este es el mejor y
ms sencillo ejemplo a aplicarse en las cadenas de Markov, ya que todo se puede
hacer utilizando una matriz 2x2 e intervalos de tiempos cortos.

2. CADENAS DE MARKOV

2.1 Introduccin A Las Cadenas De Markov

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de
este tipo tienen memoria. Recuerdan" el ltimo evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a
las cadenas de Markov de las series de eventos independientes, como tirar una
moneda al aire o un dado.
En los negocios, las cadenas de Markov se han utilizado para analizar los
patrones de compra de los deudores morosos, para planear las necesidades de
personal y para analizar el reemplazo de equipo.
El anlisis de Markov, llamado as en honor de un matemtico ruso que desarrollo el
mtodo en 1907, permite encontrar la probabilidad de que un sistema se encuentre en
un estado en particular en un momento dado. Algo ms importante an, es que permite
encontrar el promedio a la larga o las probabilidades de estado estable para cada
estado. Con esta informacin se puede predecir el comportamiento del sistema a travs
del tiempo.
La tarea ms difcil es reconocer cundo puede aplicarse. La caracterstica ms
importante que hay que buscar en la memoria de un evento a otro.

2.2 Probabilidad De Transiciones Estacionarias De N Pasos

Las ecuaciones de Chapman-Kolmogorov proporcionan un mtodo para calcular estas
probabilidades de transicin de n pasos:

Estas ecuaciones simplemente sealan que al ir de un estado i al estado j en n

pasos, el proceso estar en algn estado k despus de exactamente m (menor que n)
pasos. As,
Es solo la probabilidad condicional de que, si se comienza en el estado i, el
proceso vaya al estado k despus de m pasos y despus al estado j en n- m pasos.

Los casos especiales de m=1 y m=n-1 conducen a las expresiones

Para toda i, j, y n de lo cual resulta que las probabilidades de transicin de n pasos se
pueden obtener a partir de las probabilidades de transicin de un paso de manera
recursiva. Para n=2, estas expresiones se vuelven:

Note que las

son los elementos de la matriz P(2) , pero tambin debe de

observarse que estos elementos,

se obtienen multiplicando la matriz de
transicin de un paso por s misma; esto es , P(2) = P * P = P2 .
En trminos ms generales, se concluye que la matriz de probabilidades de transicin
de n pasos se puede obtener de la expresin: P(n) = P * P .... P = Pn = PPn-1 = Pn-1 P.
Entonces, la matriz de probabilidades de transicin de n pasos se puede obtener
calculando la n-sima potencia de la matriz de transicin de un paso. Para valores no
muy grandes de n, la matriz de transicin de n pasos se puede calcular en la forma que
se acaba de describir, pero cuando n es grande, tales clculos resultan tediosos y, ms
an, los errores de redondeo pueden causar inexactitudes.

2.3 Estado Estable

Probabilidades de estado estable:
La funcin de probabilidad de transicin de TC satisface las ecuaciones de ChapmanKolmogorov, luego para cualquiera estados i,j y nmeros t y s(0s<t):
M
pij= pik(s)pkj(t-s) para i=0,1,,M
k=1
Se dice que un par de estados i,j se comunican si existen tiempos t 1, t2 tales que
pij(t1)>0 y pij(t2)>0. Todos los estados que se comunican forman una clase. Si todos los
estados en una cadena forman una clase, entonces la cadena ser irreducible, por lo
que:
pij(t)>0, para todo t>0 y todos los estados i,j , y ms an:
lim pij(t)=j llamadas probabilidades de estado estable(o estacionarias).
t
Las probabilidades estacionarias satisfacen: M
j qj= i qij para j=0,1,,M y j=0
ij
j=0
(Estas ecuaciones se suelen llamar de balance).

2.4 Estados Absorbentes

Se dice que un estado i es absorbente si la probabilidad de transicin (de un paso) pij

es igual a 1. Una cadena de Markov es Absorbente si:
a)
b)

Tiene por lo menos un estado Absorbente.

Es posible ir de cada estado no absorbente hasta por lo menos un estado
absorbente. No es necesario efectuar esta transicin en un paso; ni es necesario tener
la posibilidad de alcanzar cada estado absorbente a partir de cualquier estado no
absorbente.

A partir del anlisis de estas cadenas, es posible determinar los siguientes datos:
1)
2)

El nmero esperado de pasos antes de que el proceso sea absorbido.

El nmero esperado de veces que el proceso est en cualquier estado dado no
absorbente.
3)
La probabilidad de absorcin por cualquier estado absorbente dado.
Una vez que la cadena llega al estado k permanece ah para siempre. Si k es un
estado absorbente y el proceso comienza en el estado i, la probabilidad de llegar en
algn momento a k se llama probabilidad de absorcin al estado k dado que el sistema
comenz en i. Esta probabilidad se denota por f ik. Si se tienen dos o ms estados
absorbentes en una cadena de Markov y es evidente que el proceso ser absorbido en
uno de estos estados, es deseable encontrar estas probabilidades de absorcin.
Dichas probabilidades pueden obtenerse con slo resolver un sistema de ecuaciones
lineales. Si el estado k es un estado absorbente, entonces el conjunto de
probabilidades de absorcin fik satisface el sistema de ecuaciones sujeta a las
condiciones

Las probabilidades de absorcin son importantes en las caminatas aleatorias.

Una caminata aleatoria es una cadena de Markov con la propiedad de que, si el
sistema se encuentra en el estado i, entonces en una sola transicin, o bien
permanecer en i o se mover a uno de los estados inmediatamente adyacentes a i.
Por ejemplo, la caminata aleatoria con frecuencia se usa como a modelo para
situaciones que incluyen juegos de azar.