INVESTIGACIN DE

OPERACIONES II
CADENAS DE MARKOV

CADENAS DE MARKOV
4.1 Introduccin a la cadena de Markov.
Las cadenas de Markov se han aplicado en reas tales como educacin,
mercadotecnia, servicios de salud, finanzas, contabilidad y produccin. Por ello,
podemos considerarlas como una herramienta muy importante para la ingeniera
industrial.
La cadena de Markov recibe su nombre del matemtico ruso Andrei Markov que
desarrollo el mtodo en 1907, permite encontrar la probabilidad de que un sistema
se encuentre en un estado en particular en un momento dado. Algo ms
importante an, es que permite encontrar el promedio a la larga o las
probabilidades de estado estable para cada estado. Con esta informacin se
puede predecir el comportamiento del sistema a travs del tiempo.
La cadena de markov es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas
de este tipo tienen memoria. Recuerdan el ltimo evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior
distingue a las cadenas de Markov de las series de eventos independientes, como
tirar una moneda al aire o un dado.
En los negocios, las cadenas de Markov se han utilizado para analizar los
patrones de compra de los deudores morosos, para planear las necesidades de
personal y para analizar el reemplazo de equipo.
En matemticas, se define como un proceso estocstico discreto que cumple con
la Propiedad de Markov, es decir, si se conoce la historia del sistema hasta su
instante actual, su estado presente resume toda la informacin relevante para
describir en probabilidad su estado futuro.

Definicin
Una cadena de Markov es una sucesin de ensayos similares u observaciones en
la cual cada ensayo tiene el mismo nmero finito de resultados posibles y en
donde la probabilidad de cada resultado para un ensayo dado depende slo del
resultado del ensayo inmediatamente precedente y no de cualquier resultado
previo.

Propiedad de Markov:
Dada una secuencia de variables aleatorias......, X 1 X2 X3,... tales que el valor de X n
es el estado del proceso en el tiempo n. Si la distribucin de probabilidad
condicional de Xn+1 en estados pasados es una funcin de X n+1 en estados
pasados es una funcin de Xn por s sola, entonces:

Donde XI es el estado del proceso en el instante i.

4.2 Probabilidad de transiciones estacionarias de n pasos.

La probabilidad de transicin en n pasos se puede calcular por medio de una
forma en la que se pueden calcular las propiedades de transicin en n pasos es
mediante las Ecuaciones de Chapman Kolgomorov:
La matriz de probabilidades de transicin de n pasos se puede obtener calculando
la ensima potencia de la matriz de transicin de un paso:
P(n )=P P P .. P=P n
Se define
despus de
que:

P(n)
ij
n

como la probabilidad de que la cadena est en el estado

pasos, dado que la cadena empez en el estado

Ej

E i . Se tiene

(n)

Pij =P(X n = j X 0=i)

Por la propiedad Markpviana se tiene que
m

Pij = P( X n= j , X n1=kX 0=i)

(n)

k=1

Para

2, ya que la cadena debe haber pasado por uno de los

estados en la etapa

P( A BC)=P(AB C) P(BC)

Se sustituye
A ( Xn= j)
B ( Xn1=k)

C (X 0=i)
Entonces:
m

Pij = P(X n= j , X n1=kX 0=i)=

k=1

X n= j , X n1=k |X 0=i )=
m

P(X n= j |X n 1 =k X 0=i) P
k=1

X n1=k | X 0=i ) =
m

P ( X n = j |X n1 =k ) P
k=1
m

P P
k=1

(1 )
kj

( n1 )
ik

= P(ikn1 ) P(kj1 )
k=1

posibles

n1.

NOTA: Se tiene la siguiente igualdad, para tres posibles sucesos

(n )

A ,B y C:

Usando la propiedad markoviana nuevamente. La ecuacin anterior se denomina

de Chap-man-Kolmogorov.
Haciendo n

igual a 2,3, se obtiene que las matrices con esos elementos son:

[ P(ij2 ) ]=[ P(ikn1 ) P(kj1 ) ]=T 2

( 1)
3
[ P(ij3 ) ]=[ P(2)
ik Pkj ]=T

P(2)
ik

Ya que

son los elementos de

T2

y as sucesivamente. As,

P(ijn )=T n .
Ejemplo.
En una cierta regin el tiempo atmosfrico sigue la siguiente secuencia: Un da se
denomina soleado (S ) si el sol luce ms de la mitad del da, y se denomina
N
), si lo hace menos. Por experiencia, se sabe que si hay un da

nublado

nublado, es igual de probable que el da siguiente sea tambin nublado. Si el da

es soleado hay una probabilidad de 2/3 de que sea tambin soleado.
1. Construye la matriz de transicin

de este proceso.

2. Si hoy est nublado, Cul es la probabilidad de que dentro de tres das est
tambin nublado? Y de que est soleado?
3. Calcula

T5

10
y T 0. Cul es el comportamiento de

? Cmo se comporta

n cuando

Pn Cuando n ? Depende el lmite de p(0)?

(1) Asumimos que el proceso es markoviamo y que el tiempo slo depende del da
anterior. Se tiene una cadena de Markov con dos estados: E 1 Da nublado
N ,

E 2 Da soleado

Es decir,

S . La matriz de transicin es:

( )

1
2
T=
1
3

1
2
2
3

(2) empezando los pasos a partir del da actual, se tiene que

p(0 )=( P(10) P(20) )=( 1 0 )
De este modo, si hoy esta nublado, dentro de tres das, se tiene que
3

( )

1
(3 )
(0 ) 3
2
p =p T =( 1 0 )
1
3

1
2
=
2
3

= (1 0)

( )(
29
72
43
108

43
72 = 29 43 =( 0,403 0,597 )
65
72 72
108

As la posibilidad de que haya un da nublado en el tercer da es

sea soleado es

P(23 )=

P(13 )=

29
72

y que

43
72 .

(3)
5

( )(
( )(

1
5
2
T =
1
3

1
2
0,40008 0,59992
=
2
0,39995 0,60005
3

1
T 10= 2
1
3

1
2
2
3

10

0,4
0,60000
0,40000
0,6

Clculos as se facilitan bastante usando programas tipo MatLab, de modo que

T n 0,4 0,6 =Q
0,4 0,6
De este modo,

pn= p( 0) T n=( P(10 ) P(20 ) ) 0,4 0,6 =

0,4 0,6
(0 )

(0 )

P1 + P 2

()0,4 ( P(10 ) P(20) ) 0,6 )=

0,4 0,6 ) =

Ya que

(0 )

( 0)

P1 + P2 =1.

Se observa que cuando

n pn

(0)
no depende de dnde se parte: p

4.3. Estado estable

Un estado es estable cuando ya no hay cambios en el sistema, es decir que se
alcanza el equilibrio. Una manera posible de obtener las condiciones del sistema
para el estado estable es repetir iterativamente los clculos para cada periodo con
el fin de hallar el periodo con aquellas probabilidades que se mantienen
constantes o no cambian.
Sin embargo tambin es posible utilizar los mtodos para resolver sistemas de
ecuaciones que nos permiten encontrar directamente estas probabilidades de
estado estables.
Dado el ejemplo anterior acerca de los tipos de granjas, calcularemos los estados
estables a travs de los mtodos para sistemas de ecuaciones.
En primera medida lo que hacemos es hallar la traspuesta de la matriz de
transicin, es decir:

El sistema de ecuaciones quedara as:

Esta ltima ecuacin es agregada siguiendo la propiedad de que la sumatoria las

probabilidades de los estados debe ser igual a 1.

Utilizando el mtodo de eliminacin, restamos las ecuaciones (1) y (2) eliminando

z.

Ahora sumamos las ecuaciones (3) y (4), multiplicando la ecuacin 4 por 0.2 con
el fin de eliminar z

Despejando de la ecuacin (6) y reemplazando en (5), tenemos:

Reemplazando x en (6)

MATRIZ REGULAR Y MATRIZ ERGODICA

Una matriz de transicin T se dice que es regular si para algn elemento positivo
de k la matriz Tk no tiene elementos iguales a cero. Adems debe tener
comunicacin directa con los dems estados.

Si los estados de una cadena son recurrentes, aperidicos y se comunican entre

s, se dice que la matriz es ergdica.

CLASIFICACION DE LOS ESTADOS DE LA CADENA DE MARKOV

Los estados de una cadena de Markov se clasifican dependiendo de la fraccin de
tiempo que la cadena pasa en cada uno de ellos.
Los estados de una cadena de Markov pueden ser:
Transitorios: Un estado es transitorio si despus de haber entrado a este
estado, el proceso no regresara a l.
Recurrentes: Se dice que un estado es recurrente si despus de haber entrado
a este estado el proceso definitivamente regresara a ese estado. Por consiguiente,
un estado es recurrente si y solo si no es transitorio.
Absorbentes: Un estado se llama absorbente si despus de haber entrado ah
el proceso nunca saldr de ese estado. Por consiguiente, el estado i es un estado
absorbente si y solo si Pij=1.

4.4. Estados absorbentes

En un proceso de Markov, un conjunto C de estados se llama cerrado si el
sistema, una vez en uno de los estados de C, permanece all por tiempo
indefinido. Un ejemplo especial de un conjunto cerrado es un estado nico Ej con
probabilidad de transicin pij _ 1. En ese caso a Ej se le llama estado
absorbente. Todos los estados de una cadena irreducible deben formar un
conjunto cerrado, y ningn subconjunto puede ser cerrado. El conjunto cerrado C
tambin debe satisfacer todas las condiciones de una cadena de Markov, y por
consiguiente se puede estudiar en forma independiente.

0 12 3

0
1
P=
2
3

1
2
0
1
3
0

1
4
0

1
4
1
1
3
0

( )
0
0

0
0
1
3
1

Esta cadena se ilustra en forma grfica en la figura 1. All se ve que los cuatro
estados no constituyen una cadena irreducible, porque desde el estado 3 no se
puede llegar a los estados 0, 1 y 2. El estado 3 en s forma un conjunto cerrado y
en consecuencia es absorbente. Tambin se puede decir que el estado 3 forma
una cadena irreducible.

FIGURA 1
Ejemplo de los estados de una cadena
Markov

Bibliografia
1. Taha, Hamdy A.(2004) Investigacin de Operaciones. (7. Ed) Mxico:
Pearson
2. Investigacin de Operaciones II, mircoles, 25 de mayo de 2011,
Recuperado el 08 de noviembre de 2014, de:
http://investigaciondeoperaciones2ingind.blogspot.mx/2011/05/cadenas-demarkov.html