Cadena de Markov

Objetivo:
Aplicar la teora de cadena de
Markov para resolver ejercicios

Docente: Msc. Mercedes Guillermina Godoy

Barbosa
 Las cadenas de markov

Las cadenas de markov son modelos

probabilsticos que se usan para predecir
la evolucin y el comportamiento a corto y
a largo plazo de determinados sistemas.
Ejemplos: reparto del mercado entre
marcas; dinmica de las averas de
mquinas para decidir poltica de
mantenimiento; evolucin de una
enfermedad,
Definicin de cadena de Markov
Una Cadena de Markov (CM) es:
Un proceso estocstico
Con un nmero finito de estados
(M)
Con probabilidades de transicin
estacionarias
Que tiene la propiedad markoviana
 Ejemplos de procesos estocsticos:

1.Serie mensual de ventas de un producto

2. Estado de una mquina al final de cada
semana (funciona/averiada)
3. N de clientes esperando en una cola
cada 30 segundos
4. Marca de detergente que compra un
consumidor cada vez que hace la
compra. Se supone que existen 7 marcas
diferentes
5. N de unidades en almacn al finalizar la
semana
Elementos de una cadena de markov

Un conjunto finito de M estados,

exhaustivos y mutuamente excluyentes
(ejemplo: estados de la enfermedad)
Ciclo de markov (paso) : periodo de
tiempo que sirve de base para examinar
las transiciones entre estados (ejemplo,
un mes)
Probabilidades de transicin entre
estados, en un ciclo (matriz P)
Distribucin inicial del sistema entre los
M estados posibles
 MATRIZ DE TRANSICIN:
Una matriz de transicin para una cadena
de Markov de n estado es una matriz de n
X n con todos los registros no negativos y
con la propiedad adicional de que la
suma de los registros de cada columna (o
fila) es 1.
Por ejemplo: las siguientes son matrices
de transicin.
Representacin grafica de una matriz de transicin:
Es el arreglo numrico donde se
condensa las probabilidades de
un estado a otro.
A travs de una grafica de matriz
de transicin se puede observar
el comportamiento estacionario
representado por una cadena de
Markov tal que los estados
representan la categora en que
se encuentre clasificado.
Como se aprecia a continuacin:
 Propiedad Markoviana
Un proceso estocstico tiene la propiedad markoviana si
las probabilidades de transicin en un paso slo
dependen del estado del sistema en el perodo anterior
(memoria limitada).
 Propiedad Markoviana

P(n) es la matriz de transicin en n pasos, de orden

(M+1)x(M+1)
Propiedad Markoviana
 Tipos de modelos de Markov:
Procesos de Markov (Modelos semi-markovianos):
Las probabilidades de transicin entre estados
pueden variar a medida que transcurren ms ciclos
Ejemplo: para modelizar la esperanza de vida, el
riesgo de muerte aumenta con la edad
Cadenas de Markov: Las probabilidades de
transicin se suponen constantes a lo largo del
tiempo
Propiedad markoviana

Comportamiento (sube/baja) del precio de las

acciones hoy depende de lo ocurrido ayer

Eleccin de marca: Con qu lnea area volar a

Madrid?
 Matriz de transicin del proceso
1 2 3 4 5
1 0.2 0.5 0.3
2 0.2 0.5 0.3
3 0.2 0.5 0.3
4 0.2 0.5 0.3
5 0.2 0.5 0.3
P22,3 = Probabilidad de que el sistema
pase del estado 2 al 3 en dos pasos.

P22,3 =
0.2*0.3+0.5*0.3+0.3*0.5+0*0.2+
0*0.3 = 0.36
 Actividad: De la matriz anterior
determinar:

P21,3 P21,2 P21,4 P24,3

P22,4 P22,1 P23,4 P23,3

De la matriz:

1 2
1 0.8 0.2
2 0.3 0.7 Determinar :
P21,2 P21,1
P22,2 P22,1
 Problema 1
La ciudad de Nueva York produce 1000 toneladas de
aire contaminado por da, la ciudad de Jersey 100
toneladas y Newark 50 toneladas. Todos los das, los
vientos arrastran 1/3 de la contaminacin de Nueva York
a Newark, 1/3 se disipa y el otro tercio permanece en
Nueva York. Cada da el viento se lleva a Nueva York 1/3
de la contaminacin de la ciudad de Jersey, 1/3 se queda
en Jersey y 1/3 se va Newark. Todos los das, 1/3 de la
contaminacin de Newark permanece all y el resto se va
con el viento a la ciudad de Jersey.
En un da representativo cual ciudad ser la ms
contaminada?
 Problema 2
Suponga que toda la industria de refresco produce
dos colas: Coca Cola y Pepsi Cola. Cuando una
persona ha comprado Coca Cola hay una
probabilidad de 90% de que siga comprndola la
vez siguiente. Si una persona compr Pepsi, hay
80% de que repita la vez siguiente. Se pide:
Si en la actualidad una persona es comprador de
Coca Cola. Cul es la probabilidad de que compre
Coca Cola pasadas tres compras a partir de ahora?
Suponga que el 60% de toda la gente toma hoy
Coca Cola y el 40% Pepsi. A tres compras a partir
de ahora, Qu fraccin de los compradores estar
tomando Coca Cola. Determinar la matriz de
Markov estable.