4. Cadenas de Markov
Algunas veces nos interesa saber cmo cambia una variable aleatoria a travs
del tiempo. Por ejemplo, desearamos conocer cmo evoluciona el precio de las
acciones de una empresa en el mercado a travs del tiempo. El estudio de cmo
evoluciona una variable aleatoria incluye el concepto de procesos
estocsticos. En este captulo explicaremos esos procesos, en especial uno que se
conoce como cadena de Markov. Las cadenas de Markov se han aplicado en reas
tales como educacin, mercadotecnia, servicios de salud, contabilidad y produccin.
Qu es un Proceso Estocstico?
Supngase que observamos alguna caracterstica de un sistema en puntos
discretos en el tiempo (que llamamos 0,1,2,...). Sea Xt el valor de la caracterstica
del sistema en el tiempo t. En la mayor parte de los casos no se conoce X t con
certeza antes del tiempo t y se puede considerar como variable aleatoria. Un
proceso estocstico de tiempo discreto es simplemente una descripcin de la
relacin entre las variables aleatorias X 0, X1, X2,... A continuacin daremos algunos
ejemplos de procesos estocsticos de tiempo discreto.
Ejemplo 1 La ruina del jugador: En el tiempo 0 tengo 2 dlares. En los tiempos
1,2,3... participo en un juego en el que apuesto 1 dlar. Gano el juego con
probabilidad p, y lo pierdo con probabilidad 1-p. Mi meta es aumentar mi capital a 4
dlares, y tan pronto como lo logre se suspende el juego. El juego tambin se
suspende si mi capital se reduce a 0 dlares. Si definimos que X t es mi capital
despus del juego cuando el tiempo es t, si es que lo hay, entonces se puede
considerar que X0, X1, ..., Xt son procesos estocsticos de tiempo discreto. Ntese
que X0=2 es una constante conocida, pero que X1 y las dems Xt son aleatorias. Por
ejemplo X1=3 con probabilidad p y X 1=1 con probabilidad 1-p. Ntese que si X t=4,
entonces Xt+1 y todas las dems X t tambin sern igual a 4. Igualmente, si X t=0,
entonces Xt+1 y todas las dems Xt sern 0 tambin.
Ejemplo 2: Sea X0 el precio de una accin de computadoras CSL al principio de este
da hbil. Tambin sea Xt el precio de esa accin al principio del t-simo da hbil en
el futuro. Es claro que si se conocen los valores de X 0, X1, ..., Xt nos dicen algo de la
distribucin de probabilidad de Xt+1; el asunto es: Qu nos dice el pasado (los
precios de las acciones hasta el tiempo t) acerca de X t+1? La respuesta de esta
pregunta es de importancia crtica en finanzas.
Un proceso estocstico de tiempo continuo es simplemente un proceso
estocstico en el que el estado del tiempo se puede examinar en cualquier tiempo y
no slo en instantes discretos. Por ejemplo, se puede considerar que el nmero de
personas en un supermercado a los t minutos despus de abrir, es un proceso
estocstico de tiempo continuo. As tambin, el precio de una accin se puede
observar en cualquier tiempo, y no slo al abrir la bolsa, por lo que se puede
considerar como proceso estocstico de tiempo continuo. Al considerarlo as, se ha
podido a importantes resultados en la teora de finanzas, incluyendo la famosa
frmula de Black-Scholes para opcin de precio.
Cadenas de Markov 2
t
j 1
ij 1, con 0 tij 1
Aplicacin 1:
Participaciones de mercado
Una investigacin de mercados sobre el consumo de 3 marcas de cerveza: A, B y C
por 1000 personas dar al inicio (n=0) y despus de un periodo (n=1) los siguientes
resultados:
Se desea saber:
a) El porcentaje de los clientes que consumen cada marca de cerveza despus
de un periodo.
Cadenas de Markov 3
Por lo tanto: = .T
Deseando calcular los elementos de =[A B C], tenemos:
0,7 0,2 0,1
0,4
[A B C] = [A B C] 0,1 0,5
0,24
0,16 0,6
adems de:
A + B + C =1
El sistema de ecuaciones sera:
A + B + C =1
0,7A + 0,1B + 0,24C = A
0,2A + 0,5B + 0,16C = B
0,1A + 0,4B + 0,6C = C
Este sistema es redundante y, para resolverlo, eliminamos una de las tres ltimas
ecuaciones (por ejemplo la ltima).
A + B + C =1
-0,3A + 0,1B + 0,24C = 0
0,2A - 0,5B + 0,16C = 0
y la solucin es: = [ 0,376 0,265 0,359]
Observamos el aumento en la participacin de A, que pasa de 20% a 37.6%;
principalmente a costa de C, que cae de 50% a 35,9%. Entonces si C quiere
promover una campaa publicitaria para quebrar el proceso, debera,
principalmente, dirigirla hacia los actuales consumidores de A, ya que t AC=0,1 (muy
pequeo). Se observa que tBC es bastante grande.
La siguiente tabla muestra las distribuciones de estado para diferentes periodos de
transicin:
Cadenas de Markov 6
Se observa que a partir del periodo 7, las variaciones en los tres estados son casi
despreciables.
1 / 2 1 / 2 2 1 / 4 3 / 4
b) T= ,T= ,
0 1 0 1
1 / 8 7 / 8
T3= ,
0 1
Aplicacin 2:
Pronstico del clima
Las probabilidades del estado del tiempo para la ciudad de Arequipa el mes de
enero del presente ao fueron extradas de la base de datos de SENAMHI Arequipa.
Dichos valores han sido tomados de un dia anterior al dia que iran a ser puestos a
conocimiento de la poblacin arequipea. Estos datos se pueden expresar mediante
la siguiente matriz de transicin:
La matriz P representa el modelo del clima, en donde dice que un dia es soleado es
90% posible de que sea seguido por otro dia soleado y un dia lluvioso es 50%
posible de que sea seguido por otro dia lluvioso. Las columnas pueden ser
nombradas como soleado y lluvioso respectivamente y las filas pueden ser
nombradas en el mismo orden.
(P) es la probabilidad que, dado un dia de tipo j, sea seguido por un dia i.
Ntese que las columnas de P suman 1, es as porque P es una matriz estocstica.
Pronosticando el clima.-
Por eso, hay un 90% de posibilidad de que el dia 1sea tambien soleado
Asi que;
q1 5q2 = 0
Los dos ltimos estados son estados absorbentes y los dems son transitorios. Por
ejemplo, Experimentado es estado transitorio, por que hay una trayectoria de
Experimentado a Sale sin ser socio, pero no hay trayectoria que regrese de Sale sin
ser socio a Experimentado. Suponemos que una vez que un abogado sale de la
empresa nunca regresa.
Para toda la cadena absorbente se desea conocer: (1) Si la cadena comienza en un
determinado estado transitorio, y antes de alcanzar un estado absorbente, cul es
el nmero esperado de veces que se entrar en cada estado? Cuntos periodos
esperamos pasar en un estado transitorio dado antes que se efecte la absorcin?.
Cadenas de Markov 11
t1 t2 t3
t1 5 2,5 10
-1 40 / 3
(I-Q) = t 2 0 10 / 3
t 3 0 0 20
Entonces,
a1 a2
t1 0,50 0,50
2 / 3
(I-Q)-1R = t 2 1 / 3
t3 0 1
Por lo tanto,
1. El tiempo esperado que un abogado principiante permanece en la empresa =
(duracin esperada del abogado principiante en la empresa como principiante) +
(tiempo esperado que el abogado principiante permanece en la empresa como
abogado con experiencia) + (tiempo esperado que el abogado principiante
permanece en la empresa como socio). Entonces
- Tiempo esperado como principiante = (I-Q)-111=5
- Tiempo esperado como con experiencia = (I-Q) -112=2,5
- Tiempo esperado como socio = (I-Q) -113 =10
Por lo tanto, el tiempo total esperado que un abogado principiante permanece en la
empresa es 5 + 2,5 + 10 = 17,5 aos.
2. La probabilidad de que un abogado principiante recin ingresado llegue a ser
socio es tan slo la probabilidad de que salga de la empresa siendo socio. Como t 1
= Principiante y a2 = Sale siendo socio, la respuesta es el elemento 12 de (I-Q) -1R =
50.
3. Como t3 = Socio, buscamos el nmero esperado de aos que pasa en t 3, dado
que comenzamos en t3. Este es justamente el elemento 33 de (I-Q) -1 = 20 aos. Es
razonable, por que durante cada ao hay una probabilidad de 0,05 (1 en 20) que
un socio deje el bufete y, por lo tanto, debe tardar un promedio de 20 aos en dejar
la empresa.
Aplicacin 4:
Cadenas de Markov 13
MAS APLICACIONES:
Cadenas de Markov 14
Luego hallamos los vectores de estado estable para ambas mquinas aplicando la
relacin:
= .T
Siendo = [ x1 x2 ]
Donde :
x1: probabilidad de estado estable de que la mquina Funcione
x2: probabilidad de estado estable de que la mquina No Funcione
Adems x1+x2=1
Para la mquina 1 tenemos:
[ x1 x2 ] = [ x1 x2 ]*T
x1+x2=1
Reemplazando los datos de matriz de Transicin de estados de la mquina 1 y
resolviendo el sistema de ecuaciones tenemos:
x1= 0.9375 y x2=0.0625
entonces 1 = [ 0.9375 0.0625 ]
Para la mquina 2 tenemos 2 = [ 0.8889 0.1111 ]
Por lo tanto se observa que la mquina 1 tiene mayor probabilidad de
funcionamiento (93.75%) frente a 88.89% de la mquina 2, en consecuencia la
empresa debe rentar la mquina 1.
Cadenas de Markov 15
APLICACIN 2.- Una pequea tienda de videos lleva un control del nmero de
veces por semana que es rentado un video y estima las siguientes probabilidades de
transicin (ver matriz siguiente).
Donde: los estados en orden son: 5 veces, 4 veces, 3 veces, 2 veces, 1 vez y 0
veces
Por ejemplo, si un video se rent 5 veces esta semana, entonces hay una
probabilidad de 80% de que sea rentado 5 veces la siguiente semana, 10% de
probabilidades de que sea rentado 4 veces y 10% de probabilidades de que sea
rentado 3 veces. Cuando un video es rentado 0 veces, este se desecha.
La siguiente matriz fue calculada utilizando el las funciones de Excel:
c) Suponga que un video fue rentado 5 veces esta semana. En promedio, cuntas
veces ms ser rentado antes de que se deseche?.
Para responder esta pregunta usamos la informacin de la matriz (I-Q) -1 (primera
fila)
5(5)+ 1.667(4) + 6.481(3) + 3.519(2) + 2.5(1) = 61 veces
d) Suponga que esta semana se rent 5 veces. En promedio, cuntas semanas
ser rentado por lo menos 2 veces?.
Para responder esta pregunta usamos la informacin de la matriz (I-Q) -1 (primera
fila)
3.519 semanas ser rentado 2 veces
6.481 semanas ser rentado 3 veces
1.667 semanas ser rentado 4 veces
5.000 semanas ser rentado 5 veces
Entonces ser rentado por lo menos 2 veces 3.519 + 6.481 + 1.667 + 5 = 16.7
semanas.
e) Suponga que un video fue rentado 3 veces esta semana. En promedio, cuntas
veces ms ser rentado?.
Para responder esta pregunta usamos la informacin de la matriz (I-Q) -1 (tercera
fila)
0(5)+ 0(4) + 6.667(3) + 3.333(2) + 2.5(1) = 29 veces.
1
1
1
Hallamos la matriz (I-Q)-1*R =
1
1
1
APLICACIN 3.- Juan es propietario de un terreno con 5000 pinos. Cada ao Juan
le permite a los detallistas de rboles de navidad seleccionar y cortar rboles para la
venta a clientes individuales. Juan protege los rboles pequeos (por lo general de
menos de 120 cm. de alto) de manera que estn disponibles para la venta en aos
futuros. Actualmente estn clasificados 1500 rboles como protegidos, en tanto que
los 3500 restantes estn disponibles para corte. Sin embargo, aunque en un ao
dado un rbol est disponible para corte, quizs no sea seleccionado sino hasta en
aos futuros. Aunque la mayora de los rboles que no se cortan en un ao dado
viven hasta el siguiente, todos los aos se pierden algunos pinos enfermos.
Al estudiar la operacin de los rboles de navidad de Juan como un proceso de
Markov con periodos anuales, definimos los cuatro estados siguientes:
Estado 1. Cortado y vendido.
Estado2. Perdido por enfermedad.
Estado3. Pequeo para cortarse
Estado4. Disponible para cortar, pero no cortado ni vendido
La siguiente matriz de transicin es apropiada
b) Cuntos aos se espera que pase un rbol pequeo en el vivero antes de ser
cortado y vendido o perdido por enfermedad?.
APLICACIONES PROPUESTAS
APLICACIN 6.- Freezco, Inc., vende refrigeradores. La fabrica otorga una garanta
en todos los refrigeradores que especifica cambio gratis de cualquier unidad que se
descomponga antes de tres aos. Se nos da la siguiente informacin: (1) el 3% de
todos los refrigeradores nuevos falla durante su primer ao de funcionamiento; (2) el
5% de todos los refrigeradores con 1 ao de funcionamiento falla durante el segundo
ao de trabajo, y (3) el 7% de todos los refrigeradores con dos aos de
funcionamiento falla durante su tercer ao. La garanta no vale para el refrigerador
de repuesto.
a) Use la teora de cadenas de Markov para predecir la fraccin de todos los
refrigeradores que deber cambiar Freezco.
b) Suponga que a Freezco le cuesta 500 dlares cambiar un refrigerador y que
vende 10000 refrigeradores al ao. Si la fabrica redujera el plazo de garanta
a dos aos, cunto dinero se ahorrara en costos de reemplazo?.
Cadenas de Markov 20
APLICACIN 11.- El estado de las cuentas por cobrar en una empresa se modela
con frecuencia como una cadena absorbente de Markov. Suponga que una empresa
supone que una cuenta es incobrable si han pasado ms de tres meses de su fecha
de vencimiento. Entonces, al principio de cada mes, se puede clasificar cada cuenta
en uno de los siguientes estados especficos:
Estado 1 Cuenta nueva.
Estado 2 Los pagos de la cuenta estn retrasados un mes.
Cadenas de Markov 22
Por ejemplo si al principio de un mes una cuenta lleva dos meses de vencida, hay
40% de probabilidades de que no se pague al principio del mes siguiente y, por lo
tanto, que tenga tres meses de retraso y una probabilidad de 60% de que se pague.
Suponga ademn que despus de tres meses, la cuenta o se cobra o se considera
incobrable.
Una vez que una deuda se paga o se considera incobrable, se cierra y no se tiene
ms transiciones.
a) Cul es la probabilidad que una cuenta nueva sea cobrada alguna vez?.
b) Cul es la probabilidad que una cuenta atrasada un mes se vuelva
finalmente incobrable?
c) Si las ventas de la empresa son 100 000 dlares en promedio mensual,
cunto dinero ser incobrable cada ao?.
APLICACIN 13.- El 1 de enero (de este ao), las panaderas Klosman controlaban
el 40% de su mercado local, mientras que las otras dos panaderas, A y B, tenan 40
y 20 por ciento, respectivamente, del mercado. Basndose en un estudio de una
empresa de investigacin de mercado, se compilaron los siguientes datos: la
panadera Klosman retiene el 90% de sus clientes, y gana el 5% de los clientes de A
y el 10% de los de B. La panadera A retiene el 85% de sus clientes y gana 5% de
los clientes de Klosman y 7% de los de B. La panadera B retiene 83% de sus
clientes y gana 5% de los clientes de Klosman y 10% de los de A.
a) Cul ser la participacin de cada empresa en 1 de enero del ao
siguiente.
b) Klosman decide hacer una campaa publicitaria a efectos de ganar clientes,
dicha campaa altera las probabilidades de transicin de estados de la
siguiente manera: la panadera Klosman retiene el 90% de sus clientes, y
gana el 15% de los clientes de A y el 20% de los de B. La panadera A retiene
el 75% de sus clientes y gana 5% de los clientes de Klosman y 7% de los de
B. La panadera B retiene 73% de sus clientes y gana 5% de los clientes de
Klosman y 10% de los de A. Si a Klosman le cuesta 350 dlares por mes una
campaa publicitaria y por cada cliente ganado obtiene un ingreso igual a 10
dlares mensuales, por cuntos periodos debe mantener su campaa
publicitaria, sabiendo que se compite en un mercado de 1000 clientes?.