1

Cadenas de Markov.

Una cadena de Markov es una representacin en un modelo matricial o grafico de los valores que toma
una variable aleatoria indexada en el tiempo, donde el modelo matricial busca determinar en periodos
consecutivos del tiempo la probabilidad de que la variable tome cierto valor dado que en el periodo
pasado tomo otro o el mismo valor.

Ejemplos de variables o eventos:
t
X El precio de una accin al principio del da t.
t
X Nivel de inventario al inicio de cada mes.
t
X Demanda semanal de cierto artculo al fin de semana.

Dichas variables o eventos deben de tener las siguientes caractersticas.
- Los periodos son iguales.
- Existe un nmero finito de estados o valores que pueden tomar la variable: S
1
, S
2
... S
s

- La condicin del siguiente periodo, tan solo depende de su condicin un periodo antes.

) , ..., , / (
1 1 2 2 1 1 1
i X x X x X x X j X P
t t t t
= = = = =
+
) / (
1
i X j X P
t t
= = =
+
... 2 , 1 , 0 = t

Esto es la probabilidad condicional de un estado futuro dados los estados pasados y actual solo
depende del estado actual. Esta situacin se conoce como la propiedad markoviana.
Obs: Si la variable aleatoria
t
X no cumple esta condicin entonces no se debera modelar
como cadena de Markov.

- Existen probabilidades de transicin de un periodo (paso) estacionarias.

ij
p i X j X P i X j X P i X j X P = = = = = = = = = )... / ( ) / ( ) / (
3 4 2 3 1 2


Esto es las probabilidades de transicin de un paso o periodo son invariantes en el tiempo, esto es no
importa en qu periodo se est analizando la variable las probabilidad de transicin de un periodo no
cambian.

Los siguientes son los datos de la demanda semanal de una lavadora recopilados al inicio de cada lunes:
50, 53, 49, 52, 50, 51, 49, 52, 51, 49, 52, 50, 53, 52, 49, 50, 52, 49, 52, 51, 49, 52, 49, 50, 52, 50, 52, 49,
51, 51, 50, 52, 50, 53, 52, 50, 53, 49, 51, 53, 50, 51, 53, 50, 53, 52, 49, 51, 50, 52.
Modele esta variable como cadena de Markov.

El que suba una accin maana, depende de si sube o no hoy, se ha descubierto que en el 75% de las
veces en que sube un da cualquiera vuelve a subir el da siguiente, sin embargo en el 35% de las veces en
que baja o se mantiene en un da, sube al siguiente da.
a. Modele esta situacin como cadena de Markov.
b. El que suba una accin o no maana, depende de si subi o no hoy y ayer. En particular, si la accin
subi los dos das la probabilidad de que suba maana es 0.9. Si la accin subi hoy pero ayer bajo,
maana subir con probabilidad 0.6. Si la accin bajo hoy pero ayer subi, entonces maana subir
con probabilidad de 0.5. por ltimo, si bajo los dos das, la probabilidad de que maana suba es de
0.3. Modele la situacin como una cadena de Markov.

Definiendo
i
q como la probabilidad de que la cadena se encuentre en el estado i en el tiempo 0. Al
vector ] .... , , [
3 2 1 s
q q q q q= se le conoce como distribucin inicial de probabilidad de la cadena de Markov.
En algunos casos qcontiene una distribucin inicial de cantidades.

2
Observaciones:

- La probabilidad P ( ) /
1
i X j X
t t
= =
+
se le llama probabilidad de transicin de un paso del estado i
al estado j y se denota
ij
P
- Las probabilidades de transicin se presentan en una matriz de tamao S x S

1 2 3 . . . . S

1
11
P
12
P
13
P ..
S
P
1

2
21
P
23
P
23
P ..
S
P
2

3
31
P
32
P
33
P ..
S
P
3

. . . . .
S
1 S
P
2 S
P
3 S
P ..
SS
P

- Dado que la cadena esta en el estado i en el tiempo t, el proceso seguro que debe de estar en algn
estado j en el tiempo t + 1, de aqu que:

=
+
= = =
s
j
t t
i X j X P
1
1
, 1 ) / ( Esto es 1
1
=

=
ij
s
j
p La suma en cada fila es 1.

- P
) (n
ij
es la probabilidad condicional de que la V.A. X comenzando en el estado i se encuentre en el
estado j despus de n periodos. n = 1, 2, 3,... Cmo se determinan?

- Utilizando las probabilidades de la matriz de transicin de un periodo es posible determinar las
probabilidades de transicin de n periodos o n pasos
) (n
ij
P .
- P
) (n
ij
> 0 1
1
) (
=

=
S
j
n
ij
P j i, y n = 1,2,...

- Si se tiene probabilidades de transicin de un paso estacionarias, entonces las probabilidades de
transicin de n pasos tambin son estacionarias.

,... 1 , 0 ) / ( ) / ( ) / (
1 1 5 5
= = = = = = = = =
+ + +
t i X j X P i X j X P i X j X P
n n t n t


Una compaa se dedica al arrendamiento de camiones a personas que deseen realizar sus propias
mudanzas. Se ha dividido la zona en tres regiones Norte, Centro y Sur. De registros previos se ha
determinado que de los camiones que se rentan el norte, despus de un mes 20% terminan en el norte,
30% terminan en la regin centro y 50% se devuelven a la compaa en la regin Sur. De los
camiones ....

Regin donde
Se renta.
Regin donde se devuelve.
Norte Centro Sur
Norte 0.2 0.3 0.5
Centro 0.5 0.15 0.35
Sur 0.3 0.5 0.2

a. Qu porcentaje de los camiones que se rentan en la regin centro terminaran en otra regin al
final de los siguientes 3 meses?
b. Qu porcentaje camiones habr en cada regin despus 5 meses? Si qo[20,30,10]
c. Finalmente cmo se distribuirn los camiones?

3
Probabilidades de Transicin de n etapas.

Primero obtengamos la probabilidad
) 2 (
ij
P . Si el sistema se encuentra hoy en el estado i y debe terminar
en el estado j dentro de 2 periodos, se debe de pasar del estado i al estado k en el siguiente periodo y
finalmente del estado k al estado j, donde k es cualquier estado de la cadena de Markov. As pues se tiene:

=
=
=
=
=
=
s k
k
kj ik
s k
k
ij
P P
j estado al k estado del ir de transicin de ad probabilid
k estado al i estado del ir de transicin de ad probabilid P
1
1
) 2 (
) (
* ) (


Esta suma de productos, no es ms que el producto escalar del rengln i de la matriz P por la columna j de
la misma matriz. De aqu que
) 2 (
ij
P es el ij-esimo elemento de la matriz P
2
.

Obtengamos ahora
) 3 (
ij
P

=
=
=
=
=
=
s k
k
kj ik
s k
k
ij
P P
pasos en j estado al k estado del ir de transicin de ad probabilid
paso un en k estado al i estado del ir de transicin de ad probabilid P
1
) 2 (
1
) 3 (
) 2 (
* ) (


Nuevamente esta suma de productos, no es ms que el producto escalar del rengln i de la matriz P por la
columna j de la matriz P
2
. De aqu que
) 3 (
ij
P es el ij-esimo elemento de la matriz P
3
.

En general la probabilidad de transicin de n pasos para ir del estado i al estado j
) (n
ij
P se puede obtener
con las ecuaciones de Chapman_Kolmogorov:

=
=

=
=
=

=
s k
k
n m
kj
m
ik
s k
k
n
ij
P P
periodos o pasos m n en j estado al k estado del ir de transicin de ad probabilid
periodos o pasos m en k estado al i estado del ir de transicin de ad probabilid P
1
) (
1
) (
*
) (
* ) (


Y tambin
) (n
ij
P = elemento ij-esimo de P
n
.

La probabilidad de estar en el estado j en el tiempo n, cuando se conoce el estado de la cadena de Markov
en el tiempo 0 es:
) ( *
) (Pr * ) (
1
) (
1
n
s i
i
n
ij i
s i
i
P de j Columna q p q
pasos n en j a i de pasar de obabilidad i sea original estado el que de ad probabilid
= =

=
=
=
=

4
Clasificacin de Estados en una cadena de Markov

Dados dos estados i y j, la trayectoria de i a j es la sucesin de transiciones o arcos que comienza en i y
termina en j.

Un estado j es alcanzable desde un estado i si hay una trayectoria que vaya de i a j.

Se dice que dos estados i y j se comunican, si el estado i es alcanzable desde j y tambin el estado j es
alcanzable desde el estado i.

Un estado i es un estado absorbente si p
ii
=1. Una vez que se llega a un estado absorbente nunca se puede
salir de l.

Un estado i es un estado transitorio si hay un estado j alcanzable desde i, pero el estado i no es
alcanzable desde el estado j. Despus de un gran nmero de periodos, la probabilidad de encontrarse en
cualquier estado transitorio i es cero.

Si un estado no es transitorio ni absorbente, se llama estado recurrente.

Un estado recurrente i es peridico con periodo k>1, si k es el menor nmero tal que todas las
trayectorias que parten del estado i y regresan al estado i tienen una longitud mltiplo de k. Si un estado
recurrente no es peridico, se llama aperidico.

Si todos los estados de una cadena son recurrentes, aperidicos y se comunican entre s, se dice que la
cadena es ergdica.

Ejercicio: Dadas las siguientes matrices de transicin Determine

Los estados Absorbentes Los estados Transitorios
Los estados Recurrentes Los estados peridicos.
Si la matriz es ergdica.


(
(
(

(
(
(

(
(
(

(
(
(
(

(
(
(
(

(
(
(
(

(
(
(
(
(
(

(
(
(
(
(
(
(

(
(
(
(
(
(

5 . 0 5 . 0
4 . 3 . 3 .
0 0 1
)
5 . 5 . 0
4 . 3 . 3 .
6 . 0 4 .
)
1 . 5 . 4 .
0 7 . 3 .
2 . 8 . 0
)
8 . 0 0 2 .
0 1 0 0
2 . 4 . 2 . 2 .
0 0 5 . 5 .
)
8 . 0 0 2 .
1 . 9 . 0 0
2 . 8 . 0 0
3 . 0 0 7 .
)
1 . 9 . 0 0
0 1 . 5 . 4 .
1 . 9 . 0 0
0 0 8 . 2 .
)
4 . 0 0 6 . 0
3 . 3 . 4 . 0 0
0 0 1 0 . 0
0 0 3 . 0 7 . 0
2 . 0 7 . 0 0 0 1 . 0
)
67 . 0 0 33 . 0 0
4 . 3 . 3 . 0 0 0
0 0 5 . 0 25 . 25 .
0 0 0 1 . 9 . 0
0 0 4 . 3 . 2 . 1 .
0 0 0 1 0 0
)
1 . 0 0 0 0
7 . 3 . 0 0 0
0 0 . 0 8 . 2 .
0 0 3 . 0 7 .
0 0 9 . 0 1 . 0
)
i h g
f e d
c b a

5
Probabilidades de estado estable o estacionarias

TEOREMA: Si P es una matriz de transicin de un paso de una cadena de Markov ergdica, entonces
existe un vector [ t
1
, t
2
, t
3
, t
s
] tal que

(
(
(
(

=

s
s
s
n
n
P
t t t
t t t
t t t

2 1
2 1
2 1
lim

Esto es despus de un largo tiempo la cadena de Markov se estabiliza e independientemente del estado
inicial i, hay una probabilidad t
j
de que terminemos en el estado j.

Al vector [ t
1
, t
2
, t
3
, t
s
] se le llama distribucin de estado estable o distribucin de equilibrio.
Cmo determinar dichas probabilidades?

Segn el teorema si n es muy grande
j
n
ij
1 n
ij
P P t ~ ~
+
pero

=
=
+
=
s k
1 k
kj
n
ik
1 n
ij
P * P P
Si n es muy grande, igualando ambas ecuaciones y sustituyendo tenemos

=
=
=
s k
1 k
kj k j
P * t t Desglosando para cada t
j
desde j=1 hasta j=s

ss s s 3 3 s 2 2 s 1 1 s
3 s s 33 3 23 2 13 1 3
2 s s 32 3 22 2 12 1 2
1 s s 31 3 21 2 11 1 1
P * P * P * P *
P * P * P * P *
P * P * P * P *
P * P * P * P *
t t t t t
t t t t t
t t t t t
t t t t t
+ + + + =
+ + + + =
+ + + + =
+ + + + =

lo cual se puede expresar en forma matricial como: t = tP

Dicho sistema de ecuaciones tiene un # infinito de soluciones, por lo que para solucionarlo se cambia
cualquiera de dichas ecuaciones por la ecuacin:

t
1
+ t
2
+ t
3
+ +t
s
=1

Ejemplo: Una compaa de seguros cobra a sus clientes de acuerdo a su historia de accidentes. Un
cliente que no haya tenido accidentes durante los ltimos dos aos paga $1,000 de prima anual.
Quien haya tenido un accidente en cada uno de los dos ltimos aos paga una prima anual de
$4,000. A los que hayan tenido un accidente durante slo uno de los ltimos dos aos se le
cobra una prima anual de $3,000. Un cliente que tuvo un accidente durante el ltimo ao tiene
una probabilidad de 0.10 de accidentarse en el siguiente ao. Un cliente que no ha tenido
accidente durante el ltimo ao, tiene una probabilidad de 0.03 de sufrir un accidente durante
el siguiente ao. Durante un ao dado Cul es la cantidad promedio que recibe esta compaa
de seguros por cada cliente asegurado?

6

Cadenas Absorbentes.

Una cadena absorbente es aquella donde m de sus estados son absorbentes y el resto (s-m) transitorios. En
este tipo de cadenas si en el periodo t se est en un estado transitorio se tiene la seguridad de dejarlo y
terminar en un estado absorbente despus de varios periodos.
Si se tiene m estados absorbentes, dichas cadenas se pueden representar como:
0
Trans Abs
Trans Q R
Abs I
(
(


(

Q R
I
Tran
Abs
Tran Abs
0

Q: es la matriz de transicin de un paso de pasar de un estado transitorio a otro estado transitorio, de
tamao (s-m)*(s-m).
R: es la matriz de transicin de un paso de pasar de un estado transitorio a uno absorbente, de tamao (s-
m)*m
0: es una matriz de ceros ya que no es posible pasar de un estado absorbente a un estado transitorio, de
tamao m*(s-m)
I: es la matriz identidad, una vez que se llega a un estado absorbente no se puede salir de el, de tamao
m*m.

Para este tipo de cadenas absorbentes se desea conocer

- Si la cadena comienza en un estado transitorio i, Cul es la probabilidad de terminar en el estado
absorbente j?
- Si la cadena comienza en un estado transitorio i, antes de alcanzar un estado absorbente cualquiera,
Cul es el # esperado de veces que se entrara en el estado transitorio j?

Para responder a la 1er pregunta se define.

b
ij
: La probabilidad de terminar en un estado absorbente a
j
dado que comenzamos en un estado transitorio
t
i
.

r
ij
: La probabilidad de transicin de un paso del estado transitorio i al estado absorbente j, el ij-esimo
elemento de R,

q
ik
: La probabilidad de transicin de un paso del estado transitorio i al estado transitorio k, ik-esimo
elemento de Q.


Para ir del estado transitorio t
i
al estado absorbente a
j
existen dos opciones

1. Se va en un paso.
2. Se pasa antes por lo menos a un estado transitorio, que puede ser el mismo y despus ser absorbido.

As pues Kolmogorov Chapman de ecuaciones las utilizo Se b q r b
m s
k
kj ik ij ij
+ =

=
(
1
)
Pero
ij
b es el ij-esimo elemento de B, de aqu se puede expresar esta relacin en forma matricial como:

R Q I B R B Q I R B Q B B Q R B * ) ( * ) ( * *
1
= = = + =
7
Para responder a la segunda pregunta se define:

n
ij
el # esperado de periodos que se pasa en el estado transitorio t
j
antes de pasar a un estado absorbente,
habiendo partido del estado t
i
.

n
ij
= 1 *probabilidad de que estemos inicialmente en el estado j +
1* probabilidad de que se est en el estado j en la 1er transicin +
1* probabilidad de que se est en el estado j en la 2a transicin +
1* probabilidad de que se est en el estado j en la 3er transicin +
1* probabilidad de que se est en el estado j en la 4a transicin +
1* probabilidad de que se est en el estado j en la 5a transicin + ..

La probabilidad de que estemos inicialmente en el estado t
j
, dado que se comenz en el estado t
i
, es el ij
elemento de la Matriz identidad de tamao (s-m)*(s-m).

La probabilidad de estar en el estado t
j
, despus de la n-esima transicin es el ij-esimo elemento de la
matriz Q
k
, expresando esta relacin en matrices:

+ + + + + + =
5 4 3 2
Q Q Q Q Q I N Pero hacia donde converge esta serie Matricial?

Recordando la serie geomtrica con a=1

1 4 3 2
) x 1 (
x 1
1
a converge serie esta 1 x 1 si x x x x 1

=

< < + + + + +

Este desarrollo se puede generalizar a matrices, de tal forma que se tendr

1 q 1 si Q Q Q Q I ) Q I (
ij
4 3 2 1
< < + + + + + =

As pues
1
) (

= Q I N

El estado de cuentas por cobrar en una empresa se modela con frecuencia como cadena absorbente de Markov. Una
cuenta es incobrable si han pasado ms de tres meses de su fecha de vencimiento.
Los ltimos datos histricos describen cmo cambia el estado de una cuenta de un mes al mes siguiente: De las
cuentas nuevas el 40% retrasan su pago un mes y el 60% salda su cuenta, de las cuentas retrasadas un mes 50%
retrasan su pago otro mes y el otro 50% son saldadas, de las cuentas que estn retrasadas dos meses el 60%
retrasan su pago otro mes y el 40% saldan su cuenta, de las cuentas que estn retrasadas 3 meses el 30% salda su
cuenta.
a. Cul es la probabilidad que una cuenta nueva sea cobrada alguna vez?
b. Cul es la probabilidad que una cuenta atrasada un mes se vuelva finalmente incobrable?
c. Si las ventas de la empresa son 100 000 dlares en promedio mensual cunto dinero ser incobrable cada ao?

8
Ejercicios
1. En una empresa que se especializa en la fabricacin de celdas de manufactura, la demanda durante cada mes es de
una, dos o tres celdas. Existe una probabilidad de 0.23 para la demanda de una mquina, 0.55 para la demanda de 2
celdas y de 0.12 para la demanda de tres celdas. La empresa considera que debe satisfacer el nivel de demanda,
cualquiera que sea. Esto exige que se determine una poltica de produccin para satisfacer la demanda. En seguida se
muestra una posible poltica:
Inventario inicial 0 1 2 3
Produccin 3 2 1 0
a. Modele matricialmente y grficamente esta situacin como cadena de Markov, en la que los estados sean el
inventario inicial del periodo.
b. Si actualmente se tiene 2 celdas, cul es la probabilidad de que al inicio del 5 mes se tenga 1 celda en
inventario.
c. Obtenga e interprete las prob. de estado estacionario para cada uno de los estados del inventario.

2. Se ha diseado una nueva pantimedia a prueba de que se le vayan los hilos, e introducido al mercado
simultneamente por tres firmas A, B y C al inicio de este ao. Al principio la compaa A tiene un 35% del
mercado, la B un 45% y la C un20%. Debido al tipo de campaa publicitara por cada una de las firmas,
durante el primer mes se ha observado lo siguiente.
La compaa A retiene el 60% de sus clientes; pierde el 25% con B y el 15% con C.
La compaa B retiene el 70% de sus clientes; pierde el 18% con A y el 12% con C.
La compaa C retiene el 80% de sus clientes; pierde el 10% con A y el 10% con B.
Si estos movimientos continan durante el ao (Probabilidades estacionaras).
a. Modele matricialmente y grficamente esta situacin como cadena de Markov.
b. Qu porcentaje de los clientes de la firma B que llegue a tener al inicio de Marzo la cambiaran por otra
marca en los siguientes 3 meses? No es necesario determinar cuntos tiene al inicio de marzo.
c. Qu porcentaje del mercado cubrir cada firma al inicio de Mayo?
d. Finalmente qu % del mercado cubrir cada marca, plantee y resuelva el respectivo sistema de ecuaciones.

3. La ruina del jugador. Un jugador tiene $200, cada vez que juega puede ganar $50 con probabilidad 0.6. o
perder $50 con probabilidad 0.4. El juego termina cuando acumula $300 o bien quiebra. Modele matricialmente
y grficamente esta situacin como cadena de Markov, (se tienen 7 estados) y obtenga la probabilidad de que
a. Despus de jugar dos veces tenga $100.
b. Despus de jugar dos veces aun tenga $200
c. Despus de jugar cinco veces tenga $200.
d. Despus de jugar cinco veces tenga $250.
e. Si en realidad no se sabe con cuanto comenz, pero se tiene la siguiente distribucin de probabilidad inicial
q
o
=[0, 0.05, 0.15, 0.25 0.35,0.20 0], cul es la probabilidad de que se retire ganando en cinco partidos.
f. Es vlido en este problema hablar de probabilidades de estado estable?

4. Una lnea area con un vuelo a las 6:00 a.m. entre la ciudad de S.L.P. y Monterrey. No desea que el vuelo salga
retrasado en dos das consecutivos. Si el vuelo sale retrasado un da, la lnea area realiza un esfuerzo especial
al da siguiente para que el vuelo salga a tiempo, y lo logra el 90% de las veces. Si el vuelo no sali con
retrasos el da anterior, la lnea area no realiza arreglos especiales, y el vuelo parte de acuerdo con lo
programado 60% de las veces.
a. Modele matricialmente y grficamente esta situacin como cadena de Markov.
b. Si el vuelo sali retrasado el lunes cul es la probabilidad de que salga a tiempo el siguiente viernes?
c. Si actualmente se tiene que el 20% de los vuelos salen con retraso, bajo esta poltica despus de una
semana qu % de vuelos saldr a tiempo.
d. Qu porcentaje de veces partir con retraso el vuelo? plantee y resuelva el respectivo sistema de
ecuaciones.

5. Datos reunidos muestran que 2% de los individuos que viven dentro de los lmites de la ciudad se mudan a las
zonas residenciales (suburbios) en un periodo de un ao, en tanto que el 1.5% de los individuos que viven en
los suburbios se mudan a la ciudad en el mismo periodo de un ao.
a. Modele matricialmente y grficamente esta situacin como cadena de Markov.
b. Si actualmente el 15% de los habitantes viven en las zonas residenciales, despus de 4 aos, como ser la
distribucin de la poblacin.
a. A largo plazo como quedara distribuida la poblacin en la ciudad, plantee y resuelva el respectivo sistema
de ecuaciones.
9
6. La cervecera ms importante (con etiqueta A) desea analizar su posicin en el mercado dentro de 10 aos.
Estn preocupados en especial por su mayor competidor (con etiqueta B). El gerente piensa que su posicin en
el mercado se puede modelar como una cadena de Markov donde los estados A y B representan a los clientes
que beben cerveza producida por las mencionadas cerveceras y el estado C representa a todas las dems
marcas, se recolectaron datos de varios aos obtenindose la siguiente matriz de transicin.
A B C
A
B
C
0.7
0.3
0.20
0.2
0.65
0.15
0.1
0.05
0.65
a. Determine el porcentaje de clientes que se cambiaran de la marca A a la marca B en los prximos 2 aos.
b. Determine el porcentaje de clientes que se cambiaran de la marca A a la marca B en los prximos 5 aos.
c. Si actualmente la marca A cubre el 40% del mercado y la B el 30%, como ser la distribucin dentro de 5
aos.
d. A la larga que porcentaje de clientes cubrir cada marca, plantee y resuelva el respectivo sistema de
ecuaciones.

7. Los patrones de compra para dos marcas A y B de pasta de dientes, en cierta ciudad se pueden expresar como
un proceso de Markov segn se muestra.

A B

A 0.80 a. Qu marca aparentemente tiene ms clientes leales?
B 0.85 b. Cul es el % de mercado proyectado para ambas marcas?
Si entra al mercado una nueva marca de pasta de dientes, de tal forma que la matriz es:
A B C
A 0.75 0.10 c. Cul es el nuevo % del mercado a largo plazo para cada marca?
B 0.70 0.20 d. Qu marca perder ms por la presencia de la nueva marca?
C 0.30 0.25

8. Se tienen dos acciones. Las acciones 1 siempre se venden a 10 dlares o 20 dlares. Si hoy las acciones 1 se
venden a 10 dlares, hay una probabilidad 0.80 de que maana se venda a 10 dlares. Si las acciones 1 se
venden hoy a 20 dlares, hay una probabilidad 0.90 de que maana se vendan a 20 dlares. Las acciones 2
siempre se venden a 10 o a 25 dlares. Si se venden hoy a 10 dlares, hay una probabilidad 0.90 de que se
vendan maana a 10 dlares. Si se venden hoy a 25 dlares, hay una probabilidad 0.85 de que maana se
venda a 25 dlares. En promedio, qu acciones se venden a mayor precio? Hint: Construya una matriz de
transicin para cada accin.

9. Suponga que la industria de refrescos produce 2 colas. Cuando una persona ha comprado la cola 1, hay una
probabilidad de 0.9 que su siguiente compra sea de cola 1. Si una persona compr cola 2, hay 0.8 de
probabilidad de que su prxima compra sea de cola 2.
a. Cules son las probabilidades de estado estable?
b. Si cada cliente hace una compra de cola durante cualquier semana. Suponga que hay 1000 millones de
clientes de cola. La produccin de una unidad de cola cuesta 1 y se vende a 2 .Una empresa de publicidad
garantiza por 500 millones de pesos al ao, un decremento del 10% al 5% del porcentaje de consumidores
de cola 1, que se cambian a la cola 2 despus de una compra. Debe la empresa contratar a la compaa
publicitaria?

10. Se realiz un estudio para proyectar el % de mercado, que cubrir cada marca de autos dentro de 3 aos, para
esto se encuesto a compradores de autos, preguntando cul haba sido la marca de su anterior auto, los
resultados se muestran en la tabla.
a. Determine la matriz de transicin. Revise el ejemplo sobre la demanda de las lavadoras
b. Considere que actualmente se distribuyen equitativamente la participacin del mercado, cul ser la
participacin dentro de 3 aos.
c. A la larga que marca cubrir un % ms grande de mercado.
VW Chevrolet Chrysler Nissan Ford Otras
VW 5 2 0 4 2 2
Chevrolet 1 3 3 1 1 1
Chrysler 2 2 4 3 3 2
Nissan 3 1 3 4 0 1
Ford 0 0 2 2 4 1
Otras 1 2 1 1 1 4
10
11. Al principio de cada ao, mi automvil est en buen, regular o mal estado. Un buen automvil ser bueno al
principio del ao siguiente, con probabilidad 0.85, regular con probabilidad 0.10 y mal con probabilidad 0.05.
Un automvil regular estar regular al principio del ao siguiente con probabilidad 0.70 y mal con
probabilidad de 0.30. Cuesta $120,000 comprar un buen automvil, uno regular se puede conseguir por
$70,000; uno malo se vende en $15,000, y se debe reemplazar de inmediato por uno bueno. Cuesta $5,000 al
ao el funcionamiento de un buen automvil, y $7,500 el de uno regular. Suponga que el costo de
funcionamiento de un automvil durante un ao depende del tipo de vehculo que se tiene a la mano al
principio del ao (despus de llegar cualquier auto bueno, si es el caso).Debo reemplazar mi automvil bueno
tan pronto como deje de ser bueno, o debo esperar hasta que sea malo? Utilice valores esperados. (Hint: Debe
plantear una cadena para cada situacin).

12. Una empresa de abogados emplea tres categoras de abogados: principiantes, con experiencia y socios. Durante
un ao determinado, hay una probabilidad 0.15 que un abogado principiante sea ascendido a abogado con
experiencia y una probabilidad 0.05 que deje la empresa. Tambin hay una probabilidad 0.20 que un abogado
con experiencia sea ascendido a socio y una probabilidad 0.10 que deje la empresa. Tambin hay una
probabilidad 0.05 que un socio deje la empresa. La empresa nunca degrada a un abogado.
a. Cul es la duracin promedio de un abogado joven recin contratado en la empresa.
b. Cul es la probabilidad de que un abogado joven llegue a ser socio?
c. Cul es la duracin promedio que pasa un socio en el bufete?

13. Un bosque consta de dos tipos de rboles: los que tienen de 0 a 1.50m de alto, y los que son ms altos. Cada
ao, muere el 40% de los rboles que tienen menos de 1.50m, el 10% se venden a $200 cada uno, 30%
permanecen entre 0 y 1.50 m, y el 20% crecen ms de 1.50 m. Cada ao, el 50% de los rboles de ms de 1.50
m se venden a $500, el 20% se venden a $300, y el 30% permanecen en el bosque.
a. Modele esta situacin como cadena de Markov.
b. Cul es la probabilidad de que muera un rbol de 0 a 1.50 m antes de venderse?
c. Si se planta un rbol de menos de 1.50 m, cul es el ingreso esperado que se va a tener con ese rbol?
d. En promedio cuantos aos pasa un rbol de menos de 1.50 m en el bosque antes de morirse o ser vendido.

14. El departamento de admisin de cierto colegio ha modelado la trayectoria de un estudiante en esa institucin
como cadena de Markov:
1er ao 2o ao 3er ao 4o ao Sale Termina
1er ao .10 .80 .0 .0 .10 .0
2o ao .0 .10 .85 .0 .05 .0
3er ao .0 .0 .15 .80 .05 .0
4o ao .0 .0 .0 .10 .05 .85
Sale .0 .0 .0 .0 1 .0
Termina .0 .0 .0 .0 .0 1
Se observa el estado de cada estudiante al principio de cada semestre de otoo. Por ejemplo, si un estudiante es
de 3er ao al principio de este semestre de otoo, habr 80% de probabilidades de que al principio del siguiente
semestre de otoo sea de cuarto ao, 15% de probabilidad de que an sea de 3er ao y 5% de que salga. Una
vez que sale un estudiante ya nunca vuelve a inscribirse.
a. Si un estudiante entra al colegio a primer ao, cuntos aos se espera que pasen siendo estudiante?
b. Cul es la probabilidad de que se grade un estudiante de nuevo ingreso?

15. En el problema de la ruina del jugador, suponga que la probabilidad de ganar es p = 0.55, y actualmente tiene
$200.
a. Qu probabilidad hay que se retire ganando?
b. Cul es la probabilidad de que salga sin dinero?
c. Cul es la duracin esperada del juego?

11
16. Las cadenas absorbentes de Markov se usan en ventas para modelar la probabilidad de que un cliente que se
localiza por telfono compre finalmente algn producto. Considere un posible cliente a quien nunca le ha
llamado acerca de comprar un producto. Despus de una llamada, hay una probabilidad de 60% de que tenga
poco inters en el producto, de 30% que muestre un gran inters en el producto, y 10% de que sea borrado de
la lista de los posibles clientes de la compaa. Se tiene un nuevo posible cliente que actualmente tiene poco
inters en el producto. Despus de otra llamada, hay 30% de probabilidades de que compre el producto, 20%
de probabilidades de que sea borrado de la lista, 30% de que el cliente an tenga poco inters y 20% de que
exprese un inters alto. Para un nuevo posible cliente que actualmente expresa alto inters, despus de otra
llamada hay 50% de probabilidades de que compre el producto, 40% de probabilidades de que siga teniendo
gran inters y 10% de probabilidades que tenga poco inters.
a) Cul es la probabilidad de que un nuevo posible cliente al que nunca le ha llamado, pero al cual le va a
llamar, al final compre el producto?
b) Cul es la probabilidad de que un posible cliente con poco inters sea borrado de la lista finalmente?
c) En promedio, cuntas veces habr que llamar por telfono a un nuevo posible cliente para que compre el
producto, o para que sea borrado de la lista?

17. Freezco, Inc., vende refrigeradores. La fbrica otorga una garanta en todos los refrigeradores que especifica
cambio gratis de cualquier unidad que se descomponga antes de tres aos. Se nos da la siguiente
informacin:
- El 3% de todos los refrigeradores nuevos falla durante su primer ao de funcionamiento.
- El 5% de todos los refrigeradores con 1 ao de funcionamiento falla durante el segundo ao de trabajo.
- El 7% de todos los refrigeradores con dos aos de funcionamiento falla durante su tercer ao. La garanta
no vale para el refrigerador de repuesto.
a. Use la teora de cadenas de Markov para predecir la fraccin de todos los refrigeradores que deber
cambiar Freezco.
b. Suponga que a Freezco le cuesta 500 dlares cambiar un refrigerador y que vende 10000 refrigeradores al
ao. Si la fbrica redujera el plazo de garanta a dos aos, Cunto dinero se ahorrara en costos de
reemplazo?

18. Una empresa reuni informacin de las razones por las cuales sus ingenieros abandonan la empresa, algunos
de los ingenieros finalmente se retiran, pero otros abandonan la empresa antes de su retiro por razones de tipo
personal, o por puestos ms atractivos en otras empresas. Los ingenieros se clasifican como principiante,
medio y senior.
Un ingeniero principiante tiene una probabilidad de pasar a medio de 0.08, de 0.05 a senior, de abandonar la
empresa por razones personales 0.07, por otros puestos ms atractivos de 0.03. y de jubilarse de 0.04.
Un ingeniero medio tiene una probabilidad de pasar a principiante de 0.10 (por no actualizarse), de 0.15 a
senior, de abandonar la empresa por razones personales 0.03, por otros puestos ms atractivos de 0.08 y de
jubilarse de 0.06.
Un Ingeniero senior tiene una probabilidad de pasar a principiante de 0.05, de 0.10 a medio, de abandonar la
empresa por razones personales 0.05, por otros puestos ms atractivos de 0.10 y 0.15 de jubilarse.
a) De los ingenieros medios actuales Qu porcentaje, finalmente se jubilaran de la empresa? Qu
porcentaje se retira por razones personales? Qu porcentaje lo har por puestos ms atractivos?
b) Para un ingeniero principiante recin contratado, cuantos aos se espera que pase como ingeniero medio?
Cmo ingeniero senior?
c) Actualmente la empresa tiene 120 ingenieros principiantes, 64 medios y 28 senior. Cuntos ingenieros de
cada una de las categoras finalmente se jubilaran de la empresa? Se retiran por razones personales?
Cambiaran a puestos ms atractivos.

19. Se tiene la siguiente informacin acerca de los suscriptores a cierta revista, durante el 1er ao como
suscriptores el 35% cancelan sus suscripciones, De los que se han suscrito por un ao, el 20% cancelan durante
el 2 ao. De los que se han suscrito por ms de 2 aos, el 9% cancelan durante cualquier ao. En promedio,
Cunto tiempo se suscribe una persona a esta revista.

12
20. Una empresa de renta de automviles a nivel nacional tiene una flotilla de 500 automviles. Se inspecciona cada
automvil una vez a la semana. Durante este tiempo, pudo haber estado rentado, puede habrsele dado
mantenimiento. En la primera semana de junio, se determin que 400 automviles estaban en condiciones de ser
rentados, 80 necesitaban reparaciones menores y 20 necesitaban reparaciones mayores. En la segunda semana de
junio, 350 de los automviles que estaban en buenas condiciones se encontraban en las mismas circunstancias, 40
necesitaban reparaciones menores y 10 necesitaban reparaciones mayores. De los 80 automviles que necesitaban
reparaciones menores, 50 se encontraban en buenas condiciones, 25 seguan requiriendo reparaciones menores y
otros 5 requeran ahora reparaciones mayores. Por ltimo, de los 20 automviles que requeran reparaciones
mayores, 15 estaban en buenas condiciones, 3 requeran reparaciones menores y 2 seguan necesitando reparaciones
mayores.
a. Elabore una matriz de transicin para este problema.
b. Determine como quedara distribuida la flotilla despus de 5 semanas.
c. Determine como quedara distribuida la flotilla en el estado estable.


21. La Bulldog Construction Company ha ganado un contrato para construir una carretera que vaya al rea del Monte
Santa Helena en Washington. Esta carretera ayudar a estudiar los efectos de la explosin volcnica de 1980. La
Bulldog ha determinado que el polvo volcnico obstruir los filtros de las mquinas con mucha rapidez y provocar
que los camiones dejen de funcionar. Los filtros se revisan todos los das y se clasifican como recin limpiados,
parcialmente obstruidos o totalmente obstruidos. Experiencias anteriores han demostrado que un filtro que inicia
limpio el da t tiene una probabilidad de 0.1 de terminar limpio, 0.8 de terminar parcialmente obstruido, para un
filtro que inicia el da t parcialmente obstruido tiene una probabilidad de 0.5 de permanecer en el mismo estado y
una probabilidad de 0.5 de quedar totalmente obstruidos. Para poder utilizar un camin que tiene un filtro totalmente
obstruido ste se debe de llevar al taller a limpiar primero.
a. Elabore una matriz de transicin para este problema.
b. Si un camin deja de operar, esto le cuesta a la compaa $100 por el tiempo perdido de trabajo y $20 para
limpiar el filtro. Cunto le costar a la compaa seguir una poltica de no limpiar los filtros hasta que se
detengan los camiones?
c. Y si los limpia cuando dejen de estar limpios? Qu decisin debe de tomar?

22. Una tienda de departamentos, tiene un plan de cuentas de crdito en sus tiendas. Cada mes se clasifican esas cuentas
en cuatro categoras: saldadas, con saldo insoluto, con saldo vencido y como cuenta perdida. Las cuentas saldadas
son las que no tienen saldo a pagar en el mes; las cuentas con saldo insoluto son las que no adeudan saldos del mes
anterior, pero a las que les han cargado compras realizadas en el mes; las cuentas vencidas son las que tienen un
saldo que ha permanecido sin pagarse durante ms de un mes, pero menos de tres. Por ltimo, las cuentas prdidas
son las que tienen un saldo con ms de tres meses de vencido y que no se espera poder cobrar.
De los registros de la tienda, se ha determinado que el 60% de las cuentas con saldo insoluto se paga al siguiente
mes, 30% permanece en la misma categora y 10% se convierte en saldo vencido. Tambin se ha determinado que
40% de las cuentas vencidas se convierte en saldos insolutos, 30% se pagan, 20% permanecen vencidas y 10% se
cancelan como cuentas perdidas. Una vez que una cuenta llega a la categora de perdida, se le cancela. De manera
similar, una vez que una cuenta pasa a la categora de saldada, ese dinero ya no es parte de las cuentas por cobrar.
a. Escriba la matriz de transicin para este problema.
b. Si en la actualidad existen $100,000 de las cuentas por cobrar en la categora de saldadas, $50,000 en la
categora de saldo insoluto, $20,000 en la categora de saldos vencidos y $5,000 en la categora de cuantas
perdidas, Qu cantidad habr en cada categora al mes siguiente? Y al mes despus de ste?
c. En la condicin del estado estacionario, Qu porcentaje del dinero de las cuentas por cobrar se encontrar en
cada categora de saldadas o de cuentas perdidas?

23. Un supermercado vende tres marcas de caf: A, B y C. Se ha observado que 2/5 de los clientes que compran la
marca A vuelven a comprar esta marca en la siguiente ocasin que compran caf, mientras que de estos
clientes cambian a C. De los clientes que compran la marca B, 1/3 repiten marca, mientras que 1/6 cambia a
C. Por ultimo de los clientes que compran C repiten y cambia a A. El beneficio obtenido por el
supermercado por la venta de cada paquete es de $60, $80 y $50, para las marcas A, B, y C respectivamente. A
la larga Cul es el beneficio esperado por una venta cualquiera?

13
Censo de estado estable.

Considere una organizacin con las siguientes caractersticas:

- Sus elementos se clasifican en cualquier punto en el tiempo en uno de S grupos.
- Durante cada periodo una fraccin p
ij
de los que inician en el grupo i, al siguiente periodo inician en el
grupo j.
- Durante cada periodo una fraccin
1 s , i
P
+
de todos los elementos del grupo i dejan la organizacin.
- Al principio de cada periodo, la organizacin contrata H
i
elementos para el grupo i.

Definiendo N
i
(t) como el nmero de elementos del grupo i al inicio del periodo t, la pregunta es N
i
(t)
tendera a un lmite, cuando t ?

Si existe dicho lmite sea N
i
tal limite, al vector N=[N
1
, N
2
,N
3
,.., N
s
] se le conoce como censo de estado
estable de la organizacin.

Cmo obtener N
i
?

Si dicho censo de estado estable existe, entonces en cualquier periodo del estado estable

EL # de personas que entran al grupo i durante cada periodo =
EL # de personas que salen del grupo i durante cada periodo.

) s , 3 , 2 , 1 i ( P * N P N H
i k
ik i
i k
ki k i
= = +

= =



24. Se puede clasificar a cada persona en uno de tres grupos: nios, adultos que trabajan, o retirados.
Durante un periodo de un ao, 0.959 de los nios an son nios, .04 de los nios pasan a ser adultos
que trabajan y 0.001 de los nios mueren. Durante cualquier ao, 0.96 de los adultos que trabajan
permanecen como tales, 0.03 pasan a ser retirados y .01 mueren. Tambin, .95 de los retirados
permanecen retirados y 0.05 de los retirados mueren. Nacen mil nios.
a) Determine el censo de estado estable.
b) Cada persona retirada recibe una pensin de $50,000 por ao. El fondo de pensin se sufraga con
pagos de los adultos que trabajan. Cunto dinero debe aportar cada adulto que trabaja, al ao,
para el fondo de pensin?
c) Si el progreso en la medicina ha reducido la tasa de mortalidad de retirados de 5% a 3%.
Cunto aumentara la contribucin anual para pensiones que pagaran los adultos que trabajan?

25. Circula dinero entre los tres planetas "capitales" de la federacin: Vulcano, Fobos y Marte. A la federacin
le gustara tener 5 mil millones de dlares en circulacin en cada planeta. Cada mes 1/3 de todo el dinero
de Vulcano sale de circulacin, 1/3 permanece en Vulcano y 1/3 termina en Fobos. Cada mes, 1/3 del
dinero en Marte permanece en Marte, 1/3 pasa a Fobos y 1/3 pasa a Vulcano. Tambin cada mes 2/3 del
dinero de Fobos pasa a Marte y 1/3 permanece ah. La federacin solo inyecta dinero al sistema en
Vulcano.
Hay algn modo de tener un nivel de estado estable de 5 mil millones de dlares en circulacin en cada
planeta?
Si se inyecta $3,000 a vulcano, $6,000 a Fobos y $9,000 a Marte a la larga cual es el censo de estado
estable.

14
26. Una empresa de abogados emplea tres categoras de abogados: principiantes, con experiencia y
socios. Durante un ao determinado, hay una probabilidad 0.15 que un abogado principiante sea
ascendido a abogado con experiencia y una probabilidad 0.05 que deje la empresa, de hecho puede
pasar varios aos como principiante. Tambin hay una probabilidad 0.20 que un abogado con
experiencia sea ascendido a socio y una probabilidad 0.10 que deje la empresa. Tambin hay una
probabilidad 0.05 que un socio deje la empresa. La empresa nunca degrada a un abogado. Si el Bufete
de abogados tiene como meta a largo plazo tener 50 abogados principiantes, 30 con experiencia y 10
socios. Para alcanzar este censo de estado estable. Cuntos abogados de cada tipo debe de contratar
cada ao?.

27. Este problema es acerca del ejercicio 14 del colegio. Supongamos que cada ao el colegio estatal admite
7000 estudiantes de nuevo ingreso, 500 de segundo ao y 500 de tercer ao. A largo plazo, cul ser la
composicin del estudiantado en ese colegio?

28. La ciudad de Nueva York produce 1000 ton de contaminacin al da, Jersey City 100, y Newark 50.
Cada da 1/3 de la contaminacin de Nueva York es llevada por el viento a Newark, 1/3 se disipa y 1/3
permanece en Nueva York. Tambin diariamente, 1/3 de la contaminacin de Jersey City es llevada
por el viento a Nueva York, 1/3 permanece en Jersey City y 1/3 pasa a Newark. Y por ltimo, 1/3 de la
contaminacin de Newark permanece all y el resto pasa a Jersey City. En un da normal, cul ciudad
ser la ms contaminada? Suponiendo que la contaminacin no se acumula en alguna ciudad.

29. Una tienda de departamentos, tiene un plan de cuentas de crdito en sus tiendas. Cada mes se clasifican
esas cuentas en cuatro categoras: saldadas, con saldo insoluto, con saldo vencido y como cuenta perdida.
Las cuentas saldadas son las que no tienen saldo a pagar en el mes; las cuentas con saldo insoluto son las
que no adeudan saldos del mes anterior, pero a las que les han cargado compras realizadas en el mes; las
cuentas vencidas son las que tienen un saldo que ha permanecido sin pagarse durante ms de un mes, pero
menos de tres. Por ltimo, las cuentas prdidas son las que tienen un saldo con ms de tres meses de
vencido y que no se espera poder cobrar.
De los registros de la tienda, se ha determinado que el 60% de las cuentas con saldo insoluto se paga al
siguiente mes, 30% permanece en la misma categora y 10% se convierte en saldo vencido. Tambin se ha
determinado que 40% de las cuentas vencidas se convierte en saldos insolutos, 30% se pagan, 20%
permanecen vencidas y 10% se cancelan como cuentas perdidas. Una vez que una cuenta llega a la
categora de perdida, se le cancela. De manera similar, una vez que una cuenta pasa a la categora de
saldada, ese dinero ya no es parte de las cuentas por cobrar. Si cada mes se registran o alimentan en el
sistema cuentas insolutas por un valor de $250,000. Cul es el censo de estado estable.

30. La sangre fresca que obtiene un hospital se echa a perder si no se utiliza en 5 das. El hospital recibe 100
medios litros de sangre fresca diariamente de un banco de sangre local. Son posibles dos polticas para
determinar el orden en el que se hacen transfusiones de sangre (vase tabla). Por ejemplo, segn la
poltica 1, la sangre tiene un 10% de probabilidades de usarse en transfusin durante su primer da en el
hospital. Segn la poltica 2, la sangre con cuatro das de antigedad tiene el 10% de probabilidad de ser
usada.
EDAD DE LA SANGRE (al inicio del da)
Probabilidades de uso en transfusiones 0 1 2 3 4
Poltica 1 .10 .20 .30 .40 .50
Poltica 2 .50 .40 .30 .20 .10
a) La poltica FIFO (First-in, First-out), primeras entradas primeras salidas, usa primero la sangre "vieja",
mientras que la poltica LIFO (Last-in, First-out) ltimas entradas primeras salidas emplea primero la
sangre "nueva". Cul poltica es LIFO y cul FIFO?
b) Para cada poltica, determine la probabilidad de que se eche a perder un medio litro de sangre recin
llegada al hospital.
c) Para cada poltica, determine el nmero promedio de medios litros de sangre en inventario.
d) Para cada poltica, determine la edad promedio de la sangre que se usa en transfusiones.
e) Haga comentarios de los mritos relativos de las polticas FIFO y LIFO.