Instituto Tecnológico de Villahermosa

Investigación de Operaciones II (INC-1019)

Ingeniería Industrial
Unidad IV

DOCENTE: Ing. Diana Valles Rivera

ALUMNA: María Guadalupe Muñoz de la Cruz.

Diciembre, 2018
4.1. Introducción a las cadenas de Markov

En los problemas de toma de decisiones, con frecuencia nos enfrentamos a

situaciones que tienen incertidumbre asociada a ellas. Esta incertidumbre proviene
de la variación inherente a las fuentes de esa variación que eluden el control o
proviene de la inconsistencia de los fenómenos naturales. En lugar de manejar esta
variabilidad como cualitativa, puede incorporarse a un modelo matemático y
manejarse en forma cuantitativa. Por lo general, este tratamiento puede lograrse si
el fenómeno natural muestra un cierto grado de regularidad, de manera que sea
posible describir la variación mediante un modelo probabilístico.

Es necesario hacer algunas suposiciones sobre la distribución conjunta de X0, X1,

 para obtener resultados analíticos. Hay una suposición que nos lleva a un tipo
especial de procesos estocásticos de tiempo discreto llamados cadenas de Markov.
Para simplificar nuestra presentación supondremos que en cualquier tiempo, el
proceso estocástico de tiempo discreto puede estar en uno de un número finito de
estados identificados por 1, 2, ,s.

DEFINICIÓN Un proceso estocástico de tiempo discreto es una cadena de Markov

si para t = 0, 1, 2,  y todos los estados,

P X t 1  it 1|X t  it ,X t 1  it 1 , ,X 1  i1 ,X 0  i0   P X t 1  it 1|X t  it  (2)

En esencia, la ecuación (1) dice que la distribución de probabilidad del estado en el

tiempo t + 1 depende del estado en el tiempo t (it) y no depende de los estados por
los cuales pasó la cadena para llegar a it, en el tiempo t, es decir, el estado que
tomará el sistema en el futuro inmediato solo depende del presente más no del

pasado. La probabilidad condicional P X t 1  it 1|X t  it  se llama probabilidad de

transición, ya que el sistema en período pasa del estado it+1 al estado it.

Además, si para cualquier par de estados i y j ocurre P X t 1  j| X t  i  toma el mismo

valor para todo t, se dice que la cadena de Markov es estacionaria en el tiempo y
se puede escribir:

P(Xt+1 = j | Xt = i) = P(X1 = j | X0 = i) = pij (3)

Donde pij es la probabilidad de que dado que el sistema está en el estado i en el
tiempo t, el sistema estará en el estado j en el tiempo t + 1. Con frecuencia, en una
cadena de Markov, a las pij, se les conoce con el nombre de probabilidades de
transición estacionarias.

La Ecc. 2 indica que la ley de probabilidad que relaciona el estado tomado en el

siguiente periodo con el estado actual del sistema no cambia, o que permanece
estacionaria, en el tiempo. Por este motivo, a menudo se llama Hipótesis de
estabilidad a la ecuación (2). Toda cadena de Markov que cumple con la Ecc. 2
se llama cadena estacionaria de Markov.

En la mayoría de las aplicaciones, las probabilidades de transición se presentan

como una matriz P de probabilidad de transición s  s. La matriz de probabilidad
de transición P se puede escribir como

 p11 p12  p 1S 
p p 22  p 2 S 
P   21
    
 
 p S1 pS2  p SS 

Dado que el estado es i en el tiempo t, el proceso debe estar en algún lugar en el

tiempo t + 1. Esto significa que para cada i,

 P( X
s
t 1  j | X t  i)  1 p ij 1
j 1 o bien que j 1

También sabemos que cada elemento de la matriz P debe ser no negativo. Por lo
tanto, todos los elementos de la matriz de probabilidad de transición son no
negativos y además, los elementos de cada renglón deben sumar 1.

El estudio de las cadenas de Markov también necesita que se defina qi como la

probabilidad de que la cadena se encuentre en el estado i en el tiempo 0; en otras
palabras, P(X0 = i) = qi. Al vector q = [q1, q2, , qs] se le llama distribución inicial
de probabilidad de la cadena de Markov.

Ejemplo 2.1 La ruina del jugador (continuación). Encuentre la matriz de

transición del Ejemplo 1.1.
Solución Como la cantidad de dinero que tengo después de t + 1 jugadas
depende de los antecedentes del juego sólo hasta la cantidad de efectivo que tengo
después de t jugadas, no hay duda que se trata de una cadena de Markov. Debido
a que como las reglas del juego no varían con el tiempo, también tenemos una
cadena de Markov estacionaria. La matriz de transición es la siguiente:

Estado

0 1 2 3 4

0 1 0 0 0 0

1 1-p 0 P 0 0

P = 2 0 1-p 0 P 0

3 0 0 1-p 0 p

4 0 0 0 0 1

Si el estado es 0 o 4 no juego más y, por lo tanto, el estado no puede cambiar;

entonces p00 = p44 = 1. Para los demás estados sabemos que, con probabilidad p,
el estado del siguiente periodo será mayor que el estado actual en 1, y con
probabilidad 1 - p, el estado del siguiente periodo será menor en 1 que el estado
actual.

Una matriz de transición se puede representar con una gráfica en la que cada nodo
represente un estado y arc(i, j) represente la probabilidad de transición pij. La Fig. 1
es una representación gráfica de la matriz de probabilidad de transición para este
ejemplo.

Figura 1

Representación
gráfica de la
matriz de
transición para
el ejemplo de la
ruina del jugador

Ejemplo 2.2 (Continuación) Determine la matriz de transición del Ejemplo 1.2 de

la sección anterior.

Solución Como el estado de la urna después del siguiente lanzamiento de la

moneda depende sólo del pasado del proceso hasta el estado de la urna después
del lanzamiento actual, se trata de una cadena de Markov. Además, las reglas no
varían a través del tiempo y por lo tanto tenemos una cadena estacionaria de
Markov. La matriz de transición para el Ejemplo 1.2 es la siguiente:

Estado

[0, 1, 1] [0, 2, 0] [0, 0, 2] [2, 0, 0] [1, 1, 0] [1, 0, 1]

[0, 1, 1] 0 ½ ½ 0 0 0

[0, 2, 0] 1 0 0 0 0 0

P = [0, 0, 2] 1 0 0 0 0 0

[2, 0, 0] 0 0 0 0 ½ ½

[1, 1, 0] ¼ ¼ 0 0 0 ½

[1, 0, 1] ¼ 0 ¼ 0 ½ 0

Para ver cómo se forma la matriz de transición, determinaremos el renglón [1, 1, 0].
Si el estado actual es [1, 1, 0], dadas las condiciones del problema, no es posible
pasar a cualquiera de los estados [0, 0, 2], [2, 0, 0] y [1, 1, 0] y por lo tanto la
probabilidad de transición del estado [1, 1, 0] a cualquiera de estos estados es cero.
Ahora bien, si el estado es [1, 1, 0] para alcanzar el estado [0, 2, 0] debe ocurrir que
se escoge una bola sin pintar (con probabilidad ½) y que el resultado del
lanzamiento de la moneda sea cara (con probabilidad ½), lo que da una probabilidad
de ¼. Pero si lo que ocurre es que se saca una bola sin pintar (con probabilidad ½)
y el resultado del lanzamiento de la moneda es sello (con probabilidad ½) se alcanza
el estado [0, 1, 1] con probabilidad ¼. Finalmente, si se escoge la bolla roja (con
probabilidad de ½), sin importar el resultado del lanzamiento de la moneda a esta
se le cambiará el color y se alcanza así el estado [1, 0, 1] con probabilidad ½. Lo
anterior se resume en la Tabla 1.

Tabla 1 EVENTO PROBABILID ESTADO

AD NUEVO
Cálculos de las
probabilidades Sacar cara en el lanzamiento y escoger ¼ [0, 2, 0]
de transición si un a bola sin pintar
el estado actual
Escoger bola roja ½ [1, 0, 1]
es [1, 1, 0]
Sacar cruz en el lanzamiento y escoger ¼ [0, 1, 1]
una bola sin pintar

En la Fig. 2 se da una representación gráfica de esta matriz de transición.

Figura 2

Representaci
ón gráfica de
la matriz de
transición
para el
ejemplo de la
urna

Ejemplo 2.3 (Continuación) En los últimos años, los estudiantes de finanzas han
dedicado mucho esfuerzo a contestar la pregunta de si el precio diario de una acción
se puede describir mediante una cadena de Markov. Supongamos que el precio
diario de una acción, como el de la compañía de computadoras CSL, se puede
representar por una cadena de Markov. ¿Qué nos dice esto? Simplemente que la
distribución de probabilidad del precio de las acciones mañana depende sólo del
precio de hoy, pero no de los precios anteriores. Si el precio de una acción se puede
representar como cadena de Markov, los “tablistas” que tratan de predecir los
precios futuros sobre la base de los comportamientos seguidos durante el pasado
están mal. Por ejemplo, supongan que el precio diario de una acción de CSL sigue
una cadena de Markov y el precio de hoy es 50 dólares. Entonces, para predecir el
precio de mañana no importa si el precio ha aumentado o disminuido durante cada
uno de los últimos 30 días. En cualquier caso, o en cualquier otro caso que pudiera
haber conducido al precio actual de 50 dólares, la predicción del precio de mañana
se debe basar sólo en el hecho de que hoy el precio de esas acciones es de 50
dólares. En la actualidad, el consenso es que para la mayor parte de las acciones,
su cotización diaria se puede describir con una cadena de Markov. A esta idea se
le llama con frecuencia hipótesis del mercado eficiente.

Ejemplo 2.4 Problema de inventario (continuación). Encontrar la matriz de

transición para el ejemplo 1.4, suponiendo que Dt tiene una distribución de
probabilidad Poisson con parámetro  = 11.

Solución Para obtener p00 es necesario evaluar P(Xt+1=0 | Xt=0). Si Xt=0,

entonces Xt+1= máx{(3 – Dt+1), 0}, según la Ecc 1. Pero como Xt+1=0, 3 – Dt+1  0 y
por lo tanto Dt+1  3. Así, p00= P(Dt+1  3) = 1 - P(Dt+1  2) = .080; y p10= P(Xt+1=0 |
Xt=1) se puede obtener de una manera parecida. Si Xt=1, entonces Xt+1= máx{(1 –
Dt+1), 0}. Pero como Xt+1=0, 1 – Dt+1  0 y por lo tanto la demanda debe ser 1 o más.
Por esto, p10= P(Dt+1  1) = 1 - P(Dt+1 = 0) = .632. Para encontrar p21= P(Xt+1=1 |
Xt=2), observe que Xt+1= máx{(2 – Dt+1), 0} si Xt=2. En consecuencia, si Xt+1=1,
entonces la demanda durante la semana tiene que ser exactamente 1. Por lo tanto,
p21= P(Dt+1=1) = .368. Los elementos restantes se obtienen en forma similar, lo que
lleva a la siguiente matriz de transición:

0 1 2 3

 e   x
1
La distribución Poisson esta dada por: P( X  x)   x!
Si x  0, 1, 2, 
 0, en cualquier otro caso

 0 .080 .184 .368 .368 
1 .632 .368 0 0 
P
2 .264 .368 .368 0 
 
3 .080 .184 .368 .368 

La Fig. 3 muestra la representación gráfica de esta matriz de transición.

Figura 3

Representación
gráfica para la
matriz de transición
para el problema
de inventario.

4.2. Probabilidad de transiciones estacionarias de n pasos

Suponga que estudiamos una cadena de Markov con matriz P de probabilidad de

transición conocida. Como todas las cadenas con las que trataremos son
estacionarias, no nos importará identificar nuestras cadenas de Markov como
estacionarias. Una pregunta de interés es: si una cadena de Markov está en el
estado i en el tiempo t, ¿cuál es la probabilidad que n períodos después la cadena
de Markov esté en el estado j? Como se trata de una cadena de Markov
estacionaria, esta probabilidad será independiente de t y, por lo tanto, podemos
escribir

P(Xt+n = j | Xt = i) = P(Xn = j | X0 = i) = Pij(n)

donde pij(n) se llama probabilidad en la etapa n de una transición del estado i al

estado j.

Es claro que pij(1) = pij. Para determinar pij(2) nótese que si el sistema se encuentra
hoy en el estado i, entonces para que el sistema termine en el estado j dentro de 2
periodos, debe pasar del estado i al estado k y después pasar del estado k al estado
j (Fig. 3). Este modo de razonar nos permite escribir
 k s
p ij (2)   (probabili dad de transición de i a k )( probabilid ad de transición de k a j )
k 1

De acuerdo con la definición de P, la matriz de probabilidad de transición,

replanteamos la última ecuación en la siguiente forma:

K s
p ij (2)   p ik p kj
k 1 (4)

El segundo miembro de la ecuación (3) es tan sólo el producto escalar del renglón i
de la matriz P por la columna j de esa matriz. Por lo tanto, pij(2) es el ij-ésimo
elemento de la matriz P2. Generalizando este modo de razonar, se puede demostrar
que para n > 1,

Pij(n) = elemento ij-ésimo de Pn (5)

La Ecc. 4 es conocida como Ecuación de Chapman—Kolmogorov.

Figura 4

pij(2) = pi1 p1j + pi2

p2j +  + pispsj

Naturalmente, para n = 0, pij(0) = P(X0 = j | Xo = i) y, por lo tanto, debemos escribir

1 si j  i
p ij (0)  
0 si j  i

En el Ejem. 3.1 mostraremos el uso de la ecuación (5).

Ejemplo 3.1 Ejemplo de Cola. Suponga que toda la industria de refrescos produce
dos colas. Cuando una persona ha comprado la cola 1, hay una probabilidad de
90% de que su siguiente compra sea de cola 1. Si una persona compró cola 2, hay
80% de probabilidades que su próxima compra sea de cola 2.
1. Si actualmente una persona es comprador de cola 2, ¿cuál es la probabilidad que
compre cola 1 pasadas dos compras a partir de hoy?

2. Si en la actualidad una persona es comprador de cola 1, ¿cuál es la probabilidad

que compre cola 1 pasadas tres compras a partir de ahora?

Solución Consideraremos que las compras de cada una de las personas son
una cadena de Markov, y que el estado en cualquier momento es el tipo de cola que
compró la persona por última vez. Por lo tanto, las compras de cola por parte de
cada una de las personas se pueden representar con una cadena de Markov de dos
estados donde

Estado 1 = la persona acaba de comprar cola 1

Estado 2 = la persona acaba de comprar cola 2

Si definimos Xn como el tipo de cola que compra una persona en la n-ésima compra
futura (la compra actual = X0), entonces X0, X1,  se pueden describir como una
cadena de Markov con la siguiente matriz de transición:

1 2

P= 1 0.90 0.10

2 0.20 0.80

Podemos contestar ahora las preguntas 1 y 2.

1. Se busca P(X2 = 1 | X0 = 2) = p21(2) = elemento 21 de P2:

0.90 0.10  0.90 0.10  0.83 0.17 

P2     
0.20 0.80  0.20 0.80  0.34 0.66 

Por lo tanto, p21(2) = 0.34. Esto significa que hay probabilidad 0.34 de que la persona
que compra cola 2 compre cola 1, después de dos compras a partir de ahora. Con
la teoría básica de probabilidad, podemos obtener esta respuesta siguiendo un
camino distinto (Fig. 4). Nótese que p21(2) = (probabilidad que la siguiente compra
sea cola 1 y la segunda sea cola 1) + (probabilidad que la siguiente compra sea cola
2 y la segunda sea cola 1) = p2Ip11 + p22p21= (0.20)(0.90) + (0.80)(0.20) = 0.34.
Figura 5

Probabilidad de
que a dos
periodos a partir
de ahora, un
comprador de
cola 2 compre
cola 1.

2. Buscamos p11(3) = elemento 11 de P3:

0.90 0.10  0.83 0.17   0.781 0.219 

P 3  P(P 2 )     
0.20 0.80  0.34 0.66  0.438 0.562 

Por lo tanto, p11(3) = 0.781.

En muchos casos conocemos el estado de la cadena de Markov en el tiempo 0.

Como se definió en la Secc. 1.2, sea qi la probabilidad que la cadena esté en el
estado i en el tiempo 0. Entonces podemos determinar la probabilidad de que el
sistema esté en el estado i en el tiempo n mediante el siguiente razonamiento (Fig.
5):

Figura 6

Determinación
de la
probabilidad de
estar en el
estado j en el
tiempo n cuando
se desconoce el
estado inicial

Probabilidad de estar en el estado j en el tiempo n

 is

i 1 (Probabilidad de que el estado original sea i)

X (probabilidad de pasar de i a j en n transiciones)

is
  q i p ij (n)
i 1

= q  (columna j de Pn) (6)

donde q = [q1, q2, ..., qn].

Para mostrar el uso de la ecuación (6) contestaremos la siguiente pregunta:

supongamos que el 60% de toda la gente toma hoy cola 1 y el 40% cola 2. A tres
compras a partir de ahora, ¿qué fracción de los compradores estará tomando cola
1? Como q = [.60, .40] y

q  (columna 1 de P3) = probabilidad de que a tres compras a partir de este momento

una persona tome cola 1, la probabilidad que se busca es

 0.781 
0.60 0.40     0.6438
0.438 

Por lo tanto, a tres compras de este momento el 64% de las personas estará
comprando cola 1.

Para mostrar el comportamiento de las probabilidades de transición en n etapas

para grandes valores de n, hemos calculado algunas de las probabilidades
transición de n etapas para el ejemplo de la cola y se muestran en la Tabla 2.
Cuando n es grande, p11(n) y p21(n) son casi constantes y tienden a .67. Esto quiere
decir que para n grande, independientemente del estado inicial, hay una
probabilidad de 0.67 de que una persona compre cola 1. Igualmente, vemos que
para n grande, tanto p12(n) como p22(n) son casi constantes y tienden a 0.33. Esto
significa que para n grande, haciendo caso omiso del estado inicial, hay una
probabilidad 0.33 de que una persona sea comprador de cola 2. En la Secc. 1.5
estudiaremos con detenimiento estas tendencias de probabilidad de transición en la
etapa n.
 Tabla 2 n P11(n) P12(n) P21(n) P22(n)

Probabilidades 1 0.90 0.10 0.20 0.80

de transición en
2 .83 0.17 0.34 0.66
n etapas para el
ejemplo de Cola 3 .078 0.22 0.44 0.56

4 0.75 0.25 0.51 0.49

5 0.72 0.28 0.56 0.44

10 0.68 0.32 0.65 0.35

20 0.67 0.33 0.67 0.33

30 0.67 0.33 0.67 0.33

40 0.67 0.33 0.67 0.33

4.3. Estado estable

En nuestra descripción del ejemplo de Cola (Ejem. 4), encontramos que después
de largo tiempo, la probabilidad de que la siguiente compra de una persona fuera
de cola 1 tiende a 0.67, y la de que la compra siguiente fuera de cola 2 a 0.33 (Tabla
2). Estas probabilidades no dependieron de si la persona era al principio tomador
de cola 1 o de cola 2. En esta sección describiremos el importante concepto de
probabilidades de estado estable, el cual se puede usar para describir el
comportamiento de una cadena de Markov a largo plazo.

El resultado siguiente es vital para comprender las probabilidades de estado estable

y el comportamiento a largo plazo de cadenas de Markov.

TEOREMA 1 Sea P la matriz de transición de una cadena ergódica de s estados2.

Existe entonces un vector    1  2   s  tal que

2
Para ver por qué el teorema 1 no puede ser válido para una cadena no ergódica, véanse los problemas 9 y
10 al final de esta sección.
  1  2  s
    s 
lim P n   1 2
n    
 

 1  2  s

Recuerde que el ij-ésimo elemento de Pn es pij(n). El teorema 1 establece que para

cualquier estado inicial i,

lim pij (n)   j

n 

Observe que para n grande, Pn tiende a una matriz con renglones idénticos. Esto
quiere decir que después de mucho tiempo, la cadena de Markov se estabiliza e,
independientemente del estado inicial i, hay una probabilidad j de que nos
encontremos en el estado j.

El vector    1  2   s  a menudo se llama distribución de estado estable, o

también distribución de equilibrio para la cadena de Markov. ¿Cómo podemos
encontrar la distribución de probabilidades estacionaria para una cadena dada cuya
matriz de transición es P? Según el teorema 1, para n grande y para toda i,

pij(n + 1)  pij(n)  j, (7)

Como pij(n + 1) = (renglón i de Pn)(columna j de P), podemos escribir

s
pij (n  1)   pik (n) p kj
k 1 (8)

Si n es grande, al sustituir la ecuación (6) en la (7) se obtiene

s
 j    k p kj
k 1 Para j = 0, 1, , s (9)

En forma matricial, la ecuación (8) se puede escribir como:

=P (9')

Desafortunadamente, el sistema de ecuaciones que especifica la ecuación (8) tiene

un número infinito de soluciones, porque el rango de la matriz P siempre resulta 
1. Para obtener valores únicos de probabilidades de estado estable, note que para
toda n y toda i,

pi1(n) + pi2(n) + ... + pis(n) = 1 (10)

Al hacer que n tienda al infinito en la Ecc. (9), obtenemos

1 + 2 +... +s = 1 (11)

Así, después de reemplazar cualquiera de las ecuaciones (9) por (11), podemos
usar el nuevo conjunto de ecuaciones para despejar las probabilidades de estado
estable.

Para mostrar cómo determinar las probabilidades de estado estable, las

calcularemos para el Ejem. 4, de la Cola. Recuerde que la matriz de transición de
ese ejemplo era

0.90 0.10 
P 
0.20 0.80 

Entonces las ecuaciones (9) o (9’) producen

0.90 0.10 
 1  2    1  2   
0.20 0.80 

1 = 0.901 + 0.202

2 = 0.101 + 0.802

Al reemplazar ha segunda ecuación por la condición 1 + 2 = 1, obtenemos el

sistema

1 = 0.901 + 0.202

1 = 1 + 2

Al despejar 1 y 2, resulta que 1 = 2/3 y 2 = 1/3. Por lo tanto, después de largo
tiempo, hay probabilidad 2/3 de que una persona dada compre cola 1 y 1/3 de
probabilidad de que una persona dada compre cola 2.
INTERPRETACIÓN INTUITIVA DE LAS PROBABILIDADES DE ESTADO
ESTABLE

Se puede dar una interpretación intuitiva de las ecuaciones (8) de probabilidad de

estado estable. Al restar jpjj de ambos lados de (8) se obtiene

 j (1  p jj )    k p kj
k j
(12)

La ecuación (11) dice que en el estado estable,

La probabilidad de que el sistema en una transición determinada deje el estado j

= probabilidad de que en una transición determinada entre al estado j (13)

Recuérdese que en el estado estable, la probabilidad de que el sistema esté en el

estado j es j. Según esa observación se concluye que

Probabilidad de que una transición particular deje el estado j

= (probabilidad de que el periodo actual comience en j)

x (probabilidad de que la transición actual deje j)

= j(1  pjj)

Probabilidad de que determinada transición entre al estado j


= k (probabilidad de que el periodo actual comience en k  j)

x (probabilidad de que la transición actual entre a j)

 k p kj
= k j

Es aceptable la ecuación (12). Si fuese violada para cualquier estado, entonces para
un estado j el lado derecho de (12) sería mayor que el lado izquierdo. Esto
ocasionaría una probabilidad de “acumulación” en el estado j y no existiría una
distribución de estado estable. Se puede considerar que la ecuación (12) dice que
en el estado estable, el “flujo” de probabilidad hacia cada estado debe ser igual al
flujo de probabilidad que sale de cada estado. Esto explica por qué las
probabilidades de estado estable se llaman con frecuencia probabilidades de
equilibrio.

USO DE LAS PROBABILIDADES DE ESTADO ESTABLE PARA TOMAR

DECISIONES

Ejemplo 4.1 Suponga, en el Ejem. 3.1, que cada cliente hace una compra de cola
durante cualquier semana (52 semanas = 1 año). Suponga que hay 100 millones de
clientes de cola. La producción de una unidad de venta de cola cuesta 1 dólar y se
vende a 2 dólares. Una empresa de publicidad garantiza, por 500 millones de
dólares al año, un decremento del 10% al 5% de la fracción de consumidores de
cola 1, que se cambian a cola 2 después de una compra. ¿Debe contratar a la
empresa de publicidad la compañía que fabrica la cola 1?

Solución En la actualidad, una fracción 1 = 2/3 de todas las compras es de cola

1. Cada compra de cola 1 le deja al fabricante 1 dólar. Como hay un total de
52(100,000,000) = 5,200,000,000 de compras de cola cada año, las ganancias
actuales del fabricante de cola 1, al año, son

2/3(5200000000) = 3466666667 dólares

La empresa de publicidad ofrece cambiar la matriz P a

0.95 0.05 
P1   
0.20 0.80 

Para P1, las ecuaciones de estado estable se transforman en

1 = 0.951 + 0.202

2 = 0.051 + 0.802

Al reemplazar la segunda ecuación por 1 + 2 = 1 y despejar, obtenemos 1 = 0.8

y 2 = 0.2. En este caso, la ganancia anual de la productora de cola 1 será

(.80)(5200000000)  500000000 = 3660000000 dólares

Por lo tanto, el fabricante de cola 1 debe contratar la agencia de publicidad.

TIEMPOS PROMEDIO DE PRIMER PASAJE

En una cadena ergódica, sea mij = número esperado de transiciones antes de

alcanzar por primera vez el estado j, dado que estamos actualmente en el estado i.
mij se llama tiempo promedio de primer pasaje del estado i al estado j. En el Ejem.
3.1, m12 sería el número esperado de botellas de cola que adquiere un comprador
de cola 1, antes de comprar una botella de cola 2.

Suponga que el sistema se encuentra ahora en el estado i. Entonces, puede

suceder que pase en una transición directamente al estado j, con probabilidad pij,
o que pase a cualquier estado k  j, con probabilidad pik. En este último caso, se
necesitará un promedio de 1 + mkj transiciones para pasar de i a j. Este modo de
pensar indica que

mij  p ij  (1)   [ p ik  (1  m kj )]
k j
para j = 1, 2, , s

mij  pij   pik   pik mkj

k j k j
para j = 1, 2, , s

Como

p ij   p ik  1
k j
,

podemos reformular la última ecuación como

mij  1   p ik m kj
k j
para j = 1, 2, , s (14)

Al resolver las ecuaciones lineales representadas en (14), podemos encontrar todos

los tiempos promedios de primer pasaje. Se puede demostrar que

1
mii 
i

Con ello se puede simplificar el uso de las ecuaciones (14).

Para mostrar el uso de ellas, despejaremos los tiempos promedio de primer pasaje
en el Ejem. 3.1. Recordemos que 1 = 2/3 y que 2 = 1/3. Entonces

1 1
m11  2
 1.5 m22  1
3
3 y 3

Entonces (14) lleva a las dos ecuaciones siguientes:

m12 = 1 +p11m12 = 1 + 0.9m12, m21 = 1 + p22m21 = 1 + 0.8m21

Resolviendo esas ecuaciones encontrarnos que m12 = 10 y m21 = 5. Esto quiere decir
que, por ejemplo, una persona que había tomado cola 1 tomará un promedio de
diez botellas de refresco antes de cambiar a cola 2.
Ejemplos:

1. La compañía de seguros Payoff cobra a sus clientes de acuerdo a su historia de

accidentes. Un cliente que no haya tenido accidentes durante los últimos dos
años paga 100 dólares de prima anual. Quien haya tenido un accidente en cada
uno de los dos últimos años paga una prima anual de 400 dólares. A los que
hayan tenido un accidente durante sólo uno de los últimos dos años se les cobra
una prima anual de 300 dólares. Un cliente que tuvo un accidente durante el
último año tiene una probabilidad de 10% de accidentarse durante este año. Si
un cliente no ha tenido un accidente durante el último año, tiene una probabilidad
de 3% de sufrir un accidente durante este año. Durante un año dado, ¿Cuál es
la prima que paga en promedio un cliente de Payoff?

Identificando estados:

Utilizaremos un vector que indique la situación los últimos dos años [año1 año2].
una N indica que no se tuvieron accidentes y S indica que se ha tenido un accidente.

Así [N S] indica que no se tuvieron accidentes el primer año y se tuvo un accidente

el segundo año.

Este problema se puede resolver utilizando tres o cuatro estados. Iniciaremos

resolviéndolo con tres estados.

CON TRES ESTADOS:

 E0: No ha tenido accidentes los últimos dos años. [N N]. ($100)

 E1: Ha tenido un accidente en cada uno de los dos últimos años. [S S]. ($400)
 E2: Ha tenido un accidente en uno de los dos últimos años. [S N] ó [N S]. ($300)

Probabilidades de transición:
 Probabilidad Probabilidad
de de no
accidentarse accidentarse
este año este año

Se accidento
0.10 0.90
el último año

No se
accidento el 0.03 0.97
último año

En E0 tenemos la siguiente condición:

Año: 1 2

Se accidentó: N N

Si este año (3) no se accidenta (p = 0.97, pues es la probabilidad de que este año
no se accidente dado que el último año no se accidentó) se tendría:

Año: 1 2 3

Se accidentó: N N N

Y el estado representado por los últimos dos años es nuevamente E0 [N N].

Si este año (3) se accidenta (p = 0.03, pues es la probabilidad de que este año se
accidente dado que el último año no se accidentó) se tendría:
Año: 1 2 3

Se accidentó: N N S

Y el estado representado por los últimos dos años es E2 [N S]

Entonces tenemos que de E0 podemos pasar a:

 E0 con p = 0.97
 E2 con p = 0.03

En E1 tenemos la siguiente condición:

Año: 1 2

Se accidentó: S S

Si este año (3) no se accidenta (p = 0.9, pues es la probabilidad de que este año no
se accidente dado que el último año se accidentó) se tendría:

Año: 1 2 3

Se accidentó: S S N

Y el estado representado por los últimos dos años es nuevamente E2 [S N].

Si este año (3) se accidenta (p = 0.1, pues es la probabilidad de que este año se
accidente dado que el último año se accidentó) se tendría:
Año: 1 2 3

Se accidentó: S S S

Y el estado representado por los últimos dos años es E1 [S S]

Entonces tenemos que de E1 podemos pasar a:

 E2 con p = 0.9
 E1 con p = 0.1

En E2 tenemos dos condiciones iniciales:

Condición inicial 1

Año: 1 2

Se accidentó: S N

Condición inicial 2

Año: 1 2

Se accidentó: N S

Y la probabilidad de que cada condición se presente es 0.5.

Partiendo de la condición inicial 1

Año: 1 2

Se accidentó: S N

Si este año (3) no se accidenta (p = 0.97, pues es la probabilidad de que este año
no se accidente dado que el último año no se accidentó) se tendría:

Año: 1 2 3

Se accidentó: S N N

Y el estado representado por los últimos dos años es nuevamente E0 [N N].

Si este año (3) se accidenta (p = 0.03, pues es la probabilidad de que este año se
accidente dado que el último año no se accidentó) se tendría:

Año: 1 2 3

Se accidentó: S N S

Y el estado representado por los últimos dos años es E2 [N S]

Partiendo de la condición inicial 2

Año: 1 2

Se accidentó: N S
Si este año (3) no se accidenta (p = 0.9, pues es la probabilidad de que este año no
se accidente dado que el último año se accidentó) se tendría:

Año: 1 2 3

Se accidentó: N S N

Y el estado representado por los últimos dos años es nuevamente E2 [S N].

Si este año (3) se accidenta (p = 0.1, pues es la probabilidad de que este año se
accidente dado que el último año se accidentó) se tendría:

Año: 1 2 3

Se accidentó: N S S

Y el estado representado por los últimos dos años es E1 [S S]

Entonces tenemos que de E2 podemos pasar a:

Con la condición inicial 1

 E0 p = 0.97*0.5 = 0.485
 E2 p = 0.03*0.5 = 0.015

Con la condición inicial 2

 E2 p = 0.9 * 0.5 = 0.45

 E1 p = 0.1 * 0.5 = 0.05

Note que las probabilidades se multiplicaron por 0.5 porque son 2 condiciones y la
probabilidad de que cada una se presente al inicio es 0.5.
Uniendo ambas condiciones de inicio se tiene que de E2 se puede pasar a:

E0 con p = 0.485

E2 con p = 0.015 + 0.45 = 0.465 (porque se puede iniciar con la condición 1 o la

condición 2)

E1 con p = 0.05

Matriz de probabilidades de transición

E0 E1 E2
E0 0.97 0 0.03
P
E1 0 0.1 0.9
E 2 0.485 0.05 0.465

Como queremos averiguar la prima promedio que paga un cliente, entonces

debemos hallar las probabilidades de estado estable. Esto lo podemos hallar por
medio de ecuaciones o elevando la matriz a una potencia grande hasta que sus filas
sean iguales. Si lo hacemos por ecuaciones tenemos:

q·P=q q  x y z

 0.97 0 0.03 
x y 
z   0 0.1 0.9   x y z
0.485 0.05 0.465
0.97 x  0.485 z  x
0.1 y  0.05 z  y
0.03 x  0.9 y  0.465 z  z
x  y  z 1

La última ecuación surge porque q es un vector de probabilidades, entonces la suma

de sus elementos es igual a 1.

Resolviendo el sistema de ecuaciones nos queda:

x = 0.938709677  E0

y = 0.003225806  E1

z = 0.058064516  E2

Prima promedio = 0.938709677($100) + 0.003225806($400) + 0.058064516($300)

Prima promedio = $112.58

RESOLVIENDO CON CUATRO ESTADOS:

 E0: No ha tenido accidentes los últimos dos años. [N N]. ($100)

 E1: Ha tenido un accidente en cada uno de los dos últimos años. [S S].
($400)
 E2: Tuvo un accidente el primero de los dos últimos años. [S N]. ($300)
 E3: Tuvo un accidente el segundo de los dos últimos años. [N S]. ($300)

Probabilidades de transición:

El análisis es igual que para tres estados. De E0 podemos pasar a:

E0 con p = 0.97 [N N]  [N N]
E3 con p = 0.03 [N N]  [N S]

De E1 podemos pasar a :

 E2 con p = 0.9 [S S]  [S N]
 E1 con p = 0.1 [S S]  [S S]

De E2 podemos pasar a:

 E0 con p = 0.97 [S N]  [N N]
 E3 con p = 0.03 [S N]  [N S]

(ver condición inicial 1 con tres estados)

De E3 podemos pasar a:

E2 con p = 0.9 [N S]  [S N]

E1 con p = 0.1 [N S]  [S S]

(ver condición inicial 2 con tres estados)

Matriz de probabilidades de transición

E0 E1 E 2 E3
E 0 0.97 0 0 0.3
P E1 0 0.1 0.9 0
E 2 0.97 0 0 0.03
E3 0 0.1 0.9 0
Encontrando las probabilidades de estado estable por medio de ecuaciones:

q·P=q q  w x y z

0.97 0 0 0.03
 0 0.1 0.9 0 
w x y z    w x y z
0.97 0 0 0.03
 
 0 0.1 0.9 0 

0.97 w  0.97 y  w
0.1x  0.1z  x
0.9 x  0.9 z  y
0.03w  0.03 y  z
w x  y  z 1

Resolviendo el sistema de ecuaciones nos queda:

w = 0.938709677  E0

x = 0.003225806  E1

y = 0.029032258  E2

z = 0.029032258  E3

Prima promedio = 0.938709677($100) + 0.003225806($400) + 0.029032258($300)

+ 0.029032258($300)

Prima promedio = $112.58

Se puede ver que resolviendo con tres o cuatro estados se obtienen el mismo
resultado.

2. Un juego de habilidad manual consta de 3 fases (1, 2 y 3) que deben realizarse

sucesivamente. Se considera que un jugador ha completado el juego, cuando
realiza las 3 fases en forma satisfactoria. Cuando dada la dificultad de las fases
el jugador abandona el juego sin haberlo completado, se considera que ha
perdido. En particular el 5% abandonan en la fase 1, el 15% en la fase 2 y el
10% en la fase 3. Cuando el resultado de una fase no es satisfactorio, esta debe
repetirse, pero en el caso de las fases 2 y 3, si el resultado es muy insatisfactorio,
el jugador debe retroceder. En concreto 20% de las personas deben repetir la
fase 1; en la fase 2 30% deben repetirla y 5% retroceden a la fase 1; en la fase
3 35% deben repetir y 5% deben retroceder a la 2. ¿Qué porcentaje de jugadores
completan el juego?

Identificando estados

 E0: Fase 1
 E1: Fase 2
 E2: Fase 3
 E3: Abandona
 E4: Completa el juego (gana)

Matriz de probabilidades de transición

 E0 E1 E 2 E3 E 4
E 0 0.2 0.75 0 0.05 0
E1 0.05 0.3 0.5 0.15 0
P
E2 0 0.05 0.35 0.10 0.5
E3 0 0 0 1 0
E4 0 0 0 0 1

Como existen estados absorbentes, entonces se divide la matriz, separando los

estados absorbentes (E3, E4) de los transitorios (E0, E1, E2):

E0 E1 E2 E3 E4

E0 0.2 0.75 0 0.05 0

E1 0.05 0.3 0.5 0.15 0

E2 0 0.05 0.35 0.1 0.5

E3 0 0 0 1 0

E4 0 0 0 0 1

Esta matriz es de la forma:

Q R
P
0 I

Dónde:
 E0 E1 E2
E 0 0.2 0.75 0
Q
E1 0.05 0.3 0.5
E2 0 0.05 0.35

E3 E 4
E 0 0.05 0
R
E1 0.15 0.3
E 2 0.10 0.5

E3 E 4
I  E3 1 0
E4 0 1

La matriz (Identidad – Q)-1 nos da el número promedio de periodos que se

espera pasar en cada estado antes de caer en un estado absorbente.

La matriz [(Identidad – Q)-1 * R] nos da la probabilidad de que partiendo de

un estado transitorio se llegue a un estado absorbente.

Lo que nos piden es el porcentaje de jugadores que completan el juego

(estado E4 que es absorbente) luego de iniciar el juego (E0 que es transitorio). Es
decir, lo que nos piden es la probabilidad de que partiendo del estado E0 se llegue
al estado E4. Entonces necesitamos la matriz [(Identidad – Q)-1 * R].
 La matriz identidad es aquella que tiene en su diagonal principal unos, esta
debe tener la misma dimensión que Q (en este caso 3 x 3).

1 0 0  0.2 0.75 0 
  
Identidad  Q 0 1 0  0.05 0.3 0.5 
0 0 1  0 0.05 0.35

 0.8  0.75 0 

Identidad  Q  0.05 0.7  0.5
 0  0.05 0.65 

Sacando la inversa de la matriz anterior queda:

1.34532655 1.52522487 1.1732499 

( Identidad  Q) 1  0.10168166 1.62690653 1.25146656
0.00782167 0.12514666 1.6347282 

Note que en la matriz anterior sus filas no son vectores de probabilidad (no suman
1) pues estas representan el número promedio de periodos que se espera pasar en
cada estado transitorio antes de caer en uno absorbente.

Si colocamos los nombres de los estados podemos interpretar la matriz

(Identidad – Q)-1
 E0: Fase 1 E1: Fase 2 E3: Fase 3

E0: Fase 1 1.34532655 1.52522487 1.1732499

E1: Fase 2 0.10168166 1.62690653 1.25146656

E3: Fase 3 0.00782167 0.12514666 1.6347282

Un jugador que empiece a jugar (E0) tardará en promedio 1.34 periodos en la Fase
1 1.52 periodos en la Fase 2 y 1.17 periodos en la Fase 3, antes de ganar o
abandonar el juego (caer en un estado absorbente). Note que sólo se sabe que se
caerá en algún estado absorbente, pero no se conoce en cuál.

Pero para averiguar lo que nos piden debemos calcular [(Identidad – Q)-1 * R]

1.34532655 1.52522487 1.1732499  0.05 0 

( Identidad  Q)  R 0.10168166 1.62690653 1.25146656  0.15 0 
1

0.00782167 0.12514666 1.6347282  0.10 0.5

0.41337505 0.58662495
( Identidad  Q)  R  0.37426672 0.62573328
1

 0.1826359 0.8173641 

Note que en esta matriz las filas si son vectores de probabilidad (suman 1).

Colocando los nombres de los estados a la matriz podemos interpretarla mejor:

 E3:
Abandona E4: Gana

E0: Fase 1 0.41337505 0.58662495

E1: Fase 2 0.37426672 0.62573328

E3: Fase 3 0.1826359 0.8173641

De esta matriz podemos leer que el 58.66% de quienes inician el juego (E0) logran
completarlo o ganar (E4).
Referencias

 https://es.scribd.com/doc/60169344/Problemas-Resueltos-Cadenas-de-
Markov
 https://es.scribd.com/doc/137878959/Cadenas-de-Markov