UNIVERSIDAD DISTRITAL FRANCISCO JOSÉ DE CALDAS

PROCESOS ESTOCÁSTICOS
TALLER 3. CADENAS DE MARKOV. PARTE 1

1. Sea (Xn ) una cadena de Markov con cadena de estados S = {0, 1, 2} y matriz de transición P dada por:
 
0, 2 0, 6 0, 2
P = 0, 5 0, 3
 0, 2
0 0, 4 0, 6

Calcule:

a) P (X2 = 0, X1 = 0|X0 = 1)
b) P (X3 = 1, X2 = 1|X1 = 2)

2. Sea N = (Nt ) un proceso de Poisson homogéneo con intensidad λ. Es N una cadena de Markov? Explique
su respuesta.

3. Considere una cadena de Markov de dos estados 0 y 1 cuya distribución inicial está dada por: P (X0 =
0) = 0, 3 y P (X1 = 1) = 0, 7 y cuya matriz de transición está dada por:
 
0, 8 0, 2
P =
0, 6 0, 4

Según lo anterior, calcule:

a) P (X0 = 0, X1 = 1, X2 = 0)
b) P (X0 = 0|X1 = 1)
c) P (X1 = 0)
d ) P (X2 = 1)
e) P (X0 = 0, X1 = 0, X2 = 1, X3 = 1)

4. Al final de un dı́a dado, se registra el precio de una acción. Si la acción subió, la probabilidad de que
mañana suba es 0,6. Si la acción bajo, la probabilidad de que mañana suba es 0,4. Si Xn representa el
comportamiento de la acción el dia n, ¿es (Xn ) una cadena de Markov?. Si es asi, ¿cual es su matriz de
transición?.

5. Considere una cadena de Markov con conjunto de estados S = {0, 1, 2, 3, 4} y matriz de transición:
 
0 1/4 1/4 1/4 1/4
1 0 0 0 0 
 
P = 0 1
 0 0 0 
0 0 1 0 0 
0 0 0 1 0

a) Trace la gráfica de la cadena.

b) Halla λ(i) para i = 1, 2, 3, 4.
c) Clasifique los estados como recurrentes, transitorios o absorbentes.
d ) Es esta cadena de Markov irreducible?

6. Una compañı́a de seguros de autos maneja un sistema de tarifación Bonus-Malus con 3 niveles de des-
cuentos por póliza, el nivel 1 del 0 %, el nivel 2 del 30 % y en el nivel 3 se tiene un descuento del 60 %.
Anualmente, el asegurado se mueve entre los diferentes niveles según el número de reclamaciones realiza-
das en el año inmediatamente anterior. Para cada asegurado, el número de reclamaciones por año sigue
una distribución Poisson con intensidad λ = 4. La polı́tica de descuentos es la siguiente:

Después de un año libre de reclamaciones el asegurado asciende al siguiente nivel (o se mantiene en

el nivel 3).
Después de un año con exactamente una reclamación el asegurado desciende un nivel (o se mantiene
en el nivel 1).
Si dos o más reclamaciones son realizadas en el a no anterior, el asegurado cae hasta el nivel 1 (o se
mantiene en el nivel 1).
 Al adquirir la póliza por primera vez, el 80 % de los asegurados se clasi
can en el nivel 1 y el resto en el nivel 2.

a) Describa una cadena de Markov que represente este sistema de tarifación (variables aleatorias, con-
junto de estados, conjunto de ı́ndices). Es esta cadena homogénea?.
b) Halle la matriz de transición asociada a la cadena de Markov del punto anterior.
c) Halle P (X1 = 2).
d ) Halle P (X0 = 2, X1 = 1, X2 = 2).

7. ¿Cual es el número mı́nimo y máximo de clases de equivalencia que puede tener una cadena de Markov
de n estados?

8. Verifique que si j ∈ S es un estado absorbente de una cadena de Markov, entonces j es un estado recurrente.

9. Un jugador tiene tres dólares. En cada jugada pierde un dólar con probabilidad 3/4 pero gana dos dólares
con probabilidad 1/4. El jugador abandona el juego si pierde sus tres dólares o si gana los tres dólares.

a) Escriba una cadena de Markov que represente esta información.

b) Halle los estados y la matriz de transición de la cadena.
c) Cual es la probabilidad de que haya por lo menos cuatro jugadas en el juego?

10. Sea X = (Xn ) una cadena de Markov con espacio de estados S y matriz de transición P , para cada
n = 0, 1, .... Denotaremos πn = {π(s) : s ∈ S}, la distribución de Xn :

πn (j) := P (Xn = j)

Compruebe que πn = π0 P (n) = π0 P n y además que πn = πn−1 P .

11. Sean X1 , X2 , X3 v.a con valores en S = {1, 2} con las siguientes caracterı́sticas:
1
P (X1 = 1) = P (X1 = 2) =
2
1
P (X2 = 1|X1 = 1) = P (X2 = 2|X1 = 2) =
2
Supongase que:
X3 (ω) = X2 (ω) si y solo si X1 (ω) = X2 (ω)
Calcular:
P (Xn+1 = j|Xn = i)
para n = 1, 2. Es (Xn )n=1,2,3 una cadena de Markov? Justifique su respuesta.

12. Sea (Yn )n∈N una muestra aleatoria definida sobre un espacio de probabilidad (Ω, F, P ) y con valores en
los enteros. Se define:
Xn
Xn := Yi
i=0

Es (Xn )n∈N una cadena de Markov? Justifique su respuesta.

13. Para una cadena de Markov (Xn ) demuestre:

a) pii (m)pii (n) ≤ pii (m + n) ≤ pii (m)pii (n) + (1 − pii (n)).

X∞
b) supn {pij (n)} ≤ fij (n) ≤ pij (n).
i=i
c) i −→ j si y solo si fij > 0.
d ) i ←→ j si y solo si fij fji > 0.
∞ ∞
!
X X
e) pij (n) = fij pjj (n) + 1
n=1 n=1