Cap3 - Markov Parte 1

1
Dra. Norka Bedregal Alpaca

P
R
O
C
E
S
O
S

E
S
T
O
C
A
S
T
I
C
O
S
P
R
O
C
E
S
O
S

E
S
T
O
C
A
S
T
I
C
O
S
2
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Proceso Estocstico
Existen mltiples aplicaciones para los procesos
estocsticos.
En particular, un sistema informtico complejo se
caracteriza por demandas de carcter aleatorio y por
ser dinmico
Es necesaria una herramienta que modele procesos
aleatorios en el tiempo, y para ello se usan los procesos
estocsticos
Un proceso estocstico es una familia de variables
aleatorias parametrizadas por el tiempo
Proceso Estocstico
Definicin General
Un proceso estocstico es una sucesin de variables
aleatorias indexadas por una variable (continua o
discreta), generalmente, el tiempo.
Cada una de las variables aleatorias del proceso tiene
su propia funcin de distribucin de probabilidad y,
entre ellas, pueden estar correlacionadas o no.
Cada variable o conjunto de variables sometidas a
influencias o impactos aleatorios constituye un proceso
estocstico.
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
3
Ejemplo:
Proceso Estocstico
ndice de la Bolsa de Austria (Ejemplo de Proceso
Estocstico no Estacionario).
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Proceso Estocstico: Definicin Matemtica
Definicin:
Un proceso estocstico es una familia de variables
aleatorias definida sobre un espacio de probabilidad.
Es decir:
{ {{ { } }} } T t X
t
, :
( (( ( ) )) ) ( (( ( ) )) ) t X X
t
, = == =
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
4
b = == =
c = == =
a = == =
t

) , ( t X

Muestral
Espacio
Muestrales
Funciones
) ) ( sin( ) ( ) , ( t A t X = == =
) sin( ) , ( t A t c X
c c
= == = c = == =
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Observaciones:
1. Se tiene que X es una funcin de dos argumentos.
Fijando =
0
, se obtiene una funcin determinista
(no aleatoria):
( (( ( ) )) ) T X : ,
0

( (( ( ) )) )
0
, t X t
2. Asimismo, fijando t=t
0
, se obtiene una de las variables
aleatorias de la familia:
( (( ( ) )) ) : ,
0
t X
( (( ( ) )) ) ,
0
t X
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
5
Espacio de Estados:
El espacio de estados S de un proceso estocstico es el
conjunto de todos los posibles valores que puede tomar
dicho proceso:
( (( ( ) )) ) { {{ { } }} } = == = T t X S
t
|
Ejemplo:
Se lanza una moneda al aire 6 veces.
El jugador gana $1 cada vez que sale cara (C), y pierde
$1 cada vez que sale sello (S).
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Sea X
i
= estado de cuentas del jugador despus de la i-
sima jugada
La familia de variables aleatorias {X
1
, X
2
,, X
6
}
constituye un proceso estocstico
={ CCCCCC,CCCCCS,}
card( ) = 2
6
= 64
P( )=1/64
T={1, 2, 3, 4, 5, 6}
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
6
S={6, 5, , 1, 0, 1, 2, , 5, 6}
X
1
( ) = {1, 1}
X
2
( )={2, 0, 2}
Si se fija , por ejemplo

0
=CCSSSC
se obtiene una secuencia de valores completamente
determinista:
X
1
(
0
)=1, X
2
(
0
)=2, X
3
(
0
)=1,
X
4
(
0
)=0, X
5
(
0
)= 1, X
6
(
0
)=0
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Se puede dibujar con estos valores la trayectoria del
proceso:
-2
-1
0
1
2
3
1 2 3 4 5 6
Instante de tiempo, t
V
a
l
o
r

d
e
l

p
r
o
c
e
s
o
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
7
Si se fija t, por ejemplo t
0
=3, se obtiene una de las
variables aleatorias del proceso:
:
3
X
( (( ( ) )) )
3
X
Los posibles valores que puede tomar el proceso en t
0
=3
son: X
3
( )={3, 1, 1, 3}
Se puede hallar la probabilidad de que el proceso tome
uno de estos valores:
[ [[ [ ] ]] ] [ [[ [ ] ]] ] [ [[ [ ] ]] ] [ [[ [ ] ]] ]
8
3
2
1
2
1
2
1
3 SCC P CCS P CSC P 1 ) ( X P
3
= == = = == = + ++ + + ++ + = == = = == =
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
[ [[ [ ] ]] ] [ [[ [ ] ]] ]
8
1
2
1
2
1
2
1
CCC P 3 ) ( X P
3
= == = = == = = == = = == =
[ [[ [ ] ]] ] [ [[ [ ] ]] ] [ [[ [ ] ]] ] [ [[ [ ] ]] ]
8
3
2
1
2
1
2
1
3 CSS P SSC P SCS P 1 ) ( X P
3
= == = = == = + ++ + + ++ + = == = = == =
[ [[ [ ] ]] ] [ [[ [ ] ]] ]
8
1
2
1
2
1
2
1
SSS P 3 ) ( X P
3
= == = = == = = == = = == =
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
8
Clasificacin de los Procesos Estocsticos
S discreto S continuo
T discreto Cadena
Sucesin de
variables aleatorias
continuas
T continuo Proceso puntual Proceso continuo
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Ejemplos:
Cadena: Ejemplo anterior
Sucesin de variables aleatorias continuas: cantidad de
lluvia cada cada mes
Proceso puntual: Nmero de clientes esperando en la
cola de un supermercado
Proceso continuo: velocidad del viento
Clasificacin de los Procesos Estocsticos
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
9
Funcin de distribucin de primer orden
Funciones Asociadas a los Procesos Estocsticos
[ [[ [ ] ]] ] 1 , 0 :
2
F
( (( ( ) )) ) ( (( ( ) )) ) ( (( ( ) )) ) [ [[ [ ] ]] ] x t X P t x F t x = == = , , ,
Funcin de densidad de primer orden:
( (( ( ) )) )
( (( ( ) )) )
x
t x F
t x f

= == =
,
,
Funcin de distribucin de 2 orden:
[ [[ [ ] ]] ] 1 , 0 :
4
F
( (( ( ) )) ) ( (( ( ) )) ) ( (( ( ) )) ) ( (( ( ) )) ) ( (( ( ) )) ) ( (( ( ) )) ) [ [[ [ ] ]] ]
2 2 1 1 2 1 2 1 2 1 2 1
, , , , , , , , x t X x t X P t t x x F t t x x = == =
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Funcin de densidad de 2 orden:
( (( ( ) )) )
( (( ( ) )) )
2 1
2 1 2 1
2
2 1 2 1
, , ,
, , ,
x x
t t x x F
t t x x f

= == =
Funcin valor medio (es determinista):
T m:
[ [[ [ ] ]] ]
t
X E t
Funcin varianza (es determinista):
T :
2

( (( ( ) )) )
t
X t var
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
10
Las funciones de primer orden de un proceso
estocstico X(t) corresponden a la funcin de
distribucin y de densidad de probabilidad del proceso.
Las funciones de segundo orden corresponden a las
distribuciones conjuntas de la variable aleatoria en dos
tiempos diferentes t
1
y t
2
.
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
P
R
O
C
E
S
O
S

E
S
T
O
C
A
S
T
I
C
O
S
11
Cuando, conociendo el pasado y
el presente, el comportamiento
probabilstico del futuro
inmediato slo depende del
estado presente
Cadenas de Markov
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Las cadenas de Markov y los procesos de Markov son un
tipo especial de procesos estocsticos que poseen la
siguiente propiedad:
Propiedad de Markov:
Conocido el estado del proceso en un momento dado, su
comportamiento futuro no depende del pasado.
Dicho de otro modo, dado el presente, el futuro es
independiente del pasado
Cadenas de Markov
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
12
Sea {X
n
: n 0} un proceso estocstico discreto
Es decir, cada X
n
es una variable aleatoria discreta
Se dice que {X
n
} es una cadena de Markov si se cumple:
P{X
n+1
= j / X
0
= i
0
, X
1
= i
1
. . . X
n
= i
n
} =
P{X
n+1
= j / X
n
= i
n
} = p
i,j
(n)
el futuro no depende del pasado sino del presente
Definicin: Cadena de Markov
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Observaciones:
p
i,j
(n) : la probabilidad de que el proceso,
estando en el estado i en el tiempo n,
pase al estado j en el instante
siguiente
Cuando p
i,j
(n) = p
i,j
(es decir, no depende de n) se
dice que las probabilidades de transicin son
homogneas o estacionarias
Cadenas de Markov
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
13
Cadenas de Markov
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Como se trata de cadenas de Markov, se tendr
espacios de estados S discretos y conjuntos de instantes
de tiempo T tambin discretos, T={t
0
, t
1
, t
2
,}
De manera abreviada se dice que una cadena de
Markov (CM) es una sucesin de variables aleatorias
X
i
, i N, tal que:
( (( (

( (( (

= == =
= == =
( (( (

( (( (

= == =
+ ++ + + ++ +
t
t
t
t
X
j X
P
X X X
j X
P
1
1 0
1
,..., ,
Las CM estn completamente caracterizadas por las
probabilidades de transicin en una etapa,
T t S j i
i X
j X
P
t
t

( (( (

( (( (

= == =
= == =
+ ++ +
, , ,
1
Cadenas de Markov
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Slo se trabajar con CM homogneas en el tiempo,
que son aquellas en las que
ij
t
t
q
i X
j X
P T t S j i = == =
( (( (

( (( (

= == =
= == =

+ ++ +1
, ,
donde q
ij
se llama probabilidad de transicin en
una etapa desde el estado i hasta el estado j
14
Matriz de Transicin
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Las probabilidades de transicin q
ij
se agrupan en la
denominada matriz de transicin de la CM:
( (( ( ) )) )
S j i
ij
q
q q q
q q q
q q q
Q

= == =
| || |
| || |
| || |
| || |
| || |

| || |

\ \\ \
| || |
= == =
,
22 21 20
12 11 10
02 01 00
... ... ... ...
...
...
...
Propiedades de la matriz de transicin
Por ser los q
ij
probabilidades:
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Matriz de Transicin
[ [[ [ ] ]] ] 1 , 0 , ,
ij
q S j i
Por ser 1 la probabilidad del suceso seguro, cada fila ha
de sumar 1, es decir,
1 , = == =

S j
ij
q S i
Una matriz que cumpla estas dos propiedades se llama
matriz estocstica
15
EJEMPLO (CAJERO):
Considere un cajero que
atiende a las personas que
llegan a una sucursal bancaria
Suponga que en la fila nunca
hay ms de tres personas
(incluyendo la que se atiende) y
que los clientes no llegan en
grupos
Entonces el nmero de
personas en la fila (incluyendo
la que se atiende) puede tomar
los valores 0, 1, 2, 3
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Matriz de Transicin
Suponga que el cajero tarda al menos un minuto en
atender a un cliente y que en un minuto dado no puede
llegar ms de un cliente al banco
Si se observa el nmero de personas en la fila cada
minuto, esta cantidad puede:
Aumentar en 1, si llega otro cliente antes de que
atiendan al que est en servicio
Disminuir en 1, si se termina de atender al cliente y
nadie ms llega
Esto se repite a lo largo del da
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Matriz de Transicin
16
Grficamente
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Matriz de Transicin
Minuto 5
Minuto 6
Minuto 7
Minuto 8
Si se supone que la cantidad de clientes en el prximo
minuto depende solamente de la cantidad de clientes en
el minuto actual, entonces se podra determinar la
probabilidad de tener una cierta cantidad de clientes en
la fila en el prximo minuto
Para ello se necesita solamente probabilidades
condicionales del tipo:
P(en el siguiente minuto haya i clientes | en este minuto
hay j clientes)
Para poder calcular esas probabilidades, se debe tener:
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Matriz de Transicin
17
Informacin acerca de la velocidad con que
atiende el cajero a los clientes
Informacin sobre la cantidad de clientes que llega
al banco por unidad de tiempo
Una forma adecuada de organizar dicha informacin es
mediante una tabla o matriz
En las filas se coloca el nmero actual de clientes
En las columnas, el nmero de clientes en el siguiente
minuto
Se denota por X
n
al nmero de clientes en el minuto n
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Matriz de Transicin
LAinformacin necesaria se da en la tabla:
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Matriz de Transicin
( )
12 1
2| 1 0.25
n n
p P X X
+
= = = =
Clientes en el minuto n+1
0 1 2 3
Clientes en el
minuto n
0 0.5 0.5 0 0
1 0.25 0.5 0.25 0
2 0 0.7 0.2 0.1
3 0 0 0.4 0.6
18
Hay que notar que la primera fila de la matriz indica
las probabilidades de pasar a 0, 1, 2 o 3 clientes en la fila
dado que ahora hay cero clientes
Como estos valores representan todos los posibles
resultados, deben sumar 1
Lo mismo ocurre con las otras filas
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Matriz de Transicin
El diagrama de transicin de estados (DTE) de una CM
es un grafo dirigido
Los nodos son los estados de la CM
Los arcos se etiquetan con la probabilidad de transicin
entre los estados que unen.
Si dicha probabilidad es nula, no se pone arco
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Diagrama de Transicin
i j
q
ij
19
EJEMPLO: LNEATELEFNICA
Sea una lnea telefnica de estados
ocupado=1 desocupado=0
Si en el instante t est ocupada, en el instante t+1 estar
ocupada con probabilidad 0,7 y desocupada con
probabilidad 0,3.
Si en el instante t est desocupada, en el t+1 estar
ocupada con probabilidad 0,1 y desocupada con
probabilidad 0,9.
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Entonces su matriz y diagrama de transicin sern:
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
| || |
| || |

| || |

\ \\ \
| || |
= == =
7 , 0 3 , 0
1 , 0 9 , 0
Q
0 1
0,9
0,1
0,3
0,7
20
EJEMPLO: BUFFER DE E/S
Supongamos que un buffer de E/S tiene espacio para M
paquetes.
En cualquier instante de tiempo se puede insertar un
paquete en el buffer con probabilidad o bien el buffer
puede vaciarse con probabilidad .
Si ambos casos se dan en el mismo instante, primero se
inserta y luego se vaca.
Sea
X
t
=n de paquetes en el buffer en el instante t.
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Si se supone que las inserciones y vaciados son
independientes entre s e independientes de la historia
pasada, entonces
{ X
t
} es una CM,
donde S={0, 1, 2, , M}
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
0 1 2 3
(1 ) (1 ) (1 )
1 + 1 + 1 +

1 (1 )
21
En el estado M
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
1
(1 )

EJEMPLO : LANZAMIENTO DE UN DADO
Se lanza un dado repetidas veces.
Cada vez que sale menor que 5 se pierde $1, y cada vez
que sale 5 6 se gana $1.
El juego acaba cuando se tienen $0 $100
Sea
X
t
=estado de cuentas en el instante t
Se tiene que { X
t
} es una CM
S={0, 1, 2, , 100}
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
22
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
0 1 2 3
2/3
1
4 5
2/3 2/3 2/3 2/3 2/3

1/3 1/3 1/3 1/3
100 99 98 97
1
2/3 2/3
1/3 1/3
2/3
1/3
1/3
1/3

EJEMPLO: ORGANISMOS UNICELULARES
Se tiene una poblacin de organismos unicelulares que
evoluciona del siguiente modo:
cada organismo se duplica con probabilidad 1p
o muere con probabilidad p.
Sea
X
n
: # de organismos en el instante n.
La CM { X
n
} tendr
S = { 0, 1, 2, 3, }
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
23
Si hay i organismos en el instante n, de los cuales:
k organismos que se van a duplicar
i k van a morir
Entonces, en el instante n + 1, habr 2k organismos.
Se pueden hallar las probabilidades de transisicin
mediante la distribucin binomial
q
i,2k
(el resto de probabilidades son nulas)
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
{ {{ { } }} } ( (( ( ) )) )
k i k k
i k i
p p C q i k

= == = 1 , ,..., 2 , 1 , 0
2 ,
EJEMPLO: DESPLAZAMIENTO POBLACIONAL
Para efectos de una investigacin, en un determinado
pas, una familia puede clasificarse como habitante de
zona urbana, rural o suburbana.
Se ha estimado que durante un ao cualquiera, el 15%
de todas las familias urbanas se cambian a zona
suburbana y el 5%a zona rural.
El 6%de las familias suburbanas pasan a zona urbana y
el 4%a zona rural.
El 4% de las familias rurales pasan a zona urbana y el
6%a zona suburbana.
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
24
Luego, se tendr la siguiente matriz de y diagrama de
transicin
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
| || |
| || |
| || |

| || |

\ \\ \
| || |
= == =
90 , 0 06 , 0 04 , 0
04 , 0 90 , 0 06 , 0
05 , 0 15 , 0 80 , 0
rural
surb
urb
P
rural surb urb
Urb
Surb.
Rural
0,15
0,04
0,05
0,04
0,06
0,06
0,8
0,90
0,90
Ejemplo:
Considere nuevamente el caso del # de personas que
esperan servicio en una cola, donde el servicio se brinda
en una sola ventanilla; con slo un cajero y donde los
clientes llegan segn un modelo de Poisson con
determinado parmetro
Se supone que los tiempos de servicio a los clientes son
VAindependientes distribuidas idnticamente
Para n 1, se define:
X
n
: # personas que esperan en la cola en el
momento en que la n-sima persona acaba de
ser atendida
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Cadena de Markov Inmersa
25
Se puede afirmar que la sucesin {X
n
} es una cadena de
Markov
Para demostrarlo, se define:
U
n
: # de clientes que llegan a la ventanilla durante
el tiempo que se est dando servicio al n-simo cliente
Luego: X
n+1
= X
n
T(X
n
) + U
n+1
donde T(X) = 0, si X = 0
T(X) = 1, caso contrario
Es decir, el nmero de personas que esperan servicio
cuando el cliente n + 1 se v, depende de si el cliente n + 1
estaba en la cola cuando el cliente n reciba el servicio
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Si T(X
n
) = 0 entonces X
n+1
= U
n+1
T(X
n
) = 1 entonces X
n+1
= U
n+1
-1 + X
n
Como U
n+1
es independiente de X
1
X
2
X
n
se deduce
que sado el valor X
n
no es necesario conocer los valores
anteriores para poder determinar la probabilidad
condicional de X
n+1
La cadena de Markov definida por
X
n+1
= X
n
T(X
n
) + U
n+1
se llama cadena de Markov Inmersa
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
26
Sea {X
n
: n 0} una Cadena de Markov, con distribucin
inicial
a
j
= P{X
0
= j} para j = 1,2, . . .
Entonces, para cualquier k
0
y para cualesquiera i
0
, . . , i
k
pertenecientes al conjunto de estados del proceso se
cumple:
P{X
0
=i
0
, X
1
=i
1
,...,X
k
=i
k
} = a
i
0
p
i
0
i
1
p
i
1
i
2
... p
i
k-1
i
k
donde:
p
ij
= P{X
m+1
= j / X
m
= i}
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Distribucin de una Cadena de Markov
Observacin:
La distribucin inicial de una cadena de Markov son
las probabilidades de que inicie en cada estado
Ejemplo:
En el ejemplo del cajero, siempre se empieza sin
clientes, as que siempre tenemos X
0
= 0, lo cual es
equivalente a decir que P(X
0
= 0) = 1
En general, se podra tener una probabilidad de
empezar con 0 clientes, una probabilidad de empezar con
1 cliente, etc
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
27
Dada la matriz de transicin del cajero bancario:
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
1. Se desea calcular
0 1 2 3
Clientes en el
minuto n
0 0.5 0.5 0 0
1 0.25 0.5 0.25 0
2 0 0.7 0.2 0.1
3 0 0 0.4 0.6
( (( ( ) )) ) 1 , 0
1 0
= == = = == = X X P
Hay que observar que
( (( ( ) )) ) ( (( ( ) )) ) 1 0 1 , 0
1 0 1 0
= == = = == = = == = = == = = == = X X P X X P
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Pero por la definicin
( (( ( ) )) )
5 . 0 ) 1 (
) 0 (
0
1
1 0
01
0
0
1
1 0
= == = = == =
= == =
| || |

| || |

\ \\ \
| || |
= == =
= == =
= == = = == = = == =
q
X P
X
X
P X X P
2. Si se desea calcular:
( )
0 1 2
0, 1, 2 P X X X = = =
Hay que observar que
( ) ( )
0 1 2 0 1 2
0, 1, 2 0 1 2 P X X X P X X X = = = = = =
28
Por la definicin de probabilidad condicional
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
( )
( )
( )
0 1 2
2 0 1
0 1
0 1 2
2 | 0, 1
0, 1
P X X X
P X X X
P X X
= = =
= = = =
= =
Luego
( ) ( ) ( )
0 1 2 2 0 1 0 1
0 1 2 2 | 0, 1 0, 1 P X X X P X X X P X X = = = = = = = = =
( ) ( ) ( ) ( )
( ) ( ) ( )
( ) ( )
0 1 2 2 0 1 1 0 0
2 1 1 0 0
12 01
0 1 2 2 | 0, 1 1| 0 0
2 | 1 1| 0 0
1 0.25 0.5 0.125
P X X X P X X X P X X P X
P X X P X X P X
p p
= = = = = = = = = =
= = = = = =
= = =
0 1 2 3
Clientes en el
minuto n
0 0.5 0.5 0 0
1 0.25 0.5 0.25 0
2 0 0.7 0.2 0.1
3 0 0 0.4 0.6
3. Para calcular:
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
( )
0 1 2 3
0, 1, 0, 1 P X X X X = = = =
( ) ( )
( ) ( )
( ) ( ) ( )
( ) ( ) ( ) ( )
( ) ( )( )( )
0 1 2 3 0 1 2 3
3 0 1 2 0 1 2
3 2 2 0 1 0 1
3 2 2 1 1 0 0
01 10 01
0, 1, 0, 1 0 1 0 1
1| 0, 1, 0 0, 1, 0
1| 0 0 | 0, 1 0, 1
1| 0 0 | 1 1| 0 0
1 0.5 0.25 0.5 1
0.0625
P X X X X P X X X X
P X X X X P X X X
P X X P X X X P X X
P X X P X X P X X P X
p p p
= = = = = = = = =
= = = = = = = =
= = = = = = = =
= = = = = = = =
= =
=
0 1 2 3
Clientes en el
minuto n
0 0.5 0.5 0 0
1 0.25 0.5 0.25 0
2 0 0.7 0.2 0.1
3 0 0 0.4 0.6
29
Dada una cadena de Markov {X
n
}, con su respectiva
matriz de transicin Q
Suponiendo que en el tiempo t el proceso de Markov se
encuentra en el estado i, entonces la probabilidad de que
n pasos despus se encuentre en el estado j, est dada
por:
Q{X
n+t
= j /X
t
= i }= P{X
n
= j /X
0
= i } (estacionaria)
= q
(n)
i,j
donde q
(n)
i,j
: elemento (i,j) de la matriz P
n
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Probabilidades de Transicin en n Etapas
Resumen:
La Matriz de transicin o matriz estocstica, es la
matriz que resume las probabilidades de transicin
Si la matriz da las probabilidades de pasar:
Del estado i en el tiempo n al estado j en el tiempo
n+1, entonces se le llama de un paso
Del estado i en el tiempo n al estado j en el tiempo
n+2, se le llama de dos pasos, etc
Si Q es la matriz de un paso de una cadena de Markov,
entonces Q
2
es la matriz de dos pasos; Q
3
la de tres pasos,
etc
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V
Probabilidades de Transicin en n Etapas
30
Fin Parte 1
C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Cap3 - Markov Parte 1

Diunggah oleh

Informasi Dokumen

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Cap3 - Markov Parte 1

Diunggah oleh

Hak Cipta:

Format Tersedia

1

Dra. Norka Bedregal Alpaca

2/3 2/3 2/3 2/3 2/3

Dra. Norka Bedregal Alpaca

Anda mungkin juga menyukai