Anlisis de Markov

Dr. Alejandro Domnguez, alexdfar@yahoo.com

N
NNO
OOT
TTA
AAS
SS D
DDE
EE C
CCL
LLA
AAS
SSE
EE:
::
A
AAN
NN
L
LLI
IIS
SSI
IIS
SS D
DDE
EE M
MMA
AAR
RRK
KKO
OOV
VV
1
11

I
IIN
NNT
TTR
RRO
OOD
DDU
UUC
CCC
CCI
II
N
NN
El anlisis de Markov (AM)se origin con los estudios (1906-1907) de A. A.
Markov sobre la secuencia de experimentos conectados en cadena, y con los
intentos de describir matemticamente el fenmeno fsico denominado
movimiento browniano.
La primera construccin matemtica correcta de un proceso de Markov con
trayectorias continuas la formul Norbert Wiener en 1923.
La teora general del AM se desarroll en las dcadas de 1930s y 1940s por
A. A. Kolmogorov, W. Feller, W. Doeblin, P.Levy, J. L. Doob, y otros.
El AM es un procedimiento que se puede utilizar para describir el
comportamiento de un sistema en una situacin dinmica. Especficamente,
describe y predice los movimientos de un sistema entre los diferentes estados
posibles con el paso del tiempo.
El AM hace predicciones del tipo: la probabilidad de encontrar un sistema
en un estado particular en cualquier instante dado, las probabilidades de
cada estado a la larga (equilibrio), etc.

1
Curso impartido en la Universidad Politcnica de Cartagena, Cartagena, Murcia, Espaa. Noviembre de
2000.
Anlisis de Markov
Dr. Alejandro Domnguez, alexdfar@yahoo.com
Este tipo de predicciones don de gran valor para la direccin de sistemas
(movimientos de personal, inventarios, comportamiento de clientes, etc.)
P
PPR
RRO
OOC
CCE
EES
SSO
OOS
SS D
DDE
EE M
MMA
AAR
RRK
KKO
OOV
VV
Un proceso de Markov o markoviano (PM) est formado por un conjunto de
objetos y un conjunto de estados tales que:
- En cualquier momento cada objeto deber encontrarse en uno de los
estados (diferentes objetos no necesariamente debern estar en
diferentes estados
- La probabilidad de que un objeto cambie de un estado a otro (el cual
puede ser el mismo que el primer estado) durante un periodo, depende
slo de estos dos estados
El nmero entero de periodos transcurridos desde el momento en que el
proceso se inicia, representa las etapas del proceso, las cuales pueden ser
finitas o infinitas.
Si el nmero de estados es finito o infinito contable, el PM es una cadena de
Markov (CM).
Una CM finita (CMF) es aquella que tiene un nmero finito de estados.
Una CM infinita (CMI) es aquella que tiene un nmero infinito de estados.

Resumiendo, se tiene la siguiente:
Definicin
Una CMF es una secuencia de n experimentos en la que cada experimento
consta de m resultados o estados posibles
m
E E E , , ,
2 1
y la probabilidad de
Anlisis de Markov
Dr. Alejandro Domnguez, alexdfar@yahoo.com
que ocurra un resultado particular depende nicamente de la probabilidad del
resultado del experimento anterior.
La probabilidad de transicin
ij
p es la probabilidad de que el experimento
pase del estado
i
E al estado
j
E .
As,
ij
p es una probabilidad condicional que se puede expresar como
( ) m j i E E P p
j i ij
s s = , 1 ; .
Si los ndices j i, de
ij
p representan el nmero de rengln y el nmero de
columna, respectivamente, entonces las probabilidades de transicin se pueden
colocar en una matriz P de probabilidades de transicin, cuyos elementos son
no negativos y menores o iguales a 1; i.e.,
|
|
|
.
|

\
|
=
mm m
m
p p
p p
P

1
1 11
.
Cada elemento de P representa la probabilidad de pasar de un estado a
otro.
En resumen: una matriz de transicin es una matriz cuadrada cuyos
elementos son no negativos y que, en ella, los elementos de cualquier
rengln suman uno.
En general cualquier matriz M cuyos elementos son no negativos y donde la
suma de los elementos en cada rengln recibe matriz estocstica o matriz de
probabilidad.
Por lo tanto, una matriz de transicin es una matriz estocstica cuadrada.
Anlisis de Markov
Dr. Alejandro Domnguez, alexdfar@yahoo.com
E
EEJ
JJE
EEM
MMP
PPL
LLO
OO:
:: E
EES
SST
TTA
AAB
BBI
IIL
LLI
IID
DDA
AAD
DD F
FFA
AAM
MMI
IIL
LLI
IIA
AAR
RR
Los datos del censo dividen a las familias en econmicamente estables y
econmicamente deprimidas. Durante un periodo de 10 aos:
La probabilidad de que una familia estable permanezca estable es de
0.92
La probabilidad de que una familia estable se vuelva deprimida es de
0.08
La probabilidad de que una familia deprimida se vuelva estable es de
0.03
La probabilidad de que una familia deprimida permanezca deprimida es
de 0.93
Definir la matriz de transicin.
Solucin
Si se denota la estabilidad econmica como estado 1 y la depresin econmica
como estado 2, entonces el modelo para este proceso puede plantearse como
una CM de dos estados, con matriz de transicin
|
|
.
|

\
|
=
97 . 0 03 . 0
08 . 0 92 . 0
P .
V
VVE
EEC
CCT
TTO
OOR
RRE
EES
SS D
DDE
EE D
DDI
IIS
SST
TTR
RRI
IIB
BBU
UUC
CCI
II
N
NN
Se denota con
( ) n
i
p , a la proporcin de objetos en el estado i al final del n -
simo periodo o ensayo y se designa con
( ) ( ) ( ) ( )
( )
n
m
n n n
p p p X , , ,
2 1
.
Anlisis de Markov
Dr. Alejandro Domnguez, alexdfar@yahoo.com
al vector de distribucin para el final del n-simo periodo.
De acuerdo con esto,
( ) ( ) ( ) ( )
( )
0 0
2
0
1
0
, , ,
m
p p p X
representa la proporcin de objetos en cada estado al inicio del proceso; es
decir, es la probabilidad de estar en un estado particular al empezar el
proceso.
En otras palabras,
( ) o
X :
Es un vector rengln cuyos elementos son no negativos y donde la
suma de los elementos es uno
Es un vector estocstico en forma de rengln
E
EEJ
JJE
EEM
MMP
PPL
LLO
OO:
:: M
MME
EER
RRC
CCA
AAD
DDO
OO D
DDE
EE C
CCO
OON
NNS
SSU
UUM
MMO
OO
El fabricante de dentfrico Brillo controla actualmente 60% del mercado de
una ciudad. Datos del ao anterior muestran que
88% de consumidores de Brillo continan utilizndola, mientras que el
12% de los usuarios de Brillo cambiaron a otras marcas
85% de los usuarios de la competencia permanecieron leales a estas
otras marcas, mientras que el 15% cambi a Brillo
Definir la matriz de transicin y el vector inicial de distribucin.
Solucin
La formulacin de este problema como una CM es como sigue.
Se considera como estado 1 al consumo de dentfrico Brillo y al estado 2
como el consumo de una marca de la competencia. Entonces,
Anlisis de Markov
Dr. Alejandro Domnguez, alexdfar@yahoo.com

11
p , probabilidad de que un consumidor de Brillo permanezca leal a
Brillo, es 0.88

12
p , la probabilidad de que un consumidor de brillo cambie a otra
marca, es de 0.12

21
p , probabilidad de que el consumidor de otra marca cambie a brillo,
es de 0.15

22
p , probabilidad de que un consumidor permanezca leal a la
competencia, es de 0.85
As, la matriz de transicin es:
|
|
.
|

\
|
=
85 . 0 15 . 0
12 . 0 88 . 0
P .
El vector inicial de distribucin de probabilidad es
( )
( ) 40 . 0 , 60 . 0
0
= X ;
donde los componentes
( )
60 . 0
0
1
= p y
( )
40 . 0
0
2
= p representan las proporciones de
personas inicialmente en los estados 1 y 2, respectivamente.
E
EEJ
JJE
EEM
MMP
PPL
LLO
OO:
:: P
PPR
RRO
OOG
GGR
RRA
AAM
MMA
AA D
DDE
EE E
EEN
NNT
TTR
RRE
EEN
NNA
AAM
MMI
IIE
EEN
NNT
TTO
OO
El programa de entrenamiento para los supervisores de produccin de cierta
compaa contiene dos fases, la primera seguida de la segunda:
La fase 1, que incluye 3 semanas de trabajo en el aula
La fase 2, consistente de un programa de aprendizaje de tres semanas
bajo la supervisin de los supervisores ya trabajando
De la experiencia pasada, la compaa espera que:
Anlisis de Markov
Dr. Alejandro Domnguez, alexdfar@yahoo.com
El 60% de aquellos que inician el entrenamiento en el aula logren pasar
a la fase de aprendizaje
El restante 40% que abandona completamente el programa de
entrenamiento
De aquellos que pasan a la fase de aprendizaje:
El 70% se gradan como supervisores
El 10% debern repetir la segunda fase
El 20% quedan completamente fuera del programa
Cuntos supervisores la compaa puede esperar de su programa a actual de
entrenamiento, si hay 45 personas en la fase de aula y 21 personas en la fase
de aprendizaje?
Solucin
La formulacin de este problema como una CM es como sigue.
Se considera un periodo de tres semanas y se definen los estados 1 a 4,
respectivamente, como las condiciones de:
Estado 1: quedar fuera
Estado 2: ser entrenado en el aula
Estado 3: ser aprendiz
Estado 4: ser supervisor.
Si se considera que las personas que quedan excluidas nunca vuelven a entrar
al programa de entrenamiento y que los supervisores quedan como
supervisores, entonces las probabilidades de transicin estn dadas por la
matriz
Anlisis de Markov
Dr. Alejandro Domnguez, alexdfar@yahoo.com
|
|
|
|
|
.
|

\
|
=
0 0 0 0
7 . 0 1 . 0 0 2 . 0
0 6 . 0 0 4 . 0
0 0 0 1
P .
Hay 45 + 21 = 66 actualmente en el programa de entrenamiento, de manera
que el vector de probabilidad inicial es:
( )
|
.
|

\
|
= 0 ,
66
21
,
66
45
, 0
0
X .
R
RRE
EEL
LLA
AAC
CCI
II
N
NN E
EEN
NNT
TTR
RRE
EE L
LLO
OOS
SS V
VVE
EEC
CCT
TTO
OOR
RRE
EES
SS D
DDE
EE
D
DDI
IIS
SST
TTR
RRI
IIB
BBU
UUC
CCI
II
N
NN I
IIN
NNI
IIC
CCI
IIA
AAL
LL Y
YY F
FFI
IIN
NNA
AAL
LL
Si al vector de distribucin inicial
( ) 0
X se le aplica la matriz de transicin P ,
entonces se obtiene la distribucin de probabilidad despus de una
observacin,
( ) 1
X ; es decir
( ) ( )
P X X
0 1
= .
Si ahora a
( ) 1
X se le aplica la matriz de transicin P , se obtiene la distribucin
de probabilidad despus de la segunda observacin,
( ) 2
X ; es decir,
( ) ( ) ( )
( )
( )
( )
( ) 2 0 0 0 1 2
P X PP X P P X P X X = = = = .
Continuando con este proceso, se obtiene el siguiente resultado para la n -
sima observacin:
Teorema
En una CM, la distribucin de probabilidad despus de n observaciones es
( ) ( ) n n
P X X
0
=
donde
n
P es la n -sima potencia de la matriz de transicin P y
( ) 0
X es la
distribucin inicial de probabilidad.
Anlisis de Markov
Dr. Alejandro Domnguez, alexdfar@yahoo.com
De este resultado, se puede deducir el siguiente
Teorema
Si P es la matriz de transicin de una CM, entonces los elementos
( ) n
ij
p de
n
P (
n -sima potencia de P ) proporcionan las probabilidades de pasar del estado
i
E al estado
j
E en n etapas, para toda i j .
De esta forma, se puede observar que la probabilidad
ij
p se identifica con la
proporcin de objetos en el estado i que realizan la transicin al estado j
durante un periodo.
E
EEJ
JJE
EEM
MMP
PPL
LLO
OO:
:: C
CCE
EEN
NNS
SSO
OO D
DDE
EE P
PPO
OOB
BBL
LLA
AAC
CCI
II
N
NN
En el ltimo censo se obtuvieron los siguientes datos con respecto a una
ciudad. Cada ao:
El 7% de los residentes de la ciudad se mudaron a los suburbios
El 1% de la gente de los suburbios se mud a la ciudad
Suponiendo que el nmero total de personas se mantiene constante,
determinar la distribucin de probabilidad de los residentes de los suburbios y
de la ciudad despus de 5 aos (es decir, despus de 5 observaciones) en el
caso de que la distribucin inicial de probabilidad es que el 85% residen en la
ciudad y el 15% residen en los suburbios.
Solucin
El porcentaje de mudanzas se puede considerar como la probabilidad de tales
cambios.
Anlisis de Markov
Dr. Alejandro Domnguez, alexdfar@yahoo.com
Este problema se puede expresar como una secuencia de experimentos en la
que cada uno mide la proporcin entre el nmero de personas que residen en
la ciudad y los que residen en los suburbios.
Segn las probabilidades dadas para la mudanza, suponer que
n
representa
esta proporcin despus de n aos.
La proporcin de
1 + n
despus de 1 + n aos depender nicamente del valor
de
n
y no de los valores que preceden a
n
.
As se tiene un experimento que se puede representar como una CM.
La distribucin inicial de probabilidades para este sistema es
( )
( ) 15 . 0 , 85 . 0
0
= X .
La matriz de transicin es
|
|
.
|

\
|
=
99 . 0 01 . 0
07 . 0 93 . 0
P .
Para encontrar la distribucin de probabilidad despus de 5 aos, es necesario
calcular
5
P . Este resultado es
( ) ( )
( ) ( ) |
|
.
|

\
|
=
|
|
.
|

\
|
=
5
22
5
21
5
12
5
11 5
9574 . 0 0426 . 0
2983 . 0 7017 . 0
p p
p p
P .
Aqu
( ) 5
ij
p (para 2 , 1 , = j i ) es la probabilidad de pasar del estado i al estado j
en 5 etapas consecutivas.
As, la distribucin de probabilidad despus de 5 aos es
( ) ( )
( ) 3972 . 0 , 6028 . 0
5 0 5
= = P X X .
Entonces, despus de 5 aos, el 60.28% de los residentes viven en la ciudad y
el 38.72% viven en los suburbios.