Anda di halaman 1dari 23

Cadenas de Markov

Daniel Daro Fula Argello


Angie Paola Hugueth Vasquez

Universidad Nacional de Colombia

31 de mayo de 2017
Contenido

Qu es una cadena de Markov?


Proceso estocstico
Cadena de Markov
Matriz de transicin

Aplicaciones

Bibliografa
Proceso estocstico

Definicin
Un proceso estocstico real es una coleccin de variables aleato-
rias {Xt : t T } definidas en un espacio de probabilidad comn
(, F, P ) con valores en R. T es llamado el conjunto de ndices del
proceso o espacio paramtrico, el cual usualmente es un subcon-
junto de R. El conjunto de valores que puede tomar la variable Xt
se llama el espacio de estados del proceso y se denota por S.
Ejemplos

Figura 1: El clima de una ciudad cualquiera es un ejemplo de proceso


estocstico.
Ejemplos

Figura 2: El cambio del precio del dolar es un proceso estocstico.


Procesos de Markov

Definicin
Sea {Xt : t 0} un proceso estocstico definido sobre un espacio
de probabilidad (, F, P ) y con espacio de estados (R, B). Decimos
que {Xt : t 0} es un proceso de Markov si para cualesquiera
0 < t1 < t2 < < tn y para cualquier B B :
 
P Xtn B |Xt1 , , Xtn1 = P Xtn B |Xtn1
Cadena de Markov

 Una cadena de Markov es un proceso de Markov cuyo


espacio de estados es finito.
 Usualmente T, el conjunto de ndices del proceso, se refiere al
tiempo.
 Hay dos tipos de cadenas de Markov: Cadenas de Markov de
tiempo Discreto y Cadenas de Markov de tiempo continuo.
Cadenas de Markov de tiempo discreto

Definicin
Una sucesin de variables aleatorias (Xn )nN con espacio de esta-
dos discreto se llama una cadena de Markov de tiempo discreto si
satisface las condiciones siguientes:
 
P Xtn+1 = j |Xn = i , Xn1 = in1 , , X0 = i0 = P Xtn+1 = j |Xtn = i

para todo n N y para todo i0 , i1 , , in1 , i , j S con

P (X0 = i0 , ..., Xn = in ) > 0


Ejemplo

Tres chicos A,B,C estn jugando a lanzarse el baln entre ellos. A


siempre lanza el baln a B, B siempre se lo lanza a C y C lo lanza
a A y a B con la misma probabilidad. Sea Xn := El chico que
tiene la bola en el n-simo lanzamiento. El espacio de estados
del proceso es S = {A, B , C } y es claro que {Xn ; n 0} es una
cadena de Markov, puesto que la persona que arroja el baln no es
influenciada por quien haya tenido previamente el baln.
 Si Xn+1 = j decimos que el proceso est en el estado j.
 Los nmeros P (Xn+1 = j |Xn = i ) son llamados las
probabilidades de transicin. Adems supondremos que
estas probabilidades no cambian con el tiempo, es decir que
P (Xn+1 = j |Xn = i ) es independiente del n. De esta forma
podemos escribir Pij = P (Xn+1 = j |Xn = i ).
Ejemplo

Un equipo de investigacin de mercado realiza un estudio con-


trolado para determinar qu dentrficos prefieren las personas. La
muestra consiste de 200 personas, y a cada una se le pide pro-
bar dos marcas de dentrfico durante un periodo de varios meses.
Con base en las respuestas de la encuesta, el equipo de investiga-
cin compila las siguientes estadsticas acerca de las preferencias
de dentrfico. De quienes usan la marca A en cualquier mes, 70 %
siguen usndola el mes siguiente, mientras que 30 % cambia a la
marca B; de quienes usan la marca B en cualquier mes, 80 % si-
guen usndolo el mes siguiente, mientras que 20 % cambian a la
marca A.
Figura 3: Representacin de la situacin anterior por medio de un grafo.
Ejemplo

Supngase ahora que cuando comienza el estudio, 120 personas


usan la marca A y 80 la marca B. Cuntas personas usarn cada
marca 1 mes ms tarde?Y 2 meses ms tarde?
Solucin

El nmero de usuarios de la marca A despus de 1 mes ser de


70 % de los que inicialmente usan la marca A ms 20 % de los
usuarios de la marca B que cambian a A, as

0,70(120) + 0,20(80) = 100

De igual modo, para el nmero de usuarios de la marca B despus


de 1 mes ser una combinacin de quienes cambian a la marca B
y quienes siguen usndola:

0,30(120) + 0,80(80) = 100


Solucin

Estas ecuaciones pueden organizarse en una ecuacin matricial


    
0,70 0,20 120 100
=
0,30 0,80 80 100
   
120 100
Y podemos llamar P a la matriz, x0 = y x1 = .
80 100
As tenemos que x1 = Px0 .
Solucin

Podemos igualmente hallar la cantidad de usuarios de cada marca


al segundo mes como hicimos anteriormente obteniendo
    
0,70 0,20 100 90
=
0,30 0,80 100 110
   
100 90
Y podemos llamar P a la matriz, x1 = y x2 = .
100 110
As tenemos que x2 = Px1 .
Matriz de transicin

A la matriz P del ejemplo anterior se le llama matriz de transicin


(o matriz estocstica) y a los vectores xk se les llama vectores de
estado. Adems tenemos que estas satisfacen la relacin

xk +1 = Pxk para k = 0, 1, 2, ...

A partir de esto podemos calcular de manera iterativa cualquier


vector de estado a partir del vector de estado inicial y de la matriz
P. Adems podemos mostrar que

xk = P k x0
Ejemplo

Qu suceder con la distribucin de usuarios de dentrfico a largo


plazo?
 
0,60
En nuestro ejemplo, ahora suponiendo que x0 = , obtene-
0,40
mos haciendo
  los clculos
 que:
    
0,50 0,45 0,425 0,412
x1 = , x2 = , x3 = ,x = , x5 =
0,50 0,550 0,575 4 0,588
         
0,406 0,403 0,402 0,401 0,4
, x6 = ,x = ,x = ,x = ,
0,594 0,597 7 0,598 8 0,599 9 0,6
 
0,40
x10 =
0,60
Parece ser que a la larga, el 40 % de los usuairos de dentrfico en
el estudio usarn la marca A y el 60 % usarn la marca B.
Un vector de estado x con la propiedad de que Px = x se le llama
vector de estado estacionario.
Propiedades de las matrices de transicin

 La matriz de transicin de una cadenaa Markov siempre tiene


como valor propio al valor 1.
 El valor absoluto de los valores propios de una matriz de
transicin es siempre menor que 1.
 Si la matriz de transicin es regular y un valor propio
diferente de 1, entonces < 1.
 Si P es una matriz de transicin regular, entonces cuando
k , entonces P k tiende a una matriz L cuyas columnas
son idnticas, cada una igual al mismo vector x. Este vector x
es un vector de probabilidad de estado estacionario para P.
Aplicaciones
Las cadenas de Markov pueden aplicarse en una gran variedad de
campos, tales como la fsica, la qumica, la medicina, la msica, la
teora de juegos, etc. Algunas de ellas son:
 Anlisis de patrones en poemas y otros textos literarios (Por
el mismo Markov).
 Los modelos ocultos de Markov son las bases para los
sistemas ms modernos de reconocimiento automatico de
voz.
 Forma parte fundamental en el algoritmo de compresin de
archivos LZMA (Lempel-Ziv-Markov Chain Algorithm).
 Son las bases para los tratamientos analticos de las colas.
 EL algoritmo de busqueda de Google, PageRank, se defina
por una cadena de Markov.
 En estadstica sirven para generar sucesiones de nmeros
aleatorios usando el mtodo Cadena de Markov-Monte Carlo
(Tambin muy til para calcular integrales multiples
numricamente).
Bibliografa

1. Liliana Blanco Castaneda, Viswanathan Arunachalam,


Selvamuthu Dharmaraja: Introduction to probability and
stochastic processes with applications, 2012 John Wiley &
Sons, Inc.
2. Hossein Pishro-Nik: Introduction to Probability, Statistics, and
Random Processes, 2014 Kappa Research, LLC.
3. David Poole, lgebra lineal, Una introduccin moderna,
Tercera Edicin, 2011 Cengage Learning Editores, S.A. de
C.V.