Ejemplo de un proceso para convertirlo en cadena de Markov.

Una compaa de seguros cobra a sus clientes de acuerdo a su historia de

accidentes. Un cliente que no ha tenido ningn accidente durante los dos
ltimos aos debe pagar $ 1,200.00 de prima anual. Quien haya tenido un
accidente en cada uno de los dos aos anteriores, pagar $4,800.00, mientras
que quien haya tenido un solo accidente dentro de los dos ltimos aos deber
pagar $3,600.00 de prima anual. La probabilidad de que un cliente tenga un
accidente cuando no ha tenido ningn accidente durante el ltimo ao es de
3%, mientras que la probabilidad de que un cliente quien ya tuvo un accidente
durante el ltimo ao pueda accidentarse el ao en curso es del 10%.
Para evaluar el cobro a los clientes la compaa de seguros debe observar el
espacio de estado St={accidentado, no accidentado} en el tiempo T={ao1,
ao2}.
Sin embargo, no es un proceso de Markov, por que la probabilidad de
accidentarse no solo depende de ultimo Xt, si no tambin del estado Xt-1.
Para tomar en cuenta esta condicin y poder convertir este proceso a una
cadena de Markov, tomaremos los estados considerando los ltimos dos aos,
de tal forma que ahora los estados sean cuatro:
X1=No ha tenido accidentes los ltimos dos aos [N,N]
X2=Ha tenido accidente el primero de los dos ltimos aos [S,N]
X3=Ha tenido un accidente el ultimo ao[N,S]
X4=Ha tenido accidente en cada uno de los ltimos aos [S,S]
Con lo cual ya estamos involucrando el historial de accidentes y solo
dependemos del estado actual para calcular la probabilidad del estado futuro.
La probabilidad de que un cliente pase del estado X1=[N,N] al estado X2=[S,N]
no es posible, pero es del 3% la probabilidad de que pase al estado X3=[N,S],
tampoco puede pasar al estado X4=[S,S]
La probabilidad de que un cliente pase del estado X2=[S,N] al estado X3=[N,S]
tiene el 3% de probabilidad, por lo tanto, la probabilidad de que pase al estado
X1=[N,N] es del 97%. No se puede pasar del estado X2=[S,N] al estado
X4=[S,S]

La probabilidad de que un cliente pase del estado X3=[N,S] al estado X4=[S,S]

tiene una probabilidad del 10%lo que produce una probabilidad del 90% de
pasar al estado X2=[S,N]. No existe forma de que pase al estado X1=[N,N]
Finalmente la probabilidad de que un cliente pase del estado X4=[S,S] al
estado X2=[S,N] es del 90%, mantenerse en la misma condicin tiene una
probabilidad del 10%.
Luego, la grfica queda:

Y nuestra matriz de transicin:

https://jrvargas.files.wordpress.com/2009/01/problemas-resueltos-cadenas-demarkov.pdf
http://www.santafe-conicet.gov.ar/~aguilera/apuntes/markov.pdf