PROCESOS DE MARKOV

Electrónica e Instrumentación, Quinto, Universidad de las Fuerzas Armadas ESPE-

Extensión Latacunga, Márquez de Maenza S/N Latacunga, Ecuador.
Saravia Vasconez Jorge Luis
georgesaravia@hotmail.es

RESUMEN:
En el presente artículo se describe un subconjunto de procesos estocásticos que tienen la propiedad
de Markov denominadas también cadenas de Markov, el cual consiste en una secuencia de ensayos
repetidos de un experimento, también es es una sucesión de ensayos similares u observaciones en la
cual cada ensayo tiene el mismo número finito de resultados posibles y en donde la probabilidad de
cada resultado para un ensayo dado depende sólo del resultado del ensayo inmediatamente precedente
y no de cualquier resultado previo. A continuación, se dará a conocer las principales propiedades y
características de este tema ue es muy primordial para el estudio y el análisis de los procesos
estocásticos.

PALABRAS CAVES: Proceso de Markov, matriz de transición, cadena de eventos.

I. INTRODUCCIÓN caso, el resultado en cualquier etapa es

independiente de todos los resultados
Un proceso o sucesión de eventos que se
previos; esta condición de independencia
desarrolla en el tiempo en el cual el
es parte de la definición de los ensayos
resultado en cualquier etapa contiene
de Bernoulli. Sin embargo, en la mayoría
algún elemento que depende del azar se
de los procesos estocásticos, cada
denomina proceso aleatorio o proceso
resultado depende de lo que sucedió en
estocástico. Por ejemplo, la sucesión
etapas anteriores del proceso. Por
podría ser las condiciones del tiempo en
ejemplo, el tiempo en un día
Paraná en una serie de días consecutivos:
determinado no es aleatorio por
el tiempo cambia día a día de una manera
completo, sino que es afectado en cierto
que en apariencia es algo aleatoria. O
grado por el tiempo de días previos. El
bien, la sucesión podría consistir en los
precio de una acción al cierre de
precios de las acciones que cotizan en la
cualquier día depende en cierta medida
bolsa en donde otra vez interviene cierto
del comportamiento de la bolsa en días
grado de aleatoriedad.
previos.
Un ejemplo simple de un proceso
El caso más simple de un proceso
estocástico es una sucesión de ensayos
estocástico en que los resultados
de Bernoulli, por ejemplo, una sucesión
dependen de otros, ocurre cuando el
de lanzamientos de una moneda. En este
resultado en cada etapa sólo depende del
resultado de la etapa anterior y no de
cualquiera de los resultados previos. Tal
proceso se denomina proceso de
Markov o cadena de Markov; una cadena
de eventos, cada evento ligado al
precedente.
Estas cadenas reciben su nombre del
matemático ruso Andrei Andreevitch
Markov.
(1856-1922). Como mencionamos antes,
estas cadenas tienen memoria, recuerdan
el último evento y eso condiciona las
posibilidades de los eventos futuros. Esto
justamente las distingue de una serie de
eventos independientes como el hecho
de tirar una moneda.
Este tipo de proceso presenta una forma
de dependencia simple, pero muy útil en
muchos modelos, entre las variables
aleatorias que forman un proceso
estocástico. Se utilizan, por ejemplo,
para analizar patrones de compra de
deudores morosos, para necesidades de
personal, para analizar el reemplazo de
un equipo, entre otros.
II. MARCO TEÓRICO
2.1 DEFINICIÓN
Son útiles para estudiar la evolución de
sistemas a lo largo de ensayos repetidos,
que a menudo, son períodos sucesivos
donde el estado del sistema, en cualquier
período particular, no puede
determinarse con certeza son llamados
también markosiano. Es útil para
describir la probabilidad de que una
máquina siga funcionando o se
estropeara en el siguiente periodo y
también de que un consumidor que
compra la marca A en un periodo compre
la marca B en el siguiente período.
ANALISIS DE PARTICIPACIÓN EN
EL MERCADO.
Suponga que estamos interesados en
analizar la participación en el mercado y
lealtad del cliente de los dos únicos
supermercados en un poblado pequeño.
Nos enfocamos en la secuencia de los
viajes de compras de un cliente y
suponemos que hace un viaje de compras
cada semana, a uno u otro almacén, pero
no a ambos
ENSAYOS DE PROCESOS:
Eventos que descadenan las transiciones
del sistema de un estado a otro, es decir
se refiere a los periodos semanales o
viajes de compras.
ESTADO DEL SISTEMA:
Condición del sistema de cualquier
ensayo o periodo particular, es decir
tienda particular seleccionada en una
semana.
PROBABILIDADES DE Matriz de transición del proceso
TRANSICION DE UN ESTADO A Markov
OTRO: Las probabilidades 𝑝𝑖𝑗 forman la
Primero para determinar las siguiente matriz cuadrada n:
probabilidades de los diversos estados
que ocurren en ensayos sucesivos, 𝑝11 ⋯ 𝑝1𝑛
𝑀=[ ⋮ ⋱ ⋮ ]
necesitamos información sobre la 𝑝𝑛1 ⋯ 𝑝𝑛𝑛
probabilidad de que un cliente
permanezca con la misma tienda o Esta matriz M se denomina la matriz de
cambie a la tienda competidora transicion del proceso Markov.
conforme continúa el proceso de una A cada estado 𝑎𝑖 corresponde la i-esima
semana a otra y segundo debido a que las
fila [𝑝𝑖1 , 𝑝𝑖2 , … , 𝑝𝑖𝑛 ] de la matriz de
probabilidades indican que un cliente
transicion M.
puede moverse o hacer una transición de
Esta fila representa las probabilidades de
un estado en un periodo dado, a otro
todos los resultados posibles del
estado en el siguiente período, estas
siguiente ensayo, por lo tanto este es un
probabilidades se llaman probabilidades
vector de probabilidad
de transición.
Un proceso de Markov se define también
DIAGRAMA DE TRANSICIÓN
como un proceso esteocástico con la
El diagrama de transición de estado de
propiedad de que para cualquier
una cadena de Markov es un grafico
conjunto sucesivo de 𝑛 de tiempos 𝑡1 <
dirigido cuyos nodos son los estados de
⋯ < 𝑡𝑛 se tiene. la cadena de Markov y cuyas líneas de
relación se etiquetan con las
𝑃𝑟 [𝑎 ≤ 𝑋(𝑡) ≤ 𝑏]𝑋(𝑡1 ) = 𝑋1 , 𝑋(𝑡2) probabilidades de transición de sus
= 𝑋2 , … . , 𝑋(𝑡𝑛) estados. Si esta probabilidad es nula, no
= 𝑃𝑟 [𝑎 ≤ 𝑋(𝑡) se usa líneas.
≤ 𝑏]𝑋(𝑡1 ) = 𝑋(𝑡)

Si el conjunto de posibles estados del

proceso es numerable, el proceso recibe
el nombre de cadena de Markov

Figura 1.- Diagrama De Transición

 𝑎𝑖 , entonces se dice que el
MATRIZ DE TRANSICIÓN sistema esta en estado 𝑎𝑖 en el
Se utilizan para describir la manera en momento ‘n’.
que el sistema cambia de un período al  El resultado de cualquier ensayo
siguiente. Se representan por medio de depende, como maximo, del
matrices de transición. resultado del ensayo anterior y no
El análisis en los casos que vamos a de cualquier ensayo anterior.
estudiar se restringe a situaciones
consistentes en una cantidad finita de 2.2 EJERCICIOS
estados en los que permanecen
El departamento de estudios de mercado
constantes las probabilidades de
de una fábrica estima que el 20% dela
transición a lo largo del tiempo y la
gente que compra un producto un mes no
probabilidad de estar en un estado
lo comprará el mes siguiente demás el
particular en cualquier período,
30% de quienes no lo compren un mes lo
dependiendo únicamente del estado en el
adquirirá al mes siguiente En una
período inmediatamente anterior
población de 1000 individuos 100
compraron el producto el primer mes
Cuántos lo comprarán al mes próximo Y
dentro de dos meses
Solución:
Para resolver este tipo de problemas lo
2.2 PROPIEDADES
primero es hacer un esquema la vista del
Para ciertos tipos de procesos
esquema podemos pasar a construir la
estocásticos es simple formular la
matriz de probabilidades de transición
condición que especifica que la
Del 100% de clientes que compra en
propiedad de Márkov es válida mientras
un mes un producto el 20% no
que para otros se requiere una
compra el m es siguiente o sea el 80%
matemática más sofisticada como se
lo sigue comprando el siguiente mes
describe en el artículo propiedad de
Markov.
 Cada resultado pertenece a un
conjunto finito llamado ‘espacio
de estado’ del sistema; si eel
resultado en el enesimo ensayo es
 estados discreto
(infinito o numerable).
Usualmente una cadena de
Márkov sería definida para un
conjunto discreto de tiempos.

 Además, un proceso de Markov

Figura 2.- Presentación De Probabilidades
Con esa información contruimos una
matriz 2𝑥2 donde se representa las
situaciones
tiene la propiedad de que la
probabilidad de comportamiento
futuro está totalmente definida si
se conoce el estado actual.
Recomendaciones

𝑃(0) = (
0.8 0.2
)  Conocer las propiedades de los
0.3 0.7
Procesos de Markov a fin de
analizar y resolver con mayor
0.8 0.2
(𝐶, 𝑁) = (100 900) ( ) facilidad los ejercicios
0.3 0.7
= (350 650) planteados.
El primer mes comprara 𝑐 = 350 y y
no comprar 𝑁 = 350 IV. REFERENCIAS
0.8 0.2 0.8 0.2 [1]. http://www.isa.cie.uva.es/estudios/d
𝑃(2) = ( )( ) octorado/GA/Transpa_fab_avanzad
0.3 0.7 0.3 0.7
a_JGG.pdf
0.7 0.3
= ( ) [2]. http://metodosunoydos.galeon.com/
0.45 0.55
enlaces2221689.html
(𝐶, 𝑁) = (100 900) (0.8 0.2) [3]. http://www.ugr.es/~jtorres/leccion3
0.3 0.7
.pdf
= (475 525)
El segundo mes comprara 𝑐 = 475 y
no comprar 𝑁 = 525 .

III. DISCUSIÓN

Conclusiones
 En conclusión la cadena de
Márkov se usa para un proceso
que tiene un espacio de