UNIVERSIDAD NACIONAL DEL SANTA

Escuela Profesional de Ingeniería de Sistemas e

Informática

Curso
Investigación de Operaciones II
CADENAS DE MARKOV
Docente Facilitador: Ing. Juan Pablo Sánchez Chávez

EN:
INTRODUCCIÓN, CADENAS DE MARKOV, PROBABILIDADES DE
TRANSICIÓN, DIAGRAMA DE ESTADOS
En el cálculo de las probabilidades de transición, como ejemplo vimos la representación de
un sistema de una copiadora de oficina, poco segura. Si está funcionando un día, existe un
75 % de posibilidades de que al día siguiente funcione y un 25% de posibilidades de que no
funcione. Pero si no está funcionando, hay 75% de posibilidades de que tampoco funcione al
día siguiente y sólo un 25 % de que si lo haga, en este ejemplo se pronostico el estado del
sistema después de 1, 2, 3 y 4 períodos, que se muestra en la tabla N° 02 Asimismo, se hizo
un ejemplo de un sistema con tres estados, y al calcular las probabilidades de transición de
los cuatro primeros ciclos los resultados se muestran en la tabla N° 03.
Con el análisis de esta información, podemos iniciar el cálculo de las probabilidades de
estado estable de alineamiento.

CÁLCULO DE LAS PROBABILIDADES DE ESTADO ESTABLE

Consideremos el resultado de la tabla Nº 02 para P(S1) y de la tabla Nº 03 para P(S2)

Se sabe que, las cadenas de Markov poseen una propiedad notable en cuanto a que tienden a
aproximarse a lo que se llama estado estable. Considérense los dos ejemplos anteriores de
análisis de transición. En el sistema de dos estados, P(S1) resultó ser 0.75 al principio y
después 0.625, 0.567, 0.531 y 0.516. Estas probabilidades se mueven hacia un límite. En
forma análoga, en el sistema de tres estados puede observarse que P(S2), por ejemplo,
adquiere los valores 0.3, 0.45, 0.53, 0.565 y 0.58. Después de unos cuantos ciclos nada más,
las probabilidades de estado comienzan a asentarse o estabilizarse. Cuando una cadena de
Markov ha llegado lo suficientemente lejos como para estar cerca de estos límites, se dice
que ha alcanzado un estado estable. Además, estos límites son los mismos,
independientemente del punto de partida del sistema.

Es importante hacer notar que la existencia de una condición de estado estable es una
propiedad adicional de las cadenas de Markov. De ninguna manera afecta las
probabilidades de transición o la dependencia de cada estado en el estado anterior. Los
límites de estado estable se refieren sólo al porcentaje de tiempo a largo plazo que el sistema
se encontrará en cada estado particular.
En la mayoría de las aplicaciones el estado estable tiene una gran importancia, esto puede
apreciarse más adelante. En esta sección se describen dos métodos para determinar estos
límites o sea para el cálculo de las probabilidades de estado alineamiento y se presenta una
aplicación a comercialización.

Método de la suma de flujos

Este método está basado en el concepto de que todo lo que entra debe salir. El diagrama de
estados se usa para presentar los flujos de entrada y salida. En la figura 6 se muestra de
nuevo el ejemplo anterior de dos estados. Para cada estado puede escribirse una ecuación tal
que para el estado k se cumpla:

p ik P ( S )   pik P ( S k )
toda _ i  k
i
toda _ i  k

Esta ecuación se ve peor de lo que en realidad es. Observando el estado S, en la figura 6,

póngase atención sólo en las flechas entre los estados. Para los flujos que llegan, se tiene

0.75

S1

Figura 6
0.25 0.25 Un ejemplo de dos estados

S2

0.75

Para los flujos que salen, se suman las probabilidades de transición a todos los otros estados.
En este caso sólo hay una, 0.25. Así, la ecuación para el estado S1 es:
- Todo lo que entra a S1  0.25 * P(S2) y esto es igual a todo lo que sale de S1 
0.25*P(S1), expresado así:

0.25 P(S2) = 0.25 P(S1) ---------- Ecuación 01

- Para el estado S2
De igual manera, el flujo hacia adentro para el estado S2 es 0.25 P(S1) y esto es igual al el
flujo hacia fuera, que es 0.25P(S2). Por lo tanto, esto da para S2

0.25 P(S1) = 0.25P(S2) ---------- Ecuación 02

El hecho de que estas dos ecuaciones sean iguales es una coincidencia. Pero no son
independientes; así, se necesita una relación más:

P(Sl) + P(S2) = 1 ---------- Ecuación 03

Esto proporciona tres ecuaciones con dos incógnitas que pueden resolverse por eliminación.
El resultado es

P(S1) = P(S2) = 0.5

Vamos como sale estos valores
P(S1) = 1 – P(S2) El valor de P(S1) lo podemos reemplazar en la ecuación 03

0.25 P(S2) = 0.25 P(S1) ---------- Ecuación 01

0.25 P(S2) = 0.25 * (1 - P(S2)) ---------- Ecuación 01

0.25 P(S2) = 0.25 – 0.25 P(S2) ---------- Ecuación 01

0.25 P(S2) + 0.25 P(S2) = 0.25 ---------- Ecuación 01

0.5 P(S2) = 0.25 ---------- Ecuación 01

 P(S2) = 0.25 / 0.5 ---------- Ecuación 01

P(S2) = 0.5

Ahora reemplazando P(S2) = 0.5 en

P(Sl) + P(S2) = 1 ---------- Ecuación 03
P(Sl) + 0.5 = 1 ---------- Ecuación 03
P(Sl) = 0.5

El procedimiento no cambia en los sistemas con más estados. Considérese el ejemplo de tres
estados que se dio antes y que se muestra en la figura 7.

Figura Nº 07
Ejemplo con tres estados

Para el estado S1 se tiene

0.1P(S2) + 0.1P(S3) = (0.3 + 0.3)P(S1) ---------- Ecuación 01

Para el estado S2, se tiene

 0.3P(S1) + 0.3P(S3) = (0.1 + 0.1)P(S2) ---------- Ecuación 02

y para el estado S3 se tiene

0.3P(S1) + 0.1P(S2) = (0.1 + 0.3)P(S3) ---------- Ecuación 03

Agregamos la ecuación general P(S1) + P(S2) + (S3) = 1 ---------- Ecuación 04

Ordenando las ecuaciones, para poner todo junto se tienen las cuatro ecuaciones:

-0.6 P(S1) + 0.1 P(S2) + 0.1 P(S3) = 0 ---------- Ecuación 1

0.3P(S1) - 0.2P(S2) + 0.3 P(S3) = 0 ---------- Ecuación 02
0.3 P(S1) + 0.1P(S2) - 0.4 P(S3) = 0 ---------- Ecuación 03
P(S1) + P(S2) + P(S3) = 1 ---------- Ecuación 04

Cuando se resuelve un conjunto de ecuaciones como de este tipo, la última ecuación no puede
eliminarse. Si se usan sólo las primeras tres, al final se tendrá una identidad ya que no son
independientes. Una manera de resolverlas es por eliminación. Se despeja P(S1) en la primera
ecuación y después se sustituye el resultado en las últimas dos, es decir en las ecuaciones 3 y 4:

P(S1) = 1/6P(S2) + 1/6P(S3)

0.3[1/6P(S2) + 1/6P(S3)] + 0.1P(S2)-0.4P(S3) = 0 --- Ecuación 3

[1/6P(S2) + 1/6P(S3)] + P(S2)+ P(S3) = 1 --- Ecuación 4

Sumando términos semejantes, resultan dos ecuaciones con dos incógnitas:

0.15P(S2) - 0.35P(S3) = 0 --- resultado de ecuación 3

1.17P(S2) + 1.17P(S3) = 1 --- resultado de ecuación 4

Después puede eliminarse P(S3) multiplicando la primera ecuación por 1.17/0.35 y sumando
las dos ecuaciones:
 (1.17 / 0.35) (0.15)P(S2) - 1.17P(S3) = 0 --- ecuación 3

1.17P(S2) + 1.17P(S3) = 1 --- ecuación 4

1.67P(S2) = 1

P(S2) = 0.5988 = 0.6

Con este resultado se encuentra P(S3):

1.17(0.6) + 1.17P(S3) = 1 --- en ecuación 4

P(S3) = 0.2547 = 0.26

Por último, se sustituyen los valores en la ecuación de P(S1):

Reemplazando los valores encontrados para P(S2) y para P(S3) en

P(S1) = 1/6P(S2) + 1/6P(S3)

P(S1) = 1/6 (0.6) + 1/6 (0.26) = 0.1433

P(S1) = 0.14

Verificando los resultados tenemos

P(S1) + P(S2) + P(S3) = 1 ---------- Ecuación 04

0.14 + 0.6 + 0.26 = 1

Según los resultados obtenidos en el análisis de transición, puede observarse que el sistema
estaba cerca de estos límites después de sólo cinco ciclos. Lo que se observa en la tabla N° 3

Resumiendo:

P(S1) = 0.14 P(S2) = 0.6 P(S3) = 0.26