Un
proceso estocstico (PE) es una coleccin o familia de
variables aleatorias , ordenadas segn el subndice t , que en
general se suele identificar con el tiempo.
Dependiendo
t continuo
X
discreta
X
continua
en la que cada variable , i = 0, ..., n, tiene una distribucin de probabilidades que, en general, es distinta de las otras variables, aunque podran
tener caractersticas comunes.
El
Cadenas de Markov
Propiedad
de Markov: Toda la historia pasada del proceso se puede
resumir en la posicin actual que ocupa el proceso.
Ejemplo 1
Considere un equipo de computacin el cual ser revisado al inicio de cada da
para verificar si est operativo o si est daado.
El diagrama de estados de la siguiente figura muestra los dos posibles estados del
proceso y las relaciones que se deben cumplir por pasar de un estado al otro.
As, con probabilidad PO-D se pasa del estado operativo al estado daado; sta es
una probabilidad de transicin o de cambio de estado.
En el caso de que el valor de la probabilidad anterior no cambie a travs del
tiempo (para todas las probabilidades involucradas en la figura) se dice que la
Cadena es estacionaria.
Ejemplo
Si se define una variable aleatoria como el estado del ordenador al inicio del da
n, se podran asignar los valores 0 y 1 a los posibles estados daado u
operativo, respectivamente.
Ejemplo 1
operativo?
Se pide la probabilidad de ocupacin de estado que se denota por:
forma siguiente:
Estados
(1) Buena, (2) regular y (3) mala.
Al
igual
que para el instante inicial, se puede definir un vector de ocupacin
con
En general,
Ejemplo
Para
Ejemplo
Despus
=
=
Despus de 16 temporadas, la probabilidad absoluta es:
=
=
Prctica
b.
c.
d.
Observaciones
Ejemplo 1
Ejemplo 2
Considere
Ejemplo 3
Podemos
Ejemplo
Determine la distribucin de probabilidad de estado estable del
problema del jardinero (con fertilizante).
La solucin es y
A la larga la condicin de la tierra ser buena 10% del tiempo, regular 52% del
tiempo, y mala 37% del tiempo.
As, y
Luego, y
Considere
El incremento diferencial del valor anual del rendimiento es $420 $250 = $170.
Se recomienda el uso del fertilizante.
Para determinar el tiempo medio del primer paso de todos los estados en
una matriz de n transiciones P, se utiliza la siguiente frmula basada en una
matriz:
donde
Ejemplo
Ecuaciones de Chapman-Kolmogorov
Sea
Diagrama de transicin de
una cadena de Markov de tiempo discreto (CMTD)
Ejemplo
Se procesa un producto en secuencia en dos mquinas, I y II. La
inspeccin se realiza despus de que una unidad del producto se
completa en cualquiera de las mquinas.
Hay 5% de probabilidades de que una unidad sea desechada antes de
inspeccio-narla.
Despus de la inspeccin, hay 3% de probabilidades de que la unidad sea
desechada, y 7% de probabilidades de ser devuelta a la misma mquina
para trabajarla de nuevo. De lo contrario, una unidad que pasa la
inspeccin en ambas mquinas es buena.
a. Para una pieza que se inicia en la mquina I, determine el promedio de
visitas a cada estado.
b. Si un lote de 1000 unidades se inicia en la mquina I, determine el
promedio de unidades buenas completadas.
Matriz de transicin
Los estados J y G
son estados
absorbentes.
c.
Ejemplo
a.
b.
d.