Métodos de simulación

Método de la transformada inversa

El método de la transformada inversa es útil para simular la realización de

una variable aleatoria siempre y cuando conozcamos de manera implı́cita su
función de densidad. Este método se basa en el siguiente resultado:

Sea X una variable aleatoria con función de distribución F (x), entonces

F (X) se distribuye uniforme en el intervalo (0, 1).

Con el resultado anterior resulta sencillo simular la realización de una

variable aleatoria, pues si consideramos que F (X) se distribuye U (0, 1), en-
tonces basta con simular una realización de la variable aleatoria U , y después
encontrar el valor de X que dio origen a este resultado de U , es decir, dado
un valor u podemos obtener una realización x como F −1 (u) = x.

El algoritmo del método de la transformada inversa es de la siguiente

manera:

1. Calcular la función de distribución explı́cita X.

2. Simular la realización de una variable aleatoria uniforme en el inter-

valo (0, 1).

3. Calcular la distribución inversa F −1 (x).

4. Resolver para x la igualdad F −1 (u) = x.

1
2

Variante del método de la transformada inversa

El método anterior tiene la desventaja de que es necesario conocer de man-
era explı́cita la función de distribución de la variable aleatoria X, lo cual
no siempre es posible; para ello mediante una modificación al método de
la transformada inversa es posible obtener la simulación de una realización
de la variable aleatoria X, siempre y cuando conozcamos su kernel. Este
método se basa del siguiente resultado:

Sea X una variable aleatoria con función de densidad f (x), y se k una

constante tal que f (x) = kg(x) (a g(.) se le conoce como densidad no nor-
malizada o kernel), entonces se tiene que:

Z x
F ∗ (x) = g(t)dt
−∞

F (x)
= ,
k
(1)
donde F ∗ (X) se distribuye uniforme en el intervalo (0, 1/k).

De la igualdad (1) resulta fácil simular la realización de la variable aleato-

ria X, siempre y cuando se conozca su kernel, pues para ello encontramos
un valor x∗ tal que:

Z x∗
F ∗ (x∗) = g(t)dt
−∞
F ∗ (x)
≈ lim
x∗→∞ k
1
= ,
k
(2)
de esta forma F ∗ (x) se distribuye asintóticamente uniforme en el in-
tervalo (0, k1 ). De aquı́ resulta sencillo obtener una realización de X de la
siguiente manera.
1. Calcular el valor k de la desigualdad descrita en (2).
2. Simular una realización u de la variable U (0, 1/k).
3. Para el valor obtenido u, obtener el valor x∗ que cumple con:
Z x∗
g(t)dt = u.
−∞
 3

Métodos Markov Chain Monte Carlo

Def: Una cadena de Markov {Xt }i=1 es una secuencia de variables aleatorias
dependientes X 0 , X 1 , . . ., X t tal que la distribución de probbilidad de
X t dadas las variables pasadas depende sólo de X t−1 . Esta probabilidad
condicional es llamada kernel de transición, es decir:

X t+1 |X 0 , X 1 , ..., X t ∼ K(X 0 , X 0 ).

Def: Existe una distribución estacionaria si existe una densidad f tal
que si X t ∼ f ⇒ X t+1 ∼ f .

Def: K es irreducible, si el kernel permite movimientos libres en todo el

espacio de estados.

Def: La cadena es recurrente si regresará a cualquier estado una in-

finidad de veces.
En el caso de cadenas recurrentes la distribución estacionaria también es
una distribución lı́mite; esta propiedad también es conocida como propiedad
ergódica.

El principio básico de los métodos MCMC es dada una función objetivo

f , construimos un Kernel de transición k con distribución estacionaria f , y
después generar una cadena de Markov {X t } usando este kernel, tal que la
distribución lı́mite de {X t } es f , y las integrales puedan ser aproximadas
mediante el teorema ergódico.

Algoritmo Metropolis-Hastings
Dada una función objetivo f , esta es asociada a una función auxiliar q(y|x),
la cual se fácil de simular. La función q puede ser arbitraria, el único requer-
imiento teórico es que la razón f (y)/q(y|x) sea conocida salvo una constante
de integración independiente de x, y que q(∗|x) tenga suficiente dispersión
para explorar completamente el soporte de f .

El algoritmo Metropolis-Hastings asociado con la función objetivo f , y

la densidad condicional q produce una cadena de Markov {X t } con el sigu-
iente kernel de transición.

Dado xt , simulamos Yt ∼ q(y|xt ), y actualizamos xt+1 de la siguiente

manera:
(
yt , con probabilidad p(xt , yt )
X t+1 = ,
xt , con probabilidad 1 − p(xt , yt )
4

donde p(x, y) = min{ ff (x)q(y|x)

(y)q(x|y)
}.

Muestreador de Gibbs
El muestreador de Gibbs es un un caso particular del método de simulación
Monte Carlo vı́a cadenas de Markov (MCMC).

El muestreador de Gibbs permite obtener una muestra de una distribución

conjunta a partir de las distribuciones marginales, por lo que no es necesario
conocer la distribución conjunta, basta con construir una cadena de Markov
adecuada con las distribuciones marginales.

De forma intuitiva, el muestreador de Gibbs se plantea de la siguiente

manera; supongamos que tenemos una distribución de la forma f (x, θ) donde
X es un vector aleatorio y θ algún vector de parámetors del cual se desearı́a
tener una muestra mediante una cadena de Markov, es decir, obtener una
muestra de f (θ|x) a partir de una sucesión de parámetros {θk }∞ k=1 , tal que
la probabilidad de transición de esta sucesión converja a la distribución de la
cual se desearı́a tener una muestra, esto es, limk−>∞ P (θk+1 |θk , x) = P (θ|x).

Ahora bien, para encontrar una cadena que nos permita obtener las
caractrı́sticas anteriores en Stuart Geman (1984) se demuestra que:
limk−>∞ P (θk |x) = P (θ|x), donde:
Yt
P (θk |x) = P (θj |x, ..., θj−1 , θj+1 , ..., θn ),
j=1
y θj dado x, ..., θj−1 , θj+1 , ..., θn es condicionalmente independiente para toda
j, para alguna medida de probabilidad arbitraria P (.). Entonces si θjk se dis-
tribuye f (θjk |x, ..., θj−1 , θj+1 , ..., θn ), de aquı́ se puede obtener facilmente una
muestra de θjk para toda j, si su densidad tiene una forma cerrada, y ası́ se
construirı́a una cadena de Markov con las caracterı́sticas deseadas, {θk }∞ k=1 ,
con probabilidad de transición P (θk |x).

Entonces el Muestreador de Gibbs se implementa de la siguiente forma:

1. Dar un conjunto de valores iniciales θ0 , no importa cuáles valores se

den, la propiedad de estacionariedad, asegurará la convergencia al es-
tado estacionario. El vector θ puede ser particionado en d subconjun-
tos excluyentes, tal que d sea menor o igual que n, con la finalidad
de simplificar los cálculos. Convenientemente se pueden seleccionar
los subconjuntos de modo que los que tienen alta correlación queden
juntos.
 5

2. Para cada θj obtener su distribución condicionada

f (θj |x, ..., θ0,j−1 , θ0,j+1 , ..., θ0,n )

, y realizar una simulación de ésta (a esta distribución se le conoce

como distribución condicional completa). El valor de θj obtenido reem-
plazará a los valores iniciales. En caso de que no se pueda tener la
distribución de θj |x, θ − θj se realiza un procedimiento de aceptación-
rechazo para obtener una realización de θj .

3. Una vez obtenidos todos los valores de θj |x, θ − θj se reemplazan por

los valores iniciales y se repite el procedimiento hasta que la cadena se
estabilice.