Bayesian

Statistics dan
MCMC
Septiadi Padmadisastra
MCMC
Inferensi Bayes

Bayesian Statistics dan MCMC

Monte carlo
Integration
Definisi

Markov
Chains

Septiadi Padmadisastra

Algoritma
MCMC

November 15, 2010

Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Kenapa MCMC
Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra
MCMC
Inferensi Bayes

Monte carlo
Integration
Definisi

Markov
Chains
Algoritma
MCMC

Table: Unsur Bayesian Statistics

Data
Parameter
Likelihood

:
:
:

Y (realisasi y )
= (1 , 2 , . . . , p )
L(y |)

Catatan :
merupakan sebuah vektor acak, bukan konstan seperti dalam
frequentist!!!, dengan distribusi peluang
Prior : 0 ()
Posterior :
L(y |)0 ()
R
L(y |)0 ()
(|y ) L(y |) 0 ()
(|y ) =

Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Kenapa MCMC
Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra
MCMC
Inferensi Bayes

Monte carlo
Integration
Definisi

Markov
Chains
Algoritma
MCMC

Inferensi tentang berdasarkan dist. posterior (|y )

Posterior Mean = E (|y )
Credible interval {a(y), b(y)} dengan
P{a(y ) < < b(y )|y } = 0.95
Ternyata menggunakan conyugate prior, perhitungan kuantitas
terkait posterior menjadi mudah !!!! Perhitungan mengenai
Ekspektasi tidakperlu integrasi, cukup melalui updating
formula.
a0 = a + y
b0 = b + n y
Demikian pula dalam perhitungan credible interval, gunakan
software.
Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Kenapa MCMC
Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra
MCMC

Table: Conjugate prior beberapa distribusi

Inferensi Bayes

Monte carlo
Integration
Definisi

Markov
Chains
Algoritma
MCMC

Model
Normal, 2 diketahui
Normal, diketahui
Binomial
Poisson

Prior
Normal (untuk rerata)
Gamma (untuk varians)
Beta
Gamma

Tentu saja tidak selalu digunakan conjugate prior !!!

Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Kenapa MCMC
Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra
MCMC
Inferensi Bayes

Monte carlo
Integration
Definisi

Markov
Chains
Algoritma
MCMC

Prior yang digunakan Chris

20
0.2
g () =

5 10

(contoh, hal 135) adalah

for 0 20
for 0.20 0.30
for 0.30 0.50

Sehingga konstanta dari posterior g (|y )

Z 1
g ()f (y |) =
0

 Z 0.2
100

0.20 26 (1 )74 d
26
0
Z 0.3
+
0.2 26 (1 )74 d
0.2

Z 0.5
+
(5 10) 26 (1 )74 d
0.3
Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Kenapa MCMC
Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra

Beberapa pendekatan numerik perhitungan integral

Trapezoidal
Laplace

MCMC
Inferensi Bayes

Monte carlo
Integration
Definisi

Markov
Chains
Algoritma
MCMC

f (x)dx =
a

ba
{f (x0 ) + 2f (x1 ) + . . . + 2f (xn1 ) + f (xn )}
2n

Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Laplace Approximation
Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra

Rb
Laplace Approximation untuk menaksir integral a f (x)dx
fungsi di expand dalam taylor series disekitar titik maksimum
fungsi f (x). Ekspansi Taylor series fungsi ln f (x)

MCMC
Inferensi Bayes

Monte carlo
Integration
Definisi

ln f (x) =
ln f (x0 ) +

Markov
Chains
Algoritma
MCMC

ln f (x)
|x=x0 (x x0 )
| x
{z
}

2 ln f (x)
|x=x0 (x x0 )2 + h.o.t
x 2

ln f (x)
|x=x0 (x x0 ) =
x

1 df (x)
|x=x0 (x x0 )
f (x) dx

Dari pers. di atas diperoleh solusi maksimum, sebutlah x .

Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Laplace Approximation
Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra
MCMC
Inferensi Bayes

Monte carlo
Integration
Definisi

Markov
Chains
Algoritma
MCMC

Sehingga ekspansi disektar titik x menghasilkan

ln f (x) =
ln f (x ) +

2 ln f (x)
|x=x (x x )2 + h.o.t
x 2

kemudian dari eksponensiasi kedua ruas diperoleh




1 2 ln f (x) 
ln f (x)

2
e
exp ln f (x ) +
(x

x
)
(2)
2 x 2 x=x
1
Misalkan ln f (x) = L(x), dan 2 = L00 (x
) , maka modal
approx Laplace untuk unnormalised posterior adalah :

f (x) f (x )e
Septiadi Padmadisastra

(xx )2
2 2

Bayesian Statistics dan MCMC

(3)

Laplace Approximation
Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra
MCMC
Inferensi Bayes

Monte carlo
Integration
Definisi

Markov
Chains
Algoritma
MCMC

kemudian integrasi kedua ruas (2) diperoleh modal approx

laplace untuk konstanta penormal dari posterior



Z
Z
1 2 ln f (x) 
ln f (x)
ln f (x )
2
e
dx = e
exp
(x

x
)
dx
2
x 2 x=x
atau,


Z
Z
(x x )2
L(x)
L(x )
e
dx e
exp
dx
2 2
Sebuah bentuk integral dari sebuah pdf. normal, dengan rerata
x dan varians 2 = L0 1(x )


Z
Z
n(x x )2
nL(x)
nL(x )
e
dx e
dx (4)
exp
2 2

=
2 e nL(x )
(5)
n
Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Laplace Approximation
Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra
MCMC
Inferensi Bayes

Monte carlo
Integration
Definisi

Markov
Chains

Contoh: berdistribusiGamma(, ), tentukan modal Laplace

approx untuk pdf f () dan konstanta penormalnya. Gunakan
persamaan (2) (3) untuk densitas f ().
f () 1 e

Algoritma
MCMC

Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Laplace Approximation
Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra
MCMC
Inferensi Bayes

Monte carlo
Integration

Exercise 27.1.[2] (See also exercise 22.8 (p.309).) A photon

counter is pointed at a remote star for one minute, in order to
infer the rate of photons arriving at the counter per minute, .
Assuming the number of photons collected r has a Poisson
distribution with mean ,

Definisi

Markov
Chains
Algoritma
MCMC

P(r |) =

e r
r!

r = 0, 1, . . .

and assuming the improper prior p() = 1 , make Laplace

approxima- tions to the posterior distribution (a) over ? (b)
over log ?. (Note the improper prior transforms to P(log ) =
constant.)

Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Kenapa MCMC
Tugas
Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra
MCMC
Inferensi Bayes

Monte carlo
Integration
Definisi

Markov
Chains

Gunakan sebuah metode penaksiran integral untuk

menghitungnya !!!
Kemudian tentukan Rerata distribusi posteriornya !

Algoritma
MCMC

Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Kenapa MCMC
Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra
MCMC
Inferensi Bayes

Monte carlo
Integration

Contoh 1
Bagaimana jika prior untuk sebuah model normal adalah
Cauchy;
1
0 () =
(1 + 2 )
Posterior :

Definisi

Markov
Chains
Algoritma
MCMC

 Pn
2
1
i=1 (yi )
(|y ) exp

2
1 + 2


n( y )2
1
exp

2
1 + 2
E (|y ) =?

Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Monte Carlo Integration

Problem:
Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra
MCMC
Inferensi Bayes

Monte carlo
Integration
Definisi

Markov
Chains
Algoritma
MCMC

Contoh 1 mengindikasikan bahwa secara umum ekspektasi

(integrasi) sebuah fungsi tidak selalu dapat dicari jawaban
analitisnya
Z
E (h(X )) = h(x)(x)dx
(6)
Sebuah cara menyelesaikannya adalah melalui integrasi Monte
Carlo (MC).

Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Monte Carlo Integration

Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra
MCMC

Misalkan X1 , X2 , . . . , Xn sampel acak dari dist. (x). Integral

dalam Persamaan (6) ditaksir melalui

Inferensi Bayes

N
1 X
E (h(X )) hN =
h(Xi )
N

Monte carlo
Integration
Definisi

i=1

Markov
Chains
Algoritma
MCMC

Note :
x , dan (|y ) = (x)

Septiadi Padmadisastra

Bayesian Statistics dan MCMC

(7)

Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra
MCMC
Inferensi Bayes

Monte carlo
Integration
Definisi

Markov
Chains
Algoritma
MCMC

Coba

Hitung memakai metode Monte carlo, E ( X ) dari sebuah

distribusi Exponential dengan = 1.
Z

E( X) =
xe x dx
0

Bandingkan dengan metode Laplace, bagaimana ?

Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Monte Carlo Integration

kembali ke Contoh 1
Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra
MCMC
Inferensi Bayes

Monte carlo
Integration
Definisi

Markov
Chains

Jika diketahui n = 20, dan y = 0.067 dan 2 = 1, maka



Z

( y )2
E (|y ) =
exp n
d
(1 + 2 )
2
dihitung dengan mengenerate dari dist normal dengan rerata
0.067 dan varians 1/20. untuk tiap yang dihasilkan dihitung

Algoritma
MCMC

,
(1 + 2 )
dan hitung rataannya.

Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Monte Carlo Integration

Algoritma
Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra
MCMC
Inferensi Bayes

Monte carlo
Integration

generate p = uniform random number 0 - 1

generate random normal variate ; (p, y , std = 1/ 20)

hitung

(1+2 )

hitung rataan dan std

Definisi

Markov
Chains
Algoritma
MCMC

Coba :
Memakai algoritma di atas, kerjakan untuk berbagai nilai
N = 10, 20, 50, 100, 200, 500, 1000, apakah untuk N
rataan konvergen?
Plot sampel sebagai sebuah time series, apakah nampak
random ?

Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Markov Chains
Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra

Untuk menghasilkan sebuah sampel random dari dist (x),

sampel dibangun melalui sebuah proses stokastik dalam
keadaan stasioner, aperiodik dan irreducible, dengan distribusi
stasioner adalah target distribusi (x).

MCMC
Inferensi Bayes

Monte carlo
Integration
Definisi

Markov
Chains
Algoritma
MCMC

Definition
Sebuah barisan peubah acak, X1 , X2 , . . . , dengan sifat
Peluang status Xt+1 = j hanya tergantung kepada Xt = i,
P(Xt+1 = j|Xt = i, Xt1 , . . . , X0 ) = P(Xt+1 = j|Xt = i)
= Pij
disebut sebagai sebuah Markov Chains. Dan matriks
P = (Pij )
disebut sebagai matriks peluang transisi.
Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Markov Chains
Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra
MCMC
Inferensi Bayes

Monte carlo
Integration

Untuk proses stokastik dalam keadaan stasioner, aperiodik dan

irreducible, berlaku dalil :
Theorem
ergodic average

Definisi

Markov
Chains
Algoritma
MCMC

hN

N
1 X
h(Xt )
N
t=1

E (h(X ))

Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra

Sampel diperoleh melalui sampling

MCMC

Xt+1  P(x|xt ),

Inferensi Bayes

Monte carlo
Integration
Definisi

Jadi Xt+1 hanya tgt kepada Xt

Markov
Chains
Algoritma
MCMC

t = 1, 2, . . .

P(Xt+1 |Xt , Xt1 , . . . , X0 ) = P(Xt+1 |Xt )

Contoh :
Xt+1 |Xt  N(0.5xt , 1)

Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra

Sebuah realisasi dari model N(0.5Xt , 1) atau sebuah model

AR(1) dengan koefisien korelasi = 0.5. Grafik diproduksi
memakai dua nilai awal, X0 berbeda.

MCMC
Inferensi Bayes

Monte carlo
Integration
Definisi

Markov
Chains
Algoritma
MCMC

Figure: Sampel path model AR1( = 0.5)

Septiadi Padmadisastra

Bayesian Statistics dan MCMC

Bayesian
Statistics dan
MCMC
Septiadi Padmadisastra

Gambar memperlihatkan bahwa setelah beberapa satuan

waktu, sampel path mulai konvergen; stabil di sekitar titik nol.
Berikut macro statistica untuk simulasi model AR(1)

MCMC
Inferensi Bayes

Monte carlo
Integration
Definisi

Markov
Chains
Algoritma
MCMC

Figure: Macro Statistica model AR1( = 0.5)

Septiadi Padmadisastra

Bayesian Statistics dan MCMC