Estimasi Parameter Rantai Markov

Metode Sekuensial (SATS4422)

Pertemuan 1
 Proses Stokastik

Proses Stokastik (St , t  , , St  )

koleksi peubah acak St , dengan t indeks waktu t 

Proses Stokastik

Proses Markov/ Rantai Markov (Markov Chain)

Sifat Markov (Markov Property)

 Peluang Transisi Rantai Markov

Sifat Markov: t + 1 t
Rantai Markov ditentukan distribusi awal P ( S0 = i )
dan peluang transisi pij atau p ( i, j )
pij Merupakan parameter proses Markov

pij ??? Metode Kuadrat Terkecil

(Least Square)

Rantai Markov two-stare

(two-state Markov Chain)
 Sampling Sekuensial

Primary Sampling Unit (psu) digunakan berurutan dan

digunakan untuk modifikasi desain sampling. Metode
pada rantai Markov ini dikembangkan untuk mengatasi
sampling pada suatu grid spatial (plane sampling)
 Output Materi
1. Memahami dan memberikan contoh realisasi (melalui
simulasi) rantai Markov
2. Menghitung peluang transisi 𝑝𝑖𝑗 atau 𝑝(𝑖, 𝑗) dan matriks
peluang transisi (matriks Stokastik) P.
3. Membuat graf berarah suatu rantai Markov
4. Memahami representasi vektor suatu rantai Markov
5. Menulis rantai Markov dalam bentuk model linier
6. Menaksir parameter peluang transisi melalui metode
kuadrat terkecil
7. Menaksir peluang transisi suatu rantai Markov melalui tabel
kontingensi O
8. Menentukan distribusi stasioner
 Estimasi Peluang Transisi Rantai Markov

( )
Proses stokastik S = St t =0 ,  , St , t = 0,

,  . Andai
Ω = 1,2, … , memenuhi proses Markov jika:

𝑃 𝑆𝑡+𝑚+1 = 𝑗|𝑆𝑡+𝑚 = 𝑖 = 𝑃 𝑆𝑡+1 = 𝑗|𝑆𝑡 = 𝑖 = 𝑝𝑖𝑗 ,

m= 0,1,2,...
σ𝑗𝜖Ω 𝑝𝑖𝑗 = 1, i𝜖Ω
 Contoh

Proses Bernoulli. Misal 𝑆1 , 𝑆2 , … barisan peubah acak

Bernoulli dengan 𝑃 𝑆𝑡 = 1 = 𝑝 dan 𝑃 𝑆𝑡 = 0 = 1 −
𝑝 = 𝑞. Koleksi peubah acak 𝑆𝑡 ∞ 𝑡=1 dinamakan proses
Bernoulli.
1. Tuliskan deskripsi proses
2. Konstruksi suatu barisan proses Bernoulli

Jawab:
1. Sate space Ω = 0,1 , indeks waktu set 𝛹 =
{1,2, … }
2. Sampel barisan proses Bernoulli diperoleh melalui
lantunan mata uang dengan hasil H= head, T= Tail. Jika H=1
dan T=0, diperoleh suatu realisasi barisan Bernoulli.
t 1 2 3 4 5 6 7 8 9 10
Mata uang HTTHHHTHHT
𝑆𝑡 1011110110
Matriks 𝑃 = 𝑝𝑖𝑗 dinamakan matriks peluang transisi
(matriks transisi atau matriks stokastik). Matriks P memenuhi
syarat normalisasi 𝐏𝟏 = 𝟏, 𝟏 = 1,1, … , 1 ′ . Matriks transisi
rantai Markov direpresentasikan melalui graf dengan vertex
menyatakan state dan directed edge (i,j) menyatakan
peluang transisi dari state i ke state j.
 Distribusi Stationer

Jika matriks peluang transisi P merupakan

karakterisasi dari rantai Markov dan 𝜋 berdistribusi
stationer. Nilai 𝜋 akan dapat diketahui jika P
diselesaikan dengan analisa nilai dan vektor eigen.
Sedangkan jika nilai 𝜋 diketahui dan P tidak diketahui
maka penyelesain masalah ini menggunakn
pendekatan SIMULASI MONTE CARLO.
 Contoh
Distribusi stationer rantai markov ( 𝑆𝑡 ∞
𝑡=0 , Ω =
0 1Τ3 2Τ3
0,1,2 ), 𝑷 = 1Τ3 0 2Τ3 diperoleh dari sistem
1 0 0
persamaan 𝒙 = 𝑥1 , 𝑥2 , 𝑥3 .

0 1ൗ 2ൗ
3 3
𝑥1 , 𝑥2 , 𝑥3 = 𝑥1 , 𝑥2 , 𝑥3 1ൗ 0 2ൗ
3 3
1 0 0
 0 1ൗ 2ൗ
3 3
𝑥1 , 𝑥2 , 𝑥3 = 𝑥1 , 𝑥2 , 𝑥3 1ൗ 0 2ൗ
3 3
𝑥1 1 0 0
𝑥2 = ൗ3
𝑥1 𝑥2 𝑥1
𝑥3 = 2 ൗ3 + 2 ൗ3 𝜋1 = = 0,45
𝑥1 + 𝑥2 + 𝑥3
𝑥1
= 8 ൗ9 𝑥2
𝜋2 = = 0,15
𝑥1 + 𝑥2 + 𝑥3
Distribusi stationer 𝑥3
𝜋3 = = 0,40
𝜋 = 𝜋1 , 𝜋2 , 𝜋3 𝑥1 + 𝑥2 + 𝑥3
Terima kasih ☺