Estimasi Parameter :

Proses stokastik dan rantai Markov

• Peluang transisi rantai Markov

• Distribusi stasioner rantai Markov

Tuton – Sesi 1
BMP SATS4422 – Modul 1
 Capaian Pembelajaran Khusus

1. Menjelaskan konsep proses stokastik dan Rantai

Markov
2. Melakukan estimasi dan analisis peluang transisi
Rantai Markov
3. Melakukan perhitungan distribusi stationer
 1. Proses Stokastik dan rantai Markov
Proses stokastik adalah koleksi peubah acak
dengan t indeks waktu,

Atau, ditulis secara matematis:

dengan :
= himpunan waktu
= state space (himpunan state), yaitu kumpulan
semua yang mungkin.
 Rantai Markov
Rantai Markov (Markov chain) atau proses Markov adalah suatu
proses stokastik yang memenuhi sifat Markov (Markov property)
Sifat Markov : Prediksi state proses pada saat t +1 hanya ditentukan
oleh state proses pada saat t.

Suatu proses stokastik

dimana , memenuhi proses Markov, jika:

,

= 0,1,2,...; ,
 Rantai Markov …
Rantai Markov ditentukan oleh:
• distribusi awal,
• peluang transisi atau , yang disebut parameter proses
Markov

Rantai Markov dengan Ω = {1, 2} disebut rantai Markov dua state

(two-state Markov Chain)

Matriks peluang transisi

Matriks dinamakan matriks peluang transisi (matriks transisi
atau matriks stokastik).
Matriks P memenuhi P1 = 1, dimana 1 =’
Contoh :
 Contoh :
Contoh 1.4.
Curah hujan (rainfall). Misal menyatakan keadaan cuaca (hujan atau
tidak hujan) pada hari t. Sate space dari rantai Markov , t = 0, 1, …
adalah Ω = {Hujan, Tidak hujan).

Misalkan:
hujan = 1, tidak hujan = 0  Ω = {0, 1} (two state)

Matriks peluang transisi adalah

=
 Non Contoh :
Contoh 1.5
Proses Bernoulli. Misal barisan peubah acak Bernoulli dengan
dan Koleksi peubah acak dinamakan proses Bernoulli.

Sate space , indeks waktu set

Sampel barisan proses Bernoulli diperoleh melalui lantunan
mata uang dengan hasil H= head, T= Tail. Jika H=1 dan T=0,
diperoleh suatu realisasi barisan Bernoulli.
t 1 2 3 4 5 6 7 8 9 10
Mata uang HTTHHHTHHT
1011110110
 2. Estimasi Peluang Transisi Rantai Markov

Bagaimana menentukan atau ?

Metode:
• Observasi dalam selang waktu tertentu
• Simulasi, lihat BMP hal 1.6 – 1.8
• Metode Kuadrat Terkecil, lihat BMP hal.
1.9 – 1.15
 Metode Observasi
Contoh pada kasus Contoh 1.4.
Curah hujan (rainfall). Misal menyatakan keadaan cuaca (hujan atau
tidak hujan) pada hari t. Sate space dari rantai Markov , t = 0, 1, …
adalah Ω = {Hujan = 1, Tidak hujan = 0).
Misalkan dari observasi di lapangan selama 2.437 hari memberikan matriks
frekuensi transisi berikut:

Matriks taksiran peluang transisi adalah

Metode Kuadrat Terkecil
 3. Distribusi Stationer

Jika matriks peluang transisi P merupakan

karakterisasi dari rantai Markov dan berdistribusi
stationer. Nilai akan dapat diketahui jika P
diselesaikan dengan analisa nilai dan vektor eigen.
Sedangkan jika nilai diketahui dan P tidak diketahui
maka penyelesain masalah ini menggunakn
pendekatan SIMULASI MONTE CARLO.
 Contoh

Distribusi stationer rantai markov , diperoleh dari sistem

persamaan .

( )
1 2
0
3 3
( 𝑥 1 , 𝑥 2 , 𝑥 3 ) = ( 𝑥1 , 𝑥 2 , 𝑥 3 ) 1 0
2
3 3
1 0 0
 ( )
1 2
0
3 3
( 𝑥1 , 𝑥 2 , 𝑥 3 ) = ( 𝑥1 , 𝑥 2 , 𝑥 3 ) 1 0
2
3 3
1 0 0

Distribusi stationer
 Terima kasih
Selamat belajar!