MODEL STOKASTIK 1 KULIAH 25 Maret 2021

THE LONG RUN BEHAVIOR OF MARKOV CHAIN

First Step Analysis
Limiting Probabilities
Some Applications
Gambler‟s ruin problem
FIRST STEP ANALYSIS
FIRST STEP ANALYSIS
FIRST STEP ANALYSIS
FIRST STEP ANALYSIS
FIRST STEP ANALYSIS
FIRST STEP ANALYSIS
FIRST STEP ANALYSIS
FIRST STEP ANALYSIS
FIRST STEP ANALYSIS
FIRST STEP ANALYSIS
FIRST STEP ANALYSIS
FIRST STEP ANALYSIS
FIRST STEP ANALYSIS
FIRST STEP ANALYSIS
FIRST STEP ANALYSIS
PROPORSI JANGKA PANJANG
Untuk pasangan keadaan 𝑖 ≠ 𝑗 , misalkan 𝑓𝑖,𝑗 menyatakan probabilitas bahwa
proses mulai dari keadaan i akan pernah melakukan transisi ke keadaan j, yaitu:
𝑓𝑖,𝑗 = Pr 𝑋𝑛 = 𝑗 𝑢𝑛𝑡𝑢𝑘 𝑠𝑢𝑎𝑡𝑢 𝑛 > 0|𝑋0 = 𝑖

Proposisi 4.3:
Jika i recurrent dan i berkomunikasi dengan j maka 𝑓𝑖,𝑗 = 1
PROPORSI JANGKA PANJANG
Jika keadaan j recurrent dan misalkan 𝑚𝑗 menyatakan ekspektasi banyak transisi
yang dilakukan pada proses ketika dimulai dari j akan kembali ke keadaan tersebut
dimana banyak transisi dinyatakan dengan
𝑁𝑗 = min 𝑛 > 0, 𝑋𝑛 = 𝑗
dan
𝑚𝑗 = 𝐸 𝑁𝑗 |𝑋0 = 𝑗
PROPORSI JANGKA PANJANG

Definisi:
Keadaan recurrent j disebut positive recurrent jika 𝑚𝑗 < ∞ dan null
recurrent jika 𝑚𝑗 = ∞
Misalkan 𝜋𝑗 menyatakan proporsi jangka panjang bahwa proses akan berada di
keadaan j
Proposisi 4.4:
Jika rantai Markov bersifat irreducible dan recurrent, maka untuk
sembarang keadaan awal,
1
𝜋𝑗 =
𝑚𝑗
PROPORSI JANGKA PANJANG
Proposisi 4.5:
Jika i positive recurrent dan i berkomunikasi dengan j maka j positive recurrent.

Untuk menentukan proporsi jangka panjang 𝜋𝑗 , 𝑗 ≥ 1 , perhatikan bahwa 𝜋𝑖 adalah proporsi

jangka panjang dari keadaan i, maka
𝜋𝑖 𝑃𝑖𝑗 adalah proporsi jangka panjang transisi dari keadaan i ke keadaan j.
Jumlahkan untuk semua i, maka
𝜋𝑗 = ෍ 𝜋𝑖 𝑃𝑖𝑗
𝑖
PROPORSI JANGKA PANJANG
Teorema 4.1:
Misalkan rantai Markov irreducible. Jika rantai tersebut positive recurrent
maka proporsi jangka panjang adalah solusi tunggal dari persamaan
𝜋𝑗 = ෍ 𝜋𝑖 𝑃𝑖𝑗 , 𝑗≥1
𝑖
෍ 𝜋𝑗 = 1
𝑗

Catatan:
Jika tidak ada solusi dari persamaan linier di atass maka rantai Markov adalah
transient atau null recurrent dan semua 𝜋𝑗 = 0
CONTOH
CONTOH
LIMITING PROBABLITIES
LIMITING PROBABILITIES
LIMITING PROBABILITIES
7
Perhatikan bahwa proporsi jangka panjang dari contoh ini adalah 𝜋0 = ≈ 0.5833 dan
12
5
𝜋1 = ≈ 0.4167.
12

Untuk kasus ini, proporsi jangka panjang juga merupakan limit probabilitas.
Walaupun begitu, tidak selalu benar bahwa proporsi jangka panjang adalah limit
probabilitas
LIMITING PROBABILITIES
Perhatikan contoh berikut rantai Markov dengan dua keadaan berikut yang memiliki
𝑃01 = 𝑃10 = 1
Karena rantai ini secara kontinu berada antara keadaan 0 dan 1 bolak
balik maka proporsi jangka panjang di masing-masing keadaan adalah
1
𝜋0 = 𝜋1 =
2
Akan tetapi
𝑛 1, jika n genap
𝑃00 =ቊ
0, jika n ganjil
𝑛
sehingga 𝑃00 tidak memiliki nilai limit untuk n → ∞.
LIMITING PROBABILITIES
Secara umum, rantai yang hanya kembali ke keadaan semula dalam kelipatan d > 1
langkah (d = 2 untuk contoh sebelumnya) disebut periodic dan tidak memiliki limit
probabilitas.
Sedangkan rantai Markov irreducible yang tidak periodic disebut aperiodic dan limit
probabilitas akan selalu ada dan tidak bergantung pada keadaan awal. Limit
probabilitas bahwa rantai akan berada di keadaan j sama dengan 𝜋𝑗 yaitu proporsi
jangka panjang bahwa proses berada di keadaan j.
Rantai Markov yang irreducible, positive recurrent, dan aperiodic disebut ergodic.
TEOREMA
Semua himpunan 𝜋𝑗 , 𝑗 ≥ 1 yang memenuhi kondisi teorema di atas disebut distribusi
stasioner dari Rantai Markov.
Istilah stasioner diturunkan dari sifat bahwa dimulai dari suatu distribusi stasioner tertentu
maka untuk waktu lainnya akan mengikuti distribusi ini.
Secara formal
CONTOH
BRANCHING PROCESS
BRANCHING PROCESS
BRANCHING PROCESS
BRANCHING PROCESS
TIME REVERSIBLE MARKOV CHAINS
TIME REVERSIBLE MARKOV CHAINS
TIME REVERSIBLE MARKOV CHAINS
TIME REVERSIBLE MARKOV CHAINS
LATIHAN
Soal 23, 24, 25, 28, 29, 30, 31, 33