Proses Stokastik

Semester Ganjil 2013

DR. Rahma Fitriani, S.Si., M.Sc

The Long Run Behaviour of Markov Chains
 Menganalisis peluang transisi n langkah dari rantai markov
untuk n → ∞:
 The Limiting Probability Distribution
 Tidak tergantung pada state awal
 Peluang transisi n langkah tersebut ada jika rantai markov
mempunyai matriks peluang yang bersifat regular
 Semua elemen Pk >0

lim ij   j  0, for j  0,1,, N

( n)
P
n

lim PrX
n
n  j X 0  i   j  0, for j  0,1,, N

Apapun state awalnya (initial state) rantai markov akan berakhir

di state j dengan peluang πj
Contoh: Rantai Markov dua State

0 1
 b a 
a  b a  b
P  0 1  a a  , 0  a, b  1 lim P  
n
b a 
1  b 1  b
n 
 
a  b a  b

0 1
b 0.75
P  0 0.33 0.67   0.528169
1 0.75 0.25 a  b 0.67  0.75

a 0.67
  0.471831
0.528169 0.471831 a  b 0.67  0.75
lim P  
n

n 
0.528169 0.471831
 P dengan beberapa pangkat:
0 1 0 1
P 2  0 0.6114 0.3886 P8  0 0.528626 0.471374
1  0.435 0.565  1 0.527658 0.472342

0 1 0 1
P 4  0  0.542851 0.457149 P16  0 0.528169 0.471831
1 0.511734 0.488266 1 0.528169 0.471831
π0 π1

π  0.528169 0.471831
Syarat Keberadaan the Limiting probability
 Rantai markov mempunya matriks peluang transisi yang
bersifat regular
 Matriks peluang transisi bersifat regular jika:
 Setiap pasang state i, j, terdapat jalur k1, k2, …, kr di mana Pik
1
P k1k2 ... Pkrj>0
 Terdapat paling sedikit satu i di mana Pii>0
The Limiting Probability Distribution
 Jika P matriks peluang transisi yang bersifat regular di mana
terdapat 0, 1, 2, …, N, kemungkinan state, maka:
 The limiting probability distribution =(0, 1, 2, …,N) adalah
solusi unik dari persamaan:

 = P


i
i 1
Contoh
 Untuk rantai markov dengan matriks peluang transisi berikut
ini:
0 1 2
0 0.40 0.50 0.10
P
1 0.05 0.70 0.25
2 0.05 0.50 0.45

 Tentukan the limiting probability distribution.

 Sistem persamaan: π  πP  i 1
i
0.40 0.5 0.10
 0  1  2    0  1  2 0.05 0.70 0.25  0  1   2  1
 0.5 0.50 0.45
 0.40 0.5 0.10
 0  1  2    0  1  2 0.05 0.70 0.25
0.05 0.50 0.45

 0  0.4 0  0.051  0.05 2 (1)

Karena adanya batasan
 1  0.5 0  0.7 1  0.5 2 (2) linier, maka satu persamaan
bersifat redundan dan akan
 2  0.1 0  0.25 1  0.45 2 (3) dibuang dari sistem
persamaan
 0  1   2  1 (4) -Pada kasus ini persamaan
3 yang dibuang
  0  0.4 0  0.051  0.5 2 (1)  0.6 0  0.051  0.05 2  0
 1  0.5 0  0.7 1  0.5 2 (2) 0.5 0  0.31  0.05 2  0
 0  1   2  1 (4)

Dengan substitusi dan eliminasi, solusinya adalah:

1 5 31
0   0.07692,  1   0.625,  2   0.298077
13 8 104
 Berdasarkan definisi dari the limiting probability:

lim ij   j  0, for j  0,1,, N

( n)
P
n

 Dengan mengoperasikan pangkat tinggi pada matriks peluang transisi:

0 1 2
0 0.076923 0.625 0.298077
P 
1 0.076923 0.625 0.298077
16

2 0.076923 0.625 0.298077

π0 π1 π2
Klasifikasi State-State
 Definisi:
 State j dapat dijangkau (reachable) dari state i jika peluang
untuk menuju dari i ke j dalam n >0 langkah adalah positif
 (Jika teradapat jalur dari i ke j pada diagram rantai markov).
 Himpunan bagian S dari himpunan state X bersifat tertutup
(closed) jika pij=0 untuk setiap iS and j S
 Statei dikatakan absorbing jika terdapat closed set dengan satu
anggota (state) saja.
 Himpunan tertutup (closed set) S dikatakan irreducible jika
sembarang state jS dapat dijangkau dari setiap state iS.
 Rantai markov dikatakan irreducible jika himpunan state-nya X
adalah irreducible.
 Contoh

 Irreducible Markov Chain

p01 p12 p22
p00 0 1 2
p10 p21

 Reducible Markov Chain

p01 p12 p23
0 1 2 3
p10 p32
p00
p14
Absorbing p22 p33
State 4

Closed irreducible set

Transient and Recurrent States
 Hitting Time Tij  min k  0 : X 0  i, X k  j
 Recurrence Time Tii adalah waktu yang dibutuhkan untuk
state i kembali ke state i untuk pertama kalinya
 Diberikan ρi sebagai peluang bahwa state akan kembali ke i
dengan syarat rantai markov berawal di state i, maka,

 State i recurrent jia ρi=1 dan transient jika ρi<1

State i bersifat transient jika terdapat peluang bahwa rantai

markov tidak akan kembali ke state i.
Teorema-teorema
 Jika rantai markov mempunyai himpunan state yang finite, maka
paling sedikit satu dari state-nya bersifat recurrent.

 Jika i adalah state yang bersifat recurrent dan state j dapat

dijangkau dari state i maka state j juga recurrent.

 Jika S adalah himpunan state yang irreducible yang finite dan

closed, maka setiap state di S adalah recurrent.
Positive and Null Recurrent States
 Diberikan Mi sebagai rata-rata waktu recurrence bagi state i

M i  E Tii    k Pr Tii  k
k 1
 State i dikatakan positive recurrent jika Mi<∞. Jika Mi=∞ maka
state tersebut dikatakan null-recurrent.
Example

p01 p12 p23

0 1 2 3
p10 p32
p00
p14
p22 p33
4
Transient
States Positive
Recurrent
States
Recurrent State
Klasifikasi State-State

recurrent transient

positive null

absorbing non-absorbing

17
State Periodic dan Aperiodic
 Misalkan bahwa struktur rantai markov adalah sedemikian sehingga
terdapat beberapa jalur dari state i kembali ke state i, di mana jumlah
langkah dari setiap jalur adalah kelipatan bilangan bulat d >1  state
i disebut periodic dengan periode d.
 Jika tidak terdapat bilangan bulat sedemikian (d =1) maka state
tersebut bersifat aperiodic.
 Contoh:

1 0.5
0 1 2

0.5 1 0 1 0
Periodic State d = 2 P  0.5 0 0.5
 0 1 0 