TI3131-2007-06-07 Markov Chain

Rantai Markov
(Markov Chain)
Minggu 06 & Minggu 07
TI3131 PENELITIAN OPERASIONAL II 1
Suprayogi, Sistem Industri & Tekno‐Ekonomi, FTI‐ITB
Proses Stokastik
(Stochastic Process)
Proses stokastik (stochastic process) merupakan
himpunan variabel random {Xt}, dimana indeks t
bergerak pada suatu himpunan T.
Contoh Proses Stokastik (1)
Misalkan suatu tim sepakbola bertanding setiap minggu. Hasil
pertandingan (status) dinyatakan dengan M (menang), K (kalah),
atau S (Seri).
S
Status
M
Minggu
Contoh Proses Stokastik (2)
Misalkan suatu mesin yang dioperasikan sepanjang waktu,

kondisinya dapat dinyatakan dengan O (beroperasi) atau R
(rusak).
O
Waktu
Klasifikasi Proses Stokastik
Status‐diskret Status‐kontinyu
(Discrete‐State) (Continuous‐State)
Waktu‐diskret
(Discrete‐time)
Waktu‐kontinyu
(Continuous‐time)
Pemodelan Proses
Epoh (epoch)
9 Titik waktu saat sistem diamati
Status (state)
9 Nilai yang berkaitan dengan kondisi yang mungkin yang
diamati
9 Nilai variabel random yang mungkin
Realisasi proses (process realization)
9 Catatan dari status yang diamati sepanjang waktu
Transisi (transition)
9 Tiap perubahan status
Proses Stokastik Status Diskret
Misalkan {Xn, n = 0, 1, 2, …} adalah variabel random yang
berindeks n.
Famili dari variabel random ini disebut proses stokastik
waktu diskret (discrete time stochastic process)
Nilai dari Xn untuk suatu realisasi tertentu dari proses disebut
status (state) dari proses pada langkah ke n.
Jika variabel random Xn adalah diskret maka proses disebut
proses stokastik status diskret (discrete state stochastic
process)
Proses Markov Waktu‐Diskret Status‐Diskret

(Discrete‐State Discrete‐Time Markov Process)
P{X n = jn | X n−1 = jn−1 , X n−2 = jn−2 ,L , X 0 = j0 }

= P{X n = jn | X n−1 = jn−1 }
Proses Markov status‐diskret Æ rantai Markov
Probabilitas Transisi Satu‐Langkah
(One‐Step Transition Probability)
Probabilitas bersyarat, P{Xn = j | Xn‐1 = i}, disebut probabilitas
transisi satu‐langkah (one‐step transition probability) dari
status i pada langkah (n‐1) ke status j pada langkah n.
Jika untuk semua langkah m dan n,
P{Xn = j | Xn‐1 = i} = P{Xm = j | Xm‐1 = i},
rantai Markov dikatakan stasioner (stationary), yaitu
probabilitas transisi tidak tergantung secara eksplisit pada
langkah.
Probabilitas transisi satu‐langkah dapat dinyatakan dengan:
pij = P{X1 = j | X0 = i}
Matriks Probabilitas Transisi Satu‐Langkah

(One‐Step Transition Probability Matrix)
1 2 ... m
1 ⎡ p11 p12 L p1m ⎤
2 ⎢p p22 L p2m ⎥
P = ⎢ 21 ⎥
L ⎢L L L L⎥
⎢ ⎥
m ⎣ pm1 pm2 L pmm ⎦
pij = P{X1 = j | X 0 = i}
Diagram Transisi
(Transition Diagram)
Persamaan Chapman‐Kolmogorov
pij(n ) = ∑ pik(n−m ) pkj(m ) untuk sebarang m antara 1 dan n

k
P (n ) = P (n−1 )P
Penentuan Probabilitas Transisi
Distribusi empiris
Distribusi teoritis
Distribusi Empiris –
Contoh Masalah Ramalan Cuaca
Data historis tentang kondisi cuaca tiap hari
1 = Cerah
2 = Mendung
3 = Hujan
Data dicatat tiap hari selama 15 minggu
Hari Minggu
Minggu 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Senin 2 1 3 3 2 1 3 1 2 2 3 3 2 2 2
Selasa 3 3 3 1 2 2 2 3 2 1 1 2 2 1 2
Rabu 2 1 2 2 3 3 3 2 2 2 1 2 2 2 1
Kamis 3 2 2 3 3 3 2 1 1 3 1 3 2 2 1
Jumat 2 2 2 3 1 2 1 3 2 3 2 1 1 2 3
Sabtu 3 1 1 3 1 2 3 2 3 3 2 1 3 2 1
Minggu 2 1 3 3 1 2 2 3 1 2 1 3 2 2 1
Distribusi Empiris –
Contoh Masalah Ramalan Cuaca
Matriks frekuensi transisi
Status cuaca hari t + 1
1 2 3
1 9 8 10
Status cuaca hari t 2 12 20 13
3 7 16 9
Matriks probabilitas transisi

Status cuaca hari t + 1
1 2 3
1 0.3333 0.2963 0.3704
Status cuaca hari t 2 0.2667 0.4444 0.2889
3 0.2188 0.5000 0.2813
Distribusi Teoritis –
Masalah Persediaan
Jumlah permintaan produk pada minggu t berdistribusi
Poisson dengan parameter λ
Jumlah persediaan pada akhir minggu t, Xt
Kebijakan pemesanan (s, S)
9 Jika jumlah persediaan barang kurang dari s (tidak ada
persediaan) maka pesan barang pada minggu t, Ot
sebanyak S, yaitu Ot = S
9 Jika masih terdapat persediaan maka tidak melakukan
pemesanan, Ot = 0.
Masalah Persediaan
Jumlah persediaan pada akhir minggu t
X t +1 = max{( X t + Ot +1 − Dt +1 ),0}, t = 0,1,2,L
dengan Ot+1 = 0 jika Xt < s dan Ot+1 = S jika Xt ≥ s
Karena jumlah permintaan pada tiap minggu adalah random,

maka jumlah persediaan pada akhir minggu juga adalah
random.
Masalah Persediaan
Jumlah permintaan produk pada minggu t Dt berdistribusi
Poisson dengan parameter λ = 1
Kebijakan pemesanan (s, S) = (1, 3)
Jumlah persediaan pada akhir minggu t
X t +1 = max{( X t + Ot +1 − Dt +1 ),0}, t = 0,1,2,L

dengan Ot+1 = 3 jika Xt < 1 dan Ot+1 = 0 jika Xt ≥ 1
Jumlah persediaan pada akhir minggu Xt (status) yang
mungkin adalah 0, 1, 2 dan 3.
Masalah Persediaan
Probabilitas transisi satu‐langkah:

p00 = P{X t +1 = 0| X t = 0}
Status pada akhir minggu t+1
0 1 2 3
0 ⎡ p00 p01 p02 p03 ⎤
Status pada akhir
⎢p p13 ⎥
minggu t
1 p11 p12
P(1) = ⎢ 10 ⎥
2 ⎢ p20 p21 p22 p23 ⎥
⎢ ⎥
3 ⎣ p30 p31 p32 p33 ⎦
Masalah Persediaan
p00 = P{X t +1 = 0| X t = 0}
Karena Xt = 0, maka Xt+1 = max{(3 – Dt+1), 0}

Agar Xt+1 = 0 maka Dt+1 ≥ 3
p00 = P{Dt +1 ≥ 3} = 1 − P{Dt +1 ≤ 2}

Karena Dt berdistribusi Poisson dengan parameter
λ = 1, maka
⎛ 2 λk e − λ ⎞ ⎛ ⎛ 10 e −1 ⎞ ⎛ 11 e −1 ⎞ ⎛ 12 e −1 ⎞ ⎞
p00 = 1 − ⎜⎜ ∑ ⎜
⎟⎟ = 1 − ⎜ ⎜⎜ ⎟⎟ + ⎜⎜ ⎟⎟ + ⎜⎜ ⎟
⎟⎟ ⎟
⎝ k =0 k! ⎠ ⎝⎝ 0! ⎠ ⎝ 1! ⎠ ⎝ 2! ⎠⎠
= 0,080
Masalah Persediaan
p21 = P{X t +1 = 1| X t = 2}
Karena Xt = 2, maka Xt+1 = max{(2 – Dt+1), 0}
Agar Xt+1 = 1 maka Dt+1 = 1
λ1e − λ 11 e −1
p21 = P{Dt +1 = 1} = = = 0,368
1! 1!
Masalah Persediaan
Matriks probabilitas transisi satu‐langkah:
0 1 2 3
0 ⎡0,080 0,184 0,368 0,368⎤
1 ⎢0,632 0,368 0 0 ⎥
P = ⎢ ⎥
2 ⎢0,264 0,368 0,368 0 ⎥
⎢ ⎥
3 ⎣0,080 0,184 0,368 0,368⎦
Probabilitas Transisi n Langkah
Probabilitas transisi n‐langkah (n‐step transitition probability)
menyatakan probabilitas bahwa proses dalam status j pada
langkah n jika diberikan bahwa proses dalam status i pada
saat ini, pij(n)
Matriks probabilitas transisi n langkah:
P(n) =P(n−1)P
Contoh Perhitungan
⎡0,080 0,184 0,368 0,368⎤
⎢0,632 0,368 0 0 ⎥
P=⎢ ⎥
⎢0,264 0,368 0,368 0 ⎥
⎢ ⎥
⎣0,080 0,184 0,368 0,368⎦
⎡0,080 0,184 0,368 0,368⎤ ⎡0,080 0,184 0,368 0,368⎤
⎢0,632 0,368 0 0 ⎥ ⎢0,632 0,368 0 0 ⎥
P = PP = ⎢
(2) ⎥⎢ ⎥
⎢0,264 0,368 0,368 0 ⎥ ⎢0,264 0,368 0,368 0 ⎥
⎢ ⎥⎢ ⎥
⎣0,080 0,184 0,368 0,368⎦ ⎣0,080 0,184 0,368 0,368⎦
⎡0,249 0,286 0,286 0,165⎤

⎢0,283 0,252 0,252 0,233⎥
P =⎢
(2) ⎥
⎢0,351 0,319 0,319 0,097⎥
⎢ ⎥
⎣0,249 0,286 0,286 0,165⎦
Contoh Perhitungan
⎡0,249 0,286 0,286 0,165⎤ ⎡0,080 0,184 0,368 0,368⎤
⎢0,283 0,252 0,252 0,233⎥ ⎢0,632 0,368 0 0 ⎥
(2 ) ⎢ ⎥⎢ ⎥
P =P P
(3)
⎢0,351 0,319 0,319 0,097⎥ ⎢0,264 0,368 0,368 0 ⎥
⎢ ⎥⎢ ⎥
⎣0,249 0,286 0,286 0,165⎦ ⎣0,080 0,184 0,368 0,368⎦
⎡0,293 0,292 0,263 0,152⎤

⎢0,262 0,273 0,275 0,190⎥
P =⎢
(3) ⎥
⎢0,299 0,286 0,250 0,165⎥
⎢ ⎥
⎣0,293 0,292 0,263 0,152⎦
Probabilitas Status atau Okupansi

(State or Occupancy Probability)
p(jn) = P{X n = j}
= ∑ P {X n = j | X 0 = i}P{X 0 = i}
i
= ∑ pijn pi(0)

i
= ∑ pi(0) pijn

i
p(n) = p(0)P(n)
Contoh Perhitungan Probabilitas Okupansi
Jika saat ini diketahui bahwa jumlah persediaan saat ini X0 = 3,
Probabilitas jumlah persediaan = 3 setelah 2 minggu
⎡0,249 0,286 0,286 0,165⎤
p =p =p =0
(0) (0) (0) ⎢0,283 0,252 0,252 0,233⎥
P =⎢ ⎥
0 1 2 (2)
p3(0) = 1 ⎢0,351 0,319 0,319 0,097⎥

⎢ ⎥
⎣0,249 0,286 0,286 0,165⎦
p3(2) = p0(0) p03

(2 )
+ p1(0) p13
(2 )
+ p2(0) p23
(2)
+ p3(0) p33
(2 )
= 0(0,165) + 0(0,233) + 0(0,097) + 1(0,165)

= 0,165
Contoh Perhitungan Probabilitas Okupansi
Jika dianggap probabilitas jumlah persediaan saat ini adalah:
⎡0,249 0,286 0,286 0,165⎤

1 ⎢0,283 0,252 0,252 0,233⎥
p0(0) = p1(0) = p2(0) = p3(0) = P(2) = ⎢ ⎥
4 ⎢0,351 0,319 0,319 0,097⎥
⎢ ⎥
⎣0,249 0,286 0,286 0,165⎦
p3(2) = p0(0) p03

(2 )
+ p1(0) p13
(2 )
+ p2(0) p23
(2 )
+ p3(0) p33
(2 )
1
= (0,165) + 1 (0,233) + 1 (0,097) + 1 (0,165)
4 4 4 4
= 0,165
Probabilitas Perjalanan Pertama
(First Passage Probability)
Probabilitas bahwa proses akan berada
pada status j untuk yang pertama kalinya
pada langkah k jika
n −1 diberikan bahwa proses
(n)
fij pada
berada
(n)
∑
k =1
(k ) (n −k )
= pij −status i pada
fij p jj ; saatn ≥ 2 ini, f (n)
ij
fij = pij
Jika i = j, probabilitas perjalanan pertama
Contoh Perhitungan Probabilitas

Perjalanan Pertama
Probabilitas bahwa jumlah persediaan = 0 pada minggu 2
untuk yang pertama kalinya jika diberikan bahwa jumlah
persediaan saat ini = 3
f03(1) = p03
(1)
= 0,080
f03(2) = p03
(2 )
− ( f03(1) p33
(1)
)
= 0,249 − (0,080)(0,368)
= 0,220
Terminologi (1)
Proses dikatakan irreducible jika setiap status dapat dicapai
dari tiap status yang lain baik melalui transisi langsung
maupun melalui beberapa urutan transisi.
Suatu status dikatakan recurrent jika status dapat terjadi
(muncul) lagi (lawannya: transient state).
Jika proses adalah finite (jumlah status terbatas) dan
irreducible maka semua status adalah recurrent.
Proses finite yang irreducible harus mengandung paling
sedikit satu status recurrent.
Terminologi (2)
Reducible Markov chain
1 3
5 1
Terminologi (3)
Dalam suatu proses dengan jumlah status tak terbatas
(infinite), tidak dapat dijamin bahwa proses bersifat
irreducible dengan status recurrent.
Status recurrent yang mempunyai mean recurrence time tak
terbatas disebut status null (null state).
Status periodic adalah status yang hanya dapat terjadi pada
epoch tertentu.
Terminologi (4)
Periodic Markov Chain
1 3
5 4
Terminologi (5)
Proses (rantai Markov) dikatakan ergodic jika
9 irreducible
9 recurrent
9 positive (non null)
9 Aperiodic
Jika suatu proses dapat berhenti setelah beberapa langkah
(waktu), proses dikatakan absorbing Markov chain
Terminologi (5)
Absorbing Markov chain
1 2 3 4
Rantai Markov Ergodic
(Ergodic Markov Chain)
Probabilitas transisi n‐langkah (n‐step
transition probability)
Probabilitas okupansi (occupancy probability)
Probabilitas perjalanan pertama (first passage
probability)
Probabilitas kondisi mapan (steady‐state
probability)
Waktu perjalanan pertama rata‐rata (mean
first passage time)
Probabilitas Mapan
(Steady‐State Probability)
⎡π 1 π 2 π 3 L⎤
⎢π π π L⎥
π j = lim pij(n) P →⎢ ⎥
(n) 1 2 3
n→∞ ⎢M ⎥
⎢ ⎥
⎣π 1 π 2 π 3 L⎦
P(n) = P(n−1)P ⎡π 1 π 2 π 3 L⎤ ⎡π 1 π 2 π 3 L⎤
⎢π π π L⎥ ⎢π π π L⎥
lim P(n) = lim P(n−1)P ⎢ 1 2 3 ⎥=⎢ 1 2 3 ⎥P
n→∞ n→∞ ⎢π 1 π 2 π 3 L⎥ ⎢π 1 π 2 π 3 L⎥
⎢ ⎥ ⎢ ⎥
⎣M M L ⎦ ⎣M M L ⎦
Probabilitas Mapan
πj >0
π j = ∑ π i pij , ∀j
i
∑π j
j =1
Contoh Probabilitas Mapan

⎡0,080 0,184 0,368 0,368⎤
⎢0,632 0,368 0 0 ⎥
P=⎢ ⎥
⎢0,264 0,368 0,368 0 ⎥
⎢ ⎥
⎣0,080 0,184 0,368 0,368⎦
π 0 = (0 , 080 )π 0 + (0 , 632 )π 1 + (0 , 264 )π 2 + (0 , 080 )π 3

π 1 = (0 ,184 )π 0 + (0 ,368 )π 1 + (0 ,368 )π 2 + (0 ,184 )π 3
π 2 = (0 ,368 )π 0 + (0 ,368 )π 2 + (0 ,368 )π 3
π 3 = (0 ,368 )π 0 + (0 ,368 )π 3
1 = π 0 + π1 + π 2 + π 3
Contoh Probabilitas Mapan
π 0 = (0 , 080 )π 0 + (0 , 632 )π 1 + (0 , 264 )π 2 + (0 , 080 )π 3

π 1 = (0 ,184 )π 0 + (0 ,368 )π 1 + (0 ,368 )π 2 + (0 ,184 )π 3
π 2 = (0 ,368 )π 0 + (0 ,368 )π 2 + (0 ,368 )π 3
1 = π 0 + π1 + π 2 + π 3
π 0 = 0, 285 ; π 1 = 0, 285 ; π 2 = 0, 264 ; π 3 = 0,166
Probabilitas bahwa jumlah persediaan = 0 dalam jangka panjang
Biaya Rata‐Rata yang diharapkan jangka

Panjang per Satuan Waktu
Biaya per satuan waktu rata‐rata jangka panjang:
⎡1 n ⎤
lim E ⎢ ∑ C ( X t )⎥ = ∑ π jC ( j )
n→∞ n
⎣ t =1 ⎦ j
C(Xt) = biaya jika proses berada dalam status Xt pada saat t
C(0) = 0, C(1) = 2, C(2) = 8, C(3) = 18
Biaya inventori rata‐rata yang diharapkan per minggu
= 0(0,285) + 2(0,285) + 8(0,264) + 18(0,166) = 5,67
Biaya Rata‐Rata yang diharapkan jangka Panjang
per Satuan Waktu (Fungsi Biaya yang Kompleks)
Contoh untuk masalah inventori
⎡1 n ⎤
lim E ⎢ ∑ C ( X t −1 , Dt )⎥ = ∑ π j k ( j )
n→∞
⎣ n t =1 ⎦ j
k ( j ) = E [C ( j ), Dt ]

Kebijakan inventori (s, S) = (1, 3)
Jika z produk dipesan, biaya = 10 + 25z
Jika 0 produk dipesan, biaya = 0
Jika terjadi kekurangan persediaan, biaya (penalti) = 50.
⎧10 + 25(3) + 50 max{Dt − 3,0}, X t −1 < 1

C ( X t −1 , Dt ) = ⎨
⎩50 max{Dt − X t −1 ,0}, X t −1 ≥ 1
k (0 ) = E [C (0, Dt )] = 10 + 25(3) + 50E [max{Dt − 3,0}]
= 85 + 50E [max{Dt − 3,0}]
= 85 + 50[1P (D = 4 ) + 2P (D = 5) + 3P (D = 6 ) + L]
= 86,2
k (1) = E [C (1, Dt )] = 50E [max{Dt − 1,0}]
= 50[1P (D = 2) + 2P (D = 3) + 3P (D = 4 ) + L]
= 18,4
Biaya inventori rata‐rata yang diharapkan per minggu
= 86,2(0,285) + 18,4(0,285) + 5,2(0,264) + 1,2(0,166)
= 31,4
Waktu Perjalanan Pertama Rata‐Rata

(Mean First Passage Time)
mij = 1 + ∑ pik mkj

k≠ j
Contoh Perhitunngan Waktu Perjalanan
Pertama Rata‐Rata
m03 = 1 + (p00 m03 + p01m13 + p02m23 )
m13 = 1 + (p10 m03 + p11m13 + p12m23 )
m23 = 1 + (p20 m03 + p21m13 + p22m23 )
m03 = 1 + (0,080m03 + 0,184m13 + 0,368m23 )

m13 = 1 + (0,632m03 + 0,368m13 + 0m23 )
m23 = 1 + (0,264m03 + 0,368m13 + 0,368m23 )
Rata‐rata waktu (minggu) jumlah persediaan =3

m03 = 6,012 jika diberikan saat ini jumlah persediaan = 0
m13 = 7,594
m23 = 8,516
Waktu Kembali Rata‐Rata

(Mean Recurrence Time)
Jika i = j, mii disebut mean recurrence time
1
m jj =
πj
Contoh Perhitungan
Waktu Kembali Rata‐Rata
π 0 = 0,285;π 1 = 0,285;π 2 = 0,264;π 3 = 0,166
1 1
m 00 = = 3,51 minggu m22 = = 3,79 minggu
π0 π2
1 1
m11 = = 3,51 minggu m33 = = 6,02 minggu
π1 π3
Waktu rata‐rata jumlah persediaan = 0
jika jumlah persediaan saat ini = 0
Rantai Markov Absorbing
(Absorbing Markov Chain)
Menggambarkan proses yang berhenti setelah
beberapa langkah (waktu)
Matriks Probabilitas Transisi
Transient Absorbing
⎡ p11 p12 L p1 ,k +1 L ⎤
⎢p p22 ⎥
⎢ 21 ⎥ Transient
⎢ M ⎥
⎢ ⎥
pk 1 pkk pk ,k +1
P=⎢ ⎥
⎢0 0 L 0 1 0 L ⎥
⎢ ⎥
⎢0 0 0 1 ⎥ Absorbing
⎢ M M ⎥
⎢ ⎥
⎢⎣ 0 0 0 1⎥⎦
⎡Q R ⎤
P=⎢ ⎥
⎣0 I ⎦
Contoh Diagram Transisi untuk

1/4
1 1/2 3 1
1/3 1/4 1 2 3 4

2 1/3 4 1 1 ⎡1 4 1 4 1 2 0 ⎤
2 ⎢1 3 1 3 0 1 3⎥
1/3 P = ⎢ ⎥
3 ⎢ 0 0 1 0⎥
⎢ ⎥
4 ⎣ 0 0 0 1 ⎦
Beberapa Hasil dalam
Absorbing Markov Chain
n‐step transition probabilities
Occupancy probabilities
Absorption probability
Mean number of entries
Mean duration
Conditional mean first passage time
Probabilitas Penyerapan
(Absorption Probability)
aij : probabilitas bahwa proses masuk ke status
absorbing j seterusnya jika diberikan bahwa proses
berada dalam status transient awal i
K
aij = pij + ∑ pik akj
k =1
K = jumlah status transient
Contoh Probabilitas Penyerapan
a13 = p13 + p11a13 + p12a23
a23 = p23 + p21a13 + p22a23
1 1 1 4
a13 = + a13 + a23 a13 =
2 4 4 5
1 1 2
a23 = 0 + a13 + a23 a23 =
3 3 5
Perhitungan Matriks untuk

A = matriks aij
A = R + QA
A − QA = R
[I − Q ]A = R
A = [I − Q ]−1 R
Contoh Perhitungan Matriks untuk
1 2 3 4
3 4 1 2
1 ⎡1 4 1 4 1 2 0 ⎤
2 ⎢1 3 1 3 0 1 3⎥ 1 ⎡1 / 2 0 ⎤ 1 ⎡1 / 4 1 / 4 ⎤
⎢ ⎥ R = ⎢ Q = ⎢
2 ⎣ 0 1 / 3⎥⎦ 2 ⎣1 / 3 1 / 3⎥⎦
P =
3 ⎢ 0 0 1 0⎥
⎢ ⎥
4 ⎣ 0 0 0 1 ⎦
⎡ 3 / 4 − 1 / 4⎤
[I − Q ] = ⎢ ⎥ 3 4
⎣− 1 / 3 2 / 3 ⎦
1 ⎡4 / 5 1 / 5⎤
A = [I − Q ]−1 R = ⎢
⎡8 / 5 3 / 5⎤ 2 ⎣2 / 5 3 / 5⎥⎦
[I − Q ]−1 = ⎢ ⎥
⎣4 / 5 9 / 5⎦
Jumlah Masuk Rata‐Rata

(Mean Number of Entries)
eij = jumlah transisi rata‐rata suatu status transient j
ditempati jika diberikan bahwa status transient
awal adalah i
K
Jika i ≠ j, eij = ∑ pik ekj
k =1
K
Jika i = j, eij = 1 + ∑ pik ekj
k =1
K = jumlah status transient
Contoh Jumlah Masuk Rata‐Rata
1 2 3 4
1 ⎡1 4 1 4 1 2 0 ⎤
⎢1 3 1 3 0 1 3⎥
e11 = 1 + p11e11 + p12e21
2
P = ⎢ ⎥
3 ⎢ 0 0 1 0⎥ e21 = p21e11 + p22e21
⎢ ⎥
4 ⎣ 0 0 0 1 ⎦
1 1
e11 = 1 + e11 + e21 e11 =
8
4 4 5
1 1 4
e21 = e11 + e21 e21 =
3 3 5
Perhitungan Matriks untuk

E = I + QE
E − QE = I
(I − Q )E = I
E = (I − Q )−1
Contoh Perhitungan Matriks untuk
1 2 3 4
1 ⎡1 4 1 4 1 2 0 ⎤ 1 2
2 ⎢1 3 1 3 0 1 3⎥
P = ⎢ ⎥ 1 ⎡1 / 4 1 / 4 ⎤
Q = ⎢
3 ⎢ 0
⎢
0 1 0⎥
⎥ 2 ⎣1 / 3 1 / 3⎥⎦
4 ⎣ 0 0 0 1 ⎦
⎡8 / 5 3 / 5 ⎤
[I − Q ] −1
=E= ⎢ ⎥
⎣4 / 5 9 / 5⎦
Jika proses dalam status 1, status 2 akan ditempati
rata‐rata sebanyak 3/5 kali sebelum absorpsi terjadi
Durasi Rata‐Rata
(Mean Duration)
di = rata‐rata jumlah transisi sebelum penyerapan
jika diberikan bahwa proses status awal adalah i
K
di = ∑ ekj
k =1
Contoh Durasi Rata‐Rata
d1 = e11 + e12 = 8 5 + 3 5 = 11 5
Jika proses mulai pada status 1, jumlah transisi rata‐rata

adalah sebanyak 11/5 kali sebelum terjadi penyerapan
Perjalanan Pertama Rata‐Rata Bersyarat

(Conditional Mean First Passage)
mij = jumlah transisi rata‐rata dari status transient i
ke status absorbing j
aij = probabilitas proses akan masuk seterusnya
ke status absorbing j jika diberikan bahwa
status transient awal adalah i
Untuk proses yang reducible:
aij mij = aij + ∑ pik akj mkj

k≠ j
Contoh Perjalanan Pertama Rata‐Rata
1 2 3 4
1 ⎡1 4 1 4 1 2 0 ⎤ a13m13 = a13 + p11a13m13 + p12a23m23
2 ⎢1 3 1 3 0 1 3⎥
P = ⎢ ⎥ a23m23 = a23 + p21a13m13 + p22a23m23
3 ⎢ 0 0 1 0⎥
⎢ ⎥
4 ⎣ 0 0 0 1 ⎦
4 4 ⎛ 1 ⎞⎛ 4 ⎞ ⎛ 1 ⎞⎛ 2 ⎞
3 4 m13 = + ⎜ ⎟⎜ ⎟m13 + ⎜ ⎟⎜ ⎟m23
5 5 ⎝ 4 ⎠⎝ 5 ⎠ ⎝ 4 ⎠⎝ 5 ⎠ m13 = 1,9
1 ⎡4 / 5 1 / 5⎤
A = ⎢ 2 ⎛ 1 ⎞⎛ 4 ⎞ ⎛ 1 ⎞⎛ 2 ⎞
m13 = + ⎜ ⎟⎜ ⎟m13 + ⎜ ⎟⎜ ⎟m23 m23 = 3,4
2
2 ⎣2 / 5 3 / 5⎥⎦
5 5 ⎝ 3 ⎠⎝ 5 ⎠ ⎝ 3 ⎠⎝ 5 ⎠
Jika diasumsikan terjadi, jumlah transisi rata‐rata yang
dibutuhkan dari status 1 ke status 3 adalah 1,9.
Hasil‐hasil Rantai Markov Waktu Diskret
Nama Notasi Jenis Model Rumus
Transition probability pijn Sebarang pijn = ∑ pikn −1 pkj

k
Occupancy probability p nj Sebarang p j = ∑ pi0 pijn

i
n −1
First passage probability f n
ij Sebarang f = p − ∑ f ijk p njj− k
n
ij
n
ij
k −1
Steady‐state probability πj Ergodic ∑π
k
k pki = π i ∑π
i
i =1
Mean first passage time mij Ergodic mij = 1 + ∑ pik mkj

k≠ j
Hasil‐hasil Rantai Markov Waktu Diskret
Absorption probability aij Absorbing aij = pij + ∑p

Trans k
ik akj
⎧ ∑ pik ekj
⎪Trans k ,i ≠ j
⎪
Mean number of entries eij Absorbing eij = ⎨
⎪1 +
∑kpik ekj , i = j
⎪⎩ Trans
Mean duration di Absorbing di = ∑e
Trans k
ij
Conditional mean first
passage time mij Absorbing aij mij = aij + ∑p
Trans k
ik akj mkj
Rantai Markov Waktu‐Kontinyu
(Continuous‐Time Markov Chain)
{X(t)} : himpunan variabel random dengan
indeks variabel ril kontinyu t Æ Proses
stokastik waktu kontinyu (continuous‐time
stochastic process)
Proses Markov Waktu Homogen atau Stasioner
(Time Homogeneous or Stationary Markov Process)
P ( X (t2 ) = j | X (t1 ) = i ) = ( X (t2 − t1 ) = j | X (0 ) = i )
Fungsi Probabilitas Transisi

(Transition Probability Function)
pij (t ) = P ( X (t ) = j | X (0 ) = i )
Fungsi Probabilitas Transisi
dpij (t )
= ∑ pik (t )λkj
dt k
λij = laju transisi dari status i ke status j
Matriks Laju Transisi

(Transition Rate Matrix)
Bentuk matriks
dP(t )
= P(t )Λ
dt
dP(t ) dpij (t )
adalah matriks yang elemen ke (i, j) adalah
dt dt
P(t ) adalah matriks yang elemen ke (i, j) adalah pij (t )
Λ adalah matriks yang elemen ke (i, j) adalah λij

Matriks Laju Transisi
(Transition Rate Matrix)
Untuk tiap i
∑ p (t ) = 1
j
ij
d ⎡ ⎤ d
⎢∑ ij ⎥ = [1]
p (t )
dt ⎣ j ⎦ t =0 dt t =0
d ⎡ ⎤
⎢∑ ij ⎥ = 0
p (t )
dt ⎣ j ⎦ t =0
∑λj
ij =0
Ciri Matriks Laju Transisi

Jumlah pada tiap baris dari matriks Λ = 0.
Tiap elemen selain pada diagonal matriks Λ, yaitu λij (i ≠ j)
adalah taknegatif
Tiap elemen pada diagonal matriks Λ, yaitu λij (i = j) adalah
sebesar jumlah pada baris yang bersangkutan dan
berlawanan tanda
λii = −∑ λ ij
i≠ j
Contoh Matriks Laju Transisi
Misal λ01 = 3 dan λ10 = 2
0 1
0 ⎡− 3 3 ⎤
Λ = ⎢
1 ⎣ 2 − 2⎥⎦
Contoh Fungsi Probabilitas Transisi

dp00 (t )
= −3p00 (t ) + 2p01 (t )
dt
dp01 (t ) pij (0 ) = 0; i ≠ j
= 3p01 (t ) − 2p01 (t )
dt pij (0 ) = 1; i = j
dp10 (t )
= −3p10 (t ) + 2p11 (t )
dt
dp11 (t )
= 3p10 (t ) − 2p10 (t )
dt
Contoh Fungsi Probabilitas Transisi
2 3 0 1
p00 (t ) = + e −5t
5 5 0 ⎡ p00 (t ) p01 (t )⎤
P(t ) = ⎢
3 3
p01 (t ) = − e −5t 1 ⎣ p10 (t ) p11 (t )⎥⎦
5 5
2 2
p10 (t ) = − e −5t
5 5
3 2 0 1
p11 (t ) = + e −5t
5 5 0 ⎡2 5 + (3 5)e −5t 3 5 − (3 5)e −5t ⎤
P(t ) = ⎢ ⎥
1 ⎣2 5 − (2 5)e −5t 3 5 + (2 5)e −5t ⎦
Probabilitas Kondisi Mapan

∑π λ
k
k kj =0
∑πi
i =1
Contoh
Matriks laju transisi (transition rate matrix)
0 1
0 ⎡− 3 3 ⎤
Λ = ⎢
1 ⎣ 2 − 2⎥⎦
Probabilitas steady‐state:
2
‐ 3π 0 + 2π 1 = 0 π0 =
‐ 3π 0 + 2π 1 = 0 5
3π 0 − 2π 1 = 0
π 0 + π1 = 1 π1 =
3
π 0 + π1 = 1 5
Hasil‐hasil Rantai Markov Waktu Kontinyu
dpij (t )
Transition probability pij (t ) Sebarang = ∑ pik (t )λkj
dt k
Occupancy probability p j (t ) Sebarang p j (t ) = ∑ pi (0 )pij (t )

i
Steady‐state probability
πj
Ergodic ∑π λ
k
k kj =0 ∑π
i
i =1
Mean first passage time mij Ergodic − λii mij = 1 + ∑ λik mkj

k≠ j
k ≠i
Hasil‐hasil Rantai Markov Waktu Kontinyu
Jenis
Nama Notasi Rumus
Model
Absorption probability aij Absorbing − λii aij = λij + ∑λ a

Trans k ≠ i
ik kj
⎧
∑ k ≠λi ik ekj , i ≠ j
⎪Trans
Mean time in transient ⎪
eij Absorbing − λii eij = ⎨
state ⎪1 +
⎪⎩ Trans∑ k ≠λi ik ekj , i = j
Mean duration di Absorbing di = ∑e
Trans k
ij
Conditional mean first
passage time mij Absorbing − λii aij mij = aij + ∑λ a
Trans k ≠ i
ik kj mkj
Proses Kelahiran‐Kematian
(Birth‐Death Process)
Bentuk khusus dari proses Markov waktu‐
kontinyu
Model‐model antrian sederhana
Diagram Transisi
Matriks Laju Transisi untuk

0 1 2 3 4 L
0 ⎡λ00 λ01 0 0 0 L⎤
1 ⎢λ10 λ11 λ12 0 0 L⎥
⎢ ⎥
2⎢0 λ21 λ22 λ23 0 L⎥
Λ= ⎢ ⎥
3⎢ 0 0 λ32 λ33 λ34 L⎥
L⎢ L L L L L L⎥
⎢ ⎥
L ⎣⎢ L L L L L L⎦⎥
λii = −(λi ,i −1 + λi ,i +1 )
0 1 2 3 4 L

0 ⎡− λ01 λ01 0 0 0 L⎤
1 ⎢ λ10 − (λ10 + λ12 ) λ12 0 0 L⎥
⎢ ⎥
2⎢ 0 λ21 − (λ21 + λ23 ) λ23 0 L⎥
Λ= ⎢ ⎥
3⎢ 0 0 λ32 − (λ32 + λ34 ) λ34 L⎥
L⎢ L L L L L L⎥
⎢ ⎥
L ⎢⎣ L L L L L L⎥⎦
Persamaan Probabilitas Steady‐State
0 = − λ01π 0 + λ10π 1
0= λ01π 0 − (λ10 + λ12 )π 1 + λ21π 2
0= λ12π 1 − (λ21 + λ23 )π 2 + λ32π 3
M M M M
Proses Poisson
(Poisson Process)
Proses Poisson merupakan bentuk khusus dari
proses kelahiran‐kematian.
Proses Poisson merupakan proses kelahiran
murni (pure birth process).
Laju kelahiran (birth rate): λi = λ
Diagram Laju Transisi untuk

Proses Poisson
Proses Poisson
⎡− λ λ 0 0 0L⎤
⎢ 0 −λ λ 0 0L⎥
⎢ ⎥
⎢ 0 0 −λ λ 0 L⎥
Λ=⎢ ⎥
⎢ 0 0 0 − λ λ L⎥
⎢L L L L L L⎥
⎢ ⎥
⎢⎣ L L L L L L⎥⎦
Persamaan Diferensial
dp00 (t )
= −λp00 (t )
dt
dp01 (t )
= λp00 (t ) − λp01 (t )
dt
dp02 (t )
= λp01 (t ) − λp02 (t )
dt
M
Bentuk umum
dp0 j (t )
= λp0 , j −1 (t ) − λp0 j (t ), j>0
dt
Persamaan pertama (dengan p00(0) = 1)
p00 (t ) = e − λt
Persamaan kedua:
dp01 (t )
= λe −λt − λp01 (t )
dt
p01 (t ) = λte −λt
Persamaan ketiga:
dp02 (t ) 2 −λt
= λ te − λp02 (t )
dt
(λt )2 e −λt
p02 (t ) =
2
Bentuk persamaan umum:
(λt ) j e − λt
p0 j (t ) = , j≥0
j!
Distribusi Poisson
Distribusi Poisson:
(λt ) j e − λt
p0 j (t ) = , j≥0
j!
Waktu t konstan Æ λt parameter
{p00(t), p01(t), p02(t), ...} Æ distribusi probabilitas
status pada waktu konstan t Æ Distribusi Poisson
Jumlah kejadian yang terjadi dalam interval waktu
konstan t Æ berdistribusi Poisson dengan parameter
λt (λt = jumlah kejadian rata‐rata dalam waktu t)
Distribusi Eksponensial
Misal Tn merepresentasikan variabel random yang berkaitan
dengan waktu antar kejadian ke (n – 1) dengan ke‐n.
Untuk n = 1, T1, menunjukkan waktu hingga kejadian pertama.
Maka,
p00 (t ) = P (tidak ada kejadian dalam waktu t )
= P (T1 > t )
P (T1 ≤ t ) = 1 − p00 (t )
= 1 − e −λt
Bentuk ini merupakan distribusi eksponensial dengan
parameter λ.
Hubungan Proses Poisson dan Distribusi
Eksponensial
P (Tn ≤ t ) = 1 − pn−1,n−1 (t )
pn−1,n−1 (t ) = e − λt
P (Tn ≤ t ) = 1 − e − λt ; semua n
Waktu antar kejadian dalam Proses Poisson akan berdistribusi

eksponensial dengan parameter yang sama λ.

TI3131-2007-06-07 Markov Chain

Diunggah oleh

Informasi Dokumen

Deskripsi Asli:

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

TI3131-2007-06-07 Markov Chain

Diunggah oleh

Hak Cipta:

Format Tersedia

Rantai Markov

Contoh Proses Stokastik (2)

Misalkan suatu mesin yang dioperasikan sepanjang waktu,

Proses Markov Waktu‐Diskret Status‐Diskret

P{X n = jn | X n−1 = jn−1 , X n−2 = jn−2 ,L , X 0 = j0 }

Proses Markov status‐diskret Æ rantai Markov

Matriks Probabilitas Transisi Satu‐Langkah

pij(n ) = ∑ pik(n−m ) pkj(m ) untuk sebarang m antara 1 dan n

Matriks probabilitas transisi

X t +1 = max{( X t + Ot +1 − Dt +1 ),0}, t = 0,1,2,L

dengan Ot+1 = 0 jika Xt < s dan Ot+1 = S jika Xt ≥ s

 Karena jumlah permintaan pada tiap minggu adalah random,

X t +1 = max{( X t + Ot +1 − Dt +1 ),0}, t = 0,1,2,L

 Probabilitas transisi satu‐langkah:

Karena Xt = 0, maka Xt+1 = max{(3 – Dt+1), 0}

p00 = P{Dt +1 ≥ 3} = 1 − P{Dt +1 ≤ 2}

⎡0,249 0,286 0,286 0,165⎤

⎡0,293 0,292 0,263 0,152⎤

Probabilitas Status atau Okupansi

= ∑ pijn pi(0)

= ∑ pi(0) pijn

p3(0) = 1 ⎢0,351 0,319 0,319 0,097⎥

p3(2) = p0(0) p03

= 0(0,165) + 0(0,233) + 0(0,097) + 1(0,165)

Contoh Perhitungan Probabilitas Okupansi

Jika dianggap probabilitas jumlah persediaan saat ini adalah:

⎡0,249 0,286 0,286 0,165⎤

p3(2) = p0(0) p03

Contoh Perhitungan Probabilitas

Contoh Probabilitas Mapan

π 0 = (0 , 080 )π 0 + (0 , 632 )π 1 + (0 , 264 )π 2 + (0 , 080 )π 3

π 0 = (0 , 080 )π 0 + (0 , 632 )π 1 + (0 , 264 )π 2 + (0 , 080 )π 3

π 0 = 0, 285 ; π 1 = 0, 285 ; π 2 = 0, 264 ; π 3 = 0,166

Probabilitas bahwa jumlah persediaan = 0 dalam jangka panjang

Biaya Rata‐Rata yang diharapkan jangka

Biaya Rata‐Rata yang diharapkan jangka Panjang

⎧10 + 25(3) + 50 max{Dt − 3,0}, X t −1 < 1

Waktu Perjalanan Pertama Rata‐Rata

mij = 1 + ∑ pik mkj

m03 = 1 + (0,080m03 + 0,184m13 + 0,368m23 )

Rata‐rata waktu (minggu) jumlah persediaan =3

Waktu Kembali Rata‐Rata

Contoh Diagram Transisi untuk

1/3 1/4 1 2 3 4

Perhitungan Matriks untuk

Jumlah Masuk Rata‐Rata

Perhitungan Matriks untuk

Jika proses mulai pada status 1, jumlah transisi rata‐rata

Perjalanan Pertama Rata‐Rata Bersyarat

Untuk proses yang reducible:

aij mij = aij + ∑ pik akj mkj

Hasil‐hasil Rantai Markov Waktu Diskret

Nama Notasi Jenis Model Rumus

Transition probability pijn Sebarang pijn = ∑ pikn −1 pkj

Occupancy probability p nj Sebarang p j = ∑ pi0 pijn

Mean first passage time mij Ergodic mij = 1 + ∑ pik mkj

Nama Notasi Jenis Model Rumus

Absorption probability aij Absorbing aij = pij + ∑p

P ( X (t2 ) = j | X (t1 ) = i ) = ( X (t2 − t1 ) = j | X (0 ) = i )

Fungsi Probabilitas Transisi

λij = laju transisi dari status i ke status j

Matriks Laju Transisi

Λ adalah matriks yang elemen ke (i, j) adalah λij

Karena jumlah permintaan pada tiap minggu adalah random,

Probabilitas transisi satu‐langkah: