PENELITIAN OPERASIONAL II

MARKOV CHAIN (RANTAI MARKOV KONTINU)

Puji Handayani Kasih, S.T., M.T.
RANTAI MARKOV WAKTU KONTINU
A continuous –time stochastic process is simply the stochastic process in which the state of the system
can be viewed at any time, not just at discrete instants in time.
For example, the number of people in a supermarket t minutes after the store opens for business may
be viewed as a continuous-time stochastic process.
• Waktu berjalan secara Kontinu
𝑡0 𝑡1 𝑡2 𝑡3 𝑡𝑛−1 𝑡𝑛 𝑡𝑛+1

0 1 2 3 4 5 6 7 8 9 10

Pr 𝑋𝑛−1 = 𝑗 𝑋𝑛 = 𝑖; … ; 𝑋1 = 𝑘1 ; 𝑋0 = 𝑘0 )

Pr 𝑋 𝑡𝑛+1 = 𝑗 𝑋(𝑡𝑛 ) = 𝑖; … ; 𝑋(𝑡1 ) = 𝑘1 ; 𝑋(𝑡0 ) = 𝑘0 )

 RANTAI MARKOV WAKTU KONTINU
Sojourn time/residence time

Pr 𝑋 𝑡𝑛+1 = 𝑗 𝑋(𝑡𝑛 ) = 𝑖; … ; 𝑋(𝑡𝑛−1 ) = 𝑘𝑛−1 ; 𝑋(𝑡0 ) = 𝑘0 )

=Pr 𝑋 𝑡𝑛+1 = 𝑗 𝑋(𝑡𝑛 ) = 𝑖

Sojourn time/residence time Distribusi Eksponensial dengan rate  ∈ 𝑅

Fungsi densitas probabilitas adalah
Pr 𝑇 = 𝑡 = 𝑓(𝑡) = 𝑒 −𝑡
Fungsi distribusi kumulatif adalah
Pr 𝑇 ≤ 𝑡 = 𝐹(𝑡) = 1 − 𝑒 −𝑡
RANTAI MARKOV WAKTU KONTINU
𝑏1
1
𝑏 2 3 4
1−𝑟 1−𝑟
(1 − 𝑏)1 1 − 𝑏 1 1 2
(1 − 𝑟)2
3 (1 − 𝑟)3
4
working 𝑟 broken
𝑟2
𝑟
𝑟3
1
4
1 adalah rate distribusi eksponensial yang merepresentasikan sojourn time pada state i.
RANTAI MARKOV WAKTU KONTINU
Spesifikasi CTMC
(1) State space 𝑆 = 1,2,3, … , 𝑁
(2) Distribusi Probabilitas Inisial:
𝜋𝑖 0 − Pr 𝑋 𝑡0 − 𝑖

dapat diungkapkan oleh vector probabilitas inisial:

՜(0)=[𝜋1 0 , 𝜋2 0 , 𝜋3 0 , …, 𝜋𝑁 0 ]
𝜋

(3) Rate transisi untuk semua kemungkinan i dan j

RANTAI MARKOV WAKTU KONTINU
(3) Rate transisi untuk semua kemungkinan i dan j yang dinyatakan oleh matriks rate transisi
𝑝1,1 𝑝1,2 𝑝1,3 … 𝑝1,𝑁
𝑝2,1 𝑝2,2 𝑝2,3 … 𝑝2,𝑁
𝑃 = 𝑝3,1 𝑝3,2 𝑝3,3 … 𝑝3,𝑁 𝐸 = [1 , 2 , 3 , … , 𝑚 ] 𝑅 = 𝐸𝑃
⋮ ⋮ ⋮ ⋱ ⋮
𝑝𝑁,1 𝑝𝑁,2 𝑝𝑁,3 … 𝑝𝑁,𝑁

Dimana parameter {𝑟1 , 1 ≤ 𝑖 ≤ 𝑁} dan{𝑝𝑖,𝑗 , 1 ≤ 𝑖, 𝑗 ≤ 𝑁} dari rate{𝑟𝑖,𝑗 , 1 ≤ 𝑖, 𝑗 ≤ 𝑁}

𝑁 𝑟1,1 𝑟1,2 𝑟1,3 … 𝑟1,𝑁

𝑟𝑖 = ෍ 𝑟𝑖,𝑗 , 𝑟2,1 𝑟2,2 𝑟2,3 … 𝑟2,𝑁
𝑗=1
R = 𝑟3,1 𝑟3,2 𝑟3,3 … 𝑟3,𝑁
𝑟𝑖,𝑗
𝑝𝑖,𝑗 = jika 𝑟𝑖 ≠ 0. ⋮ ⋮ ⋮ ⋱ ⋮
𝑟𝑖 𝑟𝑁,1 𝑟𝑁,2 𝑟𝑁,3 … 𝑟𝑁,𝑁
𝑟𝑖,𝑖 = 0 𝑢𝑛𝑡𝑢𝑘 𝑠𝑒𝑚𝑢𝑎 1 ≤ 𝑖 ≤ 𝑁.
RANTAI MARKOV WAKTU KONTINU
Generator Matrix dari CTMC
Matriks generator Q adalah sama dengan matriks R dengan elemen diagonal diganti dengan −𝑟1

−𝑟1 jika 𝑖 = 𝑗
𝑞𝑖,𝑗 =ቊ
𝑟𝑖,𝑗 jika 𝑖 ≠ 𝑗

Pada ruas kiri 𝜋𝑗 𝑞𝑗 pada partikel tersebut yang

mengeksekusi proses rantai Markov yang bergerak pada
state j. tingkat tersebut harus sama denga jangka Panjang
(the long run rate) pada partikel yang dating pada state j.
dengan kedatangan suatu partikel i ≠ j, sebuah partikel
bergerak dari state i ≠ 𝑗ke state j pada tingkat 𝑞𝑖𝑗 . Sehingga
pada ruas kanan σ𝑖≠𝑗 𝜋𝑗 𝑞𝑖𝑗 memberikan total tingkat
partikel yang datang
RANTAI MARKOV WAKTU KONTINU
Pada ruas kiri 𝜋𝑗 𝑞𝑗 pada partikel tersebut yang
mengeksekusi proses rantai Markov yang bergerak pada
state j. tingkat tersebut harus sama denga jangka Panjang
(the long run rate) pada partikel yang dating pada state j.
dengan kedatangan suatu partikel i ≠ j, sebuah partikel
bergerak dari state i ≠ 𝑗ke state j pada tingkat 𝑞𝑖𝑗 . Sehingga
pada ruas kanan σ𝑖≠𝑗 𝜋𝑗 𝑞𝑖𝑗 memberikan total tingkat
partikel yang datang
APLIKASI RANTAI MARKOV WAKTU KONTINU
Consider a shoeshine shop consisting of two chairs. Suppose that an entering customer first will go to chair 1.
When his work is completed in chair 1, he will go either to chair 2 if that chair is empty or else wait in chair 1 until
chair 2 becomes empty.
Suppose that a potential customer will enter this shop as long as chair 1 is empty. (Thus, for instance, a potential
customer might enter even if there is a customer in chair 2.)

If we suppose that potential customers arrive in accordance with a Poisson process at rate , and that the service
times for the two chairs are independent and have respective exponential rates of 𝜇1 and 𝜇2, then: If  = 1, 𝜇1 =
1, 𝜇2 = 2

What is the probability of potential customers enters the system?

APLIKASI RANTAI MARKOV WAKTU KONTINU
Sederhanakan case menjadi State sebagai berikut
State
(0,0) Tidak ada pelanggan di system
(1,0) 1 pelanggan duduk di kursi 1
(0,1) 1 pelanggan duduk di kursi 2
(1,1) 2 pelanggan masing masing sedang dilayani di kursi 1 dan kursi 2
(b,1) 2 pelanggan, dikursi 1 selesai dilayani dan sedang menunggu pelanggan lain yang masih dilayani di kursi 2

 𝜇2
(1,0) (1,1)

(0,0) 𝜇1
 𝜇1
(0,1)
𝜇2 (b,1)

𝜇2
 APLIKASI RANTAI MARKOV WAKTU KONTINU
 𝜇2 State Laju Masuk Laju Keluar
(1,0) (1,1)
(0,0) 𝑝00 = 𝜇2 𝑝01 (1)
(0,0) 𝜇1 (1,0) 𝜇1 𝑝10 = 𝑝00 + 𝜇2 𝑝11 (2)
 𝜇1 (0,1) 𝜇2 𝑝01 + 𝑝01 = 𝜇1 𝑝10 + 𝜇2 𝑝𝑏1 (3)
(0,1) (1,1) 𝜇2 𝑝11 + 𝜇1 𝑝11 = 𝑝01 (4)
𝜇2 (b,1) (b,1) 𝜇2 𝑝𝑏1 = 𝜇1 𝑝11 (5)
𝜇2 𝑝00 + 𝑝01 + 𝑝10 + 𝑝11+ 𝑝𝑏1 =1 (6)

Potential pelanggan masuk ke dalam Ubah dalam bentuk 𝑝00 Subtitusi ke Persamaan 2,5 dan
system adalah pada saat kursi 1 kosong, Persamaan 1: terakhir ke persamaan 6
12 6 18 𝑝 sehingga didapatkan
sehingga 𝑝00 + 𝑝01 = 37+ 37= 37 𝑝01 = 𝜇 00 6 2
2 𝑝00 = 12 , 𝑝01 = , 𝑝11 = ,
Subtitusi ke Persamaan 4 37
1
37
16
37
𝑝 ++ 𝜇 𝑝 𝑝𝑏1 = , 𝑝10 =
𝑝11= 00 𝜇 2 11 37 37
1
TUGAS
Silahkan kerjakan subtitusi dari penyelesaian soal di atas
MENENTUKAN VECTOR PELUANG STASIONER
MENGGUNAKAN RATE MATRIKS
Sebuah system dapat dimodelkan dengan menggunakan 3 state berikut ini:

3 3

−3 3 0 =0 −3 3 0
1 2 3 𝑄 = 10 −13 3 𝑄 = 10 −13 3
20 0 −20 20 0 −20
10

20 =0

Tentukanlah Rate Matrix

Tentukanlah Probabilitas stasioner −3𝜋1 + 10𝜋2 + 20𝜋3 = 0
𝜋1 = 0.7903 3𝜋1 − 13𝜋2 =0
𝜋2 = 0.1824 3𝜋2 − 20𝜋3 = 0
𝜋3 = 0.2736 𝜋1 +𝜋2 + 𝜋3 = 0
LATIHAN
Sebuah system dapat dimodelkan dengan menggunakan 3 state berikut ini:
Tentukanlah Rate Matrix
Tentukanlah Probabilitas stasioner

2
8 9

1 3
3
PROSES KELAHIRAN MURNI
PROSES KELAHIRAN MURNI
TEOREMA 1
TEOREMA 2
CONTOH PROSES KELAHIRAN MURNI
CONTOH
MISAL
CONTOH
2. PROSES YULE
CONTOH PROSES KELAHIRAN MURNI
JAWAB
PROSES KEMATIAN MURNI
CONTOH KEMATIAN MURNI
TENTUKAN
CONTOH PROSES KEMATIAN MURNI
JAWAB
TERIMA KASIH