STEADY STATE

Misalkan {𝑋(𝑡 ): 𝑡 ≥ 0} adalah CTMC dengan ruang state 𝑆. Misalkan untuk setiap
𝑖, 𝑗 ∈ 𝑆, terdapat peluang positif bahwa di mulai dari state 𝑖, proses akan pernah
berada di state 𝑗 (state 𝑖 dan state 𝑗 saling berkomunikasi). Demikian juga, dimulai
dari state 𝑖, proses akan kembali ke state 𝑖, dan ekspektasi banyaknya transisi untuk
kembali ke 𝑖 untuk pertama kalinya adalah berhingga (positive recurrent). Maka
dengan kondisi seperti itu, lim 𝑝𝑖𝑗 (𝑡) ada dan saling bebas dengan 𝑖.
𝑡→∞

Misalkan 𝑝𝑗 ≡ lim 𝑝𝑖𝑗 (𝑡) . Maka 𝑝𝑗 adalah long-run probability proses berada di
𝑡→∞

state 𝑗.

Untuk mendapatkan sebuah himpunan persamaan untuk 𝑝𝑗 , pandang persamaan

berikut:

= lim (𝑝𝑗 − 𝑝𝑗 )
ℎ→0

=0

Dari persamaan forward Kolmogorov

Dan untuk 𝑡 → ∞ maka:

 0 = ∑ 𝑞𝑘𝑗 𝑝𝑘 − 𝑣𝑗 𝑝𝑗
𝑘≠𝑗

Atau equivalen dengan:

∑ 𝑞𝑘𝑗 𝑝𝑘 = 𝑣𝑗 𝑝𝑗 … … … … … … … … …. (1)
𝑘≠𝑗

∑ 𝑝𝑗 = 1 … … … … … … … … …. (2)
𝑗

Persamaan 1 dan 2 mempunyai interpretasi sebagai berikut:

- ketika berada di state 𝑗, proses akan meninggalkan state 𝑗 dengan laju 𝑣𝑗 , dengan
𝑝𝑗 adalah proporsi waktu proses berada di state 𝑗, sehingga:
𝑣𝑗 𝑝𝑗 ≔ laju proses meninggalkan state 𝑗 (laju ‘in’).
- Ketika berada di state 𝑘, proses akan memasuki state 𝑗 dengan laju 𝑞𝑘𝑗 , dan
dengan 𝑝𝑘 menyatakan proporsi dari waktu proses berada di state 𝑘, maka 𝑞𝑘𝑗 𝑝𝑘
adalah laju proses yang berada di state 𝑘 akan bertransisi ke state 𝑗, sehingga

∑ 𝑞𝑘𝑗 𝑝𝑘 ≔ laju proses memasuki state 𝑗 (laju ′out ′ )

𝑘≠𝑗

Jadi persamaan (1) adalah sebuah pernyataan tentang kesamaan antara laju
proses ‘memasuki’ atau ‘meninggalkan’ state 𝑗. Karena kesamaan kedua laju
tersebut, maka persamaan (1) disebut juga persamaan keseimbangan (balance
equation).
 Dari contoh sebelumnya, misalkan 𝑝0 adalah long-run probability tidak ada
penumpang di stasiun yang menunggu kereta tiba, 𝑝1 adalah long-run probability
terdapat paling sedikit 1 penumpang yang menunggu kereta tiba.

Diketahui bahwa:

Persamaan kesetimbangan untuk kasus ini adalah sebagai berikut:

State Laju in = Laju out

0 𝜇𝑝1 = 𝜆𝑝0
1 𝜆𝑝0 = 𝜇𝑝1

Dengan menyelesaikan sistem persamaan:

𝜆𝑝0 = 𝜇𝑝1
{
𝑝0 + 𝑝1 = 1

Diperoleh:
𝜇
𝑝0 =
𝜆+𝜇
𝜆
𝑝1 =
𝜆+𝜇

Nilai 𝑝0 dan 𝑝1 yang sama akan diperoleh melalui penyelesaian 𝑝00 yang diperoleh
pada contoh sebelumnya, yaitu dari
Untuk 𝑡 → ∞ maka

Dengan long-run probability (untuk 𝑡 → ∞):

𝜇
𝑝0 = lim 𝑝00 =
𝑡→∞ 𝜆+𝜇
𝜇 𝜆
𝑝1 = 1 − lim 𝑝00 = 1 − =
𝑡→∞ 𝜆+𝜇 𝜆+𝜇

PROSES KELAHIRAN DAN KEMATIAN

Proses kelahiran dan kematian adalah tipe khusus dari CTMC. Misalkan
sebuah CTMC mempunyai ruang state {0,1,2, … }. Jika 𝑞𝑖𝑗 = 0 untuk 𝑗 ≠ 𝑖 − 1 atau
𝑗 ≠ 𝑖 + 1 maka CTMC disebut proses kelahiran dan proses kematian. Jadi proses
kelahiran dan kematian adalah Rantai Markov dimana transisi dari state 𝑖 hanya
mungkin ke state 𝑖 + 1 atau 𝑖 − 1. Transisi pada proses kelahiran dan proses
kematian menambahkan atau mengurangi state sebesar 1. Sebuah kelahiran dikatakan
terjadi jika state bertambah satu, dan dikatakan kematian terjadi jika state berkurang satu.
 Untuk proses kelahiran dan kematian, laju transisi dari state 𝑖 didefinisikan sebagai berikut:

𝜆𝑖 = 𝑣𝑖 𝑝𝑖(𝑖+1) = 𝑞𝑖,𝑖+1

𝜇𝑖 = 𝑣𝑖 𝑝𝑖(𝑖−1) = 𝑞𝑖,𝑖−1 … … … … … … … … …

Jadi 𝜆𝑖 adalah laju kelahiran ketika proses berada di state 𝑖; 𝜇𝑖 adalah laju kematian ketika proses
berada di state 𝑖; sedangkan 𝜆𝑖 + 𝜇𝑖 adalah laju transisi meninggalkan state 𝑖. Diagram laju transisi
state dari sebuah proses kelahiran dan kematian diperlihatkan pada Gambar 1. Disebut diagram
laju, bukan diagram transisi state, karena diagram tersebut memperlihatkan laju proses berpindah
dari state ke state lain, dan bukan peluang perpindahan dari satu state ke state lain. Sebagai
akibatnya, 𝜇0 = 0, karena tidak ada kematian ketika proses berada di state 0.

Gambar 1. Diagram Laju transisi state

Ketika proses berada di state 𝑖, peluang transisi ke state berikutnya adalah 𝑝𝑖(𝑖+1) dan
𝑝𝑖(𝑖−1) . Sehingga diperoleh hubungan antara laju kelahiran, laju kematian dan
peluang transisi diberikan sebagai berikut:

Suatu proses kelahiran dan kematian disebut proses kelahiran murni jika 𝜇𝑖 = 0 untuk
setiap 𝑖, dan disebut proses kematian murni jika 𝜆𝑖 = 0. Dari kedua proses tersebut, proses
kelahiran murni lebih menarik untuk dikaji karena menggambarkan dinamika populasi yang terus
bertambah karena kemampuan bertahan hidup dan melahirkan keturunan. Proses kelahiran murni
disebut juga proses Yule.

Persamaan kesetimbangan untuk proses kelahiran dan kematian

Persamaan kesetimbangan untuk proses kelahiran dan kematian adalah:

……………………. (3)

Sistem persamaan tersebut menyatakan bahwa laju proses meninggalkan state 𝑖 (baik karena
kelahiran terjadi atau kematian terjadi) sama dengan laju proses memasuki 𝑖 (dari state 𝑖 − 1 jika
kelahiran terjadi, atau dari state 𝑖 + 1 jika kematian terjadi). Jadi laju memasuki state 𝑖 sama
dengan laju meninggalkan state 𝑖.

Persamaan (3) selanjutnya dapat dituliskan dalam bentuk:

atau

Karena ∑∞
𝑛=0 𝑃𝑛 = 1, yang juga berarti bahwa
maka diperoleh

sehingga

Persamaan terakhir menunjukkan bahwa 𝑃𝑛 ada apabila

Jika 𝜆𝑖 = 𝜆 dan 𝜇𝑖 = 𝜇 untuk setiap 𝑖, maka:

∞ −1
𝜆 𝑛
𝑃0 = [1 + ∑ ( ) ]
𝜇
𝑛=1

𝜆
Karena deret di ruas kanan konvergen jika 𝜇 < 1, yang ekuivalen dengan 𝜆 < 𝜇 maka

Dengan syarat ini diperoleh solusi sebagai berikut:

𝜆
𝑃0 = 1 −
𝜇

𝜆 𝜆 𝑛
𝑃𝑛 = (1 − ) ( )
𝜇 𝜇

Persamaan Forward untuk proses Kelahiran dan Kematian

Pada pembahasan sebelumnya telah diberikan bahwa untuk setiap state 𝑖, 𝑗 ∈ 𝑆 dan 𝑡 ≥ 0,
Persamaan Forward Kolmogorov adalah:
 ……………. 2)

 Sistem Persamaan differensial Forward Kolmogorov untuk proses Yule (kelahiran

murni).
Berdasarkan persamaan 2) maka:
′ ( )
𝑝𝑖𝑗 𝑡 = 𝑞𝑗−1,𝑗 𝑝𝑖,𝑗−1 (𝑡) + 𝑞𝑗+1,𝑗 𝑝𝑖,𝑗+1 (𝑡) − 𝑣𝑗 𝑝𝑖,𝑗 (𝑡)
= 𝜆𝑗−1 𝑝𝑖,𝑗−1 (𝑡) − 𝜆𝑗 𝑝𝑖,𝑗 (𝑡)
Karena 𝑝𝑖𝑗 (𝑡) = 0 untuk 𝑗 < 𝑖 maka persamaan di atas dapat ditulis kembali sebagai berikut:
𝑝𝑖𝑖′ (𝑡) = −𝜆𝑖 𝑝𝑖𝑖 (𝑡)
′ ( )
𝑝𝑖𝑗 𝑡 = 𝜆𝑗−1 𝑝𝑖,𝑗−1 (𝑡) − 𝜆𝑗 𝑝𝑖,𝑗 (𝑡) 𝑗 ≥𝑖+1
Berdasarkan kedua persamaan tersebut maka, untuk proses Yule:

 Sistem Persamaan differensial Forward Kolmogorov untuk Proses kelahiran dan

kematian.

Berdasarkan persamaan 2) maka:

 Sistem Persamaan differensial Backward Kolmogorov untuk proses Kelahiran dan

Kematian
 Pada pembahasan sebelumnya telah diberikan bahwa untuk setiap state 𝑖, 𝑗 ∈ 𝑆 dwan 𝑡 ≥
0, Persamaan Backward Kolmogorov adalah:

………… 3
 Sistem Persamaan differensial Backward Kolmogorov untuk proses Yule (kelahiran murni).
Berdasarkan persamaan 3) maka Persamaan backward untuk proses kelahiran murni menjadi:

Persamaan backward untuk proses kelahiran dan kematian menjadi:

Atau ekuivalen dengan:

Contoh
1
Sebuah mesin bekerja sepanjang waktu yang berdistribusi eksponensial dengan mean 𝜆 sebelum
mengalami kerusakan. Misalkan lamanya waktu perbaikan mesin berdistribusi eksponensial
1
dengan mean 𝜇. Jika mesin bekerja pada saat 𝑡 = 0, berapa peluang mesin masih akan sementara
bekerja pada saat 𝑡 = 10?

Untuk menjawab pertanyaan ini, kita bisa meninjau proses ini sebagai proses kelahiran dan
kematian (state 0 berarti mesin bekerja dan state 1 mesin dalam perbaikan) dengan parameter
masing-masing sebagai berikut:
Pertanyaan adalah berapa 𝑃00 (10)?

Dari persamaan 1 di atas, maka dalam kasus ini kita mempunyai persamaan sebagai berikut:

Kalikan kedua persamaan dengan 𝜇 dan 𝜆 untuk masing-masing persamaan, diperoleh:

Selanjutnya diintegralkan dan diperoleh:

Karena 𝑃00(0) = 1 dan 𝑃10 (0) = 0 maka 𝑐 = 𝜇 sehingga:

Atau ekuivalen dengan

Substitusi persamaan ini ke dalam persamaan 6.10

Misalkan

Maka
Integralkan kedua ruas diperoleh:

Atau

Untuk 𝑡 = 0 dan karena 𝑃00(0) = 1

Maka:

Dan dari 6.12 diperoleh:

Jadi untuk 𝑡 = 10, maka

dan
=======================================================================