RANTAI MARKOV WAKTU KONTINU

4.1. Pengantar
Rantai Markov waktu kontinu memainkan peranan yang penting dalam teori dan
aplikasi dalam banyak bidang. Diantaranya dalam teori antrian dan penyediaan,
pertumbuhan populasi, biologi, ekonomi, sistem rekayasa, dan ilmu sosial. Sebelumnya kita
perkenalkan dulu fungsi o(h) seperti definisi berikut.

Definisi 4.1.1
f(h)
Fungsi f(h) dikatakan o(h) jika lim
h 0 h

Contoh.
Untuk interval (waktu) kecil, kita punya

(λh) 2 (λh) 3
1  e  λh  λh    ...  λh  o(h)
2! 3!

(λh) 2 (λh) 3
e  λh  1  λh    ...  1  λh  o(h)
2! 3!
Persamaan di atas menunjukkan bahwa peluang terjadinya suatu kejadian dalam interval
kecil h > 0 adalah λh  o(h) dan tidak terjadinya adalah 1 - λh  o(h)
Dalam bagian ini kita membatasi pembicaraan kita dalam kasus di mana {X(t)}
adalah proses Markov dengan peluang transisi stasioner. Karena itu fungsi peluang transisi
untuk t > 0
Pij(t) = P{X(t + u) = j | X(u) =i}, i, j = 0, 1, 2, …
bebas dari u ≥ 0.

Definisi 4.1.2
Proses Stokhastik {X(t) | t ≥ 0} adalah sebuah rantai Markov waktu kontinu jika untuk
setiap s, t ≥ 0 dan bilangan bulat tak negatif i, j, x(u), 0 ≤ u ≤ s maka
P{X(t + s) = j | X(s) = i, X(u) = x(u), 0 ≤ u ≤ s} = P{X(t + s) = j | X(s) = i}

Untuk sebarang t ≥ 0, s ≥ 0 maka

Pij(t) = P{X(t+s) = j | X(s) = i}
disebut peluang transisi, di mana diasumsikan Pij(t) bebas dari waktu s, sehingga proses ini
adalah stasioner. Dalam bab ini kita akan mengembangkan rantai Markov kontinu dengan
peluang transisi stasioner.

57
 Definisi 4.1.3
Persamaan Chapman-Kolmogorov untuk rantai Markov waktu kontinu adalah
4.2 Proses Kelahiran Murni

Pij (t  s)   Pik (t ) Pkj ( s)
k 0

untuk sebarang i dan j.

4.2 Proses Kelahiran Murni

Definisi 4.2.1
Misalkan {λk} adalah sebuah barisan bilangan positif. Proses kelahiran murni adalah
proses Markov yang memenuhi:
(i). Pk,k+1(h) = P{X(t + h) – X(t) = 1 | X(t) = k}= λkh + o(h) dengan h → 0+
(ii). Pk,k(h) = P{X(t + h) – X(t) = 0 | X(t) = k}= 1 - λkh + o(h) dengan h → 0+
(iii). P{X(t + h) – X(t) < 0 | X(t) = k}= 0, dengan k ≥ 0.
(iv). X(0) = 0.

Di sini X(t) tidak menunjukkan ukuran dari populasi tetapi lebih menunjukkan banyaknya
kelahiran selama interval waktu (0, t].

X(t)

5
4
3
2
1
0

Gambar 2. Fungsi sampel dari Proses Kelahiran Murni t

Teorema 4.2.1
Misalkan Pn(t) = P{X(t) = n} dan X(0) = 0. Maka Pn(t) memenuhi sistem persamaan
diferensial berikut.

P0' (t)  λ 0 P0 (t)

'
Pn (t)  λ n Pn (t)  λ n -1Pn -1 (t), n  1

dengan syarat batas P0 (0)  1. dan Pn (0)  0, n  0

58
Bukti.

( t) m e  λt
Untuk membuktikan persamaan pertama kita misalkan Pm (t)  . untuk m = 0,
m!
 λt '  λt
1, 2, .... Maka P0 (t)  e , sehingga P0 (t)  λe  -  P0 (t)
Berikutnya akan dibuktikan persamaan kedua.

Pn (t  h) =  P{X(t  h)  n | X(t)  k}P{X(t)  k}
k 0

=  Pk (t).P{X(t  h)  n | X(t)  k}
k 0

=  Pk (t).P{X(t  h) - X(t)  n - k | X(t)  k}
k 0

Untuk k = 0, 1, …, n-2 kita punya

P{X(t  h) - X(t)  n - k | X(t)  k}  P{X(t  h) - X(t)  n - k | X(t)  k}

 o1, k (h )  o2, k (h)

atau
P{X(t  h) - X(t)  n - k | X(t)  k}  o 3, n, k (h) untuk k = 0, 1, …, n-2

Maka
n2
Pn (t  h)  Pn (t)[1 - λ n h  o 2, n (h)]  Pn -1 (t)[λ n -1h  o1, n (h)]   Pk (t).o 3, n, k (h )
k 0
atau
Pn (t  h) - Pn (t)  Pn (t)[-λ n h  o 2, n (h)]  Pn -1 (t)[λ n -1h  o1, n (h)]  o n (h )

Jika persamaan ini dibagi dengan h dan diambil limitnya untuk h menuju 0 maka diperoleh
'
Pn (t)  λ n Pn (t)  λ n -1Pn -1 (t)

X(t)
1 - λkh + o(h)
k
k
k-1
λk-1h + o(h)
k-2

.
. o(h)
.

0 t t+ h

Gambar 2. Interpretasi dari teorema 4.1

59
Persamaan dari teorema 4.2.1 secara rekursif dapat diselesaikan dengan menggunakan
sistem persamaan berikut.

P0 (t)  e  λ 0 t

Pn (t)  λ n 1e λ n t 0t e λ n x Pn 1 (x)dx (n  1, 2, ...)

dengan syarat batas P0 (0)  1. dan Pn (0)  0, n  0

Bila semua parameter kelahiran λ1 , λ2 , …, λN berbeda yaitu λj  λk untuk j  k maka

persamaan di atas dapat diselesaian dengan formula eksplisit

P0 (t)  e λ 0 t

1 1
P1 (t)  λ0 ( eλ0t  e  λ1 t )
λ1 - λ 0 λ 0 - λ1
dan Pn(t) = P{X(t) = n | X(0) = 0}

= λ0 … λn-1 [ B0, n e λ 0 t  ...  Bn, n e λ n t ]

1
dimana B 0, n 
(λ1  λ 0 )...( λ n  λ 0 )

1
B k, n  untuk 0 < k < n
(λ 0  λ k )...(λ k -1  λ k )( λ k 1  λ k )...(λ n  λ k )

1
dan B n, n 
(λ 0  λ n )...( λ n -1  λ n )
Untuk membuktikan hal ini memenuhi persamaan, kita substitusikan ke persamaan
tersebut. Untuk n = 1 diperoleh

Pn (t)  λ n 1e λ n t 0t e λ n x Pn 1 (x)dx

P1 (t)  λ 0e λ1t 0t e λ1x P0 (x)dx

P1 (t)  λ 0e λ1t 0t e λ1x e -λ 0 x dx

P1 (t)  λ 0 e  λ1t (λ 0  λ n ) 1[1  e ( λ 0 - λ1 )t ]

1 1
P1 (t)  λ0 ( eλ0t  e  λ1 t )
λ1 - λ 0 λ 0 - λ1
Bukti dapat diteruskan dengan menggunakan induksi.

Teorema 4.2.2
Untuk proses kelahiran murni {X(t), t ≥ 0} dengan parameter {λk, k = 0, 1, 2, …} maka
  1
 Pn (t )  1 untuk semua t ≥ 0 jika dan hanya jika  
n 0 k 0 λ k

60
 Proses Yule dalam biologi dan proses Furry dalam fisika dikenal dengan baik
sebagai contoh dari proses kelahiran murni. Yule terkenal dengan teori matematika untuk
evolusi dan Furry dengan proses tentang yang berhubungan dengan sinar kosmik. Untuk
proses Yule kita asumsikan bahwa setiap anggota dalam suatu populasi mempunyai
peluang λh + o(h) memberikan anggota baru dalam suatu interval waktu. Misalkan
diberikan X(0) = i ( i bilangan Asli) banyak anggota pada waktu 0, dan asumsikan setiap
anggota saling bebas dan tidak ada interaksi, maka kita punya
 k  1
P{ X(t + h) – X(t) = 1 | X(t) = k + i} =  [λh  o(h)][1 - λh  o(h)] k  i -1
 1 
= (k  i)λ)  o(h)
yang berakibat λk+1 = (k + i)λ.
Contoh (Proses Yule)
Dengan mengasumsikan i = 1 untuk proses Yule, kita dapat menyelesaikan P k(t) (k = 1, 2,
3, …) secara rekursif. Yaitu,
t
P1 (t )  e λt , P2 (t )  λe  2λt  e 2λx P1 ( x)dx e  λt (1  e  λt ) ,
0

t
P3 (t )  2λe  3λt  e 3λx P2 ( x)dx e  λt (1  e  λt ) 2 dan
0

t
Pk 1 (t )  kλe  ( k 1) λt  e ( k 1) λx Pk ( x)dx e  λt (1  e  λt ) k
0

di mana peluang transisi Pk(t) menunjukkan bahwa proses dalam state k (k anggota) pada
waktu t, jika diberikan dalam state 1 (1 anggota) pada waktu 0.
Fungsi pembangkit untuk Pk(t) (k = 1, 2, 3, …) diperoleh dengan
menjumlahkannya atas k,
 se  λt
g ( s)   Pk (t ) s k  (0  | s |  1)
k 1 1  (1  e  λt ) s
Mean dan variansinya adalah

E[ X (t )]  re λt dan Var[ X (t )]  r (1  e λt )e 2λt

4.3 Proses Kematian Murni
Proses kematian murni adalah komplemen dari proses kelahiran murni. Proses
kematian murni bergerak melalui state N, N-1, …, 2, 1 dan otomatis terserap di state 0.
Proses ini ditandai dengan parameter kematian μk untuk k = 1, 2, …, N dimana sojourn
time dalam state k berdistribusi eksponensial dengan parameter μk, semua sojourn time
saling bebas.

61
 Definisi 4.3.1
Misalkan {μk} adalah sebuah barisan bilangan positif. Proses kematian murni adalah
proses Markov yang memenuhi:
(i). Pk,k-1(h) = P{X(t + h) – X(t) = -1 | X(t) = k}= μkh + o(h)
(ii). Pk,k(h) = P{X(t + h) – X(t) = 0 | X(t) = k}= 1 - μkh + o(h)
(iii). P{X(t + h) – X(t) > 0 | X(t) = k}= 0, dengan k ≥ 0.

Bila semua parameter kematian μ1 , μ2 , …, μN berbeda yaitu μj  μk untuk j  k maka kita

punya peluang transisi eksplisit
t
PN (t)  e  μN dan untuk n < N
μ n t μ N t
Pn(t) = P{X(t) = n | X(0) = N}= μn+1μn+2 …μN[ A n, n e  ...  A N, n e ]

dimana
1
A k, n 
(μ N  μ k )...(μ k 1  μ k )(μ k -1  μ k )...(μ n  μ k )

X(t)

5
4
3
2
1
0

Gambar 2. Fungsi Sampel dari Proses Kematian Murni t

Dalam proses kelahiran murni adalah alami, kejadiannya terjadi tak hingga kali dalam
sebuah interval waktu sangat kecil. Tapi dalam proses kematian murni, paling banyak n
kejadian terjadi untuk sebarang interval waktu, karena tidak ada kejadian terjadi sehingga
proses mencapai state 0, yaitu state menyerap. Misalkan
Pk(t) = P{X(t) = k | X(0) = n} (k = 0, 1, 2, …, n)
adalah peluang transisi dengan menetapkan kondisi awal X(0) = n. Maka kita punya

Pn' (t )  μ n Pn (t )

Pk' (t )  μ k Pk (t )  μ k 1Pk 1 (t ) (k  1, 2, ..., n - 1)

P0' (t )  μ1 P1 (t )

62
Sistem persamaan ini disebut persamaan forward Kolmogorov untuk proses kematian
murni. Dengan menetapkan parameter {μk, k = 1, 2, …, n}, dapat diperoleh peluang transisi
Pk(t) (k = 0, 1, 2, …, n).
Contoh
Dengan menetapkan μk = μ (k = 0, 1, 2, …, n) dan Pn(0) = 1, Pk(0) = 0 (k = 0, 1, 2, …, n-1),
maka diperoleh

(μt) n  k  μt
Pk (t )  e (k  1, 2, ..., n)
(n - k)!
dan
n
P0 (t )  1   Pk (t )
k 1

n (μt) n  k
= 1  e  μt
k 1 ( n  k )!

n 1 (μt) k
= 1  e  μt
k 0 k!
yang dapat digambarkan oleh distribusi gamma X ~ GAM(μ, n), karena peluang transisi
P0(t) adalah distribusi dari jumlah n peubah acak bebas eksponensial dengan parameter μ.
4.4 Proses Kelahiran dan Kematian
Proses Kelahiran dan Kematian merupakan kombinasi dari proses kelahiran murni
dan kematian murni yang contoh fungsinya dapat dilihat pada gambar 2.

X(t)

Gambar 2. Fungsi Sampel dari Proses Kelahiran dan Kematian t

63
 Definisi 4.4.1
Misalkan {λk} dan {μk} adalah barisan bilangan positif. Proses kelahiran dan kematian
adalah proses Markov yang memenuhi:
(i). Pk,k+1(h) = P{X(t + h) – X(t) = 1 | X(t) = k}= λkh + o(h)
(ii) Pk,k-1(h) = P{X(t + h) – X(t) = -1 | X(t) = k}= μkh + o(h)
(ii). Pk,k(h) = P{X(t + h) – X(t) = 0 | X(t) = k}= 1 – (λk + μk)h + o(h)
(iii). Pij(0) = δij
(iv). λ0 > 0, μ0 = 0, λk, μk > 0, k = 1, 2, 3, ….

Misalkan
Pij (t )  P{X (t )  j | X (0)  i} (i, j = 0, 1, 2, …)

adalah peluang transisi stasioner bahwa proses pada state j pada waktu t, jika diberikan
proses pada state i pada waktu 0. Dengan menggunakan persamaan Chapman-Kolmogorov
dan asumsikan waktu t dan h > 0 interval waktu yang sangat kecil, untuk j = 0 maka kita
punya
Pi0 (t  h)  Pi0 (t ) P{X (t  h)  X (t )  0 | X (t )  0}

 Pi1 (t ) P{X (t  h)  X (t )  1 | X (t )  1}

  Pik (t ) P{ X (t  h)  X (t )  k | X (t )  k}
k 2

= Pi0(t)[1 - λ0h + o(h)] + Pi1(t)[μ1h + o(h)] + o(h)

Dengan menyusun kembali dan mengambil h → 0 diperoleh
dPi 0 (t )
Pi'0 (t )  = - λ0 Pi0(t) + μ1 Pi1(t)
dt
Secara serupa maka untuk j diperoleh
Pij (t  h)  Pi, j 1 (t ) P{X (t  h)  X (t )  1 | X (t )  j  1}

 Pij (t ) P{X (t  h)  X (t )  0 | X (t )  j}

 Pi, j 1 (t ) P{X (t  h)  X (t )  1 | X (t )  j  1}


  Pik (t ) P{ X (t  h)  X (t )  j  k | X (t )  k}
k  2,
k  j 1, j , j 1

= Pi,j-1(t)[λj-1h + o(h)] + Pij(t)[1 – (λj + μj)h + o(h)]

+ Pi,j+1(t)[ μj+1h + o(h)] + o(h)
Dengan menyusun kembali dan mengambil h → 0 diperoleh

Pij' (t ) = λj-1 Pi,j-1(t) - (λj + μj)Pij(t) + μj+1 Pi,j+1(t) (j = 1, 2, ...)

64
 Definisi 4.4.2
Persamaan forward Kolmogorov untuk proses kelahiran dan kematian adalah
dPi 0 (t )
Pi'0 (t )  = - λ0 Pi0(t) + μ1 Pi1(t)
dt

Pij' (t ) = λj-1 Pi,j-1(t) - (λj + μj)Pij(t) + μj+1 Pi,j+1(t) (j = 1, 2, ...)

dengan kondisi awal

Pii(0) = 1, Pij(0) = 0 (i ≠ j

Kita akan bahas perhitungan secara numerik dari peluang transisi untuk rantai Markov state
berhinga yang umum. Untuk menjelaskan persamaan diferensial dalam teorema 4.4.2 , kita
analogikan modelnya seperti tangki air. Misalkan sebuah tangki mempunyai ketinggian air
x(t) pada waktu t, di mana air yang masuk adalah I perunit waktu dan air yang keluar O
perunit waktu. Persamaan diferensial yang berhubungan dengan x(t) adalah
dx(t )
 I O
dt
Jika ada dua tangki air yang bertingkat maka persamaan diferensialnya adalah
dx1 (t ) dx 2 (t )
 I1  O1 ,  I 2  O2 (O1  I 2 )
dt dt
dimana x1(t) dan x2(t) tinggi air pada tangki 1 dan 2 pada waktu t.
Contoh (Proses Pertumbuhan Linear)
Suatu proses kelahiran dan kematian Proses Pertumbuhan Linear jika
λ k  kλ , μ k 1  (k  1)μ (k = 0, 1, 2, …)
Contoh dari proses seperti ini ditemukan dalam reproduksi dan pertumbuhan populasi.
Dengan menetapkan λ0 = 0 dan hanya state 0 sebagai state menyerap, maka kita punya
persamaan maju Kolmogorov:

Pi'0 (t )  μPi1 (t )

Pij' (t )  ( j  1)λPi, j 1 (t )  j (λ  μ ) Pij (t )  ( j  1)μPi, j 1 (t ) (j = 1, 2, …)

Dengan mengasumsikan X(0) = i ≥ 1, maka ekspektasi pada waktu t adalah


M (t )  E[ X (t )]   jPij (t )
j 0

Jika dikalikan persamaan Pij' (t ) dengan j pada kedua sisi dan menjumlahkannya atas j

maka diperoleh

M ' (t )  (λ  μ)M (t )

65
dengan kondisi awal M(0) = i. Solusi dari persamaan ini adalah

M (t )  ie (λ  μ )t
Limit dari M(t) untuk t →∞ adalah
0 (   )

lim M (t )  i (   )
t    (   )

Ini berarti bahwa jika rata-rata kelahiran λ lebih besar dari rata-rata kematian, maka rata-
rata populasi divergen. Jika rata-rata kelahiran λ sama dengan rata-rata kematian, maka
rata-rata populasi tidak pernah berubah. Jika rata-rata kelahiran λ lebih kecil dari rata-rata
kematian, maka rata-rata populasi akan konvergen menuju 0 yaitu lenyap..

Teorema 4.4.1
Untuk proses kelahiran dan kematian {X(t), t ≥ 0}dengan parameter {λk, μk+1 > 0, k = 0,
1, 2, 3, ….}, jika X(t) = i maka waktu antar kedatangan berdistribusi eksponensial
dengan parameter λi+ μi > 0, dimana peluang pindah ke state i - 1 atau i + 1 adalah μi /
(λi + μi ) atau λi / (λi + μi ).

Catatan. Bila i = 0 maka peluang perpindahan state hanya state 1 (yaitu μ0 = 0 berakibat μ0
/ (λ0 + μ0) = 0 dan λ0 / (λ0 + μ0 ) = 1)

Teorema 4.4.2
Untuk proses kelahiran dan kematian {X(t), t ≥ 0}dengan parameter {λk, μk+1 > 0, k = 0,
1, 2, 3, ….}, dengan semua parameter positif yaitu
λk > 0, μk+1 > 0, (k = 0, 1, 2, 3, ….)
maka terdapat limit peluang
p j  lim Pij (t ) , (i, j = 0, 1, 2, 3, ….)
t 0

yang bebas dari state awal jika dan hanya jika

 λ k 1
j
  
j  0 k 1 μ k

j
dimana  .  1 untuk j = 0.
k 1

Limit peluang tersebut diberikan oleh

1
  j λ   j λ 
p0     k 1  dan p j    k 1  p0
 j  0 k 1 μ k  k 1 μ k 

66
 Teorema 4.4.3
Untuk proses kelahiran dan kematian {X(t), t ≥ 0}dengan parameter {λk, μk+1 > 0, k =
0, 1, 2, ….N} di mana N berhingga, dengan semua parameter positif yaitu
λk > 0, μk+1 > 0, (k = 0, 1, 2, … N-1)
maka terdapat limit peluang
 N j 1

   λ k 1  , ( j  0)
 j  0 k 1 μ k 
p j  lim Pij (t ) =  
t    j λ k 1 
   μ  p0 , ( j  1,2,..., N )
 k 1 k 
j
yang bebas dari state awal i dimana  .  1 untuk j = 0.
k 1

Latihan
1. Hitung mean dan variansi dari proses Yule di mana X(0) = 1.
2. Misalkan proses kelahiran murni pada state 0, 1, …, N dengan λk = (N-k)λ untuk k = 0,
1, …, N dan X(0) = 0. Tentukan Pn(t) = P{X(t) = n}.
3. Tentukan peluang transisi untuk untuk proses kematian murni digambarkan dengan
X(0) = 3, μ3 = 1, μ2 = 2 dan μ1 = 3.
4. Untuk proses kematian linear dengan X(0) = N = 5 dan α = 2, tentukan P{X(t) = 2}.
5. Tentukan distribusi stasioner, bila ada, untuk proses kelahiran dan kematian yang
mempunyai parameter konstant λn = λ dan μn = μ untuk n = 1, 2, ….

67