PENELITIAN OPERASIONAL 2

Pertemuan 7 – Rantai Markov Kontinu

Mohammad Ikrar Pramadi, ST, MT, CSLP, IPM, ASEAN Eng.

1
Rantai Markov Kontinu
• Beberapa kasus tertentu memerlukan parameter waktu kontinu (sebut
t’) karena perubahan proses yang diperhatikan kontinu di sepanjang
waktu.
• Definisi Rantai Markov :
• Proses stokastik dengan waktu diskrit adalah rantai Markov, jika
untuk t = 0,1,… peluang kejadian dari proses tersebut dapat
dinyatakan sebagai berikut:
P (Xt+1=it+1|Xt = it, Xt-1 = it-1 .. X1 = i1, X0 = i0 = P(Xt+1 = it+1|Xt=it)

• Artinya, peluang status pada waktu mendatang (it+1) hanya

bergantung pada status saat ini (it) dan tidak bergantung pada
masa lalu.
• Definisi Rantai Markov diatas berkembang ke proses yang kontinu.

22
Perumusan
• Sebelumnya kita memberikan label state sistem yang mungkin sebagai
0, 1, … M. Bermula pada waktu 0 dan membiarkan parameter t’
waktu berjalan kontinu untuk t’ > 0.
• Kita andaikan variabel acak X(t’) adalah state sistem pada waktu t’.
Kemudian X(t’) mengambil salah satu dari M + 1 nilai yang mungkin
pada interval, 0 < t’ < t1 , kemudian akan melompat ke nilai lain di
sepanjang interval selanjutnya , t1 < t’ < t2 , dan seterusnya dimana
titik transit (t1, t2, …)adalah titik acak dalam waktu (tidak harus
bilangan bulat).

33
Perumusan
• Perhatikan tiga titik pada waktu :
1) t’ > r (dengan r > 0),
2) t’ = s (dengan s > r),
3) t’ = s + t (dengan t > 0), dijelaskan sebagai berikut :
t’ = r adalah waktu lampau
t’ = s adalah waktu saat ini
t’ = s + t adalah t satuan waktu mendatang
• Oleh karena itu, state sistem sekarang telah diamati pada waktu t’ = s
dan t’ = r. Label state ini adalah :
X(s) = i dan X(r) = x(r)
• Dengan informasi ini adalah wajar mencari ditribusi probabilitas dari
state sistem pada waktu t’ = s + t, dengan kata lain berapakah :
P{X(s + t) = j | X(s) = i dan X(r)} untuk j = 0, 1, … M

44
Perumusan
Persamaan diatas dapat disederhanakan apabila proses stokastik
mempunyai sifat utama :
• Sifat Markovian
• Probabilitas transisi sama dengan sama seperti probabilitas transisi
waktu diskrit, hanya t tidak harus merupakan bilangan bulat.
• Jika probabilitas transisi independen terhadap s maka disebut
probabilitas transisi stasioner

55
Definisi

Misal { X (t ) , t ≥ 0} proses stokastik dengan waktu

kontinu dan ruang keadaan diskrit S.
Jika untuk i, j ∈ S ,
P { X (t +=
s ) j | X= (u ) x(u ), 0 ≤ u < s}
( s ) i, X =

= P { X (t += ( s ) i}
s) j | X =
∀ s, t ≥ 0,
maka proses disebut rantai Markov waktu kontinu.

66
TERIMA KASIH