RM PDF
RM PDF
4. RANTAI MARKOV
4.1 PENDAHULUAN
Contoh 4.1:
Xt : Dapat menyatakan tingkat inventori dalam tiap minggu (atau bulan) dari
suatu produk, atau dapat pula menyatakan jumlah permintaan dari produk
tersebut tiap minggu (atau bulan).
Jika T adalah himpunan yang dapat dihitung (countable set) maka proses stokastik
tersebut dikatakan sebagai ‘Proses stokastik dengan waktu diskrit’, misalnya {Xt,
t=0,1,…}.
Jika T adalah suatu interval pada garis real, maka proses stokastik tersebut
dikatakan sebagai ‘proses stokastik dengan waktu kontinu’, misalnya {Xt, t ≥ 0}.
Definisi 4.2:
Proses Stokastik merupakan serangkaian random variabel yang berubah terhadap
waktu pengamatan. { X(t) , t ∈ T}
dimana : X(t) = state (keadaan) yang acak
t = waktu (saat pengamatan)
Contoh 4.3:
Sebuah toko kamera memiliki stok dari suatu model kamera tertentu yang dapat
dipesan mingguan. Misalkan: D1, D2,… mewakili permintaan kamera tersebut
selama minggu ke-1, ke-2,… dan asumsikan bahwa Di independen dan
probabilitas distribusinya diketahui, misalnya X0 adalah jumlah kamera yang ada
Kasus ini merupakan proses stokastik {Xt} dengan t = 0,1,… state yang ada pada
kasus ini adalah 0,1,2,3 yang mewakili jumlah kamera yang mungkin ada pada
akhir minggu. Peubah acak Xt bukan merupakan peubah bebas dan dapat
dinyatakan secara iteratif sebagai berikut :
∑p
j =1
(n )
ij =1 ∀ i dan j n = 0,1,2,… (jumlahan dari probabilitas = 1)
state 0 1 … M
(n) (n)
0 p00 p01 … p0m(n)
P(n) = 1 p10(n) p11(n) … p1m(n)
. . . . .
. . . . .
. . . . .
M pm0(n) pm1(n) … pmm(n)
Contoh 4.5:
Dari contoh 4.3, {Xt} merupakan proses stokastik dengan
Xt : Jumlah kamera yang mungkin ada pada akhir minggu ke-t (sebelum
pesanan diterima)
Tentukan probabilitas trasnsisi 1 langkahnya !
p00 p 03
p 01 p 02
p p13
p11 p12
P=
10
p 20 p 23
p 21 p 22
p30 p33
p 31 p 32
Asumsikan Dt memiliki distribusi Poisson dengan parameter λ = 1.
Penyelesaian :
Contoh 4.6:
Model dari kondisi suatu stok barang tertentu. Pada akhir suatu hari tertentu
kondisi sutau stok dicatat. Jika stok meningkat hari ini maka probabilitas bahwa
stok esok hari meningkat adalah 0.7. Jika stok hari ini menurun maka probabilitas
bahwa stok esok hari meningkat adalah 0.5
Jika model ini dikembangkan menjadi : bahwa kondisi stok esok berubah atau
tidak tergantung pada hari ini dan kemarin maka kemungkinan-kemungkinan
yang ada adalah sebagai berikut :
- Jika dalam 2 hari terakhir stok meningkat, besok akan meningkat
dengan probabilitas 0.9
- Jika hari ini meningkat, kemarin menurun, besok akan meningkat
dengan probabilitas 0.6
- Jika hari ini menurun, kemarin meningkat, besok akan meningkat
dengan probabilitas 0.5
- Jika dalam 2 hari terakhir stok menurun, besok akan meningkat dengan
probabilitas 0.3
0.9 0 0.1 0
0.6 0 0.4 0
P=
0 0.5 0 0.5
0 0.3 0 0.7
Kasus ini merupakan rantai markov dengan {Xt} mewakili keberuntungan dari
pemain , yaitu: 0, 1$ ,2$ ,3$.
1 0 0 0
1 − p 0 p 0
P=
0 1− p 0 p
0 0 0 1
(n) M (v) (n − v)
P = ∑ p ⋅p ∀i, j, n dan u ≤ m ≤ n
ij ik kj
k=o
Persamaan ini menunjukkan bahwa dari state i ke state j dalam n langkah, proses
akan berada pada state k setelah tepat v ( < n) langkah. Jadi pik(v) pkj(n-v)
merupakan probabilitas bersyarat, mulai dari state i, lalu ke state k setelah v
langkah dan kemudikan ke state j dalan n-v langkah, maka :
(n) M (v) (n − v)
P = ∑ p ⋅p ∀k
ij ik kj
k=o
Jika v = 1 maka :
(n) M (n − 1)
P = ∑ p ⋅p ∀i, j, n
ij ik kj
k=o
Jika v = n - 1
(n) M (n - 1)
P = ∑ p ⋅p ∀i, j, n
ij ik kj
k=o
Ini merupakan probabilitas transisi 1 langkah rekursif.
Untuk n = 2 maka
(2) M
P = ∑ p ⋅p ∀i, j, n
ij ik kj
k=o
Karena pij(2) adalah elemen dari matriks P(2) maka dengan mengalikan matriks
probabilitas transisi 1 langkah dengan dirinya sendiri di dapat :
P(2) = P. P = P2
Secara umum :
P(n) = P. P…P = Pn
= P. Pn-1
= Pn-1 P
Contoh 4.8
Dari matriks transisi pada contoh 4.5 didapat :
Arti :
p10(4) : Stok kamera pada akhir minggu adalah 1, probabilitas bahwa 4 minggu
kemudian tidak ada stok kamera adalah 0.282
p23(4) : Stok kamera pada akhir minggu adalah 2, probabilitas bahwa 4 minggu
kemudian stok kamera menjadi 3 adalah 0.171
Contoh 4.9
Dari contoh 4.5 asumsikan bahwa stok awal =3 kamera, jadi :
Qx0 (0) = Qx0 (1) = Qx0 (2) = 0;
Qx0 (3) = 1
Diketahui bahwa probabilitas bersyarat bahwa terdapat 3 kamera setelah 2 minggu
dari awal inventori adalah 0.165, maka probabilitas tak bersyaratnya adalah :
P(X2 = 3) = Qx0 (3). P33(2)
= 1 x 0.165
= 0.165
Misal diberikan bahwa Qx0 (i) = 0.25 ∀ I = 0,1,2,3 maka
P(X2 = 3) = Qx0 (0) p03(2) + Qx0 (1) p13(2) + Qx0 (2) p23(2) + Qx0 (3) p33(2)
= 0.25 (0.165) + 0.25 (0.233) + 0.25(0.097) + 0.25(0.165)
= 0.165
Catatan 4.10
Kedua nilai tersebut di atas sama, ini hanya kebetulan saja.
Berikut ini merupakan beberapa difinisi yang berkaitan dengan state-state dari
Rantai Markov.
1. Dapat dicapai (Accessible)
State j dikatakan dapat dicapai (accessible) dari state i jika pij(n) > 0 untuk
beberapa n > 0. State j dapat dicapai (accessible) dari state i berarti bahwa
sistem bisa mencapai state j jika berangkat dari state i.
2. Berkomunikasi (Communicate)
jika state j dapat dicapai dari state i, dan state i dapat dicapai dari state j,
maka state i dan j dikatakan berkomuniasi (communicate) .
Secara umum :
a. setiap state berkomunikasi dengan dirinya sendiri. Karena :
pii(0) = P{X0 = i | X0 = i} = 1).
Dari ketiga sifat ini, maka suatu state mungkin dipartisi menjadi kelas-kelas
yang saling asing (disjoint classes) dengan states yang saling berkomunikasi
dikatakan berada dalam satu kelas.
4. Absorbing
Suatau state i dikatakan sebagai state yang absorbing jika probabilitas transisi
satu langkah pii = 1. Jadi sekali sistem memasuki state i maka sistem akan
tetap selamanya berada di state i tersebut.
∑p
n =1
(n)
ii =∞
mulai dari state i, setelah keluar dari state i sistem pasti akan dapat
kembali lagi ke state i (karena pasti maka nilai peluangnya adalah 1
∞
sehingga ∑p
n =1
(n)
ii = ∞)
∑p
n =1
(n)
ii <∞
Relevansi :
• Jika state i recurrent , maka di mulai dari state i, sistem akan kembali
lagi dan kembali lagi ke state i berulang-ulang sampai tak berhingga kali.
• Sebaliknya jika state i transient , sekali saja sistem memasuki state i
maka terdapat suatu peluang positif yang akan membawa sistem ini untuk
tidak pernah lagi memasuki state i.
• Jika state i recurrent dan state i berkomunikasi dengan state j, maka
state j juga bersifat recurrent.
• Semua state dalam suatu rantai markov dengan state yang bersifat
irreducible terbatas adalah recurrent berarti juga seluruh state dalam
proses berkomunikasi.
6. Periode
Periode dari state i didefinisikan sebagai bilangan bulat t (t > 1) sedemikian
hingga pii(n) = 0 untuk seluruh n yang bukan kelipatan t (t, 2t, 3t, …) dan t
adalah bilangan bulat terbesar dengan sifat ini
Contoh 4.11
Pada contoh 4.7, misalkan p = ½
1 0 0 0 1 0 0 0
1 / 2 0 1 / 2 0 1 / 2 1 / 4 0 1 / 4
P= P2 =
0 1 / 2 0 1 / 2 1 / 4 0 1 / 4 1 / 2
0 0 0 1 0 0 0 1
1 0 0 0 1 0 0 0
* 0 * * * * 0 *
3
P = P =
4
* * 0 * * 0 * *
0 0 0 1 0 0 0 1
Terlihat bahwa p11 = p22 = 0 untuk seluruh n, pada saat n = 1,3,5,… berarti
periode t (bukan n) adalah 2.
Artinya : proses tersebut dapat masuk ke state 1 hanya pada saat 2,4,…
7. Aperiodik
Jika terdapat 2 bilangan berurutan, s dan (s+1) sedemikian hingga proses
dapat berada pada state i pada saat s dan (s+1), state i dikatakan memiliki
periode 1 dan disebut sebagai aperiodik state.
8. Positif Recurrent
Jika state i recurrent, maka state i dikatakan positif recurrent
Jika dimulai dari state i, waktu harapan sampai proses kembali lagi ke state i
adalah terbatas.
9. Null Recurrent
Jika state i recurrent tetapi tidak positif recurrent maka state i adalah Null
Recurrent.
10. Ergodic
Jika suatu state bersifat positif recurrent dan aperiodik maka state tersebut
disebut ergodic.
Contoh 4.12
Dari contoh 4.5 (level inventori). Diketahui X0 = 3 (inventori awal).
Andaikan : X1 = 2, X2 = 1, X3 =0, X4 = 3 dan X5 = 1.
Dalam hal ini FPT dari state 3 ke state 1 adalah 2 minggu, FPT dari state 3 ke
state 0 adalah 3 minggu dan waktu recurrent adalah 4 minggu.
Secara umum first passage time merupakan perubah acak dan memiliki distribusi
probabilitas yang bersesuaian dengan mereka. Distribusi probabilitas ini
tergantung pada peluang transisi dari proses.
Misalkan : Fij(n) : merupakan probabilitas bahwa first passage time dari state i ke
state j sama dengan n.
n −1
ij − ∑ f ij .p jj
(n − k)
f ij(n) = p (n) (k)
k =1
Jadi probabilitas dari suatu first passage time dari state i ke state j dalam langkah
n dapat dihitung secara rekursif dari probabilitas transisi satu langkah.
Contoh 4.13:
Dari contoh 4.5 :
f30(1) = 0.080
f30(2) = 0.249 - (0.080) (0.080) = 0.243
untuk i dan j yang tetap, fij(n) merupakan bilangan nonnegatif sedemikian hingga :
∞
∑f
n =1
(n)
ij ≤1
sayangnya, jumlahan ini sangatlah mungkin kurang dari 1, yang berarti bahwa
suatu proses yang diawali dari state i tidak pernah mencapai state j.
Menghitung, fij(n) untuk seluruh n mungkin sulit, relatif lebih sederhana untuk
menghitung FPT harapan dari state i ke state j.
∞
Bila ∑f
n =1
(n)
ij = 1 maka µij memenuhi persamaan berikut secara unik.
µij = 1 + ∑p
k≠ j
ik µ kj
Contoh 4.14:
Dari contoh 4.5. Persamaan di atas dapat digunakan untuk menghitung waktu
harapan hingga kamera habis. Asumsikan proses dimulai dengan persediaan
kamera = 3 lintasan waktu pertama harapan, µ30 dapat dicapai karena seluruh state
recurrent, maka :
Di dapat : µ10 = 1,58 minggu µ20 = 2,51 minggu µ30 = 3,50 minggu
Waktu yang dibutuhkan agar kamera kehabisan stok adalah 3,5 minggu.
Selanjutnya
lim pij( n ) = πj
n → ∞
πj > 0
M
πj = ∑π i =0
i pij untuk j = 0,1,2,…, M
M
∑π
j =0
j =1
πj disebut sebagai probabilitas pada keadaan stabil dari rantai markov dan
memiliki hubungan resiprokal terhadap waktu recurrent harapan.
1
πj = untuk j = 0,1,…, M
µ jj
! Steady state probability artinya adalah : bahwa probabilitas bahwa untuk
mendapatkan proses dalam suatu state tertentu, katakan j, setelah sejumlah
besar transisi cenderung menuju nilai πj . Independen dari distribusi
probabilitas awal yang telah didefinisikan terhadap states tersebut.
! πj dapat juga diinterpretasikan sebagai probabilitas stasioner.
Contoh 4.15
Dari contoh 4.5
π0 = π0 p00 + π1 p10 +π2 p20 +π3 p30
π1 = π0 p01 + π1 p11 +π2 p21 +π3 p31
π2 = π0 p02 + π1 p12 +π2 p22 +π3 p32
π3 = π0 p03 + π1 p13 +π2 p23 +π3 p33
1 = π0 + π1 + π2 + π3
di dapat :
π0 = 0.285 µ00 = 1/ π0 = 3.51 minggu
π1 = 0.285 µ11 = 1/ π1 = 3.51 minggu
π2 = 0.264 µ22 = 1/ π2 = 3.79 minggu
π3 = 0.166 µ33 = 1/ π3 = 6.02 minggu
Catatan 4.16
Pada steady state probabilitas berlaku :
! Jika i dan j merupakan states yang recurrent dengan kelas-kelas yang berbeda
maka :
pij(n) = 0 untuk setiap n
! Jika j merupakan state yang transient maka
pij(n) = 0
Berarti bahwa probabilitas untuk mendapatkan suatu proses dalam suatu state
yang transient setelah sejumlah besar transisi cenderung menuju ke nol.
1 N
lim ∑ pij( k ) = π j
n → n N k =1
dimana πj memenuhi persamaan-persamaan stedy state. Andaikan bahwa suatu
biaya (atau fungsi penalti lainnya) C(Xt) terjadi ketika proses berada di state Xt
pada saat t, untuk t = 0,1,2,…
Catatan 4.17
C(Xt) adalah peubah acak dengan nilai C(0), C(1), …, C(N) dan fungsi C(Xt)
independen terhadap t.