Rantai
Rantai
RANTAI MARKOV
WAKTU DISKRIT
Prostok-6-firda
Untuk mempelajari prilaku dari suatu rantai Markov,
kita perlu membuat klasifikasi dari ruang keadaan
(ruang state) rantai Markov tersebut.
Prostok-6-firda 2
6.1 Keadaan Accessible (dapat dicapai)
Prostok-6-firda 3
Contoh: 2/3
1 2 1/3
0
3
0
Jika P 3 1 1
1
0 1
Prostok-6-firda 4
Jika i j dan j i , yaitu terdapat bilangan
bulat m 0 dan n 0 sehingga pijm 0 dan p nji 0 ,
maka keadaan i dan j dikatakan saling
berkomunikasi, dinotasikan,i j .
1/3
Contoh: 0 0 1/ 3 2 / 3 0 1
P 1 0 1 0 1 1
2 1 0 0 2/3
2
Dalam hal ini, 0 2
2 1 (karena 2 0, 0 1)
1 dan 2 tidak saling berkomunikasi.
5
Prostok-6-firda
Teorema 1
(sifat komunikasi kelas rantai Markov)
Komunikasi adalah suatu relasi ekivalen, artinya
(i) i i
(ii) i j maka j i
Prostok-6-firda 6
Bukti:
(i) dan (ii) jelas berdasarkan definisi.
(iii) Asumsikan terdapat bilangan bulat m 0 dan n 0
p
sehingga ij
m
0 dan p jk 0 ,
n
Contoh:
1. Tentukan kelas komunikasi dari matriks peluang
transisi berikut:
0 1
P
1 0
Prostok-6-firda 8
Jawab :
0 1
• Diagram transisinya untuk P
1
1 0
0 1
Prostok-6-firda 9
2. Jika diberikan matriks peluang transisi
1 0
P
0 1
Maka
• Diagram transisinya:
1 0 1 1
Prostok-6-firda 10
3. Jika diberikan matriks peluang transisi
1 0 0
P 0 1 0
0 0 1
Maka
• Diagram transisinya:
1 0 1 1 2 1
1 0 1 1/2 2 1/3
1/3
1/3
Maka
• Diagram transisinya:
1/2
1/4 0 1
1/2
3/4
3
2
3/4
1/4
• Kelas komunikasinya:{0,2,3} , {1}.
13
Prostok-6-firda
• Jika suatu rantai Markov hanya mempunyai satu
kelas komunikasi, maka rantai Markov disebut
Irreducible .
Dalam hal ini semua keadaan saling berkomunikasi.
Contoh:
1
0 0 1 0
P 1 0 0 1 diagram transisi
1
0
2 1 0 0
0120 1
1
d (i) gcd n 1| p 0 n
ii
Prostok-6-firda 15
Teorema 2
Jika i j maka d (i) d ( j ).
Bukti:
Asumsikan terdapat bilangan bulat m 0 dan n 0
sehingga pijm 0 dan p nji 0.
Jika piis 0 maka p m n p n p m 0
jj ji ij
1 0 0 1 0 0 1 0 0
P 4 P 2 P 2 0 1 2 1 2 0 1 2 1 2 0 1 2 1 2
0 1 2 1 2 0 1 2 1 2 0 1 2 1 2
• keadaan 0:
n 1, p00
n
0.
d (0) FPB n 1| p00n
0
n 2 p00
2
1 0
FPB 2, 4,...
n 4 p00
4
1 0 d (0) 2. state 0 periodik.
Prostok-6-firda 18
• keadaan 1: periodik ( d (1) 1).
n 1, p11n 0.
n 2 p00 1/ 2
2 d (1) FPB n 1| p 11 0
n
n 2 p22
2
1/ 2
FPB 2, 4,...
n 4 p22
4
1/ 2 d (2) 2.
• Sesuai teorema 2, 0 1,1 2 0 2.
Sehingga, d (0) d (1) d (2).
Prostok-6-firda 19
6.3 Keadaan Recurrent dan Transient
Didefinisikan
f ijn PX n j, X r j, r 1,2,..., n 1 X 0 i
Prostok-6-firda 21
Teorema 3
(syarat perlu dan cukup
keadaan recurrent dan transient)
• Keadaan i recurrent jika dan hanya jika p
n 1
n
ii
• Keadaan i transient jika dan hanya jika ii
n
p
n 1
Prostok-6-firda 22
Contoh
Matriks peluang transisi suatu rantai Markov,
0 1 0 1 0 1/2
P 1
1 1/ 2 1/ 2
1/2
0 1 0
PP
1
1 1/ 2 1/ 2
0 1 0 1 0 1 0
P P.P
2
1 1/ 2 1/ 2 1/ 2 1/ 2 3 / 4 1/ 4
23
Prostok-6-firda
1 0 1 0 1 0
P P .P
3 2
3 / 4 1/ 2 1/ 2 1/ 2 7 / 8 1/ 8
Sehingga,
00 00 00 00 ... 1 1 1 ... .
p n
n 1
p1
p 2
p 3
state 0 recurrent.
11 11 11 11 ...
p n
n 1
p1
p 2
p 3
2 3
1 1 1
... 1/ 2 1
2 2 2 1 1/ 2
state 1 transient. 24
Prostok-6-firda
• Jika dengan definisi 1,
1 0 1 1/2
1/2
f 00 f 00n f 001 f 002 f 003 ...
n 1
1/2
f11 f11n f111 f112 f113 ...
n 1
Prostok-6-firda 28
6.4 Keadaan Absorbing (menyerap)
Prostok-6-firda 29
Contoh
Matriks peluang transisi suatu rantai Markov,
0 1 0
P
1 1/ 2 1/ 2
Keadaan 0 dikatakan absorbing, karena p00 1.
Periodisitas keadaan 0 :
n 1, p00
n
0.
n 1 p00
1
1
d (0) FPB 1, 2, 3, 4,...
n 2 p00
2
1 d (0) 1.
n 3 p00
3
1 (keadaan 0 aperiodik).
n 4 p00 1
4 30
Prostok-6-firda
Teorema berikut menunjukkan rantai Markov dapat
membentuk beberapa kelas recurrent dan suatu
himpunan keadaan transient.
Teorema 5
Prostok-6-firda 31
Contoh
Tunjukkan rantai Markov dengan peluang transisi
berikut memiliki suatu kelas recurrent dan sebuah
himpunan keadaan transient.
0 3 / 4 1/ 4 0 0
1 1/ 3 2 / 3 0 0
P
2 0 0 1/ 2 1/ 2
3 0 1/ 3 1/ 3 1/ 3
Prostok-6-firda 32
• Diagram transisinya:
1/4
0 2/3
1
3/4
1/3
1/3
1/2
3
1/2
1/3
1/3
Prostok-6-firda
33
Contoh :
Diketahui peluang transisi suatu rantai Markov,
0 0 0 1 0
1 0.1 0.8 0 0.1
P
2 0.4 0.4 0.1 0.1
3 0 0 0.2 0.8
0.4
1 0.4
0.1
0.1
3
0.1
0.8
0.2
a.
• 0 1, karena p01
2
p02 p21 (0.1)(0.4) 0
dan p10 0.1 0.
Prostok-6-firda
35
• 0 2 , karena p02 1 0 dan p20 0.4 0.
0 1/ 4 0 3/ 4 0
1 1/ 2 0 1/ 2 0
P
2 0 0 1/ 4 3 / 4
3 1 0 0 0
Prostok-6-firda 39
3. Diketahui peluang transisi suatu rantai Markov,
0 0 1 0 0 0 0 0 0.4 0.6
0 0 0 0.2 0.8
a. P1 1 0 0 1 1
2 1 0 0 c. P3 2 0 0 0 0 1
3 0.5 0.5 0 0 0
0 0 1 0 4 0 1 0 0 0
b. P2 1 0 0 1
2 0.5 0.5 0
(i) Tunjukkan bahwa rantai Markov tersebut irreducible
(ii) Tentukan periodisitasnya.
Prostok-6-firda 40
Limiting Probability
Untuk suatu rantai Markov, semua keadaan
recurrent diklasifikasikan menjadi keadaan positif
(non-null) recurrent atau null recurrent dengan
memperhatikan j atau j , dengan
j n. f jjn
n 1
Prostok-6-firda 41
Teorema
• Jika keadaan j recurrent dan aperiodic, maka
1
p jj
n
, untuk n .
j
• Jika keadaan j recurrent dan periodik dengan
periode d(j), maka
d ( j)
p nd ( j )
, untuk n .
jj
j
1
Kita interpretasikan bahwa 0, jika j
j
(artinya keadaan j null recurrent).
Prostok-6-firda 42
Corollary (Akibat)
Jika keadaan j transient, maka
p njj 0, untuk n .
Prostok-6-firda 43
Definisi 5
Maka 0 , 1 ,..., m
disebut distribusi stasioner untuk rantai Markov
Homogen.
Prostok-6-firda 44
Teorema 8
• Jika suatu rantai Markov Irreducible, positive
recurrrent dan aperiodic (Rantai Markov Ergodik)
maka terdapat limit peluang,
lim pijn j 0 (i, j 0,1, 2,...)
n
i 0
j 0
j 1, j 0,1, 2,...
Prostok-6-firda 48
0 0.7 0.3
a. P
1 0.3 0.7
0.513 0.487
P
4
0.487 0.513
Jadi, jika hari ini hujan, maka peluang empat hari
ke depan akan hujan adalah 0.513 atau 51%.
Prostok-6-firda 49
b. Distribusi stasioner : P dan 0 1 1
0 0.7 0.3
Dari matriks peluang transisi P
1 0.3 0.7
diperoleh
0 0.7 0 0.3 1 … (i)
1 0.3 0 0.7 1 … (ii)
0 1 1 … (iii)
Prostok-6-firda 51
2. Tentukan distribusi stasioner dari rantai Markov
dengan matriks peluang transisi :
0 1/ 2 1/ 2
P 1 0 0
1 0 0
Jawab : P dan 0 1 2 1
0 1 2 … (i)
1
1 0 … (ii)
2
1
2 0 … (iii)
2
0 1 2 1 … (iv) 52
Substitusi (i) ke (iv) :
0 1 2 1
1
2 0 1 0
2
1 1
1 , 2
4 4
Sehingga distribusi stasioner :
1 1 1
0 , 1 , 2 , , .
2 4 4
Artinya untuk jangka panjang, keadaan 0 50%,
keadaan 1 25%, dan keadaan 2 25%.
Prostok-6-firda 53
Soal Latihan:
1. Diketahui peluang transisi suatu rantai Markov,
2 / 3 1/ 3 0 1
a. P1 c. P3
1/ 3 2 / 3 1 0
0 0 1 0
1/ 2 1/ 2
b. P2 d . P4 1 0 0 1
1/ 2 1/ 2 2 0.5 0.5 0