6.

RANTAI MARKOV
WAKTU DISKRIT

KLASIFIKASI RUANG KEADAAN

Prostok-6-firda
Untuk mempelajari prilaku dari suatu rantai Markov,
kita perlu membuat klasifikasi dari ruang keadaan
(ruang state) rantai Markov tersebut.

Prostok-6-firda 2
6.1 Keadaan Accessible (dapat dicapai)

Pandang suatu rantai Markov, X (n) , n 0,1, 2,...

Keadaan j dikatakan accessible (dapat dicapai)

dari keadaan i , dinotasikan dengan i j ,
jika terdapat bilangan bulat n 0 sehingga ij 0.
n
p

Sudah tentu setiap keadaan dapat dicapai

oleh dirinya sendiri, sehingga i i , karena ii 1.
0
p
Prostok-6-firda 3
Contoh: 2/3

1 2 1/3
0
3
0
Jika P 3 1 1
1
0 1

maka kita katakan keadaan 1 dapat dicapai dari 0

( 0 1) karena 1
p01 2 / 3 0.
tapi tidak sebaliknya, keadaan 0 tidak dapat
dicapai dari 1.

Prostok-6-firda 4
Jika i j dan j i , yaitu terdapat bilangan
bulat m 0 dan n 0 sehingga pijm 0 dan p nji 0 ,
maka keadaan i dan j dikatakan saling
berkomunikasi, dinotasikan,i j .
1/3
Contoh: 0 0 1/ 3 2 / 3 0 1
P 1 0 1 0 1 1

2 1 0 0 2/3
2
Dalam hal ini, 0 2
2 1 (karena 2 0, 0 1)
1 dan 2 tidak saling berkomunikasi.
5
Prostok-6-firda
 Teorema 1
(sifat komunikasi kelas rantai Markov)
Komunikasi adalah suatu relasi ekivalen, artinya

(i) i i

(ii) i j maka j i

(iii) i j dan j k maka i k

Prostok-6-firda 6
 Bukti:
(i) dan (ii) jelas berdasarkan definisi.
(iii) Asumsikan terdapat bilangan bulat m 0 dan n 0
p
sehingga ij
m
0 dan p jk 0 ,
n

maka dengan persamaan Chapman-

Kolmogorov diperoleh,

p mn
ik p p p p 0
m
ij
n
jk
m
ij
n
jk
j 0

Artinya, i k . Hal serupa berlaku untuk k i.

Sehingga terbukti i k .
Prostok-6-firda 7
Berdasarkan relasi komunikasi, semua keadaan
dalam rantai Markov dapat diklasifikasikan ke
dalam kelas-kelas komunikasi yang terpisah (disjoint)
dan lengkap (exhaustive).

Contoh:
1. Tentukan kelas komunikasi dari matriks peluang
transisi berikut:

0 1
P
1 0

Prostok-6-firda 8
Jawab :
0 1
Diagram transisinya untuk P
1 0
1

0 1

Kelas komunikasi : {0,1}

karena 0 1

Prostok-6-firda 9
2. Jika diberikan matriks peluang transisi

1 0
P
0 1
Maka
Diagram transisinya:

1 0 1 1

Kelas komunikasinya:{0} dan {1}.

Prostok-6-firda 10
3. Jika diberikan matriks peluang transisi
1 0 0
P 0 1 0
0 0 1

Maka
Diagram transisinya:

1 0 1 1 2 1

Kelas komunikasinya:{0} , {1}, dan {2}.

Prostok-6-firda 11
4. Jika diberikan matriks peluang transisi
0 1 0 0
P 1 0 1/ 2 1/ 2
2 1/ 3 1/ 3 1/ 3
Maka
1/2
Diagram transisinya:

1 0 1 1/2 2 1/3

1/3
1/3

Kelas komunikasinya:{0} , {1,2}.

Prostok-6-firda 12
 0 1/ 4 0 3/ 4 0
5.
1 1/ 2 0 1/ 2 0
P
2 0 0 1/ 4 3 / 4

3 1 0 0 0

Maka
Diagram transisinya:
1/2
1/4 0 1

1/2
3/4
3
2
3/4
1/4
Kelas komunikasinya:{0,2,3} , {1}.
13
Prostok-6-firda
 Jika suatu rantai Markov hanya mempunyai satu
kelas komunikasi, maka rantai Markov disebut
Irreducible .
Dalam hal ini semua keadaan saling berkomunikasi.
Contoh: 1
0 0 1 0
P 1 0 0 1 diagram transisi
1
0
2 1 0 0
1
0120 1
Kelas komunikasi : {0,1,2}. 2

Jadi {0,1,2} rantai Markov Irreducible. 14

 6.2 Periodisitas

Keadaan i dikatakan memiliki perode d(i)

jika d(i) merupakan FPB (faktor persekutuan
terbesar) / gcd (greatest common divisor) dari
seluruh n = 1,2, dimana pii 0.
n

d (i ) gcd n 1| p 0 n
ii

Jika d(i) = 1, maka keadaan i disebut aperiodik.

Jika d(i) > 1, maka keadaan i disebut periodik.

Prostok-6-firda 15
Teorema 2
Jika i j maka d (i ) d ( j ).
Bukti:
Asumsikan terdapat bilangan bulat m 0 dan n 0
sehingga pijm 0 dan p nji 0.
Jika piis 0 maka p m n p n p m 0
jj ji ij

p njj s m p nji piis pijm 0

Dari definisi periode, d(j) membagi kedua n+m dan
n+s+m dan juga (n+m)-(n+s+m)=s dengan pii 0.
s

Artinya, d(j) membagi d(i), dan berlaku sebaliknya,

d(i) membagi d(j). Jadi d(i)=d(j).
Prostok-6-firda 16
 Contoh:
diagram transisi 1 1/2
0 0 1/ 2 1/ 2
P 1 1 0 0 1 0
2 1 0 0 1/2 1

Tentukan periodisitas dari setiap keadaan.

Jawab:
0 1 2 1 2 0 1 2 1 2 1 0 0
P 2 P P 1 0 0 1 0 0 0 1 2 1 2
1 0 0 1 0 0 0 1 2 1 2
Prostok-6-firda 17
 1 0 0 0 1 2 1 2 0 1 2 1 2
P 3 P 2 P 0 1 2 1 2 1 0 0 1 0 0
0 1 2 1 2 1 0 0 1 0 0

1 0 0 1 0 0 1 0 0
P 4 P 2 P 2 0 1 2 1 2 0 1 2 1 2 0 1 2 1 2
0 1 2 1 2 0 1 2 1 2 0 1 2 1 2

keadaan 0:
n 1, p00
n
0.
d (0) FPB n 1| p00n
0
n 2 p00
2
1 0
FPB 2, 4,...
n 4 p00
4
1 0 d (0) 2. state 0 periodik.
Prostok-6-firda 18
 keadaan 1: periodik ( d (1) 1).
n 1, p11n 0.
n 2 p00 1/ 2
2 d (1) FPB n 1| p 11 0
n

FPB 2, 4,...
n 4 p11 1/ 2
4
d (1) 2.
keadaan 2: periodik ( d (2) 1).
n 1, p22
n
0.
d (2) FPB n 1| p22
n
0
n 2 p22
2
1/ 2
FPB 2, 4,...
n 4 p22
4
1/ 2 d (2) 2.
Sesuai teorema 2, 0 1,1 2 0 2.
Sehingga, d (0) d (1) d (2).
Prostok-6-firda 19
6.3 Keadaan Recurrent dan Transient
Didefinisikan
f ijn P X n j , X r j , r 1,2,..., n 1 X 0 i

yaitu peluang dimana keadaan j dicapai dari keadaan i

pertama kali setelah n langkah.
f ij0 0 (dalam 0 langkah, keadaan j tidak tercapai dari i)

f ij1 pij (dalam 1 langkah ,keadaan j dapat dicapai dari i)

Definisikan,
f ij f n
ij f f ... f ij f ij1
1
ij
2
ij
n 1 20
Prostok-6-firda
 Definisi 1
Jika f ii 1 keadaan i disebut recurrent.

Jika f ii 1 keadaan i disebut transient.

Ingat!, f ii keadaan i dicapai dari keadaan i

(kembali dikunjungi)

fii f (n)
ii f f ...
1
ii
2
ii 1,2,=langkah
n 1 (bukan pangkat)

Prostok-6-firda 21
 Teorema 3
(syarat perlu dan cukup
keadaan recurrent dan transient)

Keadaan i recurrent jika dan hanya jika ii
p n

n 1

Keadaan i transient jika dan hanya jika ii
n
p
n 1

Prostok-6-firda 22
Contoh
Matriks peluang transisi suatu rantai Markov,
0 1 0 1 0 1 1/2
P
1 1/ 2 1/ 2
1/2

Tentukan setiap keadaan apakah recurrent atau

transient.
Jawab: Jika gunakan teorema 3,
0 1 0
PP
1

1 1/ 2 1/ 2
0 1 0 1 0 1 0
P P.P
2
1/ 4
1 1/ 2 1/ 2 1/ 2 1/ 2 3/ 4 23
Prostok-6-firda
 1 0 1 0 1 0
P P .P
3 2
1/ 8
3 / 4 1/ 2 1/ 2 1/ 2 7/8

Sehingga,

00 00 00 00 ... 1 1 1 ... .
p n

n 1
p1
p 2
p 3

state 0 recurrent.
11 11 11 11 ...
p n

n 1
p1
p 2
p 3

2 3
1 1 1
... 1/ 2 1
2 2 2 1 1/ 2
state 1 transient. 24
Prostok-6-firda
 Jika dengan definisi 1,

1 0 1 1/2
1/2

f 00 f 00n f 001 f 002 f 003 ...
n 1
f 001 p00 1 , f 002 p01 p10 0(1/ 2) 0
f 003 p01
2
p10 p01 p11 p10 0(1/ 2)(1/ 2) 0



f 00n 0 , n 2

f 00 f 00n 1. state 0 recurrent
n 1 25
Prostok-6-firda
 1 0 1 1/2

1/2

f11 f11n f111 f112 f113 ...
n 1
f111 p11 1/ 2 , f112 p10 p01 (1/ 2).0 0
f113 p102 p01 p10 p00 p01 (1/ 2)(1).0 0



f11n 0 , n 2

f11 f11n 1/ 2 0 0 ... 1/ 2 1. State 1 transient.
n 1 26
Prostok-6-firda
Teorema 4
Jika keadaan i recurrent dan i j
maka keadaan j recurrent .
Bukti :
Asumsikan terdapat bilangan bulat m 0 dan n 0
sedemikian sehingga p ji 0 dan pij 0.
m n

Maka untuk sebarang s 0, p mjj s n p mji piis pijn

Jika dijumlahkan atas s, diperoleh

yang menyatakan bahwa j recurrent. (terbukti) 27

Akibat:

Suatu rantai Markov yang irreducible memiliki

ruang keadaan yang recurrent atau transient.

Prostok-6-firda 28
6.4 Keadaan Absorbing (menyerap)

Keadaan i dikatakan Absorbing (menyerap)

jika pii 1.

(sekali i dicapai, tidak pernah keluar lagi)

Disebut juga sebagai rantai Markov terserap

(absorbing Markov chain) jika paling sedikit
terdapat satu keadaan terserap.

Prostok-6-firda 29
Contoh
Matriks peluang transisi suatu rantai Markov,
0 1 0
P
1 1/ 2 1/ 2
Keadaan 0 dikatakan absorbing, karena p00 1.
Periodisitas keadaan 0 :
n 1, p00
n
0.
n 1 p00
1
1
d (0) FPB 1, 2, 3, 4,...
n 2 p00
2
1 d (0) 1.
n 3 p00
3
1 (keadaan 0 aperiodik).
n 4 p00
4
1 Prostok-6-firda
30
Teorema berikut menunjukkan rantai Markov dapat
membentuk beberapa kelas recurrent dan suatu
himpunan keadaan transient.

Teorema 5

Dari suatu rantai Markov , semua keadaan dapat

diklasifikasikan menjadi beberapa kelas recurrent
C1 , C2 ,... dan sisanya merupakan keadaan transient.

Prostok-6-firda 31
Contoh
Tunjukkan rantai Markov dengan peluang transisi
berikut memiliki suatu kelas recurrent dan sebuah
himpunan keadaan transient.

0 3 / 4 1/ 4 0 0
1 1/ 3 2 / 3 0 0
P
2 0 0 1/ 2 1/ 2

3 0 1/ 3 1/ 3 1/ 3

Prostok-6-firda 32
 Diagram transisinya:
1/4
0 2/3
1
3/4
1/3

1/3
1/2

3
1/2
1/3
1/3

Rantai Markov ini mempunyai kelas recurrent

{0,1} dan himpunan state transient {2,3}.

Prostok-6-firda
33
 Contoh :
Diketahui peluang transisi suatu rantai Markov,

0 0 0 1 0
1 0.1 0.8 0 0.1
P
2 0.4 0.4 0.1 0.1

3 0 0 0.2 0.8

a. Tunjukkan bahwa rantai Markov tsb irreducible.

b. Tentukan periodisitas setiap keadaan.

Prostok-6-firda 34
 Diagram transisinya:
0 0.1
0.8
1

0.4
1 0.4
0.1
0.1

3
0.1
0.8
0.2
a.
0 1, karena p01
2
p02 p21 (0.1)(0.4) 0
dan p10 0.1 0.
Prostok-6-firda
35
 0 2 , karena p02 1 0 dan p20 0.4 0.

0 3, karena p p02 p23 (1)(0.1) 0

2
03

dan p30 p32 p20 (0.2)(0.4) 0.

2

1 2 , karena p122 p10 p02 (0.1)(1) 0

dan p21 0.4 0.

1 3, karena p13 0.1 0 dan

p31 p32 p21 (0.2)(0.4) 0.
2

2 3, karena p23 0.1 0 dan p32 =0.2>0.

Jadi kelas komunikasinya: {0,1,2,3}
rantai Markov irreducible. 36
Prostok-6-firda
b. periodisitas:
keadaan 0, n 1, p00n 0.
n 2 , p00
2
p02 p20 1(0.4) 0
n 3, p00
3
p02 p22 p20 p02 p21 p10 1(0.1)(0.4) 1(0.4)(0.1) 0
n 4, p00
4
p02 p23 p32 p20 p02 p22 p21 p10 p02 p21 p11 p10
1(0.1)(0.2)(0.4) 1(0.1)(0.4)(0.1) 1(0.4)(0.8)(0.1) 0
d (0) FPB{2, 3, 4,...} 1
Keadaan 0 aperiodik.
Karena 0 1,1 2 , 2 3 3 0
Maka dengan teorema 2, d (1) d (2) d (3) d (0)
Sehingga keadaan 1,2,3 aperiodik.
Prostok-6-firda 37
 Soal Latihan:
1. Diketahui peluang transisi suatu rantai Markov,
0 0 1 0 0 0.4 0.6 0 0
0 0 1 1 0.2 0.8 0 0
a. P1 1 c. P3
2 0.5 0.5 0 2 0 0 1 0

3 0 0 0.5 0.5
0 0.2 0.5 0.3
b. P2 1 0 1 0

2 0.9 0.1 0

Tentukan klasifikasi semua keadaan (state), yaitu

kelas ekivalen, keadaan recurrent, dan transient.
Prostok-6-firda 38
2. Diketahui peluang transisi suatu rantai Markov,

0 1/ 4 0 3/ 4 0
1 1/ 2 0 1/ 2 0
P
2 0 0 1/ 4 3 / 4

3 1 0 0 0

Tentukan klasifikasi semua keadaan (state), yaitu

kelas ekivalen, keadaan recurrent, dan transient.

Prostok-6-firda 39
 3. Diketahui peluang transisi suatu rantai Markov,

0 0 1 0 0 0 0 0 0.4 0.6
0 0 0 0.2 0.8
a. P1 1 0 0 1 1
2 1 0 0 c. P3 2 0 0 0 0 1

3 0.5 0.5 0 0 0
0 0 1 0 4 0 1 0 0 0
b. P2 1 0 0 1
2 0.5 0.5 0
(i) Tunjukkan bahwa rantai Markov tersebut irreducible
(ii) Tentukan periodisitasnya.
Prostok-6-firda 40
Limiting Probability
Untuk suatu rantai Markov, semua keadaan
recurrent diklasifikasikan menjadi keadaan positif
(non-null) recurrent atau null recurrent dengan
memperhatikan j atau j , dengan

j n. f jjn
n 1

menyatakan rata-rata waktu recurrent (mean

recurrent time) untuk keadaan j.

Prostok-6-firda 41
Teorema
Jika keadaan j recurrent dan aperiodic, maka
1
p jj
n
, untuk n .
j
Jika keadaan j recurrent dan periodik dengan
periode d(j), maka
d ( j)
p nd ( j )
, untuk n .
j
jj

1
Kita interpretasikan bahwa 0, jika j
j
(artinya keadaan j null recurrent).
Prostok-6-firda 42
Corollary (Akibat)
Jika keadaan j transient, maka
p njj 0, untuk n .

Prostok-6-firda 43
Definisi 5

Misalkan P matriks peluang transisi (m state)

dari rantai Markov Homogen.
m
Jika P dan
j 0
j 1

Maka 0 , 1 ,..., m
disebut distribusi stasioner untuk rantai Markov
Homogen.

Prostok-6-firda 44
Teorema 8
Jika suatu rantai Markov Irreducible, positive
recurrrent dan aperiodic (Rantai Markov Ergodik)
maka terdapat limit peluang,
lim pijn j 0 (i, j 0,1, 2,...)
n

yang bebas dari keadaan awal i, dengan

j , j 0,1, 2,... tunggal dan merupakan solusi
positif dari

j i pij dan

i 0

j 0
j 1, j 0,1, 2,...

j ini dinamakan distribusi stasioner dari
rantai Markov. Prostok-6-firda 45
Ilustrasi
Misal rantai Markov dengan 3 ruang keadaan, {0,1,2}.
Cara menentukan distribusi stasioner 0 , 1 , 2 :
Selesaikan
p00 p01 p02
(i ) 0 , 1 , 2 0 1 2 p10 p11 p12
p20 p21 p22
(ii ) 0 1 2 1

Atau 0 p00 0 p10 1 p20 2 (i)

Selesaikan
1 p01 0 p11 1 p21 2 (ii) secara simultan
2 p02 0 p12 1 p22 2 (iii)
0 1 2 1 (iv) 46
 Contoh
Misal kondisi cuaca (hujan atau tidak hujan)
bergantung pada cuaca hari ini (hujan atau
tidak hujan).
1. Misalkan , jika hari ini hujan maka besok akan
hujan dengan peluang dan jika hari ini tidak
hujan, maka besok akan hujan dengan peluang .
a. Tentukan peluang empat hari ke depan akan
hujan jika hari ini hujan.
b. Dalam jangka panjang, berapakah proporsi
waktu (distribusi stasioner) untuk proses setiap
keadaan.
Prostok-6-firda 47
Jawab:

Misalkan keadaan 0 = keadaan hujan.

keadaan 1 = keadaan tidak hujan.

Maka matriks peluang transisi untuk masalah

tersebut adalah:
0 1
P
1 1
0 0.7 0.3
Jika 0.7 dan 0.3, P
1 0.3 0.7

Prostok-6-firda 48
 0 0.7 0.3
a. P
1 0.3 0.7

0.513 0.487
P
4

0.487 0.513
Jadi, jika hari ini hujan, maka peluang empat hari
ke depan akan hujan adalah 0.513 atau 51%.

Prostok-6-firda 49
b. Distribusi stasioner : P dan 0 1 1

0 0.7 0.3
Dari matriks peluang transisi P
1 0.3 0.7
diperoleh
0 0.7 0 0.3 1 (i)
1 0.3 0 0.7 1 (ii)
0 1 1 (iii)

Dari (i) dan (ii) diperoleh, 0.3 0 0.3 1

0 1
Prostok-6-firda 50
 Substitusikan ke (iii), diperoleh
1
1 1 1 1 .
2
1
0 1 .
2
1 1
Jadi, distribusi stasioner: 0 , 1 , .
2 2

Artinya untuk jangka panjang, peluang hujan 50%

dan tidak hujan 50%.

Prostok-6-firda 51
2. Tentukan distribusi stasioner dari rantai Markov
dengan matriks peluang transisi :
0 1/ 2 1/ 2
P 1 0 0
1 0 0

Jawab : P dan 0 1 2 1
0 1 2 (i)
1
1 0
2 (ii)
1
2 0 (iii)
2
0 1 2 1 (iv) 52
Substitusi (i) ke (iv) :

0 1 2 1
1
2 0 1 0
2
1 1
1 , 2
4 4
Sehingga distribusi stasioner :
1 1 1
0 , 1 , 2 , , .
2 4 4
Artinya untuk jangka panjang, keadaan 0 50%,
keadaan 1 25%, dan keadaan 2 25%.
Prostok-6-firda 53
 Soal Latihan:
1. Diketahui peluang transisi suatu rantai Markov,

2 / 3 1/ 3 0 1
a. P1 c. P3
1/ 3 2 / 3 1 0

0 0 1 0
b. P2
1/ 2 1/ 2 d . P4 1 0 0 1
1/ 2 1/ 2
2 0.5 0.5 0

Tentukan distribusi stasioner untuk setiap

rantai Markov tersebut.
Prostok-6-firda 54