6.

RANTAI MARKOV
WAKTU DISKRIT

KLASIFIKASI RUANG KEADAAN

Prostok-6-firda
Untuk mempelajari prilaku dari suatu rantai Markov,
kita perlu membuat klasifikasi dari ruang keadaan
(ruang state) rantai Markov tersebut.

Prostok-6-firda 2
6.1 Keadaan Accessible (dapat dicapai)

Pandang suatu rantai Markov,  X ( n) , n  0,1, 2,...

Keadaan j dikatakan accessible (dapat dicapai)

dari keadaan i , dinotasikan dengan i  j ,
n
jika terdapat bilangan bulat n  0 sehingga ij  0.
p

Sudah tentu setiap keadaan dapat dicapai

0
oleh dirinya sendiri, sehingga i  i , karena ii  1.
p
Prostok-6-firda 3
Contoh: 2/3

1 2 1/3
0 0
Jika P 3 3 1 1
1 
0 1

maka kita katakan keadaan 1 dapat dicapai dari 0

1
( 0  1) karena p01  2 / 3  0.
tapi tidak sebaliknya, keadaan 0 tidak dapat
dicapai dari 1.

Prostok-6-firda 4
Jika i  j dan j  i , yaitu terdapat bilangan
bulat m  0 dan n  0 sehingga pijm  0 dan p nji  0 ,
maka keadaan i dan j dikatakan saling
berkomunikasi, dinotasikan,i  j .
1/3
Contoh: 0 0 1/ 3 2 / 3 0 1
P  1 0 1 0  1 1

2 1 0 0  2/3
2
Dalam hal ini, 0  2
2  1 (karena 2  0, 0  1)
1 dan 2 tidak saling berkomunikasi.
5
Prostok-6-firda
 Teorema 1
(sifat komunikasi kelas rantai Markov)
Komunikasi adalah suatu relasi ekivalen, artinya

(i) i  i

(ii) i  j maka j  i

(iii) i  j dan j  k maka i  k

Prostok-6-firda 6
 Bukti:
(i) dan (ii) jelas berdasarkan definisi.
(iii) Asumsikan terdapat bilangan bulat m  0 dan n  0
m n
p
sehingga ij  0 dan p jk  0 ,
maka dengan persamaan Chapman-
Kolmogorov diperoleh,

p mn
ik  p p  p p 0
m
ij
n
jk
m
ij
n
jk
j 0

Artinya, i  k . Hal serupa berlaku untuk k  i.

Sehingga terbukti i  k .
Prostok-6-firda 7
Berdasarkan relasi komunikasi, semua keadaan
dalam rantai Markov dapat diklasifikasikan ke
dalam kelas-kelas komunikasi yang terpisah (disjoint
dan lengkap (exhaustive).

Contoh:
1. Tentukan kelas komunikasi dari matriks peluang
transisi berikut:

0 1 
P 
1 0 

Prostok-6-firda 8
Jawab :
0 1 
• Diagram transisinya untuk P   
1 0 
1

0 1

• Kelas komunikasi : {0,1}

karena 0  1

Prostok-6-firda 9
2. Jika diberikan matriks peluang transisi

1 0 
P 
0 1 
Maka
• Diagram transisinya:

1 0 1 1

• Kelas komunikasinya:{0} dan {1}.

Prostok-6-firda 10
3. Jika diberikan matriks peluang transisi
1 0 0 
P   0 1 0 
 0 0 1 

Maka
• Diagram transisinya:

1 0 1 1 2 1

• Kelas komunikasinya:{0} , {1}, dan {2}.

Prostok-6-firda 11
4. Jika diberikan matriks peluang transisi
0 1 0 0 
P  1  0 1/ 2 1/ 2 
2 1/ 3 1/ 3 1/ 3 
Maka
• Diagram transisinya: 1/2

1 0 1 1/2 2 1/3

1/3
1/3

• Kelas komunikasinya:{0} , {1,2}.

Prostok-6-firda 12
 0 1/ 4 0 3/ 4 0 
5.
1 1/ 2 0 1/ 2 0 
P
2 0 0 1/ 4 3 / 4 
 
3 1 0 0 0 

Maka
• Diagram transisinya:
1/2
1/4 0 1

1/2
3/4
3
2
3/4
1/4
• Kelas komunikasinya:{0,2,3} , {1}.
13
Prostok-6-firda
• Jika suatu rantai Markov hanya mempunyai satu
kelas komunikasi, maka rantai Markov disebut
Irreducible .
Dalam hal ini semua keadaan saling berkomunikasi.
Contoh: 1
0 0 1 0
P  1 0 0 1  diagram transisi
1
0
2 1 0 0 
1
0120 1
Kelas komunikasi : {0,1,2}. 2

Jadi {0,1,2} rantai Markov Irreducible. 14

 6.2 Periodisitas

• Keadaan i dikatakan memiliki perode d(i)

jika d(i) merupakan FPB (faktor persekutuan
terbesar) / gcd (greatest common divisor) dari
n
seluruh n = 1,2,… dimana pii  0.

d (i )  gcd n  1| p  0 n
ii

• Jika d(i) = 1, maka keadaan i disebut aperiodik.

• Jika d(i) > 1, maka keadaan i disebut periodik.

Prostok-6-firda 15
Teorema 2
Jika i  j maka d (i )  d ( j ).
Bukti:
Asumsikan terdapat bilangan bulat m  0 dan n  0
sehingga pijm  0 dan p nji  0.
Jika piis  0 maka p m  n  p n p m  0
jj ji ij

p njj s  m  p nji piis pijm  0

Dari definisi periode, d(j) membagi kedua n+m dan
s
n+s+m dan juga (n+m)-(n+s+m)=s dengan pii  0.
Artinya, d(j) membagi d(i), dan berlaku sebaliknya,
d(i) membagi d(j). Jadi d(i)=d(j).
Prostok-6-firda 16
 Contoh:
diagram transisi 1 1/2
0  0 1/ 2 1/ 2 
P  1 1 0 0  1 0
2 1 0 0  1/2 1

Tentukan periodisitas dari setiap keadaan.

Jawab:
 0 1 2 1 2   0 1 2 1 2  1 0 0
P 2  P  P  1 0 0   1 0 0   0 1 2 1 2
1 0 0  1 0 0  0 1 2 1 2
Prostok-6-firda 17
 1 0 0   0 1 2 1 2  0 1 2 1 2 
P 3  P 2  P  0 1 2 1 2  1 0 0   1 0 0 
0 1 2 1 2 1 0 0  1 0 0 

1 0 0  1 0 0  1 0 0
P 4  P 2  P 2  0 1 2 1 2  0 1 2 1 2  0 1 2 1 2
0 1 2 1 2 0 1 2 1 2 0 1 2 1 2

• keadaan 0:
n
n  1, p00  0.
2 d (0)  FPB n  1| p00n
 0
n  2  p00 1 0
 FPB 2, 4,...
4
n  4  p00 1 0 d (0)  2. state 0 periodik.
Prostok-6-firda 18
• keadaan 1: periodik ( d (1)  1).
n  1, p11n  0.
2 d (1)  FPB n  1| p11n  0
n  2  p00  1/ 2
4  FPB 2, 4,...
n  4  p  1/ 2
11 d (1)  2.
• keadaan 2: periodik ( d (2)  1).
n
n  1, p22  0.
d (2)  FPB n  1| p22
n
 0
2
n  2  p22  1/ 2
 FPB 2, 4,...
4
n  4  p22  1/ 2 d (2)  2.
• Sesuai teorema 2, 0  1,1  2  0  2.
Sehingga, d (0)  d (1)  d (2).
Prostok-6-firda 19
6.3 Keadaan Recurrent dan Transient
Didefinisikan
f ijn  PX n   j , X r   j , r  1,2,..., n  1 X 0  i

yaitu peluang dimana keadaan j dicapai dari keadaan i

pertama kali setelah n langkah.
f ij0  0 (dalam 0 langkah, keadaan j tidak tercapai dari i)

f ij1  pij (dalam 1 langkah ,keadaan j dapat dicapai dari i)

Definisikan, 
f ij   f n
ij
1 2
 f  f  ...  f ij  f ij1
ij ij
n 1 20
Prostok-6-firda
 Definisi 1
Jika f ii  1 keadaan i disebut recurrent.

Jika f ii  1 keadaan i disebut transient.

Ingat!, f ii  keadaan i dicapai dari keadaan i

(kembali dikunjungi)

fii   f (n)
ii
1
 f  f  ...
ii
2
ii 1,2,…=langkah
n 1 (bukan pangkat)

Prostok-6-firda 21
 Teorema 3
(syarat perlu dan cukup
keadaan recurrent dan transient)


• Keadaan i recurrent jika dan hanya jika  ii  
p n

n 1


• Keadaan i transient jika dan hanya jika  ii  
n
p
n 1

Prostok-6-firda 22
Contoh
Matriks peluang transisi suatu rantai Markov,
0 1 0  1 0 1 1/2
P  1/2
1 1/ 2 1/ 2 

Tentukan setiap keadaan apakah recurrent atau

transient.
Jawab: •Jika gunakan teorema 3,
0 1
1 0 
PP  
1 1/ 2 1/ 2 
2 0 1 0  1 0   1 0 
P  P.P  
1 1/ 2 1/ 2  1/ 2 1/ 2  3 / 4 1/ 4 
  
23
Prostok-6-firda
 3 2  1 0  1 0   1 0 
P  P .P       
 3 / 4 1/ 2  1/ 2 1/ 2   7 / 8 1/ 8 

Sehingga,


 00 00 00 00  ...  1  1  1  ...  .
p n

n 1
 p1
 p 2
 p 3


 state 0 recurrent.
 11 11 11 11  ...
p n

n 1
 p1
 p 2
 p 3

2 3
1 1 1
        ...  1/ 2  1  
2 2 2 1  1/ 2
 state 1 transient. 24
Prostok-6-firda
• Jika dengan definisi 1,

1 0 1 1/2
1/2

f 00   f 00n  f 001  f 002  f 003  ...
n 1
f 001  p00  1 , f 002  p01 p10  0(1/ 2)  0
f 003  p01
2
p10  p01 p11 p10  0(1/ 2)(1/ 2)  0
•
•
•
f 00n  0 , n  2

f 00   f 00n  1.  state 0 recurrent
n 1 25
Prostok-6-firda
 1 0 1 1/2

1/2


f11   f11n  f111  f112  f113  ...
n 1
f111  p11  1/ 2 , f112  p10 p01  (1/ 2).0  0
f113  p102 p01  p10 p00 p01  (1/ 2)(1).0  0
•
•
•
f11n  0 , n  2

f11   f11n  1/ 2  0  0  ...  1/ 2  1.  State 1 transient.
n 1 26
Prostok-6-firda
Teorema 4
Jika keadaan i recurrent dan i  j
maka keadaan j recurrent .
Bukti :
Asumsikan terdapat bilangan bulat m  0 dan n  0
m n
sedemikian sehingga p ji  0 dan pij  0.
Maka untuk sebarang s  0, p mjj  s  n  p mji piis pijn
Jika dijumlahkan atas s, diperoleh

yang menyatakan bahwa j recurrent. (terbukti) 27

Akibat:

Suatu rantai Markov yang irreducible memiliki

ruang keadaan yang recurrent atau transient.

Prostok-6-firda 28
 6.4 Keadaan Absorbing (menyerap)

Keadaan i dikatakan Absorbing (menyerap)

jika pii  1.

(sekali i dicapai, tidak pernah keluar lagi)

Disebut juga sebagai rantai Markov terserap

(absorbing Markov chain) jika paling sedikit
terdapat satu keadaan terserap.

Prostok-6-firda 29
Contoh
Matriks peluang transisi suatu rantai Markov,
0 1 0 
P 
1 1/ 2 1/ 2 
 Keadaan 0 dikatakan absorbing, karena p00  1.
 Periodisitas keadaan 0 :
n
n  1, p00  0.
1
n  1  p00 1
d (0)  FPB 1, 2, 3, 4,...
2
n  2  p00 1 d (0)  1.
3
n  3  p00 1 (keadaan 0 aperiodik).
4 30
n  4  p00 1 Prostok-6-firda
Teorema berikut menunjukkan rantai Markov dapat
membentuk beberapa kelas recurrent dan suatu
himpunan keadaan transient.

Teorema 5

Dari suatu rantai Markov , semua keadaan dapat

diklasifikasikan menjadi beberapa kelas recurrent
C1 , C2 ,... dan sisanya merupakan keadaan transient.

Prostok-6-firda 31
Contoh
Tunjukkan rantai Markov dengan peluang transisi
berikut memiliki suatu kelas recurrent dan sebuah
himpunan keadaan transient.

0 3 / 4 1/ 4 0 0 
1 1/ 3 2 / 3 0 0 
P
2 0 0 1/ 2 1/ 2 
 
3  0 1/ 3 1/ 3 1/ 3 

Prostok-6-firda 32
• Diagram transisinya:
1/4
0 2/3
1
3/4
1/3

1/3
1/2

3
1/2
1/3
1/3

• Rantai Markov ini mempunyai kelas recurrent

{0,1} dan himpunan state transient {2,3}.

Prostok-6-firda
33
 Contoh :
Diketahui peluang transisi suatu rantai Markov,

0 0 0 1 0 
1  0.1 0.8 0 0.1
P
2 0.4 0.4 0.1 0.1
 
3 0 0 0.2 0.8

a. Tunjukkan bahwa rantai Markov tsb irreducible.

b. Tentukan periodisitas setiap keadaan.

Prostok-6-firda 34
• Diagram transisinya:
0 0.1
0.8
1

0.4
1 0.4
0.1
0.1

3
0.1
0.8
0.2
a.
2
• 0  1, karena p01  p02 p21  (0.1)(0.4)  0
dan p10  0.1  0.
Prostok-6-firda
35
• 0  2 , karena p02  1  0 dan p20  0.4  0.
2
• 0  3, karena p  p02 p23  (1)(0.1)  0
03
2
dan p30  p32 p20  (0.2)(0.4)  0.
• 1  2 , karena p122  p10 p02  (0.1)(1)  0
dan p21  0.4  0.

• 1  3, karena p13  0.1  0 dan

2
p31  p32 p21  (0.2)(0.4)  0.
• 2  3, karena p23  0.1  0 dan p32 =0.2>0.
Jadi kelas komunikasinya: {0,1,2,3}
 rantai Markov irreducible. 36
Prostok-6-firda
b. periodisitas:
n
• keadaan 0, n  1, p00  0.
2
n  2 , p00  p02 p20  1(0.4)  0
3
n  3, p00  p02 p22 p20  p02 p21 p10  1(0.1)(0.4)  1(0.4)(0.1)  0
4
n  4, p00  p02 p23 p32 p20  p02 p22 p21 p10  p02 p21 p11 p10
 1(0.1)(0.2)(0.4)  1(0.1)(0.4)(0.1)  1(0.4)(0.8)(0.1)  0
d (0)  FPB{2, 3, 4,...}  1
Keadaan 0 aperiodik.
Karena 0  1,1  2 , 2  3  3  0
Maka dengan teorema 2,d (1)  d (2)  d (3)  d (0)
Sehingga keadaan 1,2,3 aperiodik.
Prostok-6-firda 37
 Soal Latihan:
1. Diketahui peluang transisi suatu rantai Markov,
0  0 1 0 0
0.4 0.6 0 0 
0.2 0.8 0 0 
a. P1  1  0 0 1  c. P3  
1 
2 0.5 0.5 0  20 0 1 0
 
3  0 0 0.5 0.5 
0 0.2 0.5 0.3
b. P2  1 0 1 0
 
2 0.9 0.1 0 

Tentukan klasifikasi semua keadaan (state), yaitu

kelas ekivalen, keadaan recurrent, dan transient.
Prostok-6-firda 38
2. Diketahui peluang transisi suatu rantai Markov,

0 1/ 4 0 3/ 4 0 
1 1/ 2 0 1/ 2 0 
P
2 0 0 1/ 4 3 / 4 
 
3 1 0 0 0 

Tentukan klasifikasi semua keadaan (state), yaitu

kelas ekivalen, keadaan recurrent, dan transient.

Prostok-6-firda 39
 3. Diketahui peluang transisi suatu rantai Markov,

0 0 1 0  0  0 0 0 0.4 0.6 
 0 0 0 0.2 0.8
a. P1  1 0 0 1  1  
2 1 0 0  c. P3  2 0 0 0 0 1
 
3 0.5 0.5 0 0 0 
0 0 1 0 4  0 1 0 0 0 
b. P2  1  0 0 1 
2 0.5 0.5 0 
(i) Tunjukkan bahwa rantai Markov tersebut irreducible
(ii) Tentukan periodisitasnya.
Prostok-6-firda 40
Limiting Probability
Untuk suatu rantai Markov, semua keadaan
recurrent diklasifikasikan menjadi keadaan positif
(non-null) recurrent atau null recurrent dengan
memperhatikan  j   atau  j  , dengan

 j   n. f jjn
n 1

menyatakan rata-rata waktu recurrent (mean

recurrent time) untuk keadaan j.

Prostok-6-firda 41
Teorema
• Jika keadaan j recurrent dan aperiodic, maka
n 1
p jj  , untuk n  .
j
• Jika keadaan j recurrent dan periodik dengan
periode d(j), maka
nd ( j ) d ( j)
p jj  , untuk n  .
j
1
Kita interpretasikan bahwa  0, jika  j  
j
(artinya keadaan j null recurrent).
Prostok-6-firda 42
Corollary (Akibat)
Jika keadaan j transient, maka
p njj  0, untuk n  .

Prostok-6-firda 43
Definisi 5

Misalkan P matriks peluang transisi (m state)

dari rantai Markov Homogen.
m
Jika       P dan 
j 0
j 1

Maka    0 ,  1 ,...,  m 
disebut distribusi stasioner untuk rantai Markov
Homogen.

Prostok-6-firda 44
Teorema 8
• Jika suatu rantai Markov Irreducible, positive
recurrrent dan aperiodic (Rantai Markov Ergodik)
maka terdapat limit peluang,
lim pijn   j  0 (i, j  0,1, 2,...)
n 

yang bebas dari keadaan awal i, dengan

 j , j  0,1, 2,... tunggal dan merupakan solusi
positif dari


 j    i pij dan  j  1, j  0,1, 2,...
i 0 j 0

  ini dinamakan distribusi stasioner dari

j
rantai Markov. Prostok-6-firda 45
Ilustrasi
Misal rantai Markov dengan 3 ruang keadaan, {0,1,2}.
Cara menentukan distribusi stasioner  0 ,  1 ,  2 :
Selesaikan
 p00 p01 p02 
(i )  0 ,  1 ,  2    0 1  2   p10 p11 p12 
 p20 p21 p22 
(ii )  0  1   2  1

Atau  0  p00  0  p10 1  p20  2 (i) Selesaikan

 1  p01 0  p11 1  p21 2 (ii) secara simultan
 2  p02 0  p12  1  p22  2 (iii)
 0  1   2  1 (iv) 46
 Contoh
Misal kondisi cuaca (hujan atau tidak hujan)
bergantung pada cuaca hari ini (hujan atau
tidak hujan).
1. Misalkan , jika hari ini hujan maka besok akan
hujan dengan peluang  dan jika hari ini tidak
hujan, maka besok akan hujan dengan peluang  .
a. Tentukan peluang empat hari ke depan akan
hujan jika hari ini hujan.
b. Dalam jangka panjang, berapakah proporsi
waktu (distribusi stasioner) untuk proses setiap
keadaan.
Prostok-6-firda 47
Jawab:

Misalkan keadaan 0 = keadaan hujan.

keadaan 1 = keadaan tidak hujan.

Maka matriks peluang transisi untuk masalah

tersebut adalah:
0  1   
P 
1   1   
0 0.7 0.3
Jika   0.7 dan   0.3, P 
1  0.3 0.7 

Prostok-6-firda 48
 0 0.7 0.3
a. P  
1  0.3 0.7 

4 0.513 0.487 
P  
0.487 0.513 
Jadi, jika hari ini hujan, maka peluang empat hari
ke depan akan hujan adalah 0.513 atau 51%.

Prostok-6-firda 49
b. Distribusi stasioner :    P dan  0   1  1

0 0.7 0.3 
Dari matriks peluang transisi P  
1  0.3 0.7 
diperoleh
 0  0.7 0  0.3 1 … (i)
 1  0.3 0  0.7 1 … (ii)
 0  1  1 … (iii)

Dari (i) dan (ii) diperoleh, 0.3 0  0.3 1

 0  1
Prostok-6-firda 50
 Substitusikan ke (iii), diperoleh
1
1  1  1  1  .
2
1
  0  1  .
2
1 1
Jadi, distribusi stasioner:    0 ,  1    ,  .
2 2

Artinya untuk jangka panjang, peluang hujan 50%

dan tidak hujan 50%.

Prostok-6-firda 51
2. Tentukan distribusi stasioner dari rantai Markov
dengan matriks peluang transisi :
0 1/ 2 1/ 2 
P  1 0 0 
1 0 0 

Jawab :    P dan  0   1   2  1
 0  1   2 … (i)
1
1   0
2 … (ii)
1
2  0 … (iii)
2
 0   1   2  1 … (iv) 52
Substitusi (i) ke (iv) :

 0  1   2  1
1
2 0  1   0 
2
1 1
 1  ,  2 
4 4
Sehingga distribusi stasioner :
1 1 1
 0 ,  1 ,  2    , ,  .
2 4 4
Artinya untuk jangka panjang, keadaan 0 50%,
keadaan 1 25%, dan keadaan 2 25%.
Prostok-6-firda 53
 Soal Latihan:
1. Diketahui peluang transisi suatu rantai Markov,

 2 / 3 1/ 3  0 1 
a. P1    c. P3   
 1/ 3 2 / 3   1 0 

0 0 1 0
1/ 2 1/ 2  d . P4  1  0 0 1 
b. P2   
1/ 2 1/ 2  2 0.5 0.5 0 

Tentukan distribusi stasioner untuk setiap

rantai Markov tersebut.
Prostok-6-firda 54