*

Tim Dosen Proses Stokastik

Untuk mempelajari perilaku dari suatu rantai
Markov, kita perlu membuat klasifikasi dari ruang
keadaan (ruang state) rantai Markov tersebut.

2 Tim Dosen Proses Stokastik

Keadaan Accessible (dapat dicapai)

Pandang suatu rantai Markov,  X (n) , n  0,1, 2,...

Keadaan j dikatakan accessible (dapat dicapai)

dari keadaan i , dinotasikan dengan i  j ,
jika terdapat bilangan bulat n  0 sehingga ij  0.
n
p

Sudah tentu setiap keadaan dapat dicapai

oleh dirinya sendiri, sehingga i  i , karena pii  1.
0

3 Tim Dosen Proses Stokastik

Contoh: 2/3

1 2 1/3
0
3
0
Jika P 3 1 1
1 
0 1

maka kita katakan keadaan 1 dapat dicapai dari 0

( 0  1) karena 1
p01  2 / 3  0.
tapi tidak sebaliknya, keadaan 0 tidak dapat
dicapai dari 1.

Tim Dosen Proses

4 Stokastik
Jika i  j dan j  i , yaitu terdapat bilangan
bulat m  0 dan n  0 sehingga pijm  0 dan p nji  0 ,
maka keadaan i dan j dikatakan saling
berkomunikasi, dinotasikan,i  j .
1/3
Contoh: 0 0 1/ 3 2 / 3 0 1
P  1 0 1 0  1 1

2 1 0 0  2/3
2
Dalam hal ini, 0  2
2  1 (karena 2  0, 0  1)
1 dan 2 tidak
5 saling berkomunikasi.
Tim Dosen Proses Stokastik
 Teorema 1
(sifat komunikasi kelas rantai Markov)
Komunikasi adalah suatu relasi ekivalen, artinya

(i) i  i

(ii) i  j maka j  i

(iii) i  j dan j  k maka i  k

6 Tim Dosen Proses Stokastik

 Bukti:
(i) dan (ii) jelas berdasarkan definisi.
(iii) Asumsikan terdapat bilangan bulat m  0 dan n  0
p
sehingga ij
m
 0 dan p jk  0 ,
n

maka dengan persamaan Chapman-

Kolmogorov diperoleh,

p m n
ik p p  p p 0
m
ij
n
jk
m
ij
n
jk
j 0

Artinya, i  k . Hal serupa berlaku untuk k  i.

Sehingga terbukti i  k .
7 Tim Dosen Proses Stokastik
Berdasarkan relasi komunikasi, semua keadaan
dalam rantai Markov dapat diklasifikasikan ke
dalam kelas-kelas komunikasi yang terpisah (disjoint)
dan lengkap (exhaustive).

Contoh:
1. Tentukan kelas komunikasi dari matriks peluang
transisi berikut:

0 1 
P 
1 0 

8 Tim Dosen Proses Stokastik

Jawab :
0 1 
• Diagram transisinya untuk P   
1
1 0 

0 1

• Kelas komunikasi : {0,1}

karena 0  1
9 Tim Dosen Proses Stokastik
2. Jika diberikan matriks peluang transisi

1 0 
P 
0 1 
Maka
• Diagram transisinya:

1 0 1 1

• Kelas komunikasinya:{0} dan {1}.

10 Tim Dosen Proses Stokastik
3. Jika diberikan matriks peluang transisi
1 0 0 
P  0 1 0
0 0 1 

Maka
• Diagram transisinya:

1 0 1 1 2 1

• Kelas komunikasinya:{0} , {1}, dan {2}.

11 Tim Dosen Proses Stokastik
4. Jika diberikan matriks peluang transisi
0 1 0 0 
P  1  0 1/ 2 1/ 2 
2 1/ 3 1/ 3 1/ 3 
Maka
• Diagram transisinya: 1/2

1 0 1 1/2 2 1/3

1/3
1/3

• Kelas komunikasinya:{0} , {1,2}.

12 Tim Dosen Proses Stokastik
 0 1/ 4 0 3/ 4 0 
5.
1 1/ 2 0 1/ 2 0 
P
2 0 0 1/ 4 3 / 4 
 
3 1 0 0 0 

Maka
• Diagram transisinya:
1/2
1/4 0 1

1/2
3/4
3
2
3/4
1/4
• Kelas komunikasinya:{0,2,3} , {1}. Tim Dosen Proses Stokastik
13
• Jika suatu rantai Markov hanya mempunyai satu
kelas komunikasi, maka rantai Markov disebut
Irreducible .
Dalam hal ini semua keadaan saling berkomunikasi.
Contoh:
1
0 0 1 0 
P  1 0 0 1  diagram transisi
1
0
2 1 0 0 

0120 1
1

Kelas komunikasi : {0,1,2}. 2

14 Tim Dosen Proses Stokastik

Jadi {0,1,2} rantai Markov Irreducible.
 Periodisitas

• Keadaan i dikatakan memiliki perode d(i)

jika d(i) merupakan FPB (faktor persekutuan
terbesar) / gcd (greatest common divisor) dari
seluruh n = 1,2,… dimana pii  0.
n

d (i)  gcd n  1| p  0
n
ii

• Jika d(i) = 1, maka keadaan i disebut aperiodik.

• Jika d(i) > 1, maka keadaan i disebut periodik.

15 Tim Dosen Proses Stokastik

Teorema 2
Jika i  j maka d (i)  d ( j ).
Bukti:
Asumsikan terdapat bilangan bulat m  0 dan n  0
sehingga pijm  0 dan p nji  0.
Jika piis  0 maka p m  n  p n p m  0
jj ji ij

p njj s  m  p nji piis pijm  0

Dari definisi periode, d(j) membagi kedua n+m dan
n+s+m dan juga (n+m)-(n+s+m)=s dengan piis  0.
Artinya, d(j) membagi d(i), dan berlaku sebaliknya,
d(i) membagi d(j). Jadi d(i)=d(j).
16 Tim Dosen Proses Stokastik
 Contoh:
diagram transisi 1 1/2
0 0 1/ 2 1/ 2 
P  1 1 0 0  1 0
2 1 0 0  1/2 1

Tentukan periodisitas dari setiap keadaan.

Jawab:
0 1 2 1 2 0 1 2 1 2 1 0 0
P 2  P  P  1 0 0   1 0 0   0 1 2 1 2
1 0 0  1 0 0  0 1 2 1 2
17 Tim Dosen Proses Stokastik
 1 0 0  0 1 2 1 2 0 1 2 1 2
P 3  P 2  P  0 1 2 1 2  1 0 0   1 0 0 
0 1 2 1 2 1 0 0  1 0 0 

1 0 0  1 0 0  1 0 0
P 4  P 2  P 2  0 1 2 1 2  0 1 2 1 2  0 1 2 1 2
0 1 2 1 2 0 1 2 1 2 0 1 2 1 2

• keadaan 0:
n  1, p00
n
 0.
d (0)  FPB n  1| p00n
 0
n  2  p00
2
1  0
 FPB 2, 4,...
n  4  p00
4
1 0 d (0)  2. state 0 periodik.
18 Tim Dosen Proses Stokastik
• keadaan 1: periodik ( d (1)  1).
n  1, p11n  0.
n  2  p00  1/ 2
2 d (1)  FPB n  1| p 11  0
n

 FPB 2, 4,...

n  4  p11  1/ 2
4
d (1)  2.
• keadaan 2: periodik ( d (2)  1).
n  1, p22  0.
d (2)  FPB n  1| p22  0
n
n

n  2  p22
2
 1/ 2
 FPB 2, 4,...
n  4  p22
4
 1/ 2 d (2)  2.
• Sesuai teorema 2, 0  1,1  2  0  2.
Sehingga, d (0)  d (1)  d (2).
19 Tim Dosen Proses Stokastik
Keadaan Recurrent dan Transient
Didefinisikan
f ijn  PX n  j, X r   j, r  1,2,..., n  1 X 0  i

yaitu peluang dimana keadaan j dicapai dari keadaan i

pertama kali setelah n langkah.
f ij0  0 (dalam 0 langkah, keadaan j tidak tercapai dari i)

f ij1  pij (dalam 1 langkah ,keadaan j dapat dicapai dari i)

Definisikan, 
f ij   f ijn  f ij1  f ij2  ...  f ij  f ij1
n 1 20 Tim Dosen Proses Stokastik
 Definisi 1
Jika f ii  1 keadaan i disebut recurrent.

Jika f ii  1 keadaan i disebut transient.

Ingat!, f ii  keadaan i dicapai dari keadaan i

(kembali dikunjungi)

fii   f (n)
ii  f  f  ...
1
ii
2
ii 1,2,…=langkah
n 1 (bukan pangkat)

21 Tim Dosen Proses Stokastik

 Teorema 3
(syarat perlu dan cukup
keadaan recurrent dan transient)


• Keadaan i recurrent jika dan hanya jika p
n 1
n
ii 


• Keadaan i transient jika dan hanya jika  ii  
n
p
n 1

22 Tim Dosen Proses Stokastik

Contoh
Matriks peluang transisi suatu rantai Markov,
0 1 0  1 0 1/2
P  1
1 1/ 2 1/ 2 
1/2

Tentukan setiap keadaan apakah recurrent atau

transient.
Jawab: •Jika gunakan teorema 3,

0 1 0 
PP  1

1 1/ 2 1/ 2 
0 1 0  1 0   1 0 
P  P.P 
2
    
1 1/ 2 1/ 2  1/232 1/ 2  3 / 4Tim Dosen  Stokastik
1/ 4Proses
  1 0  1 0   1 0 
P  P .P  
3 2
    
 3 / 4 1/ 2  1/ 2 1/ 2   7 / 8 1/ 8 

Sehingga,


 00 00 00 00  ...  1  1  1  ...  .
p n

n 1
 p1
 p 2
 p 3

 state 0 recurrent.


 11 11 11 11  ...
p n

n 1
 p1
 p 2
 p 3

2 3
1 1 1
        ...  1/ 2  1  
2 2 2 1  1/ 2

24  state 1 transient.
Tim Dosen Proses Stokastik
• Jika dengan definisi 1,

1 0 1 1/2
1/2

f 00   f 00n  f 001  f 002  f 003  ...
n 1

f001  p00  1 , f002  p01 p10  0(1/ 2)  0

f  p p10  p01 p11 p10  0(1/ 2)(1/ 2)  0
3
00
2
01
•
•
•
f00n  0 , n  2

f 00   f 00n  1.  state 0 recurrent
25 Tim Dosen Proses Stokastik
n 1
 1 0 1 1/2

1/2


f11   f11n  f111  f112  f113  ...
n 1

f111  p11  1/ 2 , f112  p10 p01  (1/ 2).0  0

f  p p01  p10 p00 p01  (1/ 2)(1).0  0
3
11
2
10
•
•
•
f11n  0 , n  2

f11   f11n  1/ 2  0  0  ...  1/ 2  1.  State 1 transient.
26 Tim Dosen Proses Stokastik
n 1
Teorema 4
Jika keadaan i recurrent dan i  j
maka keadaan j recurrent .
Bukti :
Asumsikan terdapat bilangan bulat m  0 dan n  0
sedemikian sehingga p mji  0 dan pijn  0.
Maka untuk sebarang s  0, p mjj s n  p mji piis pijn
Jika dijumlahkan atas s, diperoleh

yang menyatakan bahwa 27j recurrent. (terbukti)

Tim Dosen Proses Stokastik
Akibat:

Suatu rantai Markov yang irreducible memiliki

ruang keadaan yang recurrent atau transient.

28 Tim Dosen Proses Stokastik

Keadaan Absorbing (menyerap)

Keadaan i dikatakan Absorbing (menyerap)

jika pii  1.

(sekali i dicapai, tidak pernah keluar lagi)

Disebut juga sebagai rantai Markov terserap

(absorbing Markov chain) jika paling sedikit
terdapat satu keadaan terserap.

29 Tim Dosen Proses Stokastik

Contoh
Matriks peluang transisi suatu rantai Markov,
0 1 0 
P 
1 1/ 2 1/ 2 
 Keadaan 0 dikatakan absorbing, karena p00  1.
 Periodisitas keadaan 0 :
n  1, p00
n
 0.
n  1  p00
1
1
d (0)  FPB 1, 2, 3, 4,...
n  2  p00
2
1 d (0)  1.
n  3  p00
3
1 (keadaan 0 aperiodik).
n  4  p 1
4 30 Tim Dosen Proses Stokastik

00
Teorema berikut menunjukkan rantai Markov dapat
membentuk beberapa kelas recurrent dan suatu
himpunan keadaan transient.

Teorema 5

Dari suatu rantai Markov , semua keadaan dapat

diklasifikasikan menjadi beberapa kelas recurrent
C1 , C2 ,... dan sisanya merupakan keadaan transient.

31 Tim Dosen Proses Stokastik

Contoh
Tunjukkan rantai Markov dengan peluang transisi
berikut memiliki suatu kelas recurrent dan sebuah
himpunan keadaan transient.

0 3 / 4 1/ 4 0 0 
1 1/ 3 2 / 3 0 0 
P
2 0 0 1/ 2 1/ 2 
 
3  0 1/ 3 1/ 3 1/ 3 

32 Tim Dosen Proses Stokastik

• Diagram transisinya:
1/4
0 2/3
1
3/4
1/3
1/3
1/2

3
1/2
1/3
1/3

• Rantai Markov ini mempunyai kelas recurrent

{0,1} dan himpunan state transient {2,3}.

Tim Dosen Proses Stokastik

33
 Contoh :
Diketahui peluang transisi suatu rantai Markov,

0 0 0 1 0 
1  0.1 0.8 0 0.1
P
2 0.4 0.4 0.1 0.1
 
3 0 0 0.2 0.8

a. Tunjukkan bahwa rantai Markov tsb irreducible.

b. Tentukan periodisitas setiap keadaan.

34 Tim Dosen Proses Stokastik
• Diagram transisinya:
0 0.1
0.8
1

0.4
1 0.4
0.1
0.1

3
0.1
0.8
0.2
a.
• 0  1, karena p01
2
 p02 p21  (0.1)(0.4)  0
dan p10  0.1  0.
Tim Dosen Proses Stokastik
35
• 0  2 , karena p02  1  0 dan p20  0.4  0.

• 0  3, karena p03  p02 p23  (1)(0.1)  0

2

dan p30  p32 p20  (0.2)(0.4)  0.

2

• 1  2, karena p122  p10 p02  (0.1)(1)  0

dan p21  0.4  0.

• 1  3, karena p13  0.1  0 dan

p31  p32 p21  (0.2)(0.4)  0.
2

• 2  3, karena p23  0.1  0 dan p32 =0.2>0.

Jadi kelas komunikasinya: {0,1,2,3}
 rantai Markov irreducible.
36 Tim Dosen Proses Stokastik
b. periodisitas:
• keadaan 0, n  1, p00 n
 0.
n  2, p00
2
 p02 p20  1(0.4)  0
n  3, p00
3
 p02 p22 p20  p02 p21 p10  1(0.1)(0.4)  1(0.4)(0.1)  0
n  4, p00
4
 p02 p23 p32 p20  p02 p22 p21 p10  p02 p21 p11 p10
 1(0.1)(0.2)(0.4)  1(0.1)(0.4)(0.1)  1(0.4)(0.8)(0.1)  0
d (0)  FPB{2,3, 4,...}  1
Keadaan 0 aperiodik.
Karena 0  1,1  2, 2  3  3  0
Maka dengan teorema 2, d (1)  d (2)  d (3)  d (0)
Sehingga keadaan 1,2,3 aperiodik.
37 Tim Dosen Proses Stokastik
 Soal Latihan:
1. Diketahui peluang transisi suatu rantai Markov,
0  0 1 0 0 0.4 0.6 0 0 
 0 0 1 0.2 0.8 0 0 
a. P1  1   c. P3 
1  
2 0.5 0.5 0 2 0 0 1 0
 
3 0 0 0.5 0.5
0 0.2 0.5 0.3
b. P2  1 0 1 0
 
2 0.9 0.1 0 

Tentukan klasifikasi semua keadaan (state), yaitu

kelas ekivalen, keadaan recurrent, dan transient.
38 Tim Dosen Proses Stokastik
2. Diketahui peluang transisi suatu rantai Markov,

0 1/ 4 0 3/ 4 0 
1 1/ 2 0 1/ 2 0 
P
2 0 0 1/ 4 3 / 4 
 
3 1 0 0 0 

Tentukan klasifikasi semua keadaan (state), yaitu

kelas ekivalen, keadaan recurrent, dan transient.

39 Tim Dosen Proses Stokastik

 3. Diketahui peluang transisi suatu rantai Markov,

0 0 1 0  0  0 0 0 0.4 0.6
 0 0 0 0.2 0.8
a. P1  1 0 0 1  1  
2 1 0 0  c. P3  2 0 0 0 0 1
 
3 0.5 0.5 0 0 0 
0 0 1 0 4  0 1 0 0 0 
b. P2  1  0 0 1 
2 0.5 0.5 0 
(i) Tunjukkan bahwa rantai Markov tersebut irreducible
(ii) Tentukan periodisitasnya.
40 Tim Dosen Proses Stokastik
Limiting Probability
Untuk suatu rantai Markov, semua keadaan
recurrent diklasifikasikan menjadi keadaan positif
(non-null) recurrent atau null recurrent dengan
memperhatikan  j   atau  j  , dengan

 j   n. f jjn
n 1

menyatakan rata-rata waktu recurrent (mean

recurrent time) untuk keadaan j.

41 Tim Dosen Proses Stokastik

Teorema
• Jika keadaan j recurrent dan aperiodic, maka
1
p jj 
n
, untuk n  .
j
• Jika keadaan j recurrent dan periodik dengan
periode d(j), maka
d ( j)
p nd ( j )
 , untuk n  .
jj
j
1
Kita interpretasikan bahwa  0, jika  j  
j
(artinya keadaan j null recurrent).
42 Tim Dosen Proses Stokastik
Corollary (Akibat)
Jika keadaan j transient, maka
p njj  0, untuk n  .

43 Tim Dosen Proses Stokastik

Definisi 5

Misalkan P matriks peluang transisi (m state)

dari rantai Markov Homogen.
m
Jika       P dan 
j 0
j 1

Maka    0 , 1 ,...,  m 
disebut distribusi stasioner untuk rantai Markov
Homogen.

44 Tim Dosen Proses Stokastik

Teorema 8
• Jika suatu rantai Markov Irreducible, positive
recurrrent dan aperiodic (Rantai Markov Ergodik)
maka terdapat limit peluang,
lim pijn   j  0 (i, j  0,1, 2,...)
n 

yang bebas dari keadaan awal i, dengan

 j , j  0,1, 2,... tunggal dan merupakan solusi
positif dari

 j    i pij dan


i 0
 j 0
j  1, j  0,1, 2,...

  ini dinamakan distribusi stasioner dari

j
rantai Markov. 45 Tim Dosen Proses Stokastik
Ilustrasi
Misal rantai Markov dengan 3 ruang keadaan, {0,1,2}.
Cara menentukan distribusi stasioner  0 , 1 ,  2 :
Selesaikan
 p00 p01 p02 
(i )  0 , 1 ,  2    0 1  2   p10 p11 p12 
 p20 p21 p22 
(ii )  0  1   2  1

Atau  0  p00 0  p10 1  p20 2 (i)

Selesaikan
 1  p01 0  p11 1  p21 2 (ii) secara simultan
 2  p02 0  p12 1  p22 2 (iii)
 0   1   2  146 (iv) Tim Dosen Proses Stokastik
 Contoh
Misal kondisi cuaca (hujan atau tidak hujan)
bergantung pada cuaca hari ini (hujan atau
tidak hujan).
1. Misalkan , jika hari ini hujan maka besok akan
hujan dengan peluang  dan jika hari ini tidak
hujan, maka besok akan hujan dengan peluang  .
a. Tentukan peluang empat hari ke depan akan
hujan jika hari ini hujan.
b. Dalam jangka panjang, berapakah proporsi
waktu (distribusi stasioner) untuk proses setiap
keadaan.
47 Tim Dosen Proses Stokastik
Jawab:

Misalkan keadaan 0 = keadaan hujan.

keadaan 1 = keadaan tidak hujan.

Maka matriks peluang transisi untuk masalah

tersebut adalah:
0  1   
P 
1   1   
0 0.7 0.3 
Jika   0.7 dan   0.3, P 
1  0.3 0.7 
48 Tim Dosen Proses Stokastik
 0  0.7 0.3 
a. P  
1  0.3 0.7 

 0.513 0.487 
P 
4

 0.487 0.513 
Jadi, jika hari ini hujan, maka peluang empat hari
ke depan akan hujan adalah 0.513 atau 51%.

49 Tim Dosen Proses Stokastik

b. Distribusi stasioner :    P dan  0   1  1

0  0.7 0.3 
Dari matriks peluang transisi P  
1  0.3 0.7 
diperoleh
 0  0.7 0  0.3 1 … (i)
 1  0.3 0  0.7 1 … (ii)
 0  1  1 … (iii)

Dari (i) dan (ii) diperoleh, 0.3 0  0.3 1

 0  1
50 Tim Dosen Proses Stokastik
 Substitusikan ke (iii), diperoleh
1
1  1  1  1  .
2
1
  0  1  .
2
1 1
Jadi, distribusi stasioner:    0 , 1    ,  .
2 2
Artinya untuk jangka panjang, peluang hujan 50%
dan tidak hujan 50%.

51 Tim Dosen Proses Stokastik

2. Tentukan distribusi stasioner dari rantai Markov
dengan matriks peluang transisi :
0 1/ 2 1/ 2 
P  1 0 0 
1 0 0 

Jawab :    P dan  0   1   2  1
 0  1   2 … (i)
1
1   0 … (ii)
2
1
2  0 … (iii)
2
 0   1   2  1 52… (iv) Tim Dosen Proses Stokastik
Substitusi (i) ke (iv) :

 0  1   2  1
1
2 0  1   0 
2
1 1
 1  ,  2 
4 4
Sehingga distribusi stasioner :
1 1 1
 0 , 1 ,  2    , ,  .
2 4 4
Artinya untuk jangka panjang, keadaan 0  50%,
keadaan 1  25%, dan keadaan 2  25%.
53 Tim Dosen Proses Stokastik
 Soal Latihan:
1. Diketahui peluang transisi suatu rantai Markov,

 2 / 3 1/ 3  0 1 
a. P1    c. P3   
 1/ 3 2 / 3   1 0 

0 0 1 0
1/ 2 1/ 2 
b. P2   d . P4  1  0 0 1 

1/ 2 1/ 2  2 0.5 0.5 0

Tentukan distribusi stasioner untuk setiap

rantai Markov tersebut.
54 Tim Dosen Proses Stokastik