BAB III

Rantai Markov
KLASIFIKASI STATE RANTAI MARKOV
 SIFAT-SIFAT STATE
DARI SUATU RANTAI
MARKOV
State dalam rantai Markov mempunyai
sifat berlainan, beberapa sifat
state yang akan dipelajari
diantaranya :
1. State Absorbing
State ini mempunyai sifat P(a,a)=1
2. State Transien
Suatu state yS disebut Transien
jika yy =Py (Ty<) <1
 Ini berarti bahwa rantai Markov yang
bermula dari y belum tentu (belum pasti)
kembali ke-y. Ada kemungkinan tidak
kembali ke-y dan
P(dari y tidak kembali ke-y) =1-P(dari y
kembali ke-y) =1-yy >0
3. State Rekuren
Suatu state yS disebut rekuren, jika
yy=Py (Ty<)=1
Ini berarti bahwa rantai Markov yang
bermula dari y pasti akan kembali ke-y pada
suatu waktu yang berhingga. Ingat bahwa :
xy=Px(Ty<)
• Jika y state absorbing, maka y
merupakan state rekuren. Ini dapat
diperlihatkan berdasarkan kenyataan
bahwa y state absorbing maka
P(y,y)=Py(Ty=1)=1
• Ini berarti bahwa yy=1, akibatnya y
merupakan state rekuren
• Namun belum tentu berlaku
kebalikannya
• Dibentuk suatu fungsi indikator untuk
himpunan {y} demikian :
1; z  y
I y (Z )  
0; z  y
Sedangkan N(y) menyatakan banyak kali rantai
Markov berada pada state y.
• Karena Iy(Xn)=1 bila rantai pada state y atau
Xn=y, dan Iy(Xn)=0 bila Xny maka terdapat
hubungan:

Px(N(y)1)=Px(Ty)=xy
• Seandainya m dan n bilangan bulat
positif, maka probabilitas rantai Markov
mulai dari x berkunjung pertama ke-y
setelah m langkah= Px(Ty=m), dan
kunjungan berikutnya ke-y setelah n
langkah berikutnya memiliki probabilitas
= Py(Ty=n), sehingga probabilitas rantai
Markov mulai dari x berkunjung pertama
ke-y setelah m langkah dan kunjungan
berikutnya ke-y setelah n langkah
berikutnya =
Px(Ty=m). Py(Ty=n)
• Px(N(y)  2)=
 

 P (Ty  m). P (Ty  n)

m 1 n 1
x y

   
 x y P (T  m)   y y P (T  n)    xy  yy
 m 1   n 1 

• Px(N(y)  m)=  xy  yym 1 , m 1

• Px(N(y) = m)= Px(N(y)  m) - Px(N(y)  m+1)

Untuk m≥1
 xy  m 1
yy
m
  xy    xy 
yy
m 1
yy 1   
yy

Px(N(y) = 0)=1 - Px(N(y)  1)

=1 - xy
Dari Px(N(y) = m) : probabilitas rantai mulai dari
x mengunjungi y sebanyak m kali sama
dengan probabilitas rantai mulai x
mengunjungi y pertama kali kemudian
kembali ke-y sebanyak (m-1) kali kemudian
tak kembali lagi ke-y =
(1 - yy).
Akan digunakan notasi Ex( ) untuk
menyatakan harga harapan
(expectation) suatu variabel acak
terdefinisikan dalam rantai Markov
mulai dari x. Berdasarkan contoh di
atas :
• Ex(Iy(Xn))= 0. Px(Iy(Xn)=0) +
1. Px(Iy(Xn)=1)
= 0. Px(Xn  y) + 1. Px(Xn = y)
= Px(Xn = y) = Pn(x,y)
  

• Ex(N(y)) = E x   I y (X n ) 
 n 1 
    n
  E x I y (X n )    P ( x, y)
 n 1  n 1
Didefinisikan

G(x,y)= Ex(N(y))= P
n 1
n
( x, y)

• G(x,y) menyatakan harga harapan

banyaknya kunjungan ke-y bila rantai
Markov mulai dari x.
Contoh latihan
1. Misalkan Xn, n > 0 suatu rantai
Markov dengan ruang state S
subset dari {0, 1, 2, ...} dan matriks
transisi P, serta berlaku :
 y P(x, y)  Ax  B, x  S
y

A, B : konstanta
Perlihatkan bahwa :
a. E(Xn+1) = A E(Xn) + B
 b. Jika A  1, maka E(Xn) =

B n B 
 A E (X 0 )  
1 A  1  A 

2. Pandang suatu rantai Markov dengan

ruang state S={0,1,2,...} dan diketahui
Px(x+1) = p, 0< p <1; Px(0)=1- p. Hitunglah
P0(T0 =n), n1
N.B.
Klasifikasi State Rantai
Markov
Keadaan j dapat dicapai dari
keadaan i bila pn(i,j)>0, n0 dan
ditulis ij
Keadaan i dan j disebut
berkomunikasi bila i dapat
dicapai dari j dan j dapat
dicapai dari i, ditulis i ↔ j
N.B.
Klasifikasi State Rantai
Markov
Sifat-sifat Komunikasi:
(i) Simetris :i ↔ j  j ↔ i
(ii) Transitip : i ↔ j dan j ↔ k  i ↔
k
(iii)Refleksi : i ↔ i
2 State yang berkomunikasi disebut
berada dalam satu kelas,
C(i)={j:i↔j}
 N.B. Klasifikasi State Rantai
Markov

Karena ada sifat komunikasi, ruang

state Rantai Markov dapat
dipartisi atas kelas-kelas yang
saling asing. Jika hanya ada 1 kelas
saja (semua state saling
berkomunikasi) maka Rantai
Markov disebut irreducible.
 Contoh suatu matriks transisi:
0 1 2 3 0 1 2 3
0  0,08 0,184 0,368 0,3628 0    
  1     
P  1 0,632 0,368 0 0  P 
2    
2 0,264 0,368 0,368 0   
  3    
3  0,08 0,184 0,368 0,368 
Terlihat bahwa semua state saling
berkomunikasi, sehinga matriks transisi
tersebut irreducible
N.B.
Hitting Time/First Passage Times
(fpt)
• fij(n)=P[fpt(i,j)=n]=Pi(Tj=n)
=P[Xm+n=j,Xm+hj,h=1,…,n-1|Xm=i]
Memenuhi hubungan berikut:
fij(1)=Pij(1)=Pij
fij(2)=Pij(2) - fij(1)Pjj
…
fij(n)=Pij(n) - fij(1)Pjj- fij(1)Pjj(n-1)- fij(2)Pjj(n-2) ... -
fij(n-1)Pjj
Untuk i dan j tetap, fij(n) adalah suatu
bilangan non negatif sedemikian
hingga: 
f ij   f ij  1
(n)

n 1

Ada dua kemungkinan :  ( n )

f ij   f ij  1
• Untuk n=1,2,… n 1

bila fii=1, maka i state rekuren,

kejadian khusus state rekuren adalah
state absorbing (Pii=1)
  

2. ij  
(n)
f  f 
ij 1
, bila f ii  f (n)
ii 1
n 1 n 1
maka state i disebut transient
Pada umumnya cukup sulit untuk
menggunakan rumus-rumus tersebut
untuk mengecek apakah suatu state
rekurent atau transient.
Walaupun misal semua state adalah
rekurent, tetapi sulit membuktikan

bahwa f 
ii 
f (n)  1
n 1
ii
Contoh suatu matriks transisi:
0 1 2 3 4 0 1 2 3 4
01 3 0 0 0 0   0 0 0
 4 4 
11 1 0 0 0 1   0 0 0
P  2 2 2  P  2 0 0  0 0
0 0 1 0 0
 
3 0 0 1 2 0 3 0 0   0
3 3
4  1 0 0 0 0
 4   0 0 0
Matriks transisi menunjukkan bahwa:state 0
dan 1 membentuk satu kelas dan saling
berkomunikasi, state 2 berkomunikasi
dengan dirinya sendiri, {3,4} transient
State 2 : absorbing; State (0,1) : recurent
State (3,4) : transient
Contoh suatu matriks transisi:
0 1 2 3 0 1 2 3
0 1 0 0 0 0  0 0 0
1  0 0 0
0 0 0 1
P 
P  1
2   0 0
2  12 1
2
0 0  
  3    0
3  13 1
3
1
3
0

State 0 : absorbing
State 1 : transient
State 2 : transient
State 3 : transient
Contoh suatu matriks transisi:
0 1 2 3 0 1 2 3
0 1 0 0 0 0  0 00
1   0 0 
1 0 0  1
P 
P  1 2 2
2    
2  13 1
3
0 1 
3  
 3    
31 1 1 1 
 4 4 4 4

State 0 : absorbing
State 1 : transient
State {2,3} : rekurent
Contoh suatu matriks transisi:
0 1 2 3 0 1 2 3
 1 1 0 0 0    
0 2 2  
 1 1 1 0 1
P     
P 1
 13 1
3
1
3
1  2    
2
4 4 4 4 
3    

31 1 1 1 
 4 4 4 4 

State {0,1,2,3} : rekurent karena irreducible

Contoh suatu matriks transisi:
0 1 2 3 0 1 2 3
0 0 0 1 0 0    0
1    0
0 0 0 1
P 
P  1
2    0
2  12 1
2
0 0  
  3    0
3  13 1
3
1
3
0

State {0,1,2} : rekurent (saling berkomunikasi)
State 3 : transient
 Soal-soal Latihan Rantai
Markov
1. Sebuah partikel bergerak pada state 0,1,2
mengikuti proses Markov dengan matriks transisi :

0 1 2
0 0 1 1 
2 2
P  11 0 1 
 2 2
2  1 1 0 
 2 2 

Bila Xn menyatakan posisi partikel pada langkah ke-

n. Hitunglah P(Xn=0|X0=0) untuk n=0,1,2,3,4
Matriks transisi :
0 1 2
0  0 12 12
P  11 
 2 0 12
2  1 1 0

 2 2 
Untuk n=0  P(X0=0|X0=0)=1
n=1  P(X1=0|X0=0)=P(0,0)=0
n=2  P(X2=0|X0=0)=P2(0,0)=1/4
n=3  P(X3=0|X0=0)=P3(0,0)=3/8
(tunjukkan)
2. Suatu rantai Markov dengan matriks transisi
:
0 1 2 3
0 0,4 0,3 0,2 0,1 
1  0,1 0,4 0,3 0,2
P  
2  0,3 0,2 0,1 0,4
 
3 0,2 0,1 0,4 0,3
Diketahui distribusi awal memiliki peluang
pi=0,25 untuk i=0,1,2,3. Tunjukkan bahwa
P(Xn=k)=0,25 untuk k=0,1,2,3 pada semua n.
Matriks transisi suatu Rantai Markov :
0 1 2 3
0 0,4 0,3 0,2 0,1 
1  0,1 0,4 0,3 0,2
P  
2  0,3 0,2 0,1 0,4
 
3 0,2 0,1 0,4 0,3
pi=0,25 untuk i=0,1,2,3
Maka:
Untuk n=0, diketahui pk=P(X0=k)=0,25
k=0,1,2,3
Matriks transisi di atas istimewa karena jumlah
peluang tiap-tiap kolom bernilai 1, atau
Untuk n=1 , pada semua k berlaku:

3
P ( X 1  k )   P ( X 1  k | X 0  i ) pi
i 0

1 3  1
   P( X 1  k | X 0  i)  
4  i 0  4
Untuk n=2 , pada semua k berlaku:
3
P( X 2  k )   P( X
j ,i  0
2  k | X 1  j ) P ( X 1  j | X 0  i ) pi

1 3  3 
   P( X 2  k | X 1  j )  P ( X 1  j | X 0  i )  
4  j 0  i 0 
1 3  1
   P( X 2  k | X 1  j )  
4  j 0  4
Demikian berlaku untuk n=3, pada semua k,
sehingga terbukti bahwa P(Xn=k)=0,25 untuk
k=0,1,2,3 pada semua n.