RANTAI MARKOV

WAKTU DISKRIT

1
Kejadian Markov dapat direpresentasikan
dalam 2 model:
1. Matriks Probabilitas Transisi
2. Diagram Transisi

2
Matriks Probabilitas Transisi

Misalkan  X (n) , n  0,1, 2,... adalah rantai Markov

Homogen dengan ruang keadaan tak hingga,
i  0,1, 2,... maka:

pij  P  X (n  1)  j | X (n)  i ……(1)

menyatakan probabilitas transisi satu langkah

dari keadaan i ke keadaan j .

3
Matriks probabilitas transisi satu langkah dari
X (n) , n  0,1, 2,... didefinisikan sebagai
 p00 p01 p02 ...
p p11 p12 ...
P   pij    10

 p20 p21 p22 ...

 
    

dengan pij  0 dan p
j 0
ij  1 i, j  0,1, 2,...

4
Dalam kasus ruang keadaan i berhingga, i=0,1,…,m
Maka P berukuran m  m;

 p00 p01 p02 ... p0 m 

p p11 p12 ... p1m 
 10
P   pij    p20 p21 p22 ... p2 m 
 
      
 pm 0 pm1 pm 2 ... pmm 

dengan pij  0 dan p
j 0
ij  1 i, j  0,1, 2,..., m 
5
 P P

Hari ke-1 Hari ke-2 Hari ke-3

0,36

0,6 Hujan
0,6

0,6
Hujan 0,24

0,4 Cerah
Hujan
0,32
0,4 0,8
Hujan
0,4 Cerah
0,08
0,2 Cerah

6
Jadi:
Probabilitas transisi 2 langkah: P2 = P*P
Probabilitas transisi 3 langkah: P3 = P*P*P

P P P
Hari 1 Hari 2 Hari 3 Hari 4

7
 Contoh:
1. Matriks probabilitas transisi untuk rantai markov
dua keadaan :
 p00 p01  0 1 
P  
 p10 p11  1 0 

2. Matriks probabilitas transisi untuk rantai markov

dua keadaan secara umum :

 p00 p01  1  a a 
P   
 p10 p11   b 1  b

8
3. Matriks probabilitas transisi untuk rantai markov
empat keadaan :

1 1 
2 0 0
2
 
1 1
0
1
P  3 3 3
 
1 1 1 1
4 4 4 4
0 0 1 0 


9
Diagram Transisi

Rantai Markov dapat direpresentasikan sebagai

suatu graf dengan himpunan verteksnya ruang
keadaan dan probabilitas-probabilitas transisi
digambarkan sebagai himpunan sisi yang berarah
dengan bobot sisi menyatakan probabilitasnya.

Graf yang merepresentasikan rantai Markov

tersebut dinamakan diagram transisi dari rantai
Markov tersebut.
10
Contoh :
1. Diagram transisi dari contoh 1, dengan
0 1 
matriks probabilitas transisi P   
 1 0 
1

0 1
0 1

Catatan: lingkaran menyatakan state (keadaan),

arah panah menyatakan probabilitas transisi dari
keadaan i ke keadaan j.
11
2. Diagram transisi dari contoh 2, dengan
1  a a 
matriks probabilitas transisi P   
 b 1  b 
dimana 0  a  1, 0  b  1,|1  a  b |  1.

1-a 0 1 1-b

b
12
3. Misal di suatu daerah beredar dua sampo,
yakni sampo A dan B. Suatu lembaga
mengadakan survey penggunaan sampo,
survey pertama mengatakan 40% orang
daerah itu menggunakan sampo A dan 60 %
menggunakan sampo B.
Survey kedua mengatakan setiap minggunya,
15 % pengguna sampo A beralih ke B dan
5 % pengguna sampo B beralih ke A.
Asumsikan jumlah pengguna sampo di
daerah itu tetap.
Buat matriks probabilitas transisi dan diagram
transisi dari masalah tersebut.
13
Jawab:

Misal X (n) menyatakan sampo yang digunakan

setiap minggu ke-n. Maka  X (n) rantai Markov
dengan ruang parameter {1,2,…,n,…} dan ruang
keadaan { A, B}.

 Matriks probabilitas transisinya:

 p AA p AB  0.85 0.15
P  
 pBA pBB  0.05 0.95
14
 Diagram transisinya :

0.15

A B 0.95
0.85

0.05

15
 Latihan:
1. Seorang pemandu wisata yang berkantor di
Jakarta bertugas mengantar wisatawan ke
Bandung setiap minggunya. Jika diamati posisi
pemandu wisata tersebut dalam 10 minggu seperti
tabel berikut:

Mgg 0 1 2 3 4 5 6 7 8 9 10

Kota J B B J B B J J B B J

16
a. Tentukan matriks probabilitas transisi dari posisi
si pemandu wisata
b. Gambarkan diagram transisinya
c. Tentukan probabilitas transisi pemandu wisata dari
Jakarta ke Bandung!

2. Gambarkan diagram transisi untuk rantai Markov

dengan matriks probabilitas transisi berikut:
0  1 0 0 
 
P1 1 / 3 2 / 3 0 
2  0 1/ 2 1/ 2 
 
17
3. Gambarkan diagram transisi untuk rantai Markov
dengan matriks probabilitas transisi berikut
0 3 / 4 1/ 4 0 0 
1 1/ 3 2 / 3 0 0  
a. P  
2  0 0 1/ 2 1/ 2 
 
3  0 1/ 3 1/ 3 1/ 3 

0 0.4 0.6 0 0 
1 0.2 0.8 0 0 
b. P   
2 0 0 1 0
 
3  0 0 0.5 0.5 
18
4. Seorang Dokter praktek di tiga klinik berbeda
(“A”,”B”,”C”), dengan jadual praktek selama 15
hari ke depan seperti tabel berikut :
Hari 0 1 2 3 4 5 6 7

Klinik A B B C A C B A

Hari 8 9 10 11 12 13 14 15

Klinik A C B B C A B C

19
a. Tentukan matriks probabilitas transisi dari tempat
praktek dokter tersebut.

b. Gambarkan diagram transisinya.

c. Tentukan probabilitas bahwa dokter tersebut

tetap berpraktek di klinik “B”.

20
 Persamaan Chapman-Kolmogorov

Sebelumnya telah didefinisikan probabilitas transisi

satu langkah pada persamaan (1),
pij  P  X (n  1)  j | X (n)  i
Selanjutnya akan ditentukan probabilitas proses yang
berada pada keadaan i akan berada pada keadaan
j setelah n transisi (probabilitas transisi langkah ke-n),
n
dinyatakan dengan ij . p

pijn  P  X (m  n)  j | X (m)  i m  0, i, j  0.
21
Sifat probabilitas rantai Markov  X (n), n  0,1, 2,...
secara lengkap digambarkan dengan probabilitas
inisial (awal) dan probabilitas transisi sebagai berikut:
P  X (0)  i0 , X (1)  i1 ,..., X (n)  in 
 P  X (n)  in | X (0)  i0 , X (1)  i1 ,..., X ( n  1)  i n1 
. P  X (0)  i0 , X (1)  i1 ,..., X (n  1)  in 1 
 pin 1 in . P  X (0)  i0 , X (1)  i1 ,..., X (n  1)  in 1 
 ...
 pin 1 in pin  2 in 1 ... pi0 i1 P{ X (0)  i0 }

dimana P  X (0)  i0  adalah probabilitas awal. 22

Misalkan  0  menyatakan distribusi awal,

 (0)   0 (0),  1 (0),...  ,

dengan  j (0)  P  X (0)  j  0, j  0,1, 2,...

merupakan probabilitas awal, sehingga




j 0
j (0)  1.

23
 n
p
Selanjutnya akan dihitung ij melalui probabilitas
transisi pij dengan pij0  0, i  j dan pii0  1.
n
probabilitas transisi n langkah pij dapat dihitung
dengan menjumlahkan semua probabilitas
perpindahan dari keadaan i ke keadaan k
dalam r langkah
0  r  n  dan perpindahan dari keadaan k
ke keadaan k pada sisa waktu n-r.

24
 n
pij  P  X (n)  j | X (0)  i

  P  X (r )  k | X (0)  i P  X (n)  j | X (r )  k 
k 0

n
pij   pik pkj
r nr

i 1

Persamaan ini disebut persamaan

Chapman-Kolmogorov.
( n r )
Dalam bentuk matriks ditulis, P
(n)
 P .P(r )

25
Catat bahwa, P  P   pij 
(1)

Secara rekursif kita punya matriks probabilitas transisi

n-langkah:
( n 1) ( n 1)
P (n)
 P .P
(1)
 P.P
( n  2)
 P .P
2

 ...
P n

Artinya, matriks probabilitas transisi langkah ke- n

diperoleh dari matriks P dipangkatkan n.
n r
Sehingga kita punyai,P  P .P n r

26
 0.5
Ilustrasi

0.5 1 2 0.8

0.2

n=0 n=1 n=2 …… n = 100

1 0.5 P11P11+P12P21 = 0.25+0.1 = 0.35

0 0.5 P11P12+P12P22 = 0.25+0.4 = 0.65

0 0.2 P21P11+P22P21 = 0.1+0.16 = 0.26

1 0.8 P21P11+P22P22 = 0.1+0.64 = 0.74

27
t: 1 2 3

P11 1 P11
1 1

P12 P21
2

2
𝑃 =𝑃∗ 𝑃
=

28
 2
𝑃 =𝑃∗ 𝑃
=

𝑃
32
=𝑃
64
=𝑃
128
=
[ 0 .2857
0.2857
0.7143
0.7143 ]
29
Seperti persamaan pin 1 in pin  2 in 1 ... pi0 i1 P{ X (0)  i0 },
maka probabilitas gabungan dapat dihitung melalui
probabilitas awal (seperti distribusi awal  0 ) dan
probabilitas transisi (matriks P).

Misal,  j (n)  P  X (n)  j


  PX n   j X 0   iPX 0   i
i 0

   i  0  pijn , j  0,1, 2,...
i 0

merupakan probabilitas proses keadaan j pada waktu

ke n. 30
Misal  n    0 n ,  1 n ,... merupakan distribusi
n langkah, sehingga berlaku



j 0
j ( n)  1

maka
  n    (0)P n .

31
Contoh:
Dari contoh 3, tentukan distribusi pengguna
sampo di daerah yang diteliti, lima minggu
setelah survey berlangsung.

Jawab :
 Tentukan distribusi awal;
Dari survey pertama diperoleh ,

 (0)  [ 0.4 , 0.6]

32
 Tentukan matriks probabilitas transisi 5 langkah ,
5
0.85 0.15 0.4958 0.5042 
P 
5
   .
0.05 0.95  0.1681 0.8319 
 Diperoleh distribusi pengguna sampo dalam
lima minggu:
 (5)   (0).P 5
0.4958 0.5042 
 [0.4 , 0.6]  
 0.1681 0.8319 
 0.2992 0.7008.
33
 Soal
1. Diberikan matriks probabilitas transisi dari suatu
Rantai Markov,
0.6 0.4 
P 
 0.8 0.2 
Tentukan distribusi langkah ke-n,  (n)  [  0 ( n),  1 ( n)]
untuk n=2,4,8 jika diasumsikan distribusi inisial
(i)  (0)  [1, 0]
(ii)  (0)  [ 0.5, 0.5]
(iii)  (0)  [2 / 3,1/ 3]
34
2. Pandang matriks probabilitas transisi dari suatu rantai
Markov,
0 1 0 0 
P  1 1/ 3 2 / 3 0 
2  0 1/ 2 1/ 2 

(i) Buatkan diagram transisinya .

(ii) Tentukan P 2 , P3 , P 4 .

35