5.

RANTAI MARKOV
WAKTU DISKRIT

Prostok-5-firda

5.1 Definisi
Misal X (n) , n 0,1, 2,... proses stokastik dengan
indeks parameter diskrit dan ruang keadaan
i 0,1,2,... memenuhi
P X (n 1) j | X (0) i0 , X (1) i1 ,..., X (n 1) in 1 , X (n) i

P X (n 1) j | X (n) i pij

(5.1)

i0 , i1 ,..., in 1 , i, j , dan n, maka proses dinamakan

Rantai Markov parameter diskrit, dan pij disebut

2
peluang transisi. Prostok-5-firda

1. Catat bahwa, X (n) i menyatakan proses berada

dalam keadaan i (i = 0 ,1, 2,) pada waktu

n (n = 0,1,2,).
2. Nama rantai Markov ini diambil dari nama
Andrei Markov (1856-1922) yang pertama meneliti
kelakuan proses stokastik tersebut setelah proses
dalam selang waktu yang panjang.

Prostok-5-firda

3. Peluang bersyarat pada (5.1) menggambarkan

histori keseluruhan, proses hanya tergantung
pada keadaan sekarang X(n)=i, bebas dari waktu
lampau, 0,1,2,,n-1.
Artinya, peluang bersyarat dari keadaan
mendatang hanya tergantung dari keadaan
sekarang dan bebas dari keadaan yang lalu.
Sifat ini disebut sifat Markov atau Memory Less.
Prostok-5-firda

4. Peluang transisi dari keadaan i ke keadaan j

( pij ) persamaan (5.1) hanya bergantung
pada waktu sekarang, secara umum.
Apabila peluang transisi bebas dari waktu n,
maka disebut peluang transisi stasioner, dan
rantai Markov disebut dengan
Rantai Markov dengan peluang transisi stasioner .

dan disebut juga,

Rantai Markov Homogen.
Prostok-5-firda

5.2 Contoh Rantai Markov

1. Barisan bilangan bulat.
2. Barisan variabel-variabel acak bernilai bilangan
bulat yang saling bebas dan mempunyai distribusi
peluang yang sama.
3. Random Walks yang didefinisikan sebagai
n

X (n) i , i 1, 2,...

i 1

Random Walks adalah proses melangkah dari

suatu objek di garis bilangan dimana objek itu
dapat bergerak ke kiri atau ke kanan.
Prostok-5-firda

Akan ditunjukkan bahwa random walks (contoh 3)

adalah rantai Markov.
Perhatikan random walks yang hanya dapat bergerak
ke kanan;

X
(
n
)

,
i

1,
2,...

i
i 1

P X (n 1) j | X (1) i1 , X (2) i2 ,..., X (n 1) in 1 , X ( n) i

n 1

n 1

j | 1 i1 ,..., k in 1 , k k n i
k 1
k 1
k 1
k 1

n
n 1
n 1

P k j | k k n i
k 1
k 1
k 1

Sifat di atas berlaku

untuk semua n dan kombinasi i1 , i2 ,...,
n
in 1 , in . Jadi, X (n) i , i 1, 2,... adalah rantai Markov.
P

n 1

i 1

Prostok-5-firda

5.3 Matriks peluang transisi

Misalkan X (n) , n 0,1, 2,... adalah rantai Markov
Homogen dengan ruang keadaan tak hingga,
i 0,1, 2,... maka

pij P X (n 1) j | X (n) i

(5.2)

menyatakan peluang transisi satu langkah dari

keadaan i ke keadaan j .

Prostok-5-firda

Matriks peluang transisi satu langkah dari

X (n) , n 0,1, 2,... didefinisikan sebagai

P pij

p00
p
10

p20

dengan pij 0 dan

p01
p11
p21
M

p
j 0

ij

p02 ...
p12 ...
p22 ...

1 i, j 0,1, 2,...

Prostok-5-firda

Dalam kasus ruang keadaan i berhingga, i=0,1,,m

Maka P berukuran m m;

P pij

p00
p
10
p20

M
pm 0

dengan pij 0 dan

p01
p11
p21
M
pm1

p
j 0

ij

p02
p12
p22
M
pm 2

...
...
...
M
...

p0 m

p1m
p2 m

M
pmm

1 i, j 0,1, 2,..., m

Prostok-5-firda

10

Contoh:
1. Matriks peluang transisi untuk rantai markov
dua keadaan :
p00
P
p10

p01
0 1

p11
1
0

2. Matriks peluang transisi untuk rantai markov

dua keadaan secara umum :
p00
P
p10

p01
a
1 a

p11
1 b
b
Prostok-5-firda

11

3. Matriks peluang transisi untuk rantai markov

empat keadaan :
1
2

1
P 3

1
4
0

0
1
3
1
4
0

1
2
0
1
4
1

1
3

1
4
0

Prostok-5-firda

12

5.4 Diagram Transisi

Rantai Markov dapat direpresentasikan sebagai
suatu graf dengan himpunan verteksnya ruang
keadaan dan peluang-peluang transisi digambarkan
sebagai himpunan sisi yang berarah dengan bobot
sisi menyatakan peluanngya.
Graf yang merepresentasikan rantai Markov
tersebut dinamakan diagram transisi dari rantai
Markov tersebut.
Prostok-5-firda

13

Contoh :
1. Diagram transisi dari contoh 1, dengan
0 1
matriks peluang transisi P

1
0

Catatan: lingkaran menyatakan state (keadaan),

arah panah menyatakan peluang transisi dari
keadaan i ke keadaan j.
Prostok-5-firda

14

2. Diagram transisi dari contoh 2, dengan

a
1 a
matriks peluang transisi P

b
1

dimana 0 a 1, 0 b 1,|1 a b | 1.
a

1-a

1-b

b
Prostok-5-firda

15

3. Misal di suatu daerah beredar dua sampo,

yakni sampo A dan B. Suatu lembaga
mengadakan survey penggunaan sampo,
survey pertama mengatakan 40% orang
daerah itu menggunakan sampo A dan 60 %
menggunakan sampo B.
Survey kedua mengatakan setiap minggunya,
15 % pengguna sampo A beralih ke B dan
5 % pengguna sampo B beralih ke A.
Asumsikan jumlah pengguna sampo di
daerah itu tetap.
Buat mariks peluang transisi dan diagram
transisi dari masalah tersebut.
Prostok-5-firda

16

Jawab:
Misal X (n) menyatakan sampo yang digunakan
setiap minggu ke-n. Maka X ( n) rantai Markov
dengan ruang parameter {1,2,,n,} dan ruang
keadaan { A, B}.
Matriks peluang transisinya:

p AA
P
pBA

p AB
0.85 0.15

pBB
0.05
0.95

Prostok-5-firda

17

Diagram transisinya :
0.15

0.85

0.95

0.05

Prostok-5-firda

18

Latihan:
1. Seorang pemandu wisata yang berkantor di
Jakarta bertugas mengantar wisatawan ke
Bandung setiap minggunya. Jika diamati posisi
pemandu wisata tersebut dalam 10 minggu seperti
tabel berikut;
Mgg

10

Kota J

Prostok-5-firda

19

a. Tentukan matriks peluang transisi dari posisi

si pemandu wisata
b. Gambarkan diagram transisinya
c. Tentukan peluang transisi pemandu wisata dari
Jakarta ke Bandung!
2. Gambarkan diagram transisi untuk rantai Markov
dengan matriks peluang transisi berikut
0
P1
2

0
0
1

1/ 3 2 / 3 0
0 1/ 2 1/ 2

Prostok-5-firda

20

3. Ada dua kotak A dan B. Kotak A berisi 2 bola

putih dan kotak B berisi 2 bola hitam.
Dilakukan percobaan mengambil 1 bola secara
acak dari masing-masing kotak, kemudian
dipertukarkan ke kotak lainnya. Percobaan ini
dilakukan berulang kali. Asumsikan state ke
i (i = 0, 1, 2) menyatakan jumlah bola hitam di
kotak A.
a. Tentukan matriks peluang transisinya.
b. Gambarkan diagram transisinya.
Prostok-5-firda

21

4. Gambarkan diagram transisi untuk rantai Markov

dengan matriks peluang transisi berikut
0
1
a. P
2
3

0
3 / 4 1/ 4 0
1/ 3 2 / 3 0

0
0 1/ 2 1/ 2

0 1/ 3 1/ 3 1/ 3

0
1
b. P
2
3

0.4 0.6 0 0
0.2 0.8 0 0

0
0 1 0

0
0
0.5
0.5

Prostok-5-firda

22

5. Seorang Dokter praktek di tiga klinik berbeda

(A,B,C), dengan jadual praktek selama 15
hari ke depan seperti tabel berikut :
Hari

Klinik

Hari

10

11

12

13

14

15

Klinik

Prostok-5-firda

23

a. Tentukan matriks peluang transisi dari tempat

praktek dokter tersebut.
b. Gambarkan diagram transisinya.
c. Tentukan peluang bahwa dokter tersebut
tetap berpraktek di klinik B.

Prostok-5-firda

24

5.5 Persamaan Chapman-Kolmogorov

Sebelumnya telah didefinisikan peluang transisi
satu langkah pada persamaan (5.2),
pij P X (n 1) j | X (n) i
Selanjutnya akan ditentukan peluang proses yang
berada pada keadaan i akan berada pada keadaan
j setelah n transisi (peluang transisi langkah ke-n),
n
p
kita nyatakan dengan ij .

pijn P X (m n) j | X (m) i
Prostok-5-firda

m 0, i , j 0.
25

Sifat peluang rantai Markov X ( n), n 0,1, 2,...

secara lengkap digambarkan dengan peluang
inisial (awal) dan peluang transisi sebagai berikut:

P X (0) i0 , X (1) i1 ,..., X (n) in

P X (n) in | X (0) i0 , X (1) i1 ,..., X ( n 1) in 1
. P X (0) i0 , X (1) i1 ,..., X (n 1) in 1
pin 1 in . P X (0) i0 , X (1) i1 ,..., X (n 1) in 1

...

pin 1 in pin 2 in 1 ... pi0 i1 P{ X (0) i0 }

(5.3)

dimana P X (0) i0 Prostok-5-firda

adalah peluang awal.

26

Misalkan 0 menyatakan distribusi awal,

(0) 0 (0), 1 (0),... ,

dengan j (0) P X (0) j 0, j 0,1, 2,...
merupakan peluang awal, sehingga

j 0

(0) 1.

Prostok-5-firda

27

n
p
Selanjutnya akan dihitung ij melalui peluang
transisi pij dengan pij0 0, i j dan pii0 1.
n
Peluang transisi n langkah pij dapat dihitung

dengan menjumlahkan semua peluang perpindahan

dari keadaan i ke keadaan k dalam r langkah

0 r n

dan perpindahan dari keadaan k

ke keadaan k pada sisa waktu n-r.

Prostok-5-firda

28

n
pij P X (n) j | X (0) i

P X (r ) k | X (0) i P X (n) j | X (r ) k
k 0

n
r
nr
pij pik pkj
i 1

Persamaan ini disebut persamaan

Chapman-Kolmogorov.
Dalam bentuk matriks ditulis, P
Prostok-5-firda

(n)

P .P
(r )

(nr )

29

k
i
0

r
r

n
nr

Interpretasi persamaan Chapman-Kolmogorov.

Prostok-5-firda

30

Catat bahwa, P P pij

Secara rekursif kita punya matriks peluang transisi
n-langkah:
(1)

P ( n ) P (1) .P ( n 1) P.P ( n 1)
P .P
...
2

( n 2)

P
Artinya, matriks peluang transisi langkah ke- n
diperoleh dari matriks P dipangkatkan n.
n

Sehingga kita punyai, P P .P

n

Prostok-5-firda

nr
31

Seperti persamaan pin 1 in pin 2 in 1 ... pi0 i1 P{ X (0) i0 },

maka peluang gabungan dapat dihitung melalui
peluang awal (seperti distribusi awal 0 ) dan
peluang transisi (matriks P).
Misal, j (n) P X (n) j

P X n j X 0 i P X 0 i
i 0

i 0 pijn , j 0,1, 2,...

i 0

merupakan peluang proses keadaan j pada waktu

ke n.
Prostok-5-firda
32

Misal n 0 n , 1 n ,... merupakan distribusi

n langkah, sehingga berlaku

j 0

( n) 1

maka

n (0)P n .

Prostok-5-firda

33

Contoh:
Dari contoh 3 subbab 5.4, tentukan distribusi
pengguna sampo di daerah yang diteliti, lima
minggu setelah survey berlangsung.
Jawab :
Tentukan distribusi awal;
Dari survey pertama diperoleh ,

(0) [ 0.4 , 0.6]

Prostok-5-firda

34

Tentukan matriks peluang transisi 5 langkah ,

0.85 0.15
P

0.05
0.95

0.4958 0.5042

.
0.1681 0.8319

Diperoleh distribusi pengguna sampo dalam

lima minggu:

(5) (0).P 5
0.4958 0.5042
[0.4 , 0.6]

0.1681
0.8319

0.2992 0.7008 .
Prostok-5-firda

35

Soal
1. Diberikan matriks peluang transisi dari suatu rantai
Markov,
0.6 0.4
P

0.8
0.2

Tentukan distribusi langkah ke-n, (n) [ 0 (n), 1 (n)]

untuk n=2,4,8 jika diasumsikan distribusi inisial
(i) (0) [1, 0]
(ii) (0) [ 0.5, 0.5]
(iii) (0) [2 / 3,1/ 3]
Prostok-5-firda

36

2. Pandang matriks peluang transisi dari suatu rantai

Markov,

0 1
0
0
P 1 1/ 3 2 / 3 0
2 0 1/ 2 1/ 2
(i) Buatkan diagram transisinya .
(ii) Tentukan P 2 , P 3 , P 4 .
n
P
(iii) Tentukan
Prostok-5-firda

37