1
Definisi
Misal X (n) , n 0,1, 2,... proses stokastik dengan
indeks parameter diskrit dan ruang keadaan
i 0,1,2,... memenuhi
P X (n 1) j | X (0) i0 , X (1) i1 ,..., X (n 1) in1 , X (n) i
3
3. Peluang bersyarat pada (5.1) menggambarkan
histori keseluruhan, proses hanya tergantung
pada keadaan sekarang X(n)=i, bebas dari waktu
lampau, 0,1,2,…,n-1.
5
5.2 Contoh Rantai Markov
1. Barisan bilangan bulat.
2. Barisan variabel-variabel acak bernilai bilangan
bulat yang saling bebas dan mempunyai distribusi
peluang yang sama.
3. Random Walks yang didefinisikan sebagai
n
X (n) i , i 1, 2,...
i 1
Random Walks adalah proses melangkah dari
suatu objek di garis bilangan dimana objek itu
dapat bergerak ke kiri atau ke kanan.
6
Akan ditunjukkan bahwa random walks (contoh 3)
adalah rantai Markov.
Perhatikan random walks yang hanya dapat bergerak
ke kanan;
n
X ( n )
i 1
i , i 1, 2,...
P X (n 1) j | X (1) i1 , X (2) i2 ,..., X (n 1) in1 , X (n) i
n 1 n 1 n n 1
P k j | 1 i1 ,..., k in 1 , k k n i
k 1 k 1 k 1 k 1
n 1 n n 1
P k j | k k n i
k 1 k 1 k 1
Sifat di atas berlaku untuk semua n dan kombinasi i1 , i2 ,...,
in 1 , in . Jadi, X (n) i , i 1, 2,... adalah rantai Markov.
n
7
i 1
5.3 Matriks peluang transisi
8
Matriks peluang transisi satu langkah dari
X (n) , n 0,1, 2,... didefinisikan sebagai
p00 p01 p02 ...
p p11 p12 ...
P pij 10
9
Dalam kasus ruang keadaan i berhingga, i=0,1,…,m
Maka P berukuran m m;
p00 p01 1 a a
P
p10 p11 b 1 b
11
3. Matriks peluang transisi untuk rantai markov
empat keadaan :
1 1
2 0 0
2
1 1
0
1
P 3 3 3
1 1 1 1
4 4 4 4
0 0
0 1
12
5.4 Diagram Transisi
0 1
1-a 0 1 1-b
b
15
3. Misal di suatu daerah beredar dua sampo,
yakni sampo A dan B. Suatu lembaga
mengadakan survey penggunaan sampo,
survey pertama mengatakan 40% orang
daerah itu menggunakan sampo A dan 60 %
menggunakan sampo B.
Survey kedua mengatakan setiap minggunya,
15 % pengguna sampo A beralih ke B dan
5 % pengguna sampo B beralih ke A.
Asumsikan jumlah pengguna sampo di
daerah itu tetap.
Buat mariks peluang transisi dan diagram
transisi dari masalah tersebut.
16
Jawab:
p AA p AB 0.85 0.15
P
pBA pBB 0.05 0.95
17
Diagram transisinya :
0.15
A B 0.95
0.85
0.05
18
Latihan:
1. Seorang pemandu wisata yang berkantor di
Jakarta bertugas mengantar wisatawan ke
Bandung setiap minggunya. Jika diamati posisi
pemandu wisata tersebut dalam 10 minggu seperti
tabel berikut;
Mgg 0 1 2 3 4 5 6 7 8 9 10
Kota J B B J B B J J B B J
19
a. Tentukan matriks peluang transisi dari posisi
si pemandu wisata
b. Gambarkan diagram transisinya
c. Tentukan peluang transisi pemandu wisata dari
Jakarta ke Bandung!
20
3. Ada dua kotak A dan B. Kotak A berisi 2 bola
putih dan kotak B berisi 2 bola hitam.
Dilakukan percobaan mengambil 1 bola secara
acak dari masing-masing kotak, kemudian
dipertukarkan ke kotak lainnya. Percobaan ini
dilakukan berulang kali. Asumsikan state ke
i (i = 0, 1, 2) menyatakan jumlah bola hitam di
kotak A.
21
4. Gambarkan diagram transisi untuk rantai Markov
dengan matriks peluang transisi berikut
0 3 / 4 1/ 4 0 0
1 1/ 3 2 / 3 0 0
a. P
2 0 0 1/ 2 1/ 2
3 0 1/ 3 1/ 3 1/ 3
0 0.4 0.6 0 0
1 0.2 0.8 0 0
b. P
2 0 0 1 0
3 0 0 0.5 0.5
22
5. Seorang Dokter praktek di tiga klinik berbeda
(“A”,”B”,”C”), dengan jadual praktek selama 15
hari ke depan seperti tabel berikut :
Hari 0 1 2 3 4 5 6 7
Klinik A B B C A C B A
Hari 8 9 10 11 12 13 14 15
Klinik A C B B C A B C
23
a. Tentukan matriks peluang transisi dari tempat
praktek dokter tersebut.
24
5.5 Persamaan Chapman-Kolmogorov
pijn P X (m n) j | X (m) i m 0, i, j 0.
25
Sifat peluang rantai Markov X (n), n 0,1, 2,...
secara lengkap digambarkan dengan peluang
inisial (awal) dan peluang transisi sebagai berikut:
P X (0) i0 , X (1) i1 ,..., X (n) in
P X (n) in | X (0) i0 , X (1) i1 ,..., X (n 1) in1
. P X (0) i0 , X (1) i1 ,..., X (n 1) in1
pin 1 in . P X (0) i0 , X (1) i1 ,..., X (n 1) in 1
...
pin 1 in pin 2 in 1 ... pi0 i1 P{ X (0) i0 } (5.3)
26
dimana P X (0) i0 adalah peluang awal.
Misalkan 0 menyatakan distribusi awal,
j 0
j (0) 1.
27
n
Selanjutnya akan dihitung pij melalui peluang
transisi pij dengan pij0 0, i j dan pii0 1.
n
Peluang transisi n langkah pij dapat dihitung
dengan menjumlahkan semua peluang perpindahan
dari keadaan i ke keadaan k dalam r langkah
0 r n dan perpindahan dari keadaan k
ke keadaan k pada sisa waktu n-r.
28
pij P X (n) j | X (0) i
n
P X (r ) k | X (0) i P X (n) j | X (r ) k
k 0
pijn pikr pkjn r
i 1
29
j
k
0 r n
r nr
...
P n
j 0
j ( n) 1
maka
n (0)P n .
33
Contoh:
Dari contoh 3 subbab 5.4, tentukan distribusi
pengguna sampo di daerah yang diteliti, lima
minggu setelah survey berlangsung.
Jawab :
Tentukan distribusi awal;
Dari survey pertama diperoleh ,
34
Tentukan matriks peluang transisi 5 langkah ,
5
0.85 0.15 0.4958 0.5042
P
5
.
0.05 0.95 0.1681 0.8319
Diperoleh distribusi pengguna sampo dalam
lima minggu:
(5) (0).P
5
0.4958 0.5042
[0.4 , 0.6]
0.1681 0.8319
0.2992 0.7008 .
35
Soal
1. Diberikan matriks peluang transisi dari suatu rantai
Markov,
0.6 0.4
P
0.8 0.2
(ii) Tentukan P2 , P3 , P4 .
(iii) Tentukan P n
37