BAB 1

Rantai Markov

1.1 ILUSTRASI

(Ilustrasi 1) Akhir-akhir ini, hujan dan panas (baca: tidak hujan) datang
silih berganti tanpa bisa diduga. Kalau hari ini hujan, besok mungkin hu-
jan mungkin juga panas. Tentu saja peluang besok hujan akan lebih besar
dibanding peluang besok akan panas. Begitu pula jika hari ini panas. Besok
akan lebih mungkin panas dibandingkan hujan. Jika hari Senin hujan, berapa
peluang bahwa hari Selasa akan hujan? Berapa peluang bahwa hari Kamis
akan hujan?

(Ilustrasi 2) Pada 23 Juni lalu sekitar pukul 21.30 mobil yang dikemudikan
suami saya terperosok masuk lubang di jalan tol lingkar luar Jakarta, kira-kira
2 kilometer dari Pintu Tol Pondok Ranji arah Jakarta. Ban dan gadi-gading
roda rusak. Esoknya saya mengajukan klaim asuransi Sinar Mas kepada SiMas
Bekasi. Pada 1 Juli saya mendapat jawaban bahwa klaim asuransi ditolak den-
gan alasan: bagian yang rusak hanya ban dan gading-gading roda. Tak menge-
nai badan mobil. Padahal, tercantum jelas di dalam pasal-pasal polis asuransi
maupun surat penolakan bahwa ban dan gading-gading roda tidak dijamin, ke-
cuali disebabkan oleh Pasal 1 angka 1.1. Isi pasal itu, pertanggungan ini men-
jamin kerusakan yang secara langsung disebabkan oleh tabrakan, benturan,
terbalik, tergelincir atau terperosok. Asuransi Sinar Mas berusaha menghin-
dar dari kewajiban dengan alasan mengada-ada, bahkan mengingkari aturan
yang dibuatnya sendiri (Surat Pembaca KOMPAS; 3/08/2010). Andaikan su-
atu hari saya mengajukan klaim lagi ke Asuransi Sinar Mas, berapa peluang
bahwa klaim saya akan diterima?

(Ilustrasi 3) Sebagai calon atlet, setiap pagi Swari meninggalkan rumahnya

untuk berlari pagi. Swari akan pergi lewat pintu depan atau belakang dengan
peluang sama. Ketika meninggalkan rumah, Swari memakai sepatu olah raga
atau sandal jenis crocs jika sepatu tidak tersedia di depan pintu yang dia

1
lewati (Dalam praktiknya, Swari harus bertelanjang kaki jika ternyata sandal
crocs yang harus dipakai. Tak lain alasannya karena sang ayah tidak suka
apabila Swari memakai sandal crocs). Ketika pulang, Swari akan masuk lewat
pintu depan atau belakang dan meletakkan sepatunya dengan peluang sama.
Diketahui bahwa Swari memiliki 4 pasang sepatu olah raga. Berapa peluang
bahwa Swari akan sering berolah raga dengan bertelanjang kaki?

MA4081 Pros.Stok. 2 K. Syuhada, PhD.

1.2 DEFINISI

Proses stokastik {Xn } adalah Rantai Markov:

• n = 0, 1, 2, . . .

• nilai yang mungkin adalah hingga atau terhitung

•
( )
P Xn+1 = j|Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 = Pij

• distribusi bersyarat Xn+1 , diberikan keadaan lampau (past states) X0 , X1 , . . . , Xn−1

dan keadaan sekarang (present state) Xn , hanya bergantung pada keadaan
sekarang

• keadaan (state): i0 , i1 , . . . , in−1 , i, j

Pij peluang bahwa proses akan berada di keadaan j dari keadaan i;

∑
∞
Pij ≥ 0, i, j ≥ 0; Pij = 1, i = 0, 1, . . .
j=0

Matriks peluang transisi Pij adalah sbb:

 
P00 P01 P02 · · ·
 P10 P11 P12 · · · 
 . 
 . .. .. 
P= . . . 
 
 i0
P P i0 P i0 · · · 
.. .. ..
. . .

Contoh/Latihan:
1. Jika hari ini hujan maka besok akan hujan dengan peluang α; jika hari ini
tidak hujan maka besok akan hujan dengan peluang β. Matriks peluang
transisinya adalah...
( )
α 1−α
P=
β 1−β

dengan keadaan-keadaan:
’0’ hujan
’1’ tidak hujan

MA4081 Pros.Stok. 3 K. Syuhada, PhD.

 2. Keadaan hujan pada suatu hari bergantung pada keadaan hujan dalam
dua hari terakhir. Jika dalam dua hari terakhir hujan maka besok akan
hujan dengan peluang 0.7; Jika hari ini hujan dan kemarin tidak hujan
maka besok akan hujan dengan peluang 0.5; jika hari ini tidak hujan dan
kemarin hujan maka besok akan hujan dengan peluang 0.4; jika dalam
dua hari terakhir tidak hujan maka besok hujan dengan peluang 0.2.
Matriks peluang transisinya adalah...
 
0.7 0 0.3 0
 0.5 0 0.5 0 
P=
 0 0.4 0 0.6 


0 0.2 0 0.8

dengan keadaan-keadaan:
’0’ (00) = hari ini dan kemarin hujan
’1’ (10) = hari ini hujan, kemarin tidak hujan
’2’ (01) = hari ini tidak hujan, kemarin hujan
’3’ (11) = hari ini dan kemarin tidak hujan

3. Tiga item produk A dan tiga item produk B didistribusikan dalam dua
buah paket/kotak sedemikian hinga setiap paket terdiri atas tiga item
produk. Dikatakan bahwa sistem berada dalam keadaan i, i = 0, 1, 2, 3
jika dalam paket pertama terdapat i produk A. Setiap saat (langkah),
kita pindahkan satu item produk dari setiap paket dan meletakkan item
produk tersebut dari paket 1 ke paket 2 dan sebaliknya. Misalkan Xn
menggambarkan keadaan dari sistem setelah langkah ke-n. Matriks pelu-
ang transisinya adalah...
 
0 1 0 0
 1/9 4/9 4/9 0 
P= 
 0 4/9 4/9 1/9 
0 0 1 0

dengan keadaan-keadaan:
’0’ terdapat 0 produk A di paket pertama
’1’ terdapat 1 produk A di paket pertama
’2’ terdapat 2 produk A di paket pertama
’3’ terdapat 3 produk A di paket pertama

4. Menurut Kemeny, Snell dan Thompson, Tanah Australia diberkahi den-

gan banyak hal kecuali cuaca yang baik. Mereka tidak pernah memiliki
dua hari bercuaca baik secara berturut-turut. Jika mereka mendapatkan

MA4081 Pros.Stok. 4 K. Syuhada, PhD.

 hari bercuaca baik maka esok hari akan bersalju atau hujan dengan pelu-
ang sama. Jika hari ini mereka mengalami salju atau hujan maka be-
sok akan bercuaca sama dengan peluang separuhnya. Jika terdapat pe-
rubahan cuaca dari salju atau hujan, hanya separuh dari waktu besok
akan menjadi hari bercuaca baik. Tentukan matriks peluang transisi dari
Rantai Markov yang dibentuk dari keadaan-keadaan diatas.
 
1/2 1/4 1/4
P =  1/2 0 1/2 
1/4 1/4 1/2

dengan keadaan-keadaan:
’0’ cuaca hujan
’1’ cuaca baik
’2’ cuaca salju

5. Sebagai calon atlet, setiap pagi Swari meninggalkan rumahnya untuk

berlari pagi. Swari akan pergi lewat pintu depan atau belakang dengan
peluang sama. Ketika meninggalkan rumah, Swari memakai sepatu olah
raga atau sandal jenis crocs jika sepatu tidak tersedia di depan pintu
yang dia lewati (Dalam praktiknya, Swari harus bertelanjang kaki jika
ternyata sandal crocs yang harus dipakai. Tak lain alasannya karena sang
ayah tidak suka apabila Swari memakai sandal crocs). Ketika pulang,
Swari akan masuk lewat pintu depan atau belakang dan meletakkan sep-
atunya dengan peluang sama. Diketahui bahwa Swari memiliki 4 pasang
sepatu olah raga. Bentuklah suatu Rantai Markov dari proses diatas.
 
3/4 1/4 0 0 0
 1/4 1/2 1/4 0 0 
 
P=
 0 1/4 1/2 1/4 0 

 0 0 1/4 1/2 1/4 
0 0 0 1/4 3/4

dengan keadaan-keadaan:
’0’ (4,0) = 4 sepatu didepan, 0 dibelakang
’1’ (3,1) = 3 sepatu didepan, 1 dibelakang
’2’ (2,2) = 2 sepatu didepan, 2 dibelakang
’3’ (1,3) = 1 sepatu didepan, 3 dibelakang
’4’ (0,4) = 0 sepatu didepan, 4 dibelakang

MA4081 Pros.Stok. 5 K. Syuhada, PhD.

1.3 PELUANG N -LANGKAH

Persamaan Chapman-Kolmogorov
Misalkan Pijn menyatakan peluang transisi n-langkah suatu proses di keadaan
i akan berada di keadaan j,

Pijn = P (Yk+n = j|Yk = i), n ≥ 0, i, j ≥ 0.

Persamaan Chapman-Kolmogorov adalah alat untuk menghitung peluang tran-

sisi n + m-langkah:
∑
∞
Pijn+m = m
Pikn Pkj ,
k=0

untuk semua n, m ≥ 0 dan semua i, j. Pikn Pkj m

menyatakan peluang suatu
proses dalam keadaan i akan berada di keadaan j dalam n+m transisi, melalui
keadaan k dalam n transisi/langkah.

Contoh/Latihan:

1. Jika hari ini hujan maka besok akan hujan dengan peluang α = 0.7; jika
hari ini tidak hujan maka besok akan hujan dengan peluang β = 0.4.
Matriks peluang transisi 4 langkah adalah...
( )
4 0.5749 0.4251
P =
0.5668 0.4332
2. Keadaan hujan pada suatu hari bergantung pada keadaan hujan dalam
dua hari terakhir. Jika dalam dua hari terakhir hujan maka besok akan
hujan dengan peluang 0.7; Jika hari ini hujan dan kemarin tidak hujan
maka besok akan hujan dengan peluang 0.5; jika hari ini tidak hujan dan
kemarin hujan maka besok akan hujan dengan peluang 0.4; jika dalam
dua hari terakhir tidak hujan maka besok hujan dengan peluang 0.2.
Matriks peluang transisinya adalah sbb:
 
0.7 0 0.3 0
 0.5 0 0.5 0 
P=  0 0.4 0 0.6 


0 0.2 0 0.8

Jika hari Senin dan Selasa hujan, berapa peluang bahwa hari Kamis akan
hujan?

MA4081 Pros.Stok. 6 K. Syuhada, PhD.

  
0.49 0.12 0.21 0.18
 0.35 0.2 0.15 0.3 
P2 = 
 0.2 0.12 0.2 0.4 


0.1 0.16 0.1 0.64

2 2
Peluang hujan pada hari Kamis adalah P00 + P01 = 0.49 + 0.12 = 0.61

Peluang Transisi Tak Bersyarat

Misalkan

αi = P (X0 = i), i ≥ 0,
∑∞
dimana i=0 αi = 1. Peluang tak bersyarat dapat dihitung dengan men-
syaratkan pada keadaan awal,
∑
∞ ∑
∞
P (Xn = j) = P (Xn = j|X0 = i) P (X0 = i) = Pijn αi
i=0 i=0

Contoh/Latihan:
1. Pandang soal yang lalu dengan matriks peluang transisi:
( )
0.7 0.3
P=
0.4 0.6

Jika diketahui α0 = P (X0 = 0) = 0.4 dan α1 = P (X0 = 1) = 0.6, maka

peluang (tak bersyarat) bahwa hari akan hujan 4 hari lagi adalah...
4 4
P (X4 = 0) = 0.4 P00 + 0.6 P10
= (0.4)(0.5749) + (0.6)(0.5668) = 0.57

2. Seorang pensiunan H menerima 2 (juta rupiah) setiap awal bulan. Banyaknya

uang yang diperlukan H untuk dibelanjakan selama sebulan saling bebas
dengan banyaknya uang ∑ yang dia punya dan sama dengan i dengan pelu-
ang Pi , i = 1, 2, 3, 4, 4i=1 Pi = 1. Jika H memiliki uang lebih dari 3 di
akhir bulan, dia akan memberikan sejumlah uang lebih dari 3 itu kepada
orang lain. Jika setelah dia menerima uang diawal bulan H memiliki
uang 5, berapa peluang uangnya akan 1 atau kurang setiap saat selama
4 bulan berikut?

Keadaan:
‘1’ jumlah uang sebanyak 1 yang H punya di akhir bulan

MA4081 Pros.Stok. 7 K. Syuhada, PhD.

 ‘2’ jumlah uang sebanyak 2 yang H punya di akhir bulan
‘3’ jumlah uang sebanyak 3 yang H punya di akhir bulan

Matriks peluang transisi

 
P2 + P3 + P4 P1 0
P= P3 + P4 P2 P1 
P4 P3 P1 + P2

Misalkan Pi = 1/4, i = 1, 2, 3, 4. Maka matriks peluang transisinya

adalah
 
3/4 1/4 0
P =  1/2 1/4 1/4 
1/4 1/4 1/2

Peluang uangnya akan 1 atau kurang setiap saat selama 4 bulan berikut
4
adalah P31 = 201/256.

MA4081 Pros.Stok. 8 K. Syuhada, PhD.

1.4 Program MATLAB dan R
Contoh: Model penyebaran suatu penyakit adalah sbb: Jumlah populasi adalah
N = 5, sebagian sakit dan sisanya sehat. Dalam setiap waktu, 2 orang
akan dipilih secara acak dari populasi tersebut dan keduanya berinteraksi.
Pemilihan orang-orang tersebut dilakukan sdh interaksi antara setiap pasan-
gan adalah sama. Jika satu orang dari suatu pasangan sakit, yang lain se-
hat, maka penyakit akan disebarkan ke orang yang sehat dengan peluang 0.1.
Diluar kondisi tersebut, tidak ada penyakit yang disebarkan. Misalkan Xn
menyatakan jumlah orang yang sakit dalam populasi diakhir periode ke-n.
Bentuklah suatu matriks peluang transisi yang mungkin.

Solusi:
Keadaan: 0, 1, 2, 3, 4, 5, yang menyatakan jumlah orang yang sakit.
P00 = 1, P55 = 1. Cukup jelas. Jika tidak ada/semua orang sakit maka PASTI
keadaan berubah ke tidak ada/semua orang sakit.

C1i C15−i
Pi,i+1 = 0.1 = 0.01(i)(5 − i),
C25

Pii = 1 − 0.01(i)(5 − i),

untuk i = 1, 2, 3, 4.
 
1 0 0 0 0 0
 0 0.96 0.04 0 0 0 
 
 0 0 0.94 0.06 0 0 
P =  0 0


 0 0.94 0.06 0 
 0 0 0 0 0.96 0.04 
0 0 0 0 0 1

Kode MATLAB

function transprob;

% the function calculate transition probability for a Markov chain

% (Question 2 of Quiz 2)
%
% created by K Syuhada, 12/03/2011

clear
clc

MA4081 Pros.Stok. 9 K. Syuhada, PhD.

m = input(’m = ’); % number of states

P = zeros(m,m);
for i = 1:m
for j = 1:m
if i == j
P(i,j) = 1 - 0.01*(i-1)*(5-(i-1));
elseif i+1 == j
P(i,j) = 0.01*(i-1)*(5-(i-1));
else
P(i,j) = 0;
end
end
end

display(’matriks peluang transisi:’)

display(P)

% n-step probability
% Chapman-Kolmogorov Equation

n = input(’n = ’); % number of steps

Pn = P^n;

display(’matriks peluang transisi n-langkah:’)

display(Pn)

---------------------------------------------------------------

m = 6

matriks peluang transisi:

P =

1.0000 0 0 0 0 0
0 0.9600 0.0400 0 0 0
0 0 0.9400 0.0600 0 0
0 0 0 0.9400 0.0600 0
0 0 0 0 0.9600 0.0400
0 0 0 0 0 1.0000

MA4081 Pros.Stok. 10 K. Syuhada, PhD.

n = 2

matriks peluang transisi n-langkah:

Pn =

1.0000 0 0 0 0 0
0 0.9216 0.0760 0.0024 0 0
0 0 0.8836 0.1128 0.0036 0
0 0 0 0.8836 0.1140 0.0024
0 0 0 0 0.9216 0.0784
0 0 0 0 0 1.0000

Kode R

MA4081 Pros.Stok. 11 K. Syuhada, PhD.

1.5 JENIS KEADAAN

Keadaan j dikatakan dapat diakses (accessible) dari keadaan i jika Pijn > 0
untuk suatu n ≥ 0. Akibatnya, keadaan j dapat diakses dari keadaan i jika
dan hanya jika dimulai dari keadaan i proses akan masuk ke keadaan j. Jika
keadaan j tidak dapat diakses dari keadaan i maka peluang masuk ke keadaan
j dari keadaan i adalah nol.
Catatan:
Dua keadaan i dan j yang saling akses satu sama lain dikatakan berkomunikasi
(communicate). Notasi: i ↔ j.

Sifat-sifat:
1. Keadaan i berkomunikasi dengan keadaan i untuk semua i ≥ 0
2. Jika keadaan i berkomunikasi dengan keadaan j maka keadaan j berko-
munikasi dengan keadaan i
3. Jika keadaan i berkomunikasi dengan keadaan j dan keadaan j berkomu-
nikasi dengan keadaan k maka keadaan i berkomunikasi dengan keadaan
k

Dua keadaan yang berkomunikasi dikatakan berada dalam kelas (class) yang
sama. Setiap dua kelas dari keadaan-keadaan dapat ‘identik’ (identical) atau
‘saling asing’ (disjoint). Rantai Markov dikatakan tidak dapat direduksi (irre-
ducible) jika hanya terdapat sebuah kelas dan semua keadaan berkomunikasi
satu sama lain.

Contoh/Latihan:
1. Tentukan kelas keadaan dari rantai Markov dengan peluang transisi
berikut:

(i)
 
0.7 0 0.3 0
 0.5 0 0.5 0 
P=
 0 0.4 0 0.6 


0 0.2 0 0.8

(ii)
 
0 1 0 0
 1/9 4/9 4/9 0 
P= 
 0 4/9 4/9 1/9 
0 0 1 0

MA4081 Pros.Stok. 12 K. Syuhada, PhD.

 (iii)
 
1 0 0
P =  1/2 1/4 1/4 
1/4 1/4 1/2

2. Diketahui matrik peluang transisi:

 
0.5 0.5 0
P =  0.5 0.25 0.25 
0 0.33 0.67

Apakah rantai Markov dengan peluang transisi diatas tidak dapat dire-
duksi (irreducible)?

3. Apakah yang dapat anda katakan tentang rantai Markov dengan matriks
peluang transisi berikut:
 
0.5 0.5 0 0
 0.5 0.5 0 0 
P= 
 0.25 0.25 0.25 0.25 
0 0 0 1

MA4081 Pros.Stok. 13 K. Syuhada, PhD.

Sifat-sifat KEADAAN
Untuk setiap keadaan i, misalkan fi peluang bahwa dimulai dari keadaan i
proses akan kembali ke keadaan i. Keadaan i dikatakan recurrent jika fi = 1.
Dikatakan transient jika fi < 1.

• Jika keadaan i recurrent maka proses akan terus kembali ke keadaan i

• Jika keadaan i transient ?

fin−1 (1 − fi ), n ≥ 1?

Misalkan
{
1, Yn = i;
In =
∑0, Yn ̸= 1.
∞
Misalkan n=0 In menyatkan banyaknya periode proses berada dalam keadaan
i, dan
(∞ )
∑ ∑
∞
E In |Y0 = i = Piin
n=0 n=0

maka keadaan i adalah

∑
∞ ∑
∞
recurrent jika Piin = ∞; transient jika Piin < ∞
n=0 n=0

“Jika keadaan i recurrent dan keadaan i berkomunikasi (communicate) dengan

keadaan j maka keadaan j recurrent”

Contoh/Latihan:

1. Misalkan rantai Markov dengan keadaan 0,1,2,3 memiliki matriks pelu-

ang transisi:
 
0 0 0.5 0.5
 1 0 0 0 
P=
 0

1 0 0 
0 1 0 0

Tentukan keadaan mana yang recurrent dan keadaan mana yang tran-
sient!

MA4081 Pros.Stok. 14 K. Syuhada, PhD.

 2. Bagaimana dengan rantai Markov dengan matriks peluang transisi:
 
0.5 0.5 0 0 0
 0.5 0.5 0 0 0 
 
P=
 0 0 0.5 0.5 0 ?

 0 0 0.5 0.5 0 
0.25 0.25 0 0 0.5

Tentang Keadaan Recurrent dan Transient

Misalkan
( )
P Yn = i, Yn−1 ̸= i, . . . , Y1 ̸= i | Y0 = i = Piin

adalah peluang kembali ke keadaan i yang pertama di langkah ke-n, dan

∑
∞
Piin = fii = fi
n=1

adalah peluang kembali ke keadaan i.

Definisi:

• Keadaan i adalah recurrent jika fi = 1,

• Keadaan i adalah transient jika fi < 1,

Kita dapat juga mendefinisikan sbb:

1 − fi = P (Ti = ∞|Y0 = i)

fi = P (Ti < ∞|Y0 = i)

dimana Ti adalah waktu untuk kunjungan pertama ke keadaan i.

Teorema:
Jika N banyak kunjungan ke keadaan i diberikan Y0 = i, maka

E(N |Y0 = i) = 1/(1 − fi )

MA4081 Pros.Stok. 15 K. Syuhada, PhD.

Bukti:

E(N |Y0 = i) = E(N |Ti = ∞, Y0 = i) P (Ti = ∞|Y0 = i)

+ E(N |Ti < ∞, Y0 = i) P (Ti < ∞|Y0 = i)
( )
= 1(1 − fi ) + 1 + E(N |Y0 = i) fi

Contoh/Latihan:

1. Misalkan rantai Markov dengan keadaan 0,1,2,3 memiliki matriks pelu-

ang transisi:
 
0.5 0.5 0 0
 0.5 0.5 0 0 
P= 
 0.25 0.25 0.25 0.25 
0 0 0 1
Tentukan keadaan mana yang recurrent dan keadaan mana yang tran-
sient!

2. Model penyebaran penyakit memiliki matriks peluang transisi sebagai

berikut:
 
1 0 0 0 0 0
 0 0.96 0.04 0 0 0 
 
 0 0 0.94 0.06 0 0 
P =



 0 0 0 0.94 0.06 0 
 0 0 0 0 0.96 0.04 
0 0 0 0 0 1

Tentukan sifat keadaan dari rantai Markov diatas.

MA4081 Pros.Stok. 16 K. Syuhada, PhD.