Bab 3 Prosstok

Silabus dan Tujuan Perkuliahan
Ilustrasi
Rantai Markov
Peluang n-langkah
Peluang Transisi Tak Bersyarat
Latihan
Program MATLAB
Jenis Keadaan
Limit Peluang Transisi
LATIHAN
MA4081 PENGANTAR PROSES STOKASTIK

Bab 3 Rantai Markov
Dosen: Khreshna I.A. Syuhada, MSc. PhD.
Cerdas dan Stokastik
MA4081 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Ma

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Silabus
Tujuan
Silabus
Definisi rantai Markov, sifat Markov, peluang transisi n-langkah,

persamaan Chapman-Kolmogorov, jenis keadaan, recurrent dan
transient, limit peluang transisi (kestasioneran).

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Silabus
Tujuan
Tujuan
Mempelajari model rantai Markov
Menghitung peluang transisi n-langkah
Menerapkan persamaan Chapman-Kolmogorov
Menentukan keadaan yang dapat diakses dan berkomunikasi
Menentukan keadaan-keadaan recurrent dan transient
Menghitung peluang transisi untuk jangka panjang

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi 1
Perilaku bunuh diri kini kian menjadi-jadi. Hesti (nama
sebenarnya) adalah sebuah contoh. Dia pernah melakukan
percobaan bunuh diri, namun gagal. Menurut pakar, kalau pada
suatu waktu seseorang melakukan percobaan bunuh diri maka
besar kemungkinan dia akan melakukannya lagi di masa
mendatang. Jika seseorang belum pernah melakukan percobaan
bunuh diri, di masa mendatang orang tersebut akan mungkin
melakukan percobaan bunuh diri. Deskripsikan fenomena diatas
sebagai model peluang (probability model).

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi 2
Pada 23 Juni lalu sekitar pukul 21.30 mobil yang dikemudikan
suami saya terperosok masuk lubang di jalan tol lingkar luar
Jakarta, kira-kira 2 kilometer dari Pintu Tol Pondok Ranji arah
Jakarta. Ban dan gadi-gading roda rusak. Esoknya saya
mengajukan klaim asuransi Sinar Mas kepada SiMas Bekasi. Pada
1 Juli saya mendapat jawaban bahwa klaim asuransi ditolak dengan
alasan: bagian yang rusak hanya ban dan gading-gading roda. Tak
mengenai badan mobil.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Padahal, tercantum jelas di dalam pasal-pasal polis asuransi

maupun surat penolakan bahwa ban dan gading-gading roda tidak
dijamin, kecuali disebabkan oleh Pasal 1 angka 1.1. Isi pasal itu,
pertanggungan ini menjamin kerusakan yang secara langsung
disebabkan oleh tabrakan, benturan, terbalik, tergelincir atau
terperosok. Asuransi Sinar Mas berusaha menghindar dari
kewajiban dengan alasan mengada-ada, bahkan mengingkari aturan
yang dibuatnya sendiri (Surat Pembaca KOMPAS; 03/08/2010).
Andaikan suatu hari saya mengajukan klaim lagi ke Asuransi Sinar
Mas, berapa peluang bahwa klaim saya akan diterima?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi 3
Permainan. Foto.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi 4
Loyalitas konsumen terhadap suatu merek barang. Wilkie (1994)
mendefinisikan brand loyalty as a favorable attitude toward and
consistent purchase of a particular brand. Lyong (1998): brand
loyalty is a function of a brands relative frequency of purchase in
both time-independent and time-dependent situations. Seorang
konsumen pembeli merek barang A diharapkan akan terus membeli
barang A. Mungkinkah ini terjadi? Apakah model statistika yang
dapat dengan tepat (atau mendekati tepat) merinci peluang
terjadinya hal ini? Apakah model ini membantu dalam strategi
pemasaran suatu barang?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi 5
Akhir-akhir ini, hujan dan panas (baca: tidak hujan) datang silih
berganti tanpa bisa diduga. Kalau hari ini hujan, besok mungkin
hujan mungkin juga panas. Tentu saja peluang besok hujan akan
lebih besar dibanding peluang besok akan panas. Begitu pula jika
hari ini panas. Besok akan lebih mungkin panas dibandingkan
hujan. Jika hari Senin hujan, berapa peluang bahwa hari Selasa
akan hujan? Berapa peluang bahwa hari Kamis akan hujan?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi 6
Sebagai calon atlet, setiap pagi Swari meninggalkan rumahnya
untuk berlari pagi. Swari akan pergi lewat pintu depan atau
belakang dengan peluang sama. Ketika meninggalkan rumah,
Swari memakai sepatu olah raga atau bertelanjang kaki jika sepatu
tidak tersedia di depan pintu yang dia lewati. Ketika pulang, Swari
akan masuk lewat pintu depan atau belakang dan meletakkan
sepatunya dengan peluang sama. Diketahui bahwa Swari memiliki
4 pasang sepatu olah raga. Berapa peluang bahwa Swari akan
sering berolah raga dengan bertelanjang kaki?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi 7
Hutang tak terbayar.

Hutang atau rugi dimasa depan, milik siapa?
Perlukah kita mengetahui (baca: memprediksi) kerugian dimasa
depan?
Bagaimana memodelkan kerugian?
segmentation algorithm?
Markov chain?
accounts behavioural score?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
P=
0.85
0.05
0.03
0.01
0.00
0.00
0.00
0.09
0.76
0.08
0.04
0.02
0.00
0.00
0.01
0.12
0.70
0.03
0.07
0.00
0.00
0.00
0.04
0.15
0.70
0.03
0.00
0.00
0.01
0.01
0.03
0.12
0.88
0.00
0.00
0.01
0.00
0.00
0.00
0.00
1.00
0.00
0.03
0.02
0.01
0.00
0.00
0.00
1.00

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Peluang Transisi
Contoh/Latihan
Definisi
Proses stokastik {Xn } adalah Rantai Markov:
n = 0, 1, 2, . . .
nilai yang mungkin adalah hingga atau terhitung

P Xn+1 = j|Xn = i, Xn1 = in1 , . . . , X1 = i1 , X0 = i0 = Pij ()
distribusi bersyarat Xn+1 , diberikan keadaan-keadaan lampau
(past states) X0 , X1 , . . . , Xn1 dan keadaan sekarang (present
state) Xn , hanya bergantung pada keadaan sekarang (Sifat
Markov)
keadaan-keadaan (states): i0 , i1 , . . . , in1 , i, j

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Peluang Transisi
Contoh/Latihan
Pij peluang bahwa proses akan berada di keadaan j dari keadaan i;

Pij 0, i, j 0;
Pij = 1, i = 0, 1, . . .
j=0

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Matriks
peluang transisi
P00 P01 P02
P10 P11 P12
..
..
..
.
.
P=
.
Pi0 Pi0 Pi0
..
..
..
.
.
.
Definisi
Peluang Transisi
Contoh/Latihan
Pij adalah

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Peluang Transisi
Contoh/Latihan
Diagram transisi keadaan

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Peluang Transisi
Contoh/Latihan
Perhatikan (*):
P Xn+1 = j|Xn = i, Xn1 = in1 , . . . , X1 = i1 , X0 = i0

= P Xn+1 = j|Xn = i
= Pij ,
yang disebut sebagai peluang transisi 1-langkah atau one-step
transition probability.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Peluang Transisi
Contoh/Latihan
Peluang bersama
P Xn = i, Xn1 = in1 , . . . , X1 = i1 , X0 = i0
dapat dihitung dengan sifat peluang bersyarat berikut.

P Xn = i, Xn1 = in1 , . . . , X1 = i1 , X0 = i0

= P Xn1 = in1 , . . . , X1 = i1 , X0 = i0

P Xn = i | Xn1 = in1 , . . . , X1 = i1 , X0 = i0

= P Xn1 = in1 , . . . , X1 = i1 , X0 = i0 P Xn = i | Xn1 = in1
=
= pi0 Pin1 ,in

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Peluang Transisi
Contoh/Latihan
Contoh/Latihan
1. Jika, pada waktu t, Rez mengajukan klaim asuransi, maka

Rez akan mengajukan klaim pada waktu t + 1 dengan peluang
; jika Rez tidak mengajukan klaim asuransi saat ini maka di
masa depan Rez akan mengajukan klaim asuransi dengan
peluang . Matriks peluang transisinya adalah...

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Peluang Transisi
Contoh/Latihan
Solusi:

1
P=
1
dengan keadaan-keadaan:
0 tidak mengajukan klaim
1 mengajukan klaim

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Peluang Transisi
Contoh/Latihan
2. Suatu rantai Markov dengan keadaan-keadaan 0, 1, 2

memiliki
matriks peluang
transisi:
0.1 0.2 0.7
P = 0.9 0.1 0
0.1 0.8 0.1
dan P(X0 = 0) = 0.3, P(X0 = 1) = 0.4, P(X0 = 2) = 0.3.
Hitung
P(X0 = 0, X1 = 1, X2 = 2)

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Peluang Transisi
Contoh/Latihan
Solusi: 0

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Peluang Transisi
Contoh/Latihan
3. Keadaan hujan pada suatu hari bergantung pada keadaan

hujan dalam dua hari terakhir. Jika dalam dua hari terakhir
hujan maka besok akan hujan dengan peluang 0.7; Jika hari
ini hujan dan kemarin tidak hujan maka besok akan hujan
dengan peluang 0.5; jika hari ini tidak hujan dan kemarin
hujan maka besok akan hujan dengan peluang 0.4; jika dalam
dua hari terakhir tidak hujan maka besok hujan dengan
peluang 0.2. Matriks peluang transisinya adalah...

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Peluang Transisi
Contoh/Latihan
Solusi:
0.7 0 0.3 0
0.5 0 0.5 0
P=
0 0.4 0 0.6
0 0.2 0 0.8
0 (00) = hari ini dan kemarin hujan
1 (10) = hari ini hujan, kemarin tidak hujan
2 (01) = hari ini tidak hujan, kemarin hujan
3 (11) = hari ini dan kemarin tidak hujan

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Peluang Transisi
Contoh/Latihan
4. Tiga item produk A dan tiga item produk B didistribusikan

dalam dua buah paket/kotak sedemikian hinga setiap paket
terdiri atas tiga item produk. Dikatakan bahwa sistem berada
dalam keadaan i, i = 0, 1, 2, 3 jika dalam paket pertama
terdapat i produk A. Setiap saat (langkah), kita pindahkan
satu item produk dari setiap paket dan meletakkan item
produk tersebut dari paket 1 ke paket 2 dan sebaliknya.
Misalkan Xn menggambarkan keadaan dari sistem setelah
langkah ke-n. Matriks peluang transisinya adalah...

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Peluang Transisi
Contoh/Latihan
Solusi:
0
1
0
0
1/9 4/9 4/9 0
P=
0 4/9 4/9 1/9
0
0
1
0
0 terdapat 0 produk A di paket
pertama
pertama
pertama
pertama

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Peluang Transisi
Contoh/Latihan
5. Menurut Kemeny, Snell dan Thompson, Tanah Australia

diberkahi dengan banyak hal kecuali cuaca yang baik. Mereka
tidak pernah memiliki dua hari bercuaca baik secara
berturut-turut. Jika mereka mendapatkan hari bercuaca baik
maka esok hari akan bersalju atau hujan dengan peluang
sama. Jika hari ini mereka mengalami salju atau hujan maka
besok akan bercuaca sama dengan peluang separuhnya. Jika
terdapat perubahan cuaca dari salju atau hujan, hanya
separuh dari waktu besok akan menjadi hari bercuaca baik.
Tentukan matriks peluang transisi dari Rantai Markov yang
dibentuk dari keadaan-keadaan diatas.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Peluang Transisi
Contoh/Latihan
Solusi:
1/2 1/4 1/4

P = 1/2 0 1/2
1/4 1/4 1/2
0 cuaca hujan
1 cuaca baik
2 cuaca salju

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Peluang Transisi
Contoh/Latihan
6. Suatu rantai Markov dengan keadaan-keadaan 0, 1, 2

memiliki
matriks peluang
transisi:
0.7 0.2 0.1
P = 0 0.6 0.4
0.5 0 0.5
Hitung
P(X2 = 1, X3 = 1 | X1 = 0)
dan
P(X1 = 1, X2 = 1 | X0 = 0)

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Peluang Transisi
Contoh/Latihan
Solusi: 0.12; 0.12

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Peluang Transisi
Contoh/Latihan
7. Sebagai calon atlet, setiap pagi Swari meninggalkan rumahnya

untuk berlari pagi. Swari akan pergi lewat pintu depan atau
belakang dengan peluang sama. Ketika meninggalkan rumah,
Swari memakai sepatu olah raga atau bertelanjang kaki.
Ketika pulang, Swari akan masuk lewat pintu depan atau
belakang dan meletakkan sepatunya dengan peluang sama.
Diketahui bahwa Swari memiliki 4 pasang sepatu olah raga.
Bentuklah suatu Rantai Markov dari proses diatas.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
3/4 1/4 0
0
1/4 1/2 1/4 0
P=
0 1/4 1/2 1/4
0
0 1/4 1/2
0
0
0 1/4
0 (4,0) = 4 sepatu didepan,
Definisi
Peluang Transisi
Contoh/Latihan
0
0
0
1/4
3/4
0
1
2
3
4
dibelakang
dibelakang
dibelakang
dibelakang
dibelakang

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Persamaan Chapman-Kolmogorov
Contoh/Latihan
Definisi
Misalkan Pijn menyatakan peluang transisi n-langkah suatu proses
di keadaan i akan berada di keadaan j,
Pijn = P(Yk+n = j|Yk = i), n 0, i, j 0.
Persamaan Chapman-Kolmogorov adalah alat untuk menghitung
peluang transisi n + m-langkah:
Pijn+m =
m
Pikn Pkj
, (Buktikan!)
k=0
m menyatakan peluang
untuk semua n, m 0 dan semua i, j. Pikn Pkj
suatu proses dalam keadaan i akan berada di keadaan j dalam
n + m transisi, melalui keadaan k dalam n transisi/langkah.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Contoh/Latihan
1. Jika hari ini hujan maka besok akan hujan dengan peluang
= 0.7; jika hari ini tidak hujan maka besok akan hujan
dengan peluang = 0.4. Matriks peluang transisi 4 langkah
adalah...

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Solusi:

0.5749 0.4251
4
P =
0.5668 0.4332

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
2. Keadaan hujan pada suatu hari bergantung pada keadaan

hujan dalam dua hari terakhir. Jika dalam dua hari terakhir
hujan maka besok akan hujan dengan peluang 0.7; Jika hari
ini hujan dan kemarin tidak hujan maka besok akan hujan
dengan peluang 0.5; jika hari ini tidak hujan dan kemarin
hujan maka besok akan hujan dengan peluang 0.4; jika dalam
dua hari terakhir tidak hujan maka besok hujan dengan
peluang
0.2. Matriks peluang
transisinya adalah sbb:
0.7 0 0.3 0
0.5 0 0.5 0
P=
0 0.4 0 0.6
0 0.2 0 0.8
Jika hari Senin dan Selasa hujan, berapa peluang bahwa hari
Kamis akan hujan?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Solusi:
0.49 0.12 0.21 0.18

0.35 0.2 0.15 0.3
P2 =
0.2 0.12 0.2 0.4
0.1 0.16 0.1 0.64
Peluang hujan pada hari Kamis adalah
2 + P 2 = 0.49 + 0.12 = 0.61
P00
01

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
3. Tunjukkan bahwa matriks peluang transisi n-langkah

memenuhi sifat:
Pijn+m = 1, i = 0, 1, . . .
j=0

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Solusi:

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
4. Laila adalah mahasiswa tingkat akhir di Farmasi UnPadj. Dia

tinggal tidak jauh dari kampus. Cukup berjalan kaki saja dari
tempat kos ke kampus dan sebaliknya. Akhir-akhir ini hujan
datang hampir setiap hari. Mau tidak mau, Laila
menggunakan payung dalam perjalanan kos-kampus atau
kampus-kos. Jika hari hujan dan payung ada ditempat Laila
berada maka Laila akan menggunakan payung tersebut. Jika
hari tidak hujan, Laila selalu lupa untuk membawa payung.
Misalkan adalah peluang hujan setiap kali Laila akan
menuju kampus atau kos. Jika Laila memiliki 3 buah payung,
bentuklah suatu rantai Markov dari proses diatas! Berapa
peluang Laila akan basah pada suatu hari? (Kerjakan dahulu
matriks peluang transisi n-langkah)

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
P=
dengan
0, 1,
Contoh/Latihan
0
0
0
1
0
0
1
0
1
0
1
0
0
keadaan-keadaan:
2, 3 yang menyatakan jumlah payung

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
5. Seorang tenaga penjual atau sales (SPG? SPB?) berjuang

untuk menjual suatu produk sebanyak i = 0, 1, 2 buah. Proses
jumlah produk yang terjual {Xn } membentuk rantai Markov
dengan
m.p.t:
0 1/2 1/2
P = 1/2 0 1/2
1/2 1/2 0
Hitung P(Xn = 0| X0 = 0) untuk n = 0, 1, 2.
Hitung P(X3 = 1| X1 = 0).

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Solusi:
P(Xn = 0| X0 = 0) = P(X0 = 0)
P(X1 = 0| X0 = 0) = 0
P(X2 = 0| X0 = 0) = 1/2
P(X3 = 1| X0 = 0) = 1/4

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Contoh/Latihan
Definisi
Misalkan
i = P(X0 = i), i 0,
P
dimana i=0 i = 1. Peluang tak bersyarat dapat dihitung

dengan mensyaratkan pada keadaan awal,
P(Xn = j) =
P(Xn = j|X0 = i) P(X0 = i) =
i=0
Pijn i
i=0

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Contoh/Latihan
1. Pandang
soal yang
lalu dengan matriks peluang transisi:
0.7 0.3
P=
0.4 0.6
Jika diketahui 0 = P(X0 = 0) = 0.4 dan
1 = P(X0 = 1) = 0.6, maka peluang (tak bersyarat) bahwa
hari akan hujan 4 hari lagi adalah...

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Contoh/Latihan
Solusi:
4
4
+ 0.6 P10
P(X4 = 0) = 0.4 P00
= (0.4)(0.5749) + (0.6)(0.5668) = 0.57

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Contoh/Latihan
2. Seorang pensiunan H menerima 2 (juta rupiah) setiap awal

bulan. Banyaknya uang yang diperlukan H untuk dibelanjakan
selama sebulan saling bebas dengan banyaknya uang yang dia
punya dan sama P
dengan i dengan peluang
Pi , i = 1, 2, 3, 4, 4i=1 Pi = 1. Jika H memiliki uang lebih dari
3 di akhir bulan, dia akan memberikan sejumlah uang lebih
dari 3 itu kepada orang lain. Jika setelah dia menerima uang
diawal bulan H memiliki uang 5, berapa peluang uangnya
akan 1 atau kurang setiap saat selama 4 bulan berikut?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Contoh/Latihan
Solusi :
Keadaan-keadaannya adalah
1 jumlah uang sebanyak 1 yang H punya di akhir bulan
Matriks
peluang transisi
P2 + P3 + P4 P1
0
P3 + P4
P2
P1
P=
P4
P3 P1 + P2

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Definisi
Contoh/Latihan
Misalkan Pi = 1/4, i = 1, 2, 3, 4. Maka matriks peluang transisinya

adalah
3/4 1/4 0
P = 1/2 1/4 1/4
1/4 1/4 1/2
Peluang uangnya akan 1 atau kurang setiap saat selama 4 bulan
4 = 201/256.
berikut adalah P31

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Latihan
1. Pandang suatu proses {Xn , n = 0, 1, . . .} yang bernilai 0, 1, 2.
Misalkan

P Xn+1 = j|Xn = i, Xn1 = in1 , . . . , X1 = i1 , X0 = i0
(
PijI , n genap,
=
PijII , n ganjil,
P
P
dimana 2j=0 PijI = 2j=0 PijII = 1, i = 0, 1, 2. Apakah
{Xn , n 0} suatu rantai Markov?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi: Bukan.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
2. Pandang 3 paket/kotak barang berwarna MERAH, PUTIH,

BIRU. Paket barang MERAH memuat 1 kaos merah dan 4
kaos biru; paket PUTIH memuat 3 kaos putih, 2 kaos merah
dan 2 kaos biru; paket BIRU memuat 4 kaos putih, 3 kaos
merah dan 3 kaos biru. Pada tahap awal, sebuah kaos diambil
secara acak dari paket MERAH dan dikembalikan (lagi) ke
paket tersebut. Pada setiap tahap berikutnya, sebuah kaos
diambil secara acak dari paket yang berwarna sama dengan
kaos yang terambil sebelumnya dan dikembalikan ke paket
tersebut. Bentuklah matriks peluang transisi yang mungkin.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
1/5
0
4/5
P = 2/7 3/7 2/7
3/10 4/10 3/10
0 Merah
1 Putih
2 Biru

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
3. Percobaan-percobaan dilakukan secara berurutan. Jika dalam

dua percobaan terakhir SUKSES maka peluang GAGAL pada
percobaan berikut adalah 0.8. Dalam keadaan YANG LAIN,
peluang GAGAL adalah 0.4. Bentuklah matriks peluang
transisi dan tentukan kelas-kelas keadaan. Bentuk suatu
rantai Markov.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
0.2 0.8 0
0
0
0 0.6 0.4
P=
0.6 0.4 0
0
0
0 0.6 0.4
0 (SS) = hari ini dan kemarin SUKSES
1 (SG) = hari ini GAGAL, kemarin SUKSES
2 (GS) = hari ini SUKSES, kemarin GAGAL
3 (GG) = hari ini dan kemarin GAGAL

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
4. Dalam Perang Teluk, ada tiga buah tank yang bertahan: A, B

dan C. Tank A dapat menembak sasaran dengan peluang 1/3,
tank B dengan peluang 1/4 dan tank C dengan peluang 1/5.
Dalam sebuah baku tembak, tank-tank akan terus menerus
menembak secara bersamaan hingga hanya ada satu tank
yang bertahan atau tidak ada tank yang bertahan sama sekali.
Asumsikan bahwa sebuah tank secara acak memilih sebuah
tank lain yang masih bertahan sebagai target. Tentukan
matriks peluang transisi dari rantai Markov diatas.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
P=
1
0
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
0
1
0
0
0
0
1/12 1/4 1/6

0
1/2
0
0
0
1/15 4/15
0
2/15
0
8/15
0
0
1/20
0
1/5 3/20
0
0
3/5
0
1/240 1/24 1/24 1/24 11/60 1/8 39/240 24/60
0, A, B, C, AB, AC, BC, ABC

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
5. Sebuah rantai Markov {Yt , t 0} dengan keadaan-keadaan

0,1,2
memiliki matriks peluang
transisi:
1/2 1/3 1/6

P = 0 1/3 2/3
1/2 0 1/2
Jika P(Y0 = 0) = P(Y0 = 1) = 1/4, hitung E (Y2 ).

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
4/12 5/18 14/36

5/9
P2 = 1/3 1/9
1/2 1/6 4/12

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
E (Y2 )
= 0 P(Y2 = 0) + 1 P(Y2 = 1) + 2 P(Y2 = 2)

= 0 + P(Y2 = 1|Y0 = 0) P(Y0 = 0) + P(Y2 = 1|Y0 = 1) P(Y0 = 1)

+ P(Y2 = 1|Y0 = 2) P(Y0 = 2) + 2 P(Y2 = 2|Y0 = 0) P(Y0 = 0)

+ P(Y2 = 2|Y0 = 1) P(Y0 = 1) + P(Y2 = 2|Y0 = 2) P(Y0 = 2)

2
2
2
2
2
2
= P01
0.25 + P11
0.25 + P21
0.5 + 2 P02
0.25 + P12
0.25 + P22
0.5
= 71/72

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
6. Dua tim futsal wanita di MA-ITB akan memainkan tujuh

rangkaian pertandingan. Hasil setiap pertandingan saling
bebas. Setiap pertandingan akan dimenangkan oleh tim A
dengan peluang dan oleh tim B dengan peluang 1 .
Misalkan keadaan suatu sistem direpresentasikan oleh
pasangan (a, b) dimana a menyatakan banyak pertandingan
yang dimenangkan A dan b banyak pertandingan yang
dimenangkan B. Bentuklah rantai Markov untuk masalah
tersebut.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Catatan: a + b 7 dan rangkaian pertandingan akan berakhir

apabila a = 4 atau b = 4.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
1-
1-
0,0
00
0,1
1,0
1-
1-
1-
2,3
3,2
4,1
2,4
1-
1-
1-
1,4
2,2
3,1
1-
1,3
1-
1-
0,4
2,1
4,0
1,2
2,0
1-
0,3
1-
1,1
3,0
1-
0,2
1-
1-
3,3
4,2
3,4
4,3

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh
Kode MATLAB
Contoh
Model penyebaran suatu penyakit adalah sbb: Jumlah populasi
adalah N = 5, sebagian sakit dan sisanya sehat. Dalam setiap
waktu, 2 orang akan dipilih secara acak dari populasi tersebut dan
keduanya berinteraksi. Pemilihan orang-orang tersebut dilakukan
sdh interaksi antara setiap pasangan adalah sama. Jika satu orang
dari suatu pasangan sakit, yang lain sehat, maka penyakit akan
disebarkan ke orang yang sehat dengan peluang 0.1. Diluar kondisi
tersebut, tidak ada penyakit yang disebarkan. Misalkan Xn
menyatakan jumlah orang yang sakit dalam populasi diakhir
periode ke-n. Bentuklah suatu matriks peluang transisi yang
mungkin.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh
Kode MATLAB
Solusi:
Keadaan: 0, 1, 2, 3, 4, 5, yang menyatakan jumlah orang yang
sakit.
P00 = 1, P55 = 1. Cukup jelas. Jika tidak ada/semua orang sakit
maka PASTI keadaan berubah ke tidak ada/semua orang sakit.
Pi,i+1 = 0.1
C1i C15i
= 0.01(i)(5 i),
C25
Pii = 1 0.01(i)(5 i),

untuk i = 1, 2, 3, 4.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
P=
Contoh
Kode MATLAB
1
0
0
0
0
0
0 0.96 0.04
0
0
0
0
0
0.94 0.06
0
0
0
0
0
0.94 0.06
0
0
0
0
0
0.96 0.04
0
0
0
0
0
1

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh
Kode MATLAB
Kode:
function transprob;
% the function calculate transition probability
% for a Markov chain
%
% created by K Syuhada, 12/03/2011
clear
clc
m = input(m = ); % number of states

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
P = zeros(m,m);
for i = 1:m
for j = 1:m
if i == j
P(i,j)
elseif i+1
P(i,j)
else
P(i,j)
end
end
end
Contoh
Kode MATLAB
= 1 - 0.01*(i-1)*(5-(i-1));
== j
= 0.01*(i-1)*(5-(i-1));
= 0;

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh
Kode MATLAB
display(matriks peluang transisi:)

display(P)
% n-step probability
% Chapman-Kolmogorov Equation
n = input(n = ); % number of steps
Pn = P^n;
display(matriks peluang transisi n-langkah:)
display(Pn)

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh
Kode MATLAB
----------------------------------------------------------m = 6
matriks peluang transisi:
P =
1.0000
0
0
0
0
0
0
0.9600
0
0
0
0
0
0.0400
0.9400
0
0
0
0
0
0.0600
0.9400
0
0
0
0
0
0.0600
0.9600
0
0.040
1.000

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh
Kode MATLAB
n = 2
matriks peluang transisi n-langkah:
Pn =
1.0000
0
0
0
0
0
0
0.9216
0
0
0
0
0
0.0760
0.8836
0
0
0
0
0.0024
0.1128
0.8836
0
0
0
0
0.0036
0.1140
0.9216
0
0.002
0.078
1.000

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Keadaan Dapat Diakses dan Berkomunikasi

Contoh/Latihan
Latihan
Keadaan Recurrent dan Transient
Contoh/Latihan
Sifat Dapat Diakses dan Berkomunikasi

Keadaan j dikatakan dapat diakses (accessible) dari keadaan i jika
Pijn > 0 untuk suatu n 0. Akibatnya, keadaan j dapat diakses
dari keadaan i jika dan hanya jika dimulai dari keadaan i proses
akan masuk ke keadaan j. Jika keadaan j tidak dapat diakses dari
keadaan i maka peluang masuk ke keadaan j dari keadaan i adalah
nol.
Catatan:
Dua keadaan i dan j yang saling akses satu sama lain dikatakan
berkomunikasi (communicate). Notasi: i j.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
Keadaan i berkomunikasi dengan keadaan i untuk semua

i 0
Jika keadaan i berkomunikasi dengan keadaan j maka

keadaan j berkomunikasi dengan keadaan i
Jika keadaan i berkomunikasi dengan keadaan j dan keadaan

j berkomunikasi dengan keadaan k maka keadaan i
berkomunikasi dengan keadaan k

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
Dua keadaan yang berkomunikasi dikatakan berada dalam kelas

(class) yang sama. Setiap dua kelas dari keadaan-keadaan dapat
identik (identical) atau saling asing (disjoint). Rantai Markov
dikatakan tidak dapat direduksi (irreducible) jika hanya terdapat
sebuah kelas dan semua keadaan berkomunikasi satu sama lain.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
Contoh/Latihan
1. Tentukan kelas keadaan dari rantai Markov dengan peluang

transisi berikut:
(i)
0.7 0 0.3 0
0.5 0 0.5 0
P=
0 0.4 0 0.6
0 0.2 0 0.8

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
(ii)
0
1
0
0
1/9 4/9 4/9 0
P=
0 4/9 4/9 1/9
0
0
1
0

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
(iii)
1
0
0
P = 1/2 1/4 1/4
1/4 1/4 1/2

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
2. Diketahui
matrik peluangtransisi:
0.5 0.5
0
0.5 0.25 0.25

P=
0 0.33 0.67
Apakah rantai Markov dengan peluang transisi diatas tidak
dapat direduksi (irreducible)?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
3. Apakah yang dapat anda katakan tentang rantai Markov

dengan
matriks peluang transisi berikut:

0.5 0.5
0
0
0.5 0.5
0
0
P=
0.25 0.25 0.25 0.25 ?
0
0
0
1

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
Empat gadis bermain bola: Tris, Sri, Berlian dan Yani. Jika Tris
memegang bola, dia akan melemparkan bola tersebut ke Sri dan
Yani dengan peluang sama. Jika Sri memegang bola, dia akan
melemparkannya ke Tris dengan peluang 1/3 dan melemparkan ke
Yani dengan peluang 2/3. Jika Berlian memegang bola, dia akan
melemparkan bola ke Sri. Buatlah matriks peluang transisi untuk
kasus:
(i) Jika Yani memegang bola, dia akan melemparkannya ke Tris
dengan peluang 2/3 atau membawa lari bola tersebut dengan
peluang 1/3
(ii) Jika Yani memegang bola pertama kali, dia akan melemparkan
ke Tris; Jika Yani memegang bola yang kedua kali, dia akan lari
membawa bola tersebut.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
P=
dengan

Contoh/Latihan
Latihan
Contoh/Latihan
0 0.5 0 0.5
1/3 0 0 2/3
0
1 0 0
2/3 0 0 1/3
keadaan 0 Tris; 1 Sri; 2 Berlian; 3 Yani.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan

Untuk setiap keadaan i, misalkan fi peluang bahwa dimulai dari
keadaan i proses akan pernah kembali ke keadaan i. Keadaan i
dikatakan recurrent jika fi = 1. Dikatakan transient jika fi < 1.
Jika keadaan i recurrent maka proses akan terus kembali ke
keadaan i dengan peluang satu. Dengan definisi rantai
Markov, proses akan dimulai lagi ketika kembali ke keadaan i,
dan seterusnya, sehingga keadaan i akan dikunjungi lagi. Jika
keadaan i recurrent maka dimulai dari keadaan i maka proses
akan kembali ke keadaan i terus dan terus sebanyak tak
hingga kali.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
Misalkan keadaan i transient. Setiap kali proses kembali ke

keadaan i, terdapat kemungkinan (peluang yang positif)
sebesar 1 fi bahwa proses tidak pernah kembali ke keadaan
i. Dengan demikian, dimulai dari keadaan i, peluang bahwa
proses berada di i sebanyak tepat n periode/kali adalah
fi n1 (1 fi ), n 1. Jika keadaan i transient maka, dimulai
dari keadaan i, banyak periode/kali bahwa proses akan berada
di keadaan i adalah peubah acak geometrik dengan parameter
1 fi .

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
Keadaan i recurrent jika dan hanya jika, dimulai dari keadaan i,

maka banyak periode/kali yang diharapkan (expected number of
time periods) bahwa proses akan berada di keadaan i adalah tak
hingga

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
Misalkan

1, Yn = i;
In =
0,PYn 6= i.
Misalkan
n=0 In menyatkan banyak periode/kali bahwa proses
berada dalam keadaan i, dan
!
X
X
E
In |Y0 = i =
E (In |Y0 = i)
n=0
n=0
=
=
X
n=0
P(Yn = i|Y0 = i)
Piin
n=0

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
Proposisi
Keadaan i adalah
recurrent jika
Piin =
n=0
transient jika
Piin <
n=0

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
Catatan:
Pada rantai Markov dengan keadaan hingga, tidak semua
keadaan bersifat transient (Mengapa?)
Jika keadaan i recurrent dan keadaan i berkomunikasi
(communicate) dengan keadaan j maka keadaan j recurrent
(Bagaimana jika keadaan i transient?)
Semua keadaan pada rantai Markov (hingga) yang tidak
dapat direduksi adalah recurrent (PENTING!)

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
Contoh/Latihan
1. Misalkan rantai Markov dengan keadaan 0,1,2,3 memiliki

matriks
peluang transisi:
0 0 0.5 0.5
1 0 0
0
P=
0 1 0
0
0 1 0
0
Tentukan keadaan mana yang recurrent dan keadaan mana
yang transient!

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
Solusi:
Semua keadaan recurrent.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
2. Bagaimana dengan rantai Markov (keadaan: 0,1,2,3,4)

dengan
matriks peluang transisi:
0.5 0.5
0
0
0
0.5 0.5
0
0
0
0
0.5 0.5 0
P= 0
?
0
0
0.5 0.5 0
0.25 0.25 0
0 0.5

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
Solusi:
Keadaan 0,1,2,3 recurrent, keadaan 4 transient.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
3. Misalkan rantai Markov dengan keadaan 0,1,2,3 memiliki

matriks
peluang transisi:
0.5 0.5
0
0
0.5 0.5
0
0
P=
0.25 0.25 0.25 0.25
0
0
0
1
Tentukan keadaan mana yang recurrent dan keadaan mana
yang transient!

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
Solusi:
Keadaan 0,1,3 recurrent, keadaan 2 transient.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
4. Model penyebaran penyakit memiliki matriks peluang transisi

(keadaan: 0,1,2,3,4,5) sebagai berikut:
1
0
0
0
0
0
0 0.96 0.04
0
0
0
0
0
0.94 0.06
0
0
P=
0
0
0.94 0.06
0
0
0
0
0
0
0.96 0.04
0
0
0
0
0
1
Tentukan sifat keadaan dari rantai Markov diatas.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN

Contoh/Latihan
Latihan
Contoh/Latihan
Solusi:
Keadaan 0,5 recurrent, keadaan 1,2,3,4 transient.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Ilustrasi
Dalam suatu kesempatan, sejumlah pemain bola berdoa bersama.

David Beckham bertanya pada Tuhan:Kapan Inggris menjadi
juara Piala Dunia?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Tuhan menjawab: Tahun 2014.

Beckham pun menangis.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Giliran Christiano Ronaldo, kapten timnas Portugal, bertanya:

Tuhan, kapan Portugal merebut Piala Dunia?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Tuhan pun langsung menjawab Tahun 2022.

Dan Ronaldo pun menangis.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Park-Ji Sung tidak mau ketinggalan. Dia bertanya kapan Korea

menjadi juara, Tuhan?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Tuhan menjawab ya... 20 tahun lagi.

Park-Ji Sung menangis.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Akhirnya Bambang Pamungkas pun tak tahan untuk bertanya:

Kapan Indonesia bisa menjadi juara Piala Dunia, ya Tuhan?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Tuhan pun menangis dan berseru kalau mimpi kira-kira dong.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Misalkan 0 keadaan belum pernah juara dan 1 keadaan pernah

juara.Matriks peluang
transisi yang dapat dibentuk adalah

0.9 0.1
P=
0.3 0.7

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Matriks
peluang transisi 8dan 12 langkahnya:
0.7542 0.2458
P8 =
0.7374 0.2626
dan

0.7505 0.2495
12
P =
0.7484 0.2516
...dst.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Matriks P 12 hampir identik dengan P 8 (benar-benar identik

dengan P 16 ). Selain itu, setiap baris dari P 12 memiliki unsur yang
identik. Nampaknya, Pijn konvergen ke suatu nilai, untuk n ,
yang sama untuk semua i. Dengan kata lain, terdapat limit
peluang (limiting probability) bahwa proses akan berada di
keadaan j setelah sekian/banyak langkah/transisi. Nilai limit ini
saling bebas dengan nilai pada keadaan awal.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Definisi
Perhatikan 2 sifat keadaan berikut:
Keadaan i dikatakan memiliki periode d jika Piin = 0 untuk n yang
tidak dapat dibagi oleh d (d suatu integer). Contoh, suatu proses
dimulai dari keadaan i akan kembali ke i pada waktu 2, 4, 6, 8, . . . ,
maka keadaan i memiliki periode 2. Suatu keadaan yang memiliki
periode 1 disebut aperiodik. Jika keadaan i memiliki periode d dan
keadaan i berkomunikasi dengan keadaan j maka keadaan j juga
memiliki periode d.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Jika keadaan i recurrent, maka keadaan tersebut akan dikatakan

positive recurrent jika, dimulai dari keadaan i, waktu harapan
hingga proses kembali ke i adalah hingga. Pada rantai Markov
yang memiliki keadaan hingga, semua keadaan yang recurrent
adalah positive recurrent. Suatu keadaan yang positive recurrent
dan aperiodik disebut ergodik.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Teorema
Untuk rantai Markov yang ergodik dan tidak dapat direduksi,
lim Pijn
ada dan saling bebas dari i. Misalkan

j = lim Pijn , j 0,
n
maka j adalah solusi nonnegatif tunggal dari

j =
i Pijn , j 0,
i=0
dengan
j=0
j = 1.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Catatan:
Perhatikan bahwa
P(Xn+1 = j) =
P(Xn+1 = j|Xn = i) P(Xn = i)
i=0
Pij P(Xn = i)
i=0
Limit peluang j adalah peluang jangka panjang (long-run

proportion of time) bahwa suatu proses akan berada di
keadaan j

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Jika rantai Markov tidak dapat direduksi, maka terdapat

solusi untuk
X
j =
i Pij , j 0,
i
dengan j j = 1, JIKA dan HANYA JIKA rantai Markov

bersifat positive recurrent. Jika solusinya ada maka solusi
tersebut tunggal dan j adalah proporsi jangka panjang bahwa
rantai Markov berada dalam keadaan j. Jika rantai Markov
aperiodik maka j adalah limit peluang bahwa rantai akan
berada di keadaan j.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Contoh/Latihan
1. Jika hari ini hujan maka besok akan hujan dengan peluang ;
jika hari ini tidak hujan maka besok akan hujan dengan
peluang . Jika 0 00 adalah keadaan hujan dan 0 10 adalah
keadaan tidak hujan maka peluang hujan dan tidak hujan
untuk jangka panjang adalah

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Solusi:

1
P=
,
1
dan kita punyai persamaan-persamaan:
0 = 0 + 1
1 = (1 ) 0 + (1 ) 1
0 + 1 = 1

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Kita peroleh peluang hujan dan tidak hujan pada jangka panjang:
0 =
1+
1 =
1
1+
dan

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
2. Percobaan-percobaan dilakukan secara berurutan. Jika dalam

dua percobaan terakhir SUKSES maka peluang SUKSES pada
percobaan berikut adalah 0.8. Dalam keadaan YANG LAIN,
peluang SUKSES adalah 0.5. Hitung peluang percobaan
sukses untuk jangka panjang.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Solusi:
0.8 0.2 0
0
0
0 0.5 0.5
P=
0.5 0.5 0
0
0
0 0.5 0.5
0 (SS) = hari ini dan kemarin SUKSES
1 (SG) = hari ini GAGAL, kemarin SUKSES
2 (GS) = hari ini SUKSES, kemarin GAGAL
3 (GG) = hari ini dan kemarin GAGAL

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Kita punyai persamaan-persamaan:

0 =
1 =
2 =
3 =
dan
0 + 1 + 2 + 3 = 1

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Diperoleh: 0 = 23/50; 1 = 2 = 3 = 9/504.

Jadi, peluang SUKSES jangka panjang adalah
0 + 1 = 32/50

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
3. Pandang pelantunan-pelantunan sebuah koin (dengan peluang

muncul MUKA adalah ) yang saling bebas. Berapa banyak
lantunan dibutuhkan yang diharapkan (expected number of
tosses needed) agar pola HTHT muncul? (Perhatikan catatan
dibawah)

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Definisi
Contoh/Latihan
Catatan:
Peluang jangka panjang j , j 0, disebut juga peluang
stasioner (stationary probability). Jika keadaan awal dipilih
berdasarkan peluang j , j 0, maka peluang akan menjadi
keadaan j pada setiap waktu n adalah sama dengan j .
Untuk keadaan j, definisikan mjj yaitu banyak transisi yang
diharapkan (expected number of transitions) hingga suatu
rantai Markov, dimulai dari keadaan j akan kembali ke
keadaan tersebut:
1
j =
mjj

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
1. Seorang dosen KS terus menerus memberikan ujian kepada

mahasiswanya. Dosen KS memberikan 3 tipe/jenis ujian
dengan hasil BAGUS atau JELEK. Misalkan i adalah peluang
bahwa mahasiswa mengerjakan BAGUS untuk ujian tipe i.
Diketahui 1 = 0.3, 2 = 0.6, 3 = 0.9. Jika mahasiswa
mengerjakan dengan BAGUS pada suatu ujian maka tipe ujian
berikut yang akan dikerjakan memiliki peluang sama. Jika
hasil ujian JELEK maka ujian berikut adalah ujian tipe 1.
Bentuklah rantai Markov untuk cerita diatas.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
0.8 0.1 0.1

P = 0.6 0.2 0.2
0.4 0.3 0.3
dengan keadaan 1 Ujian 1; 2 Ujian 2; 3 Ujian 3.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
2. Misalkan koin 1 memiliki peluang muncul MUKA 0.7 ketika

dilantunkan sedangkan peluang muncul MUKA untuk koin 2
adalah 0.6. Jika sebarang koin dilantunkan hari ini dan
muncul MUKA maka besok dilantunkan koin 1. Jika muncul
BELAKANG maka besok akan dilantunkan koin 2. Jika
peluang koin 1 terpilih untuk dilantukan pertama kali adalah
0.5, tentukan peluang bahwa pada hari ketiga akan
dilantunkan koin 1.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Suppose that coin 1 has probability of coming up heads and coin 2

has probability 0.6 of coming up heads. If the coin flipped today
comes up heads, then we select coin 1 to flip tomorrow. If it comes
up tails then we select coin 2 to flip tomorrow. If the coin initially
flipped is equally likely to be coin 1 or coin 2, then what is the
probability that the coin flipped on the third day after the initial
flip is coin 1?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:

0.7 0.3
P=
0.6 0.4
dengan keadaan 1 Koin 1; 2 Koin 2. Diketahui
P(X0 = 1) = P(X0 = 2) = 0.5,
sehingga
3
3
P(X3 = 1) = P11
P(X0 = 1) + P21
P(X0 = 2) = 2/3

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
3. Bentuklah suatu matriks peluang transisi dari rantai Markov

yang memenuhi semua aturan berikut: memiliki tiga keadaan
atau lebih, tidak ada satu pun keadaan yang absorbing, tidak
dapat direduksi, memiliki periode dua, setidaknya satu
keadaan bersifat transient, dan satu unsur dari matriks
bernilai nol.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
Tidak ada matriks peluang transisi yang memenuhi semua aturan.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
4. Setiap minggu pagi Vivian meninggalkan rumahnya untuk

berlari pagi. Vivian akan pergi lewat pintu depan dengan
peluang dua kali lebih besar daripada pergi lewat pintu
belakang. Ketika meninggalkan rumah Vivian memakai sepatu
olah raga atau bertelanjang kaki jika sepatu tidak tersedia di
depan pintu yang dia lewati. Ketika pulang, Vivian akan
masuk lewat pintu depan atau belakang, dan meletakkan
sepatunya, dengan peluang sama. Jika dia memiliki 2 pasang
sepatu olah raga, berapa peluang Vivian akan sering berolah
raga dengan memakai sepatu?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
2/3 1/3 0
P = 1/6 3/6 2/6
0 1/6 5/6
dengan keadaan 0=(2,0); 1=(1,1); 2=(0,2). Diperoleh
0 =; 1 =; 2 =
Jadi, peluang Vivian akan sering berolahraga dengan memakai
sepatu adalah
(2/3)0 + 1 + (1/3)2 =

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
5. Seorang sopir taksi melayani penumpang yang bepergian di 2

area dalam suatu kota. Penumpang taksi yang naik di area A
akan turun di area A juga dengan peluang 0.6. Penumpang
yang naik di area B akan turun di area A dengan peluang 0.3.
Keuntungan yang diharapkan (expected profit) sopir taksi
untuk pelayanan selama di area A adalah 6 dan selama di area
B adalah 8. Keuntungan yang diharapkan apabila pelayanan
taksi melintasi 2 area adalah 12. Hitung keuntungan rata-rata
sopir taksi untuk suatu pelayanan.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:

0.6 0.4
P=
0.3 0.7
dengan keadaan 0 Area A; 1 Area B. Diperoleh
0 = 3/7, 1 = 4/7.
Misalkan X keuntungan dalam suatu pelayanan
E (X ) = E (X |A) 0 + E (X |B) 1
= [(0.6)(6) + (0.4)(12)](3/7) + [(0.3)(12) + (0.7)(8)](4/7)
= 62/7

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
6. Misalkan P suatu matriks peluang transisi. Tunjukkan bahwa

X
Pijn = 1
j

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
7. Misalkan
peluang transisi untuk keadaan 0,1,2:
matriks
1 0 0
P= a b c
0 0 1
dengan syarat a > 0, b > 0, c > 0. Keadaan 0 dan 2 adalah
keadaan yang absorbing.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Pandang proses yang dimulai dari keadaan 1, maka

110
atau
112
Pertanyaan: Berapa lama proses akan berada di keadaan 1
sebelum akhirnya ke keadaan 0 atau 2?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Dengan kata lain, misalkan

T = min{n : Xn = 0 atau Xn = 2}
maka hitung
E (T | X0 = 1)

Bab 3 Prosstok

Diunggah oleh

Informasi Dokumen

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Bab 3 Prosstok

Diunggah oleh

Hak Cipta:

Format Tersedia

Silabus dan Tujuan Perkuliahan

MA4081 PENGANTAR PROSES STOKASTIK

Cerdas dan Stokastik

Dosen: Khreshna I.A. Syuhada, MSc. PhD.

MA4081 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Ma

Silabus dan Tujuan Perkuliahan

Definisi rantai Markov, sifat Markov, peluang transisi n-langkah,

Dosen: Khreshna I.A. Syuhada, MSc. PhD.

MA4081 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Ma

Silabus dan Tujuan Perkuliahan

Mempelajari model rantai Markov

Menghitung peluang transisi n-langkah

Menerapkan persamaan Chapman-Kolmogorov

Menentukan keadaan yang dapat diakses dan berkomunikasi

Menentukan keadaan-keadaan recurrent dan transient

Menghitung peluang transisi untuk jangka panjang

Dosen: Khreshna I.A. Syuhada, MSc. PhD.

MA4081 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Ma

Silabus dan Tujuan Perkuliahan

Dosen: Khreshna I.A. Syuhada, MSc. PhD.

MA4081 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Ma

Silabus dan Tujuan Perkuliahan

Dosen: Khreshna I.A. Syuhada, MSc. PhD.

MA4081 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Ma

Silabus dan Tujuan Perkuliahan

Padahal, tercantum jelas di dalam pasal-pasal polis asuransi

Dosen: Khreshna I.A. Syuhada, MSc. PhD.

MA4081 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Ma

Silabus dan Tujuan Perkuliahan

Dosen: Khreshna I.A. Syuhada, MSc. PhD.

MA4081 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Ma

Silabus dan Tujuan Perkuliahan

MA4081 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Ma

Silabus dan Tujuan Perkuliahan

Dosen: Khreshna I.A. Syuhada, MSc. PhD.

MA4081 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Ma

Silabus dan Tujuan Perkuliahan

Dosen: Khreshna I.A. Syuhada, MSc. PhD.

MA4081 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Ma

Silabus dan Tujuan Perkuliahan

Hutang tak terbayar.

Dosen: Khreshna I.A. Syuhada, MSc. PhD.

MA4081 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Ma

Silabus dan Tujuan Perkuliahan

Dosen: Khreshna I.A. Syuhada, MSc. PhD.

MA4081 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Ma

Silabus dan Tujuan Perkuliahan

MA4081 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Ma

Silabus dan Tujuan Perkuliahan

Pij peluang bahwa proses akan berada di keadaan j dari keadaan i;

Dosen: Khreshna I.A. Syuhada, MSc. PhD.

MA4081 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Ma

Silabus dan Tujuan Perkuliahan

Dosen: Khreshna I.A. Syuhada, MSc. PhD.

MA4081 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Ma

Silabus dan Tujuan Perkuliahan

Diagram transisi keadaan

Dosen: Khreshna I.A. Syuhada, MSc. PhD.

MA4081 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Ma

Silabus dan Tujuan Perkuliahan

Dosen: Khreshna I.A. Syuhada, MSc. PhD.

MA4081 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Ma

Silabus dan Tujuan Perkuliahan

dapat dihitung dengan sifat peluang bersyarat berikut.