disusun oleh
Khreshna I.A. Syuhada, MSc. PhD.
B. Silabus:
• Rantai Markov
C. Buku teks:
D. Penilaian:
• Ujian 1,2,3:
30 September 2014 (30%)
28 Oktober 2014 (30%)
2 Desember 2014 (30%)
• Kuis (10%)
3 Rantai Markov 1
3.1 Ilustrasi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
3.2 Definisi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
3.3 Peluang n-langkah . . . . . . . . . . . . . . . . . . . . . . . 5
3.4 Jenis Keadaan . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3.5 Limit Peluang Transisi . . . . . . . . . . . . . . . . . . . . 11
ii
BAB 1
Tujuan:
2. Menghitung fungsi peluang (f.p) dan fungsi distribusi (f.d); f.p ke f.d; f.d
ke f.p
1.1 Pendahuluan
1
(Contoh 1) Di perusahaan asuransi digunakan sistem Bonus Malus untuk
menentukan besar premi. Setiap pemegang polis berada dalam suatu keadaan
(state) dan premi tahunan merupakan fungsi dari keadaan ini. Keadaan pe-
megang polis berubah dari tahun ke tahun dengan memperhatikan banyak
klaim yang telah dilakukan. Pemegang polis biasanya akan menurunkan sta-
tus keadaan jika dia tidak memiliki klaim pada tahun sebelumnya dan akan
menaikkan status keadaan jika memiliki setidaknya satu klaim. Untuk sistem
Bonus Malus, misalkan si (k) menyatakan keadaan pemegang polis berikut dari
sebelumnya berada di keadaan i dan telah mengajukan k klaim. Jika banyak
klaim yang dibuat adalah peubah acak berdistribusi Poisson dengan parame-
ter θ, maka keadaan pemegang polis akan membentuk Rantai Markov dengan
peluang transisi Pij . Berikut adalah contoh Sistem Bonus Malus dengan 4
keadaan:
Keadaan apabila...
Keadaan 0 klaim 1 klaim 2 klaim 3 klaim
1 1 2 3 4
2 1 3 4 4
3 2 4 4 4
4 3 4 4 4
Yt = α Yt−1 + εt
E(Yn+1 |Yn , α
b)
Yt = σt + εt
dimana
2
σt = α0 + α1 Yt−1 ,
atau
ln σt = γ + δ ln σt−1 + ηt ,
Model ARCH dan/atau SV sangat tepat untuk memodelkan imbal hasil (re-
turn) saham.
Yt = α ◦ Yt−1 + εt ,
dimana
α ◦ Yt−1 = W1 + · · · + WYt−1 ,
Ilustrasi
• Ruang sampel S adalah himpunan dari semua hasil yang mungkin dari
suatu percobaan. Anggota dari S disebut kejadian elementer.
• Kejadian adalah himpunan bagian dari ruang sampel atau koleksi dari
kejadian-kejadian elementer.
Peluang
n(A)
P (A) = lim
n→∞ n
Teorema
1. P (Ac ) = 1 − P (A)
3. P (A ∪ B) = P (A) + P (B) − P (A ∩ B)
Ilustrasi
P (X = n) = (1/2)n+1
Peubah Acak
Catatan:
Sebuah peubah acak diskrit tidak selalu berasal ruang sampel diskrit.
dan
∑
FX (x) = pi
ai ≤x
pX (x) = pi = P (X = ai ),
dengan x = ai
F (x) = P (X ≤ x)
Sifat-sifat:
• P (X ≤ b) ̸= P (X < b)
•
( { 1 })
P (X < b) = P X ≤b−
lim
n→∞ n
( 1)
= lim P X ≤ b −
n→∞ n
( 1)
= lim F b −
n→∞ n
P (X = a) = fX (t) dt = 0
a
Latihan:
1. Tentukan fungsi peluang dari fungsi distribusi berikut:
0, x < −3.1
3/5, −3.1 ≤ x < 0
F (x) =
7/10, 0≤x<1
1, 1≤x
2. Tentukan
fungsi peluang dari fungsi distribusi berikut:
0, x<0
13 + x5 , 0 ≤ x < 1
F (x) = 53 , 1≤x<2
9
, 2≤x<3
10
1, x≥3
3. Diketahui
fungsi peluang sebagai berikut:
p, x = −1.9
0.1, x = −0.1
0.3, x = 20p
f (x) =
p, x=3
4p, x = 4
0, yang lain
Hitung P (−1.9 ≤ |X| ≤ 3), F (2), F (F (3.1))
(Ilustrasi B-1) Pasien di IGD adalah orang-orang yang dianggap dekat den-
gan kematian. Kesembuhan dari penyakit yang dideritanya bagi mereka adalah
seperti mimpi. Untuk bisa bertahan hidup dari hari ke hari sudahlah meru-
pakan mukjizat. Asumsikan bahwa setiap orang memiliki peluang untuk dapat
(Ilustrasi B-2) Misalkan sebuah mesin dari pesawat akan rusak (saat ter-
bang) dengan peluang 1-p, saling bebas antara mesin satu dan yang lain. Mis-
alkan sebuah pesawat akan melakukan penerbangang sukses jika setidaknya
50% mesin bekerja dengan baik (tidak rusak). Untuk p berapa, sebuah pe-
sawat dengan 4 mesin akan lebih disukai (terbang lebih baik) dibandingkan
dengan pesawat dengan 2 mesin?
P (X ≥ 2) = P (X = 2) + P (X = 3) + P (X = 4)
P (X ≥ 1) = 1 − P (X = 0) = 1 − (1 − p)2 · · · ∗ ∗
Distribusi Binomial
Misalkan S = {sukses, gagal} adalah ruang sampel yang menotasikan ’sukses’
atau ’gagal’ dari suatu percobaan.
Definisikan X(sukses) = 1 dan X(gagal) = 0 dan
pX (1) = P (X = 1) = p
pX (0) = P (X = 0) = 1 − p
dimana 0 ≤ p ≤ 1 adalah peluang diperoleh sukses. X dikatakan peubah
acak Bernoulli dengan parameter p. Jika dilakukan n percobaan independen
dan jika X menyatakan banyaknya sukses yang diperoleh maka X dikatakan
sebagai peubah acak Binomial dengan parameter (n, p), dimana
(Ilustrasi P-1) Banyaknya kecelakaan yang terjadi di tol setiap hari berdis-
tribusi Poisson dengan parameter λ = 3. Berapa peluang tidak ada kecelakaan
pada hari ini?
Misalkan X menyatakan banyak kecelakaan.
P (X = 0) = exp(−3)
Distribusi Poisson
Misalkan X peubah acak dengan fungsi peluang
λi
pX (i) = e−λ
i!
untuk i = 0, 1, 2, . . . dan λ > 0. X disebut peubah acak Poisson dengan
parameter λ.
(Ilustrasi G-1) Ini kisah masa lalu Nurul yang sempat diceritakan sesaat se-
belum Nurul menikah. Katanya “Ayahku meninggal waktu usiaku tiga tahun.
Lalu Ibu kawin lagi. Dengan ayah tiriku, Ibu mendapat dua orang anak tiri
dan melahirkan tiga orang anak. Ketika usiaku lima belas tahun, Ibu pun
meninggal. Ayah tiriku kawin lagi dengan seorang janda yang sudah beranak
dua. Ia melahirkan dua orang anak pula dengan ayah tiriku”. Pertanyaan
yang mungkin adalah...
• Berapa peluang bahwa orang yang dinikahi Nurul tidak memiliki hubun-
gan darah?
• Jika Nurul tidak ingin menikah dengan saudara sedarah, berapa peluang
bahwa Nurul akhirnya menikahi orang yang bukan saudara sedarah?
P (X > 4) = 1 − P (X ≤ 4) = 1/256
Distribusi Geometrik
Misalkan percobaan-percobaan dilakukan hingga diperoleh sukses yang per-
tama. Percobaan-percobaan tersebut saling bebas dan memiliki peluang suk-
ses p. Misalkan X menyatakan banyaknya percobaan yang dilakukan untuk
p(n) = P (X = n) = (1 − p)n−1 p,
Tujuan:
1. Menentukan fungsi peluang bersama dan fungsi peluang marginal
2. Menghitung peluang bersyarat dan menghitung ekspektasi bersyarat
3. Memahami dan menghitung ekspektasi melalui ekspektasi bersyarat
4. Memahami konsep kovariansi dan korelasi
pX,Y (x, y) = P (X = x, Y = y)
1
Catatan:
1. Kondisi bahwa X dan Y terdefinisi pada ruang sampel yang sama berarti
dua peubah acak tsb memberikan informasi secara bersamaan terhadap kelu-
aran (outcome) dari percobaan yang sama
2. {X = x, Y = y} adalah irisan kejadian {X = x} dan {Y = y}; kejadian
dimana X bernilai x dan Y bernilai y
adalah fungsi peluang marginal dari X dan fungsi peluang marginal dari Y .
Latihan:
1. Diberikan data ttg jumlah kamar tidur dan kamar mandi dari 50 rumah
yang akan dijual sbb (X kamar tidur, Y kamar mandi):
X\Y 2 3 4 5 Total
2 3 0 0 0
3 14 12 2 0 28
4 2 11 5 1
Total 23 50
P (a < X ≤ b, c < Y ≤ d) = FX,Y (b, d) − FX,Y (b, c) − FX,Y (a, d) + FX,Y (a, c)
atau
∫ b ∫ d
P (a ≤ X ≤ b, c ≤ Y ≤ d) = fX,Y (x, y) dxdy
a c
dengan
∂2 ∂2
fX,Y (x, y) = FX,Y (x, y) = FX,Y (x, y).
∂x ∂y ∂y ∂x
Suatu fungsi peluang bersama fX,Y (x, y) dari peubah acak X dan Y memenuhi
2 sifat berikut
1. f∫X,Y (x, y) ≥ 0 untuk semua (x, y) ∈ R2
∞ ∫∞
2. −∞ −∞ fX,Y (x, y) dxdy = 1
Latihan:
a. Tentukan c
b. Tentukan fungsi peluang marginal X dan Y
c. Hitung P (Y > 2X)
d. Apakah X dan Y saling bebas?
a. Tentukan fX (x)
b. Jika besar klaim awal yang diberikan adalah 2, tentukan peluang
bahwa klaim yang diterima berikutnya adalah antara 1 dan 3.
Latihan:
2.2 Ekspektasi
dan
∫ ∞
E(X) = x fX (x) dx
−∞
Sifat-sifat ekspektasi:
∫∞
1. E(g(X)) = −∞ g(x) fX (x) dx
Latihan:
y 0 1 2 3 4 5 6
p(y) 0.1 0.2 0.3 0.2 0.1 0.05 0.05
3. Diketahui:
1
f (x) = (λ x)r−1 λ exp(−λ x)
Γ(r)
Tentukan E(X k ), k = 2, 3
atau
Latihan:
f (x, y) = e−x(y+1) , 0 ≤ x, 0 ≤ y ≤ e − 1
a. Tentukan fY (y)
b. Hitung P (X > 1|Y = 21 )
c. Hitung E(X|Y = 12 )
2. K meninggalkan kantor setiap hari kerja antara pukul 6-7 malam. Jika
dia pergi t menit setelah pukul 6 maka waktu untuk mencapai rumah
adalah peubah acak berdistribusi Seragam pada selang (20, 20 + (2t)/3).
Misalkan Y adalah banyak menit setelah pukul 6 dan X banya menit
untuk mencapai rumah, berapa lama waktu mencapai rumah?
Akibatnya,
Sifat-sifat kovariansi
• Cov(X, Y ) = Cov(Y, X)
• Cov(X, X) = V ar(X)
• Cov(a X, Y ) = a Cov(X, Y )
(∑ ∑m ) ∑ ∑m
• Cov n
i=1 Xi , j=1 j =
Y n
i=1 j=1 Cov(Xi , Yj )
Perhatikan bahwa:
( n ) ( n )
∑ ∑ ∑
n
V ar Xi = Cov Xi , Xj
i=1 i=1 j=1
∑
n ∑
n
= Cov(Xi , Xj )
i=1 j=1
∑n ∑∑
= V ar(Xi ) + Cov(Xi , Xj )
i=1 i̸=j
Cov(X, Y
ρ(X, Y ) = √ ,
V ar(X) V ar(Y )
−1 ≤ ρ(X, Y ) ≤ 1
Koefisien korelasi adalah ukuran dari derajat kelinieran antara X dan Y . Nilai
ρ(X, Y ) yang dekat dengan +1 atau −1 menunjukkan derajat kelinieran yang
tinggi. Nilai positif korelasi mengindikasikan nilai Y yang cenderung membe-
sar apabila X membesar. Jika ρ(X, Y ) = 0 maka dikatakan X dan Y tidak
berkorelasi.
Latihan:
1. Tunjukkan bahwa
P (I = 1) = P (I = 0) = 1/2.
Didefinisikan
Tunjukkan bahwa
Cov(X, Y ) = 0
Rantai Markov
Silabus: Definisi rantai Markov, sifat Markov, peluang transisi n-langkah, per-
samaan Chapman-Kolmogorov, jenis keadaan, recurrent dan transient, limit
peluang transisi (kestasioneran).
Tujuan:
3.1 Ilustrasi
(Ilustrasi 1) Perilaku bunuh diri kini kian menjadi-jadi. Hesti (nama sebe-
narnya) adalah sebuah contoh. Dia pernah melakukan percobaan bunuh diri,
namun gagal. Menurut pakar, kalau pada suatu waktu seseorang melakukan
percobaan bunuh diri maka besar kemungkinan dia akan melakukannya lagi di
masa mendatang. Jika seseorang belum pernah melakukan percobaan bunuh
diri, di masa mendatang orang tersebut akan mungkin melakukan percobaan
bunuh diri. Deskripsikan fenomena diatas sebagai model peluang (probability
model).
1
(Ilustrasi 2) Loyalitas konsumen terhadap suatu merek barang. Wilkie
(1994) mendefinisikan “brand loyalty as a favorable attitude toward and con-
sistent purchase of a particular brand”. Lyong (1998): “brand loyalty is a
function of a brands’ relative frequency of purchase in both time-independent
and time-dependent situations”. Seorang konsumen pembeli merek barang A
diharapkan akan terus membeli barang A. Mungkinkah ini terjadi? Apakah
model statistika yang dapat dengan tepat (atau mendekati tepat) merinci pelu-
ang terjadinya hal ini? Apakah model ini membantu dalam strategi pemasaran
suatu barang?
(Ilustrasi 3) Akhir-akhir ini, hujan dan panas (baca: tidak hujan) datang
silih berganti tanpa bisa diduga. Kalau hari ini hujan, besok mungkin hu-
jan mungkin juga panas. Tentu saja peluang besok hujan akan lebih besar
dibanding peluang besok akan panas. Begitu pula jika hari ini panas. Besok
akan lebih mungkin panas dibandingkan hujan. Jika hari Senin hujan, berapa
peluang bahwa hari Selasa akan hujan? Berapa peluang bahwa hari Kamis
akan hujan?
3.2 Definisi
∑
∞
Pij ≥ 0, i, j ≥ 0; Pij = 1, i = 0, 1, . . .
j=0
P00 P01 P02 · · ·
P10 P11 P12 · · ·
.. .. ..
P= . . .
Pi0 Pi0 Pi0 · · ·
.. .. ..
. . .
Perhatikan (*):
( )
P Xn+1 = j|Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0
( )
= P Xn+1 = j|Xn = i
= Pij ,
yang disebut sebagai peluang transisi 1-langkah atau one-step transition prob-
ability.
Peluang bersama
( )
P Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0
Latihan:
1. Jika, pada waktu t, Rez mengajukan klaim asuransi, maka Rez akan
mengajukan klaim pada waktu t + 1 dengan peluang α; jika Rez tidak
mengajukan klaim asuransi saat ini maka di masa depan Rez akan men-
gajukan klaim asuransi dengan peluang β. Matriks peluang transisinya
dengan keadaan-keadaan:
’0’ tidak mengajukan klaim
’1’ mengajukan klaim
2. Suatu rantai Markov dengan keadaan-keadaan “0, 1, 2” memiliki matriks
peluang transisi:
0.1 0.2 0.7
P = 0.9 0.1 0
0.1 0.8 0.1
P (X0 = 0, X1 = 1, X2 = 2)
3. Keadaan hujan pada suatu hari bergantung pada keadaan hujan dalam
dua hari terakhir. Jika dalam dua hari terakhir hujan maka besok akan
hujan dengan peluang 0.7; Jika hari ini hujan dan kemarin tidak hujan
maka besok akan hujan dengan peluang 0.5; jika hari ini tidak hujan dan
kemarin hujan maka besok akan hujan dengan peluang 0.4; jika dalam
dua hari terakhir tidak hujan maka besok hujan dengan peluang 0.2.
Matriks peluang transisinya adalah...
4. Tiga item produk A dan tiga item produk B didistribusikan dalam dua
buah paket/kotak sedemikian hinga setiap paket terdiri atas tiga item
produk. Dikatakan bahwa sistem berada dalam keadaan i, i = 0, 1, 2, 3
jika dalam paket pertama terdapat i produk A. Setiap saat (langkah),
kita pindahkan satu item produk dari setiap paket dan meletakkan item
produk tersebut dari paket 1 ke paket 2 dan sebaliknya. Misalkan Xn
menggambarkan keadaan dari sistem setelah langkah ke-n. Matriks pelu-
ang transisinya adalah...
5. Menurut Kemeny, Snell dan Thompson, Tanah Australia diberkahi den-
gan banyak hal kecuali cuaca yang baik. Mereka tidak pernah memiliki
dua hari bercuaca baik secara berturut-turut. Jika mereka mendapatkan
hari bercuaca baik maka esok hari akan bersalju atau hujan dengan pelu-
ang sama. Jika hari ini mereka mengalami salju atau hujan maka be-
sok akan bercuaca sama dengan peluang separuhnya. Jika terdapat pe-
rubahan cuaca dari salju atau hujan, hanya separuh dari waktu besok
Hitung
P (X2 = 1, X3 = 1 | X1 = 0)
dan
P (X1 = 1, X2 = 1 | X0 = 0)
Persamaan Chapman-Kolmogorov
Misalkan Pijn menyatakan peluang transisi n-langkah suatu proses di keadaan
i akan berada di keadaan j,
0 0.2 0 0.8
Jika hari Senin dan Selasa hujan, berapa peluang bahwa hari Kamis akan
hujan?
αi = P (X0 = i), i ≥ 0,
∑∞
dimana i=0 αi = 1. Peluang tak bersyarat dapat dihitung dengan men-
syaratkan pada keadaan awal,
∑
∞ ∑
∞
P (Xn = j) = P (Xn = j|X0 = i) P (X0 = i) = Pijn αi
i=0 i=0
Latihan:
1. Pandang soal yang lalu dengan matriks peluang transisi:
( )
0.7 0.3
P=
0.4 0.6
Keadaan:
‘1’ jumlah uang sebanyak 1 yang H punya di akhir bulan
‘2’ jumlah uang sebanyak 2 yang H punya di akhir bulan
‘3’ jumlah uang sebanyak 3 yang H punya di akhir bulan
Peluang uangnya akan 1 atau kurang setiap saat selama 4 bulan berikut
4
adalah P31 = 201/256.
Keadaan j dikatakan dapat diakses (accessible) dari keadaan i jika Pijn > 0
untuk suatu n ≥ 0. Akibatnya, keadaan j dapat diakses dari keadaan i jika
dan hanya jika dimulai dari keadaan i proses akan masuk ke keadaan j. Jika
keadaan j tidak dapat diakses dari keadaan i maka peluang masuk ke keadaan
j dari keadaan i adalah nol.
Catatan:
Dua keadaan i dan j yang saling akses satu sama lain dikatakan berkomunikasi
(communicate). Notasi: i ↔ j.
Dua keadaan yang berkomunikasi dikatakan berada dalam kelas (class) yang
sama. Setiap dua kelas dari keadaan-keadaan dapat ‘identik’ (identical) atau
‘saling asing’ (disjoint). Rantai Markov dikatakan tidak dapat direduksi (irre-
ducible) jika hanya terdapat sebuah kelas dan semua keadaan berkomunikasi
satu sama lain.
Latihan:
1. Tentukan kelas keadaan dari rantai Markov dengan peluang transisi
berikut:
(i)
0.7 0 0.3 0
0.5 0 0.5 0
P=
0 0.4 0 0.6
0 0.2 0 0.8
(ii)
0 1 0 0
1/9 4/9 4/9 0
P=
0 4/9 4/9 1/9
0 0 1 0
(iii)
1 0 0
P = 1/2 1/4 1/4
1/4 1/4 1/2
3. Apakah yang dapat anda katakan tentang rantai Markov dengan matriks
peluang transisi berikut:
0.5 0.5 0 0
0.5 0.5 0 0
P=
0.25 0.25 0.25 0.25
0 0 0 1
“Keadaan i recurrent jika dan hanya jika, dimulai dari keadaan i, maka banyak
periode/kali yang diharapkan (expected number of time periods) bahwa proses
akan berada di keadaan i adalah tak hingga”
Proposisi
Keadaan i adalah
∑
∞ ∑
∞
recurrent jika Piin = ∞; transient jika Piin < ∞
n=0 n=0
Catatan:
• Pada rantai Markov dengan keadaan hingga, tidak semua keadaan bersi-
fat transient (Mengapa?)
• Semua keadaan pada rantai Markov (hingga) yang tidak dapat direduksi
adalah recurrent (PENTING!)
Latihan:
1. Misalkan rantai Markov dengan keadaan 0,1,2,3 memiliki matriks pelu-
ang transisi:
0 0 0.5 0.5
1 0 0 0
P=
0
1 0 0
0 1 0 0
Misalkan matriks peluang transisi pada rantai Markov dengan dua keadaan
adalah
( )
0.5 0.5
P= ,
0.7 0.3
dan matriks peluang transisi 4 dan 8 langkahnya:
Teorema
Untuk rantai Markov yang ergodik dan tidak dapat direduksi,
lim Pijn
n→∞
πj = lim Pijn , j ≥ 0,
n→∞
∑
∞
πj = πi Pijn , j ≥ 0,
i=0
∑∞
dengan j=0 πj = 1.
• Perhatikan bahwa
∑
∞ ∑
∞
P (Xn+1 = j) = P (Xn+1 = j|Xn = i) P (Xn = i) = Pij P (Xn = i)
i=0 i=0
• Jika rantai Markov tidak dapat direduksi, maka terdapat solusi untuk
∑
πj = πi Pij , j ≥ 0,
i
∑
dengan j πj = 1, JIKA dan HANYA JIKA rantai Markov bersifat
positive recurrent. Jika solusinya ada maka solusi tersebut tunggal dan
πj adalah proporsi jangka panjang bahwa rantai Markov berada dalam
keadaan j. Jika rantai Markov aperiodik maka πj adalah limit peluang
bahwa rantai akan berada di keadaan j.
Latihan:
1. Jika hari ini hujan maka besok akan hujan dengan peluang α; jika hari
ini tidak hujan maka besok akan hujan dengan peluang β. Jika ′ 0′ adalah
keadaan hujan dan ′ 1′ adalah keadaan tidak hujan maka peluang hujan
dan tidak hujan untuk jangka adalah...
π 0 = α π0 + β π 1
π1 = (1 − α) π0 + (1 − β) π1
π0 + π 1 = 1
Kita peroleh peluang hujan dan tidak hujan pada jangka panjang:
β
π0 =
1+β−α
Catatan: