Catatan Kuliah

MA4181 PENGANTAR PROSES STOKASTIK

\Smart and Stochastic"

disusun oleh
Khreshna I.A. Syuhada, MSc. PhD.

Kelompok Keilmuan STATISTIKA - FMIPA

Institut Teknologi Bandung
2014
Tentang MA4181 (Pengantar) Proses Stokastik
A. Jadwal kuliah:

• Selasa; 11-; R.9138

• Kamis; 9-; R.9224

B. Silabus:

• Peubah acak dan distribusi

• Peluang bersyarat dan ekspektasi bersyarat

• Rantai Markov

• Distribusi eksponensial dan proses Poisson

• Topik khusus: Model AR, ARCH, dan INAR

C. Buku teks:

• Sheldon Ross, 2010, Introduction to Probability Models, 10th ed.

• Karlin dan Taylor, 1998, An Introduction to Stochastic Modelling, 3rd ed.

D. Penilaian:

• Ujian 1,2,3:
30 September 2014 (30%)
28 Oktober 2014 (30%)
2 Desember 2014 (30%)

• Kuis (10%)

MA4181 Pros.Stok. i K. Syuhada, PhD.

Daftar Isi

1 Peluang dan Peubah Acak 1

1.1 Pendahuluan . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Ruang Sampel dan Peluang . . . . . . . . . . . . . . . . . 3
1.3 Peubah Acak dan Fungsi Distribusi . . . . . . . . . . . . 5
1.4 Distribusi Diskrit . . . . . . . . . . . . . . . . . . . . . . . . 7
1.5 Distribusi Kontinu . . . . . . . . . . . . . . . . . . . . . . . 10

2 Peluang dan Ekspektasi Bersyarat 1

2.1 Fungsi Peluang Bersama . . . . . . . . . . . . . . . . . . . 1
2.2 Ekspektasi . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.3 Ekspektasi Bersyarat . . . . . . . . . . . . . . . . . . . . . . 7

3 Rantai Markov 1
3.1 Ilustrasi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
3.2 De nisi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
3.3 Peluang n-langkah . . . . . . . . . . . . . . . . . . . . . . . 5
3.4 Jenis Keadaan . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3.5 Limit Peluang Transisi . . . . . . . . . . . . . . . . . . . . 11

ii
BAB 1
Peluang dan Peubah Acak

Silabus: Konsep peubah acak, fungsi peluang (probability density function),

fungsi distribusi (cumulative ddistribution function), distribusi diskrit (bino-mial,
Poisson, geometrik), distribusi kontinu (normal, seragam/uniform, ek-sponensial).

Tujuan:

1. Memahami de nisi dan menentukan peubah acak (p.a)

2. Menghitung fungsi peluang (f.p) dan fungsi distribusi (f.d); f.p ke f.d; f.d ke
f.p

3. Menghitung peluang suatu p.a dari distribusi diskrit atau kontinu

1.1 Pendahuluan

• Apa Proses Stokastik? Proses? Stokastik?

• Proses = runtunan perubahan (peristiwa) dl perkembangan sesuatu,

rangkaian tindakan, pembuatan, atau pengolahan yg menghasilkan pro-duk
(KBBI, 2008)

• Stokastik = mempunyai unsur peluang atau kebolehjadian (KBBI, 2008)

• De nisi: Proses stokastik {Yt} adalah koleksi peubah acak dengan t

menyatakan indeks waktu

1
(Contoh 1) Di perusahaan asuransi digunakan sistem Bonus Malus untuk
menentukan besar premi. Setiap pemegang polis berada dalam suatu keadaan
(state) dan premi tahunan merupakan fungsi dari keadaan ini. Keadaan pe-megang
polis berubah dari tahun ke tahun dengan memperhatikan banyak klaim yang telah
dilakukan. Pemegang polis biasanya akan menurunkan sta-tus keadaan jika dia
tidak memiliki klaim pada tahun sebelumnya dan akan menaikkan status keadaan
jika memiliki setidaknya satu klaim. Untuk sistem Bonus Malus, misalkan si(k)
menyatakan keadaan pemegang polis berikut dari sebelumnya berada di keadaan i
dan telah mengajukan k klaim. Jika banyak klaim yang dibuat adalah peubah acak
berdistribusi Poisson dengan parame-ter , maka keadaan pemegang polis akan
membentuk Rantai Markov dengan peluang transisi Pij . Berikut adalah contoh
Sistem Bonus Malus dengan 4 keadaan:

Keadaan apabila...
Keadaan 0 klaim 1 klaim 2 klaim 3 klaim
1 1 2 3 4
2 1 3 4 4
3 2 4 4 4
4 3 4 4 4

(Contoh 2) Dua orang pasien, A dan B, membutuhkan ginjal. Jika dia tidak
mendapatkan ginjal baru, maka A akan meninggal setelah suatu waktu yang
berdistribusi exponensial dengan parameter A. Begitu juga dengan B, akan
meninggal setelah suatu waktu yang berdistribusi eksponensial dengan parameter
B. Ginjal akan tersedia menurut proses Poisson dengan parameter . Telah
ditentukan bahwa ginjal pertama yang datang diberikan ke pasien A (atau ke
pasien B jika B masih hidup dan A meninggal saat itu) lalu ke pasien B (jika
masih hidup). Berapa peluang B mendapat ginjal baru?

(Contoh 3a) Model Autoregressive atau AR orde satu:

Yt = Yt−1 + "t

dimana "t diasumsikan saling bebas dan berdistribusi identik. Model AR(1) dapat
digunakan untuk memodelkan jumlah produksi, harga aset dsb. Per-hatikan bahwa
memprediksi Yn+1 merupakan salah satu bagian penting dari pemodelan
stokastik/deret waktu. Prediksi terbaik untuk Yn+1 adalah

E(Yn+1|Yn; b)

MA4181 Pros.Stok. 2 K. Syuhada, PhD.

(Contoh 3b) Model Autoregressive Conditional Heteroscedastic atau ARCH dan
Model Stochacti Volatility atau SV:

Y t = t + "t

dimana
2
t = 0 + 1 Yt −1;

atau

ln t = + ln t−1 + t;

Model ARCH dan/atau SV sangat tepat untuk memodelkan imbal hasil (re-turn)
saham.

(Contoh 4) Model Integer-Valued Autoregressive atau INAR orde satu:

Yt = ◦ Yt−1 + "t;

dimana

◦ Yt−1 = W1 + · · · + WYt 1 ;

dengan Wi ∼ Bin(1; ), dan "t ∼ P OI( ). Model INAR(1) menggambarkan bahwa

\banyaknya pasien yang berada di IGD pada waktu t merupakan jum-lah dari
banyaknya pasien yang bertahan hidup dengan peluang ditambah banyaknya
pasien yang datang pada waktu (t − 1; t]"

1.2 Ruang Sampel dan Peluang

Ilustrasi

1. Seorang agen asuransi menawarkan asuransi kesehatan kepada calon

nasabah. Nasabah dapat memilih tepat 2 jenis asuransi dari pilihan A, B, C
atau tidak memilih sama sekali. Proporsi nasabah memilih jenis asuransi A,
B dan C, berturut-turut, adalah 1/4, 1/3 dan 5/12. Hitung peluang seorang
nasabah memilih untuk tidak memilih jenis asuransi.

2. Catatan dalam perusahaan asuransi otomotif memberikan informasi bahwa

(i) setiap pelanggan mengasuransikan setidaknya satu mobil (ii) 70%
pelanggan mengasuransikan lebih dari satu mobil, dan (iii) 20% menga-
suransikan jenis sports car. Dari pelanggan yang mengasuransikan lebih
dari satu mobil, 15% mengasuransikan sports car. Hitung peluang bahwa

MA4181 Pros.Stok. 3 K. Syuhada, PhD.

 seorang pelanggan yang terpilih secara acak mengasuransikan tepat satu
mobil dan ini bukan sports car.

Ruang sampel dan Kejadian

• Percobaan adalah kegiatan yang menghasilkan keluaran/hasil yang mungkin

secara acak.

• Ruang sampel S adalah himpunan dari semua hasil yang mungkin dari suatu
percobaan. Anggota dari S disebut kejadian elementer.

• Kejadian adalah himpunan bagian dari ruang sampel atau koleksi dari
kejadian-kejadian elementer.

Peluang

• Peluang kejadian A adalah

n(A)
P (A) = lim
n→∞ n

• Misalkan S adalah ruang sampel, A adalah kejadian. Peluang kejadian A

adalah
n(A)
P (A) =

• Peluang atau ukuran peluang P pada lap- A adalah suatu pemetaan dari A
terhadap selang [0; 1] yang memenuhi tiga aksioma berikut:
1. 0 ≤ P (A) ≤ 1, untuk setiap A ∈ A
2. P (S) = 1
3. Untuk himpunan terhitung kejadian-kejadian saling asing A1; A2; : : :,
∞
( ∪ ) ∑∞
P Ai =P (Ai)
i=1 i=1

Teorema

1. P (Ac) = 1 − P (A)

2. Jika A ⊂ B maka P (A) ≤ P (B)

3. P (A ∪ B) = P (A) + P (B) − P (A ∩ B)

MA4181 Pros.Stok. 4 K. Syuhada, PhD.

1.3 Peubah Acak dan Fungsi Distribusi

Ilustrasi

1. Maskapai penerbangan \Serigala Air" mengetahui bahwa lima persen

pemesan tiket tidak akan datang untuk membeli tiketnya. Dengan alasan ini,
maskapai tidak ragu untuk menjual 52 tiket penerbangan pada pe-sawat
dengan kapasitas duduk 50 orang. Berapa peluang akan ada kursi yang
tersedia untuk setiap pemesan tiket yang datang?

2. Misalkan X peubah acak berdistribusi Poisson dengan mean . Param-eter

berdistribusi eksponensial dengan mean 1. Tunjukkan bahwa

P (X = n) = (1=2)n+1

Peubah Acak

• Peubah acak tidaklah \acak" dan bukanlah \peubah"

• Peubah acak adalah \fungsi" yang memetakan anggota S ke bilangan real R

Peubah Acak Diskrit

Peubah acak X dikatakan diskrit jika terdapat barisan terhitung dari bilangan {ai; i
= 1; 2; : : : } sedemikian hingga
(∪ ) ∑
P {X = ai} = P (X = ai) = 1
i i

Catatan:
Sebuah peubah acak diskrit tidak selalu berasal ruang sampel diskrit.

FX disebut fungsi distribusi (diskrit) dari X jika terdapat barisan terhitung {ai; i =
1; 2; : : : } dari bilangan real dan barisan {pi; i = 1; 2; : : : } dari bilangan positif
yang bersesuaian sedemikian hingga
∑
pi = 1
i

dan
∑
FX (x) = pi
ai≤x

MA4181 Pros.Stok. 5 K. Syuhada, PhD.

Jika diberikan himpunan terhitung {a ; i = 1; 2; : : : } dan bilangan positif
∑ i

{pi; i = 1; 2; : : : } sdh i pi = 1, fungsi peluang pX (x) adalah pX

(x) = pi = P (X = ai);

dengan x = ai

Fungsi distribusi (kumulatif):

F (x) = P (X ≤ x)

Sifat-sifat:

(a) F fungsi tidak turun

(b) limx→∞ F (x) = 1
(c) limx→−∞ F (x) = 0
(d) F fungsi kontinu kanan Catatan:

• P (a < X ≤ b) = F (b) − F (a)

• P (X ≤ b) ≠ P (X < b)

•
1
P (X < b) = P nlim X b− n

( →∞ { ≤ 1 })
= lim P X b
)
n→∞ ( ≤1 − n
= lim F b

)
n→∞ ( −n
Peubah Acak Kontinu
Misalkan X peubah acak dan fungsi distribusinya FX dapat diturunkan. Fungsi
peluang fX adalah turunan dari fungsi distribusi,
d
f (x) = F (x)
X dx X

atau dengan kata lain

∫ x
FX (x) = fX (t) dt
−∞

Definisi: Jika X adalah peubah acak sedemikian hingga fungsi peluangnya ada
(turunan dari fungsi distribusi) maka X dikatakan sebagai peubah acak

MA4181 Pros.Stok. 6 K. Syuhada, PhD.

kontinu. Catatan:
∫
∞
1 = FX (∞) = fX (t) dt
−∞
∫ b
P (a ≤ X ≤ b) = FX (b) − FX (a) = a fX (t) dt

∫
P (X = a) = aa fX (t) dt = 0
Latihan:
1. Tentukan fungsi peluang dari fungsi distribusi berikut:
2.
0; x < −3:1
≤
F (x) = 3=5; −3:1 ≤ x < 0
7=10; 0 x<1

2.
1;
Tentukan fungsi peluang dari fungsi distribusi berikut:
1≤x
3.
3 ≤

0; 5
x<0
1
+
x
; 0
≤ x<1
9
3 5
F (x) = ; 1 x<2 ≥

1;
10 ; 2
x
≤ x<3
3

3. Diketahui fungsi peluang sebagai berikut:

4.

p; x = −1:9
0:1; x = −0:1
0:3; x = 20p
f(x) =
p; x=3
4p; x=4
0; yang lain
Hitung P
(
1: 9 X 3) ;F (2)
;FF (
(3 : 1))

− ≤| |≤
1.4 Distribusi Diskrit

(Ilustrasi B-1) Pasien di IGD adalah orang-orang yang dianggap dekat den-gan
kematian. Kesembuhan dari penyakit yang dideritanya bagi mereka adalah seperti
mimpi. Untuk bisa bertahan hidup dari hari ke hari sudahlah meru-pakan
mukjizat. Asumsikan bahwa setiap orang memiliki peluang untuk dapat
MA4181 Pros.Stok. 7 K. Syuhada, PhD.
bertahan hidup sampai hari esok sebesar i, dengan i menyatakan orang ke-i; i = 1;
2; : : :. Jika jumlah pasien IGD pada suatu hari adalah 5 orang, berapa peluang
besok hanya akan ada 2 orang saja yang masih hidup?

(Ilustrasi B-2) Misalkan sebuah mesin dari pesawat akan rusak (saat ter-bang)
dengan peluang 1-p, saling bebas antara mesin satu dan yang lain. Mis-alkan
sebuah pesawat akan melakukan penerbangang sukses jika setidaknya 50% mesin
bekerja dengan baik (tidak rusak). Untuk p berapa, sebuah pe-sawat dengan 4
mesin akan lebih disukai (terbang lebih baik) dibandingkan dengan pesawat
dengan 2 mesin?

Misalkan X menyatakan banyak mesin baik (tidak rusak). Untuk pesawat

bermesin 4:

P (X ≥ 2) = P (X = 2) + P (X = 3) + P (X = 4)

= 6p2(1 − p)2 + 4p3(1 − p) + p4 · · · ∗

sedangkan untuk pesawat bermesin 2:

P (X ≥ 1) = 1 − P (X = 0) = 1 − (1 − p)2 · · · ∗ ∗
Syarat: * lebih besar dari **. Diperoleh p > 2=3.

Distribusi Binomial
Misalkan S = {sukses; gagal} adalah ruang sampel yang menotasikan 'sukses' atau
'gagal' dari suatu percobaan.
De nisikan X(sukses) = 1 dan X(gagal) = 0 dan

pX (1) = P (X = 1) = p

pX (0) = P (X = 0) = 1 − p
dimana 0 ≤ p ≤ 1 adalah peluang diperoleh sukses. X dikatakan peubah acak
Bernoulli dengan parameter p. Jika dilakukan n percobaan independen dan jika X
menyatakan banyaknya sukses yang diperoleh maka X dikatakan sebagai peubah
acak Binomial dengan parameter (n; p), dimana

pX (k) = B(k; n; p) = Ckn pk (1 − p)n−k

(Ilustrasi P-1) Banyaknya kecelakaan yang terjadi di tol setiap hari berdis-tribusi
Poisson dengan parameter = 3. Berapa peluang tidak ada kecelakaan pada hari ini?
Misalkan X menyatakan banyak kecelakaan.

P (X = 0) = exp(−3)

MA4181 Pros.Stok. 8 K. Syuhada, PhD.

 (Ilustrasi P-2) Misalkan X peubah acak Poisson dengan parameter . Tun-jukkan
bahwa P (X = i) naik secara monoton sebelum kemudian turun secara monoton
untuk i semakin besar.

Distribusi Poisson
Misalkan X peubah acak dengan fungsi peluang
i
pX (i) = e−
i!
untuk i = 0; 1; 2; : : : dan > 0. X disebut peubah acak Poisson dengan parameter .

(Ilustrasi G-1) Ini kisah masa lalu Nurul yang sempat diceritakan sesaat se-belum
Nurul menikah. Katanya \Ayahku meninggal waktu usiaku tiga tahun. Lalu Ibu
kawin lagi. Dengan ayah tiriku, Ibu mendapat dua orang anak tiri dan melahirkan
tiga orang anak. Ketika usiaku lima belas tahun, Ibu pun meninggal. Ayah tiriku
kawin lagi dengan seorang janda yang sudah beranak dua. Ia melahirkan dua
orang anak pula dengan ayah tiriku". Pertanyaan yang mungkin adalah...

• Berapa peluang bahwa orang yang dinikahi Nurul tidak memiliki hubun-gan
darah?

• Jika Nurul tidak ingin menikah dengan saudara sedarah, berapa peluang
bahwa Nurul akhirnya menikahi orang yang bukan saudara sedarah?

(Ilustrasi G-2) Tiga remaja makan disuatu restoran. Untuk menentukan siapa yang
akan membayar, mereka sepakat untuk mengundi dengan melan-tunkan koin.
Seseorang dengan hasil lantunan yang berbeda dengan yang lain wajib membayar
makanan yang telah dipesan. Jika X menyatakan banyaknya lantunan koin yang
harus dilakukan, tentukan (i) P (X = 3) (ii) P (X > 4)
Peluang 'sukses' (ada yang lantunannya berbeda alias ada yang bayar) adalah 3/4.
Dengan demikian X ∼ Geo(3=4).
P (X = 3) = (1=4)2(3=4) = 3=64

P (X > 4) = 1 − P (X ≤ 4) = 1=256

Distribusi Geometrik
Misalkan percobaan-percobaan dilakukan hingga diperoleh sukses yang per-tama.
Percobaan-percobaan tersebut saling bebas dan memiliki peluang suk-ses p.
Misalkan X menyatakan banyaknya percobaan yang dilakukan untuk

MA4181 Pros.Stok. 9 K. Syuhada, PhD.

mendapatkan sukses pertama tersebut, maka X dikatakan peubah acak Ge-ometrik
dengan parameter p. Fungsi peluangnya adalah

p(n) = P (X = n) = (1 − p)n−1 p;
untuk n = 1; 2; : : : dan p > 0.

1.5 Distribusi Kontinu

(silakan belajar sendiri)

MA4181 Pros.Stok. 10 K. Syuhada, PhD.

BAB 2

Peluang dan Ekspektasi

Bersyarat

Silabus: Fungsi peluang bersama, fungsi peluang marginal, peluang bersyarat,

ekspektasi, ekspektasi bersyarat, kovariansi, korelasi.

Tujuan:
1. Menentukan fungsi peluang bersama dan fungsi peluang marginal
2. Menghitung peluang bersyarat dan menghitung ekspektasi bersyarat
3. Memahami dan menghitung ekspektasi melalui ekspektasi bersyarat
4. Memahami konsep kovariansi dan korelasi

2.1 Fungsi Peluang Bersama

Ilustrasi. Sebuah perusahaan asuransi menduga bahwa setiap orang akan

mengalami dan memiliki parameter kecelakaan. Banyaknya kecelakaan pada
seseorang setiap tahun berdistribusi Poisson dengan parameter . Perusahaan juga
menduga bahwa pemegang polis baru akan memiliki parameter kecelakaan yang
nilainya adalah peubah acak gamma dengan parameter s dan . Jika se-orang
pemegang polis baru mengalami n kecelakan di tahun pertama, kita dapat
menentukan peluang bersyarat (yang artinya juga menentukan peluang bersama)
dari parameter kecelakaannya. Selain itu, kita juga dapat menen-tukan banyak
kecelakaan (yang diharapkan) pada tahun berikutnya.

Misalkan X dan Y ada peubah acak-peubah acak diskrit yang terde nisi di ruang
sampel yang sama. Fungsi peluang bersama dari X dan Y adalah

pX;Y (x; y) = P (X = x; Y = y)

1
Catatan:
1. Kondisi bahwa X dan Y terde nisi pada ruang sampel yang sama berarti dua
peubah acak tsb memberikan informasi secara bersamaan terhadap kelu-aran
(outcome) dari percobaan yang sama
2. {X = x; Y = y} adalah irisan kejadian {X = x} dan {Y = y}; kejadian dimana X
bernilai x dan Y bernilai y

Fungsi peluang bersama pX;Y memenuhi sifat-sifat berikut:

1. pX;Y (x; y) ≥ 0; ∀ (x; y)

2. (x; y) ∈ R2 : pX;Y (x; y) ≠ 0 terhitung

∑ ∑
3. p (x; y) = 1
x;y X;Y

Misalkan X dan Y peubah acak-peubah acak diskrit yang dide nisikan pada ruang
sampel yang sama. Maka,
∑ ∑
pX (x) = pX;Y (x; y); x ∈ R dan pY (y) = pX;Y (x; y); y ∈ R
y x

adalah fungsi peluang marginal dari X dan fungsi peluang marginal dari Y .

Latihan:

1. Diberikan data ttg jumlah kamar tidur dan kamar mandi dari 50 rumah yang
akan dijual sbb (X kamar tidur, Y kamar mandi):

X\Y 2 3 4 5 Total
2 3 0 0 0
3 14 12 2 0 28
4 2 11 5 1
Total 23 50

a. Hitung pX;Y (3; 2)

b. Tentukan fungsi peluang bersama dari X dan Y

2. Misalkan kita punyai 2 komponen elektronik yang identik. Misalkan juga X

dan Y adalah waktu hidup (jam, diskrit). Asumsikan fungsi peluang bersama
dari X dan Y adalah

pX;Y (x; y) = p2 (1 − p)x+y−2; x; y ∈ N

dimana 0 < p < 1. Tentukan dan identi kasikan fungsi peluang marginal dari
X dan Y .

MA4181 Pros.Stok. 2 K. Syuhada, PhD.

 3. Pandang keadaan pada soal 2. Tentukan peluang bahwa (a) kedua kom-
ponen elektronik tsb bertahan lebih dari 4 jam? (b) salah satu komponen
bertahan setidaknya 2 kali dari komponen yang lain?

Misalkan X dan Y adalah peubah acak-peubah acak yang terde nisi di ruang
sampel yang sama. Fungsi distribusi bersama dari X dan Y , FX;Y adalah

FX;Y (x; y) = P (X ≤ x; Y ≤ y); x; y ∈ R

Misalkan X dan Y peubah acak-peubah acak terde nisi di ruang sampel yang sama.
Untuk semua bilangan riil a; b; c; d dimana a < b dan c < d,

P (a < X ≤ b; c < Y ≤ d) = FX;Y (b; d) −FX;Y (b; c) −FX;Y (a; d) + FX;Y (a; c)

atau

∫b ∫d
P (a ≤ X ≤ b; c ≤ Y ≤ d) = a c fX;Y (x; y) dxdy
dengan

@2 @2
fX;Y (x; y) = @x @y FX;Y (x; y) = @y @x FX;Y (x; y):

Suatu fungsi peluang bersama fX;Y (x; y) dari peubah acak X dan Y memenuhi 2
sifat berikut
1. f (x; y) ≥ 0 untuk semua (x; y) ∈ R
2
X;Y
∫ ∞∫∞
2. f (x; y) dxdy = 1
−∞ −∞ X;Y
Latihan:

1. Misalkan X dan Y memiliki fungsi peluang bersama

f(x; y) = c (y2 − x2) e−y; −y ≤ x ≤ y; 0 < y < ∞

a. Tentukan c
b. Tentukan fungsi peluang marginal X dan Y
c. Hitung P (Y > 2X)
d. Apakah X dan Y saling bebas?

2. Pandang 2 komponen elektronik A dan B dengan masa hidup X dan Y .

Fungsi peluang bersama dari X dan Y adalah

fX;Y (x; y) = exp(− x + y); x; y > 0

MA4181 Pros.Stok. 3 K. Syuhada, PhD.

 dimana > 0; > 0
a. Tentukan peluang bahwa kedua komponen berfungsi pada saat t
b. Tentukan peluang bahwa komponen A adalah komponen yang per-tama
kali rusak
c. Tentukan peluang bahwa komponen B adalah komponen yang per-tama
kali rusak

3. Ketika kebakaran terjadi dan dilaporkan ke perusahaan asuransi, perusa-

haan asuransi tersebut segera membuat perkiraan awal X yaitu besar nilai
klaim yang akan diberikan. Setelah klaim dihitung secara lengkap,
perusahaan harus melunasi pembayaran klaim sebesar Y . Perusahaan
menentukan bahwa X dan Y memiliki fungsi peluang bersama

2
fX;Y (x; y) = x2(x − 1) y−(2x−1)=(x−1); x > 1; y > 1
a. Tentukan fX (x)
b. Jika besar klaim awal yang diberikan adalah 2, tentukan peluang bahwa
klaim yang diterima berikutnya adalah antara 1 dan 3.

Fungsi Peluang Bersyarat

Misalkan X dan Y adalah peubah acak-peubah acak diskrit. Jika pX (x) > 0 maka
fungsi peluang bersyarat dari Y diberikan X = x (notasi: pY |X (y|x)), adalah
pX;Y (x; y)
pY |X (y|x) = ; ∀y ∈ R

Jika pX (x) = 0, kita de niskan pY |X (y|x) = 0 namun tidak dikatakan sebagai fungsi
peluang bersyarat.
Catatan: Fungsi peluang bersyarat adalah fungsi peluang!

Misalkan X dan Y adalah peubah acak-peubah acak diskrit. Kedua peubah acak ini
dikatakan saling bebas (independen) jika dan hanya jika

pX;Y (x; y) = pX (x) pY (y) ∀x; y ∈ R

Latihan:

1. Sebuah perusahaan asuransi menduga bahwa setiap orang akan men-galami

dan memiliki parameter kecelakaan. Banyaknya kecelakaan pada seseorang
setiap tahun berdistribusi Poisson dengan parameter . Pe-rusahaan juga
menduga bahwa pemegang polis baru akan memiliki pa-rameter kecelakaan
yang nilainya adalah peubah acak gamma dengan

MA4181 Pros.Stok. 4 K. Syuhada, PhD.

 parameter s dan . Jika seorang pemegang polis baru mengalami n kecelakan
di tahun pertama, tentukan peluang bersyarat dari parame-ter
kecelakaannya. Tentukan banyak kecelakaan (yang diharapkan) pada tahun
berikutnya.

2. Banyaknya orang Z yang datang ke ruang UGD selama sejam memi-liki

distribusi Poisson dengan parameter . Peluang orang yang datang adalah
laki-laki adalah p dan peluang perempuan datang adalah q. Mis-alkan X dan
Y berturut-turut adalah banyaknya laki-laki dan perem-puan yang datang ke
UGD selama sejam.
a. Tunjukan bahwa X ∼ P OI(p ) dan Y ∼ P OI(q )
b. Apakah X dan Y saling bebas?

2.2 Ekspektasi

Nilai harapan/ekspektasi (expected value/expectation) atau ekspektasi dari peubah

acak diskrit/kontinu X adalah
∑
E(X) = x pX (x)
x

dan
∫
∞
E(X) = x fX (x) dx
−∞

dimana pX dan fX adalah fungsi peluang dari X.

Catatan:
1. Ekspektasi adalah rata-rata tertimbang (weighted average) dari nilai yang
mungkin dari X
2. Ekspektasi = mean = momen pertama
3. Ekspektasi suatu peubah acak adalah nilai rata-rata (long-run average value)
dari percobaan bebas yang berulang
3. Apakah ekspektasi harus berhingga? (Diskusi!)

Sifat-sifat ekspektasi:
∫
1. E(g(X)) = −∞∞ g(x) fX (x) dx
2. E(a X + b Y ) = a E(X) + b E(Y )
3. E(XY ) = E(X) E(Y ), jika X dan Y saling bebas.
∫
4. E(X) = 0∞ P (X > x) dx, untuk X > 0 (*)

MA4181 Pros.Stok. 5 K. Syuhada, PhD.

 ∫
5. E(Xr) = −∞∞ xr fX (x) dx (momen ke-r)

∫
6. E((X − X )r) = −∞∞ (x − X )r fX (x) dx (momen pusat ke-r)
7. E((X − X )2) = V ar(X) = E(X2) − (E(X))2
Deviasi standar dari X adalah akar kuadrat Variansi dari X.
∫
8. E(etX ) = −∞∞ etx fX (x) dx = MX (t) (fungsi pembangkit momen)

9. MX′(0) = E(X); MX′′(0) = E(X2)

Latihan:

1.Misalkan Y menunjukkan banyaknya gol yang diciptakan oleh seorang

pemain sepak bola di suatu pertandingan yang terpilih acak:

y 0 1 2 3 4 5 6
p(y) 0.1 0.2 0.3 0.2 0.1 0.05 0.05

Misalkan W adalah banyaknya pertandingan dimana seorang pemain

sepak bola menciptakan 3 atau lebih gol dalam 4 pertandingan terpilih
acak. Berapa nilai harapan banyak pertandingan dimana pemain men-
ciptakan 3 atau lebih gol?

2.Misalkan X peubah acak dengan MX (t) sebagai fungsi pembangkit mo-

men. Dide nisikan f(t) = ln MX (t). Tunjukkan bahwa f′′(0) = V ar(X)
3.Diketahui:
1
f(x) = ( r) ( x)r−1 exp(− x)

Tentukan E(Xk); k = 2; 3
4. Misalkan X peubah acak berdistribusi Poisson dengan parameter . Tun-
jukkan bahwa:
( ) ( )
E Xn = E (X + 1)n−1

MA4181 Pros.Stok. 6 K. Syuhada, PhD.

 5. Misalkan X peubah acak dengan fungsi distribusi

0; x < −2
≤

0:2; −2 ≤ x < 0

≤ ≤
0:5; 0 x < 2:2
F (x) = 0:6; 2:2: x < 3
0:6 + q; 3 x<4
≥
0:6 + 2q; 4 ≤ x < 5:5

1; x 5:5
dan diketahui P (X > 3:3) = 0:25.
a. Tentukan fungsi pembangkit momen dari X atau MX (t)
b. Gunakan MX (t) untuk menentukan E(X).

2.3 Ekspektasi Bersyarat

Ilustrasi 1. Misalkan banyaknya kecelakaan kerja rata-rata per minggu di suatu

pabrik adalah empat. Misalkan banyaknya buruh yang terluka/cedera setiap
kecelakaan adalah peubah acak yang saling bebas dengan mean dua. Asumsikan
bahwa banyaknya buruh yang terluka di setiap kecelakaan saling bebas dengan
banyaknya kecelakaan yang terjadi. Berapa banyak orang ter-luka rata-rata per
minggu?

Ilustrasi 2. Seorang narapidana terjebak dalam suatu sel penjara yang memiliki
tiga pintu. Pintu pertama akan membawanya ke sebuah terowon-gan dan kembali
ke sel dalam waktu dua hari. Pintu kedua dan ketiga akan membawanya ke
terowongan yang kembali ke sel dalam tempo masing-masing empat dan satu hari.
Asumsikan bahwa sang napi selalu memilih pintu 1, 2, dan 3 dengan peluang 0.5,
0.3 dan 0.2, berapa lama waktu rata-rata (expected number of days) yang
dibutuhkan untuk dia agar selamat?

Misalkan X dan Y adalah peubah acak-peubah acak kontinu dengan fungsi peluang
bersama fX;Y (x; y). Jika fX (x) > 0 maka ekspektasi bersyarat dari Y diberikan X =
x adalah ekspektasi dari Y relatif terhadap distribusi bersyarat
Y diberikan X = x,

∞ fX;Y (x; y) ∞

∫ y ∫
E(Y |X = x) = −∞ fX (x) dy = −∞ y fY |X (y|x) dy

MA4181 Pros.Stok. 7 K. Syuhada, PhD.

Misalkan X dan Y adalah peubah acak-peubah acak kontinu dengan fungsi peluang
bersama fX;Y (x; y). Misalkan ekspektasi dari Y hingga. Maka
∫ ∞
E(Y ) = E(Y |X = x) fX (x) dx
−∞

atau

E(Y ) = E(E(Y |X = x))

Misalkan X dan Y adalah peubah acak-peubah acak kontinu dengan fungsi peluang
bersama fX;Y (x; y). Jika fX (x) > 0 maka variansi bersyarat dari Y diberikan X = x
adalah variansi dari Y relatif terhadap distribusi bersyarat Y diberikan X = x,

( ( ) X = x)
V ar(Y |X = x) = E Y − E(Y |X = x) 2

Misalkan X dan Y adalah peubah acak-peubah acak kontinu dengan fungsi peluang
bersama fX;Y (x; y). Misalkan variansi dari Y hingga. Maka

V ar(Y ) = E(V ar(Y |X = x)) + V ar(E(Y |X))

Latihan:

1. Misalkan X dan Y peubah acak kontinu dengan fungsi peluang bersama f(x;

y) = e−x(y+1); 0 ≤ x; 0 ≤ y ≤ e − 1

a. Tentukan fY (y)
b. Hitung P (X > 1|Y = 12 )
c. Hitung E(X|Y = 12 )
2. K meninggalkan kantor setiap hari kerja antara pukul 6-7 malam. Jika dia
pergi t menit setelah pukul 6 maka waktu untuk mencapai rumah adalah
peubah acak berdistribusi Seragam pada selang (20; 20 + (2t)=3). Misalkan
Y adalah banyak menit setelah pukul 6 dan X banya menit untuk mencapai
rumah, berapa lama waktu mencapai rumah?

3. Jika Xi ∼ Bin(ni; p), tentukan E(X1 + X2|X1)

4. Jika X dan Y peubah acak-peubah acak Poisson saling bebas dengan
parameter x dan y, tentukan E(X|X + Y = n). Bagaimana jika X dan Y
berdistribusi Geometrik identik dengan parameter p?

MA4181 Pros.Stok. 8 K. Syuhada, PhD.

Kita ketahui bahwa jika X dan Y saling bebas maka fX;Y
(x; y) = fX (x) gY (y);

Akibatnya,

E(XY ) = E(X) E(Y )

Konsekuensi ini juga berlaku untuk setiap fungsi g dan h,

( ) ( )( )
E g(X)h(Y ) = E g(X) E h(Y )

Kovariansi antara peubah acak X dan Y , dinotasikan Cov(X; Y ), adalah

( )
( )( )
Cov(X; Y ) = E X − E(X) Y − E(Y )

Catatan: Jika X dan Y saling bebas maka Cov(X; Y ) = 0 (implikasi).

Sifat-sifat kovariansi
• Cov(X; Y ) = Cov(Y; X)

• Cov(X; X) = V ar(X)

• Cov(a X; Y ) = a Cov(X; Y )
∑n ∑m ∑ n
∑ m

( X; )
• Cov i=1 i j=1 Yj = i=1 j=1 Cov(Xi; Yj )
Perhatikan bahwa:
∑i ∑ ∑
n n n

( ) ( X; X)
V ar =1 Xi = Cov i=1 i j=1 j
n n
∑∑
= Cov(Xi; Xj )
i=1
∑
j=1 ∑∑
n
= V ar(Xi) + Cov(Xi; Xj )
i=1
i̸=j

Korelasi antara peubah acak X dan Y , dinotasikan (X; Y ), dide nisikan se-bagai

Cov(X; Y

(X; Y ) = √ V ar(X) V ar(Y ) ;

MA4181 Pros.Stok. 9 K. Syuhada, PhD.
asalkan V ar(X) dan V ar(Y ) bernilai positif. Dapat ditunjukkan pula bahwa

−1 ≤ (X; Y ) ≤ 1

Koe sien korelasi adalah ukuran dari derajat kelinieran antara X dan Y . Nilai (X; Y
) yang dekat dengan +1 atau −1 menunjukkan derajat kelinieran yang tinggi. Nilai
positif korelasi mengindikasikan nilai Y yang cenderung membe-sar apabila X
membesar. Jika (X; Y ) = 0 maka dikatakan X dan Y tidak berkorelasi.

Latihan:

1. Tunjukkan bahwa

Cov(X; E(Y |X)) = Cov(X; Y )

2. Misalkan X peubah acak normal standar dan I (bebas dari X) sdh

P (I = 1) = P (I = 0) = 1=2:

Dide nisikan

Y = X; jika I = 1; Y = −X; jika I = 0

Tunjukkan bahwa

Cov(X; Y ) = 0

MA4181 Pros.Stok. 10 K. Syuhada, PhD.

BAB 3
Rantai Markov

Silabus: De nisi rantai Markov, sifat Markov, peluang transisi n-langkah, per-
samaan Chapman-Kolmogorov, jenis keadaan, recurrent dan transient, limit
peluang transisi (kestasioneran).

Tujuan:

1. Mempelajari model rantai Markov

2. Menghitung peluang transisi n-langkah

3. Menerapkan persamaan Chapman-Kolmogorov

4. Menentukan keadaan `yang dapat diakses' dan `berkomunikasi'

5. Menentukan keadaan-keadaan recurrent dan transient

6. Menghitung peluang transisi untuk jangka panjang

3.1 Ilustrasi

(Ilustrasi 1) Perilaku bunuh diri kini kian menjadi-jadi. Hesti (nama sebe-narnya)
adalah sebuah contoh. Dia pernah melakukan percobaan bunuh diri, namun gagal.
Menurut pakar, kalau pada suatu waktu seseorang melakukan percobaan bunuh
diri maka besar kemungkinan dia akan melakukannya lagi di masa mendatang.
Jika seseorang belum pernah melakukan percobaan bunuh diri, di masa
mendatang orang tersebut akan mungkin melakukan percobaan bunuh diri.
Deskripsikan fenomena diatas sebagai model peluang (probability model).

1
(Ilustrasi 2) Loyalitas konsumen terhadap suatu merek barang. Wilkie (1994)
mende nisikan \brand loyalty as a favorable attitude toward and con-sistent
purchase of a particular brand". Lyong (1998): \brand loyalty is a function of a
brands' relative frequency of purchase in both time-independent and time-
dependent situations". Seorang konsumen pembeli merek barang A diharapkan
akan terus membeli barang A. Mungkinkah ini terjadi? Apakah model statistika
yang dapat dengan tepat (atau mendekati tepat) merinci pelu-ang terjadinya hal
ini? Apakah model ini membantu dalam strategi pemasaran suatu barang?

(Ilustrasi 3) Akhir-akhir ini, hujan dan panas (baca: tidak hujan) datang silih
berganti tanpa bisa diduga. Kalau hari ini hujan, besok mungkin hu-jan mungkin
juga panas. Tentu saja peluang besok hujan akan lebih besar dibanding peluang
besok akan panas. Begitu pula jika hari ini panas. Besok akan lebih mungkin
panas dibandingkan hujan. Jika hari Senin hujan, berapa peluang bahwa hari
Selasa akan hujan? Berapa peluang bahwa hari Kamis akan hujan?

(Ilustrasi 4) Sebagai calon atlet, setiap pagi Swari meninggalkan rumahnya untuk
berlari pagi. Swari akan pergi lewat pintu depan atau belakang den-gan peluang
sama. Ketika meninggalkan rumah, Swari memakai sepatu olah raga atau
bertelanjang kaki jika sepatu tidak tersedia di depan pintu yang dia lewati. Ketika
pulang, Swari akan masuk lewat pintu depan atau belakang dan meletakkan
sepatunya dengan peluang sama. Diketahui bahwa Swari memiliki 4 pasang
sepatu olah raga. Berapa peluang bahwa Swari akan sering berolah raga dengan
bertelanjang kaki?

3.2 De nisi

Proses stokastik {Xn} adalah Rantai Markov:

• n = 0; 1; 2; : : :
• nilai yang mungkin adalah hingga atau terhitung

•
( )
P Xn+1 = j|Xn = i; Xn−1 = in−1; : : : ; X1 = i1; X0 = i0 = Pij (∗)

• distribusi bersyarat Xn+1, diberikan keadaan-keadaan lampau (past states) X0;

X1; : : : ; Xn−1 dan keadaan sekarang (present state) Xn, hanya bergan-tung
pada keadaan sekarang (\Sifat Markov")

• keadaan-keadaan (states): i0; i1; : : : ; in−1; i; j

MA4181 Pros.Stok. 2 K. Syuhada, PhD.

Pij peluang bahwa proses akan berada di keadaan j dari keadaan i; ∑∞

Pij ≥ 0; i; j ≥ 0; j=0
Pij = 1; i = 0; 1; : : :

Matriks peluang transisi Pij adalah

P P P
00 01 02
· · ·
P10 P11 P12 · · ·
... · · ·
P= .. .. ..
Pi0 Pi0
... Pi0

. .
.
. . .
Perhatikan (*):
( )
P X = j|X = i; X =i ; : : : ; X =i ; X =i
n +1( n )
n −1 n−1 1 1 0 0

= P Xn+1 = j|Xn = i
= Pij ;

yang disebut sebagai peluang transisi 1-langkah atau one-step transition prob-
ability.

Peluang bersama

( )
P Xn = i; Xn−1 = in−1; : : : ; X1 = i1; X0 = i0
dapat dihitung dengan sifat peluang bersyarat berikut.
P Xn = i; Xn−1 = in−1; : : : ; X1 = i1; X0 = i0
(
(− − ) )
( =i
= P Xn 1 n 1; : : : ; X1 = i1; X0 = i0 )
× P X =i|X =i ; : : : ; X = i ; X =i
( n n−1 n−1 1 ) 1 0( 0 )
= P Xn−1 = in−1; : : : ; X1 = i1; X0 = i0 × P Xn = i | Xn−1 =i
n−1
= ···
= p · · ·P
i0 in 1;in

Latihan:

1. Jika, pada waktu t, Rez mengajukan klaim asuransi, maka Rez akan
mengajukan klaim pada waktu t + 1 dengan peluang ; jika Rez tidak
mengajukan klaim asuransi saat ini maka di masa depan Rez akan men-
gajukan klaim asuransi dengan peluang . Matriks peluang transisinya

MA4181 Pros.Stok. 3 K. Syuhada, PhD.

 adalah...
( )
P= 1−
1−
dengan keadaan-keadaan:
'0' tidak mengajukan klaim
'1' mengajukan klaim

2. Suatu rantai Markov dengan keadaan-keadaan \0, 1, 2" memiliki matriks

peluang transisi:

0:1 0:2 0:7

0:9 0:1 0

P= 0:1 0:8 0:1

dan P (X0 = 0) = 0:3; P (X0 = 1) = 0:4; P (X0 = 2) = 0:3.
Hitung

P (X0 = 0; X1 = 1; X2 = 2)

3. Keadaan hujan pada suatu hari bergantung pada keadaan hujan dalam dua
hari terakhir. Jika dalam dua hari terakhir hujan maka besok akan hujan
dengan peluang 0.7; Jika hari ini hujan dan kemarin tidak hujan maka besok
akan hujan dengan peluang 0.5; jika hari ini tidak hujan dan kemarin hujan
maka besok akan hujan dengan peluang 0.4; jika dalam dua hari terakhir
tidak hujan maka besok hujan dengan peluang 0.2. Matriks peluang
transisinya adalah...

4. Tiga item produk A dan tiga item produk B didistribusikan dalam dua buah
paket/kotak sedemikian hinga setiap paket terdiri atas tiga item produk.
Dikatakan bahwa sistem berada dalam keadaan i; i = 0; 1; 2; 3 jika dalam
paket pertama terdapat i produk A. Setiap saat (langkah),
kita pindahkan satu item produk dari setiap paket dan meletakkan item
produk tersebut dari paket 1 ke paket 2 dan sebaliknya. Misalkan Xn
menggambarkan keadaan dari sistem setelah langkah ke-n. Matriks pelu-ang
transisinya adalah...

5. Menurut Kemeny, Snell dan Thompson, Tanah Australia diberkahi den-gan

banyak hal kecuali cuaca yang baik. Mereka tidak pernah memiliki dua hari
bercuaca baik secara berturut-turut. Jika mereka mendapatkan hari bercuaca
baik maka esok hari akan bersalju atau hujan dengan pelu-ang sama. Jika
hari ini mereka mengalami salju atau hujan maka be-sok akan bercuaca
sama dengan peluang separuhnya. Jika terdapat pe-rubahan cuaca dari salju
atau hujan, hanya separuh dari waktu besok

MA4181 Pros.Stok. 4 K. Syuhada, PhD.

 akan menjadi hari bercuaca baik. Tentukan matriks peluang transisi dari
Rantai Markov yang dibentuk dari keadaan-keadaan diatas.

6. Suatu rantai Markov dengan keadaan-keadaan \0, 1, 2" memiliki matriks

peluang transisi:

0:7 0:2 0:1

: 0:4

P = 00:5 006 0:5

Hitung

P (X2 = 1; X3 = 1 | X1 = 0)

dan

P (X1 = 1; X2 = 1 | X0 = 0)

7. Sebagai calon atlet, setiap pagi Swari meninggalkan rumahnya untuk berlari
pagi. Swari akan pergi lewat pintu depan atau belakang dengan peluang
sama. Ketika meninggalkan rumah, Swari memakai sepatu olah raga atau
bertelanjang kaki. Ketika pulang, Swari akan masuk lewat pintu depan atau
belakang dan meletakkan sepatunya dengan peluang sama. Diketahui bahwa
Swari memiliki 4 pasang sepatu olah raga. Ben-tuklah suatu Rantai Markov
dari proses diatas.

3.3 Peluang n-langkah

Persamaan Chapman-Kolmogorov
Misalkan Pijn menyatakan peluang transisi n-langkah suatu proses di keadaan i
akan berada di keadaan j,

Pijn = P (Yk+n = j|Yk = i); n ≥ 0; i; j ≥ 0:

Persamaan Chapman-Kolmogorov adalah alat untuk menghitung peluang tran-sisi

n + m-langkah:
∑∞
Pijn+m = PiknPkjm; (Buktikan!)
k=0

untuk semua n; m ≥ 0 dan semua i; j. PiknPkjm menyatakan peluang suatu proses

dalam keadaan i akan berada di keadaan j dalam n+m transisi, melalui keadaan k
dalam n transisi/langkah.

MA4181 Pros.Stok. 5 K. Syuhada, PhD.

Latihan:
1. Jika hari ini hujan maka besok akan hujan dengan peluang = 0:7; jika
hari ini tidak hujan maka besok akan hujan dengan peluang = 0:4. Matriks
peluang transisi 4 langkah adalah...

2. Keadaan hujan pada suatu hari bergantung pada keadaan hujan dalam dua
hari terakhir. Jika dalam dua hari terakhir hujan maka besok akan hujan
dengan peluang 0.7; Jika hari ini hujan dan kemarin tidak hujan maka besok
akan hujan dengan peluang 0.5; jika hari ini tidak hujan dan kemarin hujan
maka besok akan hujan dengan peluang 0.4; jika dalam dua hari terakhir
tidak hujan maka besok hujan dengan peluang 0.2.
Matriks peluang transisinya adalah sbb:
0:7 0 0:3 0
P= 0:5 0 0:5 0

0 0:4 0 0:6

0 0:2 0 0:8
Jika hari Senin dan Selasa hujan, berapa peluang bahwa hari Kamis akan
hujan?

Peluang Transisi Tak Bersyarat

Misalkan

i = P (X0 = i); i ≥ 0;
∑∞
dimana i=0 i = 1. Peluang tak bersyarat dapat dihitung dengan men-syaratkan pada
keadaan awal,
∑ ∑i
∞ ∞
n
P (Xn = j) = P (Xn = j|X0 = i) P (X0 = i) =Pij i
i=0 =0

Latihan:
1. Pandang soal yang lalu dengan matriks peluang transisi:

0:7 0:3
(
P= 0:4 0:6 )
Jika diketahui 0 = P (X0 = 0) = 0:4 dan 1 = P (X0 = 1) = 0:6, maka peluang
(tak bersyarat) bahwa hari akan hujan 4 hari lagi adalah...

P (X4 = 0) = 0:4 P004 + 0:6 P104

= (0:4)(0:5749) + (0:6)(0:5668) = 0:57

MA4181 Pros.Stok. 6 K. Syuhada, PhD.

 2. Seorang pensiunan H menerima 2 (juta rupiah) setiap awal bulan. Banyaknya
uang yang diperlukan H untuk dibelanjakan selama sebulan saling bebas
dengan banyaknya uang yang dia punya dan sama dengan i dengan pelu-ang
∑
Pi; i = 1; 2; 3; 4; 4i=1 Pi = 1. Jika H memiliki uang lebih dari 3 di akhir
bulan, dia akan memberikan sejumlah uang lebih dari 3 itu kepada orang
lain. Jika setelah dia menerima uang diawal bulan H memiliki uang 5,
berapa peluang uangnya akan 1 atau kurang setiap saat selama 4 bulan
berikut?

Keadaan:
`1' jumlah uang sebanyak 1 yang H punya di akhir bulan `2'
jumlah uang sebanyak 2 yang H punya di akhir bulan `3'
jumlah uang sebanyak 3 yang H punya di akhir bulan

Matriks peluang transisi

P2 + P3 + P4 P1 0
P= P+P P2 P1

3 P
P4 4 3 P1 + P2

Misalkan Pi = 1=4; i = 1; 2; 3; 4. Maka matriks peluang transisinya adalah

3=4 1=4 0
P= 1=2 1=4 1=4
1=4 1=4 1=2

Peluang uangnya akan 1 atau kurang setiap saat selama 4 bulan berikut
adalah P314 = 201=256.

3.4 Jenis Keadaan

Keadaan j dikatakan dapat diakses (accessible) dari keadaan i jika P n > 0 ij untuk
suatu n ≥ 0. Akibatnya, keadaan j dapat diakses dari keadaan i jika dan hanya jika
dimulai dari keadaan i proses akan masuk ke keadaan j. Jika keadaan j tidak dapat
diakses dari keadaan i maka peluang masuk ke keadaan j dari keadaan i adalah nol.

Dua keadaan i dan j yang saling akses satu sama lain dikatakan berkomunikasi
(communicate). Notasi: i ↔ j.

MA4181 Pros.Stok. 7 K. Syuhada, PhD.

Sifat-sifat:
1. Keadaan i berkomunikasi dengan keadaan i untuk semua i ≥ 0
2. Jika keadaan i berkomunikasi dengan keadaan j maka keadaan j berko-
munikasi dengan keadaan i

3. Jika keadaan i berkomunikasi dengan keadaan j dan keadaan j berkomu-

nikasi dengan keadaan k maka keadaan i berkomunikasi dengan keadaan k

Dua keadaan yang berkomunikasi dikatakan berada dalam kelas (class) yang
sama. Setiap dua kelas dari keadaan-keadaan dapat `identik' (identical) atau
`saling asing' (disjoint). Rantai Markov dikatakan tidak dapat direduksi (irre-
ducible) jika hanya terdapat sebuah kelas dan semua keadaan berkomunikasi satu
sama lain.

Latihan:

1. Tentukan kelas keadaan dari rantai Markov dengan peluang transisi berikut:

(i)
0:7 0 0:3 0
P= 0:5 0 0:5 0

0 0:4 0 0:6

0 0:2 0 0:8
(ii)
0 1 0 0
P= 1=9 4=9 4=9 0
0 = = =
9 9
0 40 41 1 09
(iii)
1 0 0
P= 1=2 1=4 1=4

1=4 1=4 1=2

2. Diketahui matrik peluang transisi:
 0:5 0:5 0
: 0:25 0:25

P = 00 5 0:33 0:67
MA4181 Pros.Stok. 8 K. Syuhada, PhD.
 Apakah rantai Markov dengan peluang transisi diatas tidak dapat dire-duksi
(irreducible)?

3. Apakah yang dapat anda katakan tentang rantai Markov dengan matriks
peluang transisi berikut:

0:5 0:5 0 0
0:5 0:5 0 0
P= 0:25 :25 0:25 0:25

0 00 0 1
Sifat Keadaan Recurrent dan Transient
Untuk setiap keadaan i, misalkan fi peluang bahwa dimulai dari keadaan i proses
akan pernah kembali ke keadaan i. Keadaan i dikatakan recurrent jika fi = 1.
Dikatakan transient jika fi < 1.

• Jika keadaan i recurrent maka proses akan terus kembali ke keadaan i

dengan peluang satu. Dengan de nisi rantai Markov, proses akan dimulai
lagi ketika kembali ke keadaan i, dan seterusnya, sehingga keadaan i akan
dikunjungi lagi. Jika keadaan i recurrent maka dimulai dari keadaan i maka
proses akan kembali ke keadaan i terus dan terus sebanyak tak hingga kali.

• Misalkan keadaan i transient. Setiap kali proses kembali ke keadaan i,

terdapat kemungkinan (peluang yang positif) sebesar 1 − fi bahwa proses
tidak pernah kembali ke keadaan i. Dengan demikian, dimulai
dari keadaan i, peluang bahwa proses berada di i sebanyak tepat n pe-
riode/kali adalah fin−1(1 − fi); n ≥ 1. Jika keadaan i transient maka, dimulai
dari keadaan i, banyak periode/kali bahwa proses akan berada di keadaan i
adalah peubah acak geometrik dengan parameter 1 − fi.

\Keadaan i recurrent jika dan hanya jika, dimulai dari keadaan i, maka banyak
periode/kali yang diharapkan (expected number of time periods) bahwa proses
akan berada di keadaan i adalah tak hingga"

MA4181 Pros.Stok. 9 K. Syuhada, PhD.

Misalkan

1; Yn = i;
{
In = 0; Yn ̸= i:
Misalkan ∞
n=0
In menyatkan banyak periode/kali bahwa proses berada dalam
∑
keadaan i ,dan
∑ ∑
( ∞ ∞
E In |Y0 = i ) = E(In|Y0 = i)
n=0 n=0
∞
∑

=P (Yn = i|Y0 = i)
n=0
∞
∑

= Piin
n=0

Proposisi
Keadaan i adalah
∑ ∑
∞ ∞

recurrent jika Piin = ∞; transient jikaPiin <∞

n=0 n=0

Catatan:

• Pada rantai Markov dengan keadaan hingga, tidak semua keadaan bersi-fat
transient (Mengapa?)

• \Jika keadaan i recurrent dan keadaan i berkomunikasi (communicate)

dengan keadaan j maka keadaan j recurrent" (Bagaimana jika keadaan i
transient?)

• Semua keadaan pada rantai Markov (hingga) yang tidak dapat direduksi
adalah recurrent (PENTING!)

Latihan:

1. Misalkan rantai Markov dengan keadaan 0,1,2,3 memiliki matriks pelu-ang

transisi:

0 0 0:5 0:5
0 1 0 0

P=
1 0 0 0
0 1 0 0

MA4181 Pros.Stok. 10 K. Syuhada, PhD.

 Tentukan keadaan mana yang recurrent dan keadaan mana yang tran-sient!

2. Bagaimana dengan rantai Markov dengan matriks peluang transisi:

0:5 0:5 0 0 0
0:5 0:5 0 0 0
P= 0 0
0 0:5 0:5
0 0:5 0:5
00
?

0:25 0:25 0 0 0:5

3. Misalkan rantai Markov dengan keadaan 0,1,2,3 memiliki matriks pelu-ang
transisi:

0:5 0:5 0 0
0:5 0:5 0 0
P= 0:25 :25 0:25 0:25

0 00 0 1
Tentukan keadaan mana yang recurrent dan keadaan mana yang tran-sient!

4. Model penyebaran penyakit memiliki matriks peluang transisi sebagai

berikut:

1 0 0 0 0 0
0 0:96 0:04 0 0 0
0 0 0:94 0:06 0 0
P= 0 0 0 0:94 0:06 0
0 0 0 0 0:96 0:04

0 0 0 0 0 1
Tentukan sifat keadaan dari rantai Markov diatas.

3.5 Limit Peluang Transisi

Misalkan matriks peluang transisi pada rantai Markov dengan dua keadaan adalah

( )
0:5 0:5 ;
P=
0:7 0:3
dan matriks peluang transisi 4 dan 8 langkahnya:

MA4181 Pros.Stok. 11 K. Syuhada, PhD.

 ( )
0:5840 0:4160
P4 = 0:5824 0:4176 ;
0:5833 0:4167
( )
P8 = 0:5833 0:4167 ;
...dst. Matriks P 8 hampir identik dengan P 4 (benar-benar identik dengan P 10).
Selain itu, setiap baris dari P 8 memiliki unsur yang identik. Nampaknya, Pijn
konvergen ke suatu nilai, untuk n → ∞, yang sama untuk semua i. Dengan kata
lain, terdapat limit peluang (limiting probability) bahwa proses akan berada di
keadaan j setelah sekian/banyak langkah/transisi. Nilai limit ini saling bebas
dengan nilai pada keadaan awal.

Perhatikan 2 sifat keadaan berikut:

Keadaan i dikatakan memiliki periode d jika Piin = 0 untuk n yang tidak dapat
dibagi oleh d (d suatu integer). Contoh, suatu proses dimulai dari keadaan i akan
kembali ke i pada waktu 2; 4; 6; 8; : : : , maka keadaan i memiliki periode
2. Suatu keadaan yang memiliki periode 1 disebut aperiodik. Jika keadaan i
memiliki periode d dan keadaan i berkomunikasi dengan keadaan j maka keadaan
j juga memiliki periode d.
Jika keadaan i recurrent, maka keadaan tersebut akan dikatakan positive re-current
jika, dimulai dari keadaan i, waktu harapan hingga proses kembali ke i adalah
hingga. Pada rantai Markove yang memiliki keadaan hingga, se-mua keadaan
yang recurrent adalah positive recurrent. Suatu keadaan yang positive recurrent
dan aperiodik disebut ergodik.

Teorema
Untuk rantai Markov yang ergodik dan tidak dapat direduksi,

lim Pijn
n→∞

ada dan saling bebas dari i. Misalkan

j = lim Pijn; j ≥ 0;
n→∞

maka j adalah solusi nonnegatif tunggal dari

∑∞
n
j = i Pij ; j ≥ 0;
i=0
∑∞
dengan j=0 j = 1.

MA4181 Pros.Stok. 12 K. Syuhada, PhD.

Catatan:

• Perhatikan bahwa ∑i
∑
∞ ∞
P (Xn+1 = j) = P (Xn+1 = j|Xn = i) P (Xn = i) =Pij P (Xn = i)
=0 i=0

• Limit peluang j adalah peluang jangka panjang (long-run proportion of

time) bahwa suatu proses akan berada di keadaan j

• Jika rantai Markov tidak dapat direduksi, maka terdapat solusi untuk

∑
i Pij ; j ≥ 0;

j=
i

dengan ∑
j j = 1, JIKA dan HANYA JIKA rantai Markov bersifat

positive recurrent. Jika solusinya ada maka solusi tersebut tunggal dan j
adalah proporsi jangka panjang bahwa rantai Markov berada dalam keadaan
j. Jika rantai Markov aperiodik maka j adalah limit peluang bahwa rantai
akan berada di keadaan j.

Latihan:

1. Jika hari ini hujan maka besok akan hujan dengan peluang ; jika hari ini
tidak hujan maka besok akan hujan dengan peluang . Jika ′0′ adalah keadaan
hujan dan ′1′ adalah keadaan tidak hujan maka peluang hujan dan tidak
hujan untuk jangka adalah...

Matriks peluang transisi:

( )
P= 1− ;
1−
dan kita punyai persamaan-persamaan:

= 0 0+ 1

1 = (1 − ) 0 + (1 − ) 1
0+ 1=1

Kita peroleh peluang hujan dan tidak hujan pada jangka panjang:

0 = 1+ −
MA4181 Pros.Stok. 13 K. Syuhada, PhD.
 dan
1−
1 =
1+ −

2. Percobaan-percobaan dilakukan secara berurutan. Jika dalam dua per-

cobaan terakhir SUKSES maka peluang SUKSES pada percobaan berikut
adalah 0.8. Dalam keadaan YANG LAIN, peluang SUKSES adalah 0.5.
Hitung peluang percobaan sukses untuk jangka panjang.

3. Pandang pelantunan-pelantunan sebuah koin (dengan peluang muncul

MUKA adalah ) yang saling bebas. Berapa banyak lantunan dibu-tuhkan
yang diharapkan (expected number of tosses needed) agar pola HT HT
muncul? (Perhatikan catatan dibawah)

Catatan:

• Peluang jangka panjang j ; j ≥ 0, disebut juga peluang stasioner (sta-tionary

probability). Jika keadaan awal dipilih berdasarkan peluang j ; j ≥ 0, maka
peluang akan menjadi keadaan j pada setiap waktu n adalah sama dengan j .

• Untuk keadaan j, de nisikan mjj yaitu banyak transisi yang diharapkan

(expected number of transitions) hingga suatu rantai Markov, dimulai dari
keadaan j akan kembali ke keadaan tersebut:
1
j =
mjj

MA4181 Pros.Stok. 14 K. Syuhada, PhD.