Anda di halaman 1dari 97

Tentang Kuliah Proses Stokastik

Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

MA5181 PROSES STOKASTIK


Bab 4 Matriks Stokastik dan Rantai Markov

Dosen: Khreshna I.A. Syuhada, MSc. PhD.

“(not just) Always Listening, Always Understanding”

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Tentang Kuliah Proses Stokastik

Bab 1 : Tentang Peluang


Bab 2 : Peluang dan Ekspektasi Bersyarat*
Bab 3 : Proses Poisson
Bab 4 : Proses Renewal
Bab 5 : Rantai Markov

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Ujian tanggal 4.12.12

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Misalkan disebuah Bank terdapat 2 orang teller A dan B yang


sibuk melayani nasabah Uvi dan Ivi. Tidak ada orang lain yang
antre. Seseorang, Ovi, yang datang akan dilayani salah satu teller
yang telah selesai dengan nasabahnya. Diketahui waktu layanan
(service time) teler A dan B adalah peubah acak-peubah acak yang
berdistribusi identik eksponensial dengan parameter λ. Berapa
peluang bahwa Ovi adalah nasabah pertama yang akan
meninggalkan Bank? Berapa peluang bahwa Ovi adalah nasabah
terakhir yang akan meninggalkan Bank?

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Urusan admin(istrasi) untuk wisuda Juli nanti di ITB lumayan


ribet. Mahasiswa harus ke meja 1 lalu ke meja 2 dan terakhir ke
meja 3. Waktu yang dihabiskan di setiap meja i adalalah p.a.
eksponensial dengan parameter θi , i = 1, 2, 3. Saat Iger datang ke
gedung RACC, terlihat seorang mahasiswa A sedang berada di
meja 3. Berapa peluang Iger masih ada di gedung RACC ketika
mahasiswa A selesai berurusan dengan meja 3?

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Matriks stokastik

Perhatikan matriks-matriks berikut:


 
  0.7 0 0.3 0
0.5 0.5  0.5 0 0.5 0 
P= , P= ,
1 0  0 0.4 0 0.6 
0.2 0.2 0.2 0.4

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

yang memiliki sifat-sifat (i) memiliki jumlah baris dan kolom sama
atau matriks bujursangkar, (ii) jumlah unsur-unsur di setiap baris
adalah satu, (iii) tidak selalu memiliki jumlah unsur-unsur di setiap
kolom sama dengan satu, (iv) nilai setiap unsurnya diantara nol
dan satu.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Matriks dengan sifat-sifat diatas dikatakan sebagai matriks


stokastik atau matriks peluang transisi, dimana setiap unsur
matriks Pij adalah peluang berpindahnya keadaan i (pada waktu t)
ke keadaan j (pada waktu t + 1); disebut juga peluang transisi.
Keadaan-keadaan i dan j adalah anggota dari ruang keadaan St
(analog dengan ruang sampel) yang bernilai integer (dan hingga);
ruang keadaan juga mendefinisikan peubah acak, sebut Xt . Kita
tahu bahwa 0 ≤ Pij ≤ 1; berpindahnya keadaan i ke j memberikan
indikasi bahwa Pij adalah peluang bersyarat.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Contoh/Latihan

1. Suatu  dengan ruang keadaan {0, 1, 2},


 matriks stokastik
0.1 0.2 0.7
P =  0.9 0.1 0  .
0.1 0.8 0.1
Diketahui P(X0 = 0) = 0.3, P(X0 = 1) = 0.4, P(X0 = 2) = 0.3.
Hitung P(X0 = 0, X1 = 1, X2 = 2).

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Solusi: 0

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

2. Diketahui matriks peluang transisi untuk ruang keadaan


{0, 1,
2} sbb: 
0.7 0.2 0.1
P =  0 0.6 0.4 
0.5 0 0.5
Hitung P(X2 = 1, X3 = 1 | X1 = 0) dan
P(X1 = 1, X2 = 1 | X0 = 0).

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Solusi: 0.12; 0.12

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

3. Suatu matriks stokastik yang didefinisikan pada ruang keadaan


{0, 1,
2}, 
0 1/3 2/3
P =  4/5 1/5 0 
0 0 1
Hitung E (X3 |X2 = 1)

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Solusi:
2
X
E (Y3 |Y2 = 1) = x3 P(X3 = x3 |X2 = 1)
x3 =0
= (0) + (1)P(X3 = 1|X2 = 1) + (2)P(X3 = 2|X2 = 1)
= 1/5

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Matriks stokastik yang didefinisikan diatas lebih tepat dikatakan


sebagai matriks peluang transisi satu langkah, karena unsur
matriks Pij berada pada ruang waktu {t, t + 1}; keadaan
berpindah satu-langkah ke keadaan berikutnya.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Matriks stokastik n-langkah

Pandang matriks stokastik satu-langkah:


 
1/3 2/3
P= ;
0 1

kita ingin menentukan matriks stokastik dua-langkah. Artinya,


matriks yang didefinisikan pada ruang keadaan yang sama namun
ruang waktu {t, t + 2}.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Jadi, jika sebelumnya kita mempunyai

Pij = Pij1 = P(Xt+1 = j) | Xt = i),

sekarang kita ingin mendapatkan

Pij2 = P(Xt+2 = j | Xt = i).

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Perhatikan bahwa, untuk mendapatkan peluang transisi yang


menyatakan berpindahnya keadaan “0” (pada waktu t) ke keadaan
2 , misalnya, kita mungkin
“0” pada waktu t + 2 atau P00
mendapatkannya melalui peluang total,

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

2
P00 = P(Xt+2 = 0 | Xt = 0)
= P(Xt+2 = 0, Xt+1 = 0 | Xt = 0) + P(Xt+2 = 0, Xt+1 = 1 | Xt = 0)
= P(Xt+2 = 0 | Xt+1 = 0, Xt = 0)P(Xt+1 = 0 | Xt = 0)
+ P(Xt+2 = 0 | Xt+1 = 1, Xt = 0)P(Xt+1 = 1 | Xt = 0)
= P(Xt+2 = 0 | Xt+1 = 0)P(Xt+1 = 0 | Xt = 0)
+ P(Xt+2 = 0 | Xt+1 = 1)P(Xt+1 = 1 | Xt = 0)
= P00 P00 + P10 P01 .

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

2 , P 2 dan P 2 , yang dapat melewati


Begitu pula dengan P01 10 11
keadaan “0” atau “1” pada waktu t + 1.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Persamaan Chapman-Kolmogorov

Misalkan Pijn menyatakan peluang transisi n-langkah suatu proses


di keadaan i akan berada di keadaan j,

Pijn = P(Xt+n = j|Xt = i), n ≥ 0, i, j ≥ 0.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Persamaan Chapman-Kolmogorov adalah alat untuk menghitung


peluang transisi n + m-langkah:

X
Pijn+m = Pikn Pkj
m
,
k=0

untuk semua n, m ≥ 0 dan semua i, j. Pikn Pkj


m menyatakan peluang

suatu proses dalam keadaan i akan berada di keadaan j dalam


n + m transisi, melalui keadaan k dalam n transisi/langkah.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Peluang Transisi Tak Bersyarat

Peluang transisi Pij2 , atau secara umum Pijn , yang telah kita hitung
diatas adalah peluang bersyarat. Kini, apabila ingin dihitung
P(Xt+n = j) atau P(Xn = j), kita gunakan konsep peluang total,

X ∞
X
P(Xn = j) = P(Xn = j|X0 = i) P(X0 = i) = Pijn αi ,
i=0 i=0

dengan αi = P(X0 = i), i ≥ 0 adalah


Ppeluang tak bersyarat pada

keadaan awal atau t = 0. Catatan: α
i=0 i = 1.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Perkalian matriks

Misalkan kita memiliki matriks stokastik P. Apa yang dapat kita


lakukan (lagi) terhadap matriks tersebut?

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Misalkan
 
P00 P01
P= .
P10 P11

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Kita ingin menghitung perkalian matriks P · P = P2 ,


   
P00 P01 P00 P01
P·P= ·
P10 P11 P10 P11
2
 
P00 + P01 P10 P00 P01 + P01 P11
= 2 .
P10 P00 + P11 P10 P10 P01 + P11

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Kebebasan dalam matriks stokastik

Misalkan
 
0.7 0.3
P= ,
0.7 0.3

Apakah yang dapat anda katakan tentang matriks dengan setiap


unsur pada suatu baris sama dengan unsur pada baris lain di kolom
yang sama?

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Perhatikan bahwa,

P(Xt = 0|Xt−1 = 0)
= P(Xt = 0|Xt−1 = 1)
= 0.7

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

dan kita tahu melalui peluang total

P(Xt = 0) = P(Xt = 0|Xt−1 = 0)P(Xt−1 = 0)


+ P(Xt = 0|Xt−1 = 1)P(Xt−1 = 1)
α = 0.7 · α + 0.7 · (1 − α),

sehingga diperoleh α = 0.7.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Dengan kata lain

P(Xt = 0|Xt−1 = 0) = 0.7 = P(Xt = 0).

Artinya, barisan p.a. Xt saling bebas.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Perkalian n matriks

Misalkan
 
1−α α
P= ,
β 1−β

dimana 0 < α, β < 1. Jika α = 1 − β maka unsur-unsur di setiap


baris sama. Dengan kata lain, X1 , X2 , . . . merupakan p.a. yang
bersifat i.i.d. dengan P(Xn = 0) = β dan P(Xn = 1) = α. Jika
α 6= 1 − β maka distribusi peluang Xn bergantung keluaran dari
Xn−1 .

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Tentukan Pn .

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

   
1 β α (1−α−β)n α −α
Pn = α+β + α+β
β α −β β

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Misalkan
 
β α
A=
β α

dan
 
α −α
B=
−β β

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Kita dapat menuliskan:

Pn = (α + β)−1 [A + (1 − α − β)n B]

dan menunjukkan bahwa

AP = A,

BP = (1 − α − β)n B

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Kemudian, dengan induksi matematika kita tunjukkan

P1 = P,

dan
Pn P = Pn+1 .

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Limit peluang

Misalkan
 
1−α α
P= .
β 1−β

Karena 0 < α, β < 1, maka

|1 − α − β| < 1.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Akibatnya,
|1 − α − β|n → 0,
untuk n → ∞ dan
!
β α
α+β α+β
limn→∞ P = β α .
α+β α+β

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Misalkan matriks stokastiks P berukuran 2 × 2. Matriks tersebut


memiliki limit peluang yang direpresentasikan dalam matriks π,
 
P00 P01
P= ,
P10 P11

dan
 
π0
π= .
π1

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Tentukan PT π dan selesaikan persamaan matriks

PT π = π

dimana jumlah unsur matriks π haruslah sama dengan 1.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Untuk
 
1−α α
P= ,
β 1−β

diperoleh:
!
  β
π0 α+β
π= = α .
π1 α+β

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Bagaimana jika P adalah matriks segitiga atas/bawah? Apakah P


harus memiliki invers?

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Unsur Pij dan sifat keadaan

Pandang matriks stokastik


 
P00 P01
P= ,
P10 P11

dimana Pij dapat bernilai nol atau satu atau diantaranya.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Jika Pij > 0, artinya keadaan j dapat dicapai (diakses) dari


keadaan i, atau
i → j.
Jika i juga dapat diakses dari j, dikatakan maka kedua keadaan
dikatakan berkomunikasi,
i ↔ j.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Diskusi:
Adakah hubungan antara sifat komunikasi dua keadaan dengan
kebebasan dalam matriks stokastik?

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Bagaimana jika kita mempunya matriks stokastik identitas


 
1 0
P= ?
0 1

Apa yang dapat kita katakan tentang keadaan j?

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Bagaimana dengan
 
0 1
P= ?
0 1

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

“Waktu” dalam matriks

Pandang matriks stokastik berukuran 3 × 3 atau dengan ruang


keadaan {0, 1, 2},
 
1 0 0
P =  α β γ ,
0 0 1

dimana α, β, γ > 0 dan α + β + γ = 1.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Jika, pada waktu t, proses berada di keadaan 0 atau 2, maka


proses akan tetap berada di keadaan itu. Sementara itu, jika proses
berada di keadaan 1, proses akan bergerak ke keadaan lain; jika ke
keadaan 0 atau 2, maka berlaku proses seperti yang dijelaskan
sebelumnya.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Diskusi:
Ke keadaan mana, 0 atau 2, proses akan berakhir?
Berapa lama (langkah) proses menuju keadaan tersebut?

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Misalkan T = min{n ≥ 0; Xn = 0 atau Xn = 2}. Tentukan

u = P(XT = 0|X0 = 1)

dan
v = E (T |X0 = 1).

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Pada langkah pertama, setelah langkah 0, proses mungkin berada


di keadaan 0, 1 atau 2 dengan peluang berturut-turut α, β, γ. Jika
X1 = 0 maka T = 1 dan XT = 0; jika X1 = 2 maka T = 1 dan
XT = 2. Jika X1 = 1 maka proses berlanjut,

P(XT = 0|X1 = 0) = 1,

P(XT = 0|X1 = 1) = u,
P(XT = 0|X1 = 2) = 0.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Dengan menggunakan konsep peluang total,

u = P(XT = 0|X0 = 0)
2
X
= P(XT = 0|X1 = k, X0 = 1)P(X1 = k|X0 = 1)
k=0
X2
= P(XT = 0|X1 = k)P(X1 = k|X0 = 1)
k=0
= 1 · α + u · β + 0 · γ,

atau
α α
u= = .
1−β α+γ

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Sementara itu,

v = E (T |X0 = 1)
2
X
= E (1 + T |X1 = k, X0 = 1)
k=0
= 1 + E (T |X1 = 0, X0 = 1)P(X1 = 0|X0 = 1)
+ E (T |X1 = 1, X0 = 1)P(X1 = 1|X0 = 1)
+ E (T |X1 = 2, X0 = 1)P(X1 = 2|X0 = 1)
= 1 + 0 · α + v · β + 0 · γ,

atau
1
v= .
1−β
Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Catatan:
Perhatikan bahwa p.a. T , yang menyatakan langkah untuk
mencapai proses/keadaan yang absorbing, berdistribusi geometrik
dengan distribusi peluang

P(T > k|X0 = 1) = β k , k = 0, 1, . . . ,

dan ekspektasi
1
E (T |X0 = 1) = .
1−β

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Diskusi:
Bagaimana dengan matriks stokastik berikut,
 
1 0 0 0
 P10 P11 P12 P13 
=
 P20 P21 P22 P23  ?

0 0 0 1

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Matriks stokastik dari matriks stokastik

Misalkan barisan p.a. {Xt } didefinisikan melalui matriks stokastik


berikut:
 
1−α α
P= ,
β 1−β

Tentukan E (s Xt ).

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Fungsi pembangkit peluang atau f.p.p,

G (s, t) = E (s Xt )
= s 0 P(Xt = 0) + s 1 P(Xt = 1)
= P(Xt = 0) + P(Xt = 1).

Untuk t = 0,

G (s, 0) = P(X0 = 0) + P(X0 = 1)

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Untuk t = 1,

G (s, 1) = P(X1 = 0) + P(X1 = 1)


= P(X1 = 0|X0 = 0)P(X0 = 0) + P(X1 = 0|X0 = 1)P(X0 = 1)
+ P(X1 = 1|X0 = 0)P(X0 = 0) + P(X1 = 1|X0 = 1)P(X0 = 1)
= (1 − α)P(X0 = 0) + βP(X0 = 1)
+ αP(X0 = 0) + (1 − β)P(X0 = 1)
= P(X0 = 0) + P(X0 = 1)

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Pandang proses {Xt } diatas. Definisikan


t
X
Yt = Xi .
i=0

Apakah proses {Yt } membentuk suatu matriks stokastik?


Tentukan GYt (s, t).

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Untuk t = 0, 1, 2, . . .,

Y0 = X0
Y1 = X0 + X1
Y2 = X0 + X1 + X2
..
.

Nilai yang mungkin untuk p.a. Y0 adalah 0 dan 1, dengan peluang

P(Y0 = 0) = P(X0 = 0)

dan
P(Y0 = 1) = P(X0 = 1)

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Nilai yang mungkin untuk p.a. Y1 adalah 0,1 dan 2, dengan


peluang

P(Y1 = 0)
= P(Y1 = 0|Y0 = 0)P(Y0 = 0) + P(Y1 = 0|Y0 = 1)P(Y0 = 1)
= P(X0 + X1 = 0|X0 = 0)P(X0 = 0)
+ P(X0 + X1 = 0|X0 = 1)P(X0 = 1)
= P(X1 = 0|X0 = 0)P(X0 = 0) + 0
= (1 − α) P(X0 = 0)

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

P(Y1 = 1)
= P(Y1 = 1|Y0 = 0)P(Y0 = 0) + P(Y1 = 1|Y0 = 1)P(Y0 = 1)
= P(X0 + X1 = 1|X0 = 0)P(X0 = 0)
+ P(X0 + X1 = 1|X0 = 1)P(X0 = 1)
= P(X1 = 1|X0 = 0)P(X0 = 0)
+ P(X1 = 0|X0 = 1)P(X0 = 1)
= α P(X0 = 0) + β P(X0 = 1)

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

P(Y1 = 2)
= P(Y1 = 2|Y0 = 0)P(Y0 = 0) + P(Y1 = 2|Y0 = 1)P(Y0 = 1)
= P(X0 + X1 = 2|X0 = 0)P(X0 = 0)
+ P(X0 + X1 = 2|X0 = 1)P(X0 = 1)
= P(X1 = 2|X0 = 0)P(X0 = 0)
+ P(X1 = 1|X0 = 1)P(X0 = 1)
= 0 + (1 − β) P(X0 = 1)

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Dapatkah anda menentukan f.p.p dari proses dengan matriks


stokastik berikut:
 
1 0 0
P= α β γ ?
0 0 1

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Matriks stokastik khusus

1. Suatu rantai Markov memiliki ruang keadaan {0, 1, 2, 3, 4}.


Diketahui P0,4 = 1. Jika rantai berada di keadaan i, i > 0, maka
keadaan berikutnya adalah 0, 1, . . . , i − 1 dengan peluang sama
(when the chain is in state i, i > 0, the next state is equally likely
to be any of the state 0, 1, . . . , i − 1). Tentukan m.p.t dari rantai
Markov diatas. Tentukan pula peluang limit/jangka panjang untuk
setiap keadaan.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Solusi:
 
0 0 0 0 1

 1 0 0 0 0 

P=
 1/2 1/2 0 0 0 

 1/3 1/3 1/3 0 0 
1/4 1/4 1/4 1/4 0

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

dengan peluang limit

π0 = π1 + (1/2)π2 + (1/3)π3 + (1/4)π4


π1 = (1/2)π2 + (1/3)π3 + (1/4)π4
π2 = (1/3)π3 + (1/4)π4
π3 = (1/4)π4
π4 = π0 ,

dan π0 + π1 + π2 + π3 + π4 = 1. Diperoleh

π0 = 12/37; π1 = 6/37; π2 = 4/37; π3 = 3/37; π4 = 12/37.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

2. Misalkan X1 , X2 , . . . sampel acak dari X dengan fungsi peluang


berikut:
k 0 1 2 3
P(X = k) 0.1 0.3 0.2 0.4

Diketahui Y0 = 0 dan Yn = maks{X1 , . . . , Xn }. Proses {Yt }


membentuk suatu rantai Markov. Tentukan m.p.t nya.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

Solusi:
 
0.1 0.3 0.2 0.4
 0 0.4 0.2 0.4 
P= 
 0 0 0.6 0.4 
0 0 0 1
dengan keadaan-keadaan: 0, 1, 2, 3.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Perkalian matriks
Tentang Kuliah Proses Stokastik Kebebasan dalam matriks stokastik
Matriks stokastik Perkalian n matriks
Matriks stokastik n-langkah Limit peluang
Lebih jauh tentang matriks stokastik Unsur Pij dan sifat keadaan
Rantai Markov “Waktu” dalam matriks stokastik
Latihan Matriks stokastik dari matriks stokastik
Matriks stokastik khusus

3. Malena melantunkan 3 koin; M menyatakan keluaran Muka.


Misalkan X1 menyatakan banyaknya muncul M. Kemudian,
koin-koin yang memiliki keluaran M dilantunkan. Misalkan X2 total
banyaknya B (termasuk dari koin yang tidak dilantunkan di
lantunan kedua). Malena kini melantunkan semua koin yang punya
keluaran B dan misalkan X3 menyatakan total banyaknya M
(termasuk dari koin yang tidak dilantunkan). Malena melakukan
ini terus menerus. Proses {Xn } adalah suatu rantai Markov,
dengan X0 = 3. Tentukan m.p.t nya.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Definisi
Proses stokastik {Xn } adalah Rantai Markov:
n = 0, 1, 2, . . .
nilai yang mungkin dari Xn adalah hingga atau terhitung
memiliki peluang transisi atau peluang berpindahnya keadaan
“i” (pada waktu t = n) ke keadaan “j” (pada waktu
t = n + 1),

P Xn+1 = j|Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 = Pij (∗)
distribusi bersyarat Xn+1 , diberikan keadaan-keadaan lampau
(past states) X0 , X1 , . . . , Xn−1 dan keadaan sekarang (present
state) Xn , hanya bergantung pada keadaan sekarang
(Sifat Markov)
keadaan-keadaan (states): i0 , i1 , . . . , in−1 , i, j
Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Rantai Markov direpresentasikan dalam suatu matriks peluang


transisi
 atau matriks stokastik
P00 P01 P02 · · ·
 P10 P11 P12 · · · 
 
 .. .
. .
. 
P=  . . . ,

 Pi0 Pi0 Pi0 · · · 

.. .. ..

. . . P
dimana Pij ≥ 0, i, j ≥ 0; ∞
j=0 Pij = 1, i = 0, 1, . . ..

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Perhatikan (*),

P Xn+1 = j|Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0

= P Xn+1 = j|Xn = i
= Pij ,

yang disebut sebagai peluang transisi satu-langkah atau one-step


transition probability.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Kita tahu bahwa peluang bersama



P Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0

dapat dihitung dengan sifat peluang bersyarat berikut.



P Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0

= P Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0

× P Xn = i | Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0
 
= P Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 × P Xn = i | Xn−1 = in−1
= ···
= pi0 · · · Pin−1 ,in

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

1. Jika, pada waktu t, Rez mengajukan klaim asuransi, maka Rez


akan mengajukan klaim pada waktu t + 1 dengan peluang α; jika
Rez tidak mengajukan klaim asuransi saat ini maka di masa depan
Rez akan mengajukan klaim asuransi dengan peluang β. Matriks
peluang transisinya adalah...

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Solusi:
 
1−β β
P=
1−α α
dengan keadaan-keadaan:
’0’ tidak mengajukan klaim
’1’ mengajukan klaim

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Misalkan β = 0.3 dan α = 0.6. Diketahui α0 = P(X0 = 0) = 0.4


dan α1 = P(X0 = 1) = 0.6, maka peluang (tak bersyarat) bahwa
tidak mengajukan klaim 4 hari lagi adalah...

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

4 4
P(X4 = 0) = 0.4 P00 + 0.6 P10
= (0.4)(0.5749) + (0.6)(0.5668) = 0.57

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

2. Keadaan hujan pada suatu hari bergantung pada keadaan hujan


dalam dua hari terakhir. Jika dalam dua hari terakhir hujan maka
besok akan hujan dengan peluang 0.7; Jika hari ini hujan dan
kemarin tidak hujan maka besok akan hujan dengan peluang 0.5;
jika hari ini tidak hujan dan kemarin hujan maka besok akan hujan
dengan peluang 0.4; jika dalam dua hari terakhir tidak hujan maka
besok hujan dengan peluang 0.2. Matriks peluang transisinya
adalah...

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Solusi:
 
0.7 0 0.3 0
 0.5 0 0.5 0 
P=  0 0.4 0 0.6 

0 0.2 0 0.8
dengan keadaan-keadaan:
’0’ (00) = hari ini dan kemarin hujan
’1’ (10) = hari ini hujan, kemarin tidak hujan
’2’ (01) = hari ini tidak hujan, kemarin hujan
’3’ (11) = hari ini dan kemarin tidak hujan

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Jika hari Senin dan Selasa hujan, berapa peluang bahwa hari
Kamis akan hujan?

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Solusi: 
0.49 0.12 0.21 0.18
 0.35 0.2 0.15 0.3 
P2 = 
 0.2 0.12 0.2 0.4 

0.1 0.16 0.1 0.64


Peluang hujan pada hari Kamis adalah
2 + P 2 = 0.49 + 0.12 = 0.61
P00 01

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

3. Tiga item produk A dan tiga item produk B didistribusikan


dalam dua buah paket/kotak sedemikian hinga setiap paket terdiri
atas tiga item produk. Dikatakan bahwa sistem berada dalam
keadaan i, i = 0, 1, 2, 3 jika dalam paket pertama terdapat i produk
A. Setiap saat (langkah), kita pindahkan satu item produk dari
setiap paket dan meletakkan item produk tersebut dari paket 1 ke
paket 2 dan sebaliknya. Misalkan Xn menggambarkan keadaan dari
sistem setelah langkah ke-n. Matriks peluang transisinya adalah...

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Solusi:
 
0 1 0 0
 1/9 4/9 4/9 0 
P=  0 4/9 4/9 1/9 

0 0 1 0
dengan keadaan-keadaan:
’0’ terdapat 0 produk A di paket pertama
’1’ terdapat 1 produk A di paket pertama
’2’ terdapat 2 produk A di paket pertama
’3’ terdapat 3 produk A di paket pertama

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

4. Menurut Kemeny, Snell dan Thompson, Tanah Australia


diberkahi dengan banyak hal kecuali cuaca yang baik. Mereka
tidak pernah memiliki dua hari bercuaca baik secara
berturut-turut. Jika mereka mendapatkan hari bercuaca baik maka
esok hari akan bersalju atau hujan dengan peluang sama. Jika hari
ini mereka mengalami salju atau hujan maka besok akan bercuaca
sama dengan peluang separuhnya. Jika terdapat perubahan cuaca
dari salju atau hujan, hanya separuh dari waktu besok akan
menjadi hari bercuaca baik. Tentukan matriks peluang transisi dari
Rantai Markov yang dibentuk dari keadaan-keadaan diatas.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Solusi:
 
1/2 1/4 1/4
P =  1/2 0 1/2 
1/4 1/4 1/2
dengan keadaan-keadaan:
’0’ cuaca hujan
’1’ cuaca baik
’2’ cuaca salju

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

5. Sebagai calon atlet, setiap pagi Laila meninggalkan rumahnya


untuk berlari pagi. Laila akan pergi lewat pintu depan atau
belakang dengan peluang sama. Ketika meninggalkan rumah, Laila
memakai sepatu olah raga atau bertelanjang kaki. Ketika pulang,
Laila akan masuk lewat pintu depan atau belakang dan meletakkan
sepatunya dengan peluang sama. Diketahui bahwa Laila memiliki 4
pasang sepatu olah raga. Bentuklah suatu Rantai Markov dari
proses diatas.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Solusi:
 
3/4 1/4 0 0 0
 1/4 1/2 1/4 0 0 
 
P=  0 1/4 1/2 1/4 0 

 0 0 1/4 1/2 1/4 
0 0 0 1/4 3/4
dengan keadaan-keadaan:
’0’ (4,0) = 4 sepatu didepan, 0 dibelakang
’1’ (3,1) = 3 sepatu didepan, 1 dibelakang
’2’ (2,2) = 2 sepatu didepan, 2 dibelakang
’3’ (1,3) = 1 sepatu didepan, 3 dibelakang
’4’ (0,4) = 0 sepatu didepan, 4 dibelakang

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

6. Lena akan melantunkan koin terus menerus hingga diperoleh


keluaran B, B, M (2 keluaran Belakang berturut-turut yang
kemudian diikuti oleh keluaran Muka). Bentuklah rantai Markov
yang mungkin. Perhatikan bahwa jika lantunan Lena adalah M,
lalu B, lalu M artinya adalah Lena harus mengulang lantunan dari
awal.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

7. Suatu sistem reservasi maskapai penerbangan memiliki 2


komputer; hanya 1 yang beroperasi pada setiap waktu. Sebuah
komputer akan “rusak” pada suatu hari dengan peluang θ. Ada
sebuah fasilitas/bengkel perbaikan komputer yang dapat membuat
komputer kembali normal (dapat dipakai) dalam waktu 2 hari.
Fasilitas/bengkel tersebut diatur sedemikian hingga hanya 1
komputer yang dapat ditangani setiap waktu. Bentuklah rantai
Markov yang dapat memodelkan situasi diatas...

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

8. Ani tinggal tidak jauh dari kampus. Cukup berjalan kaki saja
dari tempat kos ke kampus dan sebaliknya. Akhir-akhir ini hujan
datang hampir setiap hari. Mau tidak mau, Ani menggunakan
payung dalam perjalanan kos-kampus atau kampus-kos. Jika hari
hujan dan payung ada ditempat Ani berada maka Ani akan
menggunakan payung tersebut. Jika hari tidak hujan, Ani selalu
lupa untuk membawa payung. Misalkan θ adalah peluang hujan
setiap kali Ani akan menuju kampus atau kos. Jika Ani memiliki 3
buah payung, bentuklah suatu rantai Markov dari proses diatas!

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Solusi:
 
0 0 0 1
 0 0 1−θ θ 
P= 
 0 1−θ θ 0 
1−θ θ 0 0
dengan keadaan-keadaan:
’0’, ’1’, ’2’, ’3’ yang menyatakan jumlah payung

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

9. Dua tim futsal wanita di MA-ITB akan memainkan tujuh


rangkaian pertandingan. Hasil setiap pertandingan saling bebas.
Setiap pertandingan akan dimenangkan oleh tim A dengan peluang
α dan oleh tim B dengan peluang 1 − α. Misalkan keadaan suatu
sistem direpresentasikan oleh pasangan (a, b) dimana a
menyatakan banyak pertandingan yang dimenangkan A dan b
banyak pertandingan yang dimenangkan B. Bentuklah rantai
Markov untuk masalah tersebut. Catatan: a + b ≤ 7 dan
rangkaian pertandingan akan berakhir apabila a = 4 atau b = 4.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

10. Model penyebaran gosip ala Ika adalah sbb: Jumlah orang
dalam sebuah “gank” adalah N = 5, sebagian sudah dengar gosip
dan sisanya belum. Dalam setiap waktu, 2 orang akan dipilih
secara acak dari gank tersebut dan keduanya (diasumsikan)
berinteraksi. Pemilihan orang-orang tersebut dilakukan s.d.h
interaksi antara setiap pasangan adalah sama. Jika satu orang dari
suatu pasangan sudah dengar gosip, yang lain belum, maka gosip
akan disebarkan ke orang yang belum dengar dengan peluang 0.1.
Misalkan Xn menyatakan jumlah orang yang dengar gosip diakhir
periode ke-n. Bentuklah suatu matriks stokastik yang mungkin.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

Solusi: Keadaan: 0, 1, 2, 3, 4, 5, yang menyatakan jumlah orang


yang dengar gosip.
P00 = 1, P55 = 1. Cukup jelas. Jika tidak ada/semua orang dengar
gosip maka PASTI keadaan berubah ke tidak ada/semua orang
dengar gosip.

C1i C15−i
Pi,i+1 = 0.1 = 0.01(i)(5 − i),
C25

Pii = 1 − 0.01(i)(5 − i),


untuk i = 1, 2, 3, 4.

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra
Tentang Kuliah Proses Stokastik
Matriks stokastik
Matriks stokastik n-langkah
Lebih jauh tentang matriks stokastik
Rantai Markov
Latihan

 
1 0 0 0 0 0

 0 0.96 0.04 0 0 0 

 0 0 0.94 0.06 0 0 
P= 

 0 0 0 0.94 0.06 0 

 0 0 0 0 0.96 0.04 
0 0 0 0 0 1

Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA5181 PROSES STOKASTIK Bab 4 Matriks Stokastik dan Ra