Kuliah ke-4, kamis 11 Maret 2021

RANTAI MARKOV

Secara formal proses stokastik X ={ X ( t ) , t ∈ T } didefinisikan sebagai sebuah

barisan peubah acak, yaitu untuk setiap t ∈ T kita punya peubah acak X ( t ) .
Biasanya indeks t menyatakan waktu, karena banyak sekali prorses stokastik
yang terjadi pada sautu selang waktu. Nilai peubah acak X ( t ) dinamakan
keadaan pada saat t . Himpunan T disebut ruang parameter dari proses
stokastik X dan Himpunan semua nilai X (t) dinamakan ruang keadaan dari X .

Misalkan proses stokastik { X n , n=0,1 … .. } yang mempunyai ruang keadaan

berupa himpunan berhinnga atau himpunan terbilang. Misalkan pada waktu n
proses tersebut berada di keadaan i, maka dituliskan kejadian ini sebagai X n=i

P ( X n +1= j| X 0=i 0 , … , X n−1=i n−1 , X n =i ) = P ( X n +1= j| X n=i )=Pij , (1)

Untuk setiap keadaan i 0 ,i1 ,… , i n−1 ,i , j dan n=0,1,2 , …,
Pij adalah adalah peluang transisi dari keadaan i ke keadaan j . (peluang transisi
saru langkah)

Dengan sifat seperti yang dituliskan di persamaan (1), proses stokastik

{ X n , n=0,1 … .. } dinamakan rantai markov

Catatan : Model Rantai Markov ditemukan oleh seorang ilmuwan Rusia

bernama Andrey Andreyevich Markov pada tahun 1906.

Dari definisi dapat dilihat :

Apabila diketahui proses berada dalam suatu keadaan tertentu, maka peluang

berkembangnya proses dimasa mendatang hanya tergantung pada keadaan
saat ini dan tidaktergantung pada keadaan sebelumnya, atau dengan
katalain rantai Markov adalah rangkaian proses kejadian dimana peluang
bersyarat kejadian yang akan  datang tergantung pada kejadian  sekarang.
Matriks peluang transisi.

Misalkan proses stokastik { X n , n=0,1 … .. } suatu rantai markov dengan ruang

keadaan { 0,1 , … }. Matriks peluang transisi (satu langkah) dari

{ X n , n=0,1 … .. } , dinotasikan dengan Padalah matririks dengan elemen ke ( i , j ) nya

adalah Pij .

Dalam hal ini

P00 P01 P02 …

P
(
P= 10
P11 P12 …
P20 P21 P22 …
⋮ ⋮ ⋮ ⋱
)
disebut matriks transisi rantai Markov (Howard and Rorres, 2004).

elemen-elemen dari matriks P bernilai tak negatif dan jumlah elemen-elemen

pada satu baris di matriks peluang transisi ini harus sama dengan 1.

Contoh 1. Misalkan kemungkinan hujan besok tergantung pada kondisi cuaca

sebelumnya hanya melalui apakah hujan turun hari ini dan bukan pada kondisi
cuaca sebelumnya. Misalkan bahwa jika hujan hari ini, maka akan hujan besok
dengan peluang α dan jika tidak hujan hari ini, maka besok akan hujan dengan
peluang β . Misalkan bahwa prosesnya dalam keadaan 0 ketika hujan dan
menyatakan 1 saat tidak hujan, maka proses tersebut adalah rantai markov,
dengan matriks peluang transisinya adalah...........

Contoh 2. Misalkan hujan turun hari ini atau tidak tergantung pada kondisi
cuaca sebelumnya selama dua hari terakhir. khususnya, anggaplah jika hujan
turun selama dua hari terakhir, maka hujan akan turun besok dengan peluang
0,7. jika hujan turun hari ini tetapi tidak kemarin, maka hujan besok akan turun
dengan peluang 0,5. jika hujan kemarin tapi tidak hari ini, maka besok akan
hujan dengan peluang 0.4.jika belum hujan dalam dua hari terakhir, maka
besok akan hujan dengan peluang 0.2.
jika kita membiarkan negara pada waktu n hanya bergantung pada cuaca atau
tidak hujan pada waktu n, maka model di atas bukanlah rantai markov. Namun
kita dapat mengubah model di atas menjadi rantai markov dengan
mengatakan bahwa keadaan kapan saja ditentukan oleh kondisi cuaca selama
hari itu dan hari sebelumnya.
nyatakan 0 jika hujan hari ini dan kemarin
nyatakan 3 jika tidak hujan kemarin atau hari ini

Contoh 3. Misalkan di suatu daeah terdapat dua stasiun televisi yaitu stasiun A
dan B. Suatu lembaga telah mengadakan beberapa kali survey kepada
penonton Tv di daerah tersebut untuk menentukan stasiun Tv mana yang lebih
diminati dan bagaimana perilaku penonton Tv tersebut. Survey pertama
memberikan informasi bahwa 40 % penonton di daerah tersebut menonton
stasiun A dan 60 % menonton stasuin B. Survey beriutnya memeberi informasi
bahwa setiap minggunya 15 % dari penonton stasiun A beralih menonton
siaran dari stasiun B dan 5 % dari stasui B beralih menonton siran dari stasiun
A, Asumsikan jumlah penonton Tv di daerah tersebut tetap.

Persamaan Chapman-Kolmogrov
Masalah : bagaimana peluang proses yang berada pada keadaan i akan berada
pada keadan j setelah proses mengalami n transisi. Dinotasikan Pij n.

Pij n= P ( X n +m= j| X m =i ) , n ≥ 0 ,i , j ≥0

Selanjutnya dapat dilihat bahwa untuk menghitung peluang transisi dalam n

langkah sbb:
∞
Pij n+m =∑ Pik n Pkjm , untuk setiap n , m≥ 0 , ∀ i , j (2)
k=0

Persamaan (2) dikenal dengan Persamaan Chapman-Kolmogrov

Misalkan P(n ) menyatakan matriks peluang transisi n langkah Pij n

Dari persamaan (2) diperoleh

P(n +m) =P(n) . P(m)

P(2 )=P(1+ 1)=P . P

P(n )=P(n−1 +1)=Pn−1 . P=P(n)

Dalam hal ini matriks peluang transisi dalam n langkah dapat diperoleh dengan
mengalikan matriks peluang transisi satu langkah sebanyak n kali.

Contoh 4. Dari contoh 1 diatas hitunglah peluang bahwa hujan akan turun
empat hari dari hari ini mengingat hari ini hujan, dengan α =0.7 dan β=0.4

Contoh 5. Dari contoh 2 misalkan hujan turun pada hari Senin dan Selasa.
berapa peluang bahwa itu akan hujan pada hari Kamis

Catatan : karena hujan pada hari Kamis setara dengan proses dalam keadaan 0
atau keadaan 1 pada hari Kamis
Contoh 6.dari contoh 3. Tentukan distribusi penonton Tv di daerah yg diteliti ,
lima minggu setelah survey pertama berlangsung