Contoh
Perhatikan banyaknya kelahiran di suatu
tempat pada suatu hari. Bila Xt adalah
banyaknya kelahiran pada (0,t) dengan t
[0,1440], maka kumpulan dari Xt adalah
proses stokastik.
RANTAI MARKOV
Definisi
Proses Markov adalah proses stokastik yang
mempunyai sifat bahwa jika nilai X t telah diketahui,
maka Xs di mana s > t tidak dipengaruhi oleh X u di
mana u < t.
Definisi tersebut memiliki arti bahwa fenomena
masa datang hanya dipengaruhi oleh fenomena
masa sekarang dan tidak dipengaruhi oleh masa
lalu.
Rantai Markov dengan waktu diskret (Diskret Time
Markov Chain) adalah suatu proses markov dengan
waktu diskret dan Xt memiliki nilai diskret.
00
01
02
03
P10
P20
P11
P21
P12
P22
P13
P23
Pi 0
Pi1
Pi 2
Pi 3
dan
ij
untuk i = 0, 1, 2,
0 1
n 2 , i n 1
Pin1 , in
=P(Xm+n=j|Xm=i).
Pik Pkj( n 1)
(n)
ij
P
Di mana
k 0
1, i j
0, i j
Pij( 0 )
P
nfaktor
1
a
0 ab
n
lim P
n
1 a
ab
b
ab
b
ab
P
5
0.6114 0.3886
0.4350 0.5650
0.5220 0.4780
0.5350 0.4560
P
3
P
6
0.4932 0.5068
0.5673 0.4327
0.5307 0.4693
0.5253 0.4747
P4
0.5328 0.4572
0.5117 0.4883
P7
0.5271 0.4729
0.5294 0.4706
Theorema
Misalkan P adalah matriks peluang transisi
suatu rantai markov regular dengan state 0,
1, 2, , N, maka limiting probability
distribution =(0, 1, 2, ,N) adalah solusi
unik dari sistem persamaan berikut
i 1
= P dan i
Contoh
Bila diketahui rantai markov dengan matriks
peluang transisi
01 2
0 0.4
0.5
0.1
P 1 0.05
0.7
0.25
Jawab
=P
0
0
1 2 0 1
0 1 2 1