Kuliah ke 5, kamis 1 April 2021

Contoh. Diberikan matriks peluang transisi dengan ruang keadaan adalah { 1,2.3 }
sebagai berikut :

0,6 0,2 0,2

(
P= 0,4 0 0,6
0 0,8 0,2 )
a. Hitunglah P ¿

P ( X 2=3∨x 0=1 ) =p(2) 13

¿ p11 p13+ p 12 p 23 + p13 p 33

¿ 0.28

Distribusi dari X i

Misalkan {X0, X1, X2, . . .} adalah Markov chain dengan

ruang keadaan S={1,2, . . . , N}.Perhatikan setiap X i

adalah variabel acak.

Misalkan distribusi peluang dari Xi ditulis dalam vektor nx 1
.
Untuk contoh Pandang X . Misalkan vektor n×1 vector
0

menyatakan distribusi peluang dari X 0

π1 P ( X 0=1 )

( )( )
π= π 2 = P ( X 0=2 )
⋮
πN
⋮
P ( X 0=N )

Dalam hal ini X 0 berdistribusi π T =( π 1 , π 2 ,… , π N ), π 1+ π 2+ …+π N =1

Selanjutnya bagaimana distribusi peluang dari X 1

N
P ( X 1= j )=∑ P ( X 1= j| X 0=i ) P ( X 0=i)
i =1

N
¿ ∑ Pij π i
i=1

Selanjutnya bagaimana distribusi peluang dari X 2

N
P ( X 2= j )=∑ P ( X 2= j| X 0=i ) P(X 0 =i)
i=1

N
¿ ∑ P2ij π i
i=1

Dan seterusnya distribusi peluang dari X n

N
P ( X n = j )=∑ P ( X n= j| X 0=i ) P( X 0=i)
i=1

N
¿ ∑ Pni j π i
i=1

Contoh. Diberikan keadaan awal X 0 sbb : peluang hujan adalah

0.4 dan peluang tidak hujan adalah 0.6. berapa peluang hujan 4 hari mendatang.

Misalan keadaan 1 adalah hujan dan keadaan 2 tidak hujan.

P00 P01 α 1−α 0.7 0.3

P=
[ P10 P11
=
][
β 1−β
= ][
0.4 0.6 ]
P ( X 4 =1 ) =? ?

P ( X 4 =1 ) =¿

π 1=P ( X 0 =1 )=0.4

π 2=P ( X 0 =2 )=0.6

P ( X 4 =1 ) =π 1 P411 + π 2 P21
4

Klasifikasi Ruang keadaan

Keadaan j dikatakan dapat dicapai dari keadaan i jika terdapat n ≥ 0 sehingga
Pij n> 0. Jika keadaan j dapat dicapai dari keadaan i dan keadaan i dapat dicapai
dari keadaan j , maka keadaan i dan j dikatakan saling berkomunikasi , dan
dinotasikan dengan i ⟷ j.

Contoh 1. Misalkan rantai markov dengan ruang keadaan { 0,1,2,3 } dengan

matriks peluang transisi sebagai berikut:

0 0 1 0

(
P= 0.15 0.8 0 0.05
0.2 0.3 0.3 0.05
0 0 0.3 0.7
)
Apakah semua keadaan dari RM tersebut saling berkomunikasi

0 ↔ 1:karena P201> 0 dan P 10> 0.

0 ↔ 2: karena P02 >0 , P 20>0

0 ↔ 3: karena P203 >0 , P230> 0

Proposisi. Konsep keadaan yang saling berkomunikasi merupakan suatu relasi
ekivalen.

(i) Relasi refleksif. i↔ i. Karena : P { X n =i| X n=i }=P 0ii=1> 0

(ii) Relasi sismetris : jika i↔ j , ma ka j↔ i
(iii) Relasi transitif jika i↔ j dan j ↔ k , makai↔ k

Dengan relasi ekivalen tersebut , maka ruang keadaan suatu RM akan terdiri
dari kelas-kelas ekivalen.

Jika suatu RM hanya memiliki satu kelas ekivalen, artinya semua keadaannya
saling berkomunikasi, maka RM tersebut dinamakkan irreducible

Contoh 2. Perhatikan Contoh 1. Merupan contoh RM yg irreducible.

Contoh 3. . Misalkan rantai markov dengan ruang keadaan { 1,2,3,4 } dengan

matriks peluang transisi sebagai berikut:

3 /4 0 1/ 4 0

(
P= 0.5
0
1
0 0.5
0 3 /4
0 0
0
1/4
0
)
Tentukan kelas-kelas ekivalen yg menyatakan komunikasi antar keadaan RM
tersebut.

Kelas2 ekivalennya adalah : { 1,3,4 } dan { 2 }

Misalkan f ii menyatakan peluang suatu RM yang berada pada keadaan i

dimana pada suatu saat akan kembali pada keadaan i.

Keadaan i dikatakan recurrent jika f ii =1. Kemudian dikatakan transient jika f ii<1
.
Contoh 4. Perhatikan contoh 3. Keadaan 1 bersifat transient .

∞ ∞

Teorema. Keadaan i adalah reccurent jika ∑ Piin=∞ dan transient jika ∑ Piin <∞
n =1 n =1

Akibat : Misalkan keadaan i adalah reccurent . Jika keadaan i saling

berkomunikasi dengan keadaan j , maka keadaan j juga reccurent .

Proposisi. Misalkan { X n , n=0,1 , … } adalah suatu rantai markov dengan ruang

keadaan yg terbatas. Maka tidak semua keadaan dari RM tersebut bersifat
transient .

Contoh. Diberikan matriks peluang transisi sebagai berikut

0 0 1/2 1 /2

(
1
P¿ 0
0
0
1
1
0 0
0 0
0 0
)
Maka setiap keadaan adalah bersifat recurrent

Jawaban

Iya. Alasan : setiap keadaan diatas saling berkomunikasi.

Jadi menurut akibat diatas, maka setiap keadaan bersifat recurent.