Anda di halaman 1dari 3

Proses Stokastik Tugas 3 (individu)

Sharah Annisa (3125121986)


Soal:
10. Specify the classes of the following Markov chains, and determine whether they are
transient or recurrent.

P1 =

P3 =

0 1/2 1/2
1/2 0 1/2
1/2 1/2 0

1/2
1/4
1 /2
0
0

0
1 /2
0
0
0

P2 =

0 0
0
0 0
0
1/2 1 /2 0
0
0 1

1/ 2
0 0
1/ 4
0 0
1/2
0
0
0
1/2 1/2
0
1/2 1/2

P4 =

1/4
1/2
0
0
1

1
1
0
0

1/ 4 0 0
1/2 0 0
0 1
0
0 1/3 2 /3
0 0
0

0
0
0
0
0

11. Prove that if the number of state in a Markov chainc is M, and if state j can be reached
from state i, then it can be reached in M steps or less.
12. Show that if state i is recurrent and state i does not communicate with state j, then Pij = 0.
This implies that once a process enters a recurrent class of state it can never leave that class.
For this reason, a recurrent class is often referred to as a closed class.
Answer:
10.
Pada P1 ada state

1 kelas = {0,1,2} maka irreducible dan semua statenya recurrent

Pada P2 ada state

1 kelas = {0,1,2,3} maka irreducible dan semua statenya recurrent

Pada P3 ada state

Terdapat 3 kelas
{0,2} = recurrent
{1}

= transient

{3,4} = recurrent

Pada P4 ada state

Terdapat 4 kelas
{0,1} = recurrent
{2}

= transient

{3}

=transient

{4}

=transient

11. Akan dibuktikan jika rantai markov memiliki jumlah state M , dan state j dapat dicapai
dari state i, maka akan didapat sebanyak M tahap atau kurang dari M.
Pij =

P( X n 1= j X n=i)

Jika dari state i ke j pada state yang berbeda, maka langkahnya kurang dari M.
P i j P i j Pi
0 1

m2 m 1

Dan jika dari state i ke j pada state yang sama (i = j ) maka langkahnya sebanyak M.

Pii =
Pada Recurrent if
n=1
n

dan Transient if

Pnii <
n=1

Apabila i akan mencapain j maka langkahnya sebanyak M-1 langkah.


Maka, terbukti banyaknya jalur transisi sebanyak M tahap atau kurang dari M.

12. Buktikan jika state i recurrent dan tidak communicate dengan state j maka

Pij =0

State i Recurrent maka akan kembali lagi ke i secara terus menerus dan tidak keluar dari kelas
itu, maka disebut kelas tertutup. Pij berjalan dari i ke j dan state i tidak communicate dengan
state j. Maka tidak akan kembali ke i ini. Oleh karenanya hal ini merupakan kontradiksi dari
i. Dengan demikian

Pij =0

dan merupakan kelas tertutup.