Anda di halaman 1dari 3

PROSES STOKASTIK - TUGAS 3 (INDIVIDU)

MELLA APRILIANI

MATEMATIKA
2012

3125120211

10. Specify the classes of the following Markov chains, and determine
whether they are transient or recurrent:
1 1
0
2 2
1
1
P1 =
0
2
2
1 1
0
2 2
1
2
1
4
1
P3=
2

0
1
2
0

1
2
1
4
1
2

1
2
1
2

1
2
1
2

0
0
P2= 1
2
0

0
0
1
2
0

1
4
1
2
P4 =
0

3
4
1
2
0

0 1
0 1
0 0
1 0

0 0

0 0

1
1
3
0

0 0
2
0
3
0 0

Jawab:
10. P1
0

P = {0, 1, 2}
21

Recurrent P2
0

P2= {0, 1, 2, 3}
Recurrent - Irreducible

P3
0

P3= {0, 2}
Recurrent
{1}
Transient
P4
0

2
P4= {0, 1}
Recurrent
{2}
Transient

11. Prove that if the number of states in a Markov chain is M, and if


state j can be reached from state i, then it can be reached in M steps
or less.
Jawab:
Recurrent >> jika ada M states, dengan state yang terdiri dari: 0,
1, 2, , M-2, M-1, dan seluruh statenya saling communicate,
saling accessible satu sama lain, serta berada di dalam satu kelas.
Misal state i adalah 0 dan state j adalah M-1, apabila 0 akan
menuju ke M-1, maka langkah yang bisa dilaluinya adalah
sebanyak M-1 steps (M-1 < M(jumlah steps) < M).
0
1
2

M-2
M-1
.:. TERBUKTI
Transient >> jika ada M states, dengan state yang terdiri dari: 0,
1, 2, , M-2, M-1, dan seluruh statenya transient dari 0 hingga M1. Misal state i adalah 0 dan state j adalah M-1, apabila 0 akan
menuju ke M-1, maka langkah yang bisa dilaluinya adalah
sebanyak M-1 steps (M-1 < M (jumlah steps) < M).
0
1
2

M-2
.:. TERBUKTI

M-1

Dari kedua pembuktian di atas, maka dapat disimpulkan bahwa


jika ada M states, state j dapat diraih atau dijangkau dari state i,

maka akan ada sebanyak M-1 steps untuk meraih atau menjangkau
state j atau kurang dari M steps.
12. Show that if state i is recurrent and state i does not communicate
with state j, then Pij=0. This implies that once a process enters a
recurrent class of state it can never leave that class. For this reason,
a recurrent class is often referred to as a closed class.
Jawab:
n
Jika Pij adalah positif maka Pij akan 0 untuk semua n. Jika tidak,
maka i dan j akan communicate tapi kemudian proses akan dimulai di
i yang memiliki probabilitas positif, jadi P ij tidak akan pernah kembali
ke i dan ini akan terulang, maka Pij = 0.