Tugas Personal ke-1

Minggu ke 2, Sesi ke 3

1. Misalkan terdapat 3 bola merah dan 3 bola putih yang disebar merata ke dalam dua kotak.
Disetiap langkahnya, masing-masing sebuah kelereng diambil dari kotak-kotak tersebut
dan kemudian ditukar. Misalkan menyatakan state dari sistem setelah n langkah/step.
Tentukan beberapa pertanyaan berikut:

a. Apakah rantai markov? Jelaskan.

b. Tentukan matriks transisi P.

c. Tentukan state recurrent atau transient, dan kelas statenya.

Jawab:

a. merupakan rantai markov karena:

 Peluang transisi pada setiap baris state adalah 1

 Peluang transisinya tidak berubah
 Peluang transisinya hanya tergantung pada state sekarang bukan pada state
periode sebelumnya

b. State 0 = ada 0 buah bola merah pada kotak I (ada 3 buah bola putih)

State 1 = ada 1 buah bola merah pada kotak I

State 2 = ada 2 buah bola merah pada kotak I

State 3 = ada 3 buah bola merah pada kotak I

Ilustrasi dari state:

Kotak I Kotak II

State 0

State 1

STAT6128 – Stochastic Processes

 State 2

State 3

 State 0 hanya dapat bertransisi ke state 1 dengan peluang 1, karena jika dilakukan
pengambilan 1 bola dari masing-masing kotak maka pasti terambil 1 bola putih di
kotak I dan 1 bola merah di kotak II, bila ditukar maka akan seperti state 1,
sehingga P = 1
 State 1 mungkin bertransisi ke:
State 0 dengan peluang P = × =
State 2 dengan peluang P = × =
State 1 dengan peluang P = × + × =
 State 2 mungkin bertransisi ke:
State 1 dengan peluang P = × =
State 3 dengan peluang P = × =
State 2 dengan peluang P = × + × =
 State 3 hanya dapat bertransisi ke state 2 dengan peluang 1, karena jika dilakukan
pengambilan 1 bola dari masing-masing kotak maka pasti terambil 1 bola merah
di kotak I dan 1 bola putih di kotak II, bila ditukar maka akan seperti state 2,
sehingga P = 1
0 1 0 0
0
Sehingga matriks transisi P =
0
0 0 1 0
c. Kelas state dari rantai markov-nya adalah {0}, {1,2} dan {3}
State 0:
∑ = + + + +⋯

STAT6128 – Stochastic Processes

 =0+ + + +⋯
= ∞ (state 0 dikatakan recurrent)

State 1:
∑ = + + + +⋯
= + + + +⋯
= ∞ (state 1 dikatakan recurrent)
State 2:
∑ = + + + +⋯
= + + + +⋯
= ∞ (state 2 dikatakan recurrent)
State 3:
∑ = + + + +⋯
= 0+ + + +⋯
= ∞ (state 3 dikatakan recurrent)

2. Misalkan diberikan matriks transisi satu step seperti berikut:

a. b. c.

Tentukan kelas state dari masing-masing poin a, b dan c. Kemudian tentukan apakah state
recurrent atau transient?

Jawab:

a. Kelas state dari rantai markov-nya adalah {0,1,2,3}

State 0:
∑ = + + + +⋯
= 0.1 + 0.16 + 0.18 + 0.17 + ⋯
= ∞ (state 0 dikatakan recurrent)

STAT6128 – Stochastic Processes

 State 0 sampai state 3 saling berkomunikasi jadi semua state merupakan state
recurrent seperti state 0.
b. Kelas state dari rantai markov-nya adalah {0}, {1}, {2} dan {3}
State 0:
∑ = + + + +⋯
=0+0+0+1+⋯
1 < ∞ (state 0 dikatakan transient)
State 1:
∑ = + + + +⋯
= 0+0+0+1+⋯
1 < ∞ (state 1 dikatakan transient)
State 2:
∑ = + + + +⋯
= 0+0+0+1+⋯
1 < ∞ (state 2 dikatakan transient)
State 3:
∑ = + + + +⋯
= 0+0+0+1+⋯
1 < ∞ (state 3 dikatakan transient)

c. Kelas state dari rantai markov-nya adalah {0}, {1}, {2,3}

State 0:
∑ = + + + +⋯
=0+0+1+0+⋯
1 < ∞ (state 0 dikatakan transient)
State 1:
∑ = + + + +⋯
= 0+0+1+0+⋯
1 < ∞ (state 1 dikatakan transient)
State 2:
∑ = + + + +⋯
= 0 + 0 + 0.4 + 0 + ⋯
0.4 < ∞ (state 2 dikatakan transient)

STAT6128 – Stochastic Processes

State 3:
∑ = + + + +⋯
= 0 + 0 + 0.6 + 0 + ⋯
0.6 < ∞ (state 3 dikatakan transient)

Manakah diantara Rantai Markov dengan waktu diskrit di atas yang merupakan Rantai
Markov tak tereduksi? Tentukan apakah
Jawab: Rantai Markov poin a merupakan rantai Markov tak tereduksi karena hanya
ada 1 kelas state atau semua state saling berkomunikasi.

STAT6128 – Stochastic Processes