PENGANTAR PROSES STOKASTIK

TUGAS 3 : RANTAI MARKOV KHUSUS DAN LONG RUN BEHAVIOR

BAB 3
Exercise 5.1
The probability of the thrower winning in the dice game called "craps" is 𝑝 = 0.4929. Suppose
Player A is the thrower and begins the game with $5, and Player B, his opponent, begins with $10.
What is the probability that Player A goes bankrupt before Player B? Assume that the bet is $1 per
round.
Penyelesaian :
Matriks transisi probabilitas diberikan oleh,
𝑢𝑖 = 𝑃{𝑋 mencapai state 0 sebelum state 𝑁|𝑋0 = 𝑖}
𝑁−𝑖 1
,𝑝 = 𝑞 =
𝑁 2
𝑞 𝑖 𝑞 𝑁
= ( ) −( )
𝑝 𝑝
,𝑝 ≠ 𝑞
𝑞 𝑁
{ 1 − (𝑝)
Di sini 𝑝 mewakili probabilitas di mana pemain A akan memenangkan satu kontes.
Peluang bahwa pelempar akan memenangkan permainan:
𝑝 = 0.4929
Maka,
𝑞 =1−𝑝
= 1 − 0.4929
= 0.5071
Pemain A memulai permainan dengan 𝑖 = $5 dan pemain B memulai dengan 𝑁 − 𝑖 = $10. Oleh
karena itu, 𝑁 = $15. Diberikan bahwa taruhannya adalah $1 per putaran.
Di sini, 𝑝 ≠ 𝑞. Oleh karena itu, peluang bahwa Pemain A tidak memiliki uang sepeser pun sebelum
Pemain B adalah
𝑞 𝑖 𝑞 𝑁
(𝑝) − (𝑝)
𝑢𝑖 =
𝑞 𝑁
1 − (𝑝)

0.5071 5 0.5071 15
(0.4929) − (0.4929)
=
0.5071 15
1 − (0.4929)

(1.0288)5 − (1.0288)15
=
1 − (1.0288)15
𝑢1 = 0.71273

Problem 5.1
As a special case of the successive maxima Markov chain whose transition probabilities are given
in equation (5.5), consider the Markov chain whose transition probability matrix is given by
0 1 2 3
0 𝑎0 𝑎1 𝑎2 𝑎3
𝐏= 1 0 𝑎0 + 𝑎1 𝑎2 𝑎3
‖ ‖
2 0 0 𝑎0 + 𝑎1 + 𝑎2 𝑎3
3 0 0 0 1
1
Starting in state 0, show that the mean time until absorption is 𝑣0 = .
𝑎3

Penyelesaian:
Dengan first step analysis, misalkan 𝑇 = 𝑚𝑖𝑛{𝑛 > 0; 𝑋𝑛 = 3} dan 𝑣𝑖 = 𝐸[𝑇|𝑋0 = 𝑖] untuk 𝑖 =
0,1,2. Perhatikan bahwa 𝑣3 = 0, karena waktu yang diharapkan untuk mencapai absorbing state
mengingat bahwa kita sudah berada di sana untuk pertama kalinya adalah 0.
𝑣0 = 1 + 𝑎0 𝑣0 + 𝑎1 𝑣1 + 𝑎2 𝑣2 + 𝑎3 𝑣3
𝑣1 = 1 + 0 ∙ 𝑣0 + (𝑎0 + 𝑎1 )𝑣1 + 𝑎2 𝑣2 + 𝑎3 𝑣3
𝑣2 = 1 + 0 ∙ 𝑣0 + 0 ∙ 𝑣1 + (𝑎0 + 𝑎1 + 𝑎2 )𝑣2 + 𝑎3 𝑣3
Ditambahkan 1 ke setiap persamaan karena diperkirakan akan diperlukan setidaknya satu
langkah lagi sebelum mencapai absorbing state. Selanjutnya, sederhanakan persamaan dan
menggunakan fakta bahwa 𝑣3 = 0 diperoleh:
𝑣0 = 1 + 𝑎0 𝑣0 + 𝑎1 𝑣1 + 𝑎2 𝑣2 … (1)
𝑣1 = 1 + (𝑎0 + 𝑎1 )𝑣1 + 𝑎2 𝑣2 … (2)
𝑣2 = 1 + (𝑎0 + 𝑎1 + 𝑎2 )𝑣2 … (3)
Dicari nilai 𝑣2 dari persamaan (3):
𝑣2 = 1 + (𝑎0 + 𝑎1 + 𝑎2 )𝑣2
[1 − (𝑎0 + 𝑎1 + 𝑎2 )]𝑣2 = 1
1
𝑣2 =
1 − (𝑎0 + 𝑎1 + 𝑎2 )
Substitusi nilai 𝑣2 ke persamaan (2):
1
𝑣1 = 1 + (𝑎0 + 𝑎1 )𝑣1 + 𝑎2 ( )
1 − (𝑎0 + 𝑎1 + 𝑎2 )
1 − (𝑎0 + 𝑎1 )
[1 − (𝑎0 + 𝑎1 )]𝑣1 =
1 − (𝑎0 + 𝑎1 + 𝑎2 )
1
𝑣1 =
1 − (𝑎0 + 𝑎1 + 𝑎2 )
Substitusi nilai 𝑣1 dan 𝑣2 ke persamaan (1):
1 1
𝑣0 = 1 + 𝑎0 𝑣0 + 𝑎1 ( ) + 𝑎2 ( )
1 − (𝑎0 + 𝑎1 + 𝑎2 ) 1 − (𝑎0 + 𝑎1 + 𝑎2 )
1 − 𝑎0
[1 − 𝑎0 ]𝑣0 =
1 − (𝑎0 + 𝑎1 + 𝑎2 )
1
𝑣0 =
1 − (𝑎0 + 𝑎1 + 𝑎2 )
Karena setiap baris dari rantai Markov harus berjumlah satu (distribusi probabilitas), diperoleh
bahwa 𝑎0 + 𝑎1 + 𝑎2 + 𝑎3 = 1 → 𝑎3 = 1 − (𝑎0 + 𝑎1 + 𝑎2 ). Mengganti nilai ini dalam 𝑣0 , maka
1
diperoleh 𝑣0 = 𝑎 .
3

BAB 4
Exercise 1.1
Markov chain 𝑋0 , 𝑋1 , 𝑋2 , … has the transition probability matrix
0 1 2
0 0.7 0.2 0.1
𝐏=
1 ‖ 0 0.6 0.4‖
2 0.5 0 0.5
Determine the limiting distribution.
Penyelesaian:
Persamaan yang menentukan sebaran limiting (𝜋0 , 𝜋1 , 𝜋2 ) adalah
0.7𝜋0 + 0.5𝜋2 = 𝜋0 , … (1)
0.2𝜋0 + 0.6𝜋1 = 𝜋1 , … (2)
0.2𝜋0 + 0.6𝜋1 = 𝜋1 , … (3)
0.2𝜋0 + 0.6𝜋1 = 𝜋1 , … (4)
Salah satu persamaan di atas (1), (2), dan, (3) adalah reduktor karena kendala linier ∑𝑘 𝑃𝑖𝑘 = 1.
Jadi, ambil persamaan (3) dan sederhanakan persamaan yang tersisa seperti yang ditunjukkan di
bawah ini:
Persamaan (1):
0.7𝜋0 + 0.5𝜋2 = 𝜋0
0.7𝜋0 + 0.5𝜋2 − 𝜋0 = 0
(0.7 − 1)𝜋0 + 0.5𝜋2 = 0
−0.3𝜋0 + 0.5𝜋2 = 0
0.5𝜋2 = 0.3𝜋0
0.3
𝜋2 = 𝜋
0.5 0
 𝜋2 = 0.6𝜋0 … (5)
Persamaan (2):
0.2𝜋0 + 0.6𝜋1 = 𝜋1
0.2𝜋0 + 0.6𝜋1 − 𝜋1 = 0
0.2𝜋0 + (0.6 − 1)𝜋1 = 0
0.2𝜋0 − 0.4𝜋1 = 0
−0.4𝜋1 = −0.2𝜋0
−0.2
𝜋1 = 𝜋
−0.4 0
𝜋1 = 0.5𝜋0 … (6)
Setelah persamaan disederhanakan, masukkan nilai 𝜋1 dan 𝜋2 ke dalam persamaan di bawah ini:
𝜋0 + 𝜋1 + 𝜋2 = 1
𝜋0 + 0.5𝜋0 + 0.6𝜋0 = 1
(1 + 0.5 + 0.6)𝜋0 = 1
2.1𝜋0 = 1
1
𝜋0 =
2.1
10
𝜋0 =
21
10
Sekarang masukkan nilai 𝜋0 = 21 ke persamaan (5) dan (6), untuk mendapatkan nilai 𝜋1 dan 𝜋2

seperti di bawah ini:

𝜋1 = 0.5𝜋0
10
= 0.5 ( )
21
5
=
21
dan
𝜋2 = 0.6𝜋0
10
= 0.6 ( )
21
6
=
21
10 5 6
Jadi, nilai-nilai sebaran limiting adalah 𝜋0 = 21, 𝜋1 = 21, dan 𝜋2 = 21.

Exercise 1.2
Markov chain 𝑋0 , 𝑋1 , 𝑋2 , … has the transition probability matrix
 0 1 2
0 0.6 0.3 0.1
𝐏=
1 ‖0.3 0.3 0.4‖
2 0.4 0.1 0.5
Determine the limiting distribution.
Penyelesaian:
0.6𝜋0 + 0.3𝜋1 + 0.4𝜋2 = 𝜋0 , … (1)
0.3𝜋0 + 0.3𝜋1 + 0.1𝜋2 = 𝜋1 , … (2)
0.1𝜋0 + 0.4𝜋1 + 0.5𝜋2 = 𝜋2 , … (3)
𝜋0 + 𝜋1 + 𝜋2 = 1, … (4)
Persamaan (1)
0.6𝜋0 + 0.3𝜋1 + 0.4𝜋2 = 𝜋0
0.4𝜋2 = (1 − 0.6)𝜋0 − 0.3𝜋1
0.4𝜋2 = 0.4𝜋0 − 0.3𝜋1
0.4𝜋0 − 0.3𝜋1
𝜋2 =
0.4
4𝜋0 − 3𝜋1
𝜋2 = … (5)
4
Persamaan (2)
0.3𝜋0 + 0.3𝜋1 + 0.1𝜋2 = 𝜋1
0.3𝜋0 + (0.3 − 1)𝜋1 + 0.1𝜋2 = 0
0.3𝜋0 − 0.7𝜋1 + 0.1𝜋2 = 0
12𝜋0 − 28𝜋1 + 4𝜋2 = 0 … (6)
Substitusi persamaan (5) ke persamaan (6)
12𝜋0 − 28𝜋1 + 4𝜋2 = 0
4𝜋0 − 3𝜋1
12𝜋0 − 28𝜋1 + 4 ( )=0
4
12𝜋0 − 28𝜋1 + (4𝜋0 − 3𝜋1 ) = 0
16𝜋0 − 31𝜋1 = 0
16𝜋0 = 31𝜋1
16
𝜋1 = 𝜋
31 0
Substitusi nilai 𝜋1 ke persamaan (5)
4𝜋0 − 3𝜋1
𝜋2 =
4
16
4𝜋0 − 3 (31 𝜋0 )
𝜋2 =
4
 48
4𝜋0 − 𝜋
𝜋2 = 31 0
4
76
𝜋0
𝜋2 = 31
4
19
𝜋2 = 𝜋
31 0
Substitusi nilai 𝜋1 dan 𝜋2 ke persamaan (4)
𝜋0 + 𝜋1 + 𝜋2 = 1
16 19
𝜋0 + 𝜋0 + 𝜋0 = 1
31 31
66
𝜋 =1
31 0
31
𝜋0 =
66
Gunakan hasil tersebut untuk mencari nilai 𝜋1 dan 𝜋2 :
16
𝜋1 = 𝜋
31 0
16 31
= ( )
31 66
16
=
66
dan
19
𝜋2 = 𝜋
31 0
19 31
= ( )
31 66
19
=
66
31 16 19
Jadi, nilai-nilai sebaran limiting adalah 𝜋0 = 66, 𝜋1 = 66, dan 𝜋2 = 66.

Problem 1.1
Five balls are distributed between two urns, labeled A and B. Each period, an urn is selected at
random, and if it is not empty, a ball from that urn is removed and placed into the other urn. In the
long run, what fraction of time is urn A empty?
Penyelesaian:
Misal 𝑋𝑛 adalah jumlah bola dalam guci A pada waktu 𝑛. Maka 𝑋𝑛 adalah rantai Markov dengan
1 1 1
probabilitas transisi 𝑃𝑖,𝑖+1 = 𝑃𝑖,𝑖−1 = 2 (𝑖 = 1,2,3,4), 𝑃0,0 = 𝑃0,1 = 2, 𝑃5,4 = 𝑃5,5 = 2. Dicari

stationary distribution 𝜋𝑖 dengan menyelesaikan sistem persamaan linear 𝜋𝑖 = 𝑃𝑖−1,𝑖 𝜋𝑖−1 +

1
𝑃𝑖+1,𝑖 𝜋𝑖+1 (𝑖 = 1,2,3,4), 𝜋0 = 𝑃0,0 𝜋0 + 𝑃1,0 𝜋1 , 𝜋5 = 𝑃4,5 𝜋4 + 𝑃5,5 𝜋5. Diperoleh bahwa 𝜋𝑖 = 6
1
untuk semua 𝑖, sehingga 𝜋0 = 6.

Problem 1.2
Five balls are distributed between two urns, labeled A and B. Each period, one of the five balls is
selected at random, and whichever urn it's in, it is moved to the other urn. In the long run, what
fraction of time is urn A empty?
Penyelesaian:
Misal 𝑋𝑛 adalah jumlah bola dalam guci A pada waktu 𝑛.
0 1 2 3 4 5
0 1 0 0 0 0
0 1 4
1 ‖5 0 0 0 0‖
5
2 3
2 0 0 0 0
𝐏= 5 5
‖ ‖
3 2
3 0 0 0 0
5 5
‖0 4 1‖
4 0 0 0
5 5 5
0 0 0 0 1 0
1 5 10
Diperoleh 𝜋0 = 𝜋5 = 32, 𝜋1 = 𝜋4 = 32, 𝜋2 = 𝜋3 = 32.
1
Jadi, 𝜋0 = 32.

Exercise 3.1
A Markov chain has a transition probability matrix
0 1 2 3 4 5 6 7
0 0 1 0 0 0 0 0 0
1 0 0 1 0 0 0 0 0
2 ‖ 0 0 0 1 0 0 0 0‖
𝐏= 3 0 0 0 0 1 0 0 0
‖ ‖
4 0.5 0 0 0 0 0.5 0 0
5 ‖ 0 0 0 0 0 0 1 0‖
6 0 0 0 0 0 0 0 1
7 1 0 0 0 0 0 0 0
(𝑛)
For which integers 𝑛 = 1, 2, … , 20 is it true that 𝑃00 > 0?
What is the period of the Markov chain?
Penyelesaian:
(1)
𝑃00 = 0
(2)
𝑃00 = 0
(3)
𝑃00 = 0
(4)
𝑃00 = 0
(5)
𝑃00 = 0.5
(6)
𝑃00 = 0
(7)
𝑃00 = 0
(8)
𝑃00 = 0.5
(9)
𝑃00 = 0
(10)
𝑃00 =1
(11)
𝑃00 =0
(12)
𝑃00 =0
(13)
𝑃00 = 0.5
(14)
𝑃00 =0
(15) 1
𝑃00 =
8
(16) 1
𝑃00 =
4
(17)
𝑃00 =0
(18) 1
𝑃00 =
8
(19)
𝑃00 =0
(20) 1
𝑃00 =
16
(𝑛)
Himpunan bilangan bulat 𝑛 = 1, 2, … , 20 di mana 𝑃00 > 0 adalah {5,8,10,13,15,16,18,20}.
Periode state ‘0’ adalah 𝑑(0) = 1, pembagi persekutuan terbesar.

Problem 3.2
Show that a finite state aperiodic irreducible Markov chain is regular and recurrent.
Penyelesaian:
Akan ditunjukkan bahwa rantai Markov yang memiliki state terbatas, aperiodic, dan irreducible
adalah reguler dan recurrent. Karena recurrence dan transience adalah properti kelas, rantai
Markov yang irreducible adalah recurrent atau transient. Jika ruang state terbatas, rantai Markov
pasti recurrent. Untuk melihat ini, misalkan bahwa rantai Markov bersifat transient. Dari definisi
transient state, mulai dari sebarang state 𝑖, proses hanya akan mencapai state 𝑖 beberapa kali.
Namun, karena terdapat jumlah state yang terbatas, tidak mungkin proses untuk mencapai setiap
state hanya beberapa kali. Oleh karena itu, jika state terbatas, rantai Markov irreducible pasti
(𝑛)
recurrent. Untuk rantai Markov yang recurrent aperiodic irreducible, 𝐏𝑖𝑗 → 𝜋𝑗 > 0, 𝑛 → ∞ untuk
(𝑛)
semua 𝑖, 𝑗. Sehingga untuk setiap 𝑖, 𝑗, terdapat 𝑁𝑖𝑗 sedemikian sehingga 𝐏𝑖𝑗 > 0 untuk semua 𝑛 >
𝑁𝑖𝑗 . Karena terdapat jumlah state yang terbatas, 𝑁 = max 𝑁𝑖𝑗 juga terbatas, dan untuk semua 𝑛 >
(𝑛)
𝑁, maka 𝐏𝑖𝑗 > 0 untuk semua 𝑖, 𝑗. Hal ini menunjukkan bahwa 𝐏 adalah reguler. Jadi, rantai
Markov yang memiliki state terbatas, aperiodic, dan irreducible adalah reguler dan recurrent.