Proses Stokastik

Semester Ganjil 2013/2014

DR. Rahma Fitriani, S.Si., M.Sc

Perhatikan rantai markov berikut ini

Dengan matriks peluang transisi:

0
P
1
2

0
1

1 2
0 0

0 1

Pada suatu periode n ketika pertama kali Xn di 0 atau 2:

Rantai tersebut tetap berada di 0 atau 2 selamanya
Trapped/Absorbed

First Step Analysis

Digunakan untuk menganalisis:

Berapa lama secara rata-rata proses/rantai

markov akan mencapai state-state tersebut?
Pada contoh: state 0 atau 2.
Berapa lama rantai akan terserap
(absorbed/trapped)
Pada contoh: state 0 dan 2 adalah absorbing
states.

Time to absorption:
T min n 0; X n 0 atau X n 2

Analisis pada time to absorption ke state 0

Digunakan definisi-definisi berikut:

u Pr X T 0 X 0 1
Peluang pada periode T rantai terjebak/terserap di 0,
dengan syarat proses berawal di state 1
Periode T

Periode 0
1

Nilai harapan dari time to absorption

v E T X 0 1

Dari rantai markov tsb, berapapun langkah transisi, ketika

rantai terserap pada state 0 pada periode T, berlaku:

Pr X T 0 X 1 0 1
Pr X T 0 X 1 1 u
Pr X T 0 X 1 2 0

Definisi

Periode 1

Periode 0

Periode T

Transisi satu langkah berawal di

state 1

u Pr X T 0 X 0 1
2

Transisi beberapa langkah dan

berakhir di state 0
(terserap/absorbed)

Pr X 1 k X 0 1 Pr X T 0 X 1 k
k 0

1 u 0

Peluang pada periode T rantai terjebak/terserap di 0,

dengan syarat proses berawal di state 1
u 1 u 0

Dengan sifat:

u u u
1

u

1

Jika terserap di state 2,

peluangnya:

Time to absorption
T min n 0; X n 0 atau X n 2

Paling sedikit satu langkah

Ketika X1=0 atau 2

v E T X 0 1

Tidak ada transisi lanjutan (0 langkah) dengan peluang

masing-masing dan

Ketika X1=1 masih dibutuhkan rata-rata v langkah lagi

menuju 0 atau 2 dengan peluang

v 1 0 v 0
1
v
v 1 v
1

Contoh:

Perhatikan rantai markov berikut ini

1
0

0.
1

0.
6
1

0.
3

Dengan matriks peluang transisi:

1
2

0
P
1
2

Dengan syarat proses berawal di state 1,

tentukan peluang bahwa rantai Markov tsb
berakhir di state 0!

0 1 2
1
0
0
0.1 0.6 0.3

0
0
1

Adalah:

u Pr X T 0 X 0 1

Peluang pada periode T rantai terjebak/terserap di 0,

dengan syarat proses berawal di state 1.
Berdasarkan first step analysis:

u 1 u 0 0.11 0.6 u 0.3 0

0.1
u

0.25

0.1 0.3

Tentukan rata-rata time to absorption!

Dengan definisi T langkah minimum untuk sampai ke
absorbing state, 0 atau 2:

T min n 0; X n 0 atau X n 2

Rata-rata dari T adalah rata-rata time to absorption:

v E T X 0 1

1
1
v

2.5
1 0.6 0.4
Dibutuhkan rata-rata 2.5 langkah untuk terserap di state 0
atau 2

First Step Analysis untuk Rantai Markov

dengan 4 state

Perhatikan rantai markov berikut ini

P13
1

P10
0

P11

P12

1
P20

P22

2
P21

Dengan matriks peluang transisi:

P23

0
P1
2
3

0
1
P10
P20
0

1
0
P11
P21
0

2
0
P12
P22
0

3
0
P13
P23

Pada suatu periode n ketika pertama kali Xn di 0 atau 3:

Rantai tersebut tetap berada di 0 atau 3 selamanya
Trapped/Absorbed
Dengan definisi dari Time to absorption:

T min n 0; X n 0 atau X n 3

Analisis pada time to absorption ke state 0

Digunakan definisi-definisi berikut:

u1 Pr X T 0 X 0 1

u2 Pr X T 0 X 0 2

Nilai harapan dari time to absorption

vE

T X

0.1
1

0.4
0

0.3

0.2

2
0.3

0.1

0.3

0.3

0 1
2
3
0 1
0
0
0

P 1 0.4 0.3 0.2 0.1

2 0.1 0.3 0.3 0.3

3 0
0
0
1

Dari rantai markov tsb, berapapun langkah transisi, ketika

rantai terserap pada state 0 pada periode T, berlaku:

Pr X T 0 X 1 0 1

Pr X T 0 X 1 1 u1

Definisi

Pr X T 0 X 1 2 u2

Definisi

Pr X T 0 X 1 3 0

Berawal dari state1 berakhir di 0

Periode 0
1

0.4

Periode 1

0.3
0.2
0.1

Transisi satu langkah berawal di

state 1

Periode T

0 1
2
3
0 1
0
0
0

P 1 0.4 0.3 0.2 0.1

2 0.1 0.3 0.3 0.3

3 0
0
0
1

0
u1
u2

Transisi beberapa langkah dan

berakhir di state 0
(terserap/absorbed)

u1 Pr X T 0 X 0 1 Pr X 1 k X 0 1 Pr X T 0 X 1 k
3

k 0

0.41 0.3 u1 0.2 u2 0.1 0

u1 0.4 0.3u1 0.2u2 0.7u1 0.4 0.2u2

Berawal dari state 2, berakhir di 0

Periode 0
2

0.1

Periode 1

0.3
0.3
0.3

Transisi satu langkah berawal di

state 2

Periode T

0 1
2
3
0 1
0
0
0

P 1 0.4 0.3 0.2 0.1

2 0.1 0.3 0.3 0.3

3 0
0
0
1

0
u1
u2

Transisi beberapa langkah dan

berakhir di state 0
(terserap/absorbed)

u2 Pr X T 0 X 0 2 Pr X 1 k X 0 2 Pr X T 0 X 1 k
3

k 0

0.11 0.3 u1 0.3 u 2 0.3 0

u2 0.1 0.3u1 0.3u2 0.7u 2 0.1 0.3u1

Dua sistem persamaan untuk dua variabel:

0.7u1 0.4 0.2u2
0.7u2 0.1 0.3u1

Dengan substitusi atau eliminasi, diperoleh solusi sbb:

30
19
u1 , u 2
43
43

Jika rantai berawal di state 1:

Akan terserap di state 0 dengan peluang 30/43
Akan terserap di state 3 dengan peluang (1 - 30/43)=13/43

Jika rantai berawal di state 2:

Akan terserap di state 0 dengan peluang 19/43
Akan terserap di state 3 dengan peluang (1 - 19/43)=24/43

Time to absorption, ketika berawal di state 1

T min n 0; X n 0 atau X n 3

v1 E T X 0 1

v2 E T X 0 2

Ketika berawal di state 1 diperlukan paling sedikit satu

langkah
Ketika X1=0 atau 3 tidak ada transisi lanjutan (0 langkah)
dengan peluang masing-masing P 10 dan P13

Ketika X1=1 masih dibutuhkan rata-rata v1 langkah lagi

menuju 0 atau 3 dengan peluang P 11

Ketika X1=2 masih dibutuhkan rata-rata v2 langkah lagi

menuju 0 atau 3 dengan peluang P 12

v1 1 P10 0 P11 v1 P12 v2 P13 0

v1 1 P11v1 P12 v2

Time to absorption, ketika berawal di state 2

T min n 0; X n 0 atau X n 3

v1 E T X 0 1

v2 E T X 0 2

Ketika berawal di state 2 diperlukan paling sedikit satu langkah

Ketika X1=0 atau 3

Tidak ada transisi lanjutan (0 langkah) dengan peluang

masing-masing P20 dan P23

Ketika X1=1 masih dibutuhkan rata-rata v1 langkah lagi

menuju 0 atau 3 dengan peluang P 21

Ketika X1=2 masih dibutuhkan rata-rata v2 langkah lagi

menuju 0 atau 3 dengan peluang P 22

v2 1 P20 0 P21 v1 P22 v2 P23 0

v2 1 P21v1 P22 v2

Untuk matriks peluang transisi:

0 1
2
3
0 1
0
0
0

P 1 0.4 0.3 0.2 0.1

2 0.1 0.3 0.3 0.3

3 0
0
0
1

Diperoleh dua sistem persamaan untuk dua variabel sbb:

v1 1 0.3v1 0.2v2 0.7v1 1 0.2v2

v2 1 0.3v1 0.3v2 0.7v2 1 0.3v1

Dengan substitusi atau eliminasi diperoleh:

90
100
v1 , v2
43
43

Jika berawal dari state 1, maka secara ratarata akan diperlukan 90/43=2.09 langkah
untuk terserap di state 0 atau 3

Jika berawal dari state 2, maka secara ratarata akan diperlukan 100/43=2.32 langkah
untuk terserap di state 0 atau 3

Probability of absorption In General

For any finite state Markov chain Xn: 0, 1, , N

Some states are transient (non absorbing states): i

Some states are absorbing states: k

For an absorbing state k:

ui U ik PrAbsorption in k X 0 i,
for all i transient states

are the solution of the system of linear equations:

ui U ik Pik
Pik

PU

ij
jTransient

jk

P u , for all i transient states

ij
jtransient

Dari contoh rantai markov 4 state

0 1
2
3
0 1
0
0
0

P 1 0.4 0.3 0.2 0.1

2 0.1 0.3 0.3 0.3

3 0
0
0
1

Transient states : 1,2

Absorbing states : 0,3

2

ui Pi 0 Pij u j , i 1,2
j 1

u1 P10 P11u1 P12u2 0.4 0.3u 0.2u

1
2
u2 P20 P21u1 P22u2 0.1 0.3u1 0.3u2

Hasil yang diperoleh dari pembahasan

sebelumnya

Time to Absorption in General

T min n 0; X n absorbing states
vi E T X 0 i , i transient states

Time to absorption for each transient states is

the solution of the system of linear equations:

vi 1

P v , for all i transient states

ij
jtransient

Dari contoh rantai markov 4 state

0 1
2
3
0 1
0
0
0

P 1 0.4 0.3 0.2 0.1

2 0.1 0.3 0.3 0.3

3 0
0
0
1

Transient states : 1,2

Absorbing states : 0,3

2

vi 1 Pij v j , i 1,2
j 1

v1 1 P11v1 P12v2

1 0.3v1 0.2v2

v2 1 P21v1 P22 v2

1 0.3v1 0.3v2

Hasil yang diperoleh dari pembahasan

sebelumnya

Example: A rat inside a 3 by 3 maze

0

7
Food

8
Shock

Transient states : 0,...,6

Absorbing states : 7,8

0 1 2 3 4 5 6 7 8

0
1
2
3
P
4

1
2

1
3

1
3

1
3
1
4

1
4

1
3

1
3
1
2

1
3

1
3

1
2

1
4

1
3

1
3

1
3

1
3

5
6
7
8

1
3

1
4

1
2

The probability that the rat will be absorbed in the

food compartement 7, depends on its initial position.
The solutions of the following equation system:
6

ui Pi 7 Pij u j , i 0,...,6
j 0
1
2 2

0 1 2 3 4 5 6 7 8

u0 12 u1 u

u1 13 13 u0 13 u3
u2 13 u0 13 u3

u3 14 u1 14 u2 14 u4 14 u5
u4 u3 u6
u5 13 u3 13 u6
u6 12 u4 12 u5
1
3

1
3

1
3

1
2

1
3

1
3

1
3
1
4

1
4

1
3

1
3

1
2

1
3

1
3

1
2

1
4

1
3

1
3

1
3

1
3

1
3

1
4

1
2

u0 12 u1 12 u2

u1 13 13 u0 13 u3

7
Food

8
Shock

u2 u0 u3
1
3

1
3

u3 14 u1 14 u2 14 u4 14 u5
u4 13 13 u3 13 u6
u5 13 u3 13 u6
u6 12 u4 12 u5

By the symmetry of the maze:

u0 u6 , u2 u5 , u1 u4 , u3

1
2

Which simplifies the system,

and leads to the solutions:

u0 u6 12 , u2 u5 13 , u1 u4

2
3

Example: A toss of a coin until 2 successive

heads

Xn: the cumulative number of succesive head up to

the n-th toss
The state: 0, 1, 2
Stop the toss when we get HH
T

P00

P10

0.5

0.5
H

T
0.5

P01

0
P
1
2

0
1 2
0.5 0.5 0
0.5 0 0.5

0
0
1

0.5

P12

The mean time to reach state 2 (the absorbing state)

from state 0:

Mean time to
absorption
0
P
1
2

0
1 2
0.5 0.5 0
0.5 0 0.5

0
0
1

Transient states : 0,1

Absorbing states : 2
1

v0 1 P0 j v j 1 P00v0 P01v1
j 0

1 12 v0 12 v1
1

v1 1 P1 j v j 1 P10v0 P11v1
j 0

1 12 v0 0v1

v0 1 12 v0 12 v1 12 v0 1 12 v1
v1 1 12 v0

By substitution, we get:

v0 6

v1 4

It takes 6 tosses on average to reach state 2

(consecutive heads)