Anda di halaman 1dari 59

RANTAI MARKOV DENGAN WAKTU DISKRET

KLASIFIKASI STATE

I Wayan Mangku & Hadi Sumarno

Departemen Matematika FMIPA IPB

18 April 2011

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 1 / 22


KLASIFIKASI STATE: STATE YANG TERAKSES,
KOMUNIKATIF, IRREDUCIBLE, PENYERAP

De…nition
Accessible State

Suatu state j disebut terakses (accessible) dari state i, kita tulis


i ! j, jika ada minimal sebuah bilangan bulat k 0 sehingga
(k )
pij > 0.

1 1

2 2

i . .
j
. .

. .

n n

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 2 / 22


Bukti Matematis

Artinya, state j terakses dari state i jika dan hanya jika dimulai dari state
i, sistem memungkinkan untuk sampai ke state j

Ini adalah benar, sebab jika state j tidak terakses dari state i, maka
P(proses pernah ke state j jdimulai dari state i)
[∞
=P(
n =0
fXn = j jX0 = i g)
∞ ∞
∑ P (Xn = j jX0 = i ) = ∑ pij
(n )
=0
n =0 n =0

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 3 / 22


Dua State Saling Berkomunikasi

De…nition
Berkomunikasi

Dua sate i dan j disebut berkomunikasi (commmunicate), kita tulis i


$ j,jika state i dapat diakses dari state j dan state j dapat diakses
dari state i.
De…nition
Kelas dari state
Suatu kelas dari state adalah suatu himpunan tak kosong C sehingga
semua pasangan state yang merupakan anggota dari C adalah
berkomunikasi satu dengan yang lainnya, serta tidak ada state yang
merupakan anggota C yang berkomunikasi dengan suatu state yang
bukan anggota dari C.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 4 / 22


Kelas dari State (Himpunan Tertutup) dari State

Kelas dari state kadangkala disebut sebagai himpunan tertutup dari


state.
Jika C adalah suatu kelas (himpunan tertutup) dari state maka
berlaku bahwa pij = 0 untuk 8i 2 C dan j 2/ C.
Sembarang state adalah berkomunikasi dengan dirinya sendiri, karena
(0 )
pij = P (X0 = i )jX0 = 1) = 1.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 5 / 22


Sifat Berkomunikasi dari State

1 State i berkomunikasi dengan state i untuk semua i 0.


2 Jika state i berkomunikasi dengan state j, maka state j berkomunikasi
dengan state i.
3 Jika state i berkomunikasi dengan state j, dan state j berkomunikasi
dengan state k, maka state i berkomunikasi dengan state k.
Bukti (3). Karena i $ j,dan j $ k, maka i ! j dan j ! k, maka ada
m, n 2 Z sehingga
(n ) (m )
pij > 0 dan pjk > 0.
Dari persamaan Chapman-Kolmogorov didapat

∑ pir
(n +m ) (n ) (m ) (n ) (m )
pik = prk pir prk . > 0
r =0
Artinya, state k terakses dari state i.(i ! k ).
Sebaliknya, berdasarkan fakta bahwa j ! i dan k ! j,dapat ditunjukkan
pula bahwa i terakses dari k (k ! i ).
Oleh karena itu, state i dan k saling berkomunikasi.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 6 / 22


Sifat Kelas

Berdasarkan sifat (1) , (2) dan (3), maka untuk sembarang dua kelas
state hanya berlaku salah satu dari dua hal, yaitu kedua kelas tersebut
lepas (disjoint) atau identik.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 7 / 22


Sifat Kelas

Berdasarkan sifat (1) , (2) dan (3), maka untuk sembarang dua kelas
state hanya berlaku salah satu dari dua hal, yaitu kedua kelas tersebut
lepas (disjoint) atau identik.
Dengan kata lain, konsep dari berkomunikasi membagi ruang state
atas sejumlah kelas yang saling lepas.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 7 / 22


Sifat Kelas

Berdasarkan sifat (1) , (2) dan (3), maka untuk sembarang dua kelas
state hanya berlaku salah satu dari dua hal, yaitu kedua kelas tersebut
lepas (disjoint) atau identik.
Dengan kata lain, konsep dari berkomunikasi membagi ruang state
atas sejumlah kelas yang saling lepas.
De…nitions
De…nisi 6. Suatu rantai Markov disebut tak tereduksi (irreducible) jika
hanya terdapat satu kelas state (satu himpunan tertutup state), yaitu jika
semua state-nya berkomunikasi satu dengan yang lainnya.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 7 / 22


Sifat Kelas

Berdasarkan sifat (1) , (2) dan (3), maka untuk sembarang dua kelas
state hanya berlaku salah satu dari dua hal, yaitu kedua kelas tersebut
lepas (disjoint) atau identik.
Dengan kata lain, konsep dari berkomunikasi membagi ruang state
atas sejumlah kelas yang saling lepas.
De…nitions
De…nisi 6. Suatu rantai Markov disebut tak tereduksi (irreducible) jika
hanya terdapat satu kelas state (satu himpunan tertutup state), yaitu jika
semua state-nya berkomunikasi satu dengan yang lainnya.

De…nitions
De…nisi 7. Suatu state i disebut state penyerap (absorbing state) jika pii
=1

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 7 / 22


Contoh 6. Kelas Tidak Tereduksi

Diberikan
0 1 rantai Markov tiga state sebagai berikut.
1
2
3 3 0
P=@ 14 12 14 A
0 21 12
State 1 terakses dari state 0 karena p01 ( 23 ) > 0,dan state 0 terakses
dari state 1 karena p10 ( 14 ) > 0. Maka 0 $ 1.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 8 / 22


Contoh 6. Kelas Tidak Tereduksi

Diberikan
0 1 rantai Markov tiga state sebagai berikut.
1
2
3 3 0
P=@ 14 12 14 A
0 21 12
State 1 terakses dari state 0 karena p01 ( 23 ) > 0,dan state 0 terakses
dari state 1 karena p10 ( 14 ) > 0. Maka 0 $ 1.
State 2 terakses dari state 1 karena p12 ( 14 ) > 0,dan state 1 terakses
dari state 2 karena p21 ( 12 ) > 0. Maka 1 $ 2.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 8 / 22


Contoh 6. Kelas Tidak Tereduksi

Diberikan
0 1 rantai Markov tiga state sebagai berikut.
1
2
3 3 0
P=@ 14 12 14 A
0 21 12
State 1 terakses dari state 0 karena p01 ( 23 ) > 0,dan state 0 terakses
dari state 1 karena p10 ( 14 ) > 0. Maka 0 $ 1.
State 2 terakses dari state 1 karena p12 ( 14 ) > 0,dan state 1 terakses
dari state 2 karena p21 ( 12 ) > 0. Maka 1 $ 2.
State 2 terakses dari state 0 karena 0 ! 1 dan 1 ! 2. State 0
terakses dari state 2 karena 2 ! 1 dan 1 ! 0. Maka 0 $ 2.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 8 / 22


Contoh 6. Kelas Tidak Tereduksi

Diberikan
0 1 rantai Markov tiga state sebagai berikut.
1
2
3 3 0
P=@ 14 12 14 A
0 21 12
State 1 terakses dari state 0 karena p01 ( 23 ) > 0,dan state 0 terakses
dari state 1 karena p10 ( 14 ) > 0. Maka 0 $ 1.
State 2 terakses dari state 1 karena p12 ( 14 ) > 0,dan state 1 terakses
dari state 2 karena p21 ( 12 ) > 0. Maka 1 $ 2.
State 2 terakses dari state 0 karena 0 ! 1 dan 1 ! 2. State 0
terakses dari state 2 karena 2 ! 1 dan 1 ! 0. Maka 0 $ 2.
Karena state 0, 1, dan 2 saling berkomunikasi, maka rantai Markov
tersebut tidak tereduksi.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 8 / 22


Contoh 7. Kelas Rantai Markov

Diberikan rantai Markov empat state sebagai berikut.


0 1 2 1
3 3 0 0
B 1 1 0 0 C
P= B 2 2
@ 1 1 1 1 A
C
4 4 4 4
0 0 0 1
State 0 $ 1,karena 0 ! 1 dan 1 ! 0. Sedangkan state 0= 2, &
1 = 2 karena 0 atau 1 dapat diakses dari 2, tetapi state 2 tidak dapat
diakses dari 0 atau 1. Artinya state 2 tidak sekelas dengan state 1.
Karena state 3 merupakan state penyerap, maka tidak ada state yang
dapat diakses dari state 3. Artinya state 3 tidak sekelas dengan state
0 & 1, atau state 2. Sehingga kelas dari rantai Markov adalah
{0,1},{2},{3}.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 9 / 22


Contoh 7. Kelas Rantai Markov

1/3 1/2

2/3

1/2

1/4 1/4
1 1/4

1/4

.
IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 10 / 22
First-Passage Time Probability
(n )
Misalkan fi ,j menyatakan peluang bahwa, mulai dari state i, proses
bertransisi untuk pertama kalinya ke state j, dan terjadi pada waktu
n, yaitu

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 11 / 22


First-Passage Time Probability
(n )
Misalkan fi ,j menyatakan peluang bahwa, mulai dari state i, proses
bertransisi untuk pertama kalinya ke state j, dan terjadi pada waktu
n, yaitu
(n )
fi ,j = P (Xn = j, Xk 6= j, 8 1 k n 1 j X0 = 1 )

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 11 / 22


First-Passage Time Probability
(n )
Misalkan fi ,j menyatakan peluang bahwa, mulai dari state i, proses
bertransisi untuk pertama kalinya ke state j, dan terjadi pada waktu
n, yaitu
(n )
fi ,j = P (Xn = j, Xk 6= j, 8 1 k n 1 j X0 = 1 )
dan

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 11 / 22


First-Passage Time Probability
(n )
Misalkan fi ,j menyatakan peluang bahwa, mulai dari state i, proses
bertransisi untuk pertama kalinya ke state j, dan terjadi pada waktu
n, yaitu
(n )
fi ,j = P (Xn = j, Xk 6= j, 8 1 k n 1 j X0 = 1 )
dan
(0 )
fi ,j = 0

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 11 / 22


First-Passage Time Probability
(n )
Misalkan fi ,j menyatakan peluang bahwa, mulai dari state i, proses
bertransisi untuk pertama kalinya ke state j, dan terjadi pada waktu
n, yaitu
(n )
fi ,j = P (Xn = j, Xk 6= j, 8 1 k n 1 j X0 = 1 )
dan
(0 )
fi ,j = 0
untuk semua i, j 2 f0, 1, 2, 3, .....g.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 11 / 22


First-Passage Time Probability
(n )
Misalkan fi ,j menyatakan peluang bahwa, mulai dari state i, proses
bertransisi untuk pertama kalinya ke state j, dan terjadi pada waktu
n, yaitu
(n )
fi ,j = P (Xn = j, Xk 6= j, 8 1 k n 1 j X0 = 1 )
dan
(0 )
fi ,j = 0
untuk semua i, j 2 f0, 1, 2, 3, .....g.
Selanjutnya untuk setiap i, j 2 f0, 1, 2, 3, .....g kita de…nisikan

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 11 / 22


First-Passage Time Probability
(n )
Misalkan fi ,j menyatakan peluang bahwa, mulai dari state i, proses
bertransisi untuk pertama kalinya ke state j, dan terjadi pada waktu
n, yaitu
(n )
fi ,j = P (Xn = j, Xk 6= j, 8 1 k n 1 j X0 = 1 )
dan
(0 )
fi ,j = 0
untuk semua i, j 2 f0, 1, 2, 3, .....g.
Selanjutnya untuk setiap i, j 2 f0, 1, 2, 3, .....g kita de…nisikan


∑ fi ,j
(n )
fij = (1)
n =1

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 11 / 22


First-Passage Time Probability
(n )
Misalkan fi ,j menyatakan peluang bahwa, mulai dari state i, proses
bertransisi untuk pertama kalinya ke state j, dan terjadi pada waktu
n, yaitu
(n )
fi ,j = P (Xn = j, Xk 6= j, 8 1 k n 1 j X0 = 1 )
dan
(0 )
fi ,j = 0
untuk semua i, j 2 f0, 1, 2, 3, .....g.
Selanjutnya untuk setiap i, j 2 f0, 1, 2, 3, .....g kita de…nisikan


∑ fi ,j
(n )
fij = (1)
n =1

Jadi, untuk setiap i, j 2 f0, 1, 2, 3, .....g, fij menyatakan peluang


bahwa suatu proses yang dimulai pada state i akan pernah bertransisi
ke state j.
IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 11 / 22
IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 12 / 22
,

State yang Recurent (berulang)


De…nition
De…nisi 8. State i disebut recurrent (berulang) jika fii = 1, dan disebut
transient jika fii < 1.)

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 12 / 22


State yang Recurent (berulang)
De…nition
De…nisi 8. State i disebut recurrent (berulang) jika fii = 1, dan disebut
transient jika fii < 1.)

Untuk setiap state i, fii menyatakan peluang bahwa suatu proses yang
dimulai pada state i akan pernah bertransisi kembali ke state i.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 12 / 22


State yang Recurent (berulang)
De…nition
De…nisi 8. State i disebut recurrent (berulang) jika fii = 1, dan disebut
transient jika fii < 1.)

Untuk setiap state i, fii menyatakan peluang bahwa suatu proses yang
dimulai pada state i akan pernah bertransisi kembali ke state i.
Jika state i recurrent, maka dengan peluang 1, proses itu akhirnya
akan masuk kembali ke state i. Akan tetapi, berdasarkan de…nisi
rantai Markov, kita peroleh bahwa ketika proses itu masuk kembali ke
state i maka proses tersebut dimulai lagi. Jadi jika state i adalah
recurrent, maka proses yang dimulai dari state i akan berulang kali
masuk kembali ke state i, dan pada kenyataannya akan kembali ke
state i sebanyak tak hingga kali.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 12 / 22


State yang Recurent (berulang)
De…nition
De…nisi 8. State i disebut recurrent (berulang) jika fii = 1, dan disebut
transient jika fii < 1.)

Untuk setiap state i, fii menyatakan peluang bahwa suatu proses yang
dimulai pada state i akan pernah bertransisi kembali ke state i.
Jika state i recurrent, maka dengan peluang 1, proses itu akhirnya
akan masuk kembali ke state i. Akan tetapi, berdasarkan de…nisi
rantai Markov, kita peroleh bahwa ketika proses itu masuk kembali ke
state i maka proses tersebut dimulai lagi. Jadi jika state i adalah
recurrent, maka proses yang dimulai dari state i akan berulang kali
masuk kembali ke state i, dan pada kenyataannya akan kembali ke
state i sebanyak tak hingga kali.
Berdasarkan argumen di atas, kita peroleh bahwa state i adalah
recurrent (berulang) jika dan hanya jika, untuk suatu proses yang
mulai dari state i, nilai harapan dari banyaknya kunjungan proses
tersebut ke state i adalah tak terhingga.
IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 12 / 22
State yang Recurrent/Transient: banyaknya kunjungan
takhingga/terhingga

Jika state i transient, maka setiap proses itu memasuki state i, maka
ada peluang positif, yaitu (1 fii ), bahwa proses tersebut tidak akan
pernah kembali ke state i.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 13 / 22


State yang Recurrent/Transient: banyaknya kunjungan
takhingga/terhingga

Jika state i transient, maka setiap proses itu memasuki state i, maka
ada peluang positif, yaitu (1 fii ), bahwa proses tersebut tidak akan
pernah kembali ke state i.
Jadi, jika proses mulai dari state i, peluang bahwa proses akan berada
(n 1 )
pada state i tepat n kali periode adalah fii (1 fii ), n 1.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 13 / 22


State yang Recurrent/Transient: banyaknya kunjungan
takhingga/terhingga

Jika state i transient, maka setiap proses itu memasuki state i, maka
ada peluang positif, yaitu (1 fii ), bahwa proses tersebut tidak akan
pernah kembali ke state i.
Jadi, jika proses mulai dari state i, peluang bahwa proses akan berada
(n 1 )
pada state i tepat n kali periode adalah fii (1 fii ), n 1.
Dengan kata lain, jika state i adalah transient dan proses mulai dari
state i, maka banyaknya frekuensi periode waktu bahwa proses akan
berada pada state i adalah menyebar geometrik dengan nilai harapan
1
…nite (terhingga) .
1 fii

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 13 / 22


State yang Recurrent/Transient: banyaknya kunjungan
takhingga/terhingga

Misalkan

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 14 / 22


State yang Recurrent/Transient: banyaknya kunjungan
takhingga/terhingga

Misalkan

1 , jika Xn = i
In = (2)
0 , jika Xn 6= i

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 14 / 22


State yang Recurrent/Transient: banyaknya kunjungan
takhingga/terhingga

Misalkan

1 , jika Xn = i
In = (2)
0 , jika Xn 6= i
Maka ∑n∞=0 In menyatakan banyaknya kunjungan ke i.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 14 / 22


State yang Recurrent/Transient: banyaknya kunjungan
takhingga/terhingga

Misalkan

1 , jika Xn = i
In = (2)
0 , jika Xn 6= i
Maka ∑n∞=0 In menyatakan banyaknya kunjungan ke i.
E(∑n∞=0 In jX0 = i ) = ∑n∞=0 P (Xn = i jX0 = i ) = ∑n∞=0 pii
(n )

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 14 / 22


State yang Recurrent/Transient: banyaknya kunjungan
takhingga/terhingga

Misalkan

1 , jika Xn = i
In = (2)
0 , jika Xn 6= i
Maka ∑n∞=0 In menyatakan banyaknya kunjungan ke i.
E(∑n∞=0 In jX0 = i ) = ∑n∞=0 P (Xn = i jX0 = i ) = ∑n∞=0 pii
(n )

Theorem
Teorema 2. State i adalah recurrent jika ∑n∞=0 pii
(n )
= ∞, dan transient
jika ∑n∞=0 pii < ∞.
(n )

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 14 / 22


State yang Recurrent/Transient: banyaknya kunjungan
takhingga/terhingga

Misalkan

1 , jika Xn = i
In = (2)
0 , jika Xn 6= i
Maka ∑n∞=0 In menyatakan banyaknya kunjungan ke i.
E(∑n∞=0 In jX0 = i ) = ∑n∞=0 P (Xn = i jX0 = i ) = ∑n∞=0 pii
(n )

Theorem
Teorema 2. State i adalah recurrent jika ∑n∞=0 pii
(n )
= ∞, dan transient
jika ∑n∞=0 pii < ∞.
(n )

Suatu state yang transient akan terkunjungi sebanyak bilangan


terhingga.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 14 / 22


State yang Transient : banyaknya kunjungan terhingga

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 15 / 22


State yang Transient : banyaknya kunjungan terhingga

Hal ini menghasilkan suatu kesimpulan bahwa pada kasus rantai


Markov dengan banyak state yang terhingga, tidak mungkin semua
state adalah transient.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 15 / 22


State yang Transient : banyaknya kunjungan terhingga

Hal ini menghasilkan suatu kesimpulan bahwa pada kasus rantai


Markov dengan banyak state yang terhingga, tidak mungkin semua
state adalah transient.
Untuk melihat hal ini, misalkan statenya adalah 0; 1; : : : ; M, dan
misalkan semuanya transient. Maka setelah waktu bilangan terhingga
(sebut T0 ), maka state 0 tidak akan pernah dikunjungi lagi; setelah
selama waktu (terhingga), setelah T1, state 1 tidak akan pernah
dikunjungi lagi, dan seterusnya.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 15 / 22


State yang Transient : banyaknya kunjungan terhingga

Hal ini menghasilkan suatu kesimpulan bahwa pada kasus rantai


Markov dengan banyak state yang terhingga, tidak mungkin semua
state adalah transient.
Untuk melihat hal ini, misalkan statenya adalah 0; 1; : : : ; M, dan
misalkan semuanya transient. Maka setelah waktu bilangan terhingga
(sebut T0 ), maka state 0 tidak akan pernah dikunjungi lagi; setelah
selama waktu (terhingga), setelah T1, state 1 tidak akan pernah
dikunjungi lagi, dan seterusnya.
Sehingga, setelah waktu (terhingga) T = max(T0 ; T1 ; : : : ; TM ),
tidak akan ada state yang dikunjungi lagi.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 15 / 22


State yang Transient : banyaknya kunjungan terhingga

Hal ini menghasilkan suatu kesimpulan bahwa pada kasus rantai


Markov dengan banyak state yang terhingga, tidak mungkin semua
state adalah transient.
Untuk melihat hal ini, misalkan statenya adalah 0; 1; : : : ; M, dan
misalkan semuanya transient. Maka setelah waktu bilangan terhingga
(sebut T0 ), maka state 0 tidak akan pernah dikunjungi lagi; setelah
selama waktu (terhingga), setelah T1, state 1 tidak akan pernah
dikunjungi lagi, dan seterusnya.
Sehingga, setelah waktu (terhingga) T = max(T0 ; T1 ; : : : ; TM ),
tidak akan ada state yang dikunjungi lagi.
Di lain pihak, setelah waktu T, proses tersebut harus berada pada
suatu state.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 15 / 22


State yang Transient : banyaknya kunjungan terhingga

Hal ini menghasilkan suatu kesimpulan bahwa pada kasus rantai


Markov dengan banyak state yang terhingga, tidak mungkin semua
state adalah transient.
Untuk melihat hal ini, misalkan statenya adalah 0; 1; : : : ; M, dan
misalkan semuanya transient. Maka setelah waktu bilangan terhingga
(sebut T0 ), maka state 0 tidak akan pernah dikunjungi lagi; setelah
selama waktu (terhingga), setelah T1, state 1 tidak akan pernah
dikunjungi lagi, dan seterusnya.
Sehingga, setelah waktu (terhingga) T = max(T0 ; T1 ; : : : ; TM ),
tidak akan ada state yang dikunjungi lagi.
Di lain pihak, setelah waktu T, proses tersebut harus berada pada
suatu state.
Maka kita berakhir dengan suatu kontradiksi, yang sekaligus
memperlihatkan bahwa pasti ada paling sedikit satu state yang
berulang (recurrent)
IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 15 / 22
Recurrent merupakan sifat dari kelas
Corollary
Corollary 3 Jika state i adalah recurrent (berulang) dan state i
berkomunikasi dengan state j, maka state j adalah recurrent.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 16 / 22


Recurrent merupakan sifat dari kelas
Corollary
Corollary 3 Jika state i adalah recurrent (berulang) dan state i
berkomunikasi dengan state j, maka state j adalah recurrent.

Bukti:

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 16 / 22


Recurrent merupakan sifat dari kelas
Corollary
Corollary 3 Jika state i adalah recurrent (berulang) dan state i
berkomunikasi dengan state j, maka state j adalah recurrent.

Bukti:
Karena state i berkomunikasi dengan state j, maka ada bilangan bulat
(k ) (m )
k dan m sedemikian sehingga pij > 0 dan pji > 0.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 16 / 22


Recurrent merupakan sifat dari kelas
Corollary
Corollary 3 Jika state i adalah recurrent (berulang) dan state i
berkomunikasi dengan state j, maka state j adalah recurrent.

Bukti:
Karena state i berkomunikasi dengan state j, maka ada bilangan bulat
(k ) (m )
k dan m sedemikian sehingga pij > 0 dan pji > 0.
Selanjutnya, untuk sembarang bilangan bulat n kita memiliki

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 16 / 22


Recurrent merupakan sifat dari kelas
Corollary
Corollary 3 Jika state i adalah recurrent (berulang) dan state i
berkomunikasi dengan state j, maka state j adalah recurrent.

Bukti:
Karena state i berkomunikasi dengan state j, maka ada bilangan bulat
(k ) (m )
k dan m sedemikian sehingga pij > 0 dan pji > 0.
Selanjutnya, untuk sembarang bilangan bulat n kita memiliki
(m +n +k ) (m ) (n ) (k )
pjj pji pii pij .

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 16 / 22


Recurrent merupakan sifat dari kelas
Corollary
Corollary 3 Jika state i adalah recurrent (berulang) dan state i
berkomunikasi dengan state j, maka state j adalah recurrent.

Bukti:
Karena state i berkomunikasi dengan state j, maka ada bilangan bulat
(k ) (m )
k dan m sedemikian sehingga pij > 0 dan pji > 0.
Selanjutnya, untuk sembarang bilangan bulat n kita memiliki
(m +n +k ) (m ) (n ) (k )
pjj pji pii pij .
Dengan menjumlahkan kedua ruas terhadap n diperoleh

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 16 / 22


Recurrent merupakan sifat dari kelas
Corollary
Corollary 3 Jika state i adalah recurrent (berulang) dan state i
berkomunikasi dengan state j, maka state j adalah recurrent.

Bukti:
Karena state i berkomunikasi dengan state j, maka ada bilangan bulat
(k ) (m )
k dan m sedemikian sehingga pij > 0 dan pji > 0.
Selanjutnya, untuk sembarang bilangan bulat n kita memiliki
(m +n +k ) (m ) (n ) (k )
pjj pji pii pij .
Dengan menjumlahkan kedua ruas terhadap n diperoleh
∑n∞=0 pjj ∑n∞=0 pji pii pij
(m +n +k ) (m ) (n ) (k )

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 16 / 22


Recurrent merupakan sifat dari kelas
Corollary
Corollary 3 Jika state i adalah recurrent (berulang) dan state i
berkomunikasi dengan state j, maka state j adalah recurrent.

Bukti:
Karena state i berkomunikasi dengan state j, maka ada bilangan bulat
(k ) (m )
k dan m sedemikian sehingga pij > 0 dan pji > 0.
Selanjutnya, untuk sembarang bilangan bulat n kita memiliki
(m +n +k ) (m ) (n ) (k )
pjj pji pii pij .
Dengan menjumlahkan kedua ruas terhadap n diperoleh
∑n∞=0 pjj ∑n∞=0 pji pii pij
(m +n +k ) (m ) (n ) (k )

∑n∞=0 pjj pji pij ∑n∞=0 pij .


(m +n +k ) (m ) (k ) (k )

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 16 / 22


Recurrent merupakan sifat dari kelas
Corollary
Corollary 3 Jika state i adalah recurrent (berulang) dan state i
berkomunikasi dengan state j, maka state j adalah recurrent.

Bukti:
Karena state i berkomunikasi dengan state j, maka ada bilangan bulat
(k ) (m )
k dan m sedemikian sehingga pij > 0 dan pji > 0.
Selanjutnya, untuk sembarang bilangan bulat n kita memiliki
(m +n +k ) (m ) (n ) (k )
pjj pji pii pij .
Dengan menjumlahkan kedua ruas terhadap n diperoleh
∑n∞=0 pjj ∑n∞=0 pji pii pij
(m +n +k ) (m ) (n ) (k )

∑n∞=0 pjj pji pij ∑n∞=0 pij .


(m +n +k ) (m ) (k ) (k )

(k ) (m ) (m ) (k )
Karena pij > 0 dan pji > 0,maka pji pij > 0.Demikian pula,
∑n∞=0 pii
(n )
karena state i adalah recurrent,maka = ∞.Sehingga
∑n∞=0
(m +n +k )
pjj = ∞,atau state j recurrent.
IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 16 / 22
Transient merupakan sifat dari kelas

(i) Corollary 3 juga berimplikasi bahwa ketransienan adalah merupakan


suatu sifat kelas. Misalnya, jika state i adalah transient dan berkomunikasi
dengan state j, maka state j juga transient. Karena jika state j adalah
recurrent, maka berdasarkan Corollary 3, state i juga pasti recurrent dan
bukan transient.
(ii) Corollary 3 bersama dengan kesimpulan kita sebelumnya bahwa tidak
semua state pada rantai Markov yang banyak statenya terbatas adalah
transient, menghasilkan suatu kesimpulan bahwa seluruh state dari suatu
rantai Markov tak tereduksi yang banyak statenya terhingga adalah
recurrent.

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 17 / 22


Contoh 8. State Transient dan Recurrent

Diberikan rantai Markov empat state sebagai berikut.


0 1
0 0 0 1
B 1 0 0 0 C
P= B
@ 1 0 0 0 A
C

0 31 23 0
Untuk memeriksa apakahr antai Markov tersebut recurrent atau
trensient akan ditunjukkan bahawa semua state saling berkomunikasi.
0$2 karena 0 ! 3, 3 ! 2 dan 2 ! 0.
0$3 karena 0 ! 3 dan 3 !, 1 ! 0.
1$2 karena 1 ! 0, 0 ! 3, 3 ! 2 dan 2 ! 0, 0 ! 3, 3 ! 1.
1$3 karena 1 ! 0, 0 ! 3 dan 3 ! 1.
2$3 karena 2 ! 0, 0 ! 3 dan 3 ! 2.
Karena banyaknya state terhingga, maka semua state recurrent.
IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 18 / 22
Contoh 8. State Transient dan Recurrent

Diberikan rantai Markov lima state sebagai berikut.


0 1 1 1 1
2 4 4 0 0
B 0 1 0 1 0 C
B 2 2 C
P= B
B 0 0 1
2 0 1 C
2 C
@ 0 1 0 1 0 A
2 2
0 0 12 0 1
2

Terdiri dari tiga kelas {0}(transient), {1,3},{2,4} (recurrent)


IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 19 / 22
Contoh 10. Jalan Acak (Random Walk)

De…nition
De…nisi 9. Jalan acak sederhana adalah suatu rantai Markov dengan ruang
state himpunan bilangan bulat, dan mempunyai peluang transisi pi ,i +1 = p
dan pi ,i 1 = 1 p; i = 0, 1, 2, dengan 0<p<1. Artinya pada tiap
transisi proses akan bergerak satu step kekanan dengan peluang p atau
bergerak satu step kekiri dengan peluang 1- p.

Karena semua state saling berkomunikasi, maka state tersebut


semuanya recurrent atau semuanya transient.
Untuk memeriksa hal tersebut, kita periksa salah satu state apakah
recurrent atau transient, misalnya state 0. State tersebut recurrent
jika ∑n∞=0 p0,0 = ∞ sebaliknya disebut transient jika ∑n∞=0 p0,0 < ∞.
(n ) (n )

IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 20 / 22


Contoh 10. Jalan Acak (Random Walk)

Dengan menggunakan intepretasi model judi bisa kita lihat bahwa, jika
dimulai dari state 0, maka state tersebut tidak mungkin bernilai 0 setelah
sebanyak bilangan ganjil permainan
(transisi). Jadi
(2n +1 )
p0,0 = 0; n = 0, 1, 2, .
State akan bernilai 0 setelah 2n kali permainan, jika dan hanya jika n kali
menang dan n kali kalah.
Karena setiap kali permainan akan menang dengan peluang p dan
kalah dengan peluang 1 p, maka berdasarkan kaidah binomial,
peluang menang sebanyak n kali dalam 2n permainan kita peroleh
(2n ) 2n
p0,0 = p n (1 p )n
n
(2n)! n
= p (1 p )n ; n = 1, 2, 3, .
n!n!
IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 21 / 22
Contoh 10. Jalan Acak (Random Walk)

Dengan menggunakan
p pendekatan Stirling, kita peroleh
n! s nn e n 2πn,
dimana kita katakan an s bn jika limn !∞ an /bn = 1.
Akhirnya kita peroleh
(2n ) [4p (1 p )]n
p0,0 = pπn
Adalah mudah untuk memperlihatkan jika an s bn , maka
∑n∞=0 an < ∞ jika dan hanya jika ∑n∞=0 an < ∞.
[4p (1 p )]n
Jadi ∑n∞=0 p0,0 < ∞ jika dan hanya jika ∑n∞=0 pπn < ∞
(2n )

[4p (1 p )]n
∑n∞=0 pπn < ∞ jika 4p (1 p ) < 1.
4p (1 p ) maksimum sama dengan 1, terjadi bila p = 21 .
Kesimpulannya, rantai akan recurrent (berulang) jika p = 12 dan
transient jika p 6= 12 .
Jika p = 12 , proses di atas disebut jalan acak simetri (symmetric
random walk).
IWM & HSU (MATH-IPB) RANTAI MARKOV 18 April 2011 22 / 22