PROSES RANDOM

ANALISIS MARKOV

1
Diperkenalkan oleh A. A. Markov awal abad XX.
Proses Markov → subproses Random
Proses nonMarkovian
Proses Markov:
 Proses Waktu Diskrit (Discrete Time Process)
 Proses Waktu Kontinu (Continues Time Process)

2
Contoh: Sebuah taxi beroperasi antara 3 tempat:
1. Bandara 2. Kota 3. Kompleks perumahan
Pertanyaan-pertanyaan:
1. Jika sekarang taxi itu ada di bandara, berapa probabilitasnya ia akan
kembali ke bandara setelah 3 trip?
2. Jika taxi itu sedang ada di kota, berapa trip yang harus dilaluinya rata-
rata sebelum ia mendapat trip ke bandara?
3. Setelah beberapa waktu yang panjang/lama, bagaimana persentase trip
ke bandara?
4. Pada suatu waktu tertentu di masa yang akan datang (nanti), berapa
probabilitasnya taxi itu sedang dalam perjalanan ke bandara?
3
 Permodelan
Misalkan,
Lokasi 1 = Bandara
Lokasi 2 = Kota
Lokasi 3 = Kompleks perumahan
• Pada setiap perjalanan, setiap trip berakhir di salah satu lokasi
tersebut.
• Permodelan hanya pada waktu ini (waktu akhir trip)
• Apa yang terjadi di sepanjang jalan diabaikan.
• Kelihatannya tidak alamiah, terlalu disederhanakan (simplisistis).

4
 Istilah Pokok
1. Titik Waktu (Epoch) : Waktu atau saat ketika sistim diamati.
2. Status (States) : Nilai yang berkaitan dengan kemungkinan
kondisi yang diamati.
Misal: Jika trip 1 berakhir di kota, kita katakan bahwa pada titik waktu
(epoch) 1 status (state)-nya adalah 2.

5
 Istilah Pokok
3. Realisasi proses : Rekaman (record) dari status (states) yang diamati.
4. Transisi: ialah perubahan status (state)
→ Masa depan → probabilitas → variabel random x1 , x2 , . . .
x0 → Titik waktu (epoch) 0 → state paling akhir yang diketahui
(sekarang). x0 , x1 , x2 , x3 , . . . urutan variabel random yang diberi
indeks berdasarkan waktu dan menuju tak terhingga, disebut : proses
stokhastik waktu diskrit (discrete time stochastic process).

6
States

1 2 3 4 5 6 7 8 9 10 Titik waktu
Gambar 1. Realisasi Proses 7
Diagram Transisi
 Fokus: Struktur transisi yang diizinkan, bukan pada waktu.
 Diagram piktorial: States : Lingkaran kecil
Transisi : Panah
Panah dari state 1 ke 2 berarti: bila proses ada di state satu pada suatu
titik waktu n, ada kemungkinannya untuk berada di state 2 pada titik waktu
n+1.
Kalau tadi kita bicara masalah proses random sebagai rangkaian variabel
random, maka dengan diagram transisi ini kita bicara tentang random
walk, yakni langkah random dari sebuah partikel pada suatu titik waktu
tertentu.

8
Diagram Transisi
9
 Sebuah transisi → sebuah "lompatan" atau "perpindahan seketika" dari
partikel tersebut sepanjang sebuah panah.
 Virtual Transition (Transisi virtual): transisi terjadi setiap waktu ketika indeks
waktu meningkat, meskipun state yang baru sama dengan state yang lama
→ loop.
 Transisi Riil (Real Transition): perubahan state yang sebenarnya.
 Pada umumnya xi tidak independen, tetapi mengikuti joint distribution
function ataupun conditional distribution function.
 Simplifikasi: Rantai Markov (Markov Chain)
Rantai Markov ialah sebuah proses stokastik dengan waktu diskrit
(discrete time stochastic process) yang setiap variabel randomnya,
xi , tergantung hanya pada yang persis sebelumnya, xi - 1 , dan
mempengaruhi hanya variabel yang persis berikutnya, xi+1 →
rantai. 10
 Matriks Transisi
Pada contoh di atas ada 9 probabilitas, karena pada setiap state ada 3
kemungkinan yang akan terjadi.

p11 p12 p13

P= p21 p22 p23

p31 p32 p33

Baris i : 3 probabilitas untuk setiap trip yang bergerak dari bandara.

→Setiap baris adalah sebuah distribusi probabilitas → jumlahnya = 1

11
pij ialah probabilitas bahwa x1 = j bila diketahui x0 = i

pij = P { x1 = j | x0 = i}
Asumsi → Anggap probabilitas transisi tidak berubah terhadap perjalanan waktu →
stasionaritas (stationarity).
→ Untuk rantai Markov stasioner, matriks P adalah probabilitas transisi satu-langkah
untuk sembarang waktu.

Asumsi Markov dan stationarity:

1. Given the present, the future is independent of the past
2. The process is forgetful
12
Matriks Transisi
13
 Probabilitas lintasan dua langkah = perkalian kedua
probabilitas satu langkah yang membentuk lintasan itu.
 Secara matriks:

P(2) = P P = P2

P(2) : matriks transisi dua langkah, elemennya adalah

probabilitas transisi dua langkah.
pij(2) : probabilitas tentang pergi dari state i ke state j dalam
dua langkah, atau

14
Secara umum:

P(n) = Pn
→ Ini adalah hasil paling penting dari Rantai Markov.

Begitu juga,

P(n) = P(n-1)P
Persamaan Chapman-Kolmogorov
bila state awal tak diketahui, maka:

p(n) = p(0)P(n)
15
Contoh: Bila kasus taksi di atas mempunyai probabilitas yang
ditunjukkan pada diagram transisi ini.
16
Maka, matriks transisi satu-
langkahnya adalah:

0 0,5 0,5

P= 0,333 0,333 0,333

0,667 0,333 0

Sedangkan matriks transisi dua langkahnya adalah:

0,500 0,333 0,167

P(2) = P2 = 0,333 0,389 0,278

0,111 0,444 0,444

17
Pengertian:
p21 = 0,333 artinya adalah bahwa ada probabilitas sebesar
0,333 bahwa taksi tersebut akan berangkat ke bandara bila
diketahui sekarang taksi tersebut ada di kota.
P32(2) = 0,444 berarti bahwa ada probabilitas sebesar 0,444
taksi tersebut akan menuju ke kota pada akhir trip yang
kedua, bila taksi itu sekarang berangkat dari kompleks
perumahan.

18
Bila state awal taksi tersebut tidak diketahui, maka kita dapat menggunakan
formula:
p(2) = p(0) P(2)
Jika misalnya taksi tersebut punya kemungkinan yang sama untuk mulai
berangkat dari salah satu lokasi tersebut, maka
p(0) = [0,333 0,333 0,333]
Dan
p(2) = [0,315 0,389 0,296]

19
Matriks transisi tiga-langkah:

0,222 0,417 0,361

P(3) = P3 = 0,315 0,389 0,296

0,444 0,352 0,204

Matriks transisi empat-langkah:

0,380 0,370 0,250

P(4) = P4 = 0,327 0,386 0,287

0,253 0,407 0,340

20
p21(3) = 0,315 mempunyai arti bahwa ada probabiliotas sebesar
0,315 taksi tersebut akan kembali menuju bandara setelah tiga
trip, bila sekarang taksi tersebut ada di kota.
p13(4) = 0,370 mempunyai arti bahwa ada probabiliotas sebesar
0,375 taksi tersebut akan menuju kompleks perumahan pada trip
yang keempat, bila sekarang taksi tersebut ada di bandara.

21
Matriks transisi lima-langkah:

0,290 0,397 0,313

P(5) = P5 = 0,320 0,388 0,292

0,362 0,376 0,262

Matriks transisi enam-langkah:

0,341 0,382 0,277

P(6) = P6 = 0,324 0,387 0,289

0,300 0,394 0,306

22
 Probabilitas Kunjungan-Pertama (First Passage)
dan Kepulangan-Pertama (First-Return)

Probabilitas yang dibahas sejauh ini adalah jawaban atas pertanyaan

"Berapa probabilitasnya berada di suatu state pada suatu waktu
tertentu?" Ada beberapa jenis pertanyaan lain yang sering juga
dimajukan, seperti:
"Berapa lama diperlukan untuk mencapai suatu state tertentu?
Jawabannya tetap melibatkan probabilitas, tetapi variabel randomnya
adalah jumlah transisi yang terjadi sebelum sebuah state tertentu
tercapai, bukan state mana yang dicapai setelah sejumlah transisi
terjadi.

23
Bila kita bicara tentang jumlah langkah yang diperlukan untuk mencapai
state j, yang kita maksud adalah jumlah langkah yang diperlukan untuk
mencapai state j untuk pertama sekali. Jadi, untuk mendapatkan
distribusi dari waktu ini kita harus memperhatikan probabilitas kunjungan
pertama (first passage probability):

fij(n) yang didefinisikan sebagai:

fij(n) = P{xn = j , xn-1 ≠ j , xn-2 ≠ j , . . . , x1 ≠ j | x0 = i}

fij(n) = probabilitas bahwa proses berada di state j pada waktu n

dan tidak pada waktu sebelumnya, bila diketahui proses itu berada pada
state i pada waktu nol.

24
 n 1
f ij  pij f ( nk )
(n) (n) (k )
ij p jj
k 1

Jika i dan j tidak berbeda, maka kita berbicara tentang kepulangan-pertama

(first-return), bukan kunjungan pertama.
Secara formal:

fii(n) = P{xn = i , xn-1 ≠ i , xn-2 ≠ i , . . . , x1 ≠ i | x0 = i}

Persamaan yang menghubungkan fii(n) dengan pii(n) adalah sama dengan di

atas.
25
Sebagai contoh, untuk kasus taksi di atas:

0,50000 0,16667 0,166667

F(2) = 0,33333 0,27778 0,277778

0,11111 0,33333 0,444444

Sedangkan matriks first passage untuk tiga langkahnya adalah:

0,22222 0,16667 0,361111

F(3) = 0,14815 0,16667 0,296296

0,11111 0,11111 0,203704

26
Pengertiannya:
f21(3) = 0,14815, berarti bahwa ada probabilitas sebesar 0,14815 bahwa
bila taksi itu sekarang ada di kota, taksi tersebut untuk pertama
sekalinya akan menuju ke bandara pada trip yang ketiga.
f22(3) = 0,16667, artinya adalah probabilitas taksi tersebut untuk pertama
sekalinya akan kembali ke kota pada trip yang ketiga.adalah sebesar
0,16667, bila dikatehui bahwa taksi tersebut sekarang ada di kota.

27
 Terminologi Klasifikasi

1. Sebuah proses dikatakan irreducible jika semua state dapat dicapai

dari semua state yang lain, tidak harus dalam satu transisi tunggal,
tetapi melalui beberapa urutan transisi yang diizinkan. Sifat ini
menjamin bahwa sebuah proses tidak akan terperangkap di dalam
sebuah subset dari state.
2. Sebuah state dikatakan recurrent jika pasti akan terjadi lagi
(akhirnya) apabila sudah pernah terjadi paling tidak sekali. Bila
tidak, state itu dikatakan transient. Secara mudah dapat dikatakan
bahwa sebuah state transient akan terjadi hanya beberapa kali saja
lalu "menghilang" selamanya, sedangkan state yang recurrent
bersifat permanen.

28
Sebuah Rantai Markov Reducible

29
 Terminologi Klasifikasi
3. Jika sebuah proses adalah berhingga (finite), yakni mempunyai jumlah
state yang tertentu/finite, dan bersifat irreducible, maka semua state-nya
adalah recurrent. Ini adalah bentuk yang paling umum dari rantai Markov
dalam aplikasinya.Lebih umum lagi, sebuah proses yang berhingga
(finite) dan reducible pasti mengandung paling sedikit satu state yang
recurrent, tetapi bisa saja mempunyai satu atau lebih subset dari state
yang recurrent. State yang lain adalah transient.

30
 Terminologi Klasifikasi
4. Pada proses dengan jumlah state yang tak berhingga (infinite), sifat
irreducible tidak cukup bagi proses tersebut untuk menjamin bahwa
state-nya adalah recurrent. Mungkin saja, tergantung pada harga
probabilitasnya, proses menjadi tak berhingga sehingga perulangan dari
suatu state tak dapat diperhitungkan.

31
Contoh:
Proses ini dapat dibayangkan sebagai sebuah perjudian dengan
probabilitas untuk memenangkan Rp1000,00 dalam permainan
itu adalah p dan probabilitas untuk kalah sebesar q=(1 - p). State
pada rantai Markov menunjukkan "kekayaan" pemain tersebut.
Jika p < q, ada bias bagi pemain itu yang memaksa kekayaannya
kecil. Meskipun akhirnya akan membesar, namun adalah pasti ia
akan kembali ke state yang lebih rendah. Tetapi, bila p > q,
adalah mungkin bagi si pemain untuk terus-menerus menambah
kekayaan dan tak pernah akan kembali ke state yang lebih
rendah.

32
Pada kasus pertama, semua state adalah
recurrent, sedangkan pada kasus kedua semua
adalah transient. Pada kasus p = q, sebuah
kemungkinan lain yang menarik dapat terjadi
pada proses tak berhingga. Pada kasus ini semua
state adalah recurrent, tetapi waktu pengulangan
rata-rata (mean recurrence time) yakni waktu
yang diperlukan oleh sebuah state untuk terjadi
kembali sekali proses itu pernah terjadi, adalah
tak berhingga.

33
 Terminologi Klasifikasi
5. State recurrent yang mempunyai waktu perulangan rata-rata tak
terhingga dinamakan state nol (null state). Biasanya, state recurrent
akan berupa sebuah state yang positip atau non-nol (non-null).
6. State kadang-kadang bersifat periodik. Artinya, hanya dapat berulang
pada titik-waktu (epoch) tertentu, yakni titik-waktu yang berupa
kelipatan dari bilangan integer yang lebih besar dari satu. Sebagai
contoh, jika sebuah state dapat berulang hanya pada titik-waktu yang
berupa bilangan genap, maka proses itu adalah periodik dengan
periode dua.

34
Contoh state yang periodik (dengan periode = 3):

Proses periodik dengan set iap s t a t e mempunyai periode 3

35
 Terminologi Klasifikasi

7. Semua state dari sebuah proses irreducible akan mempunyai sifat

periodik yang sama. Artinya, jika salah satu adalah periodik, semua
akan dan harus mempunyai periode yang sama. Atau, bila salah
satu adalah aperiodik (tidak periodik), maka semuanya juga begitu.
8. Jika sebuah proses adalah irreducible, recurrent, positif, dan
aperiodik, maka proses itu disebut Rantai Markov Ergodic. Rantai
Markov Ergodic ini adalah bentuk yang paling umum.

36
Lebih khusus → Bila proses adalah finite, maka bila proses
itu irreducible dan aperiodic, ia akan bersifat ergodic.
Umumnya → bila proses tidak berhenti (terminate), rantai
Markov akan ergodic
 bila proses akan berhenti setelah beberapa waktu, model
disebut
Rantai Markov Absorbing

37
Rantai Markov Absorbing

38
 Rantai Markov Ergodic
Jenis yang paling umum dari rantai Markov adalah rantai
Markov ergodic. Untuk jenis ini akan kita bicarakan
beberapa masalah penting seperti probabilitas steady state
dan mean first passage time.

39
 Probabilitas Steady State
Untuk harga n yang besar, baris-baris dari P(n) akan identik.
Begitu juga, untuk n yang besar, P(n) dan P(n+1) secara
esensial akan sama. Artinya, matriks transisi mendekati limit
stabil ketika n menjadi besar.
Misalkan,

 j lim pij
(n)
n 
Bila n besar, sepanjang proses adalah ergodic. Maka:

40
 1 ,  2 ,  3 , . . .
 ,  ,  , . . . 
P 
n  1 2 3 
 
 
 1 ,  2 ,  3 , . . . 
Untuk mendapatkan penyelesaian:

( n 1)
P P( n)
P
( n 1)
lim P ( n)
 lim P P
n n
41
Sehingga:
1 ,  2 ,  3 , . . . 1 ,  2 ,  3 , . . .
 ,  ,  , . . .  ,  ,  , . . .
 1 2 3   1 2 3 
1 ,  2 ,  3 , . . . 1 ,  2 ,  3 , . . .
    P
 . . .   . . . 
. . .  . . . 
   
. . .  . . . 
Atau,
P
Atau,
 P T T T


Dan,
i 1
semua i
42
Sebagai contoh, untuk kasus taksi di atas:

P
1  2  3  1  2  3  0 0,5 0,5 
         0,333 0,333 0,333
 1 2 3  1 2 3  
1  2  3  1  2  3  0,667 0,333 0 

Oleh karena itu:

1  0,333  2  0,667  3
 2  0,5 1  0,333  2  0,333  3
 3  0,5 1  0,333  2
Dan,
1   2   3  1 43
Maka:
1  0,323 

 2  0,387  Probabilit as Steady State
 3  0,290 

j: fraksi waktu bahwa proses ada di state j atau fraksi dari
proses yang berada di state j.

44
 Mean First Passage Time
(Waktu Kunjungan Pertama Rata-Rata)
Misalkan, Nij adalah variabel random yang menunjukkan jumlah
trip yang diperlukan hingga mencapai state j untuk pertama sekali
bila proses mulai dari state i, maka:

PNij  n f n
ij

Oleh sebab itu, bila mij = mean first passage time dari i ke j, maka:

mij  E ( N ij )   n f (n)
ij
n 1
Bila i = j, maka mii = mean recurrence time (waktu pengulangan
rata-rata)
45
Perlu diingat bahwa ketika membicarakan probabilitas steady state,
telah ditunjukkan bahwa i dapat dinterpretasikan sebagai
pengulangan (reciprocal) dari mean recurrence time dari state I. Secara
simbolis dinyatakan:
1
i 
mii
Rumus mfpt

mij   n f (n)
ij
n 1
ternyata kurang praktis karena memerlukan keseluruhan distribusi
passage time.
46
Rumus yang lebih praktis untuk mean first passage time ialah:

mij  1   pik mkj

k j
Untuk menghitung mean first recurrence time, adalah lebih
mudah menggunakan rumus probabilitas steady state:

mii = 1/ i

47
 Rantai Markov Absorbing
• Proses-proses yang berakhir setelah beberapa periode waktu,
biasanya dapat dimodelkan sebagai Rantai Markov Absorbing.
• Pertanyaan yang mungkin dimajukan untuk kasus ini misalnya
adalah: “Mana di antara dua state yang akan dikunjungi lebih
dahulu”.
• Perlu diingat pula bahwa Rantai Markov Absorbing
mempunyai state yang absorbing dan transient.

48
   
Transient   
Absorbing 

p , p ,  p1k 1   

 11 12  
 p21 , p22 ,  p2 k 1   

  

. .   Transient

. .  

  
. .  

p , p ,  p pk k 1  


P  
k1 k2 kk

 0 0  0 1 0  0  
 0 0  0 0 1  0 


  

 . .  

  
 Absorbing
 . .  

 . .  
  

 0 0  0 0 0  1  

  
  
49
Untuk Rantai Markov yang absorbing ini, matriks transisinya dapat
ditulis dengan:
Q | R 
P 
 0|I 
Misalkan
k = jumlah state yang transient
aij= probabilitas bahwa proses akan memasuki state
absorbing j bila diketahui bahwa state awal adalah i,
dan i mestilah state yang transient.
maka K
aij  pij  p
k 1
ik akj
50
Contoh:
1/4
1 1/2 3
1

1/3 1/4

2
1/3 4
1
1/3 51
Matriks transisinya adalah:
Transient Absorbing

}
}
1 / 4 1/ 4 1/ 2 0  
   Transient
P
1/ 3 1/ 3 0 1/ 3 
 0 0 1 0  
   Absorbing
 0 0 0 1  

Sehingga bila kita ingin mengetahui besarnya a13 dan a23 maka kita dapat
menggunakan rumus:
a13  p13  p11a13  p12a23
a23  p23  p21a13  p22a23
52
Sehingga:
1 1 1
a13   a13  a23
2 4 4
1 1
a23  0  a13  a23
3 3
Yang akan menghasilkan:
4
a13 
5
2
a23 
5
Perhatikan bahwa:
a13  a23  1

53
Perhatikan pula bahwa:

a13  a14  1 

dan  karena suatu saat pasti akan ke state absorbing
a23  a24  1
Oleh karena itu, diperoleh pula:

1
a14 
5
3
a24 
5
54
Misalkan
eij = jumlah waktu rata-rata state transient j dikunjungi, bila
diketahui state awal adalah i, sebelum absorpsi terjadi.
E= matriks eij
maka
K
eij   pik ekj
k 1

Bila i = j , maka:
K
eii  1   pik eki
k 1
55
Misalkan:
di = jumlah transisi total rata-rata hingga absorbsi terjadi
bila i adalah state awal
maka
K
d i   eij
j 1

dan conditional mean first passage time (waktu laluan pertama rata-
rata bersyarat) adalah:

aij mij  aij   pik akj mkj

k j

56
Contoh:
Berapa jumlah transisi rata-rata yang akan terjadi pada
proses, jika diketahui bahwa proses mulai di state 1 dan
berakhir di state 3.
Yang kita inginkan adalah m13, jadi

a13m13  a13  p11a13m13  p12a23m23

persamaan ini mempunyai 2 variabel yang tak diketahui, yakni
m13 dan m23, maka

a23m23  a23  p21a13m13  p22a23m23

57
Masukkan harga pij dan aij yang telah dihitung sebelumnya,
diperoleh:
4 4  1  4   1  2 
m13      m13     m23
5 5  4  5   4  5 
2 2  1  4   1  2 
m23      m13     m23
5 5  3  5   3  5 
Yang akan menghasilkan:

m13  1,9
m23  3,4
Artinya, diperlukan rata-rata 1,9 transisi dari state 1 untuk
mencapai state 3, dengan asumsi itu benar-benar terjadi.
58
 Ringkasan
istilah, notasi,
dan rumus
Rantai Markov
untuk Discrete
Times Process

Sumber: Ravindran,
Phillips, & Solberg,
hal. 278

59