Markov Processes

(Discrete Time Markov processes)

Hendrawan
hend@stei.itb.ac.id
Outline
 Markov Processes
 Discrete Time Markov Chain
 Homogeneous, Irreducible,
Transient/Recurrent, Periodic/Aperiodic
 Ergodic
 Transient Behavior
 Stationary Probability
Markov

Sumber: wikipedia
Markov Processes
 X(t) adalah suatu Markov Process jika memenuhi
Markov (Memoryless) Property

 Xt hanya tergantung pd kondisi (state) saat ini

 Sejarah masa lalu summarized pd kondisi (state) saat ini
Markov Processes …
 Discrete Time Markov Process:
Perubahan state terjadi pd titik-titik integer

 Continuous Time Markov Process:

Perubahan state terjadi pd sembarang waktu
Markov Processes …
 Markov Chain:
Discrete State Space Markov Process
 Discrete Time Markov Chain:
Perubahan state (discrete state) terjadi pd
titik-titik integer
 Continuous Time Markov Chain
Perubahan state (discrete state) terjadi pd
sembarang waktu
Markov Processes …
Markov Chain
Discrete Time Markov Chains

Dp berada pd satu state diskrit dan

diizinkan utk berubah state pd Waktu
diskrit
Discrete Time Markov Chains
 Discrete Time Markov Chains

P{Xn = xn | X1 = x1, X2 = x2, ………., Xn-1 = xn-1}

= P{Xn = xn|Xn-1 = xn-1} ; dimana n = 1, 2, 3, …….

 Xn = xn  sistem ada pada state xn pada waktu n

 Sistem mulai pada saat n = 0 dengan probabilitas
awal (initial prob) = xo
 P{Xn = j|Xn-1 = i} adalah probabilitas transisi
satu-langkah (one-step ransition probability)
pada saat n ada di state j sebelumnya ada di
state i
Discrete Time Markov Chains
 Dari initial probability dan one-step
transition probability,
 Kita dp mencari probabilitas ada pd
berbagai state pd sembarang
waktu/step ke n
Homogeneous Markov Chain
 Jika transition probabilities adalah independent
thd n, maka disebut Homogeneous Markov
Chain

 Utk Discrete-time Markov Chain:

Homogeneous Markov Chain
 m-step transition probabilities adalah:
Homogeneous Markov Chain
Irreducible Markov Chain
 Suatu Markov Chain adalah irreducible jika
setiap state dp dicapai dari setiap state lain
dlm jumlah step yg terbatas/finite
Not Irreducible Markov Chain
 Kasus 1
 Utk A = set semua states dlm suatu
Markov chain
 A1  A
 Jika tdk ada satu one-step transition dari
state A1 ke A1c
 A1 didefinisikan sbg “Closed”
Not Irreducible Markov Chain
 Kasus 2
 Utk A = set semua states pd suatu
Markov chain
 A1  A
 Jika A1 terdiri dari satu atau lebih state Ei
dimana begitu berada pd state Ei, proses
tdk dp bergerak ke state-state lain
 Ei disebut “Absorbing State”
 pii = 1
Transient atau Recurrent States
 fj(n) = P[proses kembali ke state j setelah
meninggalkan state j dg n steps]
 fj = P[proses kembali ke state j setelah
meninggalkan state j]

 Mj = Mean recurrence time dari state j

Transient atau Recurrent States
 Jika fj < 1
 State Ej disebut “Transient State”

 Jika fj = 1
 State Ej disebut “Recurrent State”
 Jika Mj = ∞
 State Ej disebut “Recurrent Null State”
 Jika Mj < ∞
 State Ej disebut “Recurrent Nonnull State”
Periodic atau Aperiodic
 Mis.  = integer
 Jika langkah (step) yg mungkin shg proses
kembali ke state Ei adalah , 2, 3, …
 Jika  > 1 dan  adalah bilangan integer terbesar
 State Ei dikatakan “Periodic”
 Recurrence time utk state Ei memp. perioda 
 Jika  = 1
 State Ei dikatakan “Aperiodic”
Periodic atau Aperiodic
Ergodicity
Probabilitas Transisi
(Transition Probability)
 Jika P(Xn+1=j  Xn=i) independen thd n, kita
dapatkan homogeneous discrete-time MC
 One-step transition probability Pij, adalah
probabilitas proses bergerak dari state i ke j saat
index parameter dinaikan dari n ke n+1, yaitu

 Ingat transition probability memenuhi

Probabilitas Transisi
(Transition Probability)
 Transition probability matrix P didefinisikan sbg
Contoh Matriks Probabilitas Transisi
 Di suatu negara cuaca dp dinyatakan setiap hari
sbg sunny, cloudy atau rainy. Asumsikan cuaca pd
suatu hari mengikuti suatu pola probabilistik
tergantung pd cuaca hari sebelumnya. Jika kita
indikasikan tiga kondisi cuaca sbg masing-masing
1, 2 dan 3 utk sunny, cloudy dan rainy, probabilitas
cuaca hari berikutnya (diberikan cuaca hari ini) dp
dinyatakan dg matrix
Probabilitas State
(State Probabilities)
 State probabilities i(n), adalah probabilitas DTMC
ada dalam state i pd step n, yaitu

 Utk homogeneous DTMC, kita dp

 Dimana adalah n step transition

probabilities
 Dalam bentuk matriks
Chapman-Kolmogorov Equation
 Chapman-Kolmogorov Equation: n-step transition
probabilities memenuhi relasi berikut:

 Atau dalam bentuk matriks

Kolmogorov

Sumber: wikipedia
Contoh State Probabilities
 Perhatikan contoh sblmnya. Misalkan pd hari Senin
cuaca sunny, berapa probabilitas akan hujan pada
hari Rabu. Diberikan i(0) = [1 0 0]

 Didapatkan:
Limiting State Probabilities
 Jika suatu MC adalah ergodic, maka limiting
probabilities, {j, j  S} dimana
memenuhi

 dan
Definisi
 State probability:
j(n) = P[menemukan sistem pd state j pd step
ke-n]
j(n) = P[Xn = j]

 Stationary Probability/Limiting State

Prob./Steady State Prob/Equilibrium
Prob
j = limiting state probabilities
= P[ada pd state j pd sembarang waktu]
Teorema 2
 Pd suatu irreducible dan aperiodic,
homogeneous Markov Chain,
 Limiting state probabilities [j] selalu eksis
dan independent dari initial state probability
distribution [j(0)]
Contoh Limiting State Probabilities
 Meneruskan contoh sblmnya, kita dp memperoleh
limiting probabilities i , i = 1, 2, 3 dg
menyelesaikan persamaan

 Hasilnya adalah
Global Balance Equation
 Mengalikan dengan j dan menggunakan

 Kita mendapatkan Global Balance Equation sbb

 Yaitu, pd kesetimbangan/equilibrium, probabilitias

transisi keluar j sama dengan probabilitias transisi
masuk j
Solusi untuk j