METODE

ANTAI
KUANTITATIF

MARKOV
#LPOSI2022

DEBORA A T
TAMPUBOLON -
14420016
 ROSES STOKASTIK
Kumpulan variabel random yang berevolusi sepanjang waktu

didefinisikan dengan Nilai dari variabel random pada saat t

X(t) untuk t ≥ 0 disebut status atau state saat t

KLASIFIKASI

Himpunan Waktu

Proses stokastik status-diskret Proses stokastik status-kontinyu

waktu-diskret waktu-diskret
Himpunan Status
Proses stokastik status-kontinyu Proses stokastik status-kontinyu
waktu-kontinyu waktu-kontinyu
 ANTAI MARKOV
Asumsi Markov : Probabilitas status proses pada saat yang akan datang hanya
bergantung pada status proses saat bukan saat-saat yang lalu

P(X(s+t) = x(s+t) | X(s) = x(s))

Rantai Markov : Proses stokastik yang memenuhi asumsi Markov

KLASIFIKASI

Rantai Markov waktu-diskret Rantai Markov waktu-kontinyu

RANTAI
MARKOV
Rantai Markov dengan
proses yang berevolusi
sepanjang waktu secara
diskret

WAKTU-DISKRET Langkah : waktu yang

berevolusi secara diskret
ROBABILITAS TRANSISI SATU-LANGKAH
Asumsi Stasioner : Jika probabilitas status j pada langkah t+1 sama dengan
probabilitas status j pada langkah s+1 dengan status i pada langkah t dan s.

pij = P(X(t+1) = j | X(t) = i) = P(X(1) = j | X(0) = i)

MATRIKS PROBABILITAS TRANSISI SATU-LANGKAH

M : Himpunan status
ROBABILITAS TRANSISI T-LANGKAH
Persamaan
Chapman-
Kolmogorov

MATRIKS PROBABILITAS TRANSISI T-LANGKAH

ROBABILITAS PERJALANAN PERTAMA
Probabilitas proses berada pada status j untuk pertama kali pada langkah t
 ERMINOLOGI DALAM RANTAI MARKOV

STATUS REKUREN STATUS TRANSIEN RANTAI MARKOV RANTAI MARKOV

Status tersebut tidak dapat YANG TAK DAPAT YANG DAPAT
Status tersebut dapat terjadi lagi
terjadi lagi setekah sejumlah TEREDUKSI TEREDUKSI
transisi tertentu
Tiap status dapat dicapai dari Tidak semua status dapat
tiap status lainnya dicapai dari tiap status lainnya
 ERMINOLOGI DALAM RANTAI MARKOV

RANTAI MARKOV RANTAI MARKOV RANTAI MARKOV RANTAI MARKOV

ABSORBING
Memiliki status yang jika proses
masuk ke status ini, maka proses
tidak akan pernah meninggalkan
status ini
BERHINGGA TAK BERHINGGA PERIODIK
Memiliki status dengan jumlah Memiliki status dengan jumlah Memiliki status yang dapat
tertentu tak terhingga terjadi lagi hanya pada n periode
tertentu atau kelipatannya
 ANTAI MARKOV WAKTU-DISKRET ERGODIK

Bentuk khusus dari Rantai Markov waktu diskret yang memiliki ciri-ciri :

SEMUA STATUS ADALAH MERUPAKAN RANTAI MERUPAKAN RANTAI

TAK TEREDUKSI MARKOV BERHINGGA MARKOV TAK PERIODIK
 ROBABILITAS STATUS-MAPAN
Probabilitas saat proses berada pada status j dalam jangka panjang

MATRIKS PROBABILITAS STATUS-MAPAN

nilai πj ditentukan
π sebagai vektor barıs dengan pemecahan
persamaan linear :
 ERATA WAKTU
PERJALANAN PERTAMA
Rerata jumlah transisi
(waktu) yang dibutuhkan
proses berada di status j
untuk pertama kali jika
awalnya proses berada di
status i
KEMBALI PERTAMA
Rerata jumlah transisi
(waktu) yang dibutuhkan
proses kembali ke status
awal i untuk pertama kali
πi sebagai probabilitas
kondisi mapan status i
 ROBABILITAS PENYERAPAN
Rantai Markov waktu-diskret absorbing : dicirikan dengan adanya status yang
bersifat transien

Probabilitas proses masuk ke status absorbing j ∈ L untuk selamanya dari status

∈
awal i K

K : Himpunan status transien

L : Himpunan status absorbing
 ROBABILITAS PENYERAPAN
DENGAN OPERASI MATRIKS

Matriks probabilitas penyerapan dari

status transien ke status absorbing

Q : Probabilitas transisi satu-langkah dari status transien ke status transien

R : Submatriks dari matriks probabilitas transisi satu-langkah dari status transien ke status
absorbing
I : Matriks identitas
 ERATA JUMLAH MASUK
∈
Rerata proses akan masuk ke status transien j K sebelum penyerapan terjadi jika
∈
proses awalnya berada di status transien i K

K : Himpunan status transien

L : Himpunan status absorbing
 ERATA JUMLAH MASUK
DENGAN OPERASI MATRIKS

Matriks rerata jumlah masuk

Q : Submatriks dari matriks probabilitas transisi satu-langkah dari status transien ke status
transien
I : Matriks identitas
 ERATA DURASI
Rerata durasi proses akan masuk ke status transien i ∈ K sebelum penyerapan
terjadi

eij = rerata jumlah masuk dari

∈ ∈
status i K ke status j K

K = Himpunan status transien

ERATA WAKTU PERJALANAN PERTAMA BERSYARAT
∈
Rerata waktu proses akan masuk ke status absorbing j L jika proses awalnya
∈
berada pada status transien i K dengan syarat kejadian ini terjadi

aij = Probabilitas penyerapan

mij = Rerata waktu perjalanan pertama

∈ ∈
dari status i K ke status j L
RANTAI
MARKOV
Rantai Markov dengan
proses yang berevolusi
sepanjang waktu secara
kontinyu

WAKTU-KONTINYU
 ANTAI MARKOV WAKTU-KONTINYU
Proses stokastik yang memenuhi asumsi markov dengan status proses diskret dan
berevolusi sepanjang waktu secara kontinyu

P(X(s+t) = x(s+t) | X(s) = x(s))

Proses Markov dikatakan homogen atau stasioner jika probabilitas bersyarat hanya
bergantung pada interval waktu antar kejadian, bukan pada titik-titik waktu

P(X(s+t) = j | X(s) = i) = P(X(t) = j | X(0) = i)

UNGSI PROBABILITAS TRANSISI

qij = laju transisi dari status i ke status j

PERSAMAAN DIFERENSIAL DALAM BENTUK MATRIKS

P = Matriks fungsi probabilitas transisi

Q = Matriks laju transisi
 ISTRIBUSI EKSPONENSIAL
Ciri tak ada ingatan : Distribusi probabilitas dari waktu tersisa hingga keluar dari status
adalah sama tanpa menghabiskan waktu di status tersebut

P(Ti > s+t | Ti > s) =P(Ti > t)

FUNGSI DISTRIBUSI KUMULATIF VARIABEL RANDOM T RERATA DAN VARIANSI VARIABEL RANDOM T YANG
YANG BERDISTRIBUSI EKSPONENSIAL BERDISTRIBUSI EKSPONENSIAL
 IRI-CIRI FUNGSI DISTRIBUSI EKSPONENSIAL

MINIMUM VARIABEL
FUNGSI MENURUN TAK ADA INGATAN RANDOM EKSPONENSIAL
YANG IDENTIK DAN
SALING INDEPENDEN
Fungsi distribusi Distribusi probabilitas
eksponensial merupakan waktu tersisa hingga Minimum dari beberapa
fungsi yang menurun kejadian terjadi selalu variabel random yang
untuk t ≥ 0 sama tanpa memandang saling independen juga
berapa banyak waktu memiliki distribusi
yang sudah terlewat eksponensial
 ROBABILITAS KONDISI MAPAN
Probabilitas saat proses berada pada status j dalam jangka panjang

MATRIKS PROBABILITAS KONDISI MAPAN

π sebagai vektor barıs

Q = matrik laju transity
 ROSES KELAHIRAN-KEMATIAN
Bentuk khusus dari proses Markov waktu-kontinyu

Proses kelahiran terjadi jika terdapat transisi dari status i ke status j = i + 1

Proses kematian terjadi jika terdapat transisi dari status i ke status j = i - 1

 ATRIKS LAJU TRANSISI
MATRIKS LAJU TRANSISI UNTUK PROSES KELAHIRAN-KEMATIAN

μ = laju kematian
λ = laju kelahiran

DIAGRAM LAJU TRANSISI

 ROSES POISSON

Bentuk khusus dari proses kelahiran-kematian

MATRIKS LAJU TRANSISI UNTUK PROSES POISSON

DIAGRAM TRANSISI
 ROSES POISSON
FUNGSI PROBABILITAS TRANSISI DARI STATUS I = 0 KE STATUS J

λt = rerata jumlah kejadian yang

terjadi dalam interval waktu t