TUGAS III

ANALISA MARKOV

ANGGOTA KELOMPOK 1A :
2113020 1. AHMAD FAUZI NUR HIDAYAT
2113040 2. DITO AJI FARENZA
2113045 3. RISKA
2113046 4. ROSSA DITA OKTAFIA
2113051 5. FERDO KHUSNA NURAHMAT

TEKNIK INDUSTRI S1
FAKULTAS TEKNOLOGI INDUSTRI
INSTITUT TEKNOLOGI NASIONAL MALANG
2023
PETA KONSEP
 Proses Stokastik
Proses Skokastik merupakan berbagai kejadian yang memenuhi hukum-
hukum peluang..Setiap nilai yang berubah terhadap waktu dengan caara yang
tidak tertentu (dalam ketidakpastian) dikatakan mengikuti proses stokastik. Jika
data masa lalu dapat digunakan untuk meramalkan sesuatu secara pasti, maka
kejadian yang akan datang tersebut dinamakan kejadian yang deterministik.
Namun jika data masa lalu hanya dapat menyajikan struktur peluang di masa yang
akan datang,maka dinamakan kejadian stokastik.

Model Skokastik
Model yang mencakup distribusi kemungkinan untuk input dan
memberikan serangkaian nilai dari sekurang – kurangnya satu variabel output
dengan probabilitas yang berkaitan pada tiap nilai.
Contoh : Waktu kedatangan pelanggan, waktu antrian pelanggan dsb

Spesifikasi Proses Stokastik

(i) Proses stokastik dengan parameter diskret, dapat menghasilkan ruang state
diskret
(ii) Proses stokastik dengan prameter diskret, dapat menghasilkan ruang state
kontinu
(iii) Proses stokastik dengan parameter kontinu, menghasilkan ruang state diskret
(iv) Proses stokastik dengan parameter kontinu, menghasilkan ruang state
kontinu.
 Rantai Markov Diskrit

Rantai markov diskrit adalah proses stokastik dengan ruang state dan
ruang parameternya diskrit serta memenuhi sifat markov. Rantai markov
ditentukan dengan probabilitas awal dan probabilitas transisi. Jika probabilitas
transisi tidak diketahui maka perlu untuk membuat inferensi tentang probabilitisik
transisi dari data.

Rantai markov diskrit memiliki banyak aplikasi dalam berbagai bidang,

seperti teori probabilitas, analisis data, pemodelan ekonomi, dan sebagainya.
Contoh penggunaannya adalah dalam prediksi cuaca, dimana kondisi cuaca saat
ini bergantung pada kondisi sebelumnya. Masing-masing kondisi cuaca dapat
diangap sebagai status, dan matriks transisi digunakan untuk menggambarkan
probabilitas peralihan antara status cuaca yang berbeda.

Salah satu keuntungan dari menggunakan rantai markov diskrit adalah

kemampuannya untuk menhasilkan prediksi yang akurat berdasarkan data masa
lalu. Namun pada model ini juga memiliki keterbatasan, yaitu tidak dapat
memperhitungkan faktor eksternal yang mungkin mempengaruhi peralihan antara
status. Oleh karena itu, model ini lebih cocok digunakan dalam situasi dimana
faktor eksternal dianggap konstan atau tidak signifikan.

(Kulkarni, V.G, 2011) Proses Stokastik { X n , n ≥ 0} atau ruang state disebut Rantai
Markov waktu Diskrit jika untuk setiap i dan j di S.

P ( X n +1= j| X n=i , X n−1 , … , X 0 ) =P ( X n +1= j| X n=i ) pers 1

Peluang bersyarat pada rumus (pers 1) menggambarkan histori

keseluruhan, proses hanya tergantung pada keadaan sekarang X(n)=i, bebas dari
waktu lampau 0,1,2,…,n-1. Artinya, peluang dari keadaan mendatang hanya
tergantung dari keadaan sekarang dan bebas dari keadaan yang lalu. Sifat ini
disebut sifat Markov (Memory Less).

Rantai Markov waktu Diskrit dikatakan homogen waktu atau disebut juga peluang
transisi stasioner. Peluang transisi dari keadaan i ke keadaan j (P)j persamaan
 rumus (pers 1) hanya bergantung pada waktu sekarang, secara umum. Apabila
peluang transisi bebas dari waktu n.

P ( X n +1= j| X n=i )=P ( X 1= j∨X 0 =i) pers 2

Pada penelitian model ini model rantai markov diasumsikan homogen

waktu P ( X n +1= j| X n=i )disebut peluang tansisi satu langkah dari rantai markov
waktu diskrit papda waktu n. untuk notasi yang lebih pendek adalah
Pij =P ( X n +1= j| X n=i ) , i, j=1 , 2 , … , N

X(n)=i menyatakan proses ebrada dalam keadaan i(i=0,1,2,…) pada waktu

n(n=0,1,2..)

Matriks Peluang transisi

Misalkan {X(n),n=0,1,2,…} adalah rantai markov homogen dengan ruang

keadaan tak hingga, i=0,1,2,… maka

Pij =P { X ( n+1 ) = j|X ( n )=i }

Menyatakan peluang transisi satu langkah dari keadaan I ke keadaan j.

Matriks peluang transisi satu langkah dari

Prosedur utama untuk meakukan proses analisi markov yaitu:

 Menyusun matriks probabilitas transisi

 Menghitung probabilitas suatu kejadian di waktu yang akan datang
 Menentukan steady state

{X(n),n=0,1,2,…} didefinisikan sebagai

P=[P ij ]¿

∞
Dengan Pij ≥ dan ∑ Pij =1(i , j=0 , 1 , 2, ...)
j=0
 Contoh

1. Matriks peluang transisi untuk rantai markov dua keadaan

Misal X(n) menyatakan sampo yang digunakan setiap minggu ke-n. maka {X(n)}
rantai markov dengan ruang parameter{1,2,…,n,…} dan ruang keadaan {A,B}

P=
[ P AA P AB
PBA PBB ][
=
0.85 0.15
0.05 0.95 ]
2. Matriks peluang transisi untuk rantai markov dua keadaan secara umum

P=
[ P00 P01
P10 P11
=
][
1−a
b
a
1−b ]
3. Matriks peluang transisi untuk markov empat keadaan

[ ]
1 1
0 0
2 2
1 1 1
0
3 3 3
1 1 1 1
4 4 4 4
0 0 1 0

Contoh Kasus

Masalah perubahan cuaca di Indonesia. Di Indonesia misal hanya terdapat 2

macam cuaca, yaitu hujan dan cerah. Diketahui masalah ini, cuaca indonesia
selalu berada pada salah satu dari dua state (status) yang mungkin, yaitu cerah
atau hujan. Perubahan dari state ke state yang lain pada periode berikutnya
merupakan suatu proses random yang dinyatakan dalam probabilitas, yang disebut
probabilitas transisi.

Misal diketahui
- P(hujan | hujan) = 0 , 6

- P(cerah | hujan) = 0, 8

- P(hujan | cerah) = 0 , 4

- P(cerah | cerah) = 0, 2

Pij (t) : Peluang transisi dari i ke j pada waktu t

Pij (t) = P(state I pada waktu t+I | state j pada waktu t)

(Waktu yang akan datang | waktu lalu)

State State Besok

Hari ini Hujan Cerah
Hujan 0,6 0,4
Cerah 0,8 0,2

P=
[ 00 ,, 68 0,4
0,2 ]
Menghitung menggunakan probabilitas Tree

Diketahui probailitas transisi sebagai berikut:

State State Besok

Hari ini Hujan Cerah
Hujan 0,6 0,4
Cerah 0,8 0,2
Hitung probabilitas cuaca akan berstatus hujan pada har ke 3, jika hari pertama
berstatus hujan.
Penyelesaian

Probabilitas cuaca berstatus hujan pada hari ke-3, jika pada hari pertama hujan
adalah
HH(3)= 0,36+0,32 = 0,68
Probabilitas cuaca berstatus cerah pada hari ke-3, jika pada hari pertama hujan
adalah
CH(3)= 0,24+0,08 = 0,32
Probabilitas matriks
State 1=hujan dan state 2= cerah. Probablty matrix:

P=
[ 00 ,, 68 0,4
0,2 ]
Jika pada hari ke 1 hujan maka peluang hari ke-2 hujan adalah 0,6 dan peluang
hari ke-2 cerah adalah 0,4.
Probability transisi 2 langka :

P=
[ 00 ,, 68 ][ ][
0,4 0,6
x
0,2 0,4
=
0 , 68 0 ,32
0 ,64 0 ,36 ]
Jadi peluang hari ke-3 hujan adalah 68% dan cerah adalah 32%.
 Matriks Probabilitas Transisi
Probabilitas Transisi adalah perubahan dari satu status ke status yang lain pada
periode (waktu) berikutnya dan merupakan suatu proses random yang dinyatakan
dalam probabilitas.
Rumus dari probabilitas transisi adalah berikut :
P(X =x | Xo = x0, X = x , …, X = x ) = P(Xn+1 = xn+1| Xn = xn)
n+1 n+1 1 1 n n

Ini berarti bahwa kondisi Xo = x , X = x , …, X = x tidak mempunyai

0 1 1 n-1 n-1
pengaruh terhadap keadaan tersebut, yang mempengaruhi probabilitas X
n+1
hanya X = x . Jadi keadaan (state) sebelumnya tidak berpengaruh terhadap
n n
keadaan besok (X ) , yang mempengaruhi hanya keadaan sekarang( X = x )
n+1 n n
Secara matriks P – P(m) ditulis sebagai berikut :
0 1 2 3  0 1 2 3 
0  p00 p01 p02 p03  0  p (0m0 ) p (0m1 ) p (0m2 ) p (0m3 ) 
1  p10 p11 p12 p13  
1  p 1(0m ) p 11( m ) p 1(2m ) p 1(3m ) 

P  2  p20 p21 p22 p23  P (m)  2  p (2m0 ) p (2m1 ) p (2m2 ) p (2m3 ) 
   
3  p30 p31 p32 p33  3  p ( m3 0) p (3m1 ) p (3m2 ) p (3 m3 ) 
             

Keterangan :
N = jumlah keadaan dalam proses
I = kondisi awal ke-i (i = 1, 2, …, n)
J = kondisi akhir ke-j (j = 1, 2, …, n)
Pij = peluang perubahan kondisi dari kondisi ke-i menjadi kondisi ke-j

Contoh Kasus Matriks Probabilitas Transisi :

Di kota A terdapat toko swalayan X dan Y. Diasumsikan bahwa sitiap pembeli
melakukan pembelian seminggu sekali di salah satu dari kedua toko swalayan
tersebut (tidak di keduanya).
Diambil sebanyak 80 sampel pembeli selama 10 minggu. Dari penelitian tersebut
diketahui bahwa jka pembeli ke toko X pada suatu minggu, 75 orang akan tetap
membeli di toko X pada minggu berikutnya dan jika pembeli ke toko Y pada
suatu minggu, 60 orang akan tetap membeli di toko Y pada minggu berikutnya.
Buatlah tabel dan matriks probabilitas transisinya! Jika pada minggu pertama
Bambang membeli di toko X, berapa probabilitas Bambang membeli di toko X
pada minggu ketiga?
Jawab :
Dari data yang ada, dapat dibuat tabel probabilitas transisi sebagai berikut :
Minggu Awal / Minggu
X Y
Selanjutnya
X 75/80 = 0,9375 5/80 = 0,625
Y 60/80 = 0,75 25/80 = 0,25

Maka matriks probabilitas transisinya yaitu sebagai berikut :

Jika pada minggu pertama Bambang membeli di toko X, berapa probabilitas

Bambang membeli di toko X pada minggu ketiga?
Kita akan selesaikan dengan menggunakan pendekatan matriks sebagai berikut.
Diperoleh kondisi awal yaitu sebagai berikut.

Sehingga perhitungan probabilitas untuk minggu kedua dan ketiga adalah sebagai
berikut.
Dari hasil perhitungan dia tas, maka dapat disimpulkan bahwa jika Bambang
membeli di toko X pada minggu pertama, probabilitas Bambang membeli di toko
X pada minggu ketiga adalah 92,58%.

Persamaan Chapman-Kolmogorov
Didefinisikan peluang dari keadaan ke-i menuju keadaan ke-j pada saat i sebagai
berikut
Pij (t) = P( X(t+s) = j X(s) = i )

Dan misalkan proses Poisson untuk i j, maka peluang dari keadaan i ke

menuju
keadaan j pada saat t

Dengan Pij peluang transisi stau langkah dengan πj merupakan sistem persamaan
linier homogen dan memberikan penyelesaian yang tidak tunggal. Dan jika
penyelesaian tersebut ada, maka penyelesaian untuk waktu yang lama ( panjang)
akan berdistribusi stasioner..

Pada rantai markov kontinu, peluang transisi digantikan oleh intensitas transisi
yang
didefinisikan seperti pada Lemma 1. Dengan menggunakan persamaan
Chapman
Kolmogorov dapat ditentukan distribusi peluang pada saat t+h.
Untuk menentukan distribusi peluang di waktu t+h dapat juga dengan
mengkondisikan terhadap keadaan di waktu yang telah lalu dan di waktu
mendatang, yang secara berturutturut dengan menggunakan persamaan
Backward Kolomogorof dan persamaan Forward Kolmogorof.
P'(t)=
ij qP
ikkj(t)-vP(t),
iij i,j,t 0
ki

P'(t)=
ij qP(t)-vP(t),
kjik jij i,j,t 0
kj

Dan

P(s,t)=
ij q(s)P(s,t)-q(s)P(t),
ik ij i ij i,j,t 0 persamaan BackwordKolmogorof
t kj

P(s,t)=
ij q(t)P(s,t)-q(t)P(t),
kj ik j ij i,j,t 0 persamaan Forward Kolmogorof
t k i

Klasifikasi Rantai Markov

State dalam rantai Markov mempunyai sifat berlainan, beberapa sifat state yang
akan dipelajari diantaranya :
1. State Absorbing
State ini mempunyai sifat P(a,a)=1
2. State Transien
Suatu state yS disebut Transien jika yy =Py (Ty<) <1
Ini berarti bahwa rantai Markov yang bermula dari y belum tentu (belum
pasti) kembali ke-y. Ada kemungkinan tidak kembali ke-y dan
P(dari y tidak kembali ke-y) =1-P(dari y kembali ke-y) =1-yy >0
3. State Rekuren
Suatu state yS disebut rekuren, jika yy=Py (Ty<)=1
Ini berarti bahwa rantai Markov yang bermula dari y pasti akan kembali
ke-y pada suatu waktu yang berhingga. Ingat bahwa : xy=Px(Ty<)
Jika y state absorbing, maka y merupakan state rekuren. Ini dapat
diperlihatkan berdasarkan kenyataan bahwa y state absorbing maka
P(y,y)=Py(Ty=1)=1
Ini berarti bahwa yy=1, akibatnya y merupakan state rekuren Namun
belum tentu berlaku kebalikannya
Klasifikasi State Rantai Markov
Keadaan j dapat dicapai dari keadaan i bila pn(i,j)>0, n0 dan ditulis ij
Keadaan i dan j disebut berkomunikasi bila i dapat dicapai dari j dan j dapat
dicapai dari i, ditulis i ↔ j
Sifat-sifat Komunikasi:
1. Simetris :i ↔ j  j ↔ i
2. Transitip : i ↔ j dan j ↔ k  i ↔ k
 3. Refleksi : i ↔ i
*2 State yang berkomunikasi disebut berada dalam satu kelas, C(i)={j:i↔j}
Karena ada sifat komunikasi, ruang state Rantai Markov dapat dipartisi atas kelas-
kelas yang saling asing. Jika hanya ada 1 kelas saja (semua state saling
berkomunikasi) maka Rantai Markov disebut irreducible.
Contoh dari suatu matriks transisi

0 1 2 3 4 0 1 2 3 4
01 3 0 0 0 0   0 0 0
 4 4 
11 1 0 0 0 1   0 0 0
P  2 2 2  P  2 0 0  0 0
0 0 1 0 0
 
3 0 0 1 2 0 3 0 0   0
3 3
4  1 0 0 0 0
 4   0 0 0

Matriks transisi menunjukkan bahwa:

State 0 dan 1 membentuk satu kelas dan saling berkomunikasi, State 2
berkomunikasi dengan dirinya sendiri, {3,4} transient
State 2 : absorbing; State (0,1) : recurent
State (3,4) : transient

Matriks Probabilitas Transisi

Probabilitas Transisi adalah perubahan dari satu status ke status yang lain pada
periode (waktu) berikutnya dan merupakan suatu proses random yang dinyatakan
dalam probabilitas.
Rumus dari probabilitas transisi adalah berikut :
P(X =x | Xo = x0, X = x , …, X = x ) = P(Xn+1 = xn+1| Xn = xn)
n+1 n+1 1 1 n n

Ini berarti bahwa kondisi Xo = x , X = x , …, X = x tidak mempunyai

0 1 1 n-1 n-1
pengaruh terhadap keadaan tersebut, yang mempengaruhi probabilitas X
n+1
hanya X = x . Jadi keadaan (state) sebelumnya tidak berpengaruh terhadap
n n
keadaan besok (X ) , yang mempengaruhi hanya keadaan sekarang( X = x )
n+1 n n
Secara matriks P – P(m) ditulis sebagai berikut :
0 1 2 3  0 1 2 3 
0  p00 p01 p02 p03  0  p 00 (m)
p 01(m)
p 02(m) (m)
p 03 
1  p10 p11 p12 p13  
1  p 1(0m ) p 11( m ) p 1(2m ) p 1(3m ) 

P  2  p20 p21 p22 p23  P (m)  2  p (2m0 ) p (2m1 ) p (2m2 ) p (2m3 ) 
   
3  p30 p31 p32 p33  3  p ( m3 0) p (3m1 ) p (3m2 ) p (3 m3 ) 
             
Keterangan :
N = jumlah keadaan dalam proses
I = kondisi awal ke-i (i = 1, 2, …, n)
J = kondisi akhir ke-j (j = 1, 2, …, n)
Pij = peluang perubahan kondisi dari kondisi ke-i menjadi kondisi ke-j

Contoh Kasus Matriks Probabilitas Transisi :

Di kota A terdapat toko swalayan X dan Y. Diasumsikan bahwa sitiap pembeli
melakukan pembelian seminggu sekali di salah satu dari kedua toko swalayan
tersebut (tidak di keduanya).
Diambil sebanyak 80 sampel pembeli selama 10 minggu. Dari penelitian tersebut
diketahui bahwa jka pembeli ke toko X pada suatu minggu, 75 orang akan tetap
membeli di toko X pada minggu berikutnya dan jika pembeli ke toko Y pada
suatu minggu, 60 orang akan tetap membeli di toko Y pada minggu berikutnya.
Buatlah tabel dan matriks probabilitas transisinya! Jika pada minggu pertama
Bambang membeli di toko X, berapa probabilitas Bambang membeli di toko X
pada minggu ketiga?
Jawab :
Dari data yang ada, dapat dibuat tabel probabilitas transisi sebagai berikut :
Minggu Awal / Minggu
X Y
Selanjutnya
X 75/80 = 0,9375 5/80 = 0,625
Y 60/80 = 0,75 25/80 = 0,25

Maka matriks probabilitas transisinya yaitu sebagai berikut :

Jika pada minggu pertama Bambang membeli di toko X, berapa probabilitas

Bambang membeli di toko X pada minggu ketiga?
Kita akan selesaikan dengan menggunakan pendekatan matriks sebagai berikut.
Diperoleh kondisi awal yaitu sebagai berikut.
Sehingga perhitungan probabilitas untuk minggu kedua dan ketiga adalah sebagai
berikut.

Dari hasil perhitungan dia tas, maka dapat disimpulkan bahwa jika Bambang
membeli di toko X pada minggu pertama, probabilitas Bambang membeli di toko
X pada minggu ketiga adalah 92,58%.

Persamaan Chapman-Kolmogorov
Didefinisikan peluang dari keadaan ke-i menuju keadaan ke-j pada saat i sebagai
berikut
Pij (t) = P( X(t+s) = j X(s) = i )

Dan misalkan proses Poisson untuk i j, maka peluang dari keadaan i ke

menuju
keadaan j pada saat t

Dengan Pij peluang transisi stau langkah dengan πj merupakan sistem persamaan
linier homogen dan memberikan penyelesaian yang tidak tunggal. Dan jika
penyelesaian tersebut ada, maka penyelesaian untuk waktu yang lama ( panjang)
akan berdistribusi stasioner..

Pada rantai markov kontinu, peluang transisi digantikan oleh intensitas transisi
yang
didefinisikan seperti pada Lemma 1. Dengan menggunakan persamaan
Chapman
Kolmogorov dapat ditentukan distribusi peluang pada saat t+h.
Untuk menentukan distribusi peluang di waktu t+h dapat juga dengan
mengkondisikan terhadap keadaan di waktu yang telah lalu dan di waktu
mendatang, yang secara berturutturut dengan menggunakan persamaan
Backward Kolomogorof dan persamaan Forward Kolmogorof.
P'(t)=
ij qP(t)-vP(t),
ikkj iij i,j,t 0
ki

P'(t)=
ij qP(t)-vP(t),
kjik jij i,j,t 0
kj

Dan

P(s,t)=
ij q(s)P(s,t)-q(s)P(t),
ik ij i ij
t kj

P(s,t)=
ij q(t)P(s,t)-q(t)P(t),
kj ik j ij
t k i

i,j,t 0 persamaan BackwordKolmogorof

i,j,t 0 persamaan Forward Kolmogorof

Klasifikasi Rantai Markov

State dalam rantai Markov mempunyai sifat berlainan, beberapa sifat state yang
akan dipelajari diantaranya :
4. State Absorbing
State ini mempunyai sifat P(a,a)=1
5. State Transien
Suatu state yS disebut Transien jika yy =Py (Ty<) <1
Ini berarti bahwa rantai Markov yang bermula dari y belum tentu (belum
pasti) kembali ke-y. Ada kemungkinan tidak kembali ke-y dan
P(dari y tidak kembali ke-y) =1-P(dari y kembali ke-y) =1-yy >0
6. State Rekuren
Suatu state yS disebut rekuren, jika yy=Py (Ty<)=1
 Ini berarti bahwa rantai Markov yang bermula dari y pasti akan kembali
ke-y pada suatu waktu yang berhingga. Ingat bahwa : xy=Px(Ty<)
Jika y state absorbing, maka y merupakan state rekuren. Ini dapat
diperlihatkan berdasarkan kenyataan bahwa y state absorbing maka
P(y,y)=Py(Ty=1)=1
Ini berarti bahwa yy=1, akibatnya y merupakan state rekuren Namun
belum tentu berlaku kebalikannya

Klasifikasi State Rantai Markov

Keadaan j dapat dicapai dari keadaan i bila pn(i,j)>0, n0 dan ditulis ij
Keadaan i dan j disebut berkomunikasi bila i dapat dicapai dari j dan j dapat
dicapai dari i, ditulis i ↔ j
Sifat-sifat Komunikasi:
4. Simetris :i ↔ j  j ↔ i
5. Transitip : i ↔ j dan j ↔ k  i ↔ k
6. Refleksi : i ↔ i
*2 State yang berkomunikasi disebut berada dalam satu kelas, C(i)={j:i↔j}
Karena ada sifat komunikasi, ruang state Rantai Markov dapat dipartisi atas kelas-
kelas yang saling asing. Jika hanya ada 1 kelas saja (semua state saling
berkomunikasi) maka Rantai Markov disebut irreducible.
Contoh dari suatu matriks transisi

0 1 2 3 4 0 1 2 3 4
0 1 3 0 0 0 0   0 0 0
 4 4 
11 1 0 0 0 1   0 0 0
P  2 2 2  P  2 0 0  0 0
0 0 1 0 0
 
3 0 0 1 2 0 3 0 0   0
3 3
4  1 0 0 0 0
 4   0 0 0

Matriks transisi menunjukkan bahwa:

State 0 dan 1 membentuk satu kelas dan saling berkomunikasi, State 2
berkomunikasi dengan dirinya sendiri, {3,4} transient
State 2 : absorbing; State (0,1) : recurent
State (3,4) : transient
 FIRST PASSAGE TIME
First passage time atau waktu singgah pertama sering menjadi perhatian
bahwa kita mengetahui sesuatu tentang waktu transisi dalam rantai markov.
Informasi tentang waktu transisi biasanya di definisikan sebagai waktu singgh
pertama atau first passage time. Banyaknya transisi atau tahap yang di perlukan
pergi dari state r ke state s pertamakali didefinisikan sebagai waktu singgah
pertama dari state r ke state s,yang di notasikan dengan Trs.

Jika peluang sistem pergi dari state r ke state s akhirnya (mungkin dalam
sejumlah besar tahapan) sama dengan 1,maka waktu singgah pertama tersebut
Trs.jika tidak maka nilai tersebut akan ∞.

Pada umumnya waktu lewat pertama adalah variable acak. Distribusi

probabilitas yang berkaitan dengan variable acak bergantung pada probabilitas
transisi prosesnya. Secara khusus,andaikan adalah notasi probabilitas bahwa
waktu lewat pertama dari state i ke state j sama dengan ke-n. untuk n > 1,waktu
lewat pertama ini adalah n jika transisi pertama adalah dari state i ke sembarang
state (k ≠ 𝑗) dan waktu lewat pertama lewat dari state k ke state j adalah n – 1. Oleh
karena itu,probabilitas ini memenuhi hubungan rekursif sebagai berikut.

(1) = 𝑃𝑖𝑗(1) = 𝑃𝑖𝑗

(2) = ∑𝑘≠𝑗 𝑃𝑖𝑗𝑓𝑘𝑗(1)

 Model First Passage Time mengacu pada asumsi struktur modal
perusahaan yang sederhana yang terdiri dari liabilitas dan ekuitas.
Persamaannya sebagai berikut:

dengan

: nilai total aset perusahaan pada waktu t

: liabilitas perusahaan dalam waktu

: nilai ekuitas perusahaan pada waktu t

: waktu kebangkrutan

Menurut Jorge A. Chan-Lau dan Andre O. Santos dalam IMF Working

Paper (2006), asumsi-asumsi yang mendasari model First Passage Time adalah
sebagai berikut:

1. Tidak ada biaya transaksi, pajak atau permasalahan dengan aset.

2. Dimungkinkan terjadinya short selling setiap waktu.
3. Pasar sangat elastis, investor dapat membeli dan menjual dan tidak
berpengaruh pada harga pasar.
4. Keuangan perusahaan terdiri atas ekuitas dan zero-coupon bond.
5. Terjadi perdagangan yang kontinu dan aset perusahaan merupakan
sekuritas yang dapat diperdagangkan.

Nilai Ekuitas Perusahaan Model First Passage Time

Dalam model Merton, perusahaan hanya bisa mengalami kebangkrutan
pada saat jatuh tempo T. Namun, dalam jurnal yang ditulis oleh Black dan Cox
(1976) yang berjudul “Valuing Corporate Securities: Some Effects of Bond
Indenture Provisions” diasumsikan bahwa perusahaan dapat mengalami
kegagalan kapanpun sebelum waktu jatuh temponya. Sama halnya dalam model
Merton, pada model First Passage Time ini juga menggunakan gerakan Brown
Geometrik untuk memodelkan nilai total aset perusahaan ( ), tetapi definisi
dari waktu kegagalannya berubah menjadi:

dengan adalah nilai barrier atau batas kegagalan. Secara umum nilai pasar
ekuitas dalam model First Passage Time adalah

dengan

: Nilai pasar ekuitas model First Passage Time

: Nilai aset perusahaan pada waktu ke-ti

: Nilai utang muka (face value)

Jika berdistribusi Lognormal maka , dimana adalah nilai

harapan dan adalah variansi dari . Sehingga nilai pasar ekuitasnya

menjadi:

dengan:

: fungsi distribusi kumulatif normal standar

: Nilai aset perusahaan pada awal peminjaman

 : Tingkat bunga bebas risiko

: Volatilitas total aset perusahaan

Nilai Liabilitas Perusahaan Model First Passage Time

Menurut International Accounting Standards Board (IASB), liabilitas
adalah kewajiban perusahaan saat ini yang timbul akibat peristiwa masa lalu,
penyelesaian yang dimana diharapkan dihasilkan dalam outflow dari
perusahaan yang bersumber perwujudan keuntungan ekonomi. Liabilitas juga
disebut dengan hutang perusahaan. Persamaan liabilitas diperoleh dari
persamaan sederhana aset perusahaan yaitu:

Dengan menggunakan persamaan ekuitas dari model First Passage Time, maka
diperoleh nilai liabilitas sebagai berikut:

dengan

: Nilai total aset perusahaan pada waktu t

: Nilai liabilitas model First Passage Time

Probabilitas Kebangkrutan Perusahaan Model First Passage Time

Probabilitas kebangkrutan (Probability of Default) adalah probabilitas
dimana aset perusahaan menjadi kurang dari nilai barrier tertentu. Diasumsikan
nilai total aset perusahaan sebagai berikut (Elizalde, 2005):

dengan

: Tingkat suku bunga bebas risiko

: Volatilitas dari

: Proses Wiener standar

 Variabel mewakili volatilitas nilai total aset perusahaan, sedangkan
merupakan tingkat suku bunga bebas risiko. Solusi persamaan diatas adalah

Menurut Giesecke (2003), untuk menghitung probabilitas kegagalan

model First Passage Time ini, langkah pertama adalah dengan mendefinisikan
proses running-minimum log-asset dengan Mt min(ms Ws ) dan

Sehingga diperoleh probabilitas kebangkrutannya adalah:

dengan

: Nilai aset perusahaan pada awal peminjaman

: Nilai barrier atau batas kegagalan

: Tingkat suku bunga bebas risiko

: Volatilitas total aset perusahaan

STEADY STATE DALAM RANTAI MARKOV

Stady state adalah kondisi dimana setelah proses markov berjalan

selama beberapa periode,maka akan diperoleh nilai probabilitas suatu state
akan bernilai tetap. Dapat juga di artikan sebagai peluang peralihan yang sudah
mencapai keseimbangan sehingga tidak akan berubah terhadap perubahan
waktu yang terjadi. Steady state juga merupakan suatu proses dimana semua
variable yang ditinjau baik untuk keseluruhan sistem maupun pada sustu bagian
atau suatu titik dalam sistem tidak berubah terhadap waktu.

Contoh kasus
Perubahan dari satu state ke state yang lain pada periode hari berikutnya di
tuliskan dalam matriks/ tabel probabilitas transisi sebagai berikut :

Pemilik usaha angkot tersebut ingin mengetahui probabilitas sebuah angkot

berstatus jalan pada hari ke 3 jika angkkot tersebut ber status jalan pada hari ini
( hari ke 1)

 Probabilitas sebuah angkot berstatus jalan paa hari ke 3 jika angkot

tersebut berstatus jalan pada hari ini ,dapat di tuliskan dengan symbol
Jj(3)
 Probabilitas sebuah angkot berstatus mogok paa hari ke 3 jika angkot
tersebut berstatus mogok pada hari ini ,dapat di tuliskan dengan symbol
Mj(3)
 Dan sterusnta dengan penalaran yang serupa
 Probabilitas sebuah angkota berstatus jalan ataupun mogok pada hari
ke-1, ditulis dalam vektor baris sbb. :

 Probabilitas sebuah angkota berstatus jalan ataupun mogok pada hari

ke-2, bila angkot tersebut berstatus jalan pada hari ke-1, dapat dicari
dengan mengalikan vektor baris dengan matriks probabilitas transisi,
diperoleh :
  Dan, probabilitas sebuah angkota berstatus jalan ataupun mogok pada
hari ke-3, bila angkota tersebut berstatus jalan pada hari ke-1, dapat
dicari dengan penalaran serupa, diperoleh :

CONTOH UNTUK MENENTUKAN STEADY STATE

 Seandainya perhitungan dilanjutkan, maka probabilitas sebuah angkota

berstatus jalan ataupun mogok pada hari ke-4, bila angkota tersebut
berstatusjalan pada hari ke-1, adalah :

 Probabilitas status periode selanjutnya adalah :

 Dari hasil tersebut terlihat bahwa perubahan probabilitas status untuk

periode selanjutnya makin kecil sampai akhirnya tidak tampak adanya
perubahan tercapai mulai periode ke-7.
 Sehingga, pemilik usaha angkota dapat menyimpulkan bahwa jika pada
awalnya angkota berstatus jalan, maka setelah beberapa periode di masa
depan probabilitas akan jalan adalah 0,6667 dan probabilitas mogok
adalah 0,3333.
  Probabilitas status di masa depan, jika awalnya mogok dapat dilakukan
dengan cara serupa. Diperoleh:

 Probabilitas status periode selanjutnya adalah :

 Dari kedua hasil tersebut, terlihat bahwa apapun status awalnya, maka
nilai probabilitas status di masa depan akan konstan, yaitu probabilitas
akan jalan adalah 0,6667 dan probabilitas mogok adalah 0,3333

Markov waktu kontinu

Rantai markov waktu kontinu merupakan proses stokastik dengan ruang keadaan
diskrit dan ruang parameternya kontinu. Proses stokastik {X(𝑡), 𝑡 ≥ 0} dikatakan
Rantai Markov waktu kontinu jika untuk semua t ≥ 0, s > 𝑠𝑛;1 > … > (𝑠1 ) ≥ 0,
i, j, in ≥ 0
𝑃(X(𝑡 + 𝑠) = j|X(𝑠) = i, X(𝑠𝑛;1 ) = i𝑛;1 , … , X(𝑠1 ) = i1 )
= 𝑃(X(𝑡 + 𝑠) = j|
X(𝑠) = i)

Suatu proses stokastik {X(t),t [0, ), t R }waktu kontinu disebut rantai markov
waktu
kontinu bila proses stokastk tersebut mempunyai sifat Markovian. Sifat
Markovian
merupakan distribusi bersyarat dari keadaan di waktu mendatang t+s, diberikan
keadaan pada
waktu saat ini s dan semua keadaan pada waktu lampau, dimana peluang dari
keadaan
diwaktu mendatang t+s hanya bergantung pada keadaan saat ini s dan tidak
bergantung pada
keadaan pada waktu lampau
Jika peluang P (X(t+s) = j X(s) = i) tidak bergantung dari nilai s maka rantai
Markov waktu
kontinu dikatakan mempunyai peluang transisi yang homogen atau stasioner.

Rantai Markov waktu kontinu dikatakan waktu homogen jika untuk sebarang s t
dan
sebarang keadaan i.j S berlaku

Pij (s,t) = P( X(t) = j X(s) = i, P( X(t-s) =j X(0 ) = i )

Pada rantai Markov diketahui bahwa transisi dari proses terjadi setiap satu satuan
waktu.
Tidak demikian halnya untuk proses Markov. Misalkan proses Markov yang
diteliti
berpindah ke keadaan –i pada waktu t0. Misalkan setelah s waktu kemudian
proses masih
berada di keadaan yang sama ( peluang transisi tidak terjadi ).

Asumsikan bahwa Pij (s,t) kontinu di t=0 yaitu peluang transisi stasioner yang
didefinisikan ssebagai berikut

Contoh rantai markov kontinu salah satunya adalah proses poisson. Jika pada
proses poisson, keadaan dari proses pada waktu t adalah banyaknya kedatangan
pada pada waktu t, N(t) = n, maka pada rantai markov waktu kontinu banyaknya
kedatangan n berubah menjadi keadaan i pada waktu t dan bertransisi ke
keadaan j, i,j = 0,1,2,…

Proses markov dikatakan memiliki peluang transisi stasioner jika

𝑃ij(𝑡) = 𝑃(X(𝑡 + 𝑠) = j|X(𝑠) = i) = 𝑃(X(𝑡) = j|X(0) = i)
Misalkan proses masuk pada keadaan i pada waktu s dan sampai waktu t+s
proses masih tetap berada pada keadaan i. Dengan mengikuti sifat markov,
peluang proses berada pada keadaan i pada selang waktu [s, t+s] adalah peluang
berada pada keadaan i pada waktu t+s, jika diketahui sebelumnya berada pada
keadaan i pada waktu s adalah sama dengan peluang berada pada keadaan i
paling sedikit selama waktu t. Misalkan Xi menyatakan lamanya waktu yang
dihabiskan dikeadaan i sebelum transisi ke keadaan j
𝑃(Xi > 𝑡 + 𝑠|Xi > 𝑠) = 𝑃(Xi > 𝑡) s, t ≥ 0
Maka Xi memiliki sifat memoryless dan berdistribusi eksponensial.
Berdasarkan sifat memoryless maka ada dua hal yang perlu diketahui ketika
proses melakukan transisi dari keadaan i ke keadaan j. Proses {X(𝑡), 𝑡 ≥ 0} ketika
masuk keadaan i maka
i. Lamanya waktu yang dihabiskan dikeadaan i sebelum transisi ke
keadaan j
berdistribusi eksponensial dengan rate 𝑢i; dan
ii. Apabila proses meninggalkan keadaan i, maka proses akan masuk
keadaan

j dengan peluang 𝑃ij dimana ∑j❜i 𝑃ij = 1

Misalkan 𝑞ij adalah rate transisi dari keadaan i ke

keadaan j,
𝑞ij = 𝑢i𝑃ij, 𝑠𝑒𝑚𝑢𝑎 i G j. Misalkan 𝑃ij(𝑡) adalah peluang bahwa proses sekarang
sudah berada di keadaan i, akan ke keadaan j setelah waktu tambahan t
𝑃ij(𝑡) = 𝑃(X(𝑡 + 𝑠) = j|X(𝑠) = i)
dengan 𝑃ij(𝑡) ≥ 0 dan ∑∞ 𝑃ij(𝑡) ≤ 1

Birth and Death Process

Birth and Death Process merupakan rantai markov waktu kontinu dengan
keadaan 0,1,2,… dimana transisi dari keadaan i hanya bisa dilakukan ke keadaan
i+1 atau i-1. Ketika keadaan bertambah 1 dikatakan kelahiran terjadi dan ketika
keadaan berkurang 1 dikatakan kematian terjadi. Keadaan dari proses ini
biasanya mewakili ukuran dari sebuah populasi.
 Misalkan 𝜆i dan 𝜇i , 𝜆i = 𝑞i.i:1 dan 𝜇i = 𝑞i,i;1. Karena ∑j 𝑞ij = 𝑢i
ditulis 𝑢i = 𝜆i + 𝜇i.

Asumsikan 𝑃ij pada selang waktu yang kecil h memenuhi:

i. 𝑃i,i:1 (ℎ) = 𝜆i ℎ + 𝑜(ℎ), i≥0
ii. 𝑃i,i;1 (ℎ) = 𝜇i ℎ + 𝑜(ℎ), i≥1
iii. 𝑃i,i(ℎ) = 1 − (𝜆i + 𝜇i)ℎ + 𝑜(ℎ), i ≥ 0
iv. 𝑃i,j(0) = 𝛿ij
v. 𝜇0 = 0, 𝜆0 > 0, 𝜇i, 𝜆i, i = 1,2, …
(Karlin & Taylor, 1998).

Misalkan dapat ditulis 𝑃ij(ℎ) = 𝑞ijℎ + 𝑜(ℎ) dengan

dengan ∑j 𝑞ij = 0. Berikut ini merupakan matriks Q yaitu matriks yang

isinya adalah rate transisi dari keadaan i ke keadaan j

Persamaan Chapman Kolmogorov untuk rantai markov waktu kontinu

adalah

𝑃ij(𝑡 + 𝑠) = ∑∞𝑃i𝑘(𝑡)𝑃𝑘j(𝑠) untuk s, t ≥ 0 (Ross, S.M.,2010)

Kemudian jika

Misalkan h →∞ maka
Atau sama dengan

𝑃′ (𝑡) = 𝜆j;1 𝑃i,j;1 (𝑡) + 𝜇j:1 𝑃i,j:1 (𝑡) − (𝜆j + 𝜇j )𝑃ij (𝑡) Forward Equation

Seperti pada rantai markov waktu diskrit, pada rantai markov waktu
kontinu peluangnya untuk t →∞ kadang akan menuju ke suatu nilai. Misal
nilai tersebut 𝑃j
𝑃j = lim 𝑃ij(𝑡)
𝑡→∞

dimana diasumsikan nilai limitnya ada. Untuk menghitung nilai 𝑃j maka

dimulai terlebih dahulu dari persamaan Chapman Kolmogorov Forward

Jika t →∞ dan asumsikan limit dan deret bisa ditukar maka

lim𝑡→∞ 𝑃′ (𝑡) = lim [∑𝑘❜j 𝑞i𝑘 𝑃𝑘j (𝑡) − 𝑢j 𝑃ij (𝑡)]
ij
𝑡→∞

= ∑𝑘❜j 𝑞i𝑘 𝑃𝑘 − 𝑢j 𝑃j

Karena 𝑃ij(𝑡) merupakan fungsi terbatas karena nilainya berada diantara 0

dan 1 dan juga 𝑃′ (𝑡) konvergen ke 0 , maka bisa ditulis
ij
0 = ∑𝑘❜j 𝑞i𝑘 𝑃𝑘 − 𝑢j 𝑃j

Atau

𝑢i 𝑃j = ∑𝑘❜j 𝑞i𝑘 𝑃𝑘 untuk semua j

dengan ∑j 𝑃j = 1.
(Ross, S.M.,2010).
Karena j 𝑃j adalah rate ketika meninggalkan keadaan j dan ∑𝑘❜j
𝑞𝑘j 𝑃𝑘 adalah rate ketika dari keadaan i masuk ke keadaan j, atau ekuivalen
dengan rate ketika proses meninggalkan suatu keadaan sama dengan rate
ketika proses memasuki keadaan yang lain, sehingga dapat dibuat
persamaan kesetimbangan
Keadaan Rate Proses Keluar = Rate Proses Masuk
 0 λ0P0 = µ1P1
n=1 (λ1+ µ1)P1 = μ2P2 + λ0P0
n>1 (λn+ µn) Pn = µn+1Pn+1+ λn-1 Pn-1

Gambar II.6. Diagram Transisi dari Birth and Death Process. Keadaan
menyatakan banyaknya populasi dengan rate proses
meninggalkan keadaan i sama dengan rate proses memasuki
keadaan ke j.

Dari persamaan kesetimbangan di atas

dapat ditulis λ0P0 = µ1P1
λ1P1 = µ2P2
.
.
.
λnPn = µn+1Pn+1

jika misalkan P0 = P0 maka diperoleh

λ0
untuk n= 1 : P1 = P0
u1

λ1
untuk n= 2 : 21 = P1
u2
λ0 λ1
= P0
u 1 u2

Karena Pn adalah peluang sehingga harus memenuhi ∑∞ 𝑃𝑛 = 1.

𝑛<0
Substitusikan
𝑃0, 𝑃1, 𝑃2, . . , 𝑃𝑛
Jadi, peluang terdapat proses berada pada keadaan n, dengan n = 1,2,…
adalah
DAFTAR PUSTAKA

Pengantar Proses Stokastik :

PENGANTAR_MODEL_STOKASTIK.pptx (live.com)

Bab II PROSES STOKASTIK.pptx (live.com)

Rantai Makrov:

Frekuensi Hari Hujan Menurut Bulan di Kota Balikpapan dengan Rantai Markov Waktu
Diskrit | SPECTA Journal of Technology (itk.ac.id)

http://eprints.undip.ac.id/32229/6/M99_Betty_Ardianarini_chapter_II.pdf

Slide 1 (dinus.ac.id)

Rantai Markov | Matriks Peluang Transisi dan Peluang Kejadian di Waktu akan datang -
YouTube

(PDF) Penelitian Operasional II | M Arifin - Academia.edu

BAB III Rantai Markov-Peluang Transisi.pptx (live.com)

5. rantai-markov-diskrit (slideshare.net)

Rantai Markov Diskrit (Discrete Markov Chain) - PDF Free Download (adoc.pub)

Estimasi Interval Konfidensi untuk Probabilitas Transisi Rantai Markov Diskrit (uns.ac.id)

Matriks probabilitas transisi

persamaan ChapmanKolmogorov dan klasifikasi rantai
Markov:

https://informasains.com/edu/post/2021/12/markov-chain-rantai-markov-
pengertian-perhitungan-contoh/
https://ilkomitt.files.wordpress.com/2012/10/6-rantai-markovklasifikasi-
state.ppt
https://ejournal.unsrat.ac.id/index.php/JIS/article/view/54
https://karyailmiah.unisba.ac.id/index.php/statistika/article/download/8390/
pdf
First passage time dan kondisi
steady-state pada rantai Markov Rantai Markov kontinu:
https://darmanto.akakom.ac.id
https://repository.dinus.ac.id
https://journal.uny.ac.id
https://digilib.itb.ac.id/assets/files/disk1/456/jbptitbpp-gdl-fransiskaa-22761-3-
2016ta-2.pdf
https://media.neliti.com/media/publications/176802-ID-proses-kelahiran-dan-
kematian-sebagai-ra.pdf