Materi-5:

ANALISIS PROSES MARKOV

A. PROSES MARKOV DAN MATRIKS TRANSISI

Suatu situasi atau sistem atau proses disebut proses Markov jika prediksi (probabilitas)
sistem atau situasi pada t+1 (baca: periode berikutnya) hanya tergantung situasi pada t
(baca: periode sekarang).

Contoh:
1. Situasi sedang aktif atau bebasnya suatu pesawat telpon pada selang waktu tertentu
hanya tergantung situasi aktif atau bebasnya pesawat telpon tersebut pada selang
waktu sebelumnya.

2. Situasi cuaca hari esok hujan atau cerah hanya tergantung situasi apakah cuaca hari
ini (hujan atau cerah), tidak tergantung hari-hari sebelumnya.

Kumpulan semua nilai situasi yang mungkin dalam suatu periode dinamakan state space.
Misalnya pada contoh 1, state space adalah {aktif, bebas}; pada contoh 2, state space
adalah {hujan, cerah}. Dengan menggunakan istilah state, suatu proses dinamakan proses
Markov jika prediksi sistem saat t  1 hanya ditentukan oleh state sistem pada saat t.

Oleh Oleh karena proses Markov merupakan proses stokastik, proses bertransisi
(beranjak) dari state satu ke state lainnya dengan probabilitas tertentu, maka distribusi
proses Markov ditentukan probablilitas transisi pij . Distribusi probablilitas ini biasanya
dideskripsikan dalam bentuk suatu matrik P yang disebut matrik probablilitas transisi.
Jika matrik probablilitas transisi P suatu proses Markov tidak diketahui, maka matrik
tersebut harus diestimasi dari data empirik.

Matrik Probabilitas Transisi P

Untuk kasus dua state, perhatikan matriks P dengan state space {1, 2} berikut
1 p p12  p p 
P   11 11
atau biasa disingkat P   p p 

12

2  p21 p22   21 22 

 Probabilitas:
p11 = probabilitas sistem berada situasi 1 jika sebelumnya juga berada pada situasi 1.
= P{Sistem = state 1 | Sistem = state 1}

p12 = probabilitas sistem berada situasi 2 jika sebelumnya juga berada pada situasi 1.
= P{Sistem = state 2 | Sistem = state 1}

p21 = probabilitas sistem berada situasi 1 jika sebelumnya juga berada pada situasi 2.
= P{Sistem = state 1 | Sistem = state 2}

p22 = probabilitas sistem berada situasi 2 jika sebelumnya juga berada pada situasi 2.
= P{Sistem = state 2 | Sistem = state 2}

 Jumlah probabilitas dalam satu baris matriks harus sama dengan 1. Contoh: p11 +
p12 =1, dan p21 + p22 = 1.
 Demikian juga untuk kasus 3 state, 4 state, dst.

1
  p11 p12   p1N 
 
 p21 p22   p2 N 
P   pij       , p ij  1, i  
  j 
   
p pN 2 pNN 
 N1  
Contoh

3. Two-state Markov process. Lihat Contoh 1. Misalkan state space suatu

pesawat telepon pada saat t adalah    0,1 , dimana 0=bebas, 1=aktif. Andaikan
dalam suatu selang waktu, probabilitas terjadi sambungan adalah p. Jika pesawat
telepon sedang aktif, permintaan sambungan berikutnya akan ditolak. Jika pesawat
sedang aktif, peluang pesawat telepon bebas pada selang berikutnya adalah q.
Deskripsi di atas memberikan matriks transisi

0 1  p p 
P  
1q 1 q 

4. Lihat kemabli kasus pada Contoh 2. Misalkan state space    0,1 , dimana
0=cerah, 1=hujan. Bila hari ini cerah, probabilitas besok akan hujan adalah sebesar a.
Bila hari ini hujan, probabilitas besok akan cerah adalah b. Maka matriks probabilitas
transisi adalah
0 1  a a 
P  
1b 1 b 

 Matriks transisi Markov direpresentasikan melalui graf dengan vertex menyatakan

state dan directed edge  i, j  menyatakan peluang transisi dari state i ke state j.

Contoh

5. Suatu sistem mempunyai state space    1, 2, 3 , dan matriks transisi

1  4 10 5 10 1 10 
 
P  2  2 10 7 10 1 10 
3  4 10 4 10 2 10 

Graf berarah untuk matriks pransisi P tersebut adalah

2
Matriks Frekuensi Transisi O : Estimasi Peluang Transisi
Matriks frekuensi transisi O adalah matriks yang merepresentasikan frekuensi dari satu
state ke state lainnya berdasarkan data pengamatan. Misalkan matriks
o o12 
O   11 
 o21 o22 

dengan oij  frekuensi transisi dari state i ke state j; dan matriks peluang transisi

p p12   p11 1  p11 

P   11  
 p21 p22   1  p22 p22 

Maka estimasi (taksiran) peluang transisi diperoleh dengan

o11 o22
pˆ11  , pˆ 22 
o11  o12 o21  o22

Contoh

6. Curah hujan (rainfall). Misal St menyatakan keadaan cuaca (hujan atau

tidak hujan) pada hari t. State space adalah  = {Hujan, Tidak hujan). Data
pengamatan selama 2.437 hari memberikan matriks frekuensi transisi berikut:

T
Keadaan cuaca
Tidak hujan Hujan Jumlah
t 1 Tidak hujan 1.049 350 1.399
Hujan 351 687 1.038
Jumlah 2.437

Taksiran peluang transisi

1.049 1.399 350 1.399 

   
 351 1.038 687 1.038 

LATIHAN

1) Diketahui suatu proses Markov dengan state space    0, 1 dan matriks transisi

 1 3 2 3
P 
3 4 1 4 

Tentukan peluang transisi p00 , p11 , p01 , p10 !

2) Diketahui proses Markov dengan state space    1, 2, 3 dan matriks transisi

3
  .4 .2 .4 
 
P   .6 0 .4 
 .2 .5 .3 
 

Tentukan peluang transisi pi j , i, j  1, 2,3.

3) Banyaknya peserta pada hari t suatu mata kuliah diklasifikasikan dalam tiga kategori:
1 = kurang dari 20 peserta, 2 = antara 20 sampai 40, dan 3 = lebih dari 40 peserta.
Data harian peserta memberikan taksiran matriks transisi.

1 1 0 0 
 
P  2  .50 .25 .25 
3  .50 .25 .25 

Visualisasikan matriks transisi P dengan graf berarah!

4) Pemirsa televisi diklasifikasikan dalam enam kategori: 0 = tidak pernah, 1 = hanya
TVRI, 2 = 2 jam/hari, 3 = 3 jam/hari, 4 = 4 jam/hari dan 5 = lima jam/hari atau lebih.
Transisi dari suatu state ke state lain dimodelkan melalui matriks transisi.

0 1 0 0 0 0 0 
 
1  .5 0 .5 0 0 0 
2  .1 0 .5 .3 0 .1 
P  
3 0 0 0 .7 .1 .2 
4 1 3 0 0 13 13 0 
 
5 0 0 0 0 0 1 

Gambarkan matriks transisi melalui diagram graf berarah!

5) Misalkan untuk suatu produk detergen terdapat empat merek A, B, C, D. Misalkan
pola pilihan produk pada minggu t mengikuti proses Markov dengan peluang transisi

A  .4 .2 .1 .3 
 
B  .4 .3 .2 .1 
P
C  .6 .1 .1 .2 
 
D  .2 .4 .3 .1 

Tentukan diagram transisi graf berarah dari matriks detergen!

6) Misal  St  t  0 suatu proses Markov dengan state space    0, 1, 2, 3 . Pengamatan



selama 1.571 periode memberikan tabel frekuensi transisi

0 185 74 86 171  516
 
1 101 41 6 115  263
O 
2  69 45 34 78  226
 
3  161 103 100 202  566

Tentukan taksiran matriks probabilitas taransisi!

4
B. PREDIKSI STATE PERIODE MENDATANG

Manfaat dari analisis Markov yang paling pokok adalah :

1. memprediksi probabilitas sistem pada periode (waktu) mendatang
2. menentukan distribusi tetap probabilitas situasi dalam sistem untuk jangka
panjang

Pemabahasan pada bagian (I) ini fokus pada point (1), sedangkan point (2) dibahas di
bagian II. Sebelum kita mempelajari ini semua, terlebih dulu kita ingat kembali
perhitungan-perhitungan dasar menggunakan notasi matrik.

Operasi Perkalian dengan Notasi Matrik

Matrik 1x2:
v   v1 v2 
Matrik 2x2:
a a12  b b 
A   11  B   11 12 
 a21 a 22   b21 b22 
Perkalian matriks:

 a11 a12 
vA =  v1 v2    =  v1. a11  v2 . a21 v1.a12  v2 .a22 
 a21 a22 

 a11 a12   b11 b12   a11.b11  a12 .b21 a11.b12  a12 .b22 
AB =   = 
 a21 a22   b21 b22   a21.b11  a22 .b21 a21.b12  a22 .b22 

Jadi perkalian dua buah matrik adalh mengalikan masing-masing baris matrik pertama
dengan masing-masing kolom pada matik kedua. Operasi perkalian matrik ini bisa
dilakukan apabila jumlah kolom matrik pertama sama dengan jumlah baris matrik kedua!
Demikian juga untuk matrik dengan ukuran yang lebih besar.

Prediksi probabilitas sistem pada periode (waktu) mendatang

Suatu sistem Markov dengan state space  dan matrik probabilitas transisi P. Matriks P
menunjukkan distribusi probabilitas transisi sistem dari satu state pada waktu t (sekarang)
bergerak ke state lainnya pada satu waktu berikutnya (t+1). Jika sistem terus bergerak ke
dua waktu berikutnya (t+2), t+3, ...., dan seterusnya, maka distribusi probabilitas transisi
pada n waktu berikutnya dari sekarang (t + n) adalah

Pn = P(n-1) . P

Jika sistem melakukan transisi m waktu berikutnya maka distribusi probabilitas transisi
pada n+m waktu berikutnya dari sekarang (t + n+m) adalah

P n+m = P n . P m

5
Contoh

7. Curah hujan (rainfall). Misal sistem keadaan cuaca (hujan atau tidak
hujan) pada hari t. State space adalah  = { Hujan=0, Tidak Hujan=1). Matriks
probabilitas transisi sebagai berikut:
p p01   0.75 0.25 
P   00  
 p10 p11   0.34 0.66 
a. Berapakah probabilitas besok tidak hujan jika hari ini hujan?
b. Berapakah probabilitas lusa (dua hari mendatang) tidak hujan jika hari ini hujan?
c. Berapakah probabilitas akan hujan empat hari dari sekarang jika hari ini hujan?

Jawab:
a. Probabilitas besok tidak hujan jika hari ini hujan adalah p01 = 0.25.
b. Berapakah probabilitas lusa (dua hari mendatang) tidak hujan jika hari ini hujan?
Pn = P(n-1) . P
2
P =P.P
 0.75 0.25   0.75 0.25 
=  
 0.34 0.66   0.34 0.66 
 0.75*0.75  0.25*0.34 0.75*0.25  0.25*0.66 
= 
 0.34*0.75  0.66*0.34 0.34*0.25  0.66*0.66 
 0.65 0.35 
= 
 0.48 0.52 
Probabilitas lusa tidak hujan jika hari ini hujan adalah p201=0.35.
c. Berapakah probabilitas akan hujan empat hari dari sekarang jika hari ini hujan?
Pn+ m = Pn . Pm
P4 = P2. P2
 0.65 0.35   0.65 0.35 
=  
 0.48 0.52   0.48 0.52 
 0.59 0.41 
= 
 0.56 0.44 
Probabilitas akan hujan empat hari dari sekarang jika hari ini hujan adalah p400=0.59.

8. Lihat Modul hal 6.27-6.36. Situasi perpindahan nasabah antar bank dalam
periode tahunan dengan state space {Bank A, Bank B, Bank C} dan matrik
probabilitas transisi

A  0.8 0.1 0.1 

 
P  B  0.1 0.7 0.2 
C  0.1 0.3 0.6 
a. Tentukan P2?
 0.8 0.1 0.1  0.8 0.1 0.1   0.66 0.18 0.16 
    
P2 =  0.1 0.7 0.2  0.1 0.7 0.2  =  0.17 0.56 0.27 
 0.1 0.3 0.6  0.1 0.3 0.6   0.17 0.40 0.43 
    

6
 b. Berapakah probabilitas nasabah bank B tetap menjadi nasabah bank B dua tahun
mendatang?  0.56
yaitu:
 0.1 
 0.1 0.7 0.2   0.7   0.56
 0.3 
 
c. Jika jumlah nasabah bank A, B, dan C tahun sekarang masing-masing adalah 2000,
4000, dan 1000. Berapakah jumlah nasabah masing-masing bank dua tahun
mendatang?

 0.66 0.18 0.16 

 2000 4000 1000   0.17 0.56 0.27    2170 3000 1830 
 0.17 0.40 0.43 
 
Jumlah nasabah masing-masing bank dua tahun mendatang adalah 2170, 3000, dan
1830 nasabah.

9. Menurut teori sosiologi, kelas sosial suatu generasi dalam suatu keluarga
tergantung kelas sosial generasi sebelumnya. Jadi, pekerjaan anak diandaikan hanya
tergantung pada pekerjaan orang tuanya dan bukan pada pekerjaan neneknya.
Misalkan sistem dapat dipandang/dimodelkan oleh analisis Markov, dengan state
space {kelas rendah, kelas tengah, kelas atas} dengan matrik probabilitas transisi dari
generasi orangtua ke generasi anaknya sebagai berikut
kelas anak
r t a
rendah  0.40 0.50 0.10 
 
kelas orang tua tengah  0.05 0.70 0.25  .
atas  0.05 0.50 0.45 
a. Berapakah prosentase generasi berikutnya tetap menjadi kelas menengah seperti
generasi sekarang?  ptt= 0.7
b. Berapakah prosentase generasi ke-4 yang tetap menjadi kelas menengah?
 0.40 0.50 0.10  0.40 0.50 0.10   0.1900 0.6000 0.2100 
    
P2 =  0.05 0.70 0.25  0.05 0.70 0.25    0.0675 0.6400 0.2925 
 0.05 0.50 0.45  0.05 0.50 0.45   0.0675 0.6000 0.3325 
    
P4 = P2. P2
 0.1900 0.6000 0.2100   0.1900 0.6000 0.2100 
  
P =  0.0675 0.6400 0.2925   0.0675 0.6400 0.2925 
4

 0.0675 0.6000 0.3325   0.0675 0.6000 0.3325 

  
 0.0908 0.6240 0.2852 
 
=  0.0758 0.6256 0.2986 
 0.0758 0.6240 0.3002 
 
Jadi kelas menengah generasi ke-4 yang tetap menjadi kelas menengah seperti
generasi sekarang adalah 62.56%.

7
LATIHAN

7) Diketahui suatu proses Markov dengan state space    0, 1 dan matriks transisi

 1 3 2 3
P 
3 4 1 4 

Tentukan P2 dan P4
8) Diketahui proses Markov dengan state space    1, 2, 3 dan matriks transisi

 .4 .2 .4 
 
P   .6 0 .4 
 .2 .5 .3 
 

Tentukan P2 dan P3

9) Pemirsa televisi diklasifikasikan dalam enam kategori: 0 = tidak pernah, 1 = hanya

TVRI, 2 = 2 jam/hari, 3 = 3 jam/hari, 4 = 4 jam/hari dan 5 = lima jam/hari atau lebih.
Transisi dari suatu state ke state lain dimodelkan melalui matriks transisi.

0 1 0 0 0 0 0 
 
1  .5 0 .5 0 0 0 
2  .1 0 .5 .3 0 .1 
P  
3 0 0 0 .7 .1 .2 
4 1 3 0 0 13 13 0 
 
5 0 0 0 0 0 1 

Berapakah prosentase pemirsa kategori 4 (4 jam/hari) pada periode berikutnya?

10) Misalkan untuk suatu produk detergen terdapat empat merek A, B, C, D. Misalkan
pola pilihan produk pada minggu t mengikuti proses Markov dengan peluang transisi

A  .4 .2 .1 .3 
 
B  .4 .3 .2 .1 
P
C  .6 .1 .1 .2 
 
D  .2 .4 .3 .1 

Berapakah prosentase pelanggan beralih dari produk A ke produk B pada periode

berikutnya?

DISKUSI

1. Sebutkan tiga perbedaan pokok matrik probabilitas transisi dengan matrik lain
pada umumnya?
2. Sebutkan beberapa contoh lain fenomena sosial/ekonomi/bisnis yang dapat
dimodelkan oleh proses Markov ! (lengkap dengan matriks probabilitas
transisinya)

8
 3. Bagaimana cara menentukan/menduga probabilitas transisi Markov?
4. Prediksi situasi sistem untuk satu atau beberapa periode waktu berikutnya dengan
analisis Markov melalui perpangkatan matriks probabilitas transisi! (benar/salah).
Berikan contoh!
5. Setiap fenomena yang dimodelkan atau dianalisis dengan model Markov akan
tergantung matrik probabilitas transisinya! (benar/salah)

PUSTAKA
Taylor, H.M., Karlin S. (1984). An Introduction to Stochastic Modeling. Academic Press.

9
C. SIFAT STEADY-STATE

Suatu proses Markov dikarakterisasikan oleh matriks probabilitas transisi P. Apabila

matrik P ini dipangkatkan dengan bilangan-bilangan yang besar untuk mengetahui
distribusi P dalam periode-periode/waktu yang lama, maka matrik P akan mempunyai
kondisi yang tetap yang berbentuk vektor π = (π1 π2 ... πn). Dalam hal ini, dikatakan
bahwa proses markov dengan matrik probabilitas transisi P mempunyai distribusi
stasioner π = (π1 π2 ... πn). Distribusi stasioner merupakan distribusi stabil matriks P dalam
jangka panjang sehingga proses Markov akan konvergen menuju situasi tetap. Artinya,
dalam jangka panjang (periode waktu yang lama) probabilitas terjadinya situasi tertentu
(state ke-j) akan mendekati nilai xj tidak lagi tergantung situasi sebelumnya.
Permasalahan penentuan distribusi stasioner π jika diketahui matriks transisi P
diselesaikan dengan analisis nilai dan vektor eigen.

Distribusi stasioner proses Markov dua-state

0 1  a a 
Misal suatu proses Markov dengan matriks peluang transisi P  1  b  , 0  a, b 1 .
1 b

Dapat ditunjukkan bahwa dalam jangka panjang (secara matematis ditulis lim P n ) akan
n 

 b a 
konvergen menuju nilai     . Jadi distribusi stasionernya adalah vektor x =
 ab a b 
b a
(π1 π2) dimana  1  a  b , dan  2  a  b .

Contoh 10
3 4 1 4 
Diketahui matriks transisi P   1 6 5 6 
 
a  1 4, b  1 6, a  b  5 12, a (a  b) 12 20  3 5, b  a  b  12 30  2 5
Jadi distribusi stasioner proses Markov tersebut adalah    2 5 3 5  .

Contoh 11
3 4 1 4 
Diketahui matriks transisi P   1 6 5 6 
 
0  .424 .576   .4 .6 
Perkalian matriks memberikan P  1  .384 .616    .4 .6 
6

   
Distribusi stasioner proses Markov dengan matriks transisi P adalah :    .4 .6  .

Distribusi stasioner proses Markov tiga-state

Contoh 12
0  0 1 3 2 3
 
Distribusi stasioner proses Markov P  1 1 3 0 2 3  diperoleh dari sistem persamaan
2  1 0 0 
x  xP , dengan x   x1 x2 x3  dan x1  x2  x3  1 .

10
  0 1 3 2 3
 x1 x2 x3    x1 x2 x3  1 3 0 2 3 
 1 0 0 

 x1  x2 3  x3 (1)

 x2  x1 3 (2)
 x  2 x 3  2 x 3 (3)
 3 1 2

x2  x1 3, x3  2 x1 3  2 x2 3  8 x1 9.

Oleh karena x1  x2  x3  1 , maka

x1 x
x1   8 1 1
3 9
1
 9 x1  3x1  8 x1   1
9
20 x1  9
9 x 3 x 8
x1   0.45;  x2  1   0.15;  x3  8 1   0.40
20 3 20 9 20

Maka distribusi stasioner     1  2  3  =  0.45 0.15 0.40  . Dalam jangka panjang apabila
0  0.45 0.15 0.40 
 
P dipangkatkan terus akan stabil menjadi P  1  0.45 0.15 0.40 
2  0.45 0.15 0.40 

LATIHAN

1) Lihat kembali Contoh 7. Diketahui proses Markov    0,1 dengan matriks peluang
 0.75 0.25 
transisi P   0.34 0.66  . Tentukan distribusi stasioner,  .
 

Jawab.    0.576 0.424  . Jadi dalam jangka panjang probabilitas terjadinya hujan
adalah 0.576.

2) Diketahui proses Markov   St  t  0 ,    0, 1, 2  dengan matriks transisi



0  .40 .50 .10 

 
P  1  .05 .70 .25 
2  .05 .50 .45 

Distribusi stasioner x   x0 x1 x2  diperoleh dari persamaan

11
  xP  x

 x0  x1  x2  1

  .40 .50 .10 

  
 x0 x1 x2   .05 .70 .25    x0 x1 x2 
  .05 .50 .45 
  
x  x  x  1
 0 1 2

atau

.40 x0  .05 x1  .05 x2  x0

.50 x  .70 x  .50 x  x
 0 1 2 1

 .10 x0  .25 x1  .45 x2  x2
 x0  x1  x2  1

Karena kendala x0  x1  x2 1 , satu persamaan dapat dihapus (misalnya persamaan 3)

penyederhanaan memberikan:

60 x0  5 x1  5 x2  0 (1)

5 x0  3 x1  5 x2  0 (2)
 x  x  x 1 (3)
 0 1 2

65 x0  8 x1 0
 1   2  dan  1  5  3 memberikan 
65 x0 5

x0  5 65, x1  5 8, x2  31 104. Jadi distribusi stasioner proses    5 65 5 8 31 104  .

3) Suatu bus beroperasi pada suatu lintasan (route) kontinu dengan beberapa
pemberhentian. Kedatangan pada suatu pemberhentian diklasifikasikan dalam 3
keadaan: 1. lebih awal dari jadwal; 2. sesuai jadwal; 3. terlambat. Misalkan keadaan
kedatangan di pemberhentian merupakan suatu proses Markov dengan matriks
peluang transisi.

 .5 .4 .1 
 
P   .2 .5 .3  dan state space    1, 2,3
 .1 .2 .7 
 

Tentukan a. Distribusi stasioner  ; b. Persentase terlambat dari jadwal,  2 .

12
4) Situasi umum perpindahan nasabah perbankan nasional diprediksi dari pengamatan
terhadap 5000 nasabah dari tahun 2006 sampai dengan 2007 dengan matriks frekuensi
sebagai berikut:

Tahun 2007
Tahun 2006 Bank Pemerintah Bank Swasta Jumlah
Bank Pemerintah 1950 650 2600
Bank Swasta 960 1440 2400
Jumlah 2910 2090 5000

a. Jika Bank Pemerintah dinyatakan sebagai state 1 dan Bank Swasta sebagai
p p 
11 12
state 2, tentukan estimasi matrik probabilitas transisi P   p p  dari data
 21 22 

pengamatan tersebut.
b. Berapakah probabilitas sistem berada pada masing-masing state dalam jangka
panjang?
c. Misalkan seorang manajer pada Bank Swasta sedang dihadapkan pada pilihan
tindakan untuk mengantisipasi perpindahan nasabah tersebut.
Tabel: Pendapatan Bank XYZ dalam berbagai tindakan dan situasi
Situasi nasabah memilih bank
Alternatif tindakan Bank Pemerintah Bank Swasta
(i) Ekspansi skala besar -300 400
(ii) Ekspansi skala kecil -10 80
(iii) Tetap skala saat ini 0 -10

Tentukan tindakan mana yang dipilih berdasarkan kriteria expected value?

D. DISKUSI

1. Sebutkan tiga perbedaan pokok matrik probabilitas transisi dengan matrik lain
pada umumnya?
2. Sebutkan beberapa contoh lain fenomena sosial/ekonomi/bisnis yang dapat
dimodelkan oleh proses Markov ! (lengkap dengan matriks probabilitas
transisinya)
3. Bagaimana cara menentukan/menduga probabilitas transisi Markov?
4. Prediksi situasi sistem untuk satu atau beberapa periode waktu berikutnya dengan
analisis Markov melalui perpangkatan matriks probabilitas transisi! (benar/salah).
Berikan contoh!
5. Setiap proses Markov mempunyai kondisi tetap untuk jangka panjang!
(benar/salah) Bagaimanakah menentukannya?
6. Setiap fenomena yang dimodelkan atau dianalisis dengan model Markov akan
tergantung matrik probabilitas transisinya! (benar/salah)
7. Apa manfaat dari mengetahui kondisi tetap (distribusi stasioner) proses Markov?
Sebutkan contohnya!

PUSTAKA
Taylor, H.M., Karlin S. (1984). An Introduction to Stochastic Modeling. Academic Press.

13