1

PPs Universitas Terbuka: Materi Inisiasi ke-5 Tutorial on line EKMA5103

ANALISIS PROSES MARKOV
(Bagian II)

C. SIFAT STEADY-STATE

Suatu proses Markov dikarakterisasikan oleh matriks probabilitas transisi P. Apabila
matrik P ini dipangkatkan dengan bilangan-bilangan yang besar untuk mengetahui
distribusi P dalam periode-periode/waktu yang lama, maka matrik P akan mempunyai
kondisi yang tetap yang berbentuk vektor = (
1

2
...
n
). Dalam hal ini, dikatakan
bahwa proses markov dengan matrik probabilitas transisi P mempunyai distribusi
stasioner = (
1

2
...
n
). Distribusi stasioner merupakan distribusi stabil matriks P
dalam jangka panjang sehingga proses Markov akan konvergen menuju situasi tetap.
Artinya, dalam jangka panjang (periode waktu yang lama) probabilitas terjadinya situasi
tertentu (state ke-j) akan mendekati nilai x
j
tidak lagi tergantung situasi sebelumnya.
Permasalahan penentuan distribusi stasioner jika diketahui matriks transisi P
diselesaikan dengan analisis nilai dan vektor eigen.

Distribusi stasioner proses Markov dua-state
Misal suatu proses Markov dengan matriks peluang transisi
0 1
, 0 , 1
1 1
a a
P a b
b b
| |
= < <
|

\ .
.
Dapat ditunjukkan bahwa dalam jangka panjang (secara matematis ditulis lim
n
n
P

) akan
konvergen menuju nilai
b a
a b a b
t
| |
=
|
+ +
\ .
. Jadi distribusi stasionernya adalah vektor x =
(
1

2
) dimana
1
b
a b
t =
+
, dan
2
a
a b
t =
+
.

Contoh 10
Diketahui matriks transisi
3 4 1 4
1 6 5 6
P
| |
=
|
\ .

( ) 1 4, 1 6, 5 12, ( ) 12 20 3 5, 12 30 2 5 a b a b a a b b a b = = + = + = = + = =
Jadi distribusi stasioner proses Markov tersebut adalah ( ) 2 5 3 5 = t .

Contoh 11
Diketahui matriks transisi
3 4 1 4
1 6 5 6
P
| |
=
|
\ .

Perkalian matriks memberikan
6
0 .424 .576 .4 .6
1 .384 .616 .4 .6
P
| | | |
=
| |
\ . \ .

Distribusi stasioner proses Markov dengan matriks transisi P adalah : ( ) .4 .6 = t .


2
PPs Universitas Terbuka: Materi Inisiasi ke-5 Tutorial on line EKMA5103

Distribusi stasioner proses Markov tiga-state

Contoh 12
Distribusi stasioner proses Markov
0 0 1 3 2 3
1 1 3 0 2 3
2 1 0 0
| |
|
=
|
|
\ .
P diperoleh dari sistem persamaan
, dengan = x xP ( )
1 2 3
x x x = x dan
1 2 3
1 x x x + + = .

( ) ( )
1 2 3 1 2 3
0 1 3 2 3
1 3 0 2 3
1 0 0
x x x x x x
| |
|
=
|
|
\ .


1 2 3
2 1
3 1 2
2 1 3 1 2 1
3 (1)
3 (2)
2 3 2 3 (3)
3, 2 3 2 3 8 9.
x x x
x x
x x x
x x x x x x
= +

= +

= = + =


Oleh karena
1 2 3
1 x x x + + = , maka
( )
1 1
1
1 1 1
1
1 1
1 2 3
8 1
3 9
1
9 3 8 1
9
20 9
9 3 8
0.45; 0.15; 8 0.40
20 3 20 9 20
x x
x
x x x
x
x x
x x x
+ + =
+ + =
=
= = = = = = = =


Maka distribusi stasioner ( )
1 2 3
t t t t = =( ) 0.45 0.15 0.40 . Dalam jangka panjang apabila
P dipangkatkan terus akan stabil menjadi
0 0.45 0.15 0.40
1 0.45 0.15 0.40
2 0.45 0.15 0.40
| |
|
=
|
|
\ .
P




LATIHAN

1) Lihat kembali Contoh 7. Diketahui proses Markov { } 0,1 O= dengan matriks peluang
transisi
0.75 0.25
0.34 0.66
| |
=
|
\ .
P . Tentukan distribusi stasioner, . t

Jawab. ( ) 0.576 0.424 . t = Jadi dalam jangka panjang probabilitas terjadinya hujan
adalah 0.576.

2) Diketahui proses Markov { } { }
( )
0
, 0, 1, 2
t
t
S

=
O= dengan matriks transisi

3
PPs Universitas Terbuka: Materi Inisiasi ke-5 Tutorial on line EKMA5103

0 .40 .50 .10
1 .05 .70 .25
2 .05 .50 .45
P
| |
|
=
|
|
\ .


Distribusi stasioner ( )
0 1 2
x x x x = diperoleh dari persamaan


( ) ( )
0 1 2
0 1 2 0 1 2
0 1 2
1
.40 .50 .10
.05 .70 .25
.05 .50 .45
1
xP x
x x x
x x x x x x
x x x
=

+ + =

| |
|
=

|
\ .

+ + =

atau


0 1 2 0
0 1 2 1
0 1 2 2
0 1 2
.40 .05 .05
.50 .70 .50
.10 .25 .45
1
x x x x
x x x x
x x x x
x x x
+ + =

+ + =

+ + =

+ + =

Karena kendala
0 1 2
1 x x x + + = , satu persamaan dapat dihapus (misalnya persamaan 3)
penyederhanaan memberikan:


0 1 2
0 1 2
0 1 2
60 5 5 0 (1)
5 3 5 0 (2)
1 (3)
x x x
x x x
x x x
+ + =

+ =

+ + =

( ) ( ) ( ) ( )
0 1
0
65 8 0
1 2 dan 1 5 3 memberikan
65 5
x x
x
=


=

0 1 2
5 65, 5 8, 31 104. x x x = = = Jadi distribusi stasioner proses ( ) 5 65 5 8 31 104 = t .


3) Suatu bus beroperasi pada suatu lintasan (route) kontinu dengan beberapa
pemberhentian. Kedatangan pada suatu pemberhentian diklasifikasikan dalam 3
keadaan: 1. lebih awal dari jadwal; 2. sesuai jadwal; 3. terlambat. Misalkan keadaan
kedatangan di pemberhentian merupakan suatu proses Markov dengan matriks
peluang transisi.

{ }
.5 .4 .1
.2 .5 .3 dan state space 1, 2, 3
.1 .2 .7
P
| |
|
= O =
|
|
\ .


Tentukan a. Distribusi stasioner ; t b. Persentase terlambat dari jadwal,
3
. t
4
PPs Universitas Terbuka: Materi Inisiasi ke-5 Tutorial on line EKMA5103


4) Situasi umum perpindahan nasabah perbankan nasional diprediksi dari pengamatan
terhadap 5000 nasabah yang memiliki hanya satu jenis bank dengan matriks
frekuensi sebagai berikut:

Tahun Sekarang
Setahun yang lalu Bank Pemerintah Bank Swasta Jumlah
Bank Pemerintah 1950 650 2600
Bank Swasta 960 1440 2400
Jumlah 2910 2090 5000

a. Jika Bank Pemerintah dinyatakan sebagai state 1 dan Bank Swasta sebagai
state 2, tentukan estimasi matrik probabilitas transisi
11 12
21 22
p p
p p
| |
=
|
\ .
P dari data
pengamatan tersebut.
b. Berapakah probabilitas sistem berada pada masing-masing state dalam
jangka panjang?
c. Misalkan seorang manajer pada Bank Swasta XYZ sedang dihadapkan pada
pilihan tindakan untuk mengantisipasi perpindahan nasabah tersebut.
Tabel: Pendapatan Bank XYZ dalam berbagai tindakan dan situasi
Situasi nasabah memilih bank
Tindakan Bank Pemerintah Bank Swasta
(i) Ekspansi skala besar -300 400
(ii) Ekspansi skala kecil -10 80
(iii) Tetap skala saat ini 0 -10

Tentukan tindakan mana yang dipilih berdasarkan kriteria expected value?

5) Lihat salah contoh kasus yang dikemukakan dalam diskusi. Perusahaan K, produsen
cereal, saat ini memiliki 25% dari pasar sereal. Data dari tahun lalu memperlihatkan
bahwa 88% dari pelanggan K tetap loyal pada cereal K, akan tetapi 12% nya
berpindah kepada kompetitor C. Sebagai tambahan, 85% dari pelanggan perusahaan
competitor tetap loyal kepada mereka, tetapi 15% dari pelanggan mereka beralih ke
perusahaan K.
Diagram transisi proses ini adalah

a. Susun matriks transisi proses ini jika dimodelkan dengan proses Markov.
Jawab:
5
PPs Universitas Terbuka: Materi Inisiasi ke-5 Tutorial on line EKMA5103

0.88 0.12
0.15 0.85
K
P
C
| |
=
|
\ .

dimana
State K = konsumen membeli sereal dari Perusahaan K
State C = konsumen membeli sereal dari Perusahaan C.

b. Tentukan market share K dua tahun berikutnya
Jawab:
2
0.88 0.12 0.88 0.12 0.7924 0.2076
0.15 0.85 0.15 0.85 0.2595 0.7405
P
| || | | |
= =
| | |
\ .\ . \ .


Market share sekarang untuk K dan C masing-masing adalah 25% dan 75%, atau
vektor market share (0.25 0.75). Maka vektor market share dua tahun
berikutnya adalah

( ) ( )
0.7924 0.2076
0.25 0.75 0.3927 0.6073
0.2595 0.7405
| |
=
|
\ .


Jadi market share K untuk dua tahun berikutnya adalah 39.3 %.

c. Tentukan market share K dalam jangka panjang
Jawab:
Matrik
0.88 0.12
0.15 0.85
K
P
C
| |
=
|
\ .
dalam jangka panjang konvergen ke
1
0.15
0.5556
0.12 0.15
t = =
+
, dan
2
0.12
0.4444
0.12 0.15
t = =
+


Jadi dalam jangka panjang market share K adalah 55.6%.


DISKUSI

1. Setiap proses Markov mempunyai kondisi tetap untuk jangka panjang!
(benar/salah) Bagaimanakah menentukannya?
2. Apa manfaat dari mengetahui kondisi tetap (distribusi stasioner) proses Markov?
Sebutkan contohnya!


PUSTAKA
Taylor, H.M., Karlin S. (1984). An Introduction to Stochastic Modeling. Academic Press.