PROSES KEPUTUSAN MARKOV

 Rantai markov adalah suatu teknik matematik yang

biasa digunakan untuk pembuatan model
bermacam-macam sistem dan proses bisnis. Teknik
ini dapat digunakan untuk memperkirakan
perubahan-perubahan di waktu yang akan datang
dalam variabel-variabel dinamis atas dasar
perubahan-perubahan dari variabel-variabel
dinamis tersebut waktu lalu.

 Penerapan proses markov mula-mula adalah

digunakan untuk menganalisa dan memperkirakan
perilaku konsumen misalkan menganalisa tentang
perpindahan merk dalam pemasaran, perhitungan
rekening, jasa persewaan mobil, perencanaan
penjualan, masalah persediaan, pemeliharaan
mesin, antrian, perubahan harga pasar saham, dan
administrasi rumah sakti.
 Analisis Markov adalah suatu cara menganalisis
perangai beberapa variabel yang sedang beredar
dalam usaha menduga perangai mendatang dari
variabel yang sama.
 Analisis Markov telah digunakan dengan berhasil
terhadap berbagai macam situasi keputusan antara
lain penyelidikan dan dugaan terhadap perangai
konsumen perihal kesetia-annya terhadap “merk”
tertentu dan peralihan mereka dari satu merk ke
merk lainnya, perubahan sikap pelanggan dari
“pembayaran lang-sung” ke pembayaran terlambat
30 hari “atau” pembayaran terlambat 60 hari
“hingga” hutang buruk/kredit macet.
 Outputinformasi berbentuk analisis deskriptif dan
probabilistik
 Outcomemembantu proses pengambilan keputusan
Proses Markov

Adapun proses model rantai Markov, dapat dilakukan dengan langkah-

langkah :
1. Menyusun Matriks Probabilitas Transisi. Probabilitas transisi
adalah probabilitas suatu merk tertentu (atau penjual) akan tetap
menguasai para pelanggannya.
2. Menghitung kemungkinan Market Share di waktu yang akan
datang. Perhitungan market share di periode waktu kedua dapat
diperoleh dengan mengalikan martiks probabilitas transisi dengan
market share pada periode pertama.
3. Menentukan Kondisi Equilibrium. Kondisi equilibrium tercapai
bila tidak ada pesaing yang mengubah matriks probabilitas transisi.
Peng-gunaan matriks probabilitas transisi dapat menggambarkan
kondisi-kon-disi equilibrium.
Kondisi Analisis
(asumsi
Markov dasar)
1. Jumlah probabilitas pada setiap kejadian yang
independen secara bersamaan adalah sama
dengan satu (=1)
2. Probabilitas tidak berubah selamanya
3. Probabilitas tergantung pada status sekarang.
Menyusun Matriks Probabilitas
Transisimemperoleh matriks probabilitas transisi atau
Untuk
matrik P diperlukan pengamatan yang diteliti terhadap
kondisi system yang diamati pada satu periode ke
periode berikutnya. Misalkan di suatu daerah dipasarkan
4 merk sabun deterjen, mis merk A, B, C, dan D. Tabel
berikut menunjukkan data jumlah langganan masing-
masing merk pada periode pertama, perubahan jumlah
langganan yang terjadi pada satu periode, dan jumlah
langganan pada periode kedua.
Data di atas memberikan informasi sebagai berikut:
• Dari sejumlah 220 langganan A pada periode pertama,
telah beralih menjadi langganan B sebanyak 20 orang,
menjadi langganan C sebanyak 10 orang dan
langganan D sebanyak 15 orang. Maka jumlah
langganan pada periode pertama memilih A dan pada
periode kedua masih tetap memilih A (bukan langganan
baru) adalah sebanyak (220-20-10-15=175 orang).
Dengan kata lain probabilitas bahwa langganan A pada
periode pertama tetap menjadi langganan A, pada
periode kedua adalah sebesar 175/220=0,796. Apabila
perhitungan dilanjutkan maka probabilitas transisi akan
menjadi
 Contoh 2

Pemilik angkot mempunyai probabilitas narik atau mogok

pada esok hari adalah:
P(narik/narik) =0,6 P(narik/mogok) =0,8
P(mogok/narik)=0,4 P(mogok/mogok)=0,2

Tricks: P(narik/mogok) = 0,8 bararti probabilitas besok

narik jika hari ini mogok adalah 0,8.
Matriks probabilitasnya…..

Besok
Sekarang Narik Mogok

Narik 0,6 0,4

Mogok 0,8 0,2

Analisis Markov

Hari 1 Hari 2 Hari 3

0,36
Narik
0,6
0,6
Narik
0,6 0,24
0,4 Mogok

Narik 0,32
narik
0,4 0,8
0,4
Mogok 0,08
0,2 Mogok
Analisis Markov
Hari 1 Hari 2 Hari 3
0,48
Narik
0,6
0,8
Narik
0,8 0,32
0,4 Mogok

Mogok 0,16
narik
0,2 0,8
0,2
Mogok 0,04
0,2 Mogok
Kesimpulan
Probabilitas angkot narik pada hari ke-3 jika hari ke 1
narik adalah : 0,36 + 0,32 = 0,68
Probabilitas angkot mogok pada hari ke-3 jika hari ke
1 narik adalah : 0,24 + 0,08 = 0,32
Probabilitas angkot narik pada hari ke-3 jika hari ke 1
mogok adalah : 0,48 + 0,16 = 0,64
Probabilitas angkot mogok pada hari ke-3 jika hari ke
1 mogok adalah : 0,32 + 0,04 = 0,36
Pendahuluan

Misalkan
Kondisi sebuah mesin yang digunakan dalam suatu proses produksi diketahui
menurun dengan cepat, baik dalam kualitas maupun outpunya. Karena itu, thd mesin
dilakukan pemeriksaan secara periodik, yaitu pada setiap akhir bulan. Kondisi mesin
dicatat dan diklasifikasikan ke dalam tiga keadaan (state)
State Kondisi
1 Baik
2 Cukup
3 Rusak
Jika Xt adalah state mesin setelah dilakukan pemeriksaan pada akhir bulan ke-t,
maka urutan dari state {Xt} dapat dipandang sbgi proses stochastic.
Probabilitas Transisi selama periode 1 bulan adalah:

  State bulan
1 YAD 2 3
(baik (cukup (rusak
State 1 ) 0. ) 0. ) 0.
pada (Baik)
2 2 5 3
bulan (cukup) 0 0. 0.
ini 5 5
P1=

3
Dari matrik P1 di atas jelas bahwa sekali mesin itu rusak (State 3) maka akan tetap
rusak. Kondisi akan berubah bila ada perbaikan (overhaul), maka matrsik transisinya
adalah P2 sebagai berikut:

1 2 3
State pada 1 0. 0. 0.
bulan ini 2 3
0. 6
0. 1
0.
P2= 1 6 3
3 0.0 0. 0.5
5 4 5

Struktur ongkos (penerimaan/pengeluaran) selama periode 1 bulan tergantung pada

state masing-masing matriks transisi. Jika diketahui bahwa struktur ongkos apabila
tidak dilakukan overhaul adalah R1 dan struktur ongkos bila overhaul adalah R2,
dimana:
  1 2 3   1 2 3
1 7 6 3 1 6 5 -
R1 = R2 =
2 0 5 1 1
2 7 4 0
3 0 0 -
1 3 6 3 -
2
Keputusan apakah yang sebaiknya harus dilakukan? Apakah mesin
ini terus dioperasikan dalam beberapa bulan tertentu yang lamanya
terbatas atau tidak terbatas dioperasikannya. Jenis keputusan
lainnya ialah pengevaluasian ekspektasi pendapatan dari suatu
tindakan yang ditetapkan apabila suatu state dari sistem terjadi.
Misal diputuskan untuk melakukan overhaul bila mesin dalam kondisi
rusak (state 3). Proses ini dikatakan STATTIONARY POLICY
STATIONARY STATE: berkaitan dengan matriks transisi dan matriks ongkos yang berbeda yang
dibentuk oleh matriks P1, P2, R1, dan R2.

Contoh:
Stationary Policy untuk melakukan overhaul hanya jika mesin dalam kondisi rusak (state 3),
matriks transisi dan matriks ongkosnya adalah P dan R sebagai berikut:
  1 2 3
  1 2 3
1 0. 0. 0.
P 1 7 6 3
2 5 3 R
= 2 0 0. 0.
= 2 0 5 1
5 5
3 0.0 0. 0.5
3 6 3 -
5 4 5
2

Matriks P dan R berbeda dari matrik P1 dan R1 hanya baris ketiga yang diambil lansung dari P2
dan R2. Alasannya matriks-matriks yang dihasilkan apabila overhaul dilakukan pada
setiap state

MODEL DENGAN STAGE TIDAK TERBATAS

1. Metode Enumerasi Sempurna

Mengenumerasi seluruh stationary policy hingga diperoleh solusi optimumnya
Metode ini dgunakan apabila jumlah total stationary tidak terlalu besar sehingga masing
dapat dihitung.
2. Policy Iteration; efisien dalam arti dapat mencapai solusi optimum dalam jumlah iterasi
yang kecil.
METODE ENUMERASI SEMPURNA

Misalkan suatu persoalan keputusan mempunyai sejumlah S stationary policy dan

diasumsikan bahwa P dan R adalah matriks transisi (Satu langkah) dan matriks
pendapatan yang berkaitan dengan policy ke-k, s=1,2,,...,S. Maka langkah-langkah
enumerasinya adalah sbb:
Langkah 1.
Hitung harga yaitu ekspektasi pendapatan satu langkah (satu periode) dari
policy S pada state i, i = 1,2,3,...,
Langkah 2.
Hitung yaitu probabilitas steady stationary jangka panjang dari matriks transisi
Yang berkaitan dengan policy S. Probabilitas ini jika ada dihitung dengan persamaan:

Langkah 3.
Tentukan yaitu ekspektasi pendapatan dari policy s untuk setiap langkah
transisi
(Periode) dengan menggunakan persamaan
METODE ENUMERASI SEMPURNA
Langkah 4.
Policy Optimum S* ditentukan dengan:

Contoh:
Pada perosalan perbaikan mesin ada 8 stationary policy sbb:
Stationary policy sTindakan
1 Tidak melakukan overhaul sama sekali
2 Overhaul tanpa memperhatikan state
3 Overhaul jika sistem dalam state 1
4 Overhaul jika sistem dalam state 2
5 Overhaul jika sistem dalam state 3
6 Overhaul jika sistem dalam state 1 atau 2
7 Overhaul jika sistem dalam state 1 atau 3
8 Overhaul jika sistem dalam state 2 atau 3

Maka diperoleh:
 Langkah 1. Nilai nya dihitung sebagai berikut:
C ontoh: perhitungan pada state 1 dengan tindakan tidak melakukan overhaul
s ama sekali, maka nilai adalah:
V11

V11  0,2 X 7  0,5X 6  0,3X 3  5,3 S

   
1 2 3
V21  0 X 0  0,5X 5  0,5X1  3
1 5, 3 -
V  0 X 0  0 X 0  1X  1  1
1
3 3 1
2 4, 3, 0,
7 1 4
3 4, 3 -
9 1
4 4,4 3, -
9 1 1
5 5, 3 0,
3 4
6 4, 3, -
7 1 1
7 4, 3 0,
9 4
8 5, 3, 0,
3 1 4

Langkah 2. Perhitungan probabilitas stationarynya diperoleh dengan

menggunakan persamaan

S P S  S Di mana
S  ( 1S , 2S ,..., mS  1)
    ...    1
S
1
S
2
S
m
 Sebagai contoh, jika s = 2 maka dipeorleh

0 , 3 1  0 ,1 2  0 , 05 3  1
0 , 6 1  0 , 6 2  0 , 4 3  2
0 ,1 1  0 , 3 2  0 , 55 3  3
1  2  3  1

D engan menggunakan eliminasi atau substitusi maka diperoleh:

12  6 / 59
Maka
 ekspektasi pendapatan per bulan adalah:
S

2  31 / 59
2 i
3
E 2   i2Vi 21/59
 (6x4,7+31x3,1+22x0,4) = 2,256
  2 / 59
2
3 E S
i 1

i dan
Dengan cara yang sama, maka dapat diketahui nilai
S
ES sebagai
berikut:
 Latihan soal metode enumerasi sempurna
Sebuah perusahaan sedang memikirkan media massa di antara Radio, TV, atau Koran yang
sebaiknya digunakan untuk media advertensinya. Perusahaan dapat mengklasifikasikan volume
penjualan per minggunya sebagai:
1.Cukup
2.Baik
3.Sangat memuaskan
  Probabilitas transisi untuk ketiga media advertensinya di ketahui sebagai berikut:

  1 2 3   1 2 3   1 2 3

1 0, 0, 0, 1 0, 0, 0, 1 0, 0, 0,
Radi 3 4 1 Kora 2 4 2 T 6 2 1
o 2 0, 0, 0, n 2 0, 0, 0, V 2 0, 0, 0,
1 6 2 1 6 2 2 5 1
3 0, 0, 0, 3 0 0, 0, 3 0, 0, 0,
1 2 6 1 7 1 6 2

Sedangkan penghasilan per minggunya apabila melakukan advertensi pada masing-

masing media adalah
  1 2 3   1 2 3   1 2 3
1 4 5, 6 1 4 5, 7, 1 1 1 1
Radi 2 Kora 3 1 T 0 3 6
o 2 3 4 7 n 2 3, 4, 8 V 2 8 1 1
5 5 0 7
3 2 2, 5 3 2, 4 6, 3 6 7 1
5 5 5 1

Ditanyakan solusi maksimumnya dengan menggunakan metode Enumerasi

Sempurna, media manakah yang akan diambil.
Jawab
Langkah 1 Tentukan nilai V is
Nilai Vis di dapat dari perkalian antara probabilias transisi dengan penghasilan per
minggu.

Maka:
Langkah 2 Tentukan nilai probabilitas steady state dari masing-masing media.
Probabilitas steady state untuk radio
 METODE POLICY ITERASI
METODE POLICY ITERATION TANPA POTONGAN
Metode policy iteration didasarkan aturan berikut:
1.Untuk satu policy tertentu, ekspektasi pendapatan total stage pada n
dinyatakan oleh persamaan rekursif:
m
f n (i )  Vi   p i f n 1 ( j ) di mana i = 1, 2, ..., m
j 1

2. Definisikan sebagai banyaknya stage yang diamati. Maka pers rekursifnya

m
f (i )  V i   pi f  1 ( j) di mana i =1, 2, ..., m, f adalah ekspektasi pendapatan
j 1 j kumulatif

3 . Vektor probabilitas pada keadaan steady state dari mariks transisi:

S  ( S , 2S ,..., mS )
1

Ekspektasi pendapatan per stage:

m
E S
  i 1
iS V i S
Untuk yang sangat besar:

f   E  f ( )
Sehingga persamaan rekursifnya menjadi:
m
E  f (i)  Vi   pi ( 1)E  f ( jatau
m
) E  V i   p i f ( j )  f (i )
j 1 j 1

Tujuan menentukan policy optimum dan E maksimum

Proses iteratif terdiri atas dua komponen dasar yang disebut langkah penentuan
nilai dan langkah perbaikan policy.
1. Langkah Penentuan Nilai
Pilihlah suatu policy s secara sembarang. Gunakan matriks sdan s

P
Kemudian secara sembarang asumsikan f s(m) = 0 selesaikan R
persamaan berikut:
m
E  Vi 
S
 p iS f S
( j)  f S
(i )
j 1

2. Langkah perbaikan policy

Untuk setiap state i, tentukan alternatik k yang menghasilkan
 K m 
Mak V k   pi f s
( j)
s
K
 j 1 j 
C ontoh:
S elesaikan persoalan perbaikan mesin dengan metode policy iteration, menetapkan
p olicy secara sembarang. Policy tidak melakukan overhaul. Matriks dari policy itu
a dalah:

Persamaan-persamaan dari langkah penentuan nilainya adalah

E + f(1) – 0,2 f(1) – 0,5f(2) – 0,3 f(3) = 5,3
E + f(2) - 0,5 f(2) - 0,5 4(3) = 3
E + f(3) - 1 f (3) = -1
Sembarang f(3) = 0, maka:
E = -1, f(1) = 12,88 , f2) = 8, f(3) = 0.
Berikutnya adalah langkah perbaikan policy. Perhitungannya
a dalah:
 Policy yang baru adalah melakukan overhaul tanpa memperhatikan
state. Karena policy ini berbeda dari semula (tidak melakukan
overhaul), maka langkah penentuan nilai harus diulangai. Matriks dari
policy yang baru adalah:
  1 2 3   1 2 3
1 0, 0, 0, 1 6 5 -
P2 3 6 1 R2 = 1
= 2 0, 0, 0, 2 7 4 0
1 6 3
3 0,0 0, 0,5 3 6 3 -
Matriks ini akan memberikan
5 4 persamaan:
5 2
E + f(1) – 0,3 f(1) – 0,6 f(2) – 0,1 f(3) =
4,7
E + f(2) – 0,1 f(1) – 0,6 f(2) – 0,3 f(3) =
3,1
E + f(3) – 0,05 f(1) – 0,4 f(2) – 0,55 f(3) =
0,4
Dengan f(3) = 0, maka
E = 2,26, f(1) = 6,75, f(2) = 3,79, f(3) = 0
 B. METODE POLICY ITERATION POTONGAN

Metode yang dijelaskan dapat diperluas dengan memasukkan faktor

potongan. Jika faktor potongan itu adalah α (<1) maka persamaan
rekuesif untuk stage yang terbatas dinyatakan dengan:
m
f  ( i )  Mak {V i K
   p ik f  1 ( j )}
K
s j 1 j

1.Langkah Penentuan
Nilai suatu policy s secara sembarang. Gunakan matriks Ps dan Rs
Pilihlah
selesaikan m persamaan berikut:
m
f S
(i)  V i S
  p iS f ( j )
j 1

2.Langkah perbaikan
policy
Untuk setiap state i tentukan alternatif k yang
menghasilkan:
 m 
Mak V k
K
  p i
S
f s
( j) di mana i = 1,2,.., m
s
K
 j 1 
 Dimana fs (j) adalah hasil yang diperoleh pada langkah penentuan
nilai. Jika policy t yang dihasilkan sama dengan s, stop; t adalah policy
optimum. Jika tidak, tetapkan s=t, dan kembali pada langkah
penentuan nilai
Contoh:

Selesaikan persoalan perbaikan mesin dengan metode policy iteration yang

menggunakan faktor potongan 0,6. Mulai dengan sembarang policy s =1, 1, 1
yaitu tidak melakukan overhaul sama sekali Matrik P dan R nya

  1 2 3   1 2 3
1 0, 0, 0, 1 7 6 3
P 20 5 3 R=
= 2 0, 0, 2 0 5 1
3 0 50 51 3 0 0 -
Sehingga diperoleh persamaan 1
f(1) -0,6 { 0,2 f(1) + 0,5 f(2) + 0,3 f(3) } =
5,3
f(2) – 0,6 { 0,5 f(2) + 0,5 f(3) } = 3
f (3) -0,6 { f(3) } = -
1

Solusinya
f(1) = 6,6, f(2) = 3,21; f(3) = -2,5
Kembali kepada langkah penentuan nilai dengan matriks

Bila policy berbeda dari policy sebelumnya, maka langkah penentuan nilai
diulang dengan matrik P dan R sebagai berikut

Bila policy baru ini identik dengan

policy sebelumnya, maka policy ini
optimum