OPERATIONS

RESEARCH

MODEL KEPUTUSAN MARKOV

Tjutju Tarliah
TI – Universitas Pasundan
TUJUAN PEMBAHASAN

Menerapkan konsep Teori Peluang, perkalian Matriks, dan

konsep Pemrograman Dinamis dalam menentukan solusi
optimum persoalan keputusan yang melibatkan proses
Markov
PERSOALAN KEPUTUSAN
DENGAN PROSES MARKOV
Contoh:
› Kondisi volume penjualan di “PT Bagus” dapat dikategorikan ke dalam tiga
situasi, yaitu sangat baik (1), baik (2), dan biasa (3). Saat ini perusahaan
berencana untuk melakukan promosi, dan mempertimbangkan dua media
yang akan digunakan, yaitu televisi dan media sosial facebook. Media
manakah yang sebaiknya dipilih jika matriks probabilitas transisi (P) dan
matriks keuntungan tahunan yang dapat diperoleh (R) untuk masing-
masing status dan media promosi adalah sebagai berikut.
› Jika media promosi adalah tv (pilihan 1)
0.2 0.5 0.3 7 6 3
𝑃1 = 0 0.5 0.5 ; 𝑅1 = 0 5 1
0 0 1 0 0 −1
› Jika media promosi adalah fb (pilihan 2):
0.3 0.6 0.1 6 5 −1
2
› 𝑃 = 0.1 0.6 0.3 ; 𝑅 = 7 4 0 2

0.05 0.4 0.55 6 3 −2

PERSOALAN KEPUTUSAN
DENGAN PROSES MARKOV

› Jika perusahaan harus memutuskan media promosi mana

yang harus dipilih pada setiap tahun selama tiga tahun ke
depan, maka keputusannya akan tergantung pada kondisi
volume penjualan mana yang terjadi saat ini
› Persoalan ini dapat diselesaikan dengan model
Pemrograman Dinamis, terdiri dari tiga tahap. Pada setiap
tahap statusnya adalah kondisi volume penjualan
PERSOALAN KEPUTUSAN
DENGAN PROSES MARKOV
Cara Penyelesaian:
• Definisikan :
1. n=1, 2, … N sebagai indeks tahap
2. k menyatakan indeks pilihan keputusan
3. fn (i ) ekspektasi pendapatan optimum dari tahap n, n+1, ..,N
jika status sistem pada awal periode ke n adalah i

Hubungan antar tahap dinyatakan sebagai:

𝑚 𝑘
𝑓𝑛 (𝑖) = 𝑚𝑎𝑥𝑘 𝑗=1 𝑝𝑖𝑗 𝑟𝑖𝑗𝑘 + 𝑓𝑛+1 (𝑗) 𝑛 = 1, 2, . . , 𝑁
dimana: 𝑓𝑁+1 𝑗 = 0 untuk seluruh j
PERSOALAN KEPUTUSAN
DENGAN PROSES MARKOV
Definisikan 𝑉𝑖𝑘 sebagai ekspektasi pendapatan yang
dihasilkan dari transisi state i ke state j pada pilihan
keputusan ke k maka:
𝑉𝑖𝑘 = 𝑚 𝑘 𝑘
𝑗=1 𝑖𝑗 𝑟𝑖𝑗
𝑝
sehingga 𝑓𝑁 (𝑖) = 𝑚𝑎𝑥𝑘 𝑉𝑖𝑘
dan
𝑓𝑛 (𝑖) = 𝑚𝑎𝑥𝑘 𝑉𝑖𝑘 + 𝑚
𝑝 𝑘
𝑗=1 𝑖𝑗 𝑓𝑛+1 (𝑗) 𝑛 = 1, 2, . . 𝑁 − 1
PENYELESAIAN
a. Hitung ekspektasi pendapatan yang dihasilkan dari transisi
satu langkah dari status i pada alternatif (pilihan)
keputusan k, yaitu: 𝑚

𝑉𝑖𝑘 = 𝑘 𝑘
𝑝𝑖𝑗 𝑟𝑖𝑗
𝑗=1

Status (i) Alternatif keputusan k = 1 Alternatif keputusan k = 2

1 0.2(7) + 0.5(6) + 0.3(3) = 5.3 0.3(6) + 0.6(5) + 0.1(-1) = 4.7
2 0(0) + 0.5(5) + 0.5(1) = 3 0.1(7) + 0.6(4) + 0.3(0) = 3.1
3 0(0) + 0(0) + 1(-1) = -1 0.05(6) + 0.4(3) + 0.55(-2) = 0.4
PENYELESAIAN
b. Lakukan perhitungan model DP dengan persamaan rekursif berikut:
› 𝑓𝑁 𝑖 = max {𝑉𝑖𝑘 }
𝑘
› 𝑓𝑛 𝑖 = max 𝑉𝑖𝑘 + 𝑚 𝑘
𝑗=1 𝑖𝑗 𝑓𝑛+1
𝑝 𝑗 , 𝑛 = 1, 2, . . 𝑁 − 1
𝑘

Tahap 3:
𝐕𝐢𝐤 Solusi Optimum
Status (i)
k=1 k=2 f3 (i) k*
1 5.3 4.7 5.3 1
2 3 3.1 3.1 2
3 -1 0.4 0.4 2
PENYELESAIAN
Tahap 2:
𝐦
Solusi
𝐕𝐢𝐤 + 𝐩𝐤𝐢𝐣 𝐟𝐧+𝟏 𝐣
Status (i) Optimum
𝐣=𝟏

k=1 k=2 f2 (i) k*

5.3 + (0.2)(5.3) + 4.7 + (0.3)(5.3) +
1 (0.5)(3.1) + (0.3)(0.4) = (0.6)(3.1) + (0.1)(0.4) = 8.19 2
8.03 8.19
3.1 + (0.1)(5.3) +
3 + (0)(5.3) + (0.5)(3.1)
2 (0.6)(3.1) + (0.3)(0.4) = 5.61 2
+ (0.5)(0.4) = 4.75
5.61
0.4 + (0.05)(5.3) +
-1 + (0)(5.3) + (0)(3.1) +
3 (0.4)(3.1) + (0.55)(0.4) = 2.13 2
(1)(0.4) = -0.6
2.13
PENYELESAIAN
Tahap 1:
𝐦
Solusi
Status 𝐕𝐢𝐤 + 𝐩𝐤𝐢𝐣 𝐟𝐧+𝟏 𝐣
Optimum
𝐣=𝟏
(i)
k=1 k=2 f1 (i) k*
5.3 + (0.2)(8.19) + (0.5)(5.61) + (0.3)(2.13) = 4.7 + (0.3)( 8.19) + (0.6)( 5.61) + (0.1)( 2.13)
1 10.74 2
10.38 = 10.74
3 + (0) (8.19) + (0.5) (5.61) + (0.5)( 2.13) = 3.1 + (0.1)( 8.19) + (0.6)( 5.61) + (0.3)( 2.13)
2 7.92 2
6.87 = 7.92
0.4 + (0.05) (8.19) +(0.4) (5.61) + (0.55)
3 -1 + (0)( 8.19) + (0)( 5.61) + (1)( 2.13) = 1.13 4.23 2
(2.13) = 4.23
PENYELESAIAN

Kesimpulan:
› Pada tahun ke 1 dan tahun kedua media promosi yang harus
digunakan adalah fb (pilihan ke k=2) apapun status atau kondisi
penjualan perusahaan saat ini.
› Pada tahun ketiga media promosi yang harus digunakan adalah tv
jika kondisi penjualan saat ini adalah sangat baik, tetapi untuk
kondisi penjualan baik dan biasa maka media promosi yang harus
dipilih adalah fb.
› Total pendapatan yang akan diterima adalah sebesar:
› 10.74 jika kondisi penjualan saat ini sangat baik,
› 7.92 jika kondisi penjualan saat ini baik, dan
› 4.23 jika kondisi penjualan saat ini biasa.