Bab 8 Program Dinamik Stokastik

Ab.
Alkaff
Penyelidikan Operasi
8. Pemrograman Dinamik Stokastik

Materi
Pemrograman Dinamik Stokastik
Pengaturan Optimal dengan Program Dinamik
Infinite Horizon Dynamic Programming/Proses

Keputusan Markov
Abe Alkaff
Pemrograman Dinamik Stokastik berkaitan dengan permasalahan yang

memiliki variabel acak yang menyatakan suatu kejadian yang bernilai
acak.
𝑑𝑒𝑐𝑖𝑠𝑖𝑜𝑛 𝑑𝑒𝑐𝑖𝑠𝑖𝑜𝑛
Deterministik: 𝑆𝑡𝑎𝑡𝑒 𝑋

𝑆𝑡𝑎𝑡𝑒 𝑋 𝑁 +1

𝑆𝑡𝑎𝑡𝑒
𝑁
𝑆 𝑁 𝑆 𝑁 +1 𝑆 𝑁 +2
𝑓 𝑛 (𝑆 𝑛 ) 𝐶
𝑛 ( 𝑋 𝑛 , 𝑆 𝑛 ) 𝑓 𝑛+1 (𝑆𝑛+1) 𝐶 𝑛+1 (𝑋 𝑛 +1 , 𝑆𝑛+1 )
Keadaan pada tahap berikutnya ditentukan dengan pasti berdasarkan
keadaan dan keputusan pada tahap sebelumnya
Abe Alkaff
Stokastik:

𝑠𝑡𝑎𝑡𝑒 𝑆 1𝑛+1 𝑓 1
𝑛+¿ 1 ( 𝑆 𝑛+ 1 ) 𝑑𝑒𝑛𝑔𝑎𝑛 𝑝𝑟𝑜𝑏 𝑝 1¿
𝑠𝑡𝑎𝑡𝑒
𝑑𝑒𝑐𝑖𝑠𝑖𝑜𝑛
𝑒𝑣𝑒𝑛𝑡

𝑆 𝑛 𝑋 𝑛 𝜔
𝑛 𝑠𝑡𝑎𝑡𝑒 𝑆 2𝑛+1 𝑓 𝑛+1 ( 𝑆
2
𝑛+1 ) 𝑑𝑒𝑛𝑔𝑎𝑛 𝑝𝑟𝑜𝑏 𝑝 2
𝑓 𝑛 (𝑆 𝑛 ) 𝐶 𝑛 (𝑋 𝑛 , 𝑆 𝑛 , 𝜔𝑛 )
𝑓
𝑠𝑡𝑎𝑡𝑒 𝑆 3𝑛+1 3
𝑛+¿ 1 ( 𝑆 𝑛+ 1 ) 𝑑𝑒𝑛𝑔𝑎𝑛 𝑝𝑟𝑜𝑏 𝑝 3 ¿
𝑖
𝑓 𝑛+1 ( 𝑆 𝑛+1 )=∑ 𝑝𝑖 𝑓 𝑛+1 ( 𝑆
Ekspektasi
𝑛+1 )
Abe Alkaff
Persamaan Rekursif
𝑓 𝑛 ( 𝑆 𝑛 )= 𝑜𝑝𝑡 {𝐶 𝑛 ( 𝑋 𝑛 , 𝑆𝑛 , 𝜔 𝑛 )+ Ε [ 𝑓 𝑛 +1( 𝑆 𝑛+1) ] }

𝑋
𝑛

𝑖
𝑋 { 𝑛
𝑓 𝑛 ( 𝑆 𝑛 )= 𝑜𝑝𝑡 𝐶 (𝑋 𝑛 ,𝑆𝑛 ,𝜔𝑛 )+∑ 𝑝 𝑓 (𝑆 )}
𝑛
𝑖 𝑛+1 𝑛+1
Abe Alkaff
Contoh Permasalahan
Toko elektronik menjual TV dengan spesifikasi tertentu. Toko
tersebut menyediakan stok TV tersebut maksimum 2 unit. TV dipesan
toko dari pemasok. Pesanan tersebut datang pada hari yang sama. Biaya
pembelian adalah dimana menyatakan banyaknya yang dibeli oleh toko
dari pemasok. Banyaknya pembeli yang datang ke toko dalam satu
minggu adalah acak dengan probabilitas sebagai berikut:
Pembeli
Probabilitas
Abe Alkaff
Persyaratan
 TV yang tidak laku pada suatu minggu disimpan untuk minggu depan
dengan biaya penyimpan = 2/TV/minggu
 Maksimum stok TV = 2 unit
 TV dijual dengan harga 20
 Bila ada pembeli tetapi stok kosong, toko mengalami kerugian
kesempatan = 3/TV
 Toko akan membuat rencana pemesanan dalam 1 bulan (4 minggu)
sehingga keuntungannya maksimal.
 Pada awal bulan tidak ada stok.
Abe Alkaff

Formulasi Pemrograman Dinamik
 State : Stok TV ditoko (

 Decision : Banyaknya yang dipesan ke pemasok
 Event : Pembeli datang
 Outcome : Banyaknya TV yang terjual
 State transformasi/state equation :
 Fungsi Hasil :
Biaya Pembelian
5+10 𝑋 𝑛 , 𝑋 𝑛 =1 , 2 Biaya Penolakan
Hasil Penjualan
𝐵=
{ 0 , 𝑋 𝑛=0 (yg tdk terlayani minggu itu)
𝜔 𝑛 𝑏𝑖𝑙𝑎 𝑋 𝑛 + 𝑆𝑛 − 𝜔𝑛 ≥ 0 Biaya Penyimpanan

𝐵=
{ 𝑋 𝑛+ 𝑆 𝑛 𝑏𝑖𝑙𝑎 𝑋 𝑛 +𝑆 𝑛 − 𝜔 𝑛 ≤ 0 (yg tdk terjual minggu itu)
Abe Alkaff

Formulasi Pemrograman Dinamik
 Tahap : Awal dari setiap minggu

 Horizon : 4
 Syarat batas :
 Fungsi rekursif : 𝑓 𝑛 ( 𝑆 𝑛 )= 𝑜𝑝𝑡 {𝐶 𝑛 ( 𝑋 𝑛 , 𝑆𝑛 , 𝜔 𝑛 )+ Ε [ 𝑓 𝑛 +1( 𝑆 𝑛+1) ] }
 Ruang keadaan : {0,1,2}
Abe Alkaff
Tahap 4 – Minggu Keempat
0
0 0
0 0
0 0
0 0
0
0
0 0
0 1
1 -3
-3 -3
-3 -2,7
-2,7
0
0 0
0 2
2 -6
-6 -6
-6
1 0 0 -2 -2
1 0 0 -2 -2
1 0 1 20 20 12,8
1 0 1 20 20 12,8
1 0 2 17 17
1 0 2 17 17
2 0 0 -4 -4
2 0 0 -4 -4
2 0 1 18 18 15,8
2 0 1 18 18 15,8
2 0 2 40 40
2 0 2 40 40
Abe Alkaff
0 1 0 -17 -17
0 1 1 5 5 -2,2
0 1 2 2 2
1 1 0 -19 -19
1 1 1 3 3 0,8
1 1 2 25 25
2 1 0 - -
2 1 1 1 1 4,7
2 1 2 21 21
Abe Alkaff
0
0 2
2 0
0 -29
-29 -29
-29
0
0 2
2 1
1 -7
-7 -7
-7 -9,2
-9,2
0
0 2
2 2
2 15
15 15
15
1
1 2
2 0
0 -- --
1
1 2
2 1
1 -9
-9 -9
-9 -1,9
-1,9
1
1 2
2 2
2 13
13 13
13
2
2 2
2 0
0 -- --
2
2 2
2 1
1 -- -- 2,2
2,2
2
2 2
2 2
2 11
11 11
11
Abe Alkaff
Tahap 3 – Minggu Ketiga
0
0 0
0 0
0 0
0 -2,2
-2,2
0
0 0
0 1
1 -3
-3 -5,2
-5,2 -4,9
-4,9
0
0 0
0 2
2 -6
-6 -8,2
-8,2
1
1 0
0 0
0 -2
-2 10,8
10,8
1
1 0
0 1
1 20
20 17,8
17,8 15,1
15,1
1
1 0
0 2
2 17
17 14,8
14,8
2
2 0
0 0
0 -4
-4 11,8
11,8
2
2 0
0 1
1 18
18 30,8
30,8 26,5
26,5
2
2 0
0 2
2 40
40 37,8
37,8
Abe Alkaff
0 1 0 -17 -19,2
0 1 1 5 2,8 -4,4
0 1 2 2 -0,2
1 1 0 -19 -3,2
1 1 1 3 15,8 11,5
1 1 2 25 22,8
2 1 0 - -
2 1 1 1 16,8 12,16
2 1 2 21 18,8
Abe Alkaff
0
0 2
2 0
0 -29
-29 -13,2
-13,2
0
0 2
2 1
1 -7
-7 5,8
5,8 1,5
1,5
0
0 2
2 2
2 15
15 12,8
12,8
1
1 2
2 0
0 -- --
1
1 2
2 1
1 -9
-9 6,8
6,8 8,56
8,56
1
1 2
2 2
2 13
13 25,8
25,8
2
2 2
2 0
0 -- --
2
2 2
2 1
1 -- -- 5,36
5,36
2
2 2
2 2
2 11
11 26,8
26,8
Abe Alkaff

Tahap 2 – Minggu Kedua
0
0 0
0 0
0 0
0 1.5
1.5
0
0 0
0 1
1 -3
-3 -1.5
-1.5 -1.2
-1.2
0
0 0
0 2
2 -6
-6 -4.5
-4.5
1
1 0
0 0
0 -2
-2 13.1
13.1
1
1 0
0 1
1 20
20 21.5
21.5 18.38
18.38
1
1 0
0 2
2 17
17 18.5
18.5
2
2 0
0 0
0 -4
-4 22.5
22.5
2
2 0
0 1
1 18
18 33.1
33.1 31.6
31.6
2
2 0
0 2
2 40
40 41.5
41.5
Abe Alkaff
0 1 0 -17 -1,9
0 1 1 5 6,5 2,28
0 1 2 2 3,5
1 1 0 -19 7,5
1 1 1 3 18,1 16,6
1 1 2 25 26,5
2 1 0 - -
2 1 1 1 27,5 20,97
2 1 2 21 36,1
Abe Alkaff
0 2 0 -29 -2,5
0 2 1 -7 8,1 6,6
0 2 2 15 16,5
1 2 0 - -
1 2 1 -9 6,1 8,67
1 2 2 13 28,1
2 2 0 - -
2 2 1 - - 7,5
2 2 2 11 37,5
Abe Alkaff
Tahap 1 – Minggu Pertama
0 0 0 0 6,6
0 0 1 -3 3,6 3,65
Ulangi iterasi ini
0 0 2 -6 0,6 dengan
0 1 0 -17 1,38 menggunakan S
0 1 1 5 11,6 7,934 sebagai variable
utama (S tetap,
0 1 2 2 8,6 X berubah). Apa
0 2 0 -29 2,6 bisa? Apakah
0 2 1 -7 11,38 6,79 lebih mudah?
0 2 2 15 1,6
Abe Alkaff

Maka Keputusan yang diambil agar keuntungan maksimum
0 1 7,93 +6,6+1,5-2,2 =13,834

0 2 1 0 7,93 +6,6+1,5+12,8 =28,834
2 0 7,93 +6,6+1,5+15,8 =31,834
0 1 7,93 +6,6+15,1-2,2 =27,434
0 2 1 0
1 0 7,93 +6,6+15,1+12,8 =42,434
0 1 7,93 +6,6+26,5-2,2 =38,834
0 1 2 0 1 0 7,93 +6,6+26,5+12,8 =53,834
2 0 7,93 +6,6+26,5+15,8 =56,834
0 1 7,93 +18,38+1,5-2,2 =25,614
0 2 1 0 7,93 +18,38+1,5+12,8=40,614
1 0 2 0 7,93 +18,38+1,5+15,8=43,614
0 1 7,93 +18,38+15,1-2,2 =39,214
1 0
1 0 7,93 +18,38+15,1+12,8=54,214
Abe Alkaff

Keputusan optimal untuk toko tersebut dapat dideskripsikan sebagai:
 Pada minggu ke 1 beli 1 TV.
 Bila 1 TV tersebut terjual, maka pada minggu ke 2 beli 2 TV. Bila tidak
terjual, pada minggu ke 2 jangan beli TV lagi
 Pada minggu ke 3, cek stok TV. Bila habis, beli 2 TV lagi. Bila masih ada
sisa stok TV, jangan beli TV lagi
 Pada minggu ke 4, cek stok. Bila habis, beli 1 TV lagi. Bila masih ada sisa
stok, jangan beli TV lagi
Abe Alkaff

Sistem dinamik dinyatakan dengan persamaan state
𝑠 𝑛+1 =𝑔( 𝑠𝑛 , 𝑥 𝑛 , 𝑤𝑛 )

Dimana State pada tahap (saat) n

: Decision pada tahap (saat) n
: Gangguan pada tahap (saat) n
: Fungsi yang mentransformasikan ke
(State Transformation)
Abe Alkaff

Aksi
Kontrol adalah keputusan yang diambil untuk mempengaruhi
perubahan state
Aksi kontrol pada saat n
Aksi Kontrol tersebut dipilih sedemikian hingga suatu kriteria di optimalkan
Aksi Kontrol yang mengoptimalkan suatu nilai kriteria disebut kontrol Optimal
atau Pengaturan Optimal
Abe Alkaff

Kriteria
yang dipergunakan pada umumnya adalah fungsi dari yang
merupakan jumlahan nilai fungsi hasil yang diperoleh pada tiap tahapnya
𝑁
𝐾 =∑ 𝐶 𝑛 (𝑠𝑛 , 𝑥 𝑛 , 𝑤𝑛 )
𝑛=1
Dengan demikian aksi kontrol optimal adalah yang mengoptimalkan K
𝑁
𝑂𝑝𝑡 𝐾=𝑂𝑝𝑡 ∑ 𝐶𝑛 (𝑠 𝑛 , 𝑥 𝑛 , 𝑤 𝑛)
𝑥 𝑛 𝑥 𝑛
𝑛 =1
Abe Alkaff

Strategi Kontrol adalah sekumpulan aksi kontrol yang berlaku untuk

jangka panjang (selama horizon waktu pengendalian)
StrategiKontrol dapat dicari berdasarkan formula dari yang diperoleh

dari proses optimasi terhadap K
Secara
umum, suatu Strategi Kontrol dinyatakan dalam suatu fungsi yang
manyatakan hubungan antara dan yang berlaku untuk semua = 1,2,…
𝑥 𝑛= 𝑓 ( 𝑠 𝑛 , 𝑤 𝑛 ) 𝑛=1,2 , … , 𝑁
Abe Alkaff

Permasalahan ini dapat diselesaikan secara bertahap dengan menggunakan
pemrograman dinamik untuk melakukan optimasi secara bertahap:
𝑁−1
𝐾 =𝑓 𝑁 ( 𝑠 𝑁 )+ ∑ 𝐶 𝑛 (𝑠 𝑛 , 𝑥 𝑛 , 𝑤 𝑛 )
𝑛=1
Dimana adalah hasil optimasi terhadap atau
=}
𝑥 𝑁
Sehingga 𝑁 −1
𝑂𝑝𝑡 𝑥𝐾=𝑓
𝑛
𝑁 ( 𝑠 𝑁 ) +𝑂𝑝𝑡
𝑥
𝑛
∑ 𝐶 𝑛 (𝑠𝑛 , 𝑥 𝑛 , 𝑤 𝑛 )
𝑛 =1
Demikian seterusnya dari sampai
Abe Alkaff

Contoh : Persediaan TV
Banyak stok TV pada awal minggu ke-
Banyaknya TV yang dipesan pada awal minggu ke-
Penjualan TV dalam minggu ke-

Abe Alkaff

Persamaan aksi control telah dirumuskan sebagai:

dapatdicari dengan pemrograman dinamik untuk tertentu (untuk

contoh ini )
Misalkan untuk contoh tersebut diminta untuk mengevaluasi strategi

kontrol mana yang lebih baik:
1.Pesan hanya bila persediaan habis
2. Pesan dimana adalah stok pada awal minggu berjalan
Abe Alkaff

Strategi 1
Rumusan strategi kontrolnya adalah:

Tabel Probabilitas Stok Minggu Depan

Stok Aksi
minggu ini Kontrol 0 1 2
0 2 0.2 0.5 0.3

1 0 0.5+0.2 0.3 0
2 0 0.2 0.5 0.3
Abe Alkaff

Strategi 1
Tabel Hasil
Stok Minggu Depan
Stok awal
Aksi Kontrol
minggu ini
(x) 0 1 2
(s)
0 2 40-25 = 15 20-25-2-0 = -7 -25-4-0 = -29

20-0-0-0 = 20
1 0 0-0-2-0 = -2 -
20-0-0-3 = 17
2 0 40-0-0 = 40 20-2-0 = 18 -4-0 = -4
Abe Alkaff

Strategi 1
0
0 2
2 (0.2)(15)+(0.5)(-7)+(0.3)(-29)=
(0.2)(15)+(0.5)(-7)+(0.3)(-29)= -9.2
-9.2
1
1 0
0 (0.5)(20)+(0.2)(17)+(0.3)(-2)=12.8
(0.5)(20)+(0.2)(17)+(0.3)(-2)=12.8
2
2 0
0 (0.2)(40)+(0.5)(18)+(0.3)(-4)=15.8
(0.2)(40)+(0.5)(18)+(0.3)(-4)=15.8
Abe Alkaff

Strategi 1
0
0 2
2 (0.2)(15-9.2)+(0.5)(-7+12.8)+(0.3)(-29+15.8)=
(0.2)(15-9.2)+(0.5)(-7+12.8)+(0.3)(-29+15.8)= 0.1
0.1
1
1 0
0 (0.5)(20-9.2)+(0.2)(17-9.2)+(0.3)(-2+12.8)=10.2
(0.5)(20-9.2)+(0.2)(17-9.2)+(0.3)(-2+12.8)=10.2
2
2 0
0 (0.2)(40-9.2)+(0.5)(18+12.8)+(0.3)(-4+15.8)=25.1
(0.2)(40-9.2)+(0.5)(18+12.8)+(0.3)(-4+15.8)=25.1
Abe Alkaff

Strategi 1
0
0 2
2 (0.2)(15+0.1)+(0.5)(-7+10.2)+(0.3)(-29+25.1)=
(0.2)(15+0.1)+(0.5)(-7+10.2)+(0.3)(-29+25.1)= 3.39
3.39
1
1 0
0 (0.5)(20+0.1)+(0.2)(17+0.1)+(0.3)(-2+10.2)=15.93
(0.5)(20+0.1)+(0.2)(17+0.1)+(0.3)(-2+10.2)=15.93
2
2 0
0 (0.2)(40+0.1)+(0.5)(18+10.2)+(0.3)(-4+25.1)=28.45
(0.2)(40+0.1)+(0.5)(18+10.2)+(0.3)(-4+25.1)=28.45
Abe Alkaff

Strategi 1

S1 X1 f1(S1) Rata-rata
0 2 (0.2)(15+3.39)+(0.5)(-7+15.93)+(0.3)(- (15.35+27.722+40.35)
29+28.45)= 7,978 /3 = 27.807
1 0 (0.5)(20+3.39)+(0.2)(17+3.39)+(0.3)(-2+15.93)
2 0 (0.2)(40+3.39)+(0.5)(18+15.93)+(0.3)(-4+28.5
Abe Alkaff

Strategi 2
Rumusan strategi kontrolnya adalah:
𝑥 𝑛=2 − 𝑠 𝑛
Tabel Probabilitas Stok Minggu Depan

Stok Aksi
0 2 0.2 0.5 0.3

1 1 0.2 0.5 0.3
2 0 0.2 0.5 0.3
Abe Alkaff

Strategi 2
Tabel Hasil
Stok Minggu Depan
Stok Aksi
0 2 40-25-0-0 = 15 20-25-2-0 = -7 -25-4-0 = -29

1 1 40-15-0-0 = 25 20-15-0-0 = 5 -15-4 = -19
2 0 40-0-0-0 = 40 20-2-0-0 = 18 -4-0 = -4
Abe Alkaff

Strategi 2
0
0 2
2 (0.2)(15)+(0.5)(-7)+(0.3)(-29)=
(0.2)(15)+(0.5)(-7)+(0.3)(-29)= -- 9.2
9.2
1
1 1
1 (0.2)(25)+(0.5)(3)+(0.3)(-19)=
(0.2)(25)+(0.5)(3)+(0.3)(-19)= 0.8
0.8
2
2 0
0 (0.2)(40)+(0.5)(18)+(0.3)(-4)=15.8
(0.2)(40)+(0.5)(18)+(0.3)(-4)=15.8
Abe Alkaff

Strategi 2
0
0 2
2 (0.2)(15-9.2)+(0.5)(-7+0.8)+(0.3)(-29+15.8)=
(0.2)(15-9.2)+(0.5)(-7+0.8)+(0.3)(-29+15.8)= -5.9
-5.9
1
1 1
1 (0.2)(25-9.2)+(0.5)(3+0.8)+(0.3)(-19+15.8)=
(0.2)(25-9.2)+(0.5)(3+0.8)+(0.3)(-19+15.8)= 4.1
4.1
2
2 0
0 (0.2)(40-9.2)+(0.5)(18+0.8)+(0.3)(-4+15.8)=19.1
(0.2)(40-9.2)+(0.5)(18+0.8)+(0.3)(-4+15.8)=19.1
Abe Alkaff

Strategi 2
0
0 2
2 (0.2)(15-5.9)+(0.5)(-7+4.1)+(0.3)(-29+19.1)=
(0.2)(15-5.9)+(0.5)(-7+4.1)+(0.3)(-29+19.1)= -2.6
-2.6
1
1 1
1 (0.2)(25-5.9)+(0.5)(3+4.1)+(0.3)(-19+19.1)=
(0.2)(25-5.9)+(0.5)(3+4.1)+(0.3)(-19+19.1)= 7.4
7.4
2
2 0
0 (0.2)(40-5.9)+(0.5)(18+4.1)+(0.3)(-4+19.1)=22.4
(0.2)(40-5.9)+(0.5)(18+4.1)+(0.3)(-4+19.1)=22.4
Abe Alkaff

Strategi 2

S1 X1 f1(S1) Rata-rata
0 2 (0.2)(15-2.6)+(0.5)(-7+7.4)+(0.3)(-29+22.4)= 0.7 (0.7+10.7+25.7)/3=
12.3667
1 1 (0.2)(25-2.6)+(0.5)(3+7.4)+(0.3)(-19+22.4)= 10.
2 0 (0.2)(40-2.6)+(0.5)(18+7.4)+(0.3)(-4+22.4)=25.7
Abe Alkaff

Perbandingan Strategi yang lebih baik
Strategi 1
Bandingkan dengan Yang lebih besar adalah yang paling baik
Strategi 2
Abe Alkaff

Imagine that you have $10,000 to invest and that you will have an opportunity to invest that
amount in either of two investments (A or B) at the beginning of each of the next 3 years. Both
investments have uncertain returns. For investment A you will either lose your money entirely or
(with higher probability) get back $20,000 (a profit of $10,000) at the end of the year. For
investment B you will get back either just your $10,000 or (with low probability) $20,000 at the end
of the year. The probabilities for these events are as follows:
Investment Amount Returned Probability

0 0,25
A
20.000 0,75
10.000 0,9
B
20.000 0,1
You are allowed to make only (at most) one investment each year, and you can invest only $10,000
each time. Use dynamic programming to find the investment policy that maximizes the expected
amount of money you will have after 3 years.
Source: 10.4-2. Introduction to Operation Research 9th edition, Hillier and Lieberman.
Abe Alkaff

Tahap : Tahun
Horizon : 3
Syarat batas : sebanyak-banyaknya (dalam hal ini yang paling mungkin
menjadi maksimal 40000)
State : Uang tersedia (Modal awal dan hasil invetasi sebelumnya)
Decision : Investment (A or B)
Event : Amount returned
Outcome : Banyaknya amount returned
State transform :
Fungsi Hasil :
Penyelesaian :
Abe Alkaff

Uang tersedia pada awal tahun investasi

Pilihan investasi di A atau B
Hasil yang didapatkan dari investasi
Strategi kontrol:
1. Investasi di B jika uang tersedia , investasi di A jika uang tersedia
2. Hanya berinvestasi di B
Abe Alkaff

Tabel Probabilitas
Uang Tersedia Tahun
Aksi Berikutnya
Uang Tersedia
Kontrol
A 0,25 - 0,75
B - 0,9 0,1
A 0,25 - 0,75
B - 0,9 0,1
Abe Alkaff

Strategi 1
Tahap 3
B (30.000-10.000+10.000)(0,9) + (30.000-10.000+20.000)(0.1) = 31.000

B (20.000-10.000+10.000)(0,9) + (20.000-10.000+20.000)(0.1) = 21.000
A Tidak mungkin ke state ini
Tahap 2
B (20.000-10.000+10.000+21.000)(0,9) + (20.000-10.000+20.000+31.000)(0.1) = 43.000

A Tidak mungkin ke state ini
- -
Abe Alkaff

Tahap 1
A (0)(0,25) + (10.000-10.000+20.000+43.000)(0,75) = 47.250
Strategi 2
Tahap 3
B (30.000-10.000+10.000)(0,9) + (30.000-10.000+20.000)(0.1) = 31.000

B (20.000-10.000+10.000)(0,9) + (20.000-10.000+20.000)(0.1) = 21.000
B (10.000-10.000+10.000)(0,9) + (10.000-10.000+20.000)(0.1) = 11.000
Abe Alkaff

Tahap 2
B (20.000-10.000+10.000+21.000)(0,9) + (20.000-10.000+20.000+31.000)(0.1) = 43.000

B (10.000-10.000+10.000+11.000)(0,9) + (10.000-10.000+20.000+21.000)(0.1) = 21.000
Tahap 1
B (10.000-10.000+10.000+21.000)(0,9) + (10.000-10.000+20.000+43.000)(0.1) = 34.200

Abe Alkaff

Interpretasi
Strategi 1 Strategi 2, maka strategi yang paling baik adalah

strategi 1 di mana berlaku:
Investasi di B jika uang tersedia di awal tahun , investasi di A jika

uang tersedia di awal tahun = , dengan kemungkinan total nilai
pengembalian investasi terbesar adalah 4000
Ambil satu contoh persoalan pengaturan optimal semacam ini dari buku
referensi atau yang lain atau buat sendiri dan kerjakan sesuai dengan langkah-
langkah pada bahan kuliah ini
Abe Alkaff
Proses Keputusan Markov

Persoalan yang dibahas pada bagian sebelumnya memiliki probabilitas
berada pada suatu state yang berubah tiap saat. State pada saat berikutnya
hanya tergantung pada state pada saat ini. Proses acak semacam ini disebut
sebagai proses Markov. Notasikan:
Probabilitas berada pada state pada saat
Untuk contoh diatas dapat diartikan sebagai:

Probabilitasnya memiliki TV pada awal minggu ke
yang memiliki nilai-nilai sebagai berikut:
.3
Abe Alkaff

Notasikan
sebagai probabilitasnya berpindah dari state pada saat n ke state pada

saat n+1

Dalam notasi vector, dapat ditulis sebagai

Abe Alkaff
Dapat diringkas sebagai

Dimana 𝑃 00 𝑃 01 𝑃02

(
𝑃= 𝑃 10
𝑃 20
𝑃1 1
𝑃21
𝑃1 2
𝑃 22 )
Bila
system stabil, maka akan mencapai kondisi steady state yaitu kondisi dimana
probabilitas berada pada satu state tertentu tidak lagi merupakan fungsi waktu:

sehingga
Abe Alkaff

Nilai kriteria persatuan waktu dapat dinyatakan sebagai
𝑚 Dimana Banyaknya state
∑ Π𝑖 𝐾𝑖 Nilai pada state i
𝑖=1 Probabilitas pada state i dalam steady state
Untuk contoh Toko TV dengan strategi 1 (order hanya kalau habis) diperoleh:
Dari persamaan , nilai dapat dihitung

Abe Alkaff

STRATEGI 1: Order 2 kalau persedian habis

98

𝜋 0=
240
Abe Alkaff

STRATEGI 2: Order sebanyak 2-s dimana s adalah persediaan awal bulan

2
𝜋 0=
10
Abe Alkaff

Strategi 1:
Strategi 2
Nilai pada strategi 1 > Nilai Strategi 2

Sehingga strategi 1 lebih baik daripada
strategi 2
Abe Alkaff
Sebuah Manufaktur memiliki sebuah mesin State Condition

produksi. Karena penggunaan yang 0 Good as new
ekstrim, maka terjadi perubahan kondisi 1 Minor deterioration
mesin setiap minggunya. Keadaan mesin 2 Major deterioration
dapat dikategorikan menjadi: 3 Inoperable
Matriks disamping menunjukkan State 0 1 2 3

probabilitas perubahan kondisi mesin 0 0 7/8 1/16 1/16
dalam satu bulan dari state awal (baris) 1 0 3/4 1/4 1/4
ke state berikutnya (kolom). 2 0 0 1/2 1/2
3 0 0 0 1
Abe Alkaff

State Kerugian barang cacat
Ketika mesin tidak bekerja secara maksimal, maka
0 0
akan muncul barang cacat yang menyebabkan
1 1000
kerugian menurut keadaan state mesin tersebut:
2 3000
Mesin dalam kondisi state 3 harus diganti. Penggantian mesin (bisa dalam state
1,2, dan 3) memakan biaya sebesar 4000, selain itu penggantian membutuhkan
waktu 1 minggu yang menyebabkan kehilangan kuntungan produksi sebesar 2000
Terdapat keadaan overhaul, yaitu maintenance mesin agar peformanya bisa naik 1
state. Overhaul hanya berlaku pada mesin dalam kondisi state 2 dan
mengubahnya menjadi state 1. Overhaul membutuhkan biaya 2000 dan memakan
waktu 1 minggu yang menyebabkan kehilangan kuntungan produksi sebesar 2000.
Buat kebijakan tindakan terhadap mesin agar meminimalkan biaya total

Abe Alkaff
Tabel Keputusan yang dapat diambil:

• Ada 4 kemungkinan kebijakan:
Decision State Kerugian Biaya Kerugian Total
barang Maintenance keuntungan Cost 1. Mengganti mesin saat state 3 saja
cacat produksi
0 0 0 0 0
2. Mengganti mesin saat state 3 dan
Do overhaul mesin pada state 2
1 1000 0 0 1000
nothing
2 3000 0 0 3000 3. Mengganti mesin saat state 2 dan 3
Overhaul 2 0 2000 2000 4000 4. Mengganti mesin saat state 1,2, dan 3
Replace 1,2,3 0 4000 2000 6000
Abe Alkaff

Pendefinisian Kebijakan 1 Kebijakan 2
State 0 1 2 3 State 0 1 2 3
 Probabilitas perubahan state pada 0 0 7/8 1/16 1/16 0 0 7/8 1/16 1/16
kebijakan ke i 1 0 3/4 1/4 1/4 1 0 3/4 1/4 1/4
 Total biaya untuk masing – masing 2 0 0 1/2 1/2 2 0 1 0 0
kebijakan sebagai berikut: 3 1 0 0 0 3 1 0 0 0
Kebijakan 1 Kebijakan 2
Kebijakan
K1 K2 K3 K4
\State State 0 1 2 3 State 0 1 2 3
1 0 1000 3000 6000 0 0 7/8 1/16 1/16 0 0 7/8 1/16 1/16
2 1 0 3/4 1/4 1/4 1 1 0 0 0

0 1000 4000 6000
2 1 0 0 0 2 1 0 0 0
3 0 1000 6000 6000
3 1 0 0 0 3 1 0 0 0
4 0 6000 6000 6000
Abe Alkaff

Kebijakan 1
𝜋0+𝜋1+𝜋2+𝜋3=1

( 1 ) 𝜋 0 =𝜋 3
Abe Alkaff

Kebijakan 2

𝜋0+𝜋1+𝜋2+𝜋3=1

Abe Alkaff

Kebijakan 3

𝜋0+𝜋1+𝜋2+𝜋3=1

Abe Alkaff

Kebijakan 4
𝜋0+𝜋1+𝜋2+𝜋3=1

Abe Alkaff

Perbandingan Hasil Tiap Kebijakan
Kebijakan Biaya Yang di Keluarkan
1 ,,
1
2
3
2
4
3
4
Abe Alkaff
Kesimpulan
Dari Perhitungan diatas dapat disimpulkan bahwa biaya paling minimum dapat
dicapai dengan menggunakan kebijakan ke 2 yaitu:
1. Mengganti mesin yang berada pada state 3
2. Overhaul mesin yang berada pada state 2
Dengan total biaya yang dikeluarkan sebesar $ 1667
Ambil satu contoh persoalan proses keputusan markov semacam ini dari buku
referensi atau yang lain atau buat sendiri dan kerjakan sesuai dengan langkah-
langkah pada bahan kuliah ini
Abe Alkaff
Tugas 8
Kerjakan tugas-tugas yang diberikan pada bahan paparan ini

Bab 8 Program Dinamik Stokastik

Diunggah oleh

Informasi Dokumen

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Bab 8 Program Dinamik Stokastik

Diunggah oleh

Hak Cipta:

Format Tersedia

Ab.

8. Pemrograman Dinamik Stokastik

Pemrograman Dinamik Stokastik

Pengaturan Optimal dengan Program Dinamik

Infinite Horizon Dynamic Programming/Proses

Pemrograman Dinamik Stokastik

Pemrograman Dinamik Stokastik berkaitan dengan permasalahan yang

Pemrograman Dinamik Stokastik

Pemrograman Dinamik Stokastik

𝑓 𝑛 ( 𝑆 𝑛 )= 𝑜𝑝𝑡 {𝐶 𝑛 ( 𝑋 𝑛 , 𝑆𝑛 , 𝜔 𝑛 )+ Ε [ 𝑓 𝑛 +1( 𝑆 𝑛+1) ] }

Pemrograman Dinamik Stokastik

Pemrograman Dinamik Stokastik

Pemrograman Dinamik Stokastik

 State : Stok TV ditoko (

𝜔 𝑛 𝑏𝑖𝑙𝑎 𝑋 𝑛 + 𝑆𝑛 − 𝜔𝑛 ≥ 0 Biaya Penyimpanan

Pemrograman Dinamik Stokastik

 Tahap : Awal dari setiap minggu

Pemrograman Dinamik Stokastik

Tahap 4 – Minggu Keempat

Pemrograman Dinamik Stokastik

Tahap 4 – Minggu Keempat

Pemrograman Dinamik Stokastik

Tahap 4 – Minggu Keempat

Pemrograman Dinamik Stokastik

Tahap 3 – Minggu Ketiga

Pemrograman Dinamik Stokastik

Tahap 3 – Minggu Ketiga

Pemrograman Dinamik Stokastik

Tahap 3 – Minggu Ketiga

Pemrograman Dinamik Stokastik

Pemrograman Dinamik Stokastik

Tahap 2 – Minggu Kedua

Pemrograman Dinamik Stokastik

Tahap 2 – Minggu Kedua

Pemrograman Dinamik Stokastik

Tahap 1 – Minggu Pertama

Pemrograman Dinamik Stokastik

0 1 7,93 +6,6+1,5-2,2 =13,834

Pemrograman Dinamik Stokastik

Pemrograman Dinamik Stokastik

Sistem dinamik dinyatakan dengan persamaan state

Dimana State pada tahap (saat) n

Pemrograman Dinamik Stokastik

Aksi Kontrol tersebut dipilih sedemikian hingga suatu kriteria di optimalkan

Pemrograman Dinamik Stokastik

Pemrograman Dinamik Stokastik

Strategi Kontrol adalah sekumpulan aksi kontrol yang berlaku untuk

StrategiKontrol dapat dicari berdasarkan formula dari yang diperoleh

Pemrograman Dinamik Stokastik

Pemrograman Dinamik Stokastik

Pemrograman Dinamik Stokastik

dapatdicari dengan pemrograman dinamik untuk tertentu (untuk

Misalkan untuk contoh tersebut diminta untuk mengevaluasi strategi

Pemrograman Dinamik Stokastik

Tabel Probabilitas Stok Minggu Depan

0 2 0.2 0.5 0.3

Pemrograman Dinamik Stokastik

0 2 40-25 = 15 20-25-2-0 = -7 -25-4-0 = -29

Pemrograman Dinamik Stokastik

Pemrograman Dinamik Stokastik

Tahap 3 – Minggu Ketiga

Pemrograman Dinamik Stokastik

Tahap 2 – Minggu Kedua

Pemrograman Dinamik Stokastik