Operations Research

Industrial engineering

MARKOV CHAINS

14/08/2015

Operations Research

Stochastic process
Sample space (ruang sample): all
possible outcome
Random variable:

A real valued function yang di-define pada

outcome
A real valued function yang di-assign
pada outcome

Stochastic process: kumpulan dari

beberapa random variable yang didefine pada sample space yang sama
14/08/2015

Operations Research

Stochastic process
Notasi
X(t); t T
T
t
X(t)

:
:
:
:

stage
set of index
parameter
state of the process
pada time t

State space

sample space pada stochastic process

X(t1), X(t2), X(t3)
14/08/2015

Operations Research

Stochastic process
Klasifikasi Stochastic Process berdasar
State Space dan Parameter
Parameter
State Space
Discrete
Continue
Discrete
DS DP SP
DS CP SP
Continue
CS DP SP
CS CP SP

14/08/2015

Operations Research

Stochastic process
Pengamatan pada sebuah bank
DS DP SP

Bila kita ingin mengetahui berapa banyak

customer dalam bank ketika seorang
customer datang
State space: banyaknya customer dalam
bank diskrit
Parameter: n = customer index diskrit
X(n) = banyaknya customer dalam bank
saat customer ke-n datang
14/08/2015

Operations Research

Stochastic process
Pengamatan pada sebuah bank
DS CP SP

Bila kita ingin mengetahui banyaknya

customer dalam bank pada suatu saat
tertentu
State space: banyaknya customer dalam
bank diskrit
Parameter: time index kontinyu
X(t): jumlah customer dalam bank pada
waktu = t
14/08/2015

Operations Research

Stochastic process
Pengamatan pada sebuah bank
CS DP SP
Bila kita ingin mengetahui berapa lama
seorang customer harus menunggu
sebelum dilayani
State space: waiting time kontinyu
Parameter: n = customer index diskrit
X(n): lamanya customer ke-n harus
menunggu sebelum dilayani
14/08/2015

Operations Research

Stochastic process
Pengamatan pada sebuah bank
CS CP SP
Bila kita ingin mengetahui berapa lama waktu
yang diperlukan untuk melayani semua
customer yang ada dalam bank dalam suatu
waktu
State space: lama to clean out kontinyu
Parameter: t = time index kontinyu
X(t): waktu yang diperlukan untuk clean out
customer pada waktu t
14/08/2015

Operations Research

Markov Property
Future event hanya tergantung pada
the most recent event
P[X(tn+1) = Xn+1 | X(tn) = Xn, X(tn-1) = Xn-1,
, X(t0) = X0]

Menurut Markov Property:

P[X(tn+1) = Xn+1 | X(tn) = Xn]

14/08/2015

Operations Research

10

Markov Property
Stochastic Process yang memenuhi
markov property disebut Markov
Process
Markov Process dengan Discrete
State Space disebut Markov Chain

14/08/2015

Operations Research

11

Markov Chain

Diskrit Parameter Markov Chain DS

DP SP

P[X(n+1) = j | X(n) = i] = Pij(n)

Membentuk one step transition
probability matrix

14/08/2015

Operations Research

12

Markov Chain
Kondisi Steady State: Stasioner
P[Xt+1 = j | Xt = i] = P[X1 = j|X0 = i] = Pij
dan
0 pij 1

p
j 1

ij

Dimana m adalah semua state yang

mungkin
14/08/2015

Operations Research

13

Markov Chain

Pij

p11
p
21
...

pm1

p12
p22
...
pm 2
14/08/2015

...
...
...
...

Operations Research

p1m 1

p2 m 1
... 1

pmm 1
14

Markov Chain

Demand dari sebuah kamera pada

suatu hari berdistribusi Poisson
dengan mean = 1. Policy persediaan
memesan 3 unit bila persediaan = 0.
Pesanan datang sekaligus. Demand
yang tidak dipenuhi hilang.

14/08/2015

Operations Research

15

Markov Chain
State space : D(n) = banyaknya
permintaan kamera
Parameter : n = index hari
X(n) : level of inventory pada hari ke-n
Level inventory today: the most recent
event

14/08/2015

Operations Research

16

Markov Chain

X(n+1) =
X(n) > 0 inventory > 0, tidak melakukan
pemesanan, hanya mampu memenuhi
permintaan sampai sebesar inventory
X(n+1) = X(n) D(n)
X(n) = 0 inventory = 0, melakukan
pemesanan sebanyak 3 unit, mampu
melayani sampai 3 unit
X(n+1) = X(n) + 3 D(n)
14/08/2015

Operations Research

17

Markov Chain
Problem Discrete Parameter
Markov Chain
Cari One-Step Transition Probability
Matrix

14/08/2015

Operations Research

18

Markov Chain

Demand berdistribusi Poisson:

PDn d

d!
1
e
PDn d
d!

e ; mean 1

14/08/2015

Operations Research

19

Markov Chain
e 1
; i 0, j i

i j !
PX n 1 j | X n i 1
e
; i 0, j 3
3 j !

14/08/2015

Operations Research

20

Markov Chain

m = 4 {0, 1, 2, 3}

Pij

0,080
0,632

0,264

0,080
m

1 pij

0,184 0,368 0,368 1

0,368
0
0 1
0,368 0,368
0 1

0,184 0,368 0,368 1

Cari sesuai rumus

j 1

14/08/2015

Operations Research

21

Persamaan
Chapman-Kolmogorov
M

pij pikv pkjn v ; i, j , n;0 v n

n

k 0

v 1
M

pij pik pkjn 1

n

k 0

v n 1
M

pij pikn 1 pkj

n

k 0

n 2, v 1
M

pij pik pkj

2

k 0

14/08/2015

Operations Research

22

Persamaan
Chapman-Kolmogorov

P(2) = P . P = P2
P(m) = P . P . P . . P (m kali)
P(m+n) = P(m) . P(n)
P(n) = P. P(n-1) = P(n-1) . P

14/08/2015

Operations Research

23

Persamaan
Chapman-Kolmogorov

Probabilitas untuk 2 hari yang akan

datang: two-step transition probability
matrix

Pij

0,249
0,283

0,351

0,249

0,286 0,300 0,165 1

0,252 0,233 0,233 1

0,319 0,233 0,097 1

0,286 0,300 0,165 1

14/08/2015

Operations Research

24

Persamaan
Chapman-Kolmogorov

Probabilitas untuk 4 hari yang akan

datang: four-step transition probability
matrix

Pij

0,289
0,282

0,284

0,289

0,286 0,261 0,164 1

0,285 0,268 0,166 1

0,285 0,263 0,171 1

0,285 0,261 0,164 1

14/08/2015

Operations Research

25

Persamaan
Chapman-Kolmogorov

State transition diagram

Based on: one step transition matrix

14/08/2015

Operations Research

26

Long Run Property

Long Run Property of Markov Chain Steady
State Equation

= . P steady state, dimana kondisi

saat ini tidak tergantung pada initial condition
= {1, 2, , m}
j : steady state probability bahwa proses
ada di state j
[P I] = 0; I = matrix identitas
m

j 1

14/08/2015

Operations Research

27

Long Run Property

Cari steady state probability-nya!

1 2 1 2 0

P 1 2 1 4 1 4
1 3 0 2 3
14/08/2015

Operations Research

28

Long Run Property

1

1 2 1 2 0 1

3 1 2 1 4 1 4 0
1 3 0 2 3 0

1 2 1 2
1 2 3 1 2 3 4
1 3
0

0 0

1 0 0
0 1
0
1 4 0
1 3

1 1 1 2 1 3
2
2
3
1 1 3 2
2
4
1 2 1 3
4
3
1 2 3
14/08/2015

0
0
0
1

Operations Research

29

Long Run Property

1 = 6/13
2 = 4/13
3 = 3/13

14/08/2015

Operations Research

30

Long Run Property

0

1 2

0,080

0,632
3
0,264

0,080

1 2

0,184 0,368 0,368 1

0,368
0
0 0

0
0,368 0,368
0

0,184 0,368 0,368 0

0 0 0

1 0 0
0

0 1 0

0 0 1
0,368
0,368
0,920 0,184
0,632 0,632

0
0
0
3
0,264
0,368 0,632
0

0
,
080
0
,
184
0
,
368

0
,
632

0,920 0 0,632 1 0,264 2 0,080 3 0

0,184 0 0,632 1 0,368 2 0,184 3 0
0,368 0 0,632 2 0,368 3 0
0,368 0 0,632 3 0

0 1 2 3 1
14/08/2015

Operations Research

31

Long Run Property

0 = 0,286
1 = 0,285
2 = 0,263
3 = 0,166

14/08/2015

Operations Research

32

Long Run Property

Misal, ada informasi:
Inventory cost/unit = $2
Order cost:
Fixed Cost = $10
Unit cost = $3

Cari: long run expected average

cost/day
14/08/2015

Operations Research

33

Long Run Property

C(j)

C(0)
C(1)
C(2)
C(3)

= total biaya persediaan bila

saat ini ada j unit di gudang
= biaya order +
biaya penyimpanan
= $10 + 3 . $3 = $19
= 1 . $2
=$ 2
= 2 . $2
=$ 4
= 3 . $2
=$ 6
14/08/2015

Operations Research

34

Long Run Property

Long run expected average cost/day:

E c j 0C0 1C1 2C2 3C3

0,28619 0,2852 0,2634 0,1666

$8,052

14/08/2015

Operations Research

35

Long Run Property

Tambahan informasi
Ada penalty $10 untuk setiap unit
unsatisfied demand
Ada revenue $20 untuk setiap
penjualan per unit
Cari long-run expected average
profit/day
14/08/2015

Operations Research

36

Long Run Property

Long run expected average cost,

j = posisi inventory saat ini

j $2 MaxD j ,0$10, j 0

C j
$10 3$3 MaxD 3,0$10, j 0

14/08/2015

Operations Research

37

Long Run Property

Demand

Probability

Expected
demand

0,10

0(0,10) = 0,00

0,30

1(0,30) = 0,30

0,40

2(0,40) = 0,80

16

0,15

3(0,15) = 0,45

0,05

4(0,05) = 0,20

1,75

35

14/08/2015

Operations Research

Expected
Revenue

38

Long Run Property

C(0)

C(1)

C(2)

C(3)

= $10 + 3 . $3 +
$10 [1(0,05)]
= $19,5
= 1 . $2 + $10 [1(0,40) +
2(0,15) + 3(0,05)] = $10,5
= 2 . $2 + $10 [1(0,15) +
2(0,05)]
= $6,5
= 3 . $2 + $10 [1(0,05)] = $6,5

14/08/2015

Operations Research

39

Long Run Property

Expected cost/day

E c j 0C0 1C1 2C2 3C3

0,28619,5 0,28510,5 0,2636,5 0,1666,5

$11,358

Expected average profit/day

= expected revenue expected cost
= $35 - $11,358
= $23,642
14/08/2015

Operations Research

40

MARKOVIAN DECISION
MODELS: EXAMPLE

14/08/2015

Operations Research

41

Problem

A production process contains a

machine that deteriorates rapidly in
both quality and output under heavy
usage, so that it is inspected
periodically, say, at the end of each
day

14/08/2015

Operations Research

42

Four possible state

State

Condition

Good as new

Operable minor deterioration

Operable major deterioration

Inoperable output of unacceptable quality

14/08/2015

Operations Research

43

Transition matrix
State

7/8

1/16

1/16

3/4

1/8

1/8

1/2

1/2

14/08/2015

Operations Research

44

Cost of Defect
State

Expected Cost Due to Producing Defective Item

$1,000

$3,000

14/08/2015

Operations Research

45

Possible Decisions
Decision

Action

Cost

Do nothing

Overhaul (return system to state 1)

$2,000

Replace (return system to state 0)

$4,000

Cost of lost production (lost profit)

14/08/2015

Operations Research

$2,000/day

46

The total expected costs incurred

per day (Cik)
State

Decision

$4,000

$6,000

$1,000

$4,000

$6,000

$3,000

$4,000

$6,000

$4,000 ()

$6,000

14/08/2015

Operations Research

47

Possible Policy
State

Possible Decision

1 or 3

1, 2, or 3

2 or 3

14/08/2015

Operations Research

48

Possible Policy
Policy

Verbal Description

d0(R)

d1(R)

d2(R)

d3(R)

Ra

Do nothing in states 0, 1, 2
Replace in state 3

Rb

Do nothing in states 0, 1
Replace in state 3
Overhaul in state 2

Rc

Do nothing in states 0, 1
Replace in states 2, 3

Rd

Do nothing in state 0
Replace in states 1, 2, 3

14/08/2015

Operations Research

49

Transition matrix of Ra
State

7/8

1/16

1/16

1/8

1/8

14/08/2015

Operations Research

50

Transition matrix of Rb
State

7/8

1/16

1/16

1/8

1/8

14/08/2015

Operations Research

51

Transition matrix of Rc
State

7/8

1/16

1/16

1/8

1/8

14/08/2015

Operations Research

52

Transition matrix of Rd
State

7/8

1/16

1/16

14/08/2015

Operations Research

53

Cost of Possible Policy

Policy

Verbal Description

C0(R)

Ra

Do nothing in states 0, 1, 2
Replace in state 3

$1,000 $3,000 $6,000

Rb

Do nothing in states 0, 1
Replace in state 3
Overhaul in state 2

$1,000 $4,000 $6,000

Rc

Do nothing in states 0, 1
Replace in states 2, 3

$1,000 $6,000 $6,000

Rd

Do nothing in state 0
Replace in states 1, 2, 3

$6,000 $6,000 $6,000

14/08/2015

C1(R)

Operations Research

C2(R)

C3(R)

54

Ra
0

1 2

0 7 8 1 16 1 16 1

0 3 4 1 8 1 8 0
3

0 0 1 2 1 2 0

1 0
0
0 0

1 7 8
0 1 4
0 1 2 3
0
0

0
1

14/08/2015

0 0 0

1 0 0
0

0 1 0

0 0 1
1 16 1 16
1 8 1 8
0
1 2 1 2

0
1

Operations Research

55

Ra

0 3 0
7 8 0 1 4 1 0
1 16 0 1 8 1 1 2 2 0
1 16 0 1 8 1 1 2 2 3 0

0 1 2 3 1
14/08/2015

Operations Research

56

Ra
2
0
13
7
1
13
2
2
13
2
3
13
14/08/2015

Operations Research

57

Ra
the long - run expected average cost per day is given by
0 0 1,0001 3,000 2 6,0003
2
7
2
2
0 1,000 3,000 6,000
13
13
13
13
7,000 6,000 12,000

13
25,000

13
$1,923.08
14/08/2015

Operations Research

58

Rb
2
0
21
15 5
1
21 7
2
2
21
2
3
21
14/08/2015

Operations Research

59

Rc
2
0
11
7
1
11
1
2
11
1
3
11
14/08/2015

Operations Research

60

Rd
16 1
0

32 2
14 7
1

32 16
1
2
32
1
3
32
14/08/2015

Operations Research

61

The long-run expected average

cost per unit time, E(C)
Policy

E(C)

Ra
Rb
Rc
Rd

$1,923
$1,667
$1,727
$3,000

14/08/2015

Kebijakan yang
dipilih adalah
kebijakan Rb
karena biayanya
terendah

Operations Research

62

14/08/2015

Operations Research

63

Sebuah pabrik mempunyai satu mesin utama yang menjadi ujung tombak salah satu proses produksinya.
Oleh karena penggunaan yang sering, mesin tersebut cepat rusak dan berpengaruh pada kualitas dan
kuantitas keluarannya, oleh karena itu, pada akhir tiap minggu, pemeriksaan yang menyeluruh
dilakukan dan menyatakan kondisi mesin yang digolongkan menjadi empat state yang mungkin:
State
0
1
2

Kondisi
Baik seperti baru
Ada kerusakan tapi masih bisa beroperasi
Tidak dapat beroperasi

Setelah data historis pada hasil pemeriksaan ini diperoleh, analisis statistik digunakan untuk mengetahui
bagaimana perubahan state mesin dari minggu ke minggu. Matriks berikut ini menunjukkan frekuensi
relatif (probabilitas) dari tiap transisi yang mungkin dari state yang satu pada minggu tertentu (baris
pada matriks) ke state yang lainnya pada minggu berikutnya (kolom pada matriks).
State
Awal

0
1
2

0
1/4
0
0

Akhir
1
1/2
2/3
0

2
1/4
1/3
1

Pada saat sebelum mencapai state 2, biaya bisa terjadi dari memproduksi barang cacat. Ekspektasi biaya
per minggu dari sumber ini adalah sebagai berikut:
State
0
1
2

Ekspektasi Biaya karena Memproduksi Produk Cacat

0, semua produk kualitasnya bagus
$1.500
; mesin tidak dapat beroperasi

Pabrik memiliki dua jenis kebijakan:

- Tidak melakukan apa-apa, biaya yang muncul adalah sama dengan ekspektasi biaya karena
memproduksi produk cacat
- Melakukan penggantian (membeli mesin baru) sehingga sistem kembali ke state 0,
membutuhkan biaya sebesar $3.500. Penggantian ini membutuhkan waktu satu minggu sampai
mesin datang sehingga konsekuensi lainnya adalah kehilangan $2.000 dari laba produksi
Tentukan:
a. Total biaya per minggu untuk tiap state berdasarkan kebijakan yang mungkin diambil
b. Tentukan kebijakan yang mungkin diambil untuk masing-masing state
c. Tentukan alternatif kebijakan yang mungkin diambil
- Buat matriks transisinya
- Tentukan biaya per minggunya
- Tentukan probabilitas steady statenya
- Tentukan ekpektasi biaya rata-rata (jangka panjang) per minggunya
d. Tentukan alternatif kebijakan yang dipilih berdasarkan ekspektasi biaya terendah.