MARKOV CHAIN-1

Tujuan
1. Mahasiswa mampu memodelkan masalah
sistem industri dalam bentuk Markov Chain.
2. Mahasiswa dapat mengenal dan
mengkategorikan beberapa model Markov
Chain.
3. Mahasiswa dapat menghitung beberapa
parameter /performance model Markov
Chain.
 PENDAHULUAN
• Rantai markov adalah suatu teknik matematika
yang digunakan untuk melakukan pembuatan
model bermacam system dan proses bisnis.
• Teknik ini memperkirakan perubahan-perubahan
di waktu yang akan datang dalam variable2
dinamis atas dasar perubahan-perubahan
variable2 dinamis tersebut di waktu yang lalu.
(menganalisa kejadian diwaktu mendatang
secara matematis)
• Dikembangkan oleh A.A. Markov 1906 (Rusia)
 Penerapan Rantai Markov
• Menyelesaikan berbagai masalah pemasaran
• Perhitungan rekening-rekening
• Jasa penyewaan mobil
• Perencanaan penjualan
• Masalah persediaan
• Pemeliharaan mesin
• Antrian
• Perubahan harga pasar saham
• Administrasi RS
• dll
Notasi Markov Chain
 Ciri-ciri Markov
• Suatu keadaan A atau B, atau disebut state A atau dan state
B, atau state 1 atau state 2
• Jika berada pada state A, pasti tidak pada state B dan
sebaliknya
Contoh kendaraan umum, jika ada dua kondisi mogok dan narik
Pasti kendaraan tersebut jika tidak mogok pasti narik
Jika narik  state 1
Jika mogok  state 2

Dlm konteks ini kendaraan selalu berada pada salah satu state
diatas secara bergantian.
Perubahan dari suatu status ke status yang lain pada periode
berikutnya merupakan suatu proses random yang dinyatakan dalam
probabilitas dan dinamakan probabilitas transmisi.

Contoh:
P (narik I narik ) = 0,6 P (narik I mogok) = 0,4
P (mogok I narik) = 0,8 P (mogok I mogok) = 0,2

P (mogok I narik) = 0,8, berarti peluang besok narik jika sekarang mogok adalah 0,8.

Probabilitas ini dapat disusun dalam bentuk tabel (matriks)

Dari status Ke status (besok)

(sekarang Narik Mogok
Narik 0,6 0,4
Mogok 0,8 0,2
Digolongkan proses Markov jika masalah di atas
memenuhi asumsi:
• Jika sekarang kendaraan narik, besok hanya ada dua
kemungkinan status, yaitu narik lagi atau mogok. Sehingga
jumlah probabilitas transisi pada setiap baris adalah 1.
• Probabilitas transisi itu tidak akan berubah untuk selamanya.
• Probabilitas transisi hanya tergantung pada status sekarang
dan bukan pada status periode sebelumnya.
 Menyusun Probabilitas Transisi
Untuk memahami langkah menyusun probabilitas transisi ini, digunakan
contoh berikut:

Di sebuah kota terdapat 3 restoran ayam goreng.

-Tojoyo
- Suharti
- Kentucky
Ketiga restoran tersebut memiliki jumlah pelanggan 7000.
Hasil penelitian pasar tentang ketiga restoran disajikan sbb

Restoran Banyaknya pelanggan

Bulan pertama Bulan kedua
Tojoyo 2000 2100
Suharti 4000 3300
Kentucky 1000 1600
Jumlah 7000 7000
Dari data di atas terlihat bahwa ada pergeseran selera konsumen dari bukan
pertama ke bulan ke dua. Pelanggan Tojoyo bertambah 100, Suharti kehilangan
700, dan Kentucky bertambah 600 pelanggan.

Bulan Bulan kedua Jumlah

Pertama Tojoyo Suharti Kentucky

Tojoyo 1600 200 200 2000

Suharti 400 2800 800 4000
Kenducky 100 300 600 1000
Jumlah 2100 3300 1600 7000
Matrik probabilitas transisinya dapat disusun sebagaiberikut:

Dari status Ke status

(sekarang Tojoyo Suharti Kentucky
Tojoyo 0,8 0,1 0,1
Suharti 0,1 0,7 0,2
Kentucky 0,1 0,3 0,6
 Peralatan Analsis Markov
• Informasi yang dapat dihasilkan dari analisis Markov adalah probabilitas
berada dalam suatu status pada satu periode di masa depan. Ada dua cara
untuk menemukan informasi itu, yaitu
• Dengan probabilitas tree
• Perkalian matriks

Probabilitas Tree merupakan cara yang nyaman untuk menunjukkan

sejumlah terbatas transisi dari suatu proses Markov.
Contoh kendaraan umum.

Dari status Ke status (besok)

(sekarang Narik Mogok
Narik 0,6 0,4
Mogok 0,8 0,2
Misalkan ingin diketahui peluang narik pada hari ketiga jika pada hari
pertama kendaraan berstatus narik .
0,36

0,6 Narik
0,6

Narik 0,24
0,6
0,4 Mogok 0,68

Narik

0,32
0,4 0,4 0,8
Narik 0,32
Mogok
0,08
0,2 Mogok
Jika pada hari pertama mogok, berapa peluang mogok pada hari ketiga
0,48

0,6 Narik
0,6

Narik 0,32
0,8
0,4 Mogok 0,64

Mogok

0,16
0,2 0,2 0,8
Narik 0,36
Mogok
0,04
0,2 Mogok
Jika yang ingin diketahui adalah probabilitas status
pada periode ke-t di masa depan, dimana t cukup
besar, maka alternatif yang digunakan adalah dengan
perkalian matriks
Matriks probabilitas transisi
0,6 0,4
0,8 0,2

Jika kendaraan narik pada hari ke 1, maka berlaku probabilitas berikut

ini:
Nn (1) = 1 (narik)
Mn(1) = 0 (mogok)
jika kedua probabilitas ini disusun ke dlm matrik (1 0)
Kemudian kalikan dengan matrik probabilitas transisi
(N (1) M(1)) = ( 1 0) 0,6 0,4
0,8 0,2
 Probabilitas Steady State

• N (i) + M (i) = 1

• Nn = 0,6 Nn + 0,8 Mn
• Mn = 0,4 Nn + 0,2 Mn

Dengan mensubtitusi Nn = 1 – Mn kepersamaan terakhir

didapat
Mn = 0,4 (1 – Mn) + 0,2 Mn
Mn + 0,4 Mn – 0,2 Mn = 0,4
Mn = 0,4/1,2 = 0,3333 dan
Nn = 0,6667
 Keberadaan Kondisi Steady State

• Suatu proses Markov dapat saja tidak mencapai

kondisi steady state.
• Ada petunjuk untuk menentukan apakah suatu
proses Markov akan menuju steady state .
• Jika ada suatu bilangan n, sehingga setiap unsur Tn
(dimana T adalah matriks transisi) lebih besar dari
nol, maka keadaaan steady state ada
Matrix Peluang Transisi
Stasioner bila tidak ada
perubahan keadaan =
state
 Matrix Peluang Transisi

Diagram Transisinya :
Contoh Matriks dan Diagramnya
 ILUSTRASI

Sebuah Taksi hanya beroperasi pada tiga tempat saja,

yaitu Bandara, Pusat Perbelanjaan dan Hotel. Taksi
hanya berada diantara tiga tempat tersebut dan
hanya mengantarkan penumpang ke tiga tempat
tersebut. Setelah menurunkan penumpang, taksi
tersebut akan menunggu sampai mendapat pesanan.
Bagaimana kita dapat memodelkan pergerakan taksi
tersebut?

21
 PEMODELAN

 Hanya ada 3 kemungkinan tujuan taksi, yang dapat disimbolkan

sebagai berikut :
- Bandara =1
- Pusat Perbelanjaan = 2
- Hotel =3
 Untuk setiap perjalanan akan berakhir pada salah satu lokasi.
 Pemodelan proses hanya dilakukan pada 3 titik itu, sedangkan apa
yang terjadi di antara keberangkatan hingga tiba diabaikan.
 Titik waktu saat sistem diamati disebut epoch.
 Nilai yang berkaitan dengan kondisi yang mungkinSTATE
 Misalnya, bila perjalanan pertama berakhir di pusat perbelanjaan,
maka kita sebut bahwa epoch 1 adalah 2.
 Catatan pengamatan state sepanjang waktu disebut realization of
process (realisasi proses)
22
 REALISASI PROSES

2
State

0
Time

23
 DIAGRAM TRANSISI

p12
p11 p22

1 2
p21

p13
p32

p23

p31 3

p33

24
MATRIKS PROBABILITAS

 p11 p12 p13 

P   p 21 p 22 p 23 
 p31 p32 p33 

25
 TRANSISI DUA KALI

2
State

0
1 2
Time

26
 MATRIKS TRANSISI Dua Kali(1)

       
P X 0  1  X 2  1  P X 0  1  X1  1  X 2  1  P X 0  1  X1  2  X 2  1  P X 0  1  X1  3  X 2  1

P  X 0  1  X 1  3  X 2  1  P  X 0  1  X 1  3 P  X 1  3  X 2  1  p13P  X 1  3  X 2  1

P  X 0  1  X 1  3  X 2  1  p13 p31
P  X 0  1  X 2  1  p11 p11  p12 p 21  p13 p31
P  X 0  1  X 2  2  p11 p12  p12 p22  p13 p32
Perkalian
Matriks
P  X 0  1  X 2  3  p11 p13  p12 p23  p13 p33

27
MATRIKS TRANSISI – tingkat n
 p11( 2 ) p12( 2 ) p13( 2 ) 
 ( 2) ( 2) 
P ( 2)   p 21 ( 2)
p 22 p 23 
 p31
( 2) ( 2)
p32 ( 2) 
p33 

P11( 2 )  p11 p11  p12 p 21  p13 p31
P(2) = PP = P2
P11( 3)  p11( 2 ) p11  p12
( 2)
p 21  p13
( 2)
p31

P (3) = P(2)P
P(n) = P(n-1) P
p(5) = p(0)P(5)
p(n) = p(0)P(n)
28
 CONTOH SOAL

1/2
1/3

1 2
1/3

1/2
1/3

1/3

2/3 3

29
MATRIKS TRANSISI TAHAP LEBIH TINGGI
Misalkan bahwa taksi memiliki peluang yang sama untuk
memulai perjalanan dari 3 state, atau :
p ( 0 )   0.333 0.333 0.333
0.500 0.333 0.167 
p ( 2)  p ( 0)P ( 2)   0.333 0.333 0.333 0.333 0.389 0.278    0.315 0.389 0.296
 0.111 0.444 0.444 

0.222 0.417 0.361 0.380 0.370 0.250

P ( 3)  0.315 0.389 0.296 P ( 4)  0.327 0.386 0.287 
0.444 0.352 0.204 0.253 0.407 0.340

 0.341 0.382 0.277

0.290 0.397 0.313
P (6)  0.324 0.387 0.289
P (5)
 0.320 0.388 0.292
0.300 0.394 0.306
0.362 0.376 0.262
31
ASUMSI DALAM PROSES RANDOM
1. Asumsi Markov (Pelupa-Forgetfull)
Yaitu setiap kejadian (event) independen dari kejadian
sebelum dan sesudahnya. Kejadian sebelumnya tidak
akan mempengaruhi kejadian saat ini, dan kejadian saat
ini tidak akan mempengaruhi kejadian pada masa
mendatang.

2. Asumsi Stasionaritas (Stationarity)

Yaitu adanya stabilitas untuk selang waktu panjang.
Dalam hal ini probabilitas suatu kejadian untuk jangka
panjang adalah tetap. Misalnya jumlah perjalanan ke
bandara untuk jangka panjang adalah stabil (tetap).
32
PERSAMAAN CHAPMAN-KOLMOGOROV

P (n) = P(n-1)P

P (n) = P(n-m)P(m)

p (n) = p (0) P (n)

33
See you next week
Tugas :
• Industri personal komputer merupakan industri yang mengalami
pergerakan sangat cepat dan teknologi menyediakan motivasi kepada
konsumen untuk mengganti komputer setiap tahunnya. Kepercayaan
merek sangat penting dan perusahaan-perusahaan mencoba segala
cara untuk menjaga agar konsumen menjadi puas. Bagaimanapun
juga, beberapa konsumen mencoba untuk mengganti dengan merek
yang lain (perusahaan lain).
• Tiga merek tertentu Doorway, Bell, Kumpaq yang meguasai pangsa
pasar. Orang yang memiliki komputer merek Doorway akan membeli
tipe Doorway yg lain 80% dan sisanya membeli 2 merek yang lain
dengan peluang sama besar. Pemilik komputer Bell akan membeli
Bell lagi 90% dari waktu sementara itu 5% akan membeli Doorway
dan 5% akan membeli Kumpaq. Sekitar 70% pemilik Kumpaq akan
membeli Kumpaq, 20% akan membeli Doorway.
• Tiap merk memiliki 300.000 konsumen yang berencana untuk
membeli sebuah komputer baru pada tahun depan, berapa banyak
komputer dari tiap tipe akan dibeli ?