MARKOV CHAINS

MAKALAH MODEL STOKASTIK

Diajukan untuk Memenuhi Persyaratan Akademik Mata Kuliah Model Stokastik
Pada Program Studi Teknik Industri Fakultas Teknik Universitas Widyatama
Oleh:
Kelompok 6
Teguh Prasetyo

0514104024

Ricky Maulana Soepian

0514104026

Poppy Oktavia

0514104030

Zuleha Nur Alifah

0514104032

Siti Nurjanah

051304022

PROGRAM STUDI TEKNIK INDUSTRI

FAKULTAS TEKNIK
UNIVERSITAS WIDYATAMA
BANDUNG
SK Ketua Badan Akreditasi Nasional PerguruanTinggi (BAN-PT)
Nomor: 112/SK/BAN-PT/Akred/S/III/2015
2016

BAB I
PENDAHULUAN
1.1 LATAR BELAKANG
Sebagian besar penelitian

probabilitas

menangani

proses

percobaan

independen, ini merupakan proses dasar teori probabilitas klasik dan

mengarah ke statistik. Kita telah melihat bahwa ketika urutan eksperimen
membentuk independen maka hasil yang mungkin untuk setiap percobaan
adalah sama dan

terjadi dengan probabilitas yang sama.

Lebih lanjut,

pengetahuan dari hasil percobaan sebelumnya tidak mempengaruhi hasil

berikutnya percobaan. Teori probabilitas modern memungkinkan mengetahui
pengaruh hasil sebelumnya untuk memprediksi hasil percobaan selanjutnya.
Prinsipnya, ketika kita mengamati rangkaian probabilitas percobaan, semua
hasil masa lalu bisa mempengaruhi prediksi untuk percobaan berikutnya.
Oleh karena itu dalam makalah ini akan menjelaskan lebih jauh tentang teori
tersebut, yaitu proses Markov berupa Markov Chain dan penerapan teori
tersebut.
Markov Chain sebagai suatu teknik matematika yang biasa digunakan untuk
melakukan pembuatan model bermacam-macam sistem dan proses bisnis.
Rantai Markov merupakan penerapan baru program dinamis terhadap
pemecahan masalah suatu proses stokastik yang dapat dijelaskan oleh
sejumlah keadaan yang terbatas. Teknik ini dapat digunakan untuk
memperkirakan perubahan-perubahan yang akan terjadi di waktu yang akan
datang dalam peubah-peubah dinamis atas dasar perubahan-perubahan dari
peubah-peubah dinamis tersebut di masa lalu.
Sebagai suatu alat dalam riset operasi untuk mengambil keputusan manajerial,
rantai Markov telah banyak digunakan untuk menganalisis tentang
perpindahan merk dalam pemasaran, penghitung rekening, jasa penyewaan,
rencana penjualan, masalah persediaan, peremajaan pengelolaan aliran uang,
pengaturan kapasitas penampang air dan sebagainya.
1.2 RUMUSAN MASALAH
Dari latar belakang diatas dibuat beberapa rumusan masalah yang akan
dibahas sebagai berikut:

1. Apa itu model Markov Chain?

2. Bagimana contoh soal dan pembahasan penyelesaian dari aplikasi
perhitungan Markov Chain?
1.3 TUJUAN
Dari rumusan masalah yang dikemukakan diatas, penulisan makalah ini
bertujuan untuk:
1. Menjelaskan apa itu Markov Chain.
2. Menjelaskan contoh soal dan pembahasan penyelesaian dari aplikasi
perhitungan Markov Chain.
3.

BAB II
ISI
2.1 TEORI
Rantai Markov (Markov Chains) adalah suatu teknik matematika yang biasa
digunakan untuk melakukan pemodelan (modelling) bermacam-macam
sistem dan proses bisnis. Teknik ini dapat digunakan untuk memperkirakan
perubahan-perubahan di waktu yang akan datang dalam variabel-variabel
dinamis atas dasar perubahan-perubahan dari variabel-variabel dinamis
tersebut di waktu yang lalu. Teknik ini dapat digunakan juga untuk
menganalisis kejadian-kejadian di waktu-waktu mendatang secara matematis.
Model Rantai Markov ditemukan oleh seorang ahli Rusia yang bernama A.A.
Markov pada tahun 1906, yaitu:
Untuk setiap waktu t, ketika kejadian adalah K t dan seluruh kejadian
sebelumnya adalah Kt(j), ... , Kt(j-n) yang terjadi dari proses yang diketahui,
probabilitas seluruh kejadian yang akan datang Kt(j) hanya bergantung pada
kejadian Kt(j-1) dan tidak bergantung pada kejadian-kejadian sebelumnya yaitu
Kt(j-2), Kt(j-3),..., Kt(j-n).
Gambaran mengenai rantai Markov ini kemudian dituangkan dalam Gambar
1 dimana gerakan-gerakan dari beberapa variabel di masa yang akan datang
bisa diprediksi berdasarkan gerakan-gerakan variabel tersebut pada masa lalu.
Kt4 dipengaruhi oleh kejadian Kt3, Kt3 dipengaruhi oleh kejadian Kt2 dan
demikian seterusnya dimana perubahan ini terjadi karena peranan probabilitas
transisi (transition probability). Kejadian Kt2 misalnya, tidak akan
mempengaruhi kejadian Kt4.

Gambar 1 Peristiwa dalam Rantai Markov

Kejadian-kejadian di atas sifatnya berantai. Oleh karena itu, teori ini dikenal
dengan nama Rantai Markov. Dengan demikian, Rantai Markov akan
menjelaskan gerakan-gerakan beberapa variabel dalam satu periode waktu di
masa yang akan datang berdasarkan pada gerakan-gerakan variabel tersebut
di masa kini. Secara matematis dapat ditulis:
Kt(j) = P x Kt(j-1)
dimana,
Kt(j) = peluang kejadian pada t(j)
P = Probabilitas Transisional
t(j) = waktu ke-j
Peluang kejadian Kt(j) dinyatakan ke dalam bentuk vektor sehingga jumlah
seluruh selnya akan selalu 100%.
Informasi yang dihasilkan tidak mutlak menjadi suatu keputusan, karena
sifatnya yang hanya memberikan bantuan dalam proses pengambilan
keputusan.
Langkah langkah Penyelesaian Permasalahan Markov Chain:
1. Buatlah matriks transisi dari probabilitas yang diketahui.
Keadaan transisi adalah perubahan dari suatu keadaan (status) ke keadaan
(status) lainnya pada periode berikutnya. Keadaan transisi ini merupakan
suatu proses random dan dinyatakan dalam bentuk probabilitas.
Probabilitas ini dikenal sebagai probabilitas transisi. Probabilitas ini
dapat digunakan untuk menentukan probabilitas keadaan atau periode
berikutnya.
Suatu proses stokastik {Xt} dikatakan memiliki sifat markov jika :
P{Xt+1 = j X0 = k0, X1 = k1, ... Xt-1 = kt-1, Xt = I} = P{Xt+1 = j Xt = i}
Untuk t = 0,1, ... dan untuk tiap i, j, k0, k1, ...., kt-1.
Sifat markov ini dikatakan sebagai berikut :
Bahwa probabilitas bersyarat dari kejadian di masa mendatang, jika
diketahui kejadian dimasa lalu dan kondisi saat ini Xt = i, adalah tidak

tergantung pada masa lalu dan hanya tergantung pada kondisi dari proses
saat ini
Probabilitas bersyarat P{Xt+1 = j | Xt = i} dikatakan sebagai probabilitas
transisi.
Jika untuk setiap i dan j :
P{Xt+1 = j | Xt = i} = P{X1 = j | X0 = i}, untuk semua t = 0, 1, .....
maka probabilitas transisi (1 langkah) dikatakan stasioner, (probabilitas
transisi tidak berubah terhadap waktu) dinotasikan dengan Pij.
Jika untuk setian i dan j :
P{Xt+1 = j | Xt = i} = P{Xn = j | X0 = i}, untuk semua t = 0, 1, .....
Probabilitas bersyarat ini dinotasikan dengan Pij(n) dan disebut sebagai
probabilitas transisi n-langkah.
Pij(n) : probabilitas bersyarat dimana peubah acak X, dimulai dari state i,
akan
berapa pada state j setelah tepat n langkah (unit waktu).
karena Pij(n) adalah probabilitas bersyarat maka harus memenuhi sifatsifat :
Pij(n) 0 i dan j, n = 0,1,2,... (sifat ketidaknegatifan)
m

P(n)
ij =1 i dan j n=0,1, 2

(jumlahan dari probabilitas =1)

j=1

Matriks transisi n langkah :

2. Menghitung probabilitas untuk waktu yang akan datang.

Dengan diketahui {aj(0)} dan P dari sebuah rantai Markov, probabilitas
absolut dari sistem tersebut setelah sejumlah transisi tertentu ditentukan
sebagai berikut. Anggaplah {aj(0)} adalah probabilitas absolut dari sistem
tersebut setelah n transisi, yaitu pada saat tn. Ekspresi umum dari {a j(0)}
dalam bentuk {aj(0)} dan P dapat ditemukan sebagai berikut.
aj(1) = a1(0) P1j + a2(0) P2j + a3(0) P3j + ... = ai(0) Pij
Rumusnya:

a j = ai ( Pik
(n)

(0 )

( n1)

( 0)

P kj)= ai P ij

(n )

dimana Pij(n)adalah probabilitas transisi n langkah atau order n, yaitu

probabilitas untuk bergerak dari keadaan k ke keadaan j dalam tepat n
transisi.
Pij(n)= Pik (n1 ) Pkj
k

Secara umum, untuk semua i dan j

Pij = Pik
(n)

( nm )

(m)

P kj , 0<m<n

Persamaan diatas dikenal sebagai persamaan Chapman-Kolmogorov.

Elemen-elemen dan matriks transisi yang lebih tinggi ||P ij(n)|| dapat
diperoleh secara langsung dengan perkalian matriks. Jadi
||Pij(2)|| = ||Pij|| x ||Pij|| = P2
||Pij(3)|| = ||Pij 2|| x ||Pij|| = P3
dan secara umum,
||Pij(n) || = Pn-1 P = Pn
Jadi, jika probabilitas absolut didefinisikan dalam bentuk vektor sebagai
a(n) = {a1(n), a2(n), a3(n),...} Maka
a(n) = a(0) Pn

Keadaan Steady State dan Probabilitasnya

Dalam banyak kasus, proses markov akan menuju pada Steady State
(keseimbangan) artinya setelah proses berjalan selama beberapa periode,
probabilitas yang dihasilkan akan bernilai tetap, dan probabilitas ini
dinamakan Probabilitas Steady State.

2.2 CONTOH SOAL DAN PEMBAHASAN

1. Kegiatan pemilihan merek dan peramalan probabilitas transisi yang
kemungkinan dilakukan para konsumen, yaitu pergantian dari satu merek
ke merek lain. Anggapan bahwa sampel konsumen terdiri dari kombinasi
1000 responden yang tersebar pada 4 merek, A, B, C, dan D. Anggapan
selanjutnya adalah bahwa sampel tersebut telah mewakili keseluruhan
kelompok dalam kesetiaanya terhadap suatu merek dan pola pergantian
dari satu merek ke merek lain. Konsumen berpindah dari satu merek ke

merek

lain

dapat

karena

periklanan,

promosi

khusus,

harga,

ketidakpuasan, dan lain-lain.

Dalam Tabel 1, sebagian besar pelanggan yang mula-mula membeli merek
A, tetap memilih merek tersebut pada periode kedua. Meskipun demikian,
ada 50 konsumen tambahan dibanding 45 konsumen yang berpindah dari
merek A ke merek-merek lain.

Market Share untuk merek A, B, C, dan D sekarang adalah 22, 30, 23, dan
25 persen untuk periode pertama. Manajemen akan memperoleh manfaat
bila mereka mengetahui berapa market sharenya di periode waktu yang
akan datang.
Jawaban:
Langkah 1: Membuat matriks transisi dari probabilitas yang diketahui.
Matrik perpindahan pelanggan:

Perhitungan matriks probabilitas transisi:

Matriks probabilitas transisi (P):

Matriks market share {aj(0)}:

A B C D
=[ 0.22 0.30 0.23 0.25 ]
[ 22 30 23 25 ]
Langkah 2: Menghitung probabilitas untuk waktu yang akan datang.
Probabilitas untuk periode ke-1:
a(1) = a(0) P(1)

0.796
0.091
a(1) = [ 0.22 0.30 0.23 0.25 ]
0.046
0.067

0.133
0.767
0.017
0.083

0.000
0.109
0.891
0.000

0.040
0.060
0.040
0.860

[ 0.230 0.284 0.238 0.251 ]

Jadi pada periode ke-1 market share untuk masing-masing merk adalah:

Merek A = 23%
Merek B = 28.4%
Merek C = 23.8%
Merek D = 25.1%
Probabilitas untuk periode ke-2:
P(2) = P(1) x P(1)

P(2) =

0.796
0.091
0.046
0.067

0.648
0.151

0.082
0.119

0.133
0.767
0.017
0.083

0.211
0.607
0.038
0.144

0.000
0.109
0.891
0.000

0.014
0.181
0.796
0.009

][

0.040
0.796 0.133
0.060
0.091 0.767

0.040
0.046 0.017
0.860
0.067 0.083

0.074
0.106
0.073
0.747

0.000
0.109
0.891
0.000

0.040
0.060
0.040
0.860

a(2) = a(0) P(2)

0.648
0.151
a(2) = [ 0.22 0.30 0.23 0.25 ]
0.082
0.119

0.211
0.607
0.038
0.144

0.014
0.181
0.796
0.009

0.074
0.106
0.073
0.747

[ 0.241 0.266 0.246 0.252 ]

Jadi pada periode ke-2 market share untuk masing-masing merk adalah:
Merek A = 24.1%
Merek B = 26.6%
Merek C = 24.6%
Merek D = 25.2%
Probabilitas untuk periode ke-8:
P(4) = P(2) x P(2)

P(4) =

0.648
0.151
0.082
0.119

0.462
0.217

0.133
0.188

0.211
0.607
0.038
0.144

0.276
0.423
0.081
0.220

0.014
0.181
0.796
0.009

0.060
0.257
0.642
0.042

][

0.014
0.181
0.796
0.009

0.074
0.106
0.073
0.747

][

0.060
0.257
0.642
0.042

0.127
0.167
0.123
0.583

0.074
0.648 0.211
0.106
0.151 0.607

0.073
0.082 0.038
0.747
0.119 0.144

0.127
0.167
0.123
0.583

P(8) = P(4) x P(4)

P(8) =

0.462
0.217
0.133
0.188

0.306
0.258

0.187
0.250

0.276
0.423
0.081
0.220

0.277
0.296
0.149
0.277

0.060
0.257
0.642
0.042

0.142
0.293
0446
0.119

0.127
0.462 0.276
0.167
0.217 0.423

0.123
0.133 0.081
0.583
0.188 0.220

0.186
0.227
0.180
0.406

a(8) = a(0) P(8)

0.306
0.258
a(8) = [ 0.22 0.30 0.23 0.25 ]
0.187
0.250

0.277
0.296
0.149
0.277

0.142
0.293
0.446
0.119

0.186
0.227
0.180
0.406

[ 0.251 0.253 0.252 0.252 ]

Jadi pada periode ke-8 market share untuk masing-masing merk adalah:
Merek A = 25.1%
Merek B = 25.3%
Merek C = 25.2%
Merek D = 25.2%

10

2. Pada suatu daerah, penggunaan KB Suntik saat ini diketahui 10%

dibandingkan alat kontrasepsi lain. Setelah diadakan kampanye
penggunaan KB suntik, ternyata diperoleh data bahwa jika seseorang
menggunakan KB suntik, maka probabilitas ia tetap menggunakan KB
suntik sebesar 0,8. Namun sebaliknya, jika sebelumnya ia menggunakan
KB lain, probabilitas ia beralih ke KB sunti sebesar 0,6. Tentukan
persentase pendekatan probabilitasnya.
Jawaban:
Langkah 1: Membuat matriks transisi dari probabilitas yang diketahui.
Setiap pengguna alat kontrasepsi akan dibagi menjadi 2 state:
A = menggunakan KB Suntik
A = Menggunakan kontrasepsi lain
Matrik Probabilitas transisi:
A
P=

A'

A 0.8 0.2
A ' 0.6 0.4

Matrik inisiasi diberikan dalam matriks transisi:

a(0)=[0.1 0.9]
Langkah 2: Menghitung probabilitas untuk waktu yang akan datang.
Probabilitas untuk periode ke-1:
a(1) = a(0) P(1)
a(1) =

[ 0.1 0.9 ] 0.8 0.2

0.6 0.4

[ 0.62 0.38 ]
Ini berarti setelah diadakan kampanye, probabilitas pengguna KB suntik
meningkat dari 10% menjadi 62%.

11

Probabilitas untuk periode ke-2:

P(2) = P(1) x P(1)

P(1) =

[
[

][
]

0.8 0.2
0.8 0.2

0.6 0.4
0.6 0.4

0.76 0.24
0.72 0.28

a(2) = a(0) P(2)

[ 0.1 0.9 ] 0.76 0.24

a(2) =

0.72 0.28

[ 0.724 0.276 ]
Probabilitas untuk periode ke-3:
a(3) =

[ 0.749 0.251 ]

Probabilitas untuk periode ke-4:

a(4) =

[ 0.75 0.25 ]

Probabilitas untuk periode ke-5:

a(5) =

[ 0.75 0.25 ]

Dari perhitungan diatas terlihat bahwa perubahan probabilitas semakin

lama semakin mengecil sampai akhirnya tidak tampak adanya perubahan.
Probabilitas tersebut tercapai mulai dari periode 4, dengan probabilitas
status:
(A(4) A(4)) = (0.75 0.25)
ini berarti dapat ditarik kesimpulan bahwa jika dilakukan kampanye
penggunaan KB suntik, setelah beberapa periode dimasa depan

12

probabilitas penggunaan KB suntik adalah sebesar 0.75 dan penggunaan

alat kontrasepsi lain adalah 0.25 dimulai dari periode ke-4.
Untuk mencari probabilitas steady state dari matrik transisinya, dapa
digunakan rumus:
(Ai Ai) = (Ai Ai) x Matriks probabilitas transisi
Karena pada saat steady state tercapau periode tidak akan mempengaruhi
perhitungan, maka i bisa dihilangkan.
(A A) = (A A) x Matriks probabilitas transisi

A ' =[ A

A ']

0.8 0.2
0.6 0.4

Dari perhitungan diatas diperoleh persamaan:

A = 0.8A + 0.6A
A = 0.2A + 0.4A
A + A = 1 A = 1 A
Subtitusi persamaan:
A = 0.8A + 0.6A
A = 0.8A + 0.6(1-A)
A = 0.8A + 0.6 - 0.6A
A = 0.2A + 0.6
0.8A = 0.6
A = 0.75
A = 1-A
A = 1 0.75 = 0.25
Dari perhitungan steady state diatas dapat disimpulkan bahwa setelah
diadakan kampanye penggunaan KB suntik dapat diperoleh peningkatan
penggunaan KB suntik dari 10% ke 75%.

13

14

BAB III
PENUTUP
3.1 KESIMPULAN
1. Berdasarkan semua penjelasan tentang Rantai Markov sebagai ilmu
probabilitas, maka dapat disimpulkan bahwa Rantai Markov merupakan
suatu bagian dari ilmu probabilitas. Teori ini sangat berguna untuk
memprediksi kejadian yang akan terjadi dengan hanya melihat kondisi saat
ini tanpa mempedulikan kondisi masa lalu.
2. Aplikasi dari Rantai Markov ini banyak sekali ditemukan dalam kehidupan
kita sehari-hari tanpa kita sadari. Teori ini bisa digunakan untuk
menganalisis perpindahan merk yang dilakukan oleh konsumen, kebiasaan
seseorang untuk browsing dalam jaringan internet, permainan ular tangga,
dan juga dalam memprediksi kondisi cuaca.
3. Rantai Markov ini sangat erat kaitannya dengan ilmu probabilitas.
Sehingga teori ini sangat penting untuk dikembangkan untuk membantu
setiap orang untuk mengambil sebuah keputusan. Meskipun hanya bisa
membantu untuk mendeskripsikan, tidak bisa untuk mengambil keputusan
yang sebenarnya.
4. Penyelesaian permasalahan rantai markov ini dilakukan dengan membuat
matriks transisi dari probabilitas yang diketahui kemudian menghitung
probabilitas untuk masa yang akan datang.
3.2 SARAN
Dalam penyelesaian berbagai aplikasi dari masalah Markov Chain ini
sebaiknya

memahami

terlebih

dahulu

mengenai

metode-metode

penyelesaiannya agar tidak terjadi kesalahan pemakaian metode. Selain itu,

pengerjaan harap dilakukan dengan teliti.

15