MARKOV CHAINS

MAKALAH MODEL STOKASTIK

Diajukan untuk Memenuhi Persyaratan Akademik Mata Kuliah Model Stokastik
Pada Program Studi Teknik Industri Fakultas Teknik Universitas Widyatama
Oleh:
Kelompok 6
Teguh Prasetyo

0514104024

Ricky Maulana Soepian

0514104026

Poppy Oktavia

0514104030

Zuleha Nur Alifah

0514104032

Siti Nurjanah

051304022

PROGRAM STUDI TEKNIK INDUSTRI

FAKULTAS TEKNIK
UNIVERSITAS WIDYATAMA
BANDUNG
SK Ketua Badan Akreditasi Nasional PerguruanTinggi (BAN-PT)
Nomor: 112/SK/BAN-PT/Akred/S/III/2015
2016

BAB I
PENDAHULUAN
1.1 LATAR BELAKANG
Sebagian besar penelitian

probabilitas

menangani

proses

percobaan

independen, ini merupakan proses dasar teori probabilitas klasik dan

mengarah ke statistik. Kita telah melihat bahwa ketika urutan eksperimen
membentuk independen maka hasil yang mungkin untuk setiap percobaan
adalah sama dan

terjadi dengan probabilitas yang sama.

Lebih lanjut,

pengetahuan dari hasil percobaan sebelumnya tidak mempengaruhi hasil

berikutnya percobaan. Teori probabilitas modern memungkinkan mengetahui
pengaruh hasil sebelumnya untuk memprediksi hasil percobaan selanjutnya.
Prinsipnya, ketika kita mengamati rangkaian probabilitas percobaan, semua
hasil masa lalu bisa mempengaruhi prediksi untuk percobaan berikutnya.
Oleh karena itu dalam makalah ini akan menjelaskan lebih jauh tentang teori
tersebut, yaitu proses Markov berupa Markov Chain dan penerapan teori
tersebut.
Markov Chain sebagai suatu teknik matematika yang biasa digunakan untuk
melakukan pembuatan model bermacam-macam sistem dan proses bisnis.
Rantai Markov merupakan penerapan baru program dinamis terhadap
pemecahan masalah suatu proses stokastik yang dapat dijelaskan oleh
sejumlah keadaan yang terbatas. Teknik ini dapat digunakan untuk
memperkirakan perubahan-perubahan yang akan terjadi di waktu yang akan
datang dalam peubah-peubah dinamis atas dasar perubahan-perubahan dari
peubah-peubah dinamis tersebut di masa lalu.
Sebagai suatu alat dalam riset operasi untuk mengambil keputusan manajerial,
rantai Markov telah banyak digunakan untuk menganalisis tentang
perpindahan merk dalam pemasaran, penghitung rekening, jasa penyewaan,
rencana penjualan, masalah persediaan, peremajaan pengelolaan aliran uang,
pengaturan kapasitas penampang air dan sebagainya.
1.2 RUMUSAN MASALAH
Dari latar belakang diatas dibuat beberapa rumusan masalah yang akan
dibahas sebagai berikut:

1. Apa itu model Markov Chain?

2. Bagimana contoh soal dan pembahasan penyelesaian dari aplikasi
perhitungan Markov Chain?
1.3 TUJUAN
Dari rumusan masalah yang dikemukakan diatas, penulisan makalah ini
bertujuan untuk:
1. Menjelaskan apa itu Markov Chain.
2. Menjelaskan contoh soal dan pembahasan penyelesaian dari aplikasi
perhitungan Markov Chain.
3.

BAB II
ISI
2.1 TEORI
Rantai Markov (Markov Chains) adalah suatu teknik matematika yang biasa
digunakan untuk melakukan pemodelan (modelling) bermacam-macam
sistem dan proses bisnis. Teknik ini dapat digunakan untuk memperkirakan
perubahan-perubahan di waktu yang akan datang dalam variabel-variabel
dinamis atas dasar perubahan-perubahan dari variabel-variabel dinamis
tersebut di waktu yang lalu. Teknik ini dapat digunakan juga untuk
menganalisis kejadian-kejadian di waktu-waktu mendatang secara matematis.
Model Rantai Markov ditemukan oleh seorang ahli Rusia yang bernama A.A.
Markov pada tahun 1906, yaitu:
Untuk setiap waktu t, ketika kejadian adalah K t dan seluruh kejadian
sebelumnya adalah Kt(j), ... , Kt(j-n) yang terjadi dari proses yang diketahui,
probabilitas seluruh kejadian yang akan datang Kt(j) hanya bergantung pada
kejadian Kt(j-1) dan tidak bergantung pada kejadian-kejadian sebelumnya yaitu
Kt(j-2), Kt(j-3),..., Kt(j-n).
Gambaran mengenai rantai Markov ini kemudian dituangkan dalam Gambar
1 dimana gerakan-gerakan dari beberapa variabel di masa yang akan datang
bisa diprediksi berdasarkan gerakan-gerakan variabel tersebut pada masa lalu.
Kt4 dipengaruhi oleh kejadian Kt3, Kt3 dipengaruhi oleh kejadian Kt2 dan
demikian seterusnya dimana perubahan ini terjadi karena peranan probabilitas
transisi (transition probability). Kejadian Kt2 misalnya, tidak akan
mempengaruhi kejadian Kt4.

Gambar 1 Peristiwa dalam Rantai Markov

Kejadian-kejadian di atas sifatnya berantai. Oleh karena itu, teori ini dikenal
dengan nama Rantai Markov. Dengan demikian, Rantai Markov akan
menjelaskan gerakan-gerakan beberapa variabel dalam satu periode waktu di
masa yang akan datang berdasarkan pada gerakan-gerakan variabel tersebut
di masa kini. Secara matematis dapat ditulis:
Kt(j) = P x Kt(j-1)
dimana,
Kt(j) = peluang kejadian pada t(j)
P = Probabilitas Transisional
t(j) = waktu ke-j
Peluang kejadian Kt(j) dinyatakan ke dalam bentuk vektor sehingga jumlah
seluruh selnya akan selalu 100%.
Informasi yang dihasilkan tidak mutlak menjadi suatu keputusan, karena
sifatnya yang hanya memberikan bantuan dalam proses pengambilan
keputusan.
Langkah langkah Penyelesaian Permasalahan Markov Chain:
1. Buatlah matriks transisi dari probabilitas yang diketahui.
Keadaan transisi adalah perubahan dari suatu keadaan (status) ke keadaan
(status) lainnya pada periode berikutnya. Keadaan transisi ini merupakan
suatu proses random dan dinyatakan dalam bentuk probabilitas.
Probabilitas ini dikenal sebagai probabilitas transisi. Probabilitas ini
dapat digunakan untuk menentukan probabilitas keadaan atau periode
berikutnya.
2. Menghitung probabilitas untuk waktu yang akan datang.
Dengan diketahui {aj(0)} dan P dari sebuah rantai Markov, probabilitas
absolut dari sistem tersebut setelah sejumlah transisi tertentu ditentukan
sebagai berikut. Anggaplah {aj(0)} adalah probabilitas absolut dari sistem
tersebut setelah n transisi, yaitu pada saat tn. Ekspresi umum dari {a j(0)}
dalam bentuk {aj(0)} dan P dapat ditemukan sebagai berikut.

aj(1) = a1(0) P1j + a2(0) P2j + a3(0) P3j + ... = ai(0) Pij
Rumusnya:
a j(n) = ai(0 ) ( Pik (n1) P kj)= ai( 0) P ij(n )
i

dimana Pij(n)adalah probabilitas transisi n langkah atau order n, yaitu

probabilitas untuk bergerak dari keadaan k ke keadaan j dalam tepat n
transisi.
Pij(n)= Pik (n1 ) Pkj
k

Secara umum, untuk semua i dan j

Pij(n)= Pik (nm ) P kj(m) , 0<m<n
k

Persamaan diatas dikenal sebagai persamaan Chapman-Kolmogorov.

Elemen-elemen dan matriks transisi yang lebih tinggi ||P ij(n)|| dapat
diperoleh secara langsung dengan perkalian matriks. Jadi
||Pij(2)|| = ||Pij|| x ||Pij|| = P2
||Pij(3)|| = ||Pij 2|| x ||Pij|| = P3
dan secara umum,
||Pij(n) || = Pn-1 P = Pn
Jadi, jika probabilitas absolut didefinisikan dalam bentuk vektor sebagai
a(n) = {a1(n), a2(n), a3(n),...} Maka
a(n) = a(0) Pn

Keadaan Steady State dan Probabilitasnya

Dalam banyak kasus, proses markov akan menuju pada Steady State
(keseimbangan) artinya setelah proses berjalan selama beberapa periode,
probabilitas yang dihasilkan akan bernilai tetap, dan probabilitas ini
dinamakan Probabilitas Steady State.

2.2 CONTOH SOAL DAN PEMBAHASAN

Pada suatu daerah, penggunaan KB Suntik saat ini diketahui 10%
dibandingkan alat kontrasepsi lain. Setelah diadakan kampanye penggunaan
KB suntik, ternyata diperoleh data bahwa jika seseorang menggunakan KB
suntik, maka probabilitas ia tetap menggunakan KB suntik sebesar 0,8.
Namun sebaliknya, jika sebelumnya ia menggunakan KB lain, probabilitas ia

beralih ke KB sunti sebesar 0,6. Tentukan persentase pendekatan

probabilitasnya.
Jawaban:
Langkah 1: Membuat matriks transisi dari probabilitas yang diketahui.
Setiap pengguna alat kontrasepsi akan dibagi menjadi 2 state:
A = menggunakan KB Suntik
A = Menggunakan kontrasepsi lain
Matrik Probabilitas transisi:
A
P=

A'

A 0.8 0.2
A ' 0.6 0.4

Matrik inisiasi diberikan dalam matriks transisi:

(0)

a =[0.1 0.9]
Langkah 2: Menghitung probabilitas untuk waktu yang akan datang.
Probabilitas untuk periode ke-1:
a(1) = a(0) P(1)
a(1) =

[ 0.1 0.9 ] 0.8 0.2

0.6 0.4

[ 0.62 0.38 ]
Ini berarti setelah diadakan kampanye, probabilitas pengguna KB suntik
meningkat dari 10% menjadi 62%.
Probabilitas untuk periode ke-2:

P(2) = P(1) x P(1)

P(1) =

][

0.8 0.2
0.8 0.2

0.6 0.4
0.6 0.4

0.76 0.24
0.72 0.28

a(2) = a(0) P(2)

a(2) =

[ 0.1 0.9 ] 0.76 0.24

0.72 0.28

[ 0.724 0.276 ]
Probabilitas untuk periode ke-3:
a(3) =

[ 0.749 0.251 ]

Probabilitas untuk periode ke-4:

a(4) =

[ 0.75 0.25 ]

Probabilitas untuk periode ke-5:

a(5) =

[ 0.75 0.25 ]

Dari perhitungan diatas terlihat bahwa perubahan probabilitas semakin lama

semakin mengecil sampai akhirnya tidak tampak adanya perubahan.
Probabilitas tersebut tercapai mulai dari periode 4, dengan probabilitas status:
(A(4) A(4)) = (0.75 0.25)
ini berarti dapat ditarik kesimpulan bahwa jika dilakukan kampanye
penggunaan KB suntik, setelah beberapa periode dimasa depan probabilitas
penggunaan KB suntik adalah sebesar 0.75 dan penggunaan alat kontrasepsi
lain adalah 0.25 dimulai dari periode ke-4.

Untuk mencari probabilitas steady state dari matrik transisinya, dapa

digunakan rumus:
(Ai Ai) = (Ai Ai) x Matriks probabilitas transisi
Karena pada saat steady state tercapau periode tidak akan mempengaruhi
perhitungan, maka i bisa dihilangkan.
(A A) = (A A) x Matriks probabilitas transisi

A '=[ A

A ']

0.8 0.2
0.6 0.4

Dari perhitungan diatas diperoleh persamaan:

A = 0.8A + 0.6A
A = 0.2A + 0.4A
A + A = 1 A = 1 A
Subtitusi persamaan:
A = 0.8A + 0.6A
A = 0.8A + 0.6(1-A)
A = 0.8A + 0.6 - 0.6A
A = 0.2A + 0.6
0.8A = 0.6
A = 0.75
A = 1-A
A = 1 0.75 = 0.25
Dari perhitungan steady state diatas dapat disimpulkan bahwa setelah
diadakan kampanye penggunaan KB suntik dapat diperoleh peningkatan
penggunaan KB suntik dari 10% ke 75%.

BAB III
PENUTUP
3.1 KESIMPULAN
Berdasarkan semua penjelasan tentang Rantai Markov sebagai ilmu
probabilitas, maka dapat disimpulkan bahwa Rantai Markov merupakan suatu
bagian dari ilmu probabilitas. Teori ini sangat berguna untuk memprediksi
kejadian yang akan terjadi dengan hanya melihat kondisi saat ini tanpa
mempedulikan kondisi masa lalu.
Aplikasi dari Rantai Markov ini banyak sekali ditemukan dalam kehidupan
kita sehari-hari tanpa kita sadari. Teori ini bisa digunakan untuk menganalisis
perpindahan merk yang dilakukan oleh konsumen, kebiasaan seseorang untuk
browsing dalam jaringan internet, permainan ular tangga, dan juga dalam
memprediksi kondisi cuaca.
Rantai Markov ini sangat erat kaitannya dengan ilmu probabilitas. Sehingga
teori ini sangat penting untuk dikembangkan untuk membantu setiap orang
untuk mengambil sebuah keputusan. Meskipun hanya bisa membantu untuk
mendeskripsikan, tidak bisa untuk mengambil keputusan yang sebenarnya.
3.2 SARAN
Dalam penyelesaian berbagai aplikasi dari masalah Markov Chain ini
sebaiknya

memahami

terlebih

dahulu

mengenai

metode-metode

penyelesaiannya agar tidak terjadi kesalahan pemakaian metode. Selain itu,

pengerjaan harap dilakukan dengan teliti.

10