LABORATORI UM OPTIMASI DAN STATI STI K I NDUSTRI

MODUL 5 (RANTAI MARKOV)

RABU 1 / GROUP 4

BAB II
TINJAUAN PUSTAKA

2.1 Pengertian Rantai Markov
Model Proses Markov dikembangkan oleh seorang ahli Rusia bernama A.A.
Markov, pada tahun 1906. Rantai Markov (Markov Chains) adalah suatu teknik
matematika yang biasa digunakan untuk melakukan pembuatan model (modelling)
bermacam macam sistem dan proses bisnis. Teknik ini dapat digunakan untuk
memperkirakan perubahan perubahan diwaktu yang akan datang dalam variabel
variabel dinamis atas dasar perubahan perubahan dari variabel variabel
dinamis tersebut di waktu yang lalu. Teknik ini dapat juga digunakan untuk
menganalisa kejadian kejadian di waktu waktu mendatang secara sistematis.
Penerapan Proses Markov mula mula adalah pada ilmu ilmu
pengetahuan fisik dan meteorologi. Teknik ini mula mula digunakan untuk
menganalisa dan memperkirakan perilaku partikel pertikel gas dalam suatu
wadah (container) tertutup serta meramal keadaan cuaca. Sebagai suatu peralatan
riset operasi dalam pengambilam keputusan manajerial. Proses Markov telah
banyak diterapkan untuk menganalisa tentang perpindahan merek (brands
witching) dalam pemasaran, perhitungan rekening rekening, jasa jasa
persewaan mobil, perencanaan penjualan, masalah masalah persediaan,
pemeliharaan mesin, antrian, perubahan harga pasar saham, dan administrasi
rumah sakit. Semuanya ini hanya beberapa contoh aplikasi yang banyak dijumpai
sekarang.

LABORATORI UM OPTIMASI DAN STATI STI K I NDUSTRI
MODUL 5 (RANTAI MARKOV)
RABU 1 / GROUP 4

Proses stokastik X(t) adalah aturan untuk menentukan fungsi X(t, x) untuk
setiap . Jadi proses stokastik adalah keluarga fungsi waktu yang tergantung pada
parameter atau secara ekivalen fungsi t dan . X(t) adalah proses keadaan diskret
bila harga-harganya bulat. Bila tidak demikian X(t) adalah proses kontinu. Pada
tahun 1906, A.A. Markov seorang ahli matematika dari Rusia yang merupakan
murid Chebysev mengemukakan teori ketergantungan variabel acak proses acak
yang dikenal dengan proses Markov. Proses Markov adalah proses stokastik masa
lalu tidak mempunyai pengaruh pada masa yang akan datang bila masa sekarang
diketahui.
Untuk dapat menerapkan analisa rantai Markov kedalam suatu kasus, ada
beberapa syarat yang harus dipenuhi :
1. Jumlah probabilitas transisi untuk suatu keadaan awal dari system sama
dengan 1.
2. Probabilitas-probabilitas tersebut berlaku untuk semua partisipan dalam
system.
3. Probabilitas transisi konstan sepanjang waktu.
4. Kondisi merupakan kondisi yang independent sepanjang waktu.
Dalam realita, penerapan analisa Markov bias dibilang cukup terbatas
karena sulit menemukan masalah yang memenuhi semua sifat yang diperlukan
untuk analisa Markov, terutama persyaratan bahwa probabilitas transisi harus
konstan sepanjang waktu ( probabilitas transisi adalah probabilitas yang terjadi
dalam pergerakan perpindahan kondisi dalam system ).
Penerapan Proses Markov mula mula adalah pada ilmu ilmu
pengetahuan fisik dan meteorologi. Teknik ini mula mula digunakan untuk

LABORATORI UM OPTIMASI DAN STATI STI K I NDUSTRI
MODUL 5 (RANTAI MARKOV)
RABU 1 / GROUP 4

menganalisa dan memperkirakan perilaku partikel pertikel gas dalam suatu
wadah (container) tertutup serta meramal keadaan cuaca. Sebagai suatu peralatan
riset operasi dalam pengambilam keputusan manajerial. Proses Markov telah
banyak diterapkan untuk menganalisa tentang perpindahan merek (brands
witching) dalam pemasaran, perhitungan rekening rekening, jasa jasa
persewaan mobil, perencanaan penjualan, masalah masalah persediaan,
pemeliharaan mesin, antrian, perubahan harga pasar saham, dan administrasi
rumah sakit. Semuanya ini hanya beberapa contoh aplikasi yang banyak dijumpai
sekarang.Proses stokastik X(t) adalah aturan untuk menentukan fungsi X(t, x)
untuk setiap . Jadi proses stokastik adalah keluarga fungsi waktu yang tergantung
pada parameter atau secara ekivalen fungsi t dan . X(t) adalah proses keadaan
diskret bila harga-harganya bulat. Bila tidak demikian X(t) adalah proses kontinu.
Pada tahun 1906, A.A. Markov seorang ahli matematika dari Rusia yang
merupakan murid Chebysev mengemukakan teori ketergantungan variabel acak
proses acak yang dikenal dengan proses Markov.

2.2 Dasar Teori
- Model Rantai Markov
Ada beberapa prosedur dalam model rantai markov, antara lain :
1. Menyusun Matriks Probabilitas Transisi.
Untuk menggambarkan proses markov, akan disajikan suatu contoh masalah
tentang kegiatan kegiatan pemilihan merek dan peramalan probabilitas transisi
yang kemungkinan dilakukan para konsumen, yaitu pergantian dari satu merek ke
merek lain. Anggapan bahwa sampel konsumen terdiri dari kombinasi 1000

LABORATORI UM OPTIMASI DAN STATI STI K I NDUSTRI
MODUL 5 (RANTAI MARKOV)
RABU 1 / GROUP 4

responden yang tersebar pada 4 merek : A, B, C, D. Anggapan selanjutnya adalah
bahwa sampel tersebut telah mewakili keseluruhan kelompok dalam kesetiaannya
terhadap suatu merek dan pola pergantian dari satu merek ke merek lain.
Konsumen berpindah dari satu merek ke merek lain dapat karena pengiklanan,
promosi khusus, harga, ketidakpuasan, dan lain sebagainya.
Tabel 2.1 Pertukaran pertukaran pelanggan untuk satu tahun
Merek
Periode pertama
jumlah pelanggan
Perubahan selama periode Periode kedua
jumlah pelanggan Mendapatkan Kehilangan
A 220 50 45 225
B 300 60 70 290
C 230 25 25 230
D 250 40 35 255
1000 175 175 1000

Sebelum membicarakan komponen yang tidak berpindah (switching
component), perhatian dipusatkan pada hard core component atau kelompok
yang tidak berpindah merek. Ini memerlukan perhitungan Probabilitas Transisi
untuk keempat merek. Probabilitas Transisi didifinisikan sebagai probabilitas
suatu merek tertentu (penjual) akan tetap menguasai para pelanggannya.
Dari tabel diatas diuraikan pula, selain informasi tentang jumlah
kehilangan ke merek para pesaing juga informasi jumlah mendapatkan
langganan dari merek merek saingan. Meskipun kita memiliki informasi pola
perpindahan merek langganan dalam tabel, tetapi tidak ada perubahan dalam

LABORATORI UM OPTIMASI DAN STATI STI K I NDUSTRI
MODUL 5 (RANTAI MARKOV)
RABU 1 / GROUP 4

jumlah merek dan langganan total. Hal ini merupakan karakteristik dasar proses
proses Markov, yaitu serangkaian perubahan progresif dan saling ketergantungan.
First-Order dan Higher-Order Analisa Markov
Bagian sebelumnya membahas " hard core component " dan " switching
component " para pelanggan dalam hubungannya dengan suatu merek versus
merek merek lain. Anggapan dasar adalah bahwa para pelanggan tidak
mengubah dari satu merek ke merek lain secara acak, disamping itu mereka
membeli merek merek pada waktu yang akan datang yang mencerminkan
pilihan pilihan mereka yang dibuat diwaktu yang lalu.
Proses Markov dapat berbeda order. First-order hanya mempertimbangkan
pilihan pilihan merek yang dibuat selama suatu periode untuk penentuan
probabilitas pilihan dalam periode berikutnya. Second-order analisa Markov
menganggap pilihan pilihan untuk suatu merek tertentu dalam periode
berikutnya tergantung pada pilihan pilihan merek yang dibuat oleh para
pelanggan selama dua periode terakhir. Begitu juga untuk third-order, proses
Markov yang digunakan untuk meramal perilaku periode berikutnya terhadap
merek merek tertentu berdasarkan pola pemilihan merek para pelanggan selama
tiga periode terakhir.
Banyak riset pemasaran telah membuktikan bahwa penggunaaan anggapan
first-order untuk maksud maksud peramalan adalah valid.
2. Menghitung Kemungkinan Market Sharedi waktu yang akan datang
Manajemen akan memperoleh manfaat bila mereka mengetahui berapa
market share-nya di periode waktu yang akan datang. Perhitungan market share
yang mungkin untuk merek A, B, C, dan D dalam periode kedua dapat diperoleh

LABORATORI UM OPTIMASI DAN STATI STI K I NDUSTRI
MODUL 5 (RANTAI MARKOV)
RABU 1 / GROUP 4

dengan mengalikan matriks probabilitas transisi dengan market share pada
periode pertama.
Setelah pemecahan untuk periode kedua, periode ketiga dapat ditentukan
dengan dua cara. Metode pertama adalah kelanjutan pendekatan perhitungan
terdahulu, mengalihkan matriks probabilitas transisi mula mula dengan market
share periode kedua yang akan menghasilkan market share untuk periode ketiga.
Metode kedua adalah mengkuadratkan matriks probabilitas transisi untuk jumlah
periode yang diinginkan dan kemudian mengalikan matriks yang dihasilkan
dengan market share awal. Market share baru untuk periode ketiga dengan
mempergunakan metode metode tersebut ditunjukkan berikut ini.
a. Perhitungan Metode Pertama
Perkalian matriks digunakan lagi untuk mencari market share setiap merek.
Kelebihan dari metode ini adalah perubahan yang terjadi dari periode ke periode
dapat diamati. Bagaimanapun juga, manajemen mungkin memerlukan informasi
market share merek tertentu di waktu yang akan datang. Bila hal ini hanya
merupakan kasus, metode kedua akan lebih disukai. Metode ini pada dasarnya
menaikkan manfaat matriks probabilitas transisi sebagai cara untuk langsung
menunjukkan suatu jumlah periode di waktu yang akan datang.
b. Perhitungan Metode Kedua
Perkalian matriks digunakan lagi. Pengkuadratan matriks probabilitas
transisi berarti bahwa probabilitas baru pada "retention", mendapatkan, dan
kehilangan harus diperhitungkan. Matriks probabilitas transisi yang telah
dikuadratkan kemudian dikalikan dengan market share awal.
3. Menentukan Kondisi-Kondisi Ekuilibrium

LABORATORI UM OPTIMASI DAN STATI STI K I NDUSTRI
MODUL 5 (RANTAI MARKOV)
RABU 1 / GROUP 4

Kondisi ekuilibrium tercapai hanya bila tidak ada pesaing yang mengubah
matriks probabilitas transisi. Dalam keadaan ekuilibrium pertukaran para
pelanggan berkenaan dengan retention, mendapatkan, dan kehilangan akan
statik. Masalahnya, berapa besarnya market share ekuilibrium ?
Beberapa matriks probabilitas transisi dapat digunakan untuk
menggmbarkan kondisi kondisi ekuilibrium. Gambaran yang lebih umum terjadi
adalah bila tidak ada satu perusahaan pun yang mendapatkan terus seluruh
pelanggannya, yang berarti kondisi ekulibrium akhir tercapai berdasarkan matriks
probabilitas transisi yang tetap.
Penyelesaian Persamaan-Persamaan Secara Simultan
Sebuah perusahaan mempunyai dua pesaing dalam suatu segmen pasar dunia
bisnisnya. Suatu cara yang efektif untuk membuktikan bahwa telah tercapai
kondisi ekuilibrium adalah dengan mengalikan matriks probabilitas transisi
dengan market share ekuilibrium.
Penyelesaian dengan Determinan
Penyelesaian diatas kadang-kadang lebih mudah dengan menggunakan
determinan-determinan. Dengan menggunakan aturan Cramer untuk
menggembangkan suatu determinan, langkah pertama adalah mengembangkan
determinan pembilang dengan kolom pertamanya. Ingat bahwa dalam determinan
4 x 4 bila suatu baris dan kolaom dihilangkan, akan tetap ada determinan 3 x 3
dalam setiap masalah.
Analisa model Proses Markov telah berkembang penggunaannya sebagai
peralatan pengambilan keputusan manajemen dalam banyak bidang bisnis.
Beberapa aplikasi model Proses Markov yang banyak dijumpai sekarang ini

LABORATORI UM OPTIMASI DAN STATI STI K I NDUSTRI
MODUL 5 (RANTAI MARKOV)
RABU 1 / GROUP 4

mencakup model model kebijaksanaan pengendalian kredit optimal, perilaku
harga pasar saham, model keputusan persedian, penggantian mesin mesin,
scheduling penerimaan di rumah sakit dan program dinamis yang diterapkan pada
beberapa perusahaan manufacturing.

o Proses Markov
Sebuah proses Markov terdiri dari suatu himpunan obyek dan suatu
himpunan keadaan yang sedemikian rupa sehingga :
1. Pada sebarang waktu yang diketahui, tiap tiap obyek harus berada dalam
satu keadaan tertentu (obyek obyek yang berbeda tidak perlu berada
dalam keadaan yang berbeda).
2. Probabilitas untuk sebuah obyek berpindah atau transisi dari satu keadaan
ke keadaan lainnya (yang mungkin sama seperti keadaan pertama) dalam
satu selang waktu tertentu hanyalah bergantung pada kedua keadaan itu.
Bilangan bilangan bulat positif dari selang waktu setelah saat ketika proses
perpindahan dimulai menyatakan tahap tahap proses, yang jumlahnya dapat
berhingga atau tak berhingga. Jika jumlah keadaannya berhingga atau tak
berhingga dapat dibilang (countably infinite), maka proses markov yang
bersangkutan suatu rantai Markov (Markov chain). Suatu rantai Markov
berhingga adalah suatu rantai markov yang memiliki jumlah keadaan yang
berhingga.
Probabilitas untuk berpindah dari keadaan i ke keadaan j dalam satu selang
waktu dinyatakan dengan pij. Untuk suatu rantai Markov dengan N keadaan (Di
mana N adalah suatu bilangan bulat positif), maka matriks P = [pij] yang

LABORATORI UM OPTIMASI DAN STATI STI K I NDUSTRI
MODUL 5 (RANTAI MARKOV)
RABU 1 / GROUP 4

berukuran N N adalah matriks stokastik atau matriks transisi yang berkaitan
dengan proses itu. Jumlah nilai dari elemen elemen dalam tiap tiap baris
matriks P ini haruslah satu (syarat perlu). Setiap matriks stokastik memiliki satu
nilai eigen (eigen value) yang nilainya 1 (dapat pula berganda) dan nilai mutlak
dari nilai eigen yang lainnya tidak ada yang lebih besar daripada 1.

o Pangkat Dari Matriks Stokastik
Pangkat ke-n dari sebuah matriks P dengan P
n
[P
ij
(n)
]. Jika P adalah
matriks stokastik, maka P
ij
(n)
menyatakan probabilitas bahwa sebuah obyek
bertransisi dari keadaan i ke keadaan j dalam n-buah selang waktu. Dari sini kita
peroleh bahwa P
n
adalah juga suatu matriks stokastik.
proporsi dari obyek obyek dalam keadaan i pada akhir selang waktu ke-n
dengan x
i
(n)
dan dinamakan

X
(n)
[x
1
(n)
, x
2
(n)
, . . . ., x
N
(n)
]

Sebagai vektor distribusi untuk akhir dari selang waktu ke-n, maka

X
(0)
= [x
1
(0)
, x
2
(0)
, . . . ., x
N
(0)
]

Nyatakan proporsi dari obyek obyek dalam masing masing keadaan pada awal
proses. Hubungan antara X
(n)
dan X
(0)
diberikan oleh persamaan

X
(n)
= X
(0)
P
n

LABORATORI UM OPTIMASI DAN STATI STI K I NDUSTRI
MODUL 5 (RANTAI MARKOV)
RABU 1 / GROUP 4


Dalam menuliskan persamaan diatas secara implisit kita mengidentifikasikan
probabilitas p
ij
dengan proporsi dari obyek obyek dalam keadaan i yang
berpindah (bertransisi) keadaan j dalam selang waktu.

o Matriks Ergodik
Sebuah matriks stokastik P adalah ergodik jika
n
n
P lim

ada yaitu, jika tiap
tiap p
ij
(n)
menuju sebuah limit jika n . Matriks ini diberi nama L, yang adalah
juga suatu matriks stokastik. Komponen komponen dari X
()
, yang didefinisikan
oleh persamaan adalah distribusi distribusi keadaan limit. Mereka menyatakan
proporsi proporsi aproksimasi dari obyek obyek dalam berbagai keadaan suatu
rantai Markov setelah suatu jumlah selang waktu yang besar.
Sebuah matriks stokastik adalah ergodik jika dan hanya jika satu satunya
nilai diri yang besarnya 1 adalah 1 sendiri, dan jika = 1 memiliki gandaan
(multiplicity) k, maka terdapat k buah vektor eigen (kiri) bebas linearyang
berkaitan dengan nilai eigen ini. Jika setiap nilai eigen dari suatu matriks P
menghasilkan sejumlah vektor eigen (kiri) bebas linear yang jumlahnya sama
dengan gandaannya, maka terdapat suatu matriks tak singular (nonsingular) M,
yang baris barisnya adalah vektor eigen dari P, sedemikian rupa sehingga D
MPM
-1
adalah suatu matriks diagonal. Elemen elemen diagonal dari D adalah
niali eigen dari P, yang berulang sesuai dengan gandaannya.
Kita mengikuti perjanjian bahwa semua vektor diri yang berhubungan
dengan = 1 ditempatkan di atas semua vektor eigen lainnya di dalam M. Maka
untuk suatu matriks ergodik P berukuran N N yang dapat diagonalkan yang

LABORATORI UM OPTIMASI DAN STATI STI K I NDUSTRI
MODUL 5 (RANTAI MARKOV)
RABU 1 / GROUP 4

memiliki gandaan = 1 sebanyak k, matriks limit L dapat dihitung sebagai
berikut :
L = M
-1
( )
n
n
D lim

M = M
-1

(
(
(
(
(
(
(
(
(
(
(
(
(
(
(

0
.
.
.
0
1
.
.
.
1
1

Matriks diagonal di sebelah kanan memiliki nilai 1 sebanyak k dan 0 sebanyak (N
k) dalam diagonal utamanya.

o Matriks Reguler
Sebuah matriks stokastik adalah reguler jika salah satu pangkatnya hanya
mengandung elemen elemen positif. Jika suatu matriks stokastik adalah reguler,
maka nilai dirinya yang bernilai 1 mempunyai gandaan paling banyak satu, dan
semua nilai eigennya yang lain memenuhi ketidaksamaan ,
i
, < 1. Dan sebuah
matriks reguler adalah ergodik. Jika P reguler dengan matriks limit L, maka baris
yang satu dan yang lainnya dari matriks L ini identik, dan masing masingnya
merupakan vektor diri kiri unik dari P yang berkaitan dengan = 1 dan hasil
jumlah dari semua komponennya sama dengan satu. Namakan vektor eigen ini
dengan E
1
. Maka dari persamaan langsung kita peroleh bahwa jika P reguler,
maka :

LABORATORI UM OPTIMASI DAN STATI STI K I NDUSTRI
MODUL 5 (RANTAI MARKOV)
RABU 1 / GROUP 4

X
()
= E
1
Tanpa memperhatikan distribusi awal X
(0)
.

Proses Markov
Rantai Markov, merupakan state diskrit proses Markov, adalah proses
stochastic X(t) dengan state S0, S1, ... dan lagi probabilitas pada waktu,
tk+1 pada state Si hanya tergantung pada waktu state tk untuk setiap
rangkaian waktu instan t1, t2, ... , tk+1 dimana t1 < t2 < ... < tk+1.

Kita nyatakan proses dalam state Shi pada waktu t1 jika X(t1) = hi, hi menjadi
integer yang tidak negatif. Kemudian definisi di atas dapat ditulis :

Hubungan ini dikenal dengan nama waktu kontinyu properti Markov dan
menetapkan waktu-kontinyu rantai Markov. Istilah waktu kontinyu
mengacu pada fakta transisi state yang diperbolehkan untuk mengambil
tempat pada setiap poin waktu. Jika kita membatasi transisi untuk terjadi
hanya pada waktu diskrit instan, akan menunjukkan oleh tanda waktu 1, 2, ... k, ...
kemudian kita dapat mendefinisikan waktu kontinyu properti Markov untuk
proses stochastic Xk sebagai :

LABORATORI UM OPTIMASI DAN STATI STI K I NDUSTRI
MODUL 5 (RANTAI MARKOV)
RABU 1 / GROUP 4


Rangkaian stochastic yang akan memenuhi properti waktu dikrit. Untuk
semua integer positif k dan semua kemungkinan state-nya disebut waktu
diskrit rantai Markov. Pada rantai tersebut probabilitas dari transisi dari state
Si ke state Sj pada waktu k dapat ditulis sebagai :

Properti Markov membuat hal tersebut menjadi mungkin untuk dapat
membuat spesifikasi hubungan statistik antar state dalam matriks P(k), yaitu
matriks transisi probabilitas. Jika probabilitas transisi tidak tergantung waktu, kita
dapat mengindikasikannya dengan pij, dan rantai tersebut dikatakan rantai
homogen.
State network didefinisikan sebagai jumlah transaksi yang sedang berada di
dalam jaringan dan didesain sebagai Sn untuk state jaringan dengan populasi n.
urutan perubahan state jaringan ini disebut rantai Markovian, misalnya state
(S1, S2, S3, ... , Sn) rantai Markovian.