BAB 15

RANTAI MARKOV
Markov merupakan model stokastik untuk sistem yang mengalami
perubahan secara acak dalam waktu diskrit. Konsep utama dalam Rantai Markov
adalah sifat "memori yang terbatas" yaitu probabilitas transisi dari satu keadaan ke
keadaan lain hanya bergantung pada keadaan saat ini dan tidak bergantung pada
keadaan sebelumnya.
Bab ini membahas berbagai konsep terkait dengan Rantai Markov,
termasuk definisi formalnya, sifat-sifat penting, contoh-contoh, dan algoritma-
algoritma untuk menghitung probabilitas transisi dan distribusi stasioner.
Beberapa topik yang dibahas meliputi sebagai berikut.
Definisi dan Sifat-Sifat, Rantai Markov didefinisikan sebagai sekumpulan
variabel acak yang membentuk rangkaian keadaan yang mungkin terjadi, dan
setiap keadaan hanya bergantung pada keadaan saat ini. Sifat utama dari Rantai
Markov adalah sifat "memori yang terbatas" dan sifat "transisi" yaitu probabilitas
transisi dari satu keadaan ke keadaan lain hanya bergantung pada keadaan saat ini.
Matrix Probabilitas Transisi, Untuk menggambarkan Rantai Markov, kita
dapat menggunakan matriks probabilitas transisi, yang menunjukkan probabilitas
transisi dari setiap keadaan ke keadaan lain dalam satu langkah waktu. Matriks ini
dapat digunakan untuk menghitung probabilitas transisi dari keadaan awal ke
keadaan akhir dalam beberapa langkah waktu.
Fungsi probabilitas transisi dari setiap rantai Markov {xn}memenuhi
persamaan Chapman.J Persamaan Kolmogorov. Kita dapat menggunakan relasi
Markov dasar dalam (15-6) untuk mendapatkan persamaan fundamental yang
mengatur evolusi semua rantai. Untuk n > r > m, kita memiliki

P { x n=e j , xm =e i }=∑ P {x n=e j , x r =e k , x m=e i }

k

¿ ∑ P { x n=e j|x r =e k , x m=ei } P { xr =e k , x m =e i }

k

¿ ∑ P {x n=e j ∨x r=ek }P {x r=e k , x m=e i }

k

Dengan demikian
pij ( m , n )=P { x n=e j|x m =e j }

¿ ∑ P {x n=e j ∨x r=ek }P { x r=ek , x m=e i }

k

Atau
 pij ( m , n )=∑ Pik (m , r) Pkj (r , n)
k

n-Langkah Transisi Kemungkinan

Dari (15-7), untuk sebuah rantai homogen p(nij ) merupakan masukan ke-(i,
j) dari P (0, n) = Pn. Dengan demikian

Pn ≜(P(n)
ij ) (15-42)

Dan karena pn+m = pm pn = pn pm. kita memperoleh relasi yang berguna

P(m
ij
+n)
=∑ P(m)
ik Pkj =∑ Pik P kj
(n ) (n) (m)

Secara khusus, relasi rekursi satu langkah diberikan oleh

P(nij +1)=∑ Pik P(n)

kj =∑ Pik Pkj
(n)

k k

Akhirnya, distribusi probabilitas tanpa syarat pada t = nT diberikan oleh

P j ( n ) =P { x n =e j }=∑ P ¿ x n=e j|x m =ei } P { x m=e i } ¿

i

¿ ∑ Pij (m ,n) Pi (m)

i

Distribusi Stasioner, Distribusi stasioner adalah distribusi probabilitas

yang stabil pada waktu yang panjang, yaitu ketika Rantai Markov bergerak terus-
menerus, distribusi probabilitas akan mencapai distribusi stasioner tertentu.
Distribusi stasioner dapat dihitung dengan menggunakan persamaan distribusi
stasioner atau dengan menghitung batas distribusi setelah jumlah langkah waktu
yang tak terbatas.
Sebuah pertanyaan penting dalam konteks ini adalah apakah dalam jangka
panjang sebuah rantai Markov dapat mencapai distribusi pembatas terlepas dari
distribusi awal? Dengan demikian dalam kondisi apa kondisi apa. jika ada, apakah
(n )
P jk → qk sebagai n → ∞

Terlepas dari kondisi awal awal ej? Ketika batas-batas tersebut ada, sistem
menunjukkan keteraturan jangka panjang atau perilaku stasioner. Menariknya,
untuk rantai tak tereduksi yang mengandung aperiodik, keadaan tak nol yang
persisten (rantai ergodik), dari Teorema 15-1. (16-170), dan (15-160),
Contoh Rantai Markov, Bab ini memberikan beberapa contoh Rantai
Markov, seperti Rantai Markov diskrit dengan dua keadaan, Rantai Markov
dengan empat keadaan, dan Rantai Markov dengan keadaan kontinu.
 Aplikasi Rantai Markov, Rantai Markov digunakan dalam berbagai
aplikasi, termasuk analisis antrian, model ekonomi, dan peramalan cuaca. Bab ini
juga membahas aplikasi Rantai Markov dalam komputasi, seperti algoritma
PageRank untuk mengurutkan halaman web.
Bab ini menyajikan pemahaman yang komprehensif tentang Rantai
Markov, dan memberikan konsep dan alat matematika yang diperlukan untuk
menghitung probabilitas transisi dan distribusi stasioner.
Contoh Soal
1. Klasifikasikan keadaan rantai Markov dengan probabilitas transisi berikut

      

Informasi yang tersedia mewakili keadaan rantai Markov dengan probabilitas

transisi seperti diatas. Matriks probabilitas rantai Markov pertama yang
diwakili oleh

tidak dapat direduksi dan bersifat periodik. Matriks probabilitas rantai

Markov kedua diwakili oleh

juga tak tereduksi dan bersifat periodik. Matriks rantai Markov ketiga yang
diwakili oleh
 adalah memiliki dua himpunan tertutup periodik {e1,e2} dan {e3,e4} dan juga
keadaan sementara es.
2. Pertimbangkan sebuah rantai Markov {xn} dengan state e0. e1, ... , em dan
matriks probabilitas transisi

Detennine Pn. dan distribusi pembatas

lim P {x n=e k }k =0 , 1, 2 ,... , m
n→∞

Perhatikan bahwa jumlah baris dan jumlah kolom adalah kesatuan dalam
kasus ini. Oleh karena itu, P merupakan matriks stokastik ganda di sini, dan

( )
1 1 … 1 1
n 1 1 1 … 1 1
P=
m+1 ⋮ ⋮ ⋮ ⋮ ⋮
1 1 … 1 1
1
lim P {x n=e k }= k=0 , 1 ,2 , ... ,m
n→∞ m+1
 BAB 16
MARKOV PROSES DAN TEORI ANTRIAN
Markov Proses
Markov Proses adalah suatu proses stokastik yang memenuhi sifat
Markov, yaitu bahwa keadaan masa depan hanya bergantung pada keadaan saat
ini dan bukan pada sejarah dari keadaan sebelumnya.
Markov Proses dapat digambarkan dengan diagram transisi keadaan, di
mana keadaan adalah simpul dalam diagram dan transisi adalah garis-garis antara
simpul.
Ada beberapa jenis Markov Proses, termasuk Markov Proses waktu diskrit
dan waktu kontinu, Markov Proses homogen, dan Markov Proses non-homogen.
Sebuah proses Markov waktu kontinu x(t) dapat menempati secara acak
sejumlah keadaan e0, e1, e2, e3,... pada waktu t. Status proses pada waktu t
dijelaskan oleh x(t) dan sama dengan keadaan ej yang ditempati oleh proses pada
waktu itu. Misalkan proses x(t) berada dalam status ej pada waktu ke t0. Untuk
sebuah proses Markov, dari (15-2) probabilitas bahwa proses tersebut masuk ke
state ej pada waktu ke + t diberikan oleh
P {x (t 0+ t)=e j ∨x( t 0 ) ei }

Dalam Markov Proses, kita dapat mendefinisikan beberapa hal, seperti

distribusi probabilitas keadaan, matriks probabilitas transisi, distribusi stasioner,
dan proses stokastik yang terkait.
Antrian Teori
Antrian Teori adalah studi tentang antrian atau barisan pelanggan yang
menunggu layanan dalam sistem. Deskripsi antrian. Sistem notasi yang diusulkan
oleh Kendall (1951) secara universal digunakan untuk menspesifikasikan antrian.
Dalam deskripsi ini, simbol tiga bagian (terkadang empat bagian) digunakan, di
mana simbol pertama menentukan proses input (distribusi antar kedatangan),
simbol kedua menentukan mekanisme pelayanan (distribusi waktu pelayanan),
dan simbol ketiga menunjukkan jumlah saluran atau server yang digunakan. Jika
sistem memiliki kapasitas penampungan yang terbatas untuk item yang
menunggu, maka simbol keempat digunakan untuk menentukan informasi ini.
Simbol-simbol berikut ini biasanya digunakan untuk menentukan proses input dan
mekanisme layanan
M: Poisson atau eksponensial (markovian atau tanpa memori)
D: deterministik atau reguler
 En: Distribusi Erlangian
G: fungsi distribusi waktu layanan sembarang B¿)
G I: fungsi distribusi antar-kedatangan yang independen secara acak A (τ )
Dalam notasi ini, M / G / r adalah singkatan dari antrian dengan
kedatangan Poisson, tidak ada asumsi khusus tentang distribusi waktu pelayanan
B(τ ), dan r jumlah server. Perhatikan bahwa hanya untuk antrian M / M / r, proses
stokastik yang terkait adalah markovian.
Sistem antrian dapat digambarkan dengan model matematika, seperti
model antrian Markov, yang didasarkan pada sifat Markov dari sistem.
Beberapa variabel dalam sistem antrian adalah jumlah pelanggan dalam
sistem, jumlah pelanggan yang menunggu, waktu kedatangan pelanggan, waktu
pelayanan, dan waktu antrean.
Ada beberapa jenis model antrian, termasuk model antrian tunggal dan
model antrian ganda. Antrian server tunggal dengan input kedatangan Poisson
yang homogen dan independen Waktu pelayanan terdistribusi (umum) dikenal
sebagai antrian MIGII. Misalkan B(τ ) mewakili distribusi waktu pelayanan umum
dalam kasus ini.
Contoh 15-4, 15-14. dan 15-24 sebenarnya membahas antrian M/G/l
secara rinci. Dari sana, xn mewakili jumlah pelanggan yang menunggu pelayanan
segera setelah keberangkatan pelanggan ke-n. dan yn jumlah pelanggan yang tiba
selama waktu pelayanan pelanggan ke-n. Jumlah ini berhubungan seperti pada
(15-32), dan matriks transisi untuk rantai Markov yang terkait diberikan oleh (15-
34), dimana
P { y n=k }=ak

mewakili probabilitas kedatangan k selama waktu pelayanan dari setiap

pelanggan. Biarkan
q j= lim P {x n= j} j=0 ,1 , 2 ,...
n→ ∞

Antrian server ganda secara seri dan paralel. R. R. P. Jackson telah

menggeneralisasi interkoneksi seri dari antrian server tunggal menjadi
interkoneksi seri dari m fase. di mana fase ke-i terdiri dari r i saluran paralel.
semua dengan tingkat layanan eksponensial μi. seperti yang ditunjukkan pada
Gambar 16-14. Masukan ke fase pertama adalah masukan Poisson tak terbatas
dengan parameter λ , dan antrian diperbolehkan sebelum setiap fase. Dengan ni
unit pada fase ke-i. probabilitas bahwa sebuah item menyelesaikan pelayanan
pada Δ t diberikan oleh μni Δ t + o( Δ t), di mana
 μ¿ =
{ni μ i ni < r i
r i μi ni ≥r i }
Dalam model antrian, kita dapat menghitung beberapa ukuran kinerja,
seperti waktu rata-rata dalam sistem, waktu rata-rata di antrean, dan tingkat
penggunaan sistem.
Contoh Soal
1. Antrian M/M/1/m. Tinjau sebuah antrian Poisson server tunggal dengan
kapasitas sistem yang terbatas m. Tuliskan persamaan steady state dan
tunjukkan bahwa probabilitas steady state bahwa ada n item dalam sistem
diberikan oleh

{
1− p n
m +i
p p≠1
Pn= 1− p
1
p=1
r +1
Dimana p= λ /μ
Menggunakan (16-123) dengan r=1 memberikan

{
pn
p0 p ≠1
n!
P n=
1
p=1
r +1
n
¿ p p0, 0 ≤ n ≤ m
Dengan demikian
m m
( 1− pm+1 )
∑ p n=¿ p0 ∑ p n= p0 1− p
=1 ¿
n=0 n=0
→p 1− p
0=¿ ¿
(1− pm +1 )
Dan karena nya
p 1−p
n=¿ pn ,0 ≤n ≤ m , p ≠1 ¿
( 1− pn+1 )
Dan lim p →1, didapatkan
p 1
n=¿ , p=1 ¿
m +1