Dosen Pengampu :

SUDIANTO MANULLANG, S.Si., M.Sc.

PENGANTAR STOKASTIK

“RANTAI MAKROV”

Oleh

Kelompok 2:

Sofya Dwi Agustina Sirait (4191230001)

Rina Alfridah Lubis (4191230006)

Dicky Septianus Manik (4193230024)

Mey Sanfitri Manalu (4193530017)

PSM A 2019

JURUSAN MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

UNIVERSITAS NEGERI MEDAN

2021
 KATA PENGANTAR

Puji dan Syukur kami panjatkan kepada Tuhan Yang Maha Esa. Berkat limpahan dan
rahmat-Nya kami mampu menyelesaikan makalah Pengantar Stokastik yang berjudul
“Rantai Makrov”

Tugas makalah ini disusun dengan harapan menambah wawasan yang lebih luas
kepada kita. kami menyadari bahwa dalam makalah ini masih terdapat banyak kesalahan
kesalahan dalam segi isi, tulisan, maupun kualitasnya untuk itu bagi para pembaca saya
sebagai penulis meminta maaf atas kekurangan yang terdapat dalam tugas kami. Karena itu
kami mengharapkan saran dan kritik dari para pembaca demi perbaikan pembuatan makalah
kami di masa yang akan datang.

Akhir kata kami mengucapkan terima kasih mudah mudahan dengan adanya
pembuatan tugas ini dapat memberikan manfaat bagi para pembaca.

Medan, 06 September 2021

Kelompok 2

i
 DAFTAR ISI

KATA PENGANTAR.......................................................................................................i

DAFTAR ISI......................................................................................................................ii

BAB I PENDAHULUAN..................................................................................................3
1.1. Latar Belakang ...........................................................................................3
1.2 Rumusan masalah.................................................................................................3
1.3 Tujuan..................................................................................................................3
BAB II PEMBAHASAN...................................................................................................4
2.1 Sejarah Rantai Markov.........................................................................................4
2.2 Definisi Rantai Markov........................................................................................4
2.3 Klasifikasi Rantai Markov...................................................................................4
2.4 Ciri-Ciri Rantai Markov.......................................................................................5
2.5 Langkah-Langkah Penyelesaian Rantai Markov..................................................6
2.6 Model-Model Rantai Markov..............................................................................7
2.7 Probabilitas Transisi.............................................................................................8
2.8 Rantai Markov Diskrit..........................................................................................9
2.9 Waktu Lewat Pertama (First Passage Time)........................................................9
2.10 Rantai Markov Irreducible.................................................................................11

BAB III PENUTUP...........................................................................................................12

3.1 Kesimpulan..........................................................................................................12

DAFTAR PUSTAKA........................................................................................................13

ii
 BAB I

PENDAHULUAN

1.1 Latar Belakang

Rantai Markov merupakan suatu metode yang mempelajari sifat-sifat suatu variabel
pada masa sekarang yang dalam usaha menaksir sifat-sifat variabel yang sama di masa
mendatang. Rantai markov biasanya digunakan untuk mempelajari perilaku jangka
panjang atau jangka pendek dari suatu proses stokastik.
Pada Rantai Markov dipaparkan secara terperinci dan terstruktur data, matriks,
peluang transisi, proses markov, peluang State-n langkah dan peluang Steady State.
Peluang Peralihan pada tingkat keadaan seimbang (steady state ) adalah peluang peralihan
yang sudah mencapai keseimbangan sehingga tidak akan berubah terhadap perubahan
waktu yang terjadi. Prinsip ini digunakan untuk mengamati ada berapa state / langkah
untuk menuju titik setimbang. Tentu prinsip ini berguna bagi perusahaan / kalangan
tertentu untuk mengetahui keuntungan, lamanya proses, biaya dari usaha yang dilakukan.
Akibatnya dapat diramalkan kejadian yang terjadi setelah n tahap.
Rantai Markov Waktu Diskrit adalah rantai Markov yang memiliki parameter waktu
diskrit. Dalam rantai markov waktu diskrit terdapat beberapa kedudukan yang saling
berhubungan satu sama yang lain. kedudukan rantai markov waktu diskrit dibagi
beberapa macam yakni kedudukan accesible, kedudukan communicate , kedudukan
irreducible , first passage time( kedudukan pertama kalinya x ke y), kedudukan
absorbing ,kedudukan rekuren dan transien, kedudukan periodik dan aperiodik,
kedudukan ergodik, kedudukan steady state. Apabila rantai Markov waktu diskrit
mencapai kedudukan steady state maka dapat ditentukan kedudukan jangka panjang dari
rantai Markov tersebut

1.2 Rumusan Masalah

1. Apakah definisi dari rantai Markov ?
2. Apa saja klasifikasi keadaan rantai Markov ?
3. Apa saja teorema-teorema mengenai rantai Markov ?

1.3 Tujuan
Untuk memahami sistematika dari rantai Markov

3
 BAB II

PEMBAHASAN

2.1 Sejarah Rantai Makrov

Model rantai Markov dikembangkan oleh seorang ahli Rusia bernama A.A.Markov,
pada tahun 1906. Penerapan rantai Markov mula-mula adalah pada ilmu- ilmu pengetahuan
fisik dan meteorologi. Teknik ini mula-mula digunakan untuk menganalisis dan
memperkirakan perilaku partikel-partikel gas dalam suatu wadah (container) tertutup serta
meramal keadaan cuaca. Konsep dasar rantai Markov diperkenalkan pada tahun 1907 oleh
seorang ahli matematika dari Rusia yang bernama Andrei A. Markov (1856-1922). Markov
membuat asumsi bahwa sistem dimulai pada kondisi awal.

“Untuk setiap waktu t, ketika kejadian adalah Kt dan seluruh kejadian sebelumnya
adalah Kt(j),…, Kt(j-n) yang terjadi dari proses yang diketahui, probabilitas seluruh kejadian
yang akan datang Kt(j) hanya bergantung pada kejadian Kt(j-1) dan tidak bergantung pada
kejadian-kejadian sebelumnya yaitu Kt(j-2), Kt(j-3), …, Kt(j-n)”

Markov berfokus pada perluasan hukum bilangan besar dalam berbagai percobaan.
Model ini berhubungan dengan suatu rangkaian proses dimana kejadian akibat suatu
eksperimen hanya tergantung pada kejadian yang langsung mendahuluinya dan tidak
tergantung pada rangkaian kejadian sebelum-sebelumnya yang lain.

2.2 Pengertian Rantai Markov

Isaacson and Madson (1976) menyatakan bahwa Rantai Markov adalah suatu teknik
yang digunakan dalam menganalisis perilaku saat ini dari beberapa variabel dengan tujuan
untuk memprediksi perilaku dari variabel yang sama pada masa mendatang.

Rantai Markov (Markov Chains) adalah suatu teknik matematika yang biasa
digunakan untuk melakukan pembuatan model (modelling) bermacam-macam sistem dan
proses bisnis (Subagyo, Asri, dan Handoko (1984).

Dengan kata lain, rantai Markov adalah rangkaian proses kejadian dimana peluang
bersyarat kejadian yang akan datang tergantung pada kejadian sekarang dan tidak tergantung
pada keadaan yang sebelumnya.

2.3 Klasifikasi Keadaan Rantai Markov

Ada beberapa syarat agar rantai markov dapat diaplikasikan dalam evaluasi
keandalan sistem. Syarat-syarat tersebut adalah:

1. Dapat diakses (accessible)

Defenisi : Keadaan j dikatakan “dapat diakses” dari keadaan i jika Pnij > 0,
untuk n ≥ 0
Notasi : i→j

4
 Contoh: 0 1 2 3 4

[ ]
0 0,4 0,6 0 0 0
1 0,5 0,5 0 0 0
P= 2 0 0 0,3 0,7 0
3 0 0 0,5 0,4 0,1
5 0 0 0 0,8 0,2

State mana yang dapat diakses dari 3

0 1 ?

Jawab : 3 → 2
2 3 4 3→3

3→4

2. Berkomunikasi ( communicability )
Defenisi : Keadaan i dan j berkomunikasi jika i dapat diakses dari j dan
j dapat diakses dari i
Notasi : i ↔ j
Contoh : kita ambil dari contoh ke 1 maka state(keadaan) yang saling
berkomunikasi ialah state 0 ↔ 1, 2 ↔ 3, 3 ↔ 4
3. Kelas keadaan
Defenisi : Dua keadaan i dan j berada dalam kelas yang sama jika i dan
j saling berkomunikasi, yaitu jika i ↔ j maka i dan j berada
dalam kelas yang sama.
Contoh : 0 ↔ 1 {0,1}
2 Kelas
2 ↔ 3, 3 ↔ 4 {2,3,4}
4. Sifat keadaan recurrent dan transient
Defenisi : f i=P ( pernah kembali keadaani|X 0=i )
 Keadaan i recurrent jika f i=1
 Keadaan i transient jika f i< 1

2.4 Ciri-Ciri Rantai Markov

5
  Suatu keadaan A atau B, atau disebut state A atau state B atau state 1 atau state 2
 Jika berada pada state A, pasti tidak mungkin berada pada state B, dan sebaliknya

Contoh :

Kendaraan umum, jika ada dua kondisi yaitu mogok dan narik. Pasti kendaraan tersebut kalau
tidak mogok pasti narik.

Jika narik → state 1

Jika mogok → state 2

Dalam konteks ini kendaraan selalu berada pada salah satu state diatas secara bergantian.
Perubahan dari satu status ke status yang lain pada periode berikutnya merupakan suatu
proses atau kejadian random yang dinyatakan dalam probabilitas dan dinamakan probablitias
transisi.

Contoh :

P (narik , narik) = 0,6 P (narik, mogok) = 0,4

P (mogok, narik) = 0,8 P (mogok, mogok) = 0,2

Yang artinya jika P (mogok, narik) = 0,8, maka peluang besok narik jika sekarang mogok
adalah 0,8.

Probabiltias ini dapat disusun ke dalam bentuk tabel (matriks)

Dari status Ke status besok

sekarang Narik Mogok
Narik 0,6 0,4
Mogok 0,8 0,2

Digolongkan ke dalam proses Markov jika masalah diatas memenuhi asumsi :

 Jika sekarang kenadaraan naik, besok hanya ada dua kemungkinan status, yaitu narik
lagi atau mogok. Sehingga jumlah probabilitas transisi pada setiap baris adalah 1
 Probabilitas transisi itu tidak akan berubah untuk selamanya
 Probabilitas transisi hanya tergantung pada status sekarang dan bukan pada status
peiode sebelumnya

2.5 Langkah-Langkah Penyelesaian

1. Buatlah matriks transisi dari probabilitas yang diketahui

2. Lakukan operasi perkalian matriks dari probabilitas waktu sebelumnya dengan
matriks transisi. Rumusnya adalah: Matriks periode ke-n = Matriks periode ke-n+1 *
Matriks transisi

6
 3. Ulang proses yang sama sampai menemukan probabilitas yang hendak dicari

2.6 Model- Model Rantai Markov

 Model Inventory
Misalkan sebuah barang harus tersedia agar dapat memenuhi permintaan. Asumsikan
penambahan barang dilakukan pada akhir periode ke-n = 0, 1, 2, …. Misalkan δ n menyatakan
total permintaan komoditi selama periode n, adalah peubah acak yang mempunyai fungsi
distribusi bebas dari periode waktu,

P{δn k} ak untuk k = 0, 1, 2, …..

∞
dimana ak ≥ 0 dan ∑ ak = 1. Banyak stok diperiksa setiap akhir periode. Kebijakan
k=0
penambahan stok ditentukan oleh dua bilangan non-negatif s dan S > s dengan interpretasi
sebagai berikut. Jika pada akhir periode jumlah stok tidak lebih besar dari s maka stok harus
ditambah sehingga mencapai S. Jika stok lebih dari s maka tidak ada penambahan stok.
Misalkan Xn menyatakan banyaknya stok pada akhir periode n. Maka state yang mungkin
untuk proses {Xn} adalah
S, S-1, …, +1, 0, -1, -2, ….
Menurut aturan kebijakan inventory, diperoleh :

{
X n= X n−δn jika s< X n ≤ S
S−δ n +1 jika X n ≤ s

Maka fungsi peluang transisinya dapat didefinisikan sebagai berikut.

Pij= P{Xn1 j | Xn i}

¿
{
P { δ n +1=i− j } jika s< i≤ S
P { δ n+ 1=S− j } jika i≤ s

 Rantai Ehrenfest
Misalkan tersedia dua kotak dan d buah bola dengan nomor 1, 2, ..., d. Pada awalnya
sebuah bola berada di dalam kotak pertama, sedangkan sisanya berada di kotak kedua.
Tersedia undian dengan nomor 1, 2, ..., d. Kemudian diambil selembar undian secara acak
(undian dikembalikan sebelum pengambilan berikutnya). Bola dengan nomor yang sama
dengan nomor undian yang terambil dipindahkan dari kotaknya dimasukkan ke kotak lain.
Proses ini dilakukan tak hingga kali. Tentukan fungsi peluang transisi dari proses ini.
Jawab.
Misalkan Xn menyatakan banyaknya bola pada kotak pertama setelah pengambilan (trial) ke-
n. Maka { Xn } adalah rantai Markov dengan ruang keadaan (state) S = {0, 1, 2, …, d}

7
Karena ada i bola pada kotak I, maka undian juga ada k. Maka peluang untuk mengambil
bola dari kotak I adalah i/d dan bola ini dipindahkan ke kotak II. Maka

|
P {X n+1=i−1 X n=i}=Pi , (i−1)=
i
d

2.7 Probabilitas Transisi

Probabilitas transisi adalah perubahan dari suatu status ke status yang lain pada
periode (waktu) berikutnya dan merupakan suatu proses random yang dinyatakan dalam
probabilitas.

8
n = jumlah keadaan dalam proses

Pij = kemungkinan transisi dari keadaan saat i ke keadaan j

Jika saat ini berada pada keadaan i maka baris i dari tabel di atas berisi angka-angka Pi1, Pi2,
Pin merupakan kemungkinan berubah ke keadaan berikutnya

Oleh karena angka tersebut melambangkan kemungkinan, maka semuanya merupakan

bilangan non negatif dan tidak lebih dari satu

2.8 Rantai Markov Diskrit

Rantai Markov diskrit adalah sebuah proses Markov yang ruang statenya adalah
bilangan yang dapat dihitung, bilangan indeksnya T = 0, 1, 2, ..... dan ruang state dari rantai
Markov dinyatakan dengan bilangan bulat tak negatif {0,1,2,3,4,5 ...}, dan X n= i menyatakan
X n berada pada state i. (Howard. M, 1984).
Dalam rantai Markov diskrit terdapat beberapa macam kedudukan yang saling
berhubungan atu dengan yang lain. Kedudukan rantai Markov diskrit dibagi menjadi
beberapa macam yaitu kedudukan accessible, kedudukan communicate, kedudukan
irreducible, first passage time (waktu lewat pertama), kedudukan absorbsing, kedudukan
rekuren dan transient, kedudukan periodik dan aperiodik, kedudukan steady state (stabil).
Apabila rantai Markov diskrit mencapai kedudukan steady state atau stabil maka dapat
ditentukan kedudukan jangka panjang dari rantai Markov tersebut.

Defenisi :
P{X(n+1) = j | Xn =i , X(n-1) = i(n-1),…., X1 = i1 = i1 , X0 = i0}
= P{X(n+1) = j | Xn =i} = Pij

2.9 Waktu Lewat Pertama (The First Passage Time)

Misalkan f (n)
ij menyatakan peluang bahwa , mulai dari state i, proses bertransisi untuk

pertama kali ke state j terjadi pada waktu ke-n

Untuk setiap i,j ∈{0,1,2,...) kita definisikan :

∞
f ij ∑ f (ijn )
n=1

Jadi, untuk setiap i,j ∈{0,1,2,...) , menyatakan peluang bahwa suatu proses yang dimulai pada
state i akan pernah bertransisi ke state j

Contoh :

9
 [ ]
1/3 2/ 3 0 0
P= 1/2 1/ 2 0 0
1/4 1/4 1/4 1 /4
0 0 0 1

a. Tentukan Kelas dari state-state Rantai Markov di atas

b. Tentukan state-state yang recurrent maupun yang transient

Penyelesaian : 0 1 2 3

[ ]
0 1/3 2/3 0 0
P= 1 1/2 1/2 0 0
2 1/4 1/ 4 1/4 1 /4
3 0 0 0 1

0 1 2 3

a. {0,1}, {2,3} berarti peluang tersebut memiliki 2 kelas

(1) (2) (3) (4 )
b. f 00=f 00 + f 00 + f 00 + f 00 +.. .

= {
3 1 1 1 2 1 1 2 2 1
+ . + . . + . . . +…
4 4 3 4 3 3 4 3 3 3 }
Merupakan Deret Geometri dengan

1 1 1 2
U1= 4 . 3 = 12 , r= 3

a 1/12 1 1
S= = = =
1−r 1−1 /3 12−8 4

3 1
= + =1 (Recurrent)
4 4

Maka, {0,1} merupakan state recurrent karena dalam satu kelas state-statenya sama.

f 22=f (221) + f (222) + f (223 )+ f (224 )+…

{
1 1 1 1 1 1 1 1 1 1
¿ + . + . . + . . . +…
2 2 3 2 3 3 2 3 3 3 }
10
 Merupakan Deret Geometri dengan

1 1 1 1
U1= 2 . 3 = 6 , r= 3

a 1/6 1 1
S= = = =
1−r 1−1 /3 6−2 4
1 1 3
= + = <1 ( Transient )
2 4 4

Maka, {2,3} merupakan state-state yang transient.

2.10 Rantai Markov Irreducible

Definisi-definisi (irreducible) :
(i) Suatu himpunan C yang tidak kosong dikatakan tertutup, jika tidak ada state
dalam C menuju sembarang state di luar C, atau ρ xy = 0, x∈S dan y∉S
(ii) Himpunan C yang tidak kosong dikatakan tertutup, jika jika P n(x,y)=0, x∈C, y∉
C, n ≥1 Atau dapat pula didefinisikan (yang lebih lemah) : Himpunan C yang tidak
kosong dikatakan tertutup, jika P(x,y)=0, x∈C, y∉C. Disini apabila C tertutup, maka
rantai Markov bermula dari C akan selalu tinggal di C dengan probabilitas 1.
(iii) Himpunan tertutup C dikatakan irreducible jika untuk semua x dan y ∈ C, x
menuju y.

Teorema
Diberikan C himpunan berhingga tertutup irreducible, maka tiap anggota C adalah
rekuren.

Pembuktian :

[ ]
0 0,4 0,6 0
P= 1 0 0 0,2
2 0,5 0 0

Dari diagaram transisi yang telah kita buat dapat kita simpulkan bahwa matriks P merupakan
irredusible karena semua state-state saling berkomunikasi.

11
 BAB III

PENUTUP

3.1 KESIMPULAN

Rantai Markov adalah rangkaian proses kejadian dimana peluang bersyarat kejadian
yang akan datang tergantung pada kejadian sekarang dan tidak tergantung pada keadaan yang
sebelumnya. Syarat-syarat rantai Markov adalah:

1. Dapat diakses (accessible) : Defenisi : Keadaan j dikatakan “dapat diakses” dari

keadaan i jika Pnij > 0, untuk n ≥ 0 . Notasi : i→j
2. Berkomunikasi ( communicability ) : Defenisi : Keadaan i dan j berkomunikasi
jika i dapat diakses dari j dan j dapat diakses dari i. Notasi : i ↔ j
3. Kelas keadaan : Defenisi : Dua keadaan i dan j berada dalam kelas yang sama
jika i dan j saling berkomunikasi, yaitu jika i ↔ j maka i dan j berada dalam
kelas yang sama.
4. Sifat keadaan recurren dan transien, Defenisi :
f i=P ( pernah kembali keadaani|X 0=i )
 Keadaan i recurrent jika f i=1
 Keadaan i transient jika f i< 1

Teorema rantai Markov Irreducible “Diberikan C himpunan berhingga tertutup

irreducible, maka tiap anggota C adalah rekuren.”

12
Pandang suatu rantai Markov dengan banyaknya anggota (state) berhingga,
Teorema III mengatakan bahwa rantai irreducible mesti rekuren. Bila rantai tidak
irreducible dapat ditentukan state mana yang rekuren dan mana yang transien.

DAFTAR PUSTAKA

https://socs.binus.ac.id/2013/06/30/markov-chain/

Srinadi, L,A. 2013. Pengantar Proses Stokastik. Universitas Udayana : Bali

Minora, Yerizon. 2003. Diktat Pengantar Stokastik. Universitas Negeri Padang. Padang

13