PENGANTAR STOKASTIK

RANTAI MARKOV WAKTU DISKRIT

Elisabetha Sinurat
Sari Yanti Kelimagun
Pengantar
Proses stokhastik (Stochastic Processes) adalah himpunan peubah acak yang
merupakan fungsi dari waktu atau sering juga disebut proses acak.

Contoh dari proses stokhastik adalah sebagai berikut.

1. Misalkan 𝑋𝑛 menyatakan hasil lemparan ke-𝑛 dari sebuah dadu.
Maka {𝑋𝑛 , 𝑛 > 1} merupakan himpunan peubah acak, sehingga membentuk
proses stokhastik.
2. Misalkan 𝑋 𝑡 menyatakan banyaknya pengunjung yang masuk toko swalayan
selama suatu periode waktu tertentu (0, 𝑡). Maka {𝑋(𝑡), 𝑡 ∈ 𝑇} merupakan
sebuah proses stokhastik.

Definisi 2.1.1
Himpunan harga-harga yang mungkin untuk suatu peubah acak
Xn dari suatu proses stokhastik {Xn, n ≥ 1} disebut ruang state
(state space).
 Definisi 2.1.2
Sebuah proses stokastik {Xn, n = 0, 1, 2, …} disebut proses (rantai) Markov waktu
diskrit jika
𝑃{𝑋𝑛+1 = 𝑗 | 𝑋0 = 𝑖0 , … , 𝑋𝑛−1 = 𝑖𝑛−1 , 𝑋𝑛 = 𝑖} = 𝑃{𝑋𝑛+1 = 𝑗 | 𝑋𝑛 = 𝑖}
untuk setiap waktu 𝑛 dan setiap state 𝑖0 , 𝑖1 , … , 𝑖𝑛−1 , 𝑖, 𝑗.

Proses stokhastik dispesifikasikan ke dalam empat kelompok yaitu :

1. waktu diskrit dan ruang state diskrit, seperti dalam pelemparan sebuah dadu.
2. waktu diskrit dan ruang state kontinu, curah hujan setiap hari.
3. waktu kontinu dan ruang state diskrit, banyak pasien yang datang ke rumah sakit.
4. waktu kontinu dan ruang state kontinu, temperatur suatu daerah pada suatu
interval waktu.
Definisi 2.1.3
Peluang transisi satu langkah (one-step transition probability) didefinisikan
sebagai
𝑃𝑖𝑗𝑛,𝑛+1 = 𝑃 𝑋𝑛+1 = 𝑗 𝑋𝑛 = 𝑖}

Definisi 2.1.4
Matriks peluang transisi satu langkah dari rantai Markov didefinisikan
sebagai
𝑃00 𝑃01 𝑃02 𝑃03 .
𝑃10 𝑃11 𝑃12 𝑃13 .
𝑃 = 𝑃𝑖𝑗 = . . . . .
𝑃𝑖0 𝑃𝑖1 𝑃𝑖2 𝑃𝑖3 .
. . . . .
Contoh
1. Seorang pegawai pergi bekerja setiap hari dengan kereta api atau bus. Dia
tidak pernah naik kereta api dua hari berturut-turut. Tapi jika hari ini naik
bus maka hari berikutnya dia bisa naik bus lagi atau kereta api. Ini
merupakan rantai Markov, karena pilihan untuk esok hanya bergantung
pada pilihan hari ini. Ruang state dari proses ini adalah {t (kereta api), b
(bus)}. Maka matriks peluang transisinya adalah...

𝑡 𝑏
𝑡 0 1
𝑏 1 2 1 2
2. Tiga orang anak A, B dan C sedang berlatih main bola. A selalu menendang
bola ke B dan B selalu menendang bola ke C, tapi C menendang bola kepada
yang disukainya, bisa ke A atau ke B. Misalkan Xn menunjukkan anak ke-n
yang menendang bola. Ini merupakan rantai Markov, karena pilihan anak
menendang hanya bergantung pada yang terakhir memegang bola. Ruang
state dari proses ini adalah {A, B, C}. Maka matriks peluang transisinya
adalah...

𝐴 𝐵 𝐶
𝐴 0 1 0
𝐵 0 0 1
𝐶 1 2 1 2 0
 Teorema 2.1.1
Jika 𝑃 𝑋0 = 𝑖0 = 𝜋𝑖0 maka
𝑃 𝑋0 = 𝑖0 , 𝑋1 = 𝑖1 , … , 𝑋𝑛 = 𝑖𝑛 = 𝜋𝑖0 𝑃𝑖0 ,𝑖1 𝑃𝑖1 ,𝑖2 … 𝑃𝑖𝑛−1 ,𝑖𝑛

Bukti
Misalkan 𝑃 𝑋0 = 𝑖0 = 𝜋𝑖0
𝑃{𝑋0 = 𝑖0 , 𝑋1 = 𝑖0 , … , 𝑋𝑛 = 𝑖𝑛 }
= 𝑃 𝑋0 = 𝑖0 , 𝑋1 = 𝑖0 , … , 𝑋𝑛−1 = 𝑖𝑛−1 . 𝑃 𝑋𝑛 = 𝑖𝑛 𝑋0 = 𝑖0 , 𝑋1 = 𝑖0 , … , 𝑋𝑛−1 = 𝑖𝑛−1 }
= 𝑃 𝑋0 = 𝑖0 , 𝑋1 = 𝑖0 , … , 𝑋𝑛−1 = 𝑖𝑛−1 . 𝑃 𝑋𝑛 = 𝑖𝑛 𝑋𝑛−1 = 𝑖𝑛−1 }
= 𝑃 𝑋0 = 𝑖0 , 𝑋1 = 𝑖0 , … , 𝑋𝑛−1 = 𝑖𝑛−1 . 𝑃𝑖𝑛−1 ,𝑖𝑛
Dengan cara induksi kita akan peroleh
= 𝑃 𝑋0 = 𝑖0 , 𝑃𝑖0 ,𝑖0 𝑃𝑖1 ,𝑖2 … 𝑃𝑖𝑛−2 ,𝑖𝑛−1 , 𝑃𝑖𝑛−1 ,𝑖𝑛
= 𝜋𝑖0 𝑃𝑖0 ,𝑖1 𝑃𝑖1 ,𝑖2 … 𝑃𝑖𝑛−2 ,𝑖𝑛−1 , 𝑃𝑖𝑛−1 ,𝑖𝑛

Definisi 2.1.5
Suatu state 𝑖 dikatakan state menyerap (absorbing state) jika
𝑃𝑖𝑖 = 1 atau 𝑃𝑖𝑗 = 0 untuk 𝑖 ≠ 𝑗
Contoh
1. Misalkan seorang pejudi mempunyai modal awal M dolar. Tiap kali main dia
pasang $1. peluang dia menang p dan kalah 1-p = q. Modal penjudi tersebut
dapat mencapai 0 (habis) dan akan tetap sama dengan 0 untuk seterusnya.
Tentukan fungsi peluang transisi dari proses tersebut.

Jawab:
Misalkan 𝑋𝑛 , 𝑛 ≥ 0 menyatakan banyaknya modal penjudi pada waktu n.
Maka diperoleh
𝑝 , 𝑗=𝑖+1
𝑃𝑖,𝑗 = 𝑞 , 𝑗=𝑖−1
0 , 𝑗 𝑙𝑎𝑖𝑛𝑛𝑦𝑎

2. Misalkan {𝑋𝑛 } adalah rantai Markov dengan ruang state {0, 1, 2} mempunyai
matriks peluang transisi
 0 1 2
0 0,1 0,2 0,7
𝑃 = 1 0,9 0,1 0
2 0,1 0,8 0,1

dan distribusi awal 𝜋0 = 𝑃 𝑋0 = 0 = 0,3, 𝜋1 = 𝑃 𝑋0 = 1 = 0,4, 𝜋0 =

𝑃 𝑋0 = 2 = 0,3. Tentukanlah 𝑃{𝑋0 = 0, 𝑋1 = 1, 𝑋2 = 2}

Jawab :
𝑃 𝑋0 = 0, 𝑋1 = 1, 𝑋2 = 2 = 𝜋0 𝑃0,1 𝑃1,2 = 0,3 0,2 0 = 0.
 Matriks Peluang Transisi
Teorema 2.2.1
Peluang transisi n-langkah dari Rantai Markov memenuhi
∞
(𝑛) (𝑛−1)
𝑃𝑖𝑗 = 𝑃𝑖𝑘 𝑃𝑘𝑗
𝑘=0

1, 𝑖 = 𝑗
Dimana kita definisikan 𝑃𝑖𝑗 =
0, 𝑖 ≠ 𝑗

Bukti:

𝑃𝑖𝑗𝑛 = 𝑃 𝑋𝑛 = 𝑗 𝑋0 = 𝑖 = 𝑃 𝑋𝑛 = 𝑗, ∞
𝑘=0 𝑋1 = 𝑘 𝑋0 = 𝑖

∞
= 𝑘=0 𝑃 𝑋𝑛 = 𝑗, 𝑋1 = 𝑘 𝑋0 = 𝑖

∞ ∞
= 𝑘=0 𝑃 𝑋1 = 𝑘 𝑋0 = 𝑖 . 𝑘=0 𝑃 𝑋𝑛 = 𝑗 𝑋0 = 𝑖, 𝑋1 = 𝑘
∞ ∞
= 𝑘=0 𝑃𝑖𝑘 . 𝑘=0 𝑃 𝑋𝑛 = 𝑗 𝑋1 = 𝑘

∞ (𝑛−1)
= 𝑘=0 𝑃𝑖𝑘 𝑃𝑘𝑗
Contoh
Misalkan 𝑋𝑛 adalah rantai Markov dengan ruang state {0, 1, 2} mempunyai
matriks peluang transisi
0,1 0,2 0,7
𝑃 = 0,2 0,2 0,6
0,6 0,1 0,3
a. Tentukanlah matriks peluang transisi dua langkah 𝑃2 .
b. Tentukan 𝑃 𝑋3 = 1 𝑋1 = 0
c. Tentukan 𝑃 𝑋3 = 1 𝑋0 = 0

Jawab:
a. Untuk menentukan 𝑃2 ada dua cara yang bisa dilakukan yaitu dengan me
nggunakan teorema 2.2 dan dengan mengalikan matriks P dengan diriny
a sendiri.

Cara 1:
(2)
𝑃00 = 2
𝑘=0 𝑃0𝑘 𝑃𝑘0 = 𝑃00 𝑃00 +𝑃01 𝑃10 + 𝑃02 𝑃20
= 0,1 0,1 + 0,2 0,2 + 0,7 0,6 = 0,47
Dengan cara yang sama diperoleh
(2) (2) (2)
𝑃01 = 0,13 𝑃02 = 0,40 𝑃10 = 0,42

(2) (2) (2)

𝑃11 = 0,14 𝑃12 = 0,13 𝑃20 = 0,26

(2) (2)
𝑃21 = 0,17 𝑃22 = 0,57

0,47 0,13 0,40

(2)
Maka 𝑃2 = 𝑃𝑖𝑗 = 0,42 0,14 0,44
0,26 0,17 0,57

Cara 2.
0,1 0,2 0,7 0,1 0,2 0,7 0,47 0,13 0,40
𝑃2 = 𝑃𝑥𝑃= 0,2 0,2 0,6 0,2 0,2 0,6 = 0,42 0,14 0,44
0,6 0,1 0,3 0,6 0,1 0,3 0,26 0,17 0,57
 (2)
b. 𝑃 𝑋3 = 1 𝑋1 = 0 = 𝑃01 = 0,13

(3)
c. 𝑃 𝑋3 = 1 𝑋0 = 0 = 𝑃01
2 (2)
= 𝑘=0 𝑃0𝑘 𝑃𝑘1
(2) (2) (2)
= 𝑃00 𝑃01 + 𝑃01 𝑃11
+ 𝑃02 𝑃21
= 0,1 0,13 + 0,2 0,14 + 0,7 0,17
= 0,16