Proses Stokastik

Semester Ganjil 2013/2014

DR. Rahma Fitriani, S.Si., M.Sc

 Proses Stokastik
X X t , t T .

Peubah acak yang merupakan fungsi dari t

Index t paling sering mewakili waktu

Xt adalah state dari proses pada waktu t.

Himpunan T: index set dari proses

Jika T bersifat diskrit

A discrete-time proses.

Jika T bersifat kontinyu

A continuous time proses

State space E: himpunan seluruh kemungkinan nilai peubah acak Xt

2
Proses Stokastik
Contoh:
Suhu di kota Malang pada Rabu, 12 Oktober
2011
T = [00.00 Rabu dini hari, 00.00 Kamis dini hari]
E= himpunan bilangan riil yang mewakili suhu

Jika pengamatan suhu dilakukan per jam,

dalam kurun waktu tersebut:
Proses stokastik dalam waktu diskrit
(Discrete time stochastic process)

3
Stokastik Proses dalam peramalan cuaca:
Markov Chain
Peluang cuaca besok dipengaruhi oleh cuaca hari ini
Jika hari ini hujan 40% kemungkinan besok hujan
60% kemungkinan besok tidak hujan

Jika hari ini tidak hujan 20% kemungkinan besok hujan

80% kemungkinan besok tidak hujan

0.4 0.6
0.8

Hujan Tidak
Hujan

0.2
4
Discrete Time Markov Chain
Pr{ X n 1 j | X n i, X n 1 in 1 , , X 1 i1 , X 0 i0 }
Pr X n 1 j | X n i Pij

Transition
Probability
Proses stokastik dengan memori yang terbatas

Nilai peubah pada waktu ke n+1 hanya tergantung pada nilai

peubah pada waktu ke n (waktu sebelumnya)

Indeks menunjukkan waktu diskrit, n+1, n, n-1, , 0. n>0

E= himpunan seluruh kemungkinan nilai peubah (State): i, j, in-1,

, i0
Pada Contoh Cuaca
Himpunan State yang mungkin, E: Hujan, Tidak
Hujan
n: indeks yang menunjukkan hari ke n
Xn merupakan realisasi dari cuaca pada hari ke n

Hujan : 1
Xn
Tidak Huja n : 0
Cuaca pada suatu hari hanya dipengaruhi oleh cuaca pada
hari sebelumnya
Digambarkan dalam transition probability function:

Pr X n 1 j | X n i Pij
 Transition probability dinyatakan secara
lengkap dalam transition probability matrice
Ukuran matriks bersesuaian dengan jumlah
seluruh state yang mungin
Pada kasus cuaca: ada 2 kemungkinan
Matriks berukuran 2 2
0 1
0.6
P 0 0.8 0.2 0.4 0.8
1 0.6 0.4
Hujan Tidak
0 1 Hujan
P 0 P00 P01
1 P10 P11 0.2
Sifat Discrete Time Markov Chain (lanjut)
State berupa bilangan bulat tidak negatif {0, 1, 2, }
Xn = j :
Rantai markov pada waktu n berada pada state j.
Peluang transisi satu langkah Pij:
Peluang Xn+1 berada pada state j dengan syarat Xn berada pada
state i
Peluang transisi satu langkah untuk seluruh kemungkinan
nilai i dan j dinyatakan dalam transition probability matrix

P00 P01 P02 P03

P P11 P12 P13
10
P20 P21 P22 P23
P

Pi 0 Pi1 Pi 2 Pi 3

.
 Syarat bagi elemen transition probability
matrix
Pij 0 untuk semua i dan j

P ij 1
dan j untuk i = 0, 1, 2,
 Matriks peluang transisi dan sebaran peluang untuk initial
process dapat mendefinisikan proses secara lengkap:
Peluang gabungan dari proses Markov sejak proses tersebut
dimulai

Pr{ X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1 , X n in }

Perhitungan peluang gabungan

Memanfaatkan sifat peluang bersyarat P A, B P A B P A B

Pr{ X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1 , X n in }

Pr{ X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1}
Pr X n in X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1
 Dengan sifat bahwa nilai peubah pada waktu ke
n+1 hanya tergantung pada nilai peubah pada
waktu ke n (waktu sebelumnya)

Pr X n in X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1 Pr X n in X n 1 in 1

Peluang gabungan dalam bentuk peluang bersyarat:

Pr{ X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1 , X n in }
Pr{ X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1}
Pr X n in X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1
Pr X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1 Pr X n in X n 1 in 1
Pin 1 ,in
 Secara rekursif akan diperoleh hubungan berikut:
Pr{ X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1 , X n in }

pi0 Pi0i1 Pi1i2 Pin 1 ,in

Di mana Pr X 0 i0 pi 0
Contoh:
Misalkan pada kasus cuaca:
Peluang hari hujan adalah 0.3
Peluang hari tidak hujan adalah 0.7
Pr X 0 1 p1 0.3 Pr X 0 0 p 0 0.7
Dengan matriks peluang transisi yang sudah
didefinisikan:
0 1
P 0 0.8 0.2
1 0.6 0.4

Pr X 0 1, X 1 0, X 2 1, X 3 0 p1 P10 P01 P10

0.3 0.6 0.2 0.6 0.0216
 Pr X 0 1, X 1 0, X 2 1, X 3 0 0.0216

Peluang bahwa dalam beberapa hari berturut-turut (4

hari) terjadi urutan cuaca berikut
Hujan, Tidak Hujan, Hujan, Tidak Hujan
Sebesar 2%
Transisi n langkah dari Rantai Markov
Matriks peluang transisi hanya mendefinisikan proses
perubahan dari state i ke state j dalam satu langkah
(periode m ke m+1)

Bagaimana jika ingin diketahui perubahan proses dari

state i ke state j dalam n langkah (periode m ke m+n)?
Contoh Pada Kasus Cuaca
0 1 0.4 0.6
0.8
P 0 0.8 0.2
1 0.6 0.4 Hujan Tidak
Hujan

0.2
Peluang hari ini hujan dengan syarat kemarin tidak hujan
adalah 0.2
Bagaimana peluang bahwa besok hujan jika kemarin tidak
hujan?
Kemarin Hari ini Besok
Tidak 0. Tidak 0. P012 P00 P01 P01P11
Huja Huja
Huja 8 2 n
n n 0.8 0.2 0.2 0.4
0.
Huja 0.
2 n 4 0.24
 Perhatikan bahwa:
1
P P00 P01 P01P11 P0 k Pk 1
2
01
k 0
Yang merupakan elemen untuk baris nol kolom 1 pada
matriks P2
0 1
0.8 0.2 0.8 0.2 0 0.56 0.24
P
2

0 .6 0. 4
0. 6 0 .4
1 0.72 0.28
Transisi n langkah dari Rantai Markov
(lanjut)
Peluang transisi n langkah dari rantai Markov
memenuhi (Chapman-Kolmogorov equations):

P (n)
ij Pik Pkj( n 1)
k 0

Yang merupakan elemen dari:

P( n ) P P
P P n

nfaktor
Contoh:
Misalkan bahwa produk yang dihasilkan oleh suatu
mesin dapat digolongkan menjadi defective atau
non-defective (cacat dan tidak cacat)

Diasumsikan (akibat kecenderungan mesin atau

bahan mentah) bahwa cacat atau tidaknya suatu
produk dipengaruhi oleh kategori dari produk
sebelumnya

0, jikaprodukke n tidakcacat
Xn
1, jikaprodukke n cacat
 Dengan matriks peluang transisi:
0 1
P 0 0.99 0.01
1 0.08 0.92

Berapa peluang diperolehnya produk keempat

cacat jika produk pertama cacat
Pr X 4 1 | X 1 1 P11 3

Elemen baris 1 kolom 1 pada

matriks P3
Contoh Rantai Markov Pada Sistem Sediaan
Pada suatu sistem persediaan (gudang)
Harus selalu ada stok untuk memenuhi permintaan
Misal: Pengisian persediaan dilakukan setiap akhir minggu
ke n = 0, 1, 2, .
Total permintaan pada minggu ke n adalah peubah acak
n (misalkan hanya ada 0, 1, atau 2 permintaan) dengan
peluang:
Prn 0 a0 0.5 Prn 1 a1 0.4 Prn 2 a2 0.1

Jika secara umum k menunjukkan

kemungkinan jumlah permintaan, k =
0, 1, 2
Prn k ak ak 0, ak
k 0
 Pengisian stok berdasarkan jumlah persediaan di akhir
minggu ke n (Xn):
Jika Xn s unit pengisian stok dilakukan sampai dengan S unit
(S>s)
Jika Xn > s unit, tidak perlu dilakukan pengisian stok

Xn adalah proses stokastik dengan kemungkinan state:

S, S-1, , 1, 0, -1, -2,
Xn<0 jika terjadi back order

Misalkan S=2 dan s=0, maka:

Jika Xn 0 unit pengisian stok dilakukan sampai dengan 2 unit
Jika Xn > 0 unit, tidak perlu dilakukan pengisian stok
 Jumlah persediaan di akhir minggu ke n+1
(Xn+1) dipengaruhi oleh:
Jumlah persediaan di akhir minggu ke n (Xn)
Demand pada minggu ke n+1 (n+1 )
Dilakukan pengisian stok atau tidak
X n n 1, jika s X n S Pengisian tidak
X n 1 dilakukan
S n 1, jika X n s Pengisian dilakukan

X n n 1, jika 0 X n 2
X n 1
2 n 1, jika X n 0
2, 1, 0, -1 adalah kemungkinan state
dari Xn
 Xn adalah rantai markov (diskrit) karena:
State Xn+1 tergantung dari state di periode
sebelumnya, Xn
Transition probability dari sistem sediaan ini adalah:
Pij Pr X n 1 j | X n i

Pr X n n 1 j | X n i , jika s i S
Pij
Pr S n 1 j | X n i ,jika i s

Pr n 1 i j, jika s i S Pengisian tidak

Pij dilakukan
Pr n 1 S j, jika i s Pengisian dilakukan
 Dengan S=2, s=0
Prn 1 i j, jika 0 i 2
Pij Pr X n 1 j | X n i
Prn 1 2 j, jika i 0
Pada i=1 di akhir periode n, terdapat kemungkinan j=-1, 0, 1 di akhir
periode n+1
Perhitungan peluang transisi:

Akhir Periode n Demand Akhir Periode

n+1
0 j=1 P11 Pr n 1 0 0.5
i=1
1 j=0 P10 Pr n 1 1 0.4

2 j=-1 P1, 1 Pr n 1 2 0.1

 Pada i=2 di akhir periode n, terdapat kemungkinan
j= 0, 1, 2 di akhir periode n+1
Dengan cara perhitungan peluang transisi yang
sama seperti pada i=1
 Pada i=0 di akhir periode n, terdapat kemungkinan j= 0, 1, 2 di
akhir periode n+1
Pada i=0 terjadi pengisian stok, menjadi 2 unit di awal periode n+1
Dengan cara perhitungan peluang transisi:

Akhir Periode n Demand Akhir Periode n+1

0 j=0+2-
0=2
P02 Prn 1 0 0.5
i=0
1 j=0+2-1=1 P01 Pr n 1 1 0.4

2 j=0+2-2=0 P00 Prn 1 2 0.1

 Pada i=-1 di akhir periode n, terdapat
kemungkinan j= -1, 0, 1 di akhir periode n+1
Dengan cara perhitungan peluang transisi:

Akhir Periode n Demand Akhir Periode n+1

0 j=-1+3-
0=2
P1, 2 Pr n 1 0 0.5
i=-1
1 j=-1+3-
1=1
P1,1 Pr n 1 1 0.4

2
j=-1+3-
2=0 P1, 0 Pr n 1 2 0.1
 Dengan matriks peluang transisi
selengkapnya:
1 0 1 2
1 0 0.1 0.4 0.5
0.1 0.4 0.5
P 0 0
1 0.1 0.4 0.5 0

2 0 0.1 0.4 0.5
Contoh Rantai Markov Pada Sistem Antrian

Pelanggan datang dan menunggu di

pemberhentian taxi
Taxi datang setiap 5 menit
Jika dalam kurun waktu 5 menit ada pelanggan
datang, taxi yang datang segera melayani 1
pelanggan yang datang paling awal, pelanggan
selainnya menunggu di antrian (kedatangan 5
menit berikutnya)
Jika dalam kurun waktu 5 menit tidak ada
pelanggan datang, taxi segera berangkat kembali
 Waktu pengamatan dibagi setiap periode 5 menit,
Akhir periode adalah pada saat kedatangan taxi
Pengamatan Xn:
Jumlah pelanggan yang menunggu di antrian pada
awal periode n
Dengan kemungkinan state: 0, 1, 2,
Dalam satu periode terdapat beberapa
kemungkinan jumlah pelanggan yang datang,
dengan n dengan sebaran peluang:

Prn k ak

k menunjukkan kemungkinan jumlah
a
pelanggan yang datang, k = 0, 1, 2, k
0, ak
k 0
 Jumlah pelanggan di awal periode n+1 (Xn+1)
tergantung pada:
Jumlah pelanggan di awal periode sebelumnya (Xn)
Jumlah pelanggan yang datang di periode n, (n )

X n 1 n , jika X n 0
X n 1
n , jika X n 0
Dengan peluang transisi jika Xn>0:

Pij Pr X n 1 j | X n i Pr X n 1 n j | X n i
Pri 1 n j Prn j 1 i
 X n 1 n , jika X n 0
X n 1
n , jika X n 0

Jika Xn=0, pada periode n taksi tidak melayani siapapun:

P0 j Pr X n 1 j | X n 0 Prn j a j

Jika Xn=1, pada periode n taksi melayani satu penumpang

ini, selainnya menunggu untuk periode berikutnya:

P1 j Pr X n 1 j | X n 1 Pr n j a j
Jika Xn=2: Dst untuk i yang
lainnya
P2 j Pr X n 1 j | X n 2 Prn j 1 a j 1
 Dengan matriks peluang tansisi selengkapnya

0 1 2 3 4
0 a0 a1 a2 a3 a4
1 a0 a1 a2 a3 a4

P 2 0 a0 a1 a2 a3

3 0 0 a0 a1 a2
4 0 0 0 a0 a!