Proses Stokastik

Semester Ganjil 2013/2014

DR. Rahma Fitriani, S.Si., M.Sc

Proses Stokastik
X X t , t T .
Peubah acak yang merupakan fungsi dari t

Index t paling sering mewakili waktu

Xt adalah state dari proses pada waktu t.

Himpunan T: index set dari proses

Jika T bersifat diskrit

Jika T bersifat kontinyu

A discrete-time proses.

A continuous time proses

State space E: himpunan seluruh kemungkinan nilai peubah acak Xt

2

Proses Stokastik
Contoh:
Suhu di kota Malang pada Rabu, 12 Oktober
2011

T = [00.00 Rabu dini hari, 00.00 Kamis dini hari]

E= himpunan bilangan riil yang mewakili suhu

Jika pengamatan suhu dilakukan per jam,

dalam kurun waktu tersebut:

Proses stokastik dalam waktu diskrit

(Discrete time stochastic process)

Stokastik Proses dalam peramalan cuaca:

Markov Chain
Peluang cuaca besok dipengaruhi oleh cuaca hari ini
Jika hari ini hujan

40% kemungkinan besok hujan

60% kemungkinan besok tidak hujan

Jika hari ini tidak hujan

20% kemungkinan besok hujan

80% kemungkinan besok tidak hujan

0.6

0.4

Hujan

0.8
Tidak
Hujan

0.2

Discrete Time Markov Chain

Pr{ X n 1 j | X n i, X n 1 in 1 , , X 1 i1 , X 0 i0 }
Pr X n 1 j | X n i Pij
Transition
Probability

Proses stokastik dengan memori yang terbatas

Nilai peubah pada waktu ke n+1 hanya tergantung pada nilai

peubah pada waktu ke n (waktu sebelumnya)

Indeks menunjukkan waktu diskrit, n+1, n, n-1, , 0. n>0

E= himpunan seluruh kemungkinan nilai peubah (State): i, j, in-1,

, i0

Pada Contoh Cuaca

Himpunan State yang mungkin, E: Hujan, Tidak

Hujan
n: indeks yang menunjukkan hari ke n
Xn merupakan realisasi dari cuaca pada hari ke n

Hujan : 1
Xn
Tidak Huja n : 0
Cuaca pada suatu hari hanya dipengaruhi oleh cuaca pada
hari sebelumnya
Digambarkan dalam transition probability function:

Pr X n 1 j | X n i Pij

Transition probability dinyatakan secara

lengkap dalam transition probability matrice
Ukuran matriks bersesuaian dengan jumlah
seluruh state yang mungin
Pada kasus cuaca: ada 2 kemungkinan
Matriks berukuran 2 2
0 1
P 0 0.8 0.2
1 0.6 0.4
0 1
P 0 P00 P01
1 P10 P11

0.6

0.4

Hujan

0.8
Tidak
Hujan

0.2

Sifat Discrete Time Markov Chain (lanjut)

State berupa bilangan bulat tidak negatif {0, 1, 2, }

Xn = j :

Peluang transisi satu langkah Pij:

Rantai markov pada waktu n berada pada state j.

Peluang Xn+1 berada pada state j dengan syarat Xn berada pada
state i

Peluang transisi satu langkah untuk seluruh kemungkinan

nilai i dan j dinyatakan dalam transition probability matrix
P00
P
10
P20

P01
P11
P21

P02
P12
P22

Pi 0

Pi1

Pi 2

P03
P13

P23

Pi 3

Syarat bagi elemen transition probability

matrix
Pij 0 untuk semua i dan j
dan

ij

1
untuk i = 0, 1, 2,

Matriks peluang transisi dan sebaran peluang untuk initial

process dapat mendefinisikan proses secara lengkap:

Peluang gabungan dari proses Markov sejak proses tersebut

dimulai

Pr{ X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1 , X n in }

Perhitungan peluang gabungan

Memanfaatkan sifat peluang bersyarat P A, B P A B P A B

Pr{ X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1 , X n in }
Pr{ X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1}

Pr X n in X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1

Dengan sifat bahwa nilai peubah pada waktu ke

n+1 hanya tergantung pada nilai peubah pada
waktu ke n (waktu sebelumnya)

Pr X n in X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1 Pr X n in X n 1 in 1

Peluang gabungan dalam bentuk peluang bersyarat:

Pr{ X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1 , X n in }
Pr{ X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1}

Pr X n in X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1

Pr X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1 Pr X n in X n 1 in 1
Pin 1 ,in

Secara rekursif akan diperoleh hubungan berikut:

Pr{ X 0 i0 , X 1 i1 , X 2 i2 ,, X n 1 in 1 , X n in }

pi0 Pi0i1 Pi1i2 Pin 1 ,in

Di mana Pr X 0 i0 pi

Contoh:

Misalkan pada kasus cuaca:

Peluang hari hujan adalah 0.3

Peluang hari tidak hujan adalah 0.7
Pr X 0 1 p1 0.3

Pr X 0 0 p 0 0.7

Dengan matriks peluang transisi yang sudah

didefinisikan:
0 1
P 0 0.8 0.2
1 0.6 0.4

Pr X 0 1, X 1 0, X 2 1, X 3 0 p1 P10 P01 P10

0.3 0.6 0.2 0.6 0.0216

Pr X 0 1, X 1 0, X 2 1, X 3 0 0.0216

Peluang bahwa dalam beberapa hari berturut-turut (4

hari) terjadi urutan cuaca berikut

Hujan, Tidak Hujan, Hujan, Tidak Hujan

Sebesar 2%

Transisi n langkah dari Rantai Markov

Matriks peluang transisi hanya mendefinisikan proses

perubahan dari state i ke state j dalam satu langkah
(periode m ke m+1)

Bagaimana jika ingin diketahui perubahan proses dari

state i ke state j dalam n langkah (periode m ke m+n)?

Contoh Pada Kasus Cuaca

0 1
P 0 0.8 0.2
1 0.6 0.4

0.6

0.4

Hujan

0.8
Tidak
Hujan

0.2

Peluang hari ini hujan dengan syarat kemarin tidak hujan

adalah 0.2
Bagaimana peluang bahwa besok hujan jika kemarin tidak
hujan?
Kemarin
Tidak 0.
Huja 8
n

0.
2

Hari ini
Tidak
Huja
n
Huja
n

Besok
0.
2

Huja
n

0.
4

P012 P00 P01 P01P11

0.8 0.2 0.2 0.4
0.24

Perhatikan bahwa:
1

P P00 P01 P01P11 P0 k Pk 1

2
01

k 0

Yang merupakan elemen untuk baris nol kolom 1 pada

matriks P2

0.8 0.2 0.8 0.2

P

0
.
6
0
.
4
0
.
6
0
.
4

0 1
0 0.56 0.24
1 0.72 0.28

Transisi n langkah dari Rantai Markov

(lanjut)

Peluang transisi n langkah dari rantai Markov

memenuhi (Chapman-Kolmogorov equations):
(n)
ij

Pik Pkj( n 1)
k 0

Yang merupakan elemen dari:

n
P( n ) P

P

nfaktor

Contoh:

Misalkan bahwa produk yang dihasilkan oleh suatu

mesin dapat digolongkan menjadi defective atau
non-defective (cacat dan tidak cacat)

Diasumsikan (akibat kecenderungan mesin atau

bahan mentah) bahwa cacat atau tidaknya suatu
produk dipengaruhi oleh kategori dari produk
sebelumnya

0, jikaprodukke n tidakcacat
Xn
jikaprodukke n cacat
1,

Dengan matriks peluang transisi:

0 1
P 0 0.99 0.01
1 0.08 0.92

Berapa peluang diperolehnya produk keempat

cacat jika produk pertama cacat
Pr X 4 1 | X 1 1 P11 3
Elemen baris 1 kolom 1 pada
matriks P3

Contoh Rantai Markov Pada Sistem Sediaan

Pada suatu sistem persediaan (gudang)

Harus selalu ada stok untuk memenuhi permintaan
Misal: Pengisian persediaan dilakukan setiap akhir minggu
ke n = 0, 1, 2, .
Total permintaan pada minggu ke n adalah peubah acak
n (misalkan hanya ada 0, 1, atau 2 permintaan) dengan
peluang:

Prn 0 a0 0.5

Prn 1 a1 0.4

Prn 2 a2 0.1

Jika secara umum k menunjukkan

kemungkinan jumlah permintaan, k =
0, 1, 2

Prn k ak
ak 0, ak
k 0

Pengisian stok berdasarkan jumlah persediaan di akhir

minggu ke n (Xn):

Xn adalah proses stokastik dengan kemungkinan state:

Jika Xn s unit pengisian stok dilakukan sampai dengan S unit

(S>s)
Jika Xn > s unit, tidak perlu dilakukan pengisian stok

S, S-1, , 1, 0, -1, -2,

Xn<0 jika terjadi back order

Misalkan S=2 dan s=0, maka:

Jika Xn 0 unit pengisian stok dilakukan sampai dengan 2 unit

Jika Xn > 0 unit, tidak perlu dilakukan pengisian stok

Jumlah persediaan di akhir minggu ke n+1

(Xn+1) dipengaruhi oleh:

Jumlah persediaan di akhir minggu ke n (Xn)

Demand pada minggu ke n+1 (n+1 )

Dilakukan pengisian stok atau tidak

X n n 1, jika s X n S
X n 1
S n 1, jika X n s

Pengisian tidak
dilakukan
Pengisian dilakukan

X n n 1, jika 0 X n 2
X n 1
2 n 1, jika X n 0
2, 1, 0, -1 adalah kemungkinan state
dari Xn

Xn adalah rantai markov (diskrit) karena:

State Xn+1 tergantung dari state di periode
sebelumnya, Xn

Transition probability dari sistem sediaan ini adalah:

Pij Pr X n 1 j | X n i
Pr X n n 1 j | X n i , jika s i S
Pij
Pr S n 1 j | X n i ,jika i s

Pr n 1 i j, jika s i S
Pij
Pr n 1 S j, jika i s

Pengisian tidak
dilakukan
Pengisian dilakukan

Dengan S=2, s=0

Prn 1 i j, jika 0 i 2
Pij Pr X n 1 j | X n i
Prn 1 2 j, jika i 0

Pada i=1 di akhir periode n, terdapat kemungkinan j=-1, 0, 1 di akhir

periode n+1
Perhitungan peluang transisi:

Akhir Periode n

Demand
0

i=1
1
2

Akhir Periode
n+1
j=1

P11 Pr n 1 0 0.5

j=0

P10 Pr n 1 1 0.4

j=-1

P1, 1 Pr n 1 2 0.1

Pada i=2 di akhir periode n, terdapat kemungkinan

j= 0, 1, 2 di akhir periode n+1
Dengan cara perhitungan peluang transisi yang
sama seperti pada i=1

Pada i=0 di akhir periode n, terdapat kemungkinan j= 0, 1, 2 di

akhir periode n+1
Pada i=0 terjadi pengisian stok, menjadi 2 unit di awal periode n+1
Dengan cara perhitungan peluang transisi:

Akhir Periode n

Demand
0

i=0
1
2

Akhir Periode n+1

j=0+20=2

j=0+2-1=1

j=0+2-2=0

P02 Prn 1 0 0.5

P01 Pr n 1 1 0.4

P00 Prn 1 2 0.1

Pada i=-1 di akhir periode n, terdapat

kemungkinan j= -1, 0, 1 di akhir periode n+1
Dengan cara perhitungan peluang transisi:

Akhir Periode n

Demand

Akhir Periode n+1

j=-1+30=2

P1, 2 Pr n 1 0 0.5

j=-1+31=1

P1,1 Pr n 1 1 0.4

i=-1

j=-1+32=0

P1, 0 Pr n 1 2 0.1

Dengan matriks peluang transisi

selengkapnya:
1
1 0

P 0 0
1 0.1

2 0

0 1
2
0.1 0.4 0.5
0.1 0.4 0.5
0.4 0.5 0

0.1 0.4 0.5

Contoh Rantai Markov Pada Sistem Antrian

Pelanggan datang dan menunggu di

pemberhentian taxi
Taxi datang setiap 5 menit
Jika dalam kurun waktu 5 menit ada pelanggan
datang, taxi yang datang segera melayani 1
pelanggan yang datang paling awal, pelanggan
selainnya menunggu di antrian (kedatangan 5
menit berikutnya)
Jika dalam kurun waktu 5 menit tidak ada
pelanggan datang, taxi segera berangkat kembali

Waktu pengamatan dibagi setiap periode 5 menit,

Akhir periode adalah pada saat kedatangan taxi
Pengamatan Xn:

Jumlah pelanggan yang menunggu di antrian pada

awal periode n
Dengan kemungkinan state: 0, 1, 2,

Dalam satu periode terdapat beberapa

kemungkinan jumlah pelanggan yang datang,
dengan n dengan sebaran peluang:

Prn k ak
k menunjukkan kemungkinan jumlah
a
pelanggan yang datang, k = 0, 1, 2, k

0, ak
k 0

Jumlah pelanggan di awal periode n+1 (Xn+1)

tergantung pada:

Jumlah pelanggan di awal periode sebelumnya (Xn)

Jumlah pelanggan yang datang di periode n, (n )
X n 1 n , jika X n 0
X n 1
jika X n 0
n ,

Dengan peluang transisi jika Xn>0:

Pij Pr X n 1 j | X n i Pr X n 1 n j | X n i
Pri 1 n j

Prn j 1 i

 X n 1 n , jika X n 0
X n 1
jika X n 0
n ,

Jika Xn=0, pada periode n taksi tidak melayani siapapun:

P0 j Pr X n 1 j | X n 0 Prn j a j

Jika Xn=1, pada periode n taksi melayani satu penumpang

ini, selainnya menunggu untuk periode berikutnya:

P1 j Pr X n 1 j | X n 1 Pr n j a j

Jika Xn=2:

Dst untuk i yang

lainnya

P2 j Pr X n 1 j | X n 2 Prn j 1 a j 1

Dengan matriks peluang tansisi selengkapnya

0 1
0 a0 a1
1 a0 a1

P 2 0 a0

3 0 0
4 0 0

2
a2

3 4
a3 a4
a2 a3 a4

a1 a2 a3

a0 a1 a2
0 a0 a!