Proses Stokastik

Semester Ganjil
Proses Stokastik
X   X t , t T  .
 Peubah acak yang merupakan fungsi dari t

 Index t paling sering mewakili waktu

 Xt adalah state dari proses pada waktu t.

 Himpunan T: index set dari proses

 Jika T bersifat diskrit

 A discrete-time proses.

 Jika T bersifat kontinyu

 A continuous time proses

 State space E: himpunan seluruh kemungkinan nilai peubah acak Xt

2
Proses Stokastik
 Contoh:
 Banyaknya pengunjung yang masuk toko swalayan
selama periode waktu tertentu (0,t)
 T = Banyaknya pengunjung selama 2 jam
 E= {0,1,2,…}

 Jika pengamatan suhu dilakukan per jam, dalam

kurun waktu tersebut:
 Proses stokastik dalam waktu diskrit (Discrete
time stochastic process)

3
Stokastik Proses dalam peramalan cuaca: Markov Chain

Peluang cuaca besok dipengaruhi oleh cuaca hari ini

• Jika hari ini hujan 40% kemungkinan besok hujan
60% kemungkinan besok tidak hujan

• Jika hari ini tidak hujan 20% kemungkinan besok hujan

80% kemungkinan besok tidak hujan

0.4 0.6
0.8

Hujan Tidak
Hujan

0.2
4
Discrete Time Markov Chain
Pr{ X n 1  j | X n  i, X n 1  in 1 ,  , X 1  i1 , X 0  i0 }
 Pr X n 1  j | X n  i  Pij

Transition Probability

 Proses stokastik dengan memori yang terbatas

 Nilai peubah pada waktu ke n+1 hanya tergantung pada nilai peubah pada
waktu ke n (waktu sebelumnya)

 Indeks menunjukkan waktu diskrit, n+1, n, n-1, …, 0. n>0

 E= himpunan seluruh kemungkinan nilai peubah (State): i, j, in-1, …, i0

Pada Contoh Cuaca
 Himpunan State yang mungkin, E: Hujan, Tidak Hujan
 n: indeks yang menunjukkan hari ke – n
 Xn merupakan realisasi dari cuaca pada hari ke – n

 Hujan : 1
Xn  
Tidak Huja n : 0
 Cuaca pada suatu hari hanya dipengaruhi oleh cuaca pada hari
sebelumnya
 Digambarkan dalam transition probability function:

Pr X n 1  j | X n  i  Pij
 Transition probability dinyatakan secara lengkap dalam
transition probability matrice
 Ukuran matriks bersesuaian dengan jumlah seluruh state
yang mungin
 Pada kasus cuaca: ada 2 kemungkinan
 Matriks berukuran 2 × 2
0 1
0.6
P  0 0.8 0.2 0.4 0.8
1 0.6 0.4
Hujan Tidak
0 1 Hujan
P  0  P00 P01 
1  P10 P11  0.2
Sifat Discrete Time Markov Chain (lanjut)
 State berupa bilangan bulat tidak negatif {0, 1, 2, …}
 Xn = j :
 Rantai markov pada waktu n berada pada state j.
 Peluang transisi satu langkah Pij:
 Peluang Xn+1 berada pada state j dengan syarat Xn berada pada state i
 Peluang transisi satu langkah untuk seluruh kemungkinan nilai i
dan j dinyatakan dalam transition probability matrix
 P00 P01 P02 P03 
P P11 P12 P13 
 10 
P P21 P22 P23 
P   20 
     
 Pi 0 Pi1 Pi 2 Pi 3 
 
     .
 Syarat bagi elemen transition probability matrix
Pij  0 untuk semua i dan j

 dan P
j
ij  1untuk i = 0, 1, 2, …
 Matriks peluang transisi dan sebaran peluang untuk initial process
dapat mendefinisikan proses secara lengkap:
 Peluang gabungan dari proses Markov sejak proses tersebut dimulai

Pr{ X 0  i0 , X 1  i1 , X 2  i2 ,, X n 1  in 1 , X n  in }

 Perhitungan peluang gabungan

 
P A, B   P A B P B 
 Memanfaatkan sifat peluang bersyarat

Pr{ X 0  i0 , X 1  i1 , X 2  i2 ,, X n 1  in 1 , X n  in } 

Pr{ X 0  i0 , X 1  i1 , X 2  i2 ,, X n 1  in 1} 

Pr X n  in X 0  i0 , X 1  i1 , X 2  i2 ,, X n 1  in 1
 Dengan sifat bahwa nilai peubah pada waktu ke n+1 hanya
tergantung pada nilai peubah pada waktu ke n (waktu
sebelumnya)

Pr  X n  in X 0  i0 , X 1  i1 , X 2  i2 ,, X n 1  in 1   Pr  X n  in X n 1  in 1 

 Peluang gabungan dalam bentuk peluang bersyarat:

Pr{ X 0  i0 , X 1  i1 , X 2  i2 ,, X n 1  in 1 , X n  in } 
Pr{ X 0  i0 , X 1  i1 , X 2  i2 ,, X n 1  in 1} 
Pr X n  in X 0  i0 , X 1  i1 , X 2  i2 ,, X n 1  in 1 
 Pr X 0  i0 , X 1  i1 , X 2  i2 ,, X n 1  in 1  Pr X n  in X n 1  in 1
Pin 1 ,in
 Secara rekursif akan diperoleh hubungan berikut:
Pr{ X 0  i0 , X 1  i1 , X 2  i2 ,, X n 1  in 1 , X n  in } 
 i0 Pi0i1 Pi1i2  Pin1 ,in

 Di mana Pr X 0  i0    i0
Contoh:
 Misalkan pada kasus cuaca:
 Peluang hari hujan adalah 0.3
 Peluang hari tidak hujan adalah 0.7
Pr X 0  1  p1  0.3 Pr X 0  0  p 0  0.7
 Dengan matriks peluang transisi yang sudah
didefinisikan:
0 1
P  0 0.8 0.2
1 0.6 0.4

Pr X 0  1, X 1  0, X 2  1, X 3  0  p1  P10  P01  P10

 0.3  0.6  0.2  0.6  0.0216
 Pr X 0  1, X 1  0, X 2  1, X 3  0  0.0216

 Peluang bahwa dalam beberapa hari berturut-turut (4 hari) terjadi

urutan cuaca berikut
 Hujan, Tidak Hujan, Hujan, Tidak Hujan
 Sebesar 2%
Transisi n langkah dari Rantai Markov
 Matriks peluang transisi hanya mendefinisikan proses
perubahan dari state i ke state j dalam satu langkah
(periode m ke m+1)

 Bagaimana jika ingin diketahui perubahan proses dari state

i ke state j dalam n langkah (periode m ke m+n)?
Contoh Pada Kasus Cuaca
0 1 0.4 0.6
0.8
P  0 0.8 0.2
1 0.6 0.4 Hujan Tidak
Hujan

0.2
 Peluang hari ini hujan dengan syarat kemarin tidak hujan adalah 0.2
 Bagaimana peluang bahwa besok hujan jika kemarin tidak hujan?

Kemarin Hari ini Besok

0.8 0.2 P012  P00 P01  P01P11
Tidak Tidak
Hujan Hujan
Hujan
 0.8  0.2  0.2  0.4
0.2
0.4
Hujan  0.24
 Perhatikan bahwa:
1
P  P00 P01  P01P11   P0 k Pk 1
2
01
k 0
 Yang merupakan elemen untuk baris nol kolom 1 pada matriks P2

0 1
0.8 0.2 0.8 0.2  0 0.56 0.24
P 
2
   0.72 0.28
 0 .6 0 .4   0 .6 0 . 4  1  
Transisi n langkah dari Rantai Markov
(lanjut)
 Peluang transisi n langkah dari rantai Markov memenuhi
(Chapman-Kolmogorov equations):

P (n)
ij   Pik Pkj( n 1)
k 0

 Yang merupakan elemen dari:

P( n )  P  P   
     P  P n

nfaktor
Contoh:
 Misalkan bahwa produk yang dihasilkan oleh suatu mesin
dapat digolongkan menjadi “defective” atau “non-defective”
(“cacat” dan “tidak cacat”)

 Diasumsikan (akibat kecenderungan mesin atau bahan mentah)

bahwa cacat atau tidaknya suatu produk dipengaruhi oleh
kategori dari produk sebelumnya

0, jika produk ke n tidak cacat

Xn  
1, jika produk ke n cacat