4 Maret 2021

Terminologi
• Proses: bergantung kepada waktu
• Stokastik : bersifat probabilitas (tidak pasti)
Contoh: Pelemparan Koin
- deterministik : koin jatuh ke lantai
- stokastik: muncul kepala atau ekor

A stochastic process {X(t), t  T} is a collection of random

variables X(t) indexed by t. That is, for each t  T, X(t) is a
random variable, with t often interpreted as time and the values
of X(t) referred to as states of the process.

STAT306, Term II, 09/10

 Proses Stokastik
• Proses stokastik :
- Suatu barisan kejadian yang memenuhi
hukum-hukum peluang [Karlin & Taylor]

• Banyak digunakan untuk memodelkan

evolusi suatu sistem yang memuat suatu
ketidakpastian atau sistem yang dijalankan
pada suatu lingkungan yang tidak dapat
diduga, dimana model deterministik tidak lagi
cocok dipakai untuk menganalisa sistem

STAT306, Term II, 09/10

 Contoh :
• Barisan waktu hidup lampu pijar yang dipasang
pada suatu tempat
• Barisan jumlah uang yang didapat dari hasil
penjualan setiap harinya
• Barisan banyaknya pasien yang datang kesuatu RS
• Barisan banyaknya klaim yang datang ke suatu
perusahaan asuransi
Pada barisan diatas aspek ketidakpastian muncul
secara dominan sehingga evolusi sistem lebih baik
dimodelkan menjadi proses-proses stokastik

STAT306, Term II, 09/10

 Definisi formal
• Proses stokastik :
- Himpunan variabel random yang diindeks dengan
parameter yang mempunyai urutan
Dpl : barisan variabel random
• Notasi :
Proses stokastik X={X(t), t Є T} atau X={Xt, t Є T}
• Seringkali diinterpretasikan indeks t sebagai waktu
• Nilai variabel random X(t) disebut “keadaan” pada waktu t
• Himpunan T disebut ruang parameter atau ruang indeks
dari proses stokastik X
• Himpunan semua nilai X(t) yang mungkin dinamakan
ruang keadaan dari X.

STAT306, Term II, 09/10

 Fokus :
• Kelakuan dari proses setelah proses tersebut
berjalan lama
• Mengingat proses memuat ketidakpastian,
secara matematis kelakuan dari proses
tersebut dapat digambarkan melalui
distribusi peluang dari X(t) atau fungsi dari
X(t) untuk t → ∞
• Berdasarkan distribusi peluang ini akan
didapatkan beberapa nilai ekspektasi dari
besaran-besaran yang menjadi perhatian
kita

STAT306, Term II, 09/10

 Klasifikasi Proses Stokastik

• Proses stokastik dapat diklasifikasikan berdasarkan jenis

ruang parameter, ruang keadaan, dan kaitan antara
variabel random yang membentuk proses stokastik
tersebut

• Klasifikasi berdasarkan jenis ruang parameter dan ruang

keadaannya adalah :
1. Proses stokastik dengan ruang parameter diskrit dan
ruang keadaan diskrit
Contoh :
- stasiun TV yang paling banyak ditonton di Indonesia
berdasarkan survey bulanan
- Banyaknya sepatu yang dibeli dari sebuah toko
perhari

STAT306, Term II, 09/10

• Proses stokastik dapat diklasifikasikan berdasarkan jenis
ruang parameter, ruang keadaan, dan kaitan antara
variabel random yang membentuk proses stokastik
tersebut
• Klasifikasi berdasarkan jenis ruang parameter dan ruang
keadaannya adalah :
1. Proses stokastik dengan ruang parameter diskrit dan
ruang keadaan diskrit
Contoh :
- stasiun TV yang paling banyak ditonton di Indonesia
berdasarkan survey bulanan
1. X(1)= banyaknya penonton stasiun TV ?? pada bulan ke 1
2. X(1)= stasiun TV dengan jumlah penonton terbanyak pada
bulan 1 X={x1,x2,x3,…}= {0,0,1,1,2,0,…} , RK=S={0,1,2,..10}
- Banyaknya sepatu yang dibeli dari sebuah toko
perhari, S={0,1,2,3,…
STAT306, Term II, 09/10
 2. Proses stokastik dengan ruang parameter kontinu dan
ruang keadaan diskrit
Contoh :
- Banyaknya kertas fotocopy yang dibutuhkan
Departemen Matematika UI dalam selang waktu
tertentu X(0,1)=100
- Banyaknya tikus yang sudah terperangkap di suatu
perangkap pada waktu t sebarang (0,t)

3. Proses stokastik dengan ruang parameter diskrit dan

ruang keadaan kontinu
Contoh :
- Volume air di suatu bendungan yang diteliti tiap
pukul 7 pagi
- Waktu untuk melayani mahasiswa ke n yang datang
untuk meminta pelayanan administrasi akademik
STAT306, Term II, 09/10
 4. Proses stokastik dengan ruang parameter kontinu dan
ruang keadaan kontinu
Contoh : Volume air di suatu bendungan yang diteliti
pada waktu t sebarang

Proses Stokastik yang akan dibahas :

1. Markov Chain
2. The long run behavior of Markov Chain
3. Poisson Processes
4. Continuous Time Markov Chain

STAT306, Term II, 09/10

 Definition of Markov Chains
Definition 4.1. A Markov process {Xt} is a stochastic process
with the property that, given the value of Xt, the values of Xs for
s > t are not influenced by the values of Xu, u < t.
In other words, the probability of any particular future behavior
of the process, when its current state is known exactly, is not
altered by additional knowledge concerning its past behavior.
This property is called the Markov Property.
Definition 4.2. A discrete-time Markov chain (DTMC) is a
Markov process {Xn} whose state space is a finite or countable
set, and whose time index set is T = {0, 1, 2, . . .}. In formal
terms, the Markov property for a discrete-time Markov chain is,

P{Xn+1 = j | X0 = i0, . . . , Xn−1 = in−1, Xn = i} = P{Xn+1 = j | Xn = i}

S={0,1} X(t)=kondisi cuaca pada hari ke-t, X(1)=0,
X={0,0,0,1,1,1,1,1,1,0,….}
 Definition of Markov Chains
It is often convenient to label the state space of the Markov
chain by the non-negative integers {0, 1, 2, . . .} unless specified,
and it is customary to speak of Xn as being in state i if Xn = i.

Definition 4.3 (Transition Probability). Suppose that the

(conditional) probability of Xn+1 being in state j given that Xn is in
state i is constant over time, i.e,
Pij = P{Xn+1 = j | Xn = i}, for all n,
Then Pij is called the one-step transition probability.
P00 P01 P02 
The matrix of all possible transition P10 P11 P12 
probabilities is called the transition P=    
Pi 0 Pi1 Pi 2 
probability matrix, denoted by P.    
 Definition of Markov Chains
Property 1: Since probabilities are nonnegative, and since the
process must make a transition (from time n to tome n+1, say)
into some state, we have

Pij  0, i, j  0; P
j =0
ij = 1, i = 0, 1, 2, 
That is, each row in P sums to 1.

Example 4.1 (Forecasting the Weather). Suppose that the chance

of rain tomorrow depends on previous weather condition only
through whether or not it is raining today and not on the past
weather conditions. Suppose also that if it rains today, then it will
rain tomorrow with probability ; and if it does not rain today,
then it will rain tomorrow with probability . Then this gives a
Markov chain with two states (0 = rain,  1−
1 = not rain), and transition probabilities: P =  1− 
Contoh 1 :
Contoh 2 :

Senin Selasa Rabu Kamis

0 0 0

Pij=P03=0=P(Xn+1=1|Xn=0)
Xn=i=1=10
 Contoh 3 :

X(t)=0, P00=3/4 ???

P02=0
 Example 4:

• On any given day, Gary is either cheerful (C) ;

so-so (S), glum (G)
• If he is C today, then he will be C, S,or G tomorrow with
respective probabilities 0.5, 0.4, 0.1
• If he is feeling S today, he will be C, S,or G tomorrow with
respective probabilities 0.3, 0.4, 0.3
• If he is feeling G today, he will be C, S,or G tomorrow with
respective probabilities 0.2, 0.3, 0.5
• Letting Xn denote Gary’s mood on the nth day,
then
 X n , n  0 is three-state Markov chain ?
• What is transition probability matrix ?