X

Pengantar Proses Stokastik

Makalah
Pengantar Proses Stokastik
“Persamaan Diferensial Kolmogorov dan Limit Peluang
pada Rantai Markov Kontinu”

Disusun oleh :

Amir Tjolleng 091013015

Yohana Pangemanan 091013004
Muliyati Gugutu 081013013

Dosen : Yohanes A. R. Langi, S.Si, M.Si

Fakultas Matematika dan Ilmu Pengetahuan Alam

Universitas Sam Ratulangi
Manado
2011

Jurusan Matematika Fakultas MIPA Universitas Sam Ratulangi Manado

 X
Pengantar Proses Stokastik

Kata Pengantar

Puji dan syukur penulis panjatkan kehadirat Tuhan Yang Maha Esa atas segala nikmat

dan karunia-Nya sehingga makalah tentang Pengantar Proses Stokastik dengan judul

“Persamaaan Diferensial kolmogorov dan Limit Peluang pada Rantai Markov

Kontinu” ini dapat diselesaikan dengan baik.

Makalah yang mengangkat topik tentang proses stokastik ini disusun sebagai salah

satu tugas dalam Mata Kuliah Pengantar Proses Stokastik di Jurusan Matematika FMIPA

Unsrat Manado dengan dosen penanggung jawab Bapak Yohanes Langi, S.Si,M.Si.

Penulis meyakini bahwa makalah ini masih jauh dari kesempurnaan. Oleh karena itu,

penulis sangat mengharapkan masukan dan kritik yang konstruktif dari pembaca baik dari

segi cara penulisan maupun isinya.

Demikianlah makalah ini kami susun. Besar harapan kami semoga makalah ini dapat

bermanfaat bagi kita semua.

Manado, Desember 2011

Penyusun

Daftar Isi

Jurusan Matematika Fakultas MIPA Universitas Sam Ratulangi Manado

 X
Pengantar Proses Stokastik

Kata Pengantari

Daftar Isiii

BAB I Persamaan Diferensial Kolmogorov1

BAB II Limit Peluang pada Rantai Markov Kontinu5

Jurusan Matematika Fakultas MIPA Universitas Sam Ratulangi Manado

 X
Pengantar Proses Stokastik

BAB I

PERSAMAAN DIFERENSIAL KOLMOGOROV

Persamaan Diferensial Kolmogrov

Untuk setiap pasang state I adalah j jika didefinisikan

q �� � j=vi Pij
Karena v i menyatakan laju proses yang berada di state i akan bertransisi dan Pij

meyatakan peluang bahwa proses tersebut akan bertransisi ke state j, maka qij menyatakan
laju proses yang berada di state i akan bertransisi ke state j.
Karena
v i=∑ v i P ij =∑ qij
∀j ∀j
dan
Pij qij
Pij = =
vi ∑ � ाा �ij
∀j
maka dapat dilihat bahwa kwantitas qij menetukan parameter dari proses.

Misalkan
Pij ( t )=P( X ( t +s )= ´j X ( s )=i)
yaitu peluang bahwa sistem saat s berada di state i akan bertransisi ke state j dalam t satuan
waktu kemudian. Kita bertujuan untuk merumuskan sistem persamaan diferensial untuk
bertransisi Pij . Untuk melakuka hal ini kita perlukan dua lemma berikut.
Lemma 4.3
1−P ij (h)
a. li m =v i
h →0 h
P (h)
b. li m ij =q ij, ji ka i≠ j .
h →0 h

Bukti : Lihat Ross (2000).

Lemma 4.4

Untuk semua t ≥ 0, s ≥ 0 berlaku :

∞
Pi j ( t + s )=∑ Pi k ( t ) Pk j ( s) .
k=0

Bukti : Agar proses beralih dari state i ke state j dalam waktu t+ s maka proses tersebut
harus berada pada suatu state pada waktu t. Sehingga :

Jurusan Matematika Fakultas MIPA Universitas Sam Ratulangi Manado

 X
Pengantar Proses Stokastik

Pi j ( t+ s )=P ( X ( t + s ) = j∨ X ( 0 )=i )

∞
¿ ∑ P ( X ( t +s )= j , X ( t )=k∨X ( 0 )=i )
k →0

∞
¿ ∑ P ( X ( t +s )= j∨X ( t )=k , X ( 0 )=i ) P ( X ( t )= j,∨X ( 0 )=i )
k →0

∞
¿ ∑ P ( X ( � ፰+ s )= j∨ X ( t )=k ) P ( X ( t )=k∨X ( 0 )=i )
k →0

∞
¿ ∑ Pi j ( s ) Pi j ( t ) .
k →0

Maka lemma 4.4 terbakti.

System persamaan (4.2) dikenal dengan Persamaan Chapman-Kolmogorov. Dari lemma 4.4
kita kita peroleh :

∞
Pi j ( h+t )−Pi j ( t )= ∑ P i k ( h ) Pk j ( t )−Pi j ( t )
k →0

¿ ∑ Pi k ( h ) P k j ( t )−( 1−Pi j ( h ) ) Pi j ( t ) .
k ≠i

Oleh karena itu :

li m
h →0
Pi j ( h+ t )−P i j ( t )
h
=li m
h →0 ( ∑
k ≠i
Pi k ( h )
h (
Pk j ( t ) −
1−Pi j ( h )
h ) )
Pi j ( t ) .

Dengan menukarkan urutan limit dan penjumlahan (dapat dibuktikan bahwa langkah ini
adalah valid), serta dengan penerapan lemma 4.3, maka kita peroleh teorema berikut :

P' i j ( t ) =∑ q i j , Pk j ( t )−v i Pk j (t )
k ≠i

Teorema 4.5 (Persamaan Mundur Kolmogorov)

Untuk semua state i, j dan waktu t ≥ 0 , berlaku :

P' i j ( t ) =∑ q i j , Pk j ( t )−v i Pk j (t )
k ≠i

Jurusan Matematika Fakultas MIPA Universitas Sam Ratulangi Manado

 X
Pengantar Proses Stokastik

Contoh 1

Kita perhatikan proseskelahiran murni dengan laju kelahiran saat system berada pada state i
adalah ⋋i . Karena yang terjadi hanya kelahiran, maka Pi ,i+ 1=1 ,q i ,i+ 1=v i P i ,i+1 =v i , dan
v i=⋋i .

Persamaan Mundur Kolmogorov untuk kasus ini adalah :

P' i j ( t ) =qi , �獣 +1+1 Pi +1 , j ( t ) +q i ,i−1 Pi−1 , j ( �汴 � )−vi Pi j (t )

¿ v i Pi ,i+1 PI +1 , j ( t ) +v i Pi ,i−1 , j ( t )−v i Pi j (t)

t
⋋i μi
¿ ( ⋋ i+ μ i ) Pi+1 , j ( t ) + ( ⋋i + μi ) P i+1 , j ( t )−� ᵮ i+1 , j ( t ) Pi j ¿ )
( ⋋ i+ μ i ) ( ⋋i + μi )

¿ ⋋ i Pi+1 , j ( t ) + μi Pi+1 , j ( t ) −( ⋋i + μi ) Pi j ( t ) .

Kita dapat menurunkan sistem persamaan diferensial yang berbeda dengan yang di atas, yang
dikenal dengan persamaan maju kolmogorov.

Dari lemma 4.4 kita peroleh :

∞
Pi j ( t+h )−Pi j ( t )=∑ Pi k ( t ) Pk j ( h ) −Pi j (t)
k=0

�<¿ j j (h)
1−¿
¿
¿ ∑ Pi k (t ) Pk j ( h )−¿
k≠ j

Oleh karena itu :

li m
h →0
Pi j ( t +h )−Pi j ( t )
h
=li m
h →0 (∑k≠ j
P �<�k ( t )
Pi k ( h ) 1−P j j (h)
h (−
h )
Pi j (t ) )
Dengan mengasumsikan penukaran urutan limit dan penjumlahan dapat dilakukan, serta
dengan penerapan lemma 4.3, maka kita peroleh

P' �< j ( t ) =∑ q k j P i k ( t)−v j P i j (t)

k≠ j

Jurusan Matematika Fakultas MIPA Universitas Sam Ratulangi Manado

 X
Pengantar Proses Stokastik

Perlu di catat bahwa asumsi di atas (urutan limit dan penjumlahan dapat ditukarkan ) tidak
selalu benar. Akan tetapi, pada kebanyakan model, termasuk semua proses kelahiran dan
kematian, serta semua model dengan state finite, asumsi di atas adalah benar. Selanjutnya,
semua keadaan sehingga asumsi di atas berlaku kita sebut bahwa asumsi kereguleran
terpenuhi. Akhirnya kita peroleh teorema berikut.

Teorema 4.6 (Persamaan Maju Kolmogorov)

Jika asumsi kereguleran terpenuhi, maka untuk semua state i,j dan waktu t ≥ 0 , berlaku

P'i j ( t )= ∑ q k j Pi k ( t )−v i Pi j (t)

K≠J

BAB II
LIMIT PELUANG PADA RANTAI MARKOV KONTINU

Limit Peluang

Jurusan Matematika Fakultas MIPA Universitas Sam Ratulangi Manado

 X
Pengantar Proses Stokastik

Seperti hasil dasar pada rantai markov dengan waktu diskrit, peluang bahwa suatu rantai
markov dengan waktu kontinu berada pada suatu state j pada waktu t sering konvergen ke
suatu nilai limit, yang tidak bergantung pada state awal. Misalkan kita definisikan

P j =li m Pi j ( t ) ,
t →0

Kita asumsikan bahwa limit itu ada, serta tidak bergantung pada state awal i.
Untuk menurunkan sistem persamaan untuk P j , pertama kita memperhatikan sistem
persamaan maju :

P'i j ( t )= ∑ q k j Pi k ( t )−v i Pi j (t)

K≠J

Jika t→∞ dan kita asumsikan bahwa urutan limit dan penjumlahan dapat ditukarkan,
maka kita peroleh :

li m Pi j ( t ) , ¿ li m
t→0 (∑ q
t→0 k ≠ j
kj Pi k ( t )−v i Pi j (t ) =∑ q k j Pi k (t )−v i Pi j
) k≠ j

Akan tetapi karena Pi j ( t ) adalah fungsi terbatas (nilai fungsi peluang selalu antara 0 dan

1), maka diperoleh bahwa: jika P'i j ( t ) konvergen maka pasti konvergen ke 0. Sehingga
kita memiliki

0=∑ q k j Pi k ( t )−v i Pi j
k≠ j
Atau

v i Pi j=∑ qk j Pi k (4.3)
k≠ j

Untuk semua state j. Akhirnya kita bisa menggunakan persamaan (4.3) Dan

∑ P j=1 (4.4)
∀j

Untuk menentukan nilai limit peluang yang diinginkan.

i. Kita telah mengasumsikan bahwa limit Pj ada. Syarat cukup agar asumsi
ini benar adalah:
a. Semua state dari ramtai markov adalah berkomunikasi, yaitu jika mulai dari
state i maka ada peluang positif akan berubah ke state j, untuk semua i dan j.

Jurusan Matematika Fakultas MIPA Universitas Sam Ratulangi Manado

 X
Pengantar Proses Stokastik

b. Rantai markov yang bersangkutan adalah recurrent positif, yaitu jika mulai
dari sembarangan state, maka nilai harapan dari waktu untuk kembali ke state
tersebut adalah finit.
Jika asumsi (a) dan (b) terpenuhi, maka limit peluang ada dan memenuhi
persamaan (4.3) dan (4.4). selain itu, Pj mempunyai interpretasi sebagai
proporsi ke state waktu dalam jangka panjang bahwa proses berada di state j.

ii. Persamaa (4.3) dan (4.4) memiliki itnterpretasi sebagai berikut.

Pada sembarangan interval (0,t) maka banyaknya transisi ke state j dan banyaknya
transisi keluar dari state j adalah sama, atau paling banyak berbeda 1. Oleh karena itu,
dalam jangka panjang, laju terjadinya transisi ke state j adalah sama dengan laju
terjadinya transisi keluar dari state j.

Jika prosese berada di state j, ia akan meninggalkan state j dengan laju v j . Karena
Pj adalah proporsi waktu proses berada di state j, maka kita peroleh

v j P j=l a ju p r oses me ninggalkan s t ate j

Denga logika serupa, jika proses berada di state k, ia akan memasuki state j dengan
laju q k j . Karena Pk menyatakan proporsi waktu bahwa system berada di state
k, laju dari system bertransisi dari k ke j adalah

∑ q k j Pk =l a ju p r o s es me masuki s t ate j
k≠ j

Oleh karena itu, persamaan (4.3) menyatakan kesamaan laju system masuk state j dan keluar
dari state j.

iii. Jika limit peluang Pj ada, kita sebut rantai markov yang bersangkutan,
adalah ergodik (ergodic). Nilai pj kadang kala disebut peluang stasioner, Karen adapat
ditunjukkan bahwa (seperti pada kasus rantai markov dengan waktu diskrit) jika state
mula-mula dipilih bersadarkan sebaran dari { P j } maka peluang bahwa system
berada pada state j pada waktu t adalah P j , untuk semua t.

Sekarang kita tentukan limit peluang untuk proses kelahiran dan kematian. Dari
persamaa (4.3), dengan menyamakan laju proses keluar dan masuk ke state 0.1,2,…
kita peroleh
⋋ 0 P0 =μ 1 P1

Jurusan Matematika Fakultas MIPA Universitas Sam Ratulangi Manado

 X
Pengantar Proses Stokastik

( ⋋ 1+ μ 1) P1=⋋0 P0 + μ2 P2

( ⋋ 2+ μ 2 ) P2=⋋1 P1+ μ 3 P3

⋮
( ⋋ n+ μ n ) P n=⋋ n−1 Pn−1 + Pn−1

Dari persamaan diatas kita peroleh :

⋋ 0 P0 =μ 1 P1
⋋ 1 P1=μ2 P2
μ2 P2 =μ 3 P3
⋮

⋋ n Pn=⋋n−1 Pn−1+ P n−1 n ≥ 0.

Penyelesaian persamaan di atas dalam po adalah :

⋋0
P 1= P
μ1 0
⋋ ⋋ ⋋
P 2= 1 P 1= 1 0 P 0
μ2 μ 2 μ1
⋋2 ⋋2 ⋋1 ⋋ 0
P 3= P 2= P
μ3 μ3 μ 2 μ1 0
⋮
⋋ n−1 ⋋n−1 ⋋n−2 … ⋋1 ⋋ 0
P n= P n−1= P .
μn μn μn−1 … μ 2 μ1 0

∞
Dengan menggunakan fakta bahwa ∑ Pn =1, kita peroleh :
n=0

∞
⋋n −1 ⋋ n−2 … ⋋ 1 ⋋0
1=P0 + P0 ∑
n=0 μ n μn−1 … μ 2 μ1
Atau

1
P 0= ∞
⋋ ⋋ … ⋋ n−1
1+ ∑ 0 1
n=0 μ 1 μ2 … μ n

Dengan mensubstitusikan persamaan (4.6) ke persamaan (4.5) kita peroleh

Jurusan Matematika Fakultas MIPA Universitas Sam Ratulangi Manado

 X
Pengantar Proses Stokastik

⋋ 0 ⋋1 … ⋋n−1
P n= ∞
,n ≥ 1
⋋ ⋋ … ⋋n−1 (4.7)
(
⋋ 1 ⋋ 2 … ⋋n 1+ ∑ 0 1
n=0 μ1 μ 2 … μn
)
Persamaan (4.7) juga memperlihatkan syarat perlu agar limit peluang ada, yaitu
∞
⋋ ⋋ …⋋
∑ μ 0 �<1 � …n−1
μ
<∞
n=0 1 2 n

Dapat ditunjukkan pula bahwa ini merupakan syarat cukup agar limit peluang ada.

Contoh 1
Kita perhatikan antrian M /M /1 dengan λn =λ dan μn=μ . Dari persamaaan
4.7 kita peroleh :
n
λ
( ) = λ 1− λ ; n≥ 0
μ n
P n= ∞ ( μ) ( μ)
n

(1+∑ ( μ ) )
n=1
λ

Asalkan λ /μ<1 . Secara intuitif juga bisa dimengerti bahwa λ haruslah lebih
kecil dari μ agar limit peluang ada. Jika λ> μ maka laju kedatangan nasabah
adalah lebbih besar dari laju pelayanan sehingga ukuran antrian akan menuju tak-
hingga. Untuk kasus λ=μ , sistem akan berperilaku seperti jalan acak simetris,
sehingga limit peluang juga tidak ada.

Referensi :
Mangku, Wayan I. Pengantar Proses Stokastik. IPB Bogor.

Jurusan Matematika Fakultas MIPA Universitas Sam Ratulangi Manado