MATERI KULIAH PERTEMUAN KE - 10

Materi Pokok : Persamaan Chapman-Kolmogorov dan Klasifikasi State

Sub CPMK : Mahasiswa mampu menjelaskan Rantai Markov, state dan matriks
peluang transisi
Capaian pembelajaran :
1. Mahasiswa dapat menghitung peluang bersyarat menggunakan Persamaan Chapman-
Kolmogorov.
2. Mahasiswa dapat menentukan matriks peluang transisi n langkah ke depan, n  2
berdasarkan matriks peluang transisi satu langkah yang diketahui.
3. Mahasiswa dapat mengklasifikasikan suatu state adalah berkomunikasi
Referensi :
1. Sheldon M. Rose (1996), Stochastik Processes , John Wiley & Sons, Incc New York.
2. Howard M. Yaylor, Samuel Karlin (1998), An Introduction to Stochastic Modeling,
Academic Prtess, New York.
3. Riskie H., Sapto, W.I (2012), Catatatan Kuliah MA 4192 Proses Stokastik, Penerbit
ITB.

Kegiatan Belajar.
10.1. Persamaan Chapman-kolmogorov.
Pada kuliah sebelumnya telah dibahas peluang transisi satu langkah Pij , kemudian

pada kuliah ini akan dilanjutkan pembahasan tentang peluang transisi n langkah (step) yang
dinotasikan dengan Pij( n ) dan matriks peluang transisi n langkah yang ditulis dengan lambang

P ( n )  P n  Pij( n ) .

Definisi 10.1.
Peluang transisi n langkah dan dinyatakan dengan Pij( n ) adalah peluang bahwa proses

yang sekarang di state i akan pergi dan berada ke state j setelah n kali transisi. Secara secara
matematis formal dinyatakan
Pij( n )  P( X m  n  j | X m  i ) , n  0, i, j  0 (10.1)

Persamaan (10.1) tentunya berlaku untuk Pij(1)  Pij yang sudah dibahas sebelumnya.

Persamaan Chapman-Kolmogorov adalah suatu metode untuk perhitungan peluang

transisi n langkah dan dituangkan dalam Teorema berikut.
Teorema 10.1.
 Peluang transisi n langkah dari rantai Markov memenuhi

Pij( n )   Pik Pkj( n 1) , (10.2)
j 0

di mana didefinisikan
1, jika i  j
Pij(0)   .
0, jika i  j
Bukti :
Berdasarkan teorema peluang total didapat

Pij( n )  P( X n  j | X 0  i )   P( X n  j , X 1  k | X 0  i )
k 0


  P( X 1  k | X 0  i ) P( X n  j | X 0  j , X 1  k )
k 0


  P( X 1  k | X 0  i ) P( X n  j | X 1  k )
k 0


  Pik Pkj( n 1) .■
k 0

Teorema 10.1 juga dapat dinyatakan yang lebih general, yaitu


Pijn  m  Pij( n  m )   Pikn Pkjm , n, m  0, i, j , (10.3)
k 1

Bukti : Berdasarkan teorema peluang total didapat

Pijn  m  P( X n  m  j | X 0  i )

  P( X n  k | X 0  i ) P( X n  m  j | X 0  j , X n  k )
k 0


  P( X n  k | X 0  i ) P( X n  m  j | X n  k )
k 0


  Pikn Pkjm .■
k 0

Persamaan (10.2) atau (10.3) dikenal dengan nama persamaan Chapman_Kolmogorov, yaitu
suatu metode untuk menghitung peluang transisi atau matriks transisi dalam n langkah.
Misalkan P ( n ) adalah matriks peluang transisisi dalam n langkah dengan elemen-
elemennya merupakan peluang transisis dalam n langkah. Dari persamaan (10.2) didapat
P ( n )  P (1) P ( n 1)  P  P (1) P ( n 2)
 P  P  P  P
  P  P  P  P . (10.4)

n faktor

Berdasarkan persamaan (10.4), matriks peluang transisi dalam n langkah dapat diperoleh
dengan mengalikan matriks peluang transisi satu langkah (P) sebanyak n kali.
Berdasarkan persamaan (10.2) atau (10.3) diketahui bahwa suatu rantai Markov yang
awalnya berada di state i setelah satu transisi akan berada di state j dengan peluang Pij ,

yaitu elemen baris ke- i dan kolom ke- j atau elemen (i , j) dari matrik P. Catatan: sesuai
aturan penulisan bahwa notasi P yang dicetak bold (tebal) adalah notasi untuk matriks, dan
Pij yang ditulis biasa (tidak tebal) menyatakan elemen (i , j) dari matriks P. Notasi P ( n )

menyatakan matriks peluang transisi dalam n langkah, sedangkan P n adalah perkalian

P  P  P , yakni perkalian matriks peluang transisi satu langkah sebanyak n kali. Hasil
dari P n dan P ( n ) berdasarkan teorema 10.1 adalah sama.

Contoh 10.1.
Sebuah rantai Markov ( X n } dalam ruang state {0,1, 2} mempunyai matriks peluang
transisi sebagai berikut
0 1 2
0 0,1 0, 2 0, 7
P
1 0, 2 0, 2 0, 6
2 0, 6 0,1 0,3

j , j  0,1, 2 , yakni P00 , P01 dan P02 ; P1 j , j  0,1, 2 dan P2 j , j  0,1, 2 .

a. Hitunglah P0(2) (2) (2) (2) (2) (2)

b. Hitunglah P (2)
c. Bandingkan P (2) berdasarkan hasil perhitungan pada soal (a) dengan P (2)  P 2  P  P .
d. Apa yang dimaksud P( X 3  1| X 1  0) dan kemudian tentukan nilainya

e. Apa yang dimaksud P( X 3  1| X 0  0) dan kemudian tentukan nilainya

Penyelesaian: Berdasarkan teorema (10.1) didapat

a. (i) P00(2)   P0 k Pk 0  P00 P00  P01 P10  P02 P20  0,1 0,1  0, 2  0, 2  0, 7  0, 6  0, 47
k 0


P01(2)   P0 k Pk1  P00 P01  P01 P11  P02 P21  0,1 0, 2  0, 2  0, 2  0, 7  0,1  0,13
k 0


P (2)
02   P0 k Pk 2  P00 P02  P01 P12  P02 P22  0,1 0, 7  0, 2  0, 6  0, 7  0,3  0, 40
k 0
 
(ii) P10(2)   P1k Pk 0  P10 P00  P11 P10  P12 P20  0, 2  0,1  0, 2  0, 2  0, 6  0, 6  0, 42
k 0


P11(2)   P1k Pk1  P10 P01  P11 P11  P12 P21  0, 2  0, 2  0, 2  0, 2  0, 6  0,1  0,14
k 0


P12(2)   P1k Pk 2  P10 P02  P11 P12  P12 P22  0, 2  0, 7  0, 2  0, 6  0, 6  0,3  0, 44
k 0


(iii) P20(2)   P2 k Pk 0  P20 P00  P21P10  P22 P20  0, 6  0,1  0,1 0, 2  0,3  0, 6  0, 26
k 0


P21(2)   P2 k Pk1  P20 P01  P21 P11  P22 P21  0, 6  0, 2  0,1 0, 2  0,3  0,1  0,17
k 0


P22(2)   P2 k Pk 2  P20 P02  P21P12  P22 P22  0, 6  0, 7  0,1 0, 6  0,3  0,3  0,57
k 0

b. Berdasarkan jawaban (a) didapat

 P00(2) P01(2) P01(2)  0, 47 0,13 0, 40 
 
P (2)   P10(2) P11(2) P12(2)    0, 42 0,14 0, 44  .
 P20(2) P21(2) P22(2)   0, 26 0,17 0,57 

c. Dengan menggunakan persamaan (10.4) didapat
 0,1 0, 2 0, 7   0,1 0, 2 0, 7  0, 47 0,13 0, 40 
P (2)  P 2  P  P  0, 2 0, 2 0, 6   0, 2 0, 2 0, 6   0, 42 0,14 0, 44 
 0, 6 0,1 0,3   0, 6 0,1 0,3  0, 26 0,17 0,57 

(hasilnya sama dengan jawaban (b))

d. P( X 3  1| X1  0)  P01(2) , dan berdasarkan (a) atau (c) didapat P01(2)  0,13

P( X 3  1| X 0  0)  P10(3) , dan berdasarkan jawaban (a) atau (b) atau c didapat


P01(3)   P0 k Pk(2)
1  P00 P01  P01 P11  P02 P21  0,1 0,13  0, 2  0,14  0, 7  0,17  0,16
(2) (2) (2)

k 0

Dari persamaan (10.2), misalkan diketahui ruang state adalah {0, 1, 2, . . .}, dan jika
didefinisikan suatu vektor baris
π(0)  [ 0(0) 1(0)  2(0)  ],

dengan  i(0)  P( X 0  i), i  0,1, 2, menyatakan peluang (distribusi peluang) rantai Markov
berada di state i pada permulaan proses, maka peluang setelah satu transisi rantai Markov
tersebut berada di state j, diberikan oleh


j    k Pkj , j  0,1, 2,

 (1) (0)
(10.5)
k 0
Sekarang didefinisikan
π( n)  [ 0( n) 1( n)  2( n)  ],
adalah vektor distribusi peluang dari state rantai Markov setelah n transisi, maka berdasarkan
persamaan Chapman-Kolmogorov (10.2) di atas, maka berlaku

 (j n )   (j n )    k(0) Pkj( n ) , j  0,1, 2, (10.6)
k 0

dimana  (j n )  P( X n  j ) dan

π( n )  π(0) P( n) , (10.7)
Contoh 10.2.
Berdasarkan soal pada contoh 10.1, jika diketahui distribusi awal state berturut-turut
 0(0)  P( X 0  0)  0,3 ; 1(0)  P( X 0  1)  0,5 dan  2(0)  P( X 0  2)  0, 2 , hitunglah
a.  0(1) , 1(1) dan  21

b. π(2)  [ 02 12  22 ] dan  22

Penyelesaian :
Dengan menggunakan persamaan (10.5) atau (10.6) didapat
2
a.  0(1)   0    k(0) Pk 0   0(0) P00  1(0) P10   2(0) P20  0,3  0,1  0,5  0, 2  0, 2  0, 6  0, 25
k 0

2
1(1)  1    k(0) Pk1   0(0) P01  1(0) P11   2(0) P21  0,3  0, 2  0,5  0, 2  0, 2  0,1  0,18
k 0

2
 2(1)   2    k(0) Pk 2   0(0) P02  1(0) P12   2(0) P22  0,3  0, 7  0,5  0, 6  0, 2  0,3  0,57
k 0

Hasil yang sama jika digunakan persamaan (10.7), yaitu diketahui

π(0)   0(0) 1(0) 1(0)    0,3 0,5 0, 2 , sehingga

 0,1 0, 2 0, 7 
π (1)
 [ (1)
0  (1)
1  ]  π P   0,3 0,5 0, 2 0, 2 0, 2 0, 6   [0, 25 0,18 0,57]
(1)
2
(0)

 0, 6 0,1 0,3 

b. π(2)  [ 0(2) 1(2)  2(2) ]  π(0) P(2)  π(0) P2

0, 47 0,13 0, 40 
π (2)
  0,3 0,5 0, 2 0, 42 0,14 0, 44   0, 403 0,143 0, 454  .
 0, 26 0,17 0,57 

Contoh 10.3
Berdasarkan soal pada contoh 10.2, hitunglah
a. P( X 3  0); P( X 3  1) dan P( X 3  2)

b. P( X 3  2, X 2  1, X1  0)

c. P( X 3  0, X 2  1, X1  2 | X 0  2)
Penyelesaian :
Bersdasarkan matrik peluang satu transisi pada soal 10.2, didapat matriks peluang
transisi 3 langkah, yaitu
 0,313 0,160 0,527 
P (3)
 P   0,334 0,156 0,510 
3

0, 402 0,143 0, 455

 0,313 0,160 0,527 

π (3)
  (3)
0  (3)
1    π P
(3)
2
(0) (3)
 [0,3 0,5 0, 2]  0,334 0,156 0,510 
0, 402 0,143 0, 455

  0,3413 0,1546 0,5041

a. Berdasarkan komponen-komponen dari vektor π(3) di atas didapat

P( X 3  0)   0(3)  0,3413 ; P( X 3  1)  1(3)  0,1546 ; P( X 3  2)   2(3)  0,5041
b. Berdasarkan sifat peluang bersyarat dan berdasarkan soal 10.2, didapat
P( X 3  2, X 2  1, X1  0)  P( X 3  2 |, X 2  1) P( X 2  1| X1  0) P( X 1  0)

 P( X1  0) P( X 2  1| X1  0) P( X 3  2 | X 2  1)

  0(1) P01P12  0, 25  0, 2  0,6  0,03

c. P( X 3  0, X 2  1, X1  2 | X 0  2)  P( X 3  0 | X 2  1) P( X 2  1| X1  2) P( X1  2 | X 0  2)

 P22 P21P10  0,3  0,1 0, 2  0, 006

Contoh 10.4. Distribusi Penonton Televisi

Misalkan di suatu daerah terdapat dua stasiun televisi, yaitu statisiun A dan B. Suatu
lembaga survey telah mengadakan beberapa kali survei kepada penonton televisi di daerah
tersebut untuk menentukan stasiun yang lebih diminati dan untuk mengetahui perilaku
penonton. Survey pertama memberikan informasi bahwa 40% penonton di daerah tersebut
menonton stasiun A dan 60% menonton stasiun B. Survey berikutnya memberikan informasi
bahwa setiap minggu, 15% dari penonton stasiun A beralih menonton siaran stasiun B dan
5% dari penonton stasiun B beralih menonton siaran stasiun A. Misalkan diasumsikan jumlah
penonton TV di daerah tersebut tetap.
 a. Tentukan matriks peluang transisi untuk rantai Markov.
b. Tentukan distribusi penonton TV di daerah yang diteliti, 3 minggu setelah survey
pertama berlangsung.
Penyelesaian:
Misal didefinisikan X n adalah stasiun TV yang lebih diminati oleh penonton di

daerah yang diteliti pada minggu ke n, maka { X n } adalah rantai Markov, dengan ruang
parameter (indeks) adalah {1,2, . . .} dan ruang state adalah {A, B}. Matrik peluang transisi
satu langkah rantai Markov tersebut adalah
a.
A B
A 0,85 0,15  0,85 0,15  ,
P 
B 0, 05 0,95 0, 05 0,95
(Catatan: jumlah setiap baris pada matriks peluang transisi adalah 1)
b. Diketahui distribusi penonton TV awal survey adalah π(0)   0, 40 0, 60 .

Matriks peluang transisi dalam 3 langkah adalah

3
 0,85 0,15  0, 634 0,366 
P (3)
P 
3
   0,122 0,878  .
 0, 05 0,95   
Distribusi penonton TV berdasarkan hasil survey minggu tiga adalah
0, 634 0,366 
π(3)  π(0) P (3)   0, 40 0, 60     0,3268 0, 6732 .
 0,122 0,878 

10.2. Klasifikasi Ruang State.

Guna mempelajari sifat (perilaku) jangka panjang (long run behavor) perlu dibahas
terlebih dahulu tentang klasifikasi dari ruang state rantai Markov.
Definisi 10.2.
State j dikatakan dapat dicapai (accessible) dari state i, jika terdapat n  0 sehingga
Pijn  0 . Jika state j dapat dicapai dari state i dan sebaliknya state i dapat dicapai dari state j,

maka state i dan state j dikatakan saling berkomunikasi (communicate) dan dinotasikan
dengan i  j .
Untuk dapat memberi gambaran apakah state-state suatu rantai Markov dapat capai,
saling berkomunikasi, maka rantai Markov tersebut dapat dipresentasikan dalam suatu graf,
dimana ruang state dapat digambarkan sebagi himpunan verteks dan peluang-peluang transisi
dapat digambarkan sebagai himpunan sisi yang berarah dengan bobot sisi menyatakan nilai
peluangnya. Graf yang mempresentasikan rantai Markov sering dinamakan diagram transisi
dari rantai Markov.
Contoh 10.5.
Suatu rantai Markov { X n , n  0,1, 2,} dengan ruang satate {0, 1, 2, 3} mempunyai
matriks peluang transisi
 0 0 1 0 
0,15 0,8 0 0, 05
P 
 0, 2 0,3 0,3 0, 2 
 
 0 0 0,3 0, 7 
Selidiki apakah semua state dari rantai Markov tersebut saling berkomunikasi?
Pemyelesaian:
Diagram transisi dari rantai Markov di atas diberikan oleh gambar 10.1 berikut

Gambar 10.1. Diagram transisi rantai Markov untuk contoh soal 10.5
Berdasarkan gambar 10.1, didapat
0  1 karen P01(2)  0 dan P10  0 ; 0  2 karen P02  0 dan P20  0

0  3 karen P03(2)  0 dan P30(2)  0 ; 1  2 karen P12(2)  0 dan P21  0

Dengan cara yang sama dapat ditunjukkan bahwa i  j untuk semua i, j {0,1, 2,3} . Jadi
semua state rantai Markov saling berkomunikasi.