Estimasi Parameter

Modul 1
Estimasi Parameter
Dr. Sutawanir Darwis
PEN D A HU L UA N
S , t  , , S 

P roses stokastik t t adalah koleksi peubah acak St
dengan t menyatakan indeks waktu, t . Kumpulan semua nilai St
yang mungkin  , dinamakan state space. Suatu proses stokastik dinamakan
proses Markov atau rantai Markov (Markov chain) jika proses tersebut
memenuhi sifat Markov (Markov property). Sifat Markov menyatakan bahwa
prediksi sistem saat t  1 hanya ditentukan oleh state proses pada saat t.
Suatu rantai Markov ditentukan oleh distribusi awal, P  S0  i  , dan peluang
transisi pij atau p  i, j  . Peluang transisi pij merupakan parameter proses
Markov.
Jika parameter suatu proses tidak diketahui, parameter tersebut harus
diestimasi berdasarkan data empirik. Metode kuadrat terkecil (least squares)
merupakan salah satu metode untuk mengatasi masalah estimasi parameter.
Dalam modul ini akan dibahas penerapan metode kuadrat terkecil dalam
estimasi parameter peluang transisi suatu rantai Markov. Pembahasan
dibatasi pada kasus rantai Markov two-state (two-state Markov chain).
Dalam sampling sekuensial, primary sampling unit (psu) dilakukan
berturutan dan informasi dari psu digunakan untuk memodifikasi desain
sampling. Misalkan suatu daerah D dipartisi dalam N  N grid dan masing-
masing titik bernilai 1 atau  1 . Sampling pada daerah D tidak mungkin
dilakukan karena kombinasi partisi sebanyak 2 N  N . Suatu metode
berdasarkan rantai Markov dikembangkan untuk mengatasi sampling pada
suatu grid spatial (plane sampling).
Setelah mempelajari modul ini, secara umum diharapkan Anda dapat
memodelkan suatu fenomena stokastik melalui pendekatan rantai Markov.
1.2 Metode Sekuensial 
Secara khusus Anda diharapkan dapat:

1. Memahami dan memberikan contoh realisasi (melalui simulasi) rantai
Markov.
2. Menghitung peluang transisi pij atau p  i, j  dan matriks peluang transisi
(matrik stokastik) P.
3. Membuat graf berarah suatu rantai Markov.
4. Memahami representasi vektor suatu rantai Markov.
5. Menuliskan rantai Markov dalam bentuk model linear.
6. Menaksir parameter peluang transisi melalui metode kuadrat terkecil.
7. Menaksir peluang transisi suatu rantai Markov melalui tabel
kontingensi O.
8. Menentukan distribusi stasioner.
 SATS4422/MODUL 1 1.3
Kegiatan Belajar 1
Estimasi Peluang Transisi

Rantai Markov
 S  S  ,   , dengan St , t  0,,  , dan barisan

P

roses stokastik t t 0
peubah acak (correlated random variables) dengan sate space diskrit  .

Andaikan   1, 2, . Proses merupakan rantai Markov (Markov chain)
jika proses memenuhi sifat Markov.
P  St  m 1  j St  m  i   P  St 1  j St  i   pij , m  0,1, 2,
p
j
ij 1, i  
Contoh 1.1
Peluang transisi pij . Dua kotak A dan B berisi m bola. Pada saat t , St
menyatakan banyaknya bola di kotak A. Kotak B berisi m  St bola. Pada
t  1 , diambil satu bola dari m bola secara acak dan dipindahkan ke kotak
lain. Tentukan peluang transisi pij  P  St 1  j St  i  . Misalkan pada saat t,
kotak A berisi i bola, St  i , dan pada saat t  1 kotak A berisi j bola, St 1  j .
Pada saat t 1, St 1  j  i  1 (bola terambil dari kotak A) atau St 1  j  i 1
(bola terambil dari kotak B). Karena proses pengambilan dilakukan secara
acak, maka
i m , j  i 1 (bola terambil dari kotak A)


m  i
pij   , j  i 1 (bola terambil dari kotak B)
 m
0 , lainnya

Contoh 1.2
Two-state Markov chain. Misal St menyatakan state suatu pesawat
telepon pada saat t , St  0 jika pesawat telepon bebas dan St 1 jika sedang
digunakan; state space   0,1 . Andaikan dalam suatu selang waktu,
peluang terjadi sambungan adalah p. Jika pesawat telepon sedang aktif,

permintaan sambungan berikutnya akan ditolak. Jika pesawat sedang aktif,
peluang pesawat telepon bebas pada selang berikutnya adalah q. Deskripsi di
atas memberikan matriks transisi
1  p p 
P  
q 1 q 
Contoh 1.3
Random Walk. Misal St menyatakan posisi suatu bola sepanjang titik
diskrit  0,1,, N  . Pada t  1 bola berpindah satu langkah, ke kanan dengan
peluang p dan ke kiri dengan peluang 1  p . Jika bola berada di boundary
0, N  , bola bergerak ke arah dalam dengan peluang 1. Peluang transisi
diberikan oleh,
p  i, i  1  p (bola berpindah satu langkah ke kanan)

p  i, i 1 1  p, i 1,, N  1 (bola berpindah satu langkah ke kiri)
p  0,1  p  N , N  1  1 (bola bergerak ke arah dalam)
Contoh 1.4
Curah hujan (rainfall). Misal St menyatakan keadaan cuaca (hujan atau
tidak hujan) pada hari t. Sate space dari rantai Markov St , t  0, 1,  adalah
 = {Hujan, Tidak hujan). Data pengamatan selama 2.437 hari memberikan
matriks frekuensi transisi berikut:
T
Keadaan cuaca
Tidak hujan Hujan Jumlah
t 1 Tidak hujan 1.049 350 1.399
Hujan 351 687 1.038
Jumlah 2.437
Taksiran peluang transisi
1.049 1.399 350 1.399 

   
 351 1.038 687 1.038 
Contoh 1.5
Proses Bernoulli. Misal S1 , S2 ,  barisan peubah acak Bernoulli
dengan P  St 1  p dan P  St  0 1  p  q . Koleksi peubah acak St t 1

dinamakan proses Bernoulli.
1. Tuliskan deskripsi proses

2. Konstruksi suatu barisan proses Bernoulli
Jawab.
1. Sate space  0, 1 , index waktu set   1, 2, 
2. Sampel barisan proses Bernoulli diperoleh melalui lantunan mata uang
dengan hasil H = head, T = tail. Jika H = 1 dan T = 0, diperoleh suatu
realisasi barisan Bernoulli.
t 1 2 3 4 5 6 7 8 9 10
Mata uang HTTHHHTHHT
St 1 011 1 1 011 0
Matriks Ρ   pij  dinamakan matriks peluang transisi (matriks transisi

atau matriks stokastik). Matriks P memenuhi syarat normalisasi
P1=1, 1  1,1, , 1 . Matriks transisi rantai Markov direpresentasikan
melalui graf dengan vertex menyatakan state dan directed edge  i, j 
menyatakan peluang transisi dari state i ke state j.
Contoh 1.6
State space   1, 2, 3 , dan matriks transisi
1  4 10 5 10 1 10 
 
P  2  2 10 7 10 1 10 
3  4 10 4 10 2 10 
Gambar 1.1.
Graf Berarah untuk Matriks Transisi P
Simulasi rantai Markov. Misal   1, 2, 3 dan P  St 1  a, P  St  2  b,

dan P  St  3  c, a  b  c  1. Generate suatu rantai Markov St t  0

dengan distribusi awal P  S0  i   1 3, 1 3, 1 3 . Proses simulasi dilakukan

sebagai berikut: Generate bilangan acak uniform p  U  0, 1 . Jika
p  a, St  1, jika a  p  a  b, St  2, jika a  b  p  a  b  c, St  3.
Misal diketahui bilangan acak u1  0.429, u2  0.156,
u3  0.146, u4  0.951, u5  0.644 dan matriks transisi,
 4 10 5 10 1 10 
 
P   2 10 7 10 1 10 
 4 10 4 10 2 10 
 
Proses simulasi dilakukan sebagai berikut:

1. Dengan distribusi awal P   S0  i   1 3, 1 3, 1 3 , diperoleh
a  b  c  1 3. karena u1  0, 429, maka S0  2 .
2. Proses berada pada state 2. Karena p2 j   2 10, 7 10, 1 10  , diperoleh
a  2 10 , b  7 10, c  1 10. Karena u2  0,156  a, maka proses
berpindah dari state 2 ke state 1; S1  1.
3. Proses berada pada state 1. Karena p1 j   4 10  a, 5 10  b, 1 10  c  ,
dan u3  0.146  a, maka proses berada pada state 1; S2  1.
Jika proses iterasi dilanjutkan, diperoleh barisan realisasi rantai Markov:

S0  2,
S1  1, S2  1, S3  3, S4  3, S5  2,  atau disingkat : 2, 1, 1, 3, 3, 2, 
t ut a, b, c ut  a a  ut  a  b a  b  ut  a  b  c St
0 .429 1/3, Ya 2
1/3, 1/3
1 .156 2/10, Ya 1
7/10,
1/10
2 .146 4/10, Ya 1
5/10,
1/10
3 .951 4/10, Ya 3
5/10,
1/10
4 .921 4/10, Ya 3
4/10,
2/10
5 .644 4/10, Ya 2
4/10,
2/10
Contoh 1.7.
Simulasi rantai Markov. Diketahui suatu rantai Markov dengan state
  1, 2,3 , distribusi awal P  S0  i   1 3, 1 3, 1 3 dan matriks transisi.
 1 0 0 
 
P   .50 .25 .25 
 .50 .25 .25 
 
Simulasi suatu rantai Markov jika sampling dari distribusi uniform
U  0, 1 memberikan barisan bilangan: .59 .29 .97 .68 .48 .55 .90 .65 .72.
Simulasi dilakukan melalui tabel berikut
Tabel 1.1.
0 .59 1/3, Ya 2
1/3, 1/3
1 .29 .50 .25 Ya 1
.25
2 .97 1 0 0 Ya 1
3 .68 1 0 0 Ya 1
4 .48 1 0 0 Ya 1
5 .55 1 0 0 Ya 1
6 .90 1 0 0 Ya 1
7 .65 1 0 0 Ya 1
8 .72 1 0 0 Ya 1
Diperoleh realisasi proses berupa barisan bilangan: 2, 1, 1, 1, 1, 1, 1, 1,1.

Terlihat proses terperangkap di state 1.
St t  0 rantai Markov dengan state space   1, 2,  , N

Misalkan
dan matriks perluang transisi
 p11 p12   p1N 

 
 p21 p22   p2 N 
P   pij       , p  1, i  
 
ij
j 
   
p pN 2   pNN 
 N1
Suatu rantai Markov direpresentasikan melalui t :
1, 0, 0, , 0  , jika St  1



 0,1, 0, , 0 
t  
, jika St  2


 0, 0, 0, ,1 , jika St  N
dan model linear
t 1  P ξt   t 1 ; t  0, 1,  E t  0
Contoh 1.8
Representasi rantai Markov St t  0 dengan vektor biner t t  0 . Misal
T T
St t  0 suatu rantai Markov dengan state space   1, 2 . Realisasi proses
T
S0  2, S1 1, S2  2 memiliki representasi,
10 11 10

0    , 1    ,  2   
2 1 2 0 2 1
Contoh 1.9
Representasi rantai Markov. Misal St t  0 suatu rantai Markov dengan
T
state space   1, 2, 3. Realisasi proses S0  3, S1  1, S2  2 memiliki

representasi,
10 11 10
0  2  0  , 1  2  0  ,  2  2  1 
3  1  3  0  3  0 
Contoh 1.10
Representasi rantai Markov. Misal St t  0 suatu rantai Markov dengan
T
state space   1, 2, 3. Realisasi proses S0  2, S1  0, S2  1 memiliki

representasi,
00 01 00

0  1  0  , 1  1  0  ,  2  1  1 
   
2  1  2  0  2  0 
Contoh 1.11
St t  0
T
Komponen vektor representasi. Misal suatu rantai Markov
 1t 
 
dengan state space   0,1, 2 dan vektor representasi t    2t  . Realisasi
 
 3t 
proses S0  2, S1  0, S2  1 memiliki representasi
0  0  10  0 1  11  0  0  12 
     
0  1  0  , 1  1  0  ,  2  1 1  dan barisan komponen
2 1  0  0 
 2   2  
pertama t : 10  0, 11  1, 12  0. Proses penentuan komponen vektor
representasi realisasi rantai Markov diringkas dengan tabel:
t 0 1 2
Realisasi St 2 0 1
0  1t   0  10  1  11   0  12 
     
Vektor representasi 1 t    2t  0  0  1 
2   1  0  0 
 3t       
Komponen pertama vektor representasi 1t 0 1 0

Komponen kedua vektor representasi  2t 0 0 1
Komponen ketiga vektor representasi 3t 1 0 0
Contoh 1.12
St t  0
T
Komponen vektor representasi. Misal suatu rantai Markov
 1t 
dengan state space   0, 1 dan vektor representasi t    . Komponen
  2t 
vektor representasi dapat diperoleh melalui proses tabulasi:
 SATS4422/MODUL 1 1.11
t 0 1 2 3
St 1 1 0 1
0  0   0  1   0 
t
       
1 1  1   0  1 
1t 0 0 1 0
 2t 1 1 0 1
Terlihat bahwa 2t  1  1t
Contoh 1.13
Perkalian matriks peluang transisi dengan vektor representasi. Misal
St t  0 suatu rantai Markov dengan state space   0, 1 dan matriks
T
peluang transisi
 1 3 2 3   P00 P01 
P   
 3 4 1 4   P11 P12 
Realisasi S0  1, S1  1, S2  0 memiliki representasi

0 0 1 
0    , 1    ,  2    . Perkalian P dengan t memberikan:
 
1 1   
0
1 3 3 4 0 3 4  1 3 3 4  1  1 3 
P 0  P 1      , dan P 2     
 2 3 1 4   
1 1 4   2 3 1 4   0   2 3
Untuk rantai Markov dengan dua state   0,1 , t   1t 2t  , 2t 11t
(lihat contoh di atas), dan matriks transisi,
 p 1  p22 
P   11 
1  p11 p22 
 1, t 1   p11 1  p22   1, t   1, t 1 

Persamaan t 1  P  t   t 1 menjadi     
 2, t 1  1  p11 .
p2   2, t   2, t 1 
 
Barisan pertama memberikan persamaan
1, t 1  1  p22    1 p11  p22  1t  1, t 1
Untuk menyederhanakan, tulis 1, t 1  t 1 , 1t   t ,1  p22  c, dan

 1  p11  p22   , persamaan menjadi;
 t 1  c  t   t 1 , t  0,1,T
Substitusi t  0,1, 2,, T menghasilkan
1  c   0  1
2  c  1   2
...........
...........
 T 1  c  T   T 1
Dengan notasi matriks dan vektor, diperoleh
 1   1 0   1 
  
 2    1 1   c    2 

    
      
     
 T  1   1 T    T 1 
Tulisan persamaan di atas sebagai;
Y  X  
Taksiran kuadrat terkecil  dan  diberikan oleh
   X  X  X Y
1
Contoh 1.14
Regresi sederhana Y  0  1 X . Vektor Y dan matriks X diberikan oleh
 SATS4422/MODUL 1 1.13
 y1  1 x1 
   
y 1 x2 
Y  2 , X 
    
   
 yn  1 xn 
dan
 n x    yi 
X  X   i
 , X  Y   
  xi x   xi yi 
2

i 
1   xi2  xi 
XX 
1
  
n x    xi    xi n 
2 2
i
Sehingga
 
 1   xi2  xi    yi 
      X  X  X Y 
1
 
0
2 
n xi2    xi    xi

   n    xi yi 
 1
atau
n xi yi   xi  yi
 1    y 
,  x
n x    xi 
2 0 1
2
i
Kemudian dengan
 1  1 0 
  
   1 1  c 
Y , X  ,   
2
     
   
 T  1  1 T 
diperoleh
 T
  T 
 T 1  t    t 1 
 T , X Y   T 
t 0 t 0
XX
 T   
  t  t    t t 1 
2
 t 0 t 0   t 0 
 T 2 T

  t  t 
XX 
1

1  t 0 t 0

2  
 
T
T  1  t2    t   
T T
t T  1 
t 0  t  0   t 0 
dan
 T 2 T
 T 
  t  t   t 1 
 cˆ  1  t 0  
      X  X  X Y 
1 t 0 t 0
 2   T 
   T   
T
  
T
   t   t   t 0 t
T  1  2
   T  1  t t 1 
t 0  t 0    t  0 
T  T  T 
T  1  t t 1   t   t 1 
 t  0  t  0  , cˆ  1
T T
T  1  t 1
     T 11  t
t 0
2
T  T  t 0 t 0
T  1  t2    t 
t 0  t 0 
Tabel berikut memperlihatkan proses komputasi penaksiran parameter

 dan c.
t t t 1 t t 1 t2
0 0 1 0 1  02
1 1 2 1  2 12
. . . . .
. . . . .
T T T 1 T T 1 T2
T T T T

t 0
t 
t 0
t 1  
t 0
t t 1 
t 0
t
2
 SATS4422/MODUL 1 1.15
Contoh 1.15:
Estimasi Parameter
Diketahui komponen vektor representasi rantai Markov
S  T
t t 0 ,   0, 1  t  1t , t  0, 9 adalah 1000000111. Proses tabulasi
memberikan:
t t t 1 t t 1 t2
0 1 0 0 1
1 0 0 0 0
2 0 0 0 0
3 0 0 0 0
4 0 0 0 0
5 0 0 0 0
6 0 1 0 0
7 1 1 1 1
8 1 1 1 1
T=9 1 . . 1
9 9 T T

t 0
t 4 
t 0
t 1 3  
t 0
t t 1 2 
t 0
t
2
4
T  T  T  9  9  9 
T  1  t t 1    t   t 1  10 t t 1    t   t 1 
 
t 0  t  0  t  0   t 0  t  0  t  0 
 T 
2 9  9 
10 t2    t 
T
T  1  t2    t 
t 0  t 0  t 0  t 0 
10  2  4  3 8 1
  
10  4  42 24 3
dan
T T 9 9
 t 1   T 1  t   t 1   10  t
1 1 1 1
cˆ 
T 1 10
t 0 t 0 t 0 t 0
3 1 4 3 4 1
     
10 3 10 10 30 6
Contoh 1.16
Tabel kontingensi. Diketahui komponen vektor representasi rantai
Markov S T
t t 0 
,   0, 1 t  1t , t  0, 9 adalah 1000000111.
Proses tabulasi memberikan
t 1 Transisi
t t (0,1) (1,0) (1,1)
(0,0)
0 1 0 x
1 0 0 x
2 0 0 x
3 0 0 x
4 0 0 x
5 0 0 x
6 0 1 x
7 1 1 x
8 1 1 x
T=9 1 .
9 9

t 0
t 4 
t 0
t 1 3 5  1  1 2
Matriks frekuensi transisi O
0 o o12   5 1 
O   11  
1  o21 o22   1 2 
Contoh 1.17
St t 0 ,
T
Estimasi peluang transisi. Misalkan two-state rantai Markov
dengan   1, 2
1 , St  1
t  
0 , S t  2
dan matriks peluang transisi
p p12   p11 1  p11 

P   11  
 p21 p22  1  p22 p22 
 SATS4422/MODUL 1 1.17
Misal O   oij , i, j 1, 2  , dengan oij  frekuensi transisi dari state i ke

state j. Matriks O dinamakan matriks transition count (matriks frekuensi
transisi) dari barisan S0 , S1 ,, ST . Dengan menuliskan elemen matriks
transisi O.
o o12 
O   11 
 o21 o22 
Taksiran peluang transisi
o11 o22
pˆ11  , pˆ 22 
o11  o12 o21  o22
LAT IH A N
Untuk memperdalam pemahaman Anda mengenai materi di atas,

kerjakanlah latihan berikut!
1) Diketahui suatu rantai Markov dengan state space   0, 1 dan

matriks transisi
 1 3 2 3
P 
3 4 1 4 
Tentukan peluang transisi p00 , p11 , p01 , p10 !

2) Diketahui rantai Markov dengan state space   1, 2, 3 dan matriks
transisi
 .4 .2 .4 
 
P   .6 0 .4 
 .2 .5 .3 
 
Tentukan peluang transisi p  i, j  , i, j  1, 2,3!

3) Banyaknya peserta pada hari t , St , suatu mata kuliah diklasifikasikan

dalam tiga kategori: 1 = kurang dari 20 peserta, 2 = antara 20 sampai
40,3 = lebih dari 40 peserta. Data harian peserta memberikan matriks
transisi.
1 1 0 0 
 
P  2  .50 .25 .25 
3  .50 .25 .25 
Visualisasikan matriks transisi P dengan graf berarah!

4) Pemirsa televisi diklasifikasikan dalam enam kategori: 0 = tidak pernah,
1 = hanya TVRI, 2 = 2 jam/hari, 3 = 3 jam/hari, 4 = 4 jam/hari dan 5 =
lima jam/hari atau lebih. Transisi dari suatu state ke state lain
dimodelkan melalui matriks transisi.
0 1 0 0 0 0 0 
 
1  .5 0 .5 0 0 0 
2  .1 0 .5 .3 0 .1 
P  
3 0 0 0 .7 .1 .2 
4 1 3 0 0 13 13 0 
 
5 0 0 0 0 0 1 
Gambarkan matriks transisi melalui diagram graf berarah!

5) Misalkan untuk suatu produk detergen terdapat empat merek A, B, C, D.
Misalkan pola pilihan produk pada minggu t , St , t  0, 1,  , mengikuti
rantai Markov dengan peluang transisi
A  .4 .2 .1 .3 
 
B .4 .3 .2 .1 
P 
C  .6 .1 .1 .2 
 
D  .2 .4 .3 .1 
Tentukan diagram transisi garf berarah dari matriks detergen!

6) Tentukan diagram transisi graf berarah dari matriks transisi!
 SATS4422/MODUL 1 1.19
0  .1 .2 .7 0
 
1 .2 .3 .3 .2 
P 
2  .3 .1 .1 .5 
 
3  .4 .3 .2 .1 
7) Misalkan suatu tangki air memiliki kapasitas 3 m2. Misal St menyatakan

isi tangki pada hari t , t  0, 1, 2,  , dengan state space   0,1, 2,3 .
Setiap hari dikeluarkan 1 m2. Berikan interpretasi dan diagram transisi
fluktuasi isi tangki berdasarkan matriks peluang transisi.
 .6 .2 .1 .1 
 
.4 .4 .1 .1 
P 
 .3 .3 .2 .2 
 
 .4 .5 .1 0 
8) Suatu rantai Markov St t  0 dengan state   0,1, 2 memiliki matriks


peluang transisi
0  .1 .2 .7 
 
P  1  .9 .1 0 
2  .1 .8 .1 
dan distribusi awal
i 0 1 2
P  S0  i  .3 .4 .3
Tentukan realisasi rantai Markov jika sampling dari distribusi uniform

U  0,1 menghasilkan bilangan acak: .22 .78 .26 .04 .33 .46 .09 .52
.91 .38 .67 .56 .13
9) Suatu rantai Markov S0 , S1 , S2 ,  memiliki matriks peluang transisi.

 .7 .2 .1 
 
P   0 .6 .4 
 .5 0 .5 
 
dan distribusi awal
i 0 1 2
P  S0  i  131313
Tentukan realisasi proses berdasarkan bilangan acak: .57 .69 .36 .10
.96 .46 .92 .42 .45 .84 .57 .03 .29 .30 .45 .65 .94 .26
10) Diketahui suatu rantai Markov dengan matriks transisi
0  .6 .3 .1 
 
P  1  .3 .3 .4 
2  .4 .1 .5 
ut a, ut  a a  ut  a  b a  b  ut  a  b  c St
t
b, c
0 .59
1 .29
2 .97
3 .68
4 .48
5 .55
6 .90
7 .65
8 .72
11) Diketahui suatu rantai Markov dengan matriks transisi.
0  .1 .1 .8 
 
P  1  .2 .2 .6 
2  .3 .3 .4 
 SATS4422/MODUL 1 1.21
Lengkapilah tabel realisasi proses berikut:

0 .75
1 .91
2 .93
3 .30
4 .48
5 .55
6 .90
7 .65
8 .72
0  .1 .1 .8 
 
P  1  .2 .2 .6 
2  .3 .3 .4 
Lengkapilah tabel realisasi proses berikut:

ut a, b, u  a a  ut  a  b a  b  ut  a  b  c St
t t
c
0 .75
1 .91
2 .93
3 .30
4 .48
5 .55
6 .76
7 .45
8 .26
13) Suatu rantai Markov memiliki state space   0, 1. Tentukan vektor
representasi  t dan komponen pertama 1t . Realisasi proses: 1, 1, 1, 0,
0, 1.
14) Suatu rantai Markov memiliki state space   0, 1, 2. Tentukan vektor
representasi  t dan komponen pertama 1t . Realisasi proses: 0, 1, 2, 0,
1, 2, 0, 0, 0.
15) Suatu rantai Markov memiliki state space   0, 1, 2,3. Tentukan
vektor representasi  t dan komponen pertama 1t . Realisasi proses: 0,
1, 2, 0, 1, 2, 0, 0, 0, 3, 3, 2, 1.
16) Diketahui rantai Markov St t  0 dengan state space   0, 1, 2,. Jika

St  i , maka elemen ke-j dari vektor t 1 ,  j , t 1 ,

1 , dengan peluang pij
 j , t  1 St  i  
0 , dengan peluang 1  pij

Tunjukkan nilai ekspektasi

 pi 0 
  
E  j , t 1 St  i  pij dan E  t 1 
 
St  i   pi1 
p 
 i2 
17) Diketahui rantai Markov St t  0 dengan state space   0, 1, 2,3 dan

matriks peluang transisi
0  p11 p12 p13 

  3
P  1  p21 p22 p23  , p ij  1, i  1, 2, 3
2  p31 p33 
j 1
p32
Misalkan S1 , S2 ,  , S10 suatu realisasi Markov dengan vektor

representasi t , t  1,  ,10. Tentukan P  t , t 1,,10 untuk realisasi
3, 2, 2, 2, 2, 2, 2, 3, 3, 3 dan
1  .66 .23 .11 

 
P  2  .46 .31 .23 
3  .20 .31 .49 
 SATS4422/MODUL 1 1.23
18) Sama dengan soal 17, untuk realisasi 2, 1, 1, 2, 3, 2, 1, 1 dan matriks

peluang transisi.
1  .4 .2 .4 
 
P  2  .6 0 .4 
3  .2 .5 .3 
R A NG KU M AN
Rantai Markov S 

t t 0 , ,   merupakan kuantifikasi evolusi
proses terhadap waktu. State space  merupakan karakteristik utama
rantai Markov. State berkaitan dengan berbagai besaran; tingkat energi,
magnitude gempa, banyaknya pemirsa, dan lain-lain. Peluang transisi
pij atau p  i, j  merupakan parameter rantai Markov. Estimasi
parameter berdasarkan frekuensi transisi berkaitan dengan tabel
kontingensi O   oij  . Melalui reprentasi model linear, parameter
peluang transisi ditaksir melalui metode kuadrat terkecil. Diagram
transisi melalui graf berarah merupakan alat utama dalam analisis rantai
Markov. Melalui diagram transisi, karakteristik suatu rantai Markov
dapat dipelajari secara sistematis. Simulasi rantai Markov memberikan
suatu realisasi proses berupa barisan bilangan real.
TES F OR M AT IF 1
Pilihlah satu jawaban yang paling tepat!
1) Kotak A dan B berisi m bola. Misal St menyatakan banyaknya bola di

kotak A pada saat t. Kotak B berisi m  St bola. Pada t  1 , diambil satu
bola dari m bola secara acak dan dipindahkan ke kotak lain. Tentukan
 
peluang transisi pij  P St 1  j St  i . Misalkan pada saat t, kotak A
berisi i bola; St  i. Pada saat t 1, St 1  i 1 (bola terambil dari kotak
A) atau St 1  i 1 (bola terambil dari kotak B). Peluang transisi
 
P St 1  i  1 St  i  pi , j 1  ....
A. 1 m
B. i m
C. m  i m
D. 1 i
2) Kotak A dan B berisi m bola. Misal pada saat t, kotak A berisi i bola;
St  i. Pada t  1 , satu bola dipilih secara acak dan dipindahkan ke kotak
lain; atau St 1  i 1. P  St 1  i 1 St  i   pi , i 1  ....
A. 1 m
B. i m
C. m  i m
D. 1 i
3) Misalkan St t  0 suatu rantai Markov dengan state space   0,1 dan

03 4 1 4 
matriks peluang transisi P  . Peluang transisi
1  1 6 5 6
P  St 1 1 St  0   p01  ....
A. 1 6
B. 1 4
C. 34
D. 5 6
4) Misal St  i, t  0,1, 2,, i  0,1,, N menyatakan posisi suatu bola

sepanjang titik diskrit 0,1,, N. Pada t  1 bola berpindah satu
langkah, ke arah kanan dengan peluang p dan ke arah kiri dengan
peluang 1  p . Jika berada di titik 0 atau N, bola bergerak ke arah dalam
dengan peluang 1. Peluang transisi diberikan oleh ....
A. p i, i 1  p, p i, i 1 1  p, i  1,, N 1 p  0,1  p  N , N 1 1
B. p  i, i 1  p, p i, i 1 1  p, i  1,, N 1
C. p  i, i 1  p, i  1,, N  1 p  0,1  p  N , N  1 1
D. p  i, i 1 1  p, i  1,, N  1 p  0,1  p  N , N  1 1
 SATS4422/MODUL 1 1.25
5) Misal St t  0 suatu rantai Markov dengan state space   0, 1, 2, 3.

Pengamatan selama 1.571 periode memberikan tabel frekuensi transisi

0 185 74 86 171  516
 
1 101 41 6 115  263
O 
2  69 45 34 78  226
 
3  161 103 100 202  566
1.571
A. 101 263
B. 41 263
C. 6 263
D. 115 263
6) Suatu rantai Markov St t  0 dengan state space   1, 2,3 , memiliki

distribusi awal P  S0  i   1 3, 1 3, 1 3 , i 1, 2,3 dan matriks peluang

transisi
 1 0 0 
 
P   .50 .25 .25 
 .50 .25 .25 
 
Barisan bilangan acak: .55 .90 .65 .72 dan iterasi proses sebagai
berikut.
0 .55 1/3, Ya 2
1/3,
1/3
1 .90 .50 Ya 3
.25
.25
2 .65 .50 Ya 2
.25
.25
3 .72 .50 Ya 2
.25
.25
memberikan realisasi ....
A. 2322
B. 2311
C. 2223
D. 3121
St t  0   1, 2,3 , memiliki distribusi


7) Suatu rantai Markov awal
P  S0  i   1 3, 1 3, 1 3 , i 1, 2,3 dan matriks peluang transisi.
1 0 0
 
P  0 1 0
0 0 1
 
Bilangan acak: .55 .90 .65 .72 dan iterasi proses sebagai berikut.
0 .55 1/3, Ya 2
1/3,
1/3
1 .90 0 Ya 2
1
0
2 .65 0 Ya 2
1
0
3 .72 0 Ya 2
1
0
A. 1111
B. 2222
C. 3333
D. 1231
St t  0   0, 1, 2, 3 ,

8) Rantai Markov memiliki distribusi awal
P  S0  s   1 4, 1 4, 1 4,1 4  , s  0, 1, 2, 3 dan matriks peluang
transisi.
 SATS4422/MODUL 1 1.27
0  .4 .6 0 0 
 
1 .2 .8 0 0 
P 
2  0 0 .4 .6 
 
3  0 0 .2 .8 
Bilangan acak: .55 .90 .65 .72 dengan iterasi proses sebagai berikut.
a, b,
t ut ut  a a  ut  a  b a  b  ut  a  b  c St
c, d
0 .55 1/4, Ya 2
1/4,
1/4
1 .90 .2 Ya 1
.8
0
0
2 .65 .4 Ya 1
.6
0
0
3 .72 .4 Ya 1
.6
0
0
A. 0123
B. 0011
C. 1122
D. 2111
9) Diketahui S 
t t 0 ,   0, 1,  suatu two-state rantai Markov,
 1t 
t    vektor representasi rantai Markov dan model linear
 1t 
1, t 1  1  p22    1 p11  p22  1t   t 1. Realisasi
T T
10  0, 11  1, 12 1, 13  0, 14  0, memberikan 
t 0
1t dan 
t 0
1, t  1
masing-masing ....
A. 2; 2
B. 2; 3
C. 3; 4
D. 4; 4
t t t 1 t t 1 t2
0 0 1 0 0
1 1 1 1 1
2 1 0 0 1
3 0 0 0 0
4 0 . . 0
4 4 4 4
T=5 
t 0
t 2 
t 0
t 1 2  
t 0
t t 1 1 
t 0
t
2
2
10) Diketahui S  

t t 0 ,   0, 1,  suatu two-state rantai
 1t 
Markov, t    vektor representasi rantai Markov dan
 1t 
model linear 1, t 1  1  p22    1 p11  p22  1t   t 1. Realisasi
T T
10  0, 11  1, 12 1, 13  0, 14  0, memberikan 
t 0
1t 1, r 1 dan 
t 0
2
1t
masing-masing ....
A. 2; 2
B. 0; 3
C. 3; 0
D. 1; 2
t t t 1 t t 1 t2
0 0 1 0 0
1 1 1 1 1
2 1 0 0 1
3 0 0 0 0
4 0 . . 0
4 4 4 4
T=5  t  2
t 0
 t  1  2
t 0
 t t  1  1
t 0

t 0
t
2
2
 SATS4422/MODUL 1 1.29
Cocokkanlah jawaban Anda dengan Kunci Jawaban Tes Formatif 1 yang

terdapat di bagian akhir modul ini. Hitunglah jawaban yang benar.
Kemudian, gunakan rumus berikut untuk mengetahui tingkat penguasaan
Anda terhadap materi Kegiatan Belajar 1.
Jumlah Jawaban yang Benar

Tingkat penguasaan =  100%
Jumlah Soal
Arti tingkat penguasaan: 90 - 100% = baik sekali

80 - 89% = baik
70 - 79% = cukup
< 70% = kurang
Apabila mencapai tingkat penguasaan 80% atau lebih, Anda dapat

meneruskan dengan Kegiatan Belajar 2. Bagus! Jika masih di bawah 80%,
Anda harus mengulangi materi Kegiatan Belajar 1, terutama bagian yang
belum dikuasai.
Kegiatan Belajar 2
Distribusi Stasioner
S uatu rantai Markov dikarakterisasikan oleh matriks peluang transisi P dan

distribusi stasioner  . Permasalahan penentuan distribusi stasioner 
jika diketahui matriks transisi P diselesaikan dengan analisis nilai dan vektor
eigen. Penentuan matriks transisi P jika diketahui distribusi stasioner 
diselesaikan dengan pendekatan simulasi Monte Carlo.
Contoh 1.18
St t  0 dengan state space

Tentukan suatu rantai Markov
  1, 2,3, 4 dan distribusi stasioner  i  P  St  i  1 4, i  1, 2, 3, 4.
Matriks transisi memenuhi (Syarat reversibility).
 i pij   j p ji
Karena  i   j , maka pij  p ji
Jadi, agar  i 1 4, i 1, 2,3, 4, P matriks simetri.
Misal   n , n  0,1, 2,, suatu vektor baris dengan elemen

  P  Sn  j  , j  , peluang setelah dalam n langkah proses berada pada
 n
j
state j. Untuk n  1 ,
 j1  P  S1  j    P  S1  j, S0  i  
i 
 P S
i 
1  j S0  i  P  S0  i 
Dalam bentuk matriks, j    i  pij , j  atau        P

1 0 1 0
i 
Dengan cara yang sama,      

n n1
P.
 SATS4422/MODUL 1 1.31
Contoh 1.19
Diketahui rantai Markov S 
t t 0 
,   0,1 dengan matriks transisi
 1 3 2 3
P 
3 4 1 4 
dan distribusi awal   0  1, 0  dengan rumus   n    n1 P diperoleh
 1 3 2 3
 1    0 P = 1, 0     1 3 2 3
3 4 1 4 
 1 3 2 3
  2   1 P = 1 3 1 3    1 9  6 12 2 9  2 12 
3 4 1 4 
 2  9 4  3   11 7 
   
 18 18   18 18 
Vektor  merupakan distribusi stasioner rantai Markov St t  0 jika 


vektor eigen kiri dari P.

  P
dan rantai Markov St t  0 dinamakan rantai Markov ergodik.


Contoh 1.20
Misal St t  0 dengan sate space   1, 2,3, 4 dan matriks transisi

 4 10 5 10 1 10 
 
P   2 10 7 10 1 10 
 4 10 4 10 2 10 
 
   5 18 11 18 2 18 merupakan vektor eigen kiri untuk P, karena

 4 10 5 10 1 10 
 5 18 11 18 2 18   5 18 11 18 2 18  2 10 7 10 1 10 
 4 10 4 10 2 10 
 
Jadi  =  5 18 11 18 2 18 merupakan distribusi stasioner rantai

Markov S 
t t 0 
, , P .
Jika rantai Markov S 

t t 0 
, , P ergodik dengan distribusi stasioner
 , maka
 
 

lim P m   
m  
 
 
Contoh 1.21
Diketahui rantai Markov S 
t t 0 , , P  dengan matriks peluang
transisi
1 3 4 1 4 0 0 
 
2 14 12 14 0 
P= 
3  0 1 4 1 2 1 4
 
4 0 0 1 4 1 4
diperoleh
 .625 .3125 .0625 .0   .49219 .32813 .14063 .03906 

   
.3125 .375 .25 .0625  4  .32813 .30469 .22656 .14063 
P2   ,P
 .0625 .25 .375 .3125   .14063 .22656 .30469 .32813 
   
0 .0625 .3125 .625   .03906 .14063 .32813 .49219 
 SATS4422/MODUL 1 1.33
 .2500 .2500 .2499 .2499  1 4 1 4 1 4 1 4  

     
.2500 .2500 .2499 .2499  14 1 4 1 4 1 4  
P100    
 .2499 .2499 .2500 .2500   14 1 4 1 4 1 4  
     
 .2499 .2499 .2500 .2500  1 4 1 4 1 4 1 4  
Jadi, rantai Markov S  

t t 0 
, , P ergodik dengan distribusi stasioner
  1 4 1 4 1 4 1 4  .
Contoh 1.22
Distribusi stasioner rantai Markov S 
t t 0 
,   0, 1, 2 ,
 0 1 3 2 3
 
P  1 3 0 2 3  diperoleh dari sistem persamaan x  xP , dengan
 1 0 
 0
x   x1 x2 x3  .
 0 1 3 2 3
 x1 x2 x3    x1 x2 x3  1 3 0 2 3 
 1 0 
 0
 x1  x2 3  x3 (1)

 x2  x1 3 (2)
 x  2 x 3  2 x 3 (3)
 3 1 2
x2  x1 3, x3  2 x1 3  2 x2 3  8 x1 9.
Distribusi stasioner   1  2  3 
x1 x2 x3
1   .45,  2   .15,  3   .40
x1  x2  x3 x1  x2  x3 x1  x2  x3
Contoh 1.23
3 4 1 4 
Diketahui matriks transisi P   
1 6 5 6
0  .424 .576   .4 .6 
Perkalian matriks memberikan P6     
1  .384 .616   .4 .6 
Distribusi stasioner rantai Markov dengan matriks transisi P adalah :
  .4 .6  .
Contoh 1.24
Distribusi stasioner rantai Markov dua-state. Misal S  
t t 0 ,   0,1 
rantai Markov dengan matriks peluang transisi.
0 1  a a 
P   , 0  a, b  1 .
1  b 1 b 
Dapat ditunjukkan
 b a  b a a  b  1  b a   
lim P n        
 b a  b a a  b  a  b  b a   
n 
Jadi    b  a  b  a  a  b   
1
b a  adalah distribusi rantai
ab
Markov S 
t t 0 
,   0, 1 , P .
Contoh 1.25
3 4 1 4 
Diketahui matriks transisi P   
1 4 5 6
a  1 4, b 1 6, a  b  5 12, a (a  b) 12 20  3 5, b  a  b  12 30  2 5
Jadi distribusi stasioner rantai Markov S  
t t 0 ,   0, 1 , P  adalah
   2 5 3 5 .
 SATS4422/MODUL 1 1.35
Contoh 1.26
Diketahui rantai Markov S  
t t 0 
,   0, 1, 2 dengan matriks transisi
0  .40 .50 .10 

 
P  1  .05 .70 .25 
2  .05 .50 .45 
Distribusi stasioner x   x0 x1 x2  diperoleh dari persamaan
 xP  x

 x0  x1  x2 1
  .40 .50 .10 

  
 x0 x1 x2   .05 .70 .25    x0 x1 x2 
  .05 .50 .45 
  
x x x  1
 0 1 2
atau
.40 x0  .05 x1  .05 x2  x0


.50 x0  .70 x1  .50 x2  x1

.10 x0  .25 x1  .45 x2  x2
 x0  x1  x2 1
Karena kendala x0  x1  x2 1 , satu persamaan dapat dihapus (misalnya

persamaan 3) penyederhanaan memberikan:
60 x0  5 x1  5 x2  0 (1)

5 x0  3x1  5 x2  0 (2)
 x  x  x 1
 0 1 2 (3)
65 x0  8 x1 0
1   2 dan 1  5  3 memberikan 
65 x0 5
x0  5 65, x1  5 8, x2  31 104. Jadi distribusi stasioner proses

   5 65 5 8 31 104  .
Eksistensi distribusi stasioner. Dua keadaan (state) i dan j dikatakan

accessible, ditulis i  j jika terdapat barisan i  k1  kn  j sehingga
p1k1  0, pkm, km 1  0, pkn , j  0. Jika j dan i juga accessible, i dan j dikatakan
communicate. Kumpulan keadaan communicate membentuk kelas
ekuivalen. Jika semua keadaan di state space Ω communicate, maka state
space Ω dikatakan irreducible; state space hanya terdiri dari satu kelas,
i  j. Selain itu, Ω merupakan state space reducible. Jika terdapat lebih
St t  0

dari satu kelas ekivalen rantai Markov reducible dan distribusi
stasioner tidak (harus) unik. State space Ω dapat di partisi dalam kelas-kelas
ekivalen melalui relasi  .
Ω  Ω0  Ω1  Ω2  , Ωi  Ω j  , i  j
Contoh 1.27
0 1 0 0 0 
 
1 12 0 12 0 
Partisi state space. Misal   0,1, 2,3 dan P  
2  0 1 2 0 1 2
 
3 0 0 0 1 
State space   0,1, 2,3 dapat di partisi menjadi   0  1  3
dengan 0  0 , 1  1, 2 , 3  3. Rantai Markov S  

t t 0 , 
reducible.
Contoh 1.28
Partisi state space. State   0,1, 2,3 dengan matriks.
 SATS4422/MODUL 1 1.37
1 1 2 1 2 0 0 
 
2 12 12 0 0 
P 
3 0 0 1 2 1 2
 
4 0 0 1 2 1 2
dapat di partisi menjadi   1, 2 3, 4 . Rantai markov S 

t t 0 , 
reducible.
State space   1, 2,, N dengan matriks transisi P dapat di partisi
menjadi 0  1   2  , i   j , i  j jika matriks P matriks blok
segitiga atas (upper block triangular).
 BK × K  C 
PN N   , 1  K  N
0 D
Sekali proses berada di state j, j  K , proses tidak mungkin kembali ke

state K 1, K  2, , N . Jika state space  dapat di partisi
0  1  2  , i   j , i  j, rantai Markov S  
t t 0 , 
reducible. Rantai Markov yang tidak reducible (not reducible) dinamakan
irreducible.
Contoh 1.29
Distribusi stasioner tidak unik
Diketahui rantai Markov S   dengan state space   1, 2, 3, 4 dan

t t 0
matriks transisi.
1  .4 .6 0 0 
 
2 .2 .8 0 0 
P 
3  0 0 .4 .6 
 
4  0 0 .2 .8 
1, 2 dan 3, 4 merupakan kelas ekivalen, State space   1, 2, 3, 4 di

partisi menjadi   1, 2 3, 4. Vektor   1 4 3 4 0 0  dan
   0 0 1 4 3 4  merupakan vektor eigen kiri dengan nilai eigen 1. Jika
keadaan awal S0 1, 2 , distribusi stasioner adalah  dan jika S0 3, 4 ,

distribusi stasioner adalah  .
Konsep reversibility berkaitan dengan arah realisasi suatu rantai
Markov. Matriks transisi
1 3 1 3 1 3 
 
P 1 0 0 
 0 0 
 1
mendefinisikan suatu rantai irreducible. Barisan 1 3  2  1 mungkin

terjadi, tetapi balikannya 1 2  3  1 tidak mungkin terjadi karena
p23  0. Dengan demikian arah simulasi dapat diketahui. Dalam hal ini,
rantai tidak reversible.
Contoh 1.30
Diagram transisi. Misal S   
t t 0 suatu rantai Markov dengan matriks
transisi (simetri).
0  0 1 2 1 2
 
P  1 1 2 0 1 2 
2 1 2 1 2 0 
Gambar 1.2
Diagram transisi
 SATS4422/MODUL 1 1.39
Diagram transisi menunjukkan rantai Markov S  

t t 0 ,P  irreducible
dan aperiodic. Dari state 0 proses selalu dapat kembali ke state 0, misalnya
0 1 0. Tetapi dapat juga dalam urutan langkah 0 1 2  0. State 0
aperiodik Dapat ditunjukkan, state 1 dan 2 juga aperiodik.
Contoh 1.31
Diagram transisi. Misal S  

t t 0 suatu rantai Markov dengan matriks
transisi.
1 0 0 1 2 1 2
 
2 1 0 0 0 
P 
3 0 1 0 0 
 
4 0 1 0 0 
Gambar 1.3.
Diagram transisi
Diagram transisi menunjukkan rantai Markov irreducible dan periodik

dengan periode 3.
Contoh 1.32
Irreducible rantai Markov. State space j dikatakan accessible dari state
i, i  j, jika pij   0, untuk suatu integer n  0 . Dua state i, j communicate,
n
notasi i  j , jika i  j dan j  i. Suatu proses irreducible jika semua state

communicate. Relasi communicate merupakan relasi ekivalen, dan melalui
relasi communicate state space  di partisi dalam kelas-kelas ekivalen.
Suatu rantai Markov irreducible jika hanya terdapat satu kelas ekivalen.
Misalkan S   suatu rantai Markov dengan matriks transisi.

t t 0
1 2 3 4 5
1 1 2 1 2 0 0 0 
 
2 1 4 3 4 0 0 0 
 P1 0
P 3 0 0 
P2 
0 0 1
  0
4 0 0 12 0 1 2

5 0 0 0 1 0 
Gambar 1.4.
State space  di partisi dalam dua kelas ekivalen:   1, 2 3, 4,5.
Rantai Markov S  

t t 0 
, , P reducible
Contoh 1.33
Partisi Matriks transisi:
1 1 2 1 2 0 0 
 
2 1 4 3 4 0 0   P1 0
P  
3 0 0 1 3 2 3  0 P2 
 
4 0 0 2 3 1 3
 SATS4422/MODUL 1 1.41
memberikan limit P n
  01  11 0 0 
 1 1

  0 0 
lim P   0
n 1

n 
 0 0  0 2  1 2 
 
 0 0  0 2  1 2 
 
 1   01 11 diperoleh melalui sistem persamaan
 12  01  14  11   1 0
 1
 1 0
 2  0  4 1  1
1 3
 1 1
  0   1  1
atau
 01  13 ; 11  2
3
Dengan cara sama, diperoleh  0  1 2, 1   1 2

2 2
Contoh 1.34
State periodik. Misal S  

t t 0 suatu rantai Markov dengan state space
  0,1, 2 dan matriks transisi
0 1 2 1 2
 
P 1 0 0 
1 0 0 

Gambar 1.5.
Perhatikan matriks memberikan P2n  P2 , P2 n 1  P

Diagram transisi memperlihatkan state 0 merupakan state periodik.
Periode state 0 dihitung melalui rumus
d  0  gcd n 1, p00

n
 0  gcd 2, 4,6,  2
Misal S   suatu rantai Markov dengan matriks transisi P. Barisan


t t  
S 

 t t    , reversed dari rantai S   juga suatu rantai Markov. Rantai

t t  
Markov S   reversible jika matriks transisi rantai S   sama


t t  

t t  
matriks transisi S   ; p  p , i, j . Rantai Markov


dengan  t t   ij ji
 S  
t t    dengan distribusi stasioner  reversible jika dan hanya jika 
dan matriks transisi P memenuhi balanced condition.
 i pij   j p ji , i, j  Ω
Himpunan  ii

T  k ,  P k   0, k  0 menyatakan himpunan banyaknya
langkah untuk revisite state i. Pembagian persekutuan terbesar dari himpunan
T dinamakan periode dari state i. Suatu rantai Markov di mana setiap state
mempunyai periode 1 dikatakan aperiodik. Rantai Markov  S   
t t  
periodik jika periode setiap state lebih besar dari 1.

 SATS4422/MODUL 1 1.43
Contoh 1.35
Menghitung periode suatu state. Diketahi matriks transisi
0 0 1 00
 
1 0 0 1 0
P 
2 0 0 0 1
 
3 1 2 0 1 2 0
      
 0, p00  0, p00  0, p00  1 2,
1 2 3 4
Perhitungan memberikan: p00
 5  6
p00  0, p00  1 4 periode state 0 adalah
d  0  gcd 4,6,8,   2
Jadi state 0 periodik dengan periode d  0   2
Misal S   suatu rantai Markov irreducible, periodik dengan state


t t  
space terhitung P, jika terdapat    i  sehingga  i pij   j p ji , i, j  Ω
maka rantai Markov  S  


t t   reversible dan ergodik dengan distribusi
stasioner unik  .
Contoh 1.36
Misal  S  

t t   suatu rantai Markov irreducible dengan state space
  1, 2,, N dan matriks transisi simeteri pij  p ji . Maka rantai Markov
S   reversible dengan distribusi stasioner (unik) seragam;  1 N.


t t   i
LAT IH A N
Untuk memperdalam pemahaman Anda mengenai materi di atas,

kerjakanlah latihan berikut!
1) Diketahui rantai Markov S 

t t0 
,   0,1 dengan matriks peluang
transisi
1  a a 
P  
 b 1 b 
Tentukan distribusi stasioner,  , rantai Markov S  
t t0 
,   0,1 , P .
Jawab.    b a
a b a b  , 0  a  b  2. Jika a  b  0 , maka  n  1 0 
atau   n   0 1 , dan   c 1 0  d  0 1 , c  d 1 . Jika a  b  1,

rantai Markov periodik.
2) Tentukan distribusi stasioner rantai Markov S  

t t0 ,   0,1, 2 
dengan matriks transisi.
0  .7 .2 .1  0  .6 .3 .1 
   
a. P  1  0 .6 .4  b. P  1  .3 .3 .4 
2  .5 0 .5  2  .4 .1 .5 
0  .1 .1 .8  0 1 2 1 2 0 
   
c. P  1  .2 .2 .6  d. P  1 1 3 1 3 1 3 
2  .3 .3 .5  2  1 6 1 2 1 3 
3) Suatu bus beroperasi pada suatu lintasan (route) kontinu dengan

beberapa pemberhentian. Kedatangan pada suatu pemberhentian
diklasifikasikan dalam 3 keadaan: 1. lebih awal dari jadwal; 2. sesuai
jadwal; 3. terlambat. Misalkan keadaan kedatangan di pemberhentian
merupakan suatu rantai Markov dengan matriks peluang transisi.
 .5 .4 .1 
 
P   .2 .5 .3  dan state space   1, 2,3
 .1 .2 .7 
 
Tentukan a. Distribusi stasioner  ; b. Persentase terlambat dari jadwal,

2.
 SATS4422/MODUL 1 1.45
4) Tentukan partisi state space   0  1  2  , i   j
 , i  j rantai Markov S 

t t0 
,  dengan matriks transisi
1 1 2 1 4 1 4 1 1 2 1 2 0 
   
a. P  2 1 4 1 4 1 2 b. P  2 1 2 0 1 2 
3  0 1 2 1 2  3  0 1 2 1 2 
1 2 0 12 0 
1 1 2 1 4 1 4  
  14 0 34 0 
c. P  2 1 4 1 4 1 2 d. P 
 0 2 10 0 8 10 
3  0 1 2 1 2   
 0 6 10 0 4 10 
1 1 0 0 0 0 
 
2 1 0 0 0 0 
e. P 3 0 13 23 0 0 
 
4 0 0 0 14 3 4

5 0 0 0 12 1 2 
1 1 0 0 0 0 
 
2 1 2 0 0 0 12
f. P 3 0 12 12 0 0 
 
4 0 0 0 15 4 5

5 0 0 0 25 3 5 
0  0 1 2 1 2
 
P  1 1 2 0 1 2 
2  1 0 0 
a. Tentukan diagram transisi

b. Apakah state 0 periodik (Jawab, tidak periodik)
6) Diketahui rantai Markov pada   1, 2, 3 dan matriks transisi
1 0 1 0 
 
P  2 1 2 0 1 2 
3  1 0 0 
Tunjukkan
1 2 3

P11   0, P11   p12 p21  0, P11   p12 p23 p31  0; 2, 3  n, p11   0
n

gcd 2,3  1. d 1  1 , state 1 aperiodic.
7) Tentukan periode state rantai Markov d  i  , i  0, 1, 2, 3 dengan

matriks transisi
 0 1 2 0 1 2
 
14 0 34 0 
P 
 0 1 3 0 2 3
 
1 2 0 1 2 0 
R A NG KU M AN
1. Suatu rantai Markov dengan matriks transisi P reducible jika P

dapat ditulis dalam bentuk.
B C 
P  
 0 D
2. State j dikatakan accessible dari state i, i  j , jika

terdapat barisan (state) i  k1  k2    kn  j sehingga
pik1  0, pkm , km1  0, pkn j  0. State i dan j communicate, i  j,
jika i  j. State space  irreducible jika semua state
communicate.
 SATS4422/MODUL 1 1.47
3. Misal S  
t t   ,  , P,   rantai Markov dengan matriks transisi P
dan distribusi stasioner (tunggal)  . Rantai reversible jika dan
hanya jika  i pij   j p ji , i, j   . Misal S  
t t   ,  , P,  
rantai Markov irreducible dengan state space   1, 2,, N. Jika
P simetri maka rantai reversible dan  i 1 N .
4. Periode state  n

i, d  i   gcd n  1, pii   0 ,gcd  pembagian
 
persekutuan terbesar. Jika n  1, pii  0  , maka d  i  1 dan
 n
state i aperiodic.
TES F OR M AT IF 2
Pilihlah satu jawaban yang paling tepat!

0 1
1) Distribusi stasioner rantai Markov dengan matriks transisi P   
1 0
adalah   ....
A. 1 0
B.  0 1
C. 1 1
D. 1 2 1 2 
2) Vektor  merupakan distribusi stasioner rantai Markov dengan matriks

transisi P jika ....
A.  P  
B. P  
C. P  1
D. P  
3) Distribusi stasioner, , rantai Markov dengan matriks transisi

1 4 3 4
P   ....
5 6 1 6 
A. 10 19 9 19 
B. 9 19 10 19 
C. 1 4 3 4
D. 5 6 1 6
4) Misal St t  0 suatu rantai Markov dengan matriks transisi


1 1 2 1 4 1 4 
 
P  2 1 4 1 4 1 2 
3  0 1 2 1 2 
State space   1, 2, 3 di partisi menjadi ....
A. 1 2,3
B. 1, 2 3
C. 1,3 2
D. 1 2 3
5) Misal St t  0 suatu rantai Markov dengan matriks transisi


1 1 0 0 0 0 
 
2 1 2 0 0 0 12
P  30 12 12 0 0 
 
4 0 0 0 15 4 5

50 0 0 25 3 5 
State space   1, 2, 3, 4, 5 di partisi menjadi ....
A. 1 2 3 4 5
B. 1 2,3 4,5
C. 1 2,3, 4 5
D. 1, 2 3, 4 5
St t 0 dengan state space   0,1, 2,3 dan


6) Diketahui rantai Markov
matriks transisi
 SATS4422/MODUL 1 1.49
0 0 1 0 0
 
1 0 0 1 0
P 
2 0 0 0 1
 
3 1 2 0 1 2 0 
State 0 priodik dengan periode ....
A. 1
B. 2
C. 3
D. 4
St t 0 dengan state space   1, 2,3 dan


7) Diketahui rantai Markov
matriks transisi
1 0 1 0 
 
P  2 1 2 0 1 2 
3  1 0 0 
d 1  ....
A. 1
B. 2
C. 3
D. 4
Cocokkanlah jawaban Anda dengan Kunci Jawaban Tes Formatif 2 yang

terdapat di bagian akhir modul ini. Hitunglah jawaban yang benar.
Kemudian, gunakan rumus berikut untuk mengetahui tingkat penguasaan
Anda terhadap materi Kegiatan Belajar 2.
Jumlah Jawaban yang Benar

Tingkat penguasaan =  100%
Jumlah Soal
Arti tingkat penguasaan: 90 - 100% = baik sekali

80 - 89% = baik
70 - 79% = cukup
< 70% = kurang
Apabila mencapai tingkat penguasaan 80% atau lebih, Anda dapat

meneruskan dengan modul selanjutnya. Bagus! Jika masih di bawah 80%,
Anda harus mengulangi materi Kegiatan Belajar 2, terutama bagian yang
belum dikuasai.
 SATS4422/MODUL 1 1.51
Kunci Jawaban Tes Formatif
Tes Formatif 1 Tes Formatif 2

1) B 1) D
2) C 2) A
3) B 3) A
4) A 4) B
5) C 5) B
6) A 6) B
7) B 7) A
8) D
9) A
10) D
Daftar Pustaka
Taylor, H.M., Karlin S. (1984). An Introduction to Stochastic Modeling.

Academic Press.

Estimasi Parameter

Diunggah oleh

Informasi Dokumen

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Estimasi Parameter

Diunggah oleh

Hak Cipta:

Format Tersedia

Modul 1

S , t  , , S 

Secara khusus Anda diharapkan dapat:

Estimasi Peluang Transisi

 S  S  ,   , dengan St , t  0,,  , dan barisan

peubah acak (correlated random variables) dengan sate space diskrit  .

P  St  m 1  j St  m  i   P  St 1  j St  i   pij , m  0,1, 2,

i m , j  i 1 (bola terambil dari kotak A)

peluang terjadi sambungan adalah p. Jika pesawat telepon sedang aktif,

p  i, i  1  p (bola berpindah satu langkah ke kanan)

Taksiran peluang transisi

1.049 1.399 350 1.399 

dinamakan proses Bernoulli.

1. Tuliskan deskripsi proses

Matriks Ρ   pij  dinamakan matriks peluang transisi (matriks transisi

Simulasi rantai Markov. Misal   1, 2, 3 dan P  St 1  a, P  St  2  b,

dengan distribusi awal P  S0  i   1 3, 1 3, 1 3 . Proses simulasi dilakukan

Proses simulasi dilakukan sebagai berikut:

Jika proses iterasi dilanjutkan, diperoleh barisan realisasi rantai Markov:

Diperoleh realisasi proses berupa barisan bilangan: 2, 1, 1, 1, 1, 1, 1, 1,1.

 p11 p12   p1N 

Suatu rantai Markov direpresentasikan melalui t :

1, 0, 0, , 0  , jika St  1

dan model linear

S0  2, S1 1, S2  2 memiliki representasi,

10 11 10

state space   1, 2, 3. Realisasi proses S0  3, S1  1, S2  2 memiliki

state space   1, 2, 3. Realisasi proses S0  2, S1  0, S2  1 memiliki

00 01 00

Komponen pertama vektor representasi 1t 0 1 0

Realisasi S0  1, S1  1, S2  0 memiliki representasi

 1, t 1   p11 1  p22   1, t   1, t 1 

1, t 1  1  p22    1 p11  p22  1t  1, t 1

Untuk menyederhanakan, tulis 1, t 1  t 1 , 1t   t ,1  p22  c, dan

Substitusi t  0,1, 2,, T menghasilkan

Dengan notasi matriks dan vektor, diperoleh

Tulisan persamaan di atas sebagai;

Taksiran kuadrat terkecil  dan  diberikan oleh

Tabel berikut memperlihatkan proses komputasi penaksiran parameter

Matriks frekuensi transisi O

dan matriks peluang transisi

p p12   p11 1  p11 

Misal O   oij , i, j 1, 2  , dengan oij  frekuensi transisi dari state i ke

Taksiran peluang transisi

Untuk memperdalam pemahaman Anda mengenai materi di atas,

1) Diketahui suatu rantai Markov dengan state space   0, 1 dan

Tentukan peluang transisi p00 , p11 , p01 , p10 !

Tentukan peluang transisi p  i, j  , i, j  1, 2,3!

3) Banyaknya peserta pada hari t , St , suatu mata kuliah diklasifikasikan

Visualisasikan matriks transisi P dengan graf berarah!

Gambarkan matriks transisi melalui diagram graf berarah!

Tentukan diagram transisi garf berarah dari matriks detergen!

7) Misalkan suatu tangki air memiliki kapasitas 3 m2. Misal St menyatakan

8) Suatu rantai Markov St t  0 dengan state   0,1, 2 memiliki matriks

dan distribusi awal

Tentukan realisasi rantai Markov jika sampling dari distribusi uniform

9) Suatu rantai Markov S0 , S1 , S2 ,  memiliki matriks peluang transisi.

dan distribusi awal

10) Diketahui suatu rantai Markov dengan matriks transisi

11) Diketahui suatu rantai Markov dengan matriks transisi.

Lengkapilah tabel realisasi proses berikut:

Lengkapilah tabel realisasi proses berikut:

St  i , maka elemen ke-j dari vektor t 1 ,  j , t 1 ,

Tunjukkan nilai ekspektasi