Modul VI Proses Markov

6.1. Pengantar Markov proses adalah sebuah bentuk khusus dari proses stochastic. Dan proses markov ini sangat penting untuk kita karena sebagian besar model dasar untuk sistim tunggu dan sistim loss dapat dibuat / diuraikan dengan bantuan Markov proses. 6.2. Proses Stochastic Proses stochastic dapat didefinisikan sebagai sebuah kumpulan dari variable stochastic X(t) dimana t adalah parameter waktu, sedangkan Variable stochastic adalah variable yang kejadiannya mengikuti pola random (probabilistic). Contohnya adalah:

Jumlah channel/saluran yang dipakai pada sistim telepon pada satu waktu atau pada saat kedatangan panggilan telepon ke-n. Jumlah paket data yang ada dalam sebuah buffer pada suatu waktu t.

6.3. Sifat Markov Sebuah proses stochastic X(t) adalah sebuah proses Markov jika memenuhi berikut ini;

untuk semua n, t1 < t2 < < tn < tn+1 dan x1, x2, , xn+1. Inilah yang disebut sebagai karakteristik Markov. Jika nilai X(t) mewakili suatu "keadaan" (state) dari proses Markov pada saat t dan t kita anggap sebagai "sekarang", maka berdasarkan karakteristik markov, semua informasi tentang kelakuan sistim dimasa yg akan datang ditentukan oleh keadaan sekarang. Dan informasi tentang karakter/kelakuan sistim dimasa yg lalu dalam hal ini tidak berpengaruh sama sekali. Sifat Markov juga mengindikasikan distribusinya bersifat "memoryless". Proses Markov secara definisi adalah sebuah proses stochastic yang memenuhi sifat Markov. Proses Markov juga sering disebut Rantai Markov jika berkenaan dengan state space (ruang keadaan) yg diskrit, artinya X(t) hanya menerima nilai-nilai tertentu bahwa Holding time dalam keadaan tertentu

PUSAT PENGEMBANGAN BAHAN AJAR-UMB

Nacep Suryana, M.Sc.

REKAYASA TRAFIK

seperti himpunan diskrit {0, 1, 2, 3, .}. Sedangkan rantai Markov waktu kontinyu berada dalam interval [0, ). Secara konsepsional, proses Markov waktu Diskrit adalah yg paling sederhana. 6.4. Rantai Markov berhingga dengan parameter waktu diskrit. Pada rantai markov berhingga terdiri dari state space (ruang keadaan) berjumlah n keadaan. Evolusi dari rantai markov pada waktu diskrit ditentukan oleh matrixperubahan P, dalam matrix ini baris ke-i dan kolom ke-j menunjukan peluang bahwa keadaan pada saat t sama dengan j, sedangkan keadaan pada saat (t-1) adalah i: pij = Pr { X(t) = j | X(t-1) = i} misalkan V(t-1) adalah distribusi peluang dari X(t-1): vi (t-1) = Pr {X(t-1) = i} peluang pada saat t dalam keadaan j dapat dihitung melalui distribusi peluang pada saat t-1 dan untuk setiap keadaan i peluang berubah dari keadaa i ke keadaan j adalah: vj (t) = vi (t-1) Pij dalam matrix notasi dapat ditulis sbb: V(t) = V(t-1) P jika perhitungan didasarkan pada V(0), maka perhitungan V(t) dapat dilakukan sbb: V(t) = V(0) Pt Contoh: Anggaplah isi dari buffer berita sebagai proses Markov waktu diskrit, X(t) adalah jumlah berita dalam buffer pada akhir interval ke-t. interval berlangsung dari t-1 sampai t. setiap kedatangan berita yang terjadi saat buffer sudah penuh maka berita itu akan hilang, jika tidak ada berita yang datang dan buffer dalam keadaan tidak kosong, maka dalam satu interval sebuah berita akan diproses. peluang kedatangan dalam satu interval adalah 0.2.

PUSAT PENGEMBANGAN BAHAN AJAR-UMB

Nacep Suryana, M.Sc.

REKAYASA TRAFIK

ditanyakan: matrix dari peluang perubahan dan distribusi peluang dari jumlah berita didalam buffer pada saat t = 3, jika diketahui pada saat t = 0 buffer dalam keadaan kosong. Solusi: dari uraian soal, jika buffer dalam keadaan kosong maka peluang satu berita datang atau tidak ada sama sekali adalah 0.2. jika dalam buffer ada satu berita maka ada peluang 0.2 satu berita datang lagi, dan ada peluang 0.8 berita ini diproses dan pergi dari buffer. jika buffer penuh, maka ada peluang 0.8 satu berita hilang atau buffer tetap penuh. dari sini kita akan mendapatkan matrix perubahan adalah sbb:

0.8 0.2 0.0 P= 0.8 0.0 0.2 0.0 0.8 0.2

pada saat t = 0, buffer dalam keadaan kosong, maka distribusi peluangnya adalah: V=[1 0 0] dari sini distribusi peluang pada t =3 dapat dihitung dengan rumus V(3) = V(0). P 3. hasilnya dapat dilihat seperti dibawah ini:

0.80 0.16 0.04 V(3) = [0.8 0.2 0.0] = [ 0.768 0.192 0.64 0.32 0.04 0.64 0.16 0.20 0.040]

Dalam mendefinisikan sebuah rantai Markov adalah sangat penting sekali untuk menggambarkan "diagram keadaan"-nya, seperti terlihat pada gambar 6.1. Untuk rantai Markov-hingga dengan parameter waktu Diskrit diagram keadaan-nya adalah sbb: Untuk setiap "keadaan" digambar dengan lingkaran dengan nomor/angka didalamnya, dimana angka tersebut menggambarkan tentang keadaan dari prosesnya.

Untuk setiap pij digambarkan sebuah panah dari lingkaran i ke lingkaran j, dan nilai tertentu ditempatkan disamping panah tertentu

PUSAT PENGEMBANGAN BAHAN AJAR-UMB

Nacep Suryana, M.Sc.

REKAYASA TRAFIK

Gambar 6.1. diagram keadaan dari rantai markov diskrit Perhitungan distribusi peluang atau distribusi kesetimbangan jika menggunakan matrix akan sangat sulit dan hal dapat dilakukan dengan lebih sederhana sebagai berikut. Peluang perpindahan dari i +1 ke keadaan i adalah sbb: vi Pi,i+1 = vi+1 Pi+1,i vi+1 = vi (Pi,i+1) / (Pi+1,i) Hal ini akan mendorong algoritma berikut untuk menghitung distribusi kesetimbangan V. dengan menggunakan notasi W berikut ini: w1 =1 wi+1 = wi (Pi,i+1) / (Pi+1,i) maka wsum : wsum = wi maka distribusi kesetimbangan V diberikan oleh: vi = wi / wsum i = 1, 2, 3 ., n

Contoh: Diberikan sebuah rantai markov dengan diagram keadaan sbb:

ditanyakan: Distribusi kesetimbangan dari rantai markov berikut ini Solusi:

PUSAT PENGEMBANGAN BAHAN AJAR-UMB

Nacep Suryana, M.Sc.

REKAYASA TRAFIK

Untuk menyelesaikan soal ini kita tidak dapat mengunakan rumus matrix, karena kita akan mendapatkan perhitungan matrix berpangkat sangat besar. Kita dapat mengunakan rumus diatas untuk menyelesaikannya:

Distribusi kesetimbangan yg dimaksud adalah:

6.5. Rantai-Markov dg parameter waktu kontinyu Perbedaan dengan rantai markov sebelumnya adalah terletak pada parameter waktu, disini parameter waktu yang digunakan adalah besaran kontinyu, dan itu adalah elemen bilangan real positif (0,). Rantai Markov (Baik waktu kontinyu maupun diskrit) adalah ruang-keadaan (state space) yang selalu diskrit, ruang keadaan yang mungkin pada rantai-Markov contohnya adalah:

Ruang-keadaan yang terakhir ini kita temui saat menggambarkan sistim antrian tunggu dengan ruang tunggu yang tak-berhingga. Keadaan pada sistim antrian-tunggu pada waktu t diberikan oleh jumlah klien dalam sistim pada waktu tersebut. Karena disini parameter waktu bersifat kontinyu, maka perubahan dari rantai Markov berjalan dengan interval waktu kecil yang jumlahnya tak-berhingga. Oleh karena

PUSAT PENGEMBANGAN BAHAN AJAR-UMB

Nacep Suryana, M.Sc.

REKAYASA TRAFIK

itu tak masuk akal jika kita hanya membatasi proses Markov dimana transisi hanya terjadi pada keadaan sekitar-nya. Proses Markov dimana hanya transisi ke keadaan sekittar saja yang terjadi disebut sebagai birth-death process. Untuk birth-death process peluang transisi dari keadaan pada saat t - t ke keadaan pada saat t akan diberikan berikut ini. anggap t sebagai bilangan kecil, dan nantinya kita anggap limit t 0. Term dari orde (t)2 dan yang lebih tinggi kita singkat dengan o (t), hal ini berarti term ini terhadap t dapat diabaikan kalau t 0.

dimana i adalah birth-intensity pada keadaan i dan i intensitas death pada keadaan i, intensitas ini setelah dikalikan t merupakan transisi ke keadaan lebih tinggi satu atau lebih rendah satu. Sebelumnya kita sudah mendefinisikan:

Peluang bahwa proses pada saat t dikeadaan i, pada term dari orde o(t) sepenuhnya ditentukan oleh peluang pada keadaan t - t pada keadaan i -1, i atau i + 1

dari persamaan ini kita dapat menentukan turunan dari peluang untuk berada pada keadaan i melalui pemindahan term vi(t - t), kemudian dibagi t dan limit t 0:

perhatikan bahwa kalau index i = 0, term pertama sebelah kanan akan hilang. Juga pada keadaan ini death-intensity 0 = 0, sehingga kita akan dapatkan:

Pada kasus rantai Markov kontinyu dengan keadaan berhingga {0, 1, 2, ,n} berlaku bahwa n = 0, dan kita mendapatkan penyesuaian seperti diatas. Persamaan diatas dapat dibuat lebih kompak/ringkas jika dituliskan dalam bentuk matrix. Untuk itu kita mendefinisikan matrix tridiagonal Q,

PUSAT PENGEMBANGAN BAHAN AJAR-UMB

Nacep Suryana, M.Sc.

REKAYASA TRAFIK

Persamaan differensial untuk V(t), distribusi peluang pada waktu t, menjadi persamaan differensial linier orde pertama biasa:

dalam banyak kasus orang tertarik pada distribusi kesetimbangan dari rantai Markov waktu kontinyu. Perhitungannya juga sederhana sebagaimana rantai Markov waktu diskrit dengan transisi ke keadaan sekitar. Solusi dari persamaan diatas diberikan oleh persamaan berikut:

pada kasus V(t) dan Q besaran scalar, tidak akan sulit untuk menyelidiki bahwa V(t) memenui persamaan diatas. Tapi jika V(t) dan Q berupa matrix vector, maka penyelesaian dari persamaan differensial itu tergantung definisi eQt. definisi ini dibantu dengan pengembangan seri dan e-berpangkat:

I adalah matrix satuan (matrix yang berisi nilai satu pada diagonalnya dan sisanya nol). Tentu saja jika kita harus menghitung Q berpangkat semuanya adalah pekerjaan mustahil, untuk memungkinkan hal itu kita menggunakan fakta bahwa Q dapat di diagonalisasi: Q = U-1 D U U adalah matrix yang dibentuk oleh eigenvector sebelah kiri dari Q, D adalah matrix diagonal dengan eigenvalue pada diagonalnya. Q yang dipangkatka sembarang akan diperoleh sbb: Q = U-1 D U U-1 D U U-1 D U U-1 D U = U-1 Dn U

PUSAT PENGEMBANGAN BAHAN AJAR-UMB

Nacep Suryana, M.Sc.

REKAYASA TRAFIK

Pangkat n pada matrix diagonal D adalah sama dengan tiap elemen dari matrix diagonal D dipangkatkan n:

Perhitungan untuk eDt tidak memerlukan operasi matrix lagi karena matrix ini semua berisi nol kecuali elemen diagonalnya. Contoh: Penggunaan dari 2 jalur dapat dimodeling sebagai rantai Markov kontinyu, ruangkeadaan (jumlah jalur yang ditempati) adalah {0, 1, 2}. Intensitas transisi adalah 0 = 1 = 1, dan 1 = 1, 2 = 2. satuan waktu adalah rata-rata holding-time 9lama bicara). Pada t = 0 kedua jalur ditempati: V(0) = [0 0 1]. Berapa besar peluang bahwa pada t = 0.5 kedua jalur masih dipakai ??.

PUSAT PENGEMBANGAN BAHAN AJAR-UMB

Nacep Suryana, M.Sc.

REKAYASA TRAFIK