Anda di halaman 1dari 16

TUGAS VI

KUALITAS LAYANAN DAN KEHANDALAN


SISTEM KOMUNIKASI

KELOMPOK

I Gede Pande Mastra Sedana 1204405012

Made Dita Rahayu Putri 1204405078

Bidang Studi Teknik Telekomunikasi


Jurusan Teknik Elektro
Universitas Udayana
18 Mei 2015
DISCRETE AND CONTINUOUS MARKOV PROCESSES

3.1 STOCHASTIC PROCESSES


Stochastic Processes merupakan sebuah model matematika untuk
mendeskripsikan sebuah proses empiris yang berubah dengan sebuah indeks, yang
contoh biasanya adalah waktu di sebagian besar proses kehidupan nyata, menurut
probabilistic forces. Lebih spesifiknya, sebuah Stochastic Processes merupakan sebuah
keluarga dengan variable random {X(t), t T} yang didefinisikan pada beberapa ruang
probabilitas dan di-indeks dengan parameter t{ t T }, dimana t biasanya disebut time
parameter. Probabilitas bahwa X(t) memiliki nilai dinyatakan dengan I, ,maka P[X(t) =
i], yaitu rentang dari ruang probabilitas.
Umumnya, terdapat tiga parameter yang mencirikan sebuah Stochastic Processes,
yaitu :
(1) State Space
Nilai yang diasumsikan dengan sebuah variable acak X(t) disebut states, dan
kumpulan semua kemungkinan nilai membentuk state space dari proses. Jika X(t) = I,
maka dikatakan prosesnya di state i. Contohnya adalah di stock counter, state space-nya
adalah set dari semua harga dalam counter tertentu pada hari itu.
Jika state space dari stochastic processes-nya finite (or at most countably infinte),
maka disebut discrete-state process, atau umumnya direferensikan sebagai stochastic
chain. Dalam kasus ini, state space-nya sering diasumsikan bilangan bulat yang tidak
negative {0, 1, 2, ..}.
Di sisi lain, jika state space mengandung finite (or infinite interval of the real
number), maka disebut continuous-state process. Contohnya, set dari nilai integer
positif {n} pada interval {a,b} adalah infinite atau countably infinite, dimana set dari
real numbers pada interval yang sama [a,b] adalah infinite.
(2) Index Parameter
Seperti yang dikatakan diatas, index selalu digunakan sebagai time parameter
dalam context dari aplikasi stochastic processes. Mirip dengan state space, jika sebuah
proses merubah keadaan pada discrete atau finite countable time instants, maka disini
terdapat discrete (time) parameter process. Discrete-parameter process juga dikenal
dengan sebutan stochastic sequence. Pada kasus ini, biasanya ditulis {Xk | k N = (0, 1,
2, . . .)} daripada enclosed time parameter {X(t)}. Dengan menggunakan contoh stock
price, jika kita hanya tertarik pada closing price dari counter tersebut, maka kita
memiliki stochastic sequence.
Di sisi lain, jika sebuah proses merubah keadaan (atau dalam terminology dari
Markov Theory membuat sebuah transisi) setiap instant pada time axis, maka kita
memiliki continuous (time) - parameter process. Contohnya, jumlah paket datang ke
router selama interval waktu tertentu [a, b] adalah sebuah continuous-time stochastic
chain karena t [a, b] adalah sebuah continuum.
Tabel 3.1 memberikan klasifikasi dari stochastic processes menurut state space dan
time parameter mereka.

Tabel 3.1 Classification of stochastic process

(3) Statistical dependency


Statistical dependency dari stochastic process mengacu pada hubungan antara satu
variable random dan lainnya dalam keluarga yang sama. Ini merupakan feature utama
yang membedakan satu kelompok stochastic process dari yang lain.
Untuk mempelajari statistical depency dari stochastic process, diperlukan untuk
melihat pada nth order joint (cumulative) distribusi probabilitas yang mendiskripsikan
hubungan antara variable random dalam proses yang sama. Distribusi nth order joint
dari stochastic process didefinisikan sebagai

F() = P[X(t1) x1, . . . , X(tn) xn] (3.1)

Dimana

= (1 , 2, , xn)
Setiap realisasi dari sebuah stochastic process disebut dengan sample path.
Contohnya, sebuah sample path dari tossing sebuah coin sebanyak n kali adalah {head,
tail, tail, head, . . . , head}.
Markov process merupakan stochastic process yang menunjukkan jenis tertentu
dari ketergantungan antara variable acak. Untuk sebuah Markov process, masa depan
dari perkembangan probabilitas tergantung hanya pada the most current state, dan
bagaimana prosesnya sampai pada current position tidak relevan dengan masalah di
masa depan.

Contoh 3.1
Harga penutupan hari akhir dari counter tertentu yang terdaftar di Bursa Singapura
pada hari k adalah sebagai Xk. Jika diobservasi harga penutupan dari hari k sampai hari
k+3, maka urutan untuk diamati berikut {Xk} adalah stochastic sequence :
Xk = $2.45 Xk+1 = $2.38
Xk+2 = $2.29 Xk+3 = $2.78
Namun, jika kita tertarik pada fluktuasi harga selama trading hours dan
mengasumsikan kita telah mengobservasi harga pada instants t1 < t2 < t3 < t4, maka
chain {X(t)} adalah continuous-time stochastic chain:
X(t1) = $2.38 X(t2) = $2.39
X(t3) = $2.40 X(t4) = $2.36

3.2 Discrete-time Markov Chains


Markov Processes merupakan stochastic process yang menunjukkan ke-simple-an
namun bentuk yang sangat berguna dari ketergantungan antara variable random dari
keluarga yang sama, yaitu ketergantungan yang masing-masing variable random dalam
keluarga memiliki sebuah distribusi yang tergantung hanya pada variable acak langsung
sebelumnya.
Sebagai ilustrasi ide dari Markov chain vs stochastic process, mari kita lihat pada
percobaan pelemparan koin. Pertma, define 2 variable random; namely Xk = 1 (atau 0)
saat outcome dari kth trial adalah head (atau tail), dan Yk = jumlah akumulasi dari
heads so far. Asumsikan system dimulai dalam keadaan Zero (Y0 = 0) dan memiliki
hasil urutan seperti pada tabel 3.2
Tabel 3.2 A sample sequence of Bernoulli trials

Maka, Xk didefinisikan sebagai chain dari variable random atau disebut stochastic
process, sedangkan Yk membentuk Markov chain dimana nilainya hanya tergantung dari
cumulative outcomes dan tahap sebelumnya dari chain. Yaitu

= 1 + (3.2)

Probabilitasnya yang ada, katakanlah, lima akumulasi head setiap tingkat


tergantung hanya pada jumlah akumulasi kepala pada tingkat sebelumnya (harus lima
atau empat) bersama-sama dengan fixed probability Xk pada pelemparan.

3.2.1 Definition of Discrete-time Markov Chains


Secara Matematika, stochastic sequence {Xk, k T} dikatakan discrete-time
Markov Chain jika kondisi probabilitas berikut berlaku untuk semua i, j, dan k:

[+1 = |0 = 0 , 1 = 1 , . . , 1 = 1 , = ] = [+1 = | = ] (3.3)

Ekspresi diatas hanya mengatakan bahwa (k+1)th distribusi probabilitas


bergantung pada semua yang sebelumnya sama dengan (k+1)th distribusi probabilitas
pada kth; k = 0, 1, 2, . Atau, pengembangan masa depan probabilitas dari chain
tergantung hanya pada its current state (kth instant) dan bukan pada bagaimana chain-
nya sampai pada current state. Sejarah sebelumnya telah selesai merangkum dalam
spesifikasi dari current state dan system tidak memiliki memory dari masa lalu sebuah
memoryless chain. Karakteristik memoryless ini lebih dikenal sebagai Markovian
atau Markov property.
Probabilitas bersyarat pada sisi kanan dari persamaan (3.3) adalah probabilitas
dari chain going dari state i pada time step k ke state j pada time step k+1 sehingga
disebut (one-step) transitional probability. Secara umum P[Xk+1 = j | Xk = i] merupakan
sebuah fungsi dari waktu dan dalam persamaan (3.3) tergantung pada time step k. Jika
probabilitas transitional tidak berbeda dengan waktu, yaitu, itu adalah invariant terhadap
waktu zaman, maka rantai dikenal sebagai time-homogeneous Markov chain.
Menggunakan short-hand notation, kita menulis kondisi probabilitas sebagai

= [+1 = | = ]

Dropping time index. Melalui buku ini, kia akan mengasumsikan bahwa semua Markov
processes yang kita setujui adalah dengan time homogeneous.
Untuk konvensi nasional, kita biasanya denote state space dari Markov chain
sebagai {0, 1, 2, }. Saat = , chain dikatakan dalam state j pada waktu k dan kita
mendefinisikan probabilitas dari finding chain pada state ini menggunakan persamaan
baru:

()
= [ = ] (3.4)

Saat Markov chain bergerak dari satu state ke yang lainnya, kita mengatakan
bahwa system membuat sebuah transition. Graphical representation dari perubahan
dynamic dari state, ditunjukkan pada gambar 3.1, dikenal sebagai state transition
diagram atau transition diagram untuk lebih pendek. Pada diagram, nodes
merepresentasikan state dan arah arc antara nodes represent the one-step transition
probabilities. Self-loops tersebut mengindikasikan probabilitas dari yang tersisa dalam
state yang sama pada next time instant. Pada kasus discrete-time Markov chain,
transition antara state dapat mengambil tempat hanya pada some integer time instant 0,
1, 2, , k, dimana transition dalam kasus continuous mungkin mengambil tempat pada
any instant of time.
Sistem harus transit ke state lainnya atau tetap pada present state nya dalam next
time stepm kita memiliki

= 1 & 1 = 1 (3.5)
Kondisi probabilitas yang ditunjukkan pada persamaan 3.3 menunjukkan hanya
dynamism (atau pergerakan) dari chain. Untuk mengkarakteristikan Markov chain
sepenuhnya, diperlukan untuk mengspesifikasi starting point dari chain, atau, intial
probability distribution P[X0 = i] dari chain. Dimulai dengan initial state, ini dalam
prinsip sekarang possible untuk menghitung probabilitas dari finding the chain dalam
particular state pada future time menggunakan teori total probability:

()
[+1 = ] =
=0 [+1 = | = ] [ = ] = =0 (3.6)

3.2.2 Matrix Formulation of State Probabilities


Mari kita express probabilitas transition dalam sebuah n x n matriks , asumsikan
terdapat n states. Matriks dikenal sebagai transition probability matrix, atau transition
matrix:

11 12 1
22 2
= ( ) = ( 21 ) (3.7)

Element Pij adalah probabilitas transition yang didefinisikan pada persamaan


(3.3). Jika nomor dari states adalah finite, katakanlah n, maka kita memiliki matriks
, selainnya matrix infinite. Karena probabilitas of going to all other states,
termasuk itself, should sum menjadi unity, seperti yang ditunjukkan pada persamaan
(3.5), jumlah dari masing-masing row pada matrix diatas harus sama dengan unity,
maka:
Type equation here.
= 1

Sebuah matrix dengan masing-masing row berjumlah unity dan semua elemen
positive atau zero disebut sebuah stochastic matrix. Markov chain merupakan
karakteristik komplit dengan (one-step) transition probability matrix bersamaan dengan
initial probability vector.
Similarly, kita mengekspresikan state probabilitas pada setiap time interval
sebagai row vector:

() () ()
() = (0 , 1 , , ) (3.8)

Dari persamaan diatas, kita mendapatkan persamaan

() = (0) (3.9)

Dimana

() = . (1) = (3.10)

, atau k-step transition matrix, adalah perkalian k-fold dari one-step transition
matrix oleh itself. Kita mendefinisikan () = .
Persamaan (3.9) dan (3.10) memberikan kita metode general dalam menghitung
state probability k step into a chain. Dari matrix operations, kita mengetahui bahwa

(+1) = () () (3.11)

Atau

+ = =0

(3.12)
3.2.3 General Transient Solutions for State Probabilities
Dalam sesi ini, kita akan menunjukkan sebuah pendekatan z-transform elegan
dari finding general expression untuk .
Pertama kita mendefinisikan matrix z-transform dari sebagai

() ()
=0 (3.13)
() = (0) ( )1 (3.14)

Dimana adalah matriks identitas dan superscript (-1) denotes matriks inverse.
Jika terdapat inverse, kita bisa mendapatkan solusi transient untuk state probability
dengan carrying out inverse z-transform dari persamaan (3.14). Membandingkan
persamaan (3.14) dan (3.9), kita dapat melihat bahwa k-step transition matrix
didapatkan dari

= ( )1 (3.15)

Berpasangan dengan initial state probabilitas vector, kita dapat kita hitung state
probability vector k-step into the future.
Selain metode z-transform, terdapat cara lain untuk menemukan , yaitu jika
eigenvalues dari semuanya adalah distinct, maka dapat ditunjukkan sebagai

() = 1
= + 2 2 + (3.16)

Dimana N adalah matriks yang makes up of the eigenvectors dari , dan adalah
matrices yang dibahas di sesi sebelumnya. Secara umum lumayan sulit untuk meng-
compute eigenvalues dan eigenvectors dari sebuah matrix.
3.2.4 Steady-state Behaviour of a Markov Chain
Kita mengatakan rantai ini memiliki state yang stabil dan phi disebut probabilitas
stasioner atau distribusi stasioner. Probabilitas stasioner dapat dihitung dari Persamaan
sebagai

Untuk sebagian besar dari fenomena fisik dan dalam kondisi yang sangat umum
yang yang menarik bagi kita, nilai-nilai membatasi selalu ada. Kami akan menyatakan
teorema tanpa bukti tetapi memperjelas beberapa istilah yang digunakan dalam teorema
selanjutnya.
Theorem 3.1
Sebuah rantai Markov diskrit { Xk } yang tereduksi, aperiodic dan waktu-
homogeny dikatakan ergodic. Untuk rantai Markov ergodic, yang membatasi
probabilitas:

selalu ada dan independen dari distribusi probabilitas keadaan awal. Probabilitas
stasioner pj secara unik ditentukan melalui berikut persamaan

dapat dirumuskan menggunakan operasi matriks berikut:


Dimana e~ adalah 1 n vektor baris dengan semua entri sama dengan satu. Untuk
mengatasi dua persamaan matriks ini, kita pertama-tama defi ne sebuah U~ n matriks
dengan semua entri sama dengan satu, maka persamaan pertama fi dapat ditulis kembali
sebagai p~ U~ = e~. Siswa harus mencatat bahwa dua matriks, U~ atau e~, memiliki
penjumlahan properti. Setiap matriks, mengatakan ~ = [aij], dikalikan dengan U~ atau
e~ akan menimbulkan matriks di mana setiap entri berturut-turut adalah sama dan
jumlah yang sesuai baris di ~. Sebagai contoh:

Menambahkan dua persamaan bersama-sama, kita memiliki

3.2.5 Reducibility and Periodicity of a Markov Chain


Pada bagian ini, kita memperjelas beberapa istilah yang digunakan dalam
Teorema 3.1. Sebuah Markov rantai dikatakan tereduksi jika mengandung lebih dari
satu terisolasi set tertutup negara. Sebagai contoh, berikut matriks transisi telah dua
terisolasi set tertutup negara, seperti yang ditunjukkan pada Gambar 3.3. Tergantung
pada negara rantai dimulai dengan, itu akan tetap dalam salah satu set terisolasi tertutup
dan tidak pernah memasuki lainnya set tertutup.

Chain Markov tereduksi adalah salah satu yang hanya memiliki satu set tertutup dan
semua negara dalam rantai dapat dicapai dari negara lain. Setiap j negara dikatakan
dapat dicapai dari setiap negara lain saya apakah mungkin untuk pergi dari negara i ke
Negara j di sejumlah berhingga langkah sesuai dengan yang diberikan probabilitas
transisi matriks. Dengan kata lain, jika ada ak mana > k 1 sehingga p (k)
ij> 0, i, j.

A Markov chain is said to be periodic with period t if it only returns to a particular state
(say i) after nt(n = 1, 2, . . .) steps. Otherwise, it is aperiodic. In an irreducible Markov
chain, all states are either all aperiodic or all periodic with the same period.

3.2.6 Sojourn Times of a Discrete-time Markov Chain


Waktu tinggal dari diskrit-waktu rantai Markov dalam keadaan tertentu,
mengatakan saya, mengacu jumlah unit waktu yang dihabiskannya di negara itu. Kami
akan membatasi diskusi kita untuk rantai Markov homogen disini
Dengan asumsi rantai Markov baru saja memasuki negara saya, kemungkinan itu
tinggal di negara ini pada langkah kali diberikan oleh PIJ PIJ
pij=-
1. Jika itu tetap dalam keadaan ini, sekali lagi kemungkinan itu tinggal di negara itu
pada langkah waktu berikutnya juga pii. Oleh karena itu, kita melihat bahwa waktu
rantai Markov tetap dalam keadaan i, tinggal waktu Ri, adalah variabel acak
terdistribusi secara geometris dengan PMF:

Dan waktu tinggal yang diharapkan diberikan oleh


Hasil sebelumnya waktu tinggal ini sejalan dengan properti memoryless dari rantai
Markov. Distribusi geometrik adalah satu-satunya probabilitas diskrit distribusi yang
memiliki sebuah properti tanpa memori. Eksponensial istribusi adalah versi terus
menerus yang juga memiliki properti dan kami akan menunjukkan kemudian bahwa kali
tinggal dari waktu kontinu rantai Markov eksponensial didistribusikan.

3.3 CONTINUOUS-TIME MARKOV CHAINS


Setelah membahas discrete-time Markov chain, kita sekarang siap untuk melihat
pada continuous-time counterpart. Secara konseptual, tidak ada perbedaan antara dua
kelas ini dari Markov chain; sejarah masa lalu chain masih menjadi diringkas dalam
keadaan sekarang dan pengembangan masa depan dapat disimpulkan dari ada. Bahkan,
kita dapat berpikir tentang continuous-time Markov sebagai yang membatasi kasus jenis
diskrit.
Namun, ada perbedaan dalam formulasi matematika. Dalam kontinyu Rantai
Markov, karena transisi dapat terjadi pada setiap instan dari kontinum waktu, perlu
sekarang untuk menentukan berapa lama proses telah tinggal di tertentu negara sebelum
transisi berlangsung. Dalam beberapa literatur, istilah 'Markov proses' juga digunakan
untuk merujuk kepada continuous- sebuah rantai Markov waktu. Kami menggunakan
istilah yang kadang-kadang di bab berikutnya

3.3.1 Definition of Continuous-time Markov Chains


Definisi dari continuous-time Markov chain paralel dengan discretetime Markov
chain. Ini adalah proses stokastik {X (t)} dimana pengembangan probabilistic masa
depan proses hanya tergantung pada yang sekarang.
Dari pembahasan awal, kita tahu bahwa dalam continuous-time Markov chains
kita perlu menentukan skema transisi dimana system pergi dari satu negara ke yang lain.
Probabilitas transisi saja tidak cukup untuk benar-benar mencirikan proses. Alih-alih
tinggal di teoritis formal dasar-dasar yang dapat cukup terlibat, kita akan mengambil
definisi defi berikut sebagai titik tolak untuk diskusi berikutnya kami dan
mengembangkan diperlukan distribusi probabilitas. Dan lagi, kita akan memusatkan
perhatian kita pada kasus homogen.
3.3.2 Sojourn Times of a Continuous-time Markov Chains
Analog dengan discrete-time Markov chain, sojourn times dari waktu continuous-
time Markov chain adalah chain spends dalam keadaan tertentu. Dari pembahasan
sebelumnya chain Markov, kita tahu bahwa future probabilistic pengembangan chain
hanya berkaitan dengan sejarah masa lalu melalui saat ini posisi. Dengan demikian,
waktu tinggal dari rantai Markov harus 'tanpa memori dan terdistribusi eksponensial,
distribusi eksponensial adalah satu-satunya yang berkelanjutan distribusi probabilitas
yang menunjukkan sebuah properti tanpa memori. Kami harus menunjukkan bahwa kali
tinggal dari waktu kontinu Markov chain memang eksponensial didistribusikan
menggunakan definisi di atas. Kita berasumsi rantai baru saja memasuki state, dan akan
tetap dalam selama interval [0, t].

3.3.3 State Probability Distribution


Kita sekarang akan mengalihkan perhatian kita untuk probabilitas untuk
menemukan chain probabilitas di state tertentu. Seperti biasa, kami defi ne pj (t) = P [X
(t) = j] dan mempertimbangkan perubahan probabilitas dalam jumlah kecil dari waktu
AT:

Yang pertama istilah di sebelah kanan adalah probabilitas bahwa rantai dalam keadaan i
pada waktu t dan membuat transisi ke state j di AT. Istilah kedua adalah probabilitas
bahwa
rantai dalam j negara dan tidak membuat transisi ke setiap negara-negara lain di AT.
Menata ulang hal, membagi Persamaan (3.20) oleh AT dan mengambil batas, kita
memiliki
3.3.4 Comparison of Transition-rate and Transition-probability Matrices.
Membandingkan matriks tingkat transisi (3.31) didefinisikan didalam Bagian
3.3.3 dengan probabilitas transisi matriks (3,7) dari Bagian 3.2.2, kami melihat beberapa
kesamaan sebagai serta perbedaan antara mereka.
Pertama-tama, masing-masing dari dua matriks ini benar-benar mencirikan sebuah
Markov rantai, yaitu untuk rantai Markov terus menerus dan untuk rekan diskrit.
Semua sementara dan mapan probabilitas dari rantai yang sesuai dapat pada prinsipnya
dihitung dari mereka dalam hubungannya dengan probabilitas awal vektor.
Perbedaan utama antara keduanya terletak pada kenyataan bahwa semua entri di
adalah tarif transisi sedangkan dari adalah probabilitas. Untuk mendapatkan peluang
di , Setiap entri harus dikalikan dengan AT, yaitu t, i.e. qij t, Kedua, setiap baris
dari jumlah matriks nol bukan satu, seperti dalam kasus matriks. Tingkat transisi
sesaat akan kembali ke itu sendiri tidak Defined dalam kasus kontinyu.

3.4 BIRTH-DEATH PROCESSES


Sebuah proses Birth-Death adalah kasus khusus dari Markov chain di mana proses
membuat transitions hanya untuk neighbouring states dari current position.
Menyederhanakan perawatan dan membuat sebuah model yang sangat baik untuk
semua sistem antrian dasar yang akan dibahas kemudian. Pada bagian bab ini dan
berikutnya, kita akan agak bersantai karna kami menggunakan terminologi dan istilah
'Proses Markov' untuk merujuk kepada continuous-time Markov chain Yang disebut
didalam banyak literature antrian.
Proses kelahiran-kematian jangka berasal dari sebuah studi pemodelan pada
perubahan ukuran populasi. Ketika ukuran populasi k pada waktu t, Proses dikatakan
dalam keadaan k pada waktu t. Sebuah transisi dari k untuk K + 1 negara signifi es yang
'lahir' dan transisi ke k - 1 menunjukkan sebuah 'kematian' dalam populasi. Secara
implisit tersirat dalam model adalah asumsi bahwa tidak ada kelahiran simultan atau
kematian dalam jangka waktu tambahan AT. Seperti biasa, kami mewakili negara ruang
dengan satu set bilangan positif bulat {0, 1, 2,. . .} Dan diagram transisi-tingkat negara
digambarkan pada Gambar 3.6 Jika kita defi ne lk menjadi angka kelahiran ketika
populasi adalah ukuran k dan mk menjadi tingkat kematian ketika populasi adalah k,
maka kita harus
lk = qk,k+1 mk = qk,k1

Mengganti mereka ke dalam matriks transisi-tingkat (3.31), kita memiliki transitionrate


yang matriks

Dengan memperluas Persamaan (3.32) dan menggunakan notasi lebih akrab Pk (t) = pk,
kita punya

Secara umum, fi nding solusi tergantung waktu dari proses kelahiran-kematian ini sulit
dan membosankan, dan kadang-kadang tidak terkendali. Kami tidak akan mengejar
lebih lanjut melainkan menunjukkan solusi dari beberapa kasus khusus sederhana. Di
bawah sangat umum kondisi dan untuk sebagian besar sistem kehidupan nyata, Pk (t)
mendekati batas Pk sebagai t dan kita mengatakan sistem dalam keseimbangan
statistik.