Proses Random
03
Pasca Teknik Elektro ..... Prof. Dr.-Ing. Mudrik Alaydrus
Abstract Kompetensi
Petunjuk Penggunaan Template Dosen Penyusun dapat menerapkan
Modul Standar untuk digunakan dan menggunakan template modul
dalam modul perkuliahan standar untuk modul-modul yang akan
Universitas Mercu Buana dipergunakannya
Variabel Random Diskret Lanjut
Bagian ini membahas alat bantu lanjut yang dipakai untuk membahas variabel random.
Fungsi pembangkit probabilitas adalah alat penting yang bisa dipakai untuk mendapatkan
jumlah dari variabel-variabel random integer yang bersifat nonnegatif. Variabel random ini
bersifat independen. Jika variabel random hanya tak terkorelasi (uncorrelated), untuk
membahasnya bisa digunakan nilai rata-rata (jumlah yang ter-norm) dengan menggunakan
hukum lemah untuk bilangan yang besar (weak law of large numbers).
Di sini ditekankan, bahwa hukum lemah menghubungkan teori probabilitas dengan aplikasi
keseharian dengan menggunakan nilai rata-rata dari data pengamatan untuk mengestimasi
probabilitas dari pengukuran nyata.
Setelah itu akan dibahas tentang probabilita bersyarat dan ekspektasi bersyarat. Tiga alat
bantu penting yang dipakai di sini adalah hukum probabilitas total, hukum substitusi dan
untuk variabel random yang independen, juga digunakan, hilangkan kondisi (“dropping the
conditioning”).
Pada banyak problem yang diberikan, dimiliki jumlah dari variabel random yang independen,
diinginkan diketahuinya pmf(probability mass function) dari jumlah random variabel ini.
Sebagai contoh, dalam sebuah sistim komunikasi optis, sinyal terima bisa dimodelkan
dengan Y = X + W, yang mana X adalah jumlah dari electron-elektron foto yang
dibangkitkan oleh cahaya yang mengenai photo detector, dan W adalah jumlah electron
akibat arus noise yang ada di dalam detector ini.
Fungsi pembangkit probabilitas adalah alat bantu yang penting untuk problem seperti ini.
Nama ini diberikan kepada fungsi matematika ini, karena kemampuannya untuk
menghitungan probability mass function (pmf). Selain itu fungsi pembangkit probabilitas juga
bisa digunakan untuk menghitung mean dan varians dengan cara yang sederhana.
Diberikan X sebuah variabel random diskret yang memiliki nilai bilangan bulat non-negatif.
Fungsi pembangkit probabilitas (probability generating function/pgf) dari X didefinisikan
dengan
( ) , - ∑ ( )
Rumusan ini mengingatkan pada transformasi Z, jadi G(z−1) adalah transformasi Z dari pmf
pX (n) := P(X = n).
( ) , -
∑ ( )
( ) ( )
∑ ∑
Contoh:
Sebuah jaringan komunikasi memiliki n buah saluran. Andaikan setiap saluran mengalami
down dengan probabilitas p independen dari saluran lainnya. Tunjukkanlah bahwa jumlah
saluran yang down adalah jumlah dari variabel random Bernoulli yang independen.
Solusi
Gunakan Xi = 1 jika saluran ke i down dan Xi = 0 kebalikannya. Maka Xi adalah Bernoulli(p)
yang independen, dan Y := X1+· · ·+Xn menghitung banyaknya saluran yang down.
Contoh:
Sebuah sampel material yang bersifat radioaktif tersusun dari molekul sebanyak n. Setiap
molekul memiliki probabilitas p dalam memancarkan partikel alpha dan pemancaran setiap
molekul ini saling independen. Tunjukkan bajwa jumlah dari partikel yang dipancarkan
adalah jumlah dari variabel random Bernoulli yang independen.
Solusi
Gunakan Xi = 1 jika molekul ke i memancarkan partikel alpha, dan Xi = 0 jika tidak. Maka Xi
adalah Bernoulli(p) yang independen, dan Y := X1+· · ·+Xn menghitung jumlah partikel alpha
yang dipancarkan.
Amatilah, jalan yang digunakan, dengan memiliki Y = k dengan Xi = 1 dan nilai lainnya n−k
Xi = 0. Andaikan Bk addalah himpunan dari semua barisan dari nol dan satu, katakan (b1, . .
. ,bn), yang mana k dari bi = 1 dan nilai lainnya n−k bi = 0. Maka
( ) (( ) )
∑ ( )
( )
∑ ( ) ( )
( )
( ) ∑ ( )
( )
| | ( )
Yang mana |Bk| menyatakan jumlah dari barisan dalam himpunan Bk.
Dari bagian sebelumnya dinyatakan
| | . /
( )
( ) . / ( )
Cara lain yang bisa digunakan untuk menurunkan rumus untuk P(Y = k) adalah dengan
menggunakan fungsi pembangkit probabilitas seperti yang diperkenalkan pada bagian 3.1.
Dengan metoda ini, pertama-tama ditentukan GY (z), kemudian digunakan GY(k) (z)|z=0/k! =
P(Y = k).
Menentukan GY (z), digunakan sifat faktorisasi untuk pgfs dari penjumlahan variable random
yang saling independen. Dengan
maka
Selanjutnya, Dibutuhkan turunan dari ( ). Turunan pertama dan secara umum, turunan
ke-k adalah
Dan menjadi
Karena rumusan untuk ( ) adalah sebuah polinomial dengan ordo n, GY(k) (z) = 0 untuk
semua k > n. Sehingga, P(Y = k) = 0 untuk k > n.
Variabel radom Y dinamakan sebuah variable random binomial(n, p). Probability mass
function (pmf) dari variable random ini biasanya ditulis dengan notasi
Teorema binomial theorem menyatakan, jika ada dua buah bilangan kompleks a dan b,
maka berlaku
Penurunan teorema ini dilakukan dengan induksi terhadap n yang bisa diverifikasi dengan
mudah
Tetapi untuk bilang yang nonnegative a dan b dengan a+b > 0, hasilnya adalah sebuah
konsekuensi yang mudah untuk pengetahuan kita tentang variable random binomial.
Sangatlah berguna untuk diketahui, bahwa koefisien binomial bisa dengan mudah
didapatkan dengan hanya membaca baris ke-n dari segitiga Pascal di gambar 3.2.
Untuk mendapatkan segitiga Pascal, setiap nilai merupakan jumlah dari dua angka di
atasnya, seperti ditampilkan di gambar 3.2.
. /
Yang merupakan fungsi pembangkit probabilitas untuk variable random Poisson(λ). Dalam
mendapatkan aproksimasi ini, n harus sangat besar disbanding dengan λ (z−1). Karena λ :=
np, sehingga, jika n besar, maka λ (z−1) juga akan besar. Sehingga untuk menahan nilai λ
cukup kecil, nilai p harus kecil. Dengan asumsi ini, fungsi pembangkit probabilitas
binomial(n, p) menjadi mirip dengan fungsi pembangkit probabilitas dari Poisson(np). Maka
aproksimasi Poisson
( )
. / ( )
Contoh:
Seperti yang dibahas di contoh yang lalu, jumlah dari partikel alpha yang dipancarkan oleh
sampel radioaktif adalah variable random binomial(n, p). Tetapi karena n sangat besar,
misalnya 1023, bahkan jika jumlah partikel yang diharapkan np berjumlah besar, misalnya
satu milyar, yaitu 109, maka p ≈ 10−14 masih sangat kecil, dan aproksimasi Poisson
terjustifikasi.
| ( | ) ( | )
( ) ( )
( ) ( )
| ( | ) ( | )
( ) ( )
( ) ( )
Yang hanya berlaku jika penyebut tidak bernilai nol. | dinamakan probability mass
function (pmf) bersyarat dari X diberikan Y. Demikian juga dengan | adalah pmf bersyarat
dari Y diberikan X. Dengan mengalikan penyebutnya didapatkan hubungan
( ) | ( | ) ( ) | ( | ) ( )
Contoh:
Hitungkah pmf bersyarat | ( ) jika
Solusi
Dari contoh yang lalu,
Jadi dengan diberikan nilai X = i untuk nilai i = 0, . . . ,n−1, didapatkan nilai Y yang bersyarat
yang memiliki bentuk geometric0 (i/(i+1).
Gambar 3.3
pmf bersyarat memainkan peranana penting, karena digunakan untuk menghitung
probabilitas bersyarat, seperti halnya menggunakan pmf marginal untuk perhitungan
probabilitas biasa. Contohnya
( | ) ∑ ( ) | ( | )
Rumusan ini diturunkan dengan menggunakan B = {xk} di persamaan (2.11), dan membagi
hasilnya dengan P(X =xk) = pX (xk).
Contoh:
Untuk kedua variable random yang diberikan di contoh sebelum ini, X dan Y, hitunglah pmf
joint mereka, jika X ∼ geometric0(p).
Solusi
Pmf joint adalah
Jika Y adalah variable random yang bebas, dan diambil A = {Y C}, yang mana C ⊂ IR,
maka
Yang juga dinamakan hukum probabilitas total. Jika Y adalah variable random diskret yang
mengambil nilai yj , maka dengan mengeset C = {yj} dihasilkan
Contoh:
(Saluran biner). Jika input dari saluran biner yang ditampilkan di gambar 3.4 adalah variable
random Bernoulli(p) X, dan output dari saluran ini adalah variable random Y, hitunglah P(Y =
j) untuk j = 0, 1.
Gambar 3.4 Saluran Biner dengan probabilitas crossover ε dan δ, jika ε = δ, dinamakan juga
saluran biner simetris (binary symmetric channel).
Solusi
Diagram ini menginformasikan bahwa P(Y = 1|X = 0) = ε dan P(Y = 0|X = 1) = δ . Besaran-
besaran ini dinamakan probabilitas menyilang (crossover probabilities).
Diagram ini juga memberikan informasi redundan bahwa P(Y = 0|X = 0) = 1−ε dan P(Y = 1|X
= 1) = 1−δ.
Menggunakan hukum probabilitas total, didapatkan
P(Y = j) = P(Y = j|X = 0)P(X = 0)+P(Y = j|X = 1)P(X = 1).
Khususnya,
P(Y = 0) = P(Y = 0|X = 0)P(X = 0)+P(Y = 0|X = 1)P(X = 1)= (1−ε )(1− p)+δ p,
dan
P(Y = 1) = P(Y = 1|X = 0)P(X = 0)+P(Y = 1|X = 1)P(X = 1) = ε (1− p)+(1−δ )p.
Solusi
Hasilnya P(Y = 0) = 13/24 dan P(Y = 1) = 11/24.
Karena crossover probabilities bernilai kecil, efek dari saluran terhadap data minimal.
Karena bit-bit masukan kemungkinan terjadinya sama, diharapkan bit keluaran juga
mendekati kondisi kemungkinan yang sama juga.
Contoh:
Sebuah sampel radioaktif mengeluarkan partikel alpha dengan suatu rate yang tergantung
dari ukuran sampel tersebut. Untuk sampel yang memiliki ukuran k, andaikan bahwa jumlah
partikel yang diamati berupa variable random Poisson Y dengan parameter k. Jika ukuran
sampel size berupa variable random geometric1(p) X, tentukanlah P(Y = 0) dan P(X = 1|Y =
0).
Solusi
Langkah pertama untuk dilakukan adalah rumusan masalah di contoh ini menginformasikan
bahwa P(Y = n|X = k) sebagai fungsi dari n adalah pmf Poisson dengan parameter k.
Dengan kata lain,
Selanjutnya,
Solusi
Gunakan Y untuk mengamati output dari detector, dan gunakan X = 1 untuk tanda, bahwa
detector bekerja dengan baik. X =0 untuk detector yang berkerja secara malfunctioning.
Maka rumusan masalah di sini bahwa P(X = 1) = p dan
Yang jelas menghasilkan angka antara nol dan 1 sebagaimana suatu probabilitas
seharusnya.
Perlu dicatat bahwa sebuah nilai yang lebih besar Y = n, probabilitas bersyarat bahwa
detector mengalami malfunction dengan kemungkinan yang lebih kecil.
Diklaim bahwa
Kemudian menjadi
Contoh
(sinyal dalam noise aditif). Sebuah sinyal bernilai integer dan bersifat random X
ditransmisilam melalui sebuah saluran yang mengandung noise aditif yang juga bernilai
integer dan bersifat random yang independen dengan X. Sinyal terima Z =X +Y seperti yang
ditunjukkan di gambar 3.5. Untuk melakukan estimasi X berdasarkan dari nilai yang diterima
Z, perancang sistim komunikasi menggunakan pmf bersyarat pX|Z. Tentukanlah pmf
bersyarat ini.
Solusi
Diberikan variable random bernilai integer dan diskret X dan Y yang saling independen
dengan masing-masing pmf nya pX dan pY.
Analisa dilanjutkan dengan menggunakan hukum substitusi yang diikuti oleh independensi
untuk mendapatkan
Hasil ini juga bisa dikombinasikan dengan hukum probabilitas total untuk menghitung
penyebut dari persamaan (3.15)
Dengan kata lain, jika X dan Y adalah variable random bernilai interger, diskret dan saling
independen, maka pmf dari Z = X +Y adalah convolusi diskret dari pX dan pY . Sehingga
menjadi
Yang mana dalam penyebut digunakan indeks pengganti ke k untuk menghindari pertukaran
dengan i di pembilang.
Variabel random Poisson(λ) adalah model yang sangat cocok untuk menggambarkan jumlah
photoelectrons yang dibangkitkan oleh photodetector jika intensitas cahaya yang datang
adalah λ . Sekarang dengan mengandaikan adanya sumber cahaya tambahan dengan
intensitas μ. Maka diharapkan jumlah photoelectrons yang dibangkitkan sebanding dengan
intensitas total cahaya λ +μ. Contoh berikut mengilustrasikan model probabilitas ini.
Contoh
Solusi
To find pZ( j), we apply (3.17) as follows. Since pX (i) = 0 for i < 0 and since
pY ( j−i) = 0 for j < i, (3.17) becomes
Since we have already found pZ( j), all we need is P(Z = j|X = i), which, using (3.16), is imply
pY ( j−i). Thus,
Perhatikan problem dari sebuah penerima yang digunakan pada saluran biner di gambar
3.4. Penerima memiliki akses pada sisi output dari saluran yaitu Y, dan penerima harus
mengestimasi, atau menebak nilai dari X.
Aturan pengambilan keputusan seperti apa yang akan digunakan ?
Dari pengamatan didapatkan, tidak ada aturan pengambilan keputusan yang memberikan
probabilitas kesalahan yang lebih kecil dibandingkan aturan maximum a posteriori
probability (MAP) .
Dengan mengamati Y = j, aturan MAP memutuskan X = 1 jika
(X = 1|Y = j) ≥ P(X = 0|Y = j),
Ini adalah pengamatan penting. Kita tak perlu menghitung penyebut untuk
mengimplementasikan aturan MAP.
Selanjutnya, amatilah bahwa jika input X = 0 dan X = 1 memiliki kemungkinan yang sama
kemunculannya, sehingga kedua factor ini saling menghilangkan
Kadang-kadang prior probabilities P(X = i) tidak diketahui. Pada kasus ini, kadang-kadang
digunakan (3.20). Aturan ini memutuskan X = 1 jika persamaan (3.20) bisa didapatkan dan
X = 0 jika persamaan itu tidak berlaku dinamakan aturan maximum-likelihood (ML).
Dalam konteks ini P(Y = j|X =i) dinamakan likelihood dari Y = j. Aturan maximum-likelihood
memutuskan X = i jika i memaksimalkan likelihood dari pengamatan Y = j.
A final thing to note about the MAP rule is that (3.19) can be rearranged as
Since the left-hand side is the ratio of the likelihoods, this quotient is called the likelihood
ratio. The right-hand side does not depend on j and is just a constant, sometimes called a
threshold. The MAP rule compares the likelihood ratio against this specific threshold. The
ML rule compares the likelihood ratio against the threshold one. Both the MAP rule and ML
rule are sometimes called likelihood-ratio tests. The reason for writing the tests in terms of
the likelihood ratio is that the form of the test can be greatly simplified.
Contoh:
Diberikan X dan Y variable random binomial(n, p) independen. Tentukanlah probabilitas
bersyarat dari X > k diberikan bahwa max(X,Y) > k jika n = 100, p = 0.01, dan k = 1.
Jika digunakan qk := P(X _ k) dan menggunakan fakta bahwa X dan Y memiliki pmf yang
sama, maka
Contoh:
Diberikan X ∼ Bernoulli(p), dan andaikan diberikan X = i, Y adalah variable random
bersyarat dengan Poisson(λi), yang mana λ1 >λ0. Berikanlah tes likelihood-ratio berikut
Amatilah, bahwa sisi sebelah kanan adalah angka (threshold) yang bisa dihitung dari data
masalah. Jika diamati Y = j, dibandingkan j ke angka threshold. Jika j lebih besar atau sama
dengan angka ini, diambil X = 1; jika tidak, diambil X = 0.