Jika X adalah variabel acak dengan fungsi kepadatan kumulatif (cdf) 𝐹𝑋 (𝑥), maka sebarang
fungsi dari X, misalkan 𝑔(𝑋) adalah juga variabel acak. Sering kali 𝑔(𝑋) kita tulis 𝑌 = 𝑔(𝑋)
untuk menyatakan variabel acak baru 𝑔(𝑋) . Karena 𝑌 adalah fungsi dari X, kita dapat
mendeskripsikan perilaku probabilistik dari 𝑌 dalam kaitannya dengan X. Untuk sebarang
himpunan A,
𝑃(𝑌 ∈ 𝐴) = 𝑃(𝑔(𝑋) ∈ 𝐴)
Menunjukkan bahwa distribusi dari 𝑌 bergantung pada fungsi 𝐹𝑥 dan 𝑔. Tergantung pilihan
𝑔, terkadang memungkin untuk mendapatkan ekspresi yang dapat dilacak untuk probabilitas
ini.
Secara formal, jika kita menuliskan 𝑦 = 𝑔(𝑥), fungsi 𝑔(𝑥) mendefinisikan pemetaan dari
ruang sampel awal X, X, ke ruang sampel yang baru, Y, ruang sampel variabel acak 𝑌,
sehingga
𝑔 (𝑥 ): X → Y
Kita kaitkan dengan 𝑔 adalah sebuh pemetaan invers, dinyatakan dengan 𝑔−1 , yang mana
adalah pemetaan dari subset Y ke subset X, dan dinyatakan sebagai
(2.1.1) 𝑔−1 (𝐴) = {𝑥 ∈ X: 𝑔(𝑋) ∈ 𝐴}
Perhatikan bahwa pemetaan 𝑔 −1 mengambil himpunan menjadi himpunan, yaitu 𝑔−1 (𝐴)
adalah himpunan titik-titik di X yang 𝑔(𝑥) masuk ke dalam himpunan A. Hal ini mungkin
untuk A menjadi himpunan sebuah titik, misalkan 𝐴 = {𝑦}, maka
𝑔−1 ({𝑦}) = {𝑥 ∈ X: 𝑔(𝑥 ) = 𝑦}
Pada kasus ini kita terkadang menuliskan 𝑔−1 (𝑦) daripada 𝑔−1 ({𝑦}). Jumlah 𝑔−1 (𝑦) masih
dapat menjadi sebuah himpunan, namun, jika terdapat lebih dari satu 𝑥 untuk 𝑔(𝑥 ) = 𝑦. Jika
hanya terdapat satu 𝑥 untuk 𝑔 (𝑥 ) = 𝑦, maka 𝑔−1 (𝑦) adalah himpunan titik {𝑥}, dan ditulis
𝑔−1 (𝑦) = 𝑥. Jika variabel acak Y didefinisikan 𝑌 = 𝑔(𝑋), dapat dituliskan untuk sebarang
himpunan 𝐴 𝑠𝑢𝑏𝑠𝑒𝑡 Y ,
(2.1.2) 𝑃 (𝑌 ∈ 𝐴) = 𝑃(𝑔(𝑋) ∈ 𝐴)
= 𝑃({𝑥 ∈ X: 𝑔(𝑥 ) ∈ A})
= 𝑃(𝑋 ∈ 𝑔−1 (𝐴))
Ini mendefinisikan peluang sebaran 𝑌 . Hal ini menunjukkan bahwa sebaran peluang
memenuhi Aksioma Kolmogorov.
Jika 𝑋 adalah variabel acak diskrit, maka X jumlahnya dapat dihitung. Ruang sampel untuk
𝑌 = 𝑔(𝑋) adalah Y = {𝑦: 𝑦 = 𝑔(𝑥 ), 𝑥 ∈ Χ}, yang mana adalah himpunan yang jumlahnya
dapat dihitung. Jadi, 𝑌 juga variabl acak diskrit. Dari (2.1.2), fungsi massa peluang (pmf)
untuk 𝑌 adalah
𝑓𝑌 (𝑦) = 𝑃(𝑌 = 𝑦) = ∑𝑥∈𝑔−1(𝑦) 𝑃 (𝑋 = 𝑥 ) = ∑𝑥∈𝑔−1(𝑦) 𝑓𝑋 (𝑥 ), untuk 𝑦 ∈ Y
dan 𝑓𝑌 (𝑦) = 0 untuk 𝑦 bukan elemen Y. Menentukan fungsi massa peluang 𝑌 hanya
melibatkan 𝑔−1 (𝑦) , untuk setiap 𝑦 ∈ Y, dan menjumlahkan peluang yang sesuai.
Contoh 2.1.1 (Transformasi Binomial)
Variabel acak diskrit 𝑋 memiliki sebaran binomial jika fungsi massa peluangnya dalam
bentuk
𝑛
(2.1.3) 𝑃 (𝑋 = 𝑥 ) = ( ) 𝑝 𝑥 (1 − 𝑝)𝑛−𝑥 , 𝑥 = 0,1, … , 𝑛
𝑥
Dimana 𝑛 adalah bilangan bulat positif dan 0 ≤ 𝑝 ≤ 1. Nilai-nilai seperti 𝑛 dan 𝑝 yang dapat
diatur menjadi nilai-nilai yang berbeda, menghasilkan sebaran peluang yang berbeda, disebut
parameter. Pandang variabel acak 𝑌 = 𝑔(𝑋) , dimana 𝑔(𝑥 ) = 𝑛 − 𝑥 ; artinya 𝑌 = 𝑛 − 𝑋 .
Disini X = {0,1, … , n) dan Y = {𝑦: 𝑦 = 𝑔(𝑥 ), 𝑥 ∈ Χ} = {0,1, … , 𝑛). Untuk sebarang 𝑦 ∈ Y,
𝑛 − 𝑥 = 𝑔(𝑥 ) = 𝑦 jika dan hanya jika 𝑥 = 𝑛 − 𝑦. Sehingga 𝑔−1 (𝑦) adalah titik tunggal 𝑥 =
𝑛 − 𝑦, dan
𝑓𝑌 (𝑦) = ∑𝑥∈𝑔−1 (𝑦) 𝑓𝑋 (𝑥 )
= 𝑓𝑋 (𝑛 − 𝑦)
𝑛
= (𝑛 − 𝑦) 𝑝𝑛−𝑦 (1 − 𝑝)𝑛−(𝑛−𝑦)
𝑛
= (𝑦) (1 − 𝑝)𝑦 𝑝𝑛−𝑦
Dari simetri fungsi 𝑠𝑖𝑛2 (𝑥) dan fakta bahwa 𝑋 memiliki sebaran seragam, kita punya
𝑃(𝑋 ≤ 𝑥1 ) = 𝑃(𝑋 ≥ 𝑥4 ) 𝑑𝑎𝑛 𝑃(𝑥2 ≤ 𝑋 ≤ 𝑥3 ) = 2𝑃(𝑥2 ≤ 𝑋 ≤ 𝜋)
Sehingga
(2.1.6) 𝑃(𝑌 ≤ 𝑦) = 2𝑃(𝑋 ≤ 𝑥1 ) + 2𝑃(𝑥2 ≤ 𝑋 ≤ 𝜋)
Fungsi kepadatan peluang (pdf) variabel acak 𝑋 positif hanya pada himpunan X dan 0 untuk
yang lainnya. Himpunan seperti itu disebut support set dari sebuah sebaran. Terminologi ini
juga dapat berlaku untuk fungsi massa peluang (pmf), atau secara umum untuk fungsi tidak
negatif.
Mudah untuk menangani fungsi 𝑔(𝑥 ) yang monoton, yaitu fungsi yang memenuhi
𝑢 > 𝑣 ⇒ 𝑔(𝑢) > 𝑔(𝑣) (meningkat) atau 𝑢 < 𝑣 ⇒ 𝑔(𝑢) > 𝑔(𝑣) (menurun)
Jika transformasi 𝑥 → 𝑔(𝑥) monoton, maka 𝑔(𝑥) adalah fungsi satu satu (one to one) dan
fungsi pada (onto) dari X → Y. Sehingga setiap 𝑥 hanya memiliki satu pasangan di 𝑦. Untuk
Y didefinisikan seperti (2.1.7), untuk setiap 𝑦 ∈ Y terdapat satu 𝑥 ∈ X sehingga 𝑔(𝑥 ) = 𝑦
(fungsi pada). Dengan demikian, transformasi 𝑔 secara unik memasangkan 𝑥𝑠 dan 𝑦𝑠. Jika 𝑔
adalah fungsi monoton, maka 𝑔−1 bernilai tunggal; artinya 𝑔−1 (𝑦) = 𝑥 jika dan hanya jika
𝑦 = 𝑔(𝑥). Jika 𝑔 fungsi monoton naik, berarti bahwa
{𝑥 𝜖 Χ: 𝑔(𝑥) ≤ 𝑦} = {𝑥 𝜖 Χ: 𝑔−1 (𝑔(𝑥)) ≤ 𝑔−1 (𝑦)}
Jika 𝑔(𝑥 ) adalah fungsi naik, maka dengan menggunakan (2.1.4), dapat ditulis
𝑔−1(𝑦)
𝐹𝑌 (𝑦) = ∫ 𝑓𝑋 (𝑥 )𝑑𝑥 = ∫ 𝑓𝑋 (𝑥 )𝑑𝑥 = 𝑓𝑋 (𝑔−1 (𝑦))
{𝑥𝜖Χ:𝑥≤𝑔−1 (𝑦)} −∞
Kontinuitas 𝑋 digunakan untuk memperoleh persamaan kedua. Kita meringkas hasilnya pada
teorema berikut.
Teorema 2.1.3 Misalkan X memiliki cdf 𝐹𝑋 (𝓍), misalkan 𝑌 = 𝑔(𝑋), dan misalkan 𝓧 dan 𝓨
didefinisikan seperti pada (2.1.7)
Contoh 2.1.4 (Hubungan eksponensial seragam-I) Misalkan 𝑋~𝑓𝑋 (𝓍) = 1 jika 0 < 𝓍 < 1
dan 0 sebaliknya, distribusi seragam (0,1). Sangat mudah untu kmemeriksa bahwa 𝐹𝑋 (𝓍) =
𝓍, 0 < 𝓍 < 1. Kita sekarang membuat transformasi 𝑌 = 𝑔(𝑋) = −𝑙𝑜𝑔 𝑋. Karena
𝑑 𝑑 −1
𝑔 (𝓍 ) = (− log 𝓍) = < 0, 𝑢𝑛𝑡𝑢𝑘 0 < 𝓍 < 1,
𝑑𝓍 𝑑𝓍 𝓍
𝑔(𝓍) adalah fungsi menurun. Karena 𝑋 berkisar antara 0 dan 1, − 𝑙𝑜𝑔 𝓍 berkisar antara 0 dan
∞ , yaitu, 𝓨 = (0, ∞) . Untuk 𝑦 > 0, 𝑦 = − 𝑙𝑜𝑔 𝓍 menyiratkan 𝓍 = 𝑒 −𝑦 , jadi 𝑔−1 (𝑦) =
𝑒 −𝑦 . Oleh karenaitu, untuk𝑦 > 0,
Tentu saja𝐹𝑌 (𝑦) = 0 untuk 𝑦 ≤ 0.Perhatikan bahwa itu hanya perlu untuk memverifikasi
bahwa𝑔(𝓍) = − log 𝓍 monoton pada (0,1), dukungan dari𝑋.
Jika pdf dari𝑌 kontinu, dapat diperoleh dengan mendiferensiasikan cdf. Pernyataan
yang dihasilkandiberikan dalam teorema berikut.
Teorema 2.1.5 Misalkan𝑋 memiliki pdf 𝑓𝑋 (𝓍) dan misalkan 𝑌 = 𝑔(𝑋), di mana 𝑔 adalah
fungsi monoton. Misalkan 𝓧 dan 𝓨 didefinisikan oleh (2.1.7). Misalkan 𝑓𝑋 (𝓍) kontinu pada
𝓧 dan bahwa 𝑔−1 (𝑦) memiliki turunan kontinu pada 𝓨, maka pdf dari 𝑌 diberikan oleh
𝑑
𝑓𝑋 (𝑔−1 (𝑦)) |𝑑𝑦 𝑔−1 (𝑦)| 𝑦∈𝓨
(2.1.10) 𝑓𝑌 (𝑦) = {
0 𝑙𝑎𝑖𝑛𝑛𝑦𝑎
Contoh 2.1.6 (pdf gamma terbalik) Misalkan 𝑓𝑋 (𝓍) adalah fungsi kepadatan peluang
distribusi gamma
1
𝑓 (𝓍 ) = 𝓍 𝑛−1 𝑒 −𝓍⁄𝛽 , 0 < 𝓍 < ∞,
(𝑛 − 1)! 𝛽 𝑛
Dimana𝛽adalah konstanta positif dan 𝑛 adalah bilangan bulat positif. Misalkan kita ingin
mencari pdf dari 𝑔(𝑋) = 1⁄𝑋 . Perhatikan bahwa di sini misalkan dukungan 𝓧 dan 𝓨
keduanya adalah interval (0, ∞). Jika kita dimisalkan 𝑦 = 𝑔(𝓍) , maka 𝑔−1 (𝑦) = 1/𝑦 dan
𝑑
𝑔−1 (𝑦) = −1/𝑦 2 . Menerapkan teorema di atas, untuk𝑦 𝜖 (0, ∞), kita dapatkan
𝑑𝑦
𝑑
𝑓𝑌 (𝑦) = 𝑓𝑋 (𝑔−1 (𝑦)) | 𝑔−1 (𝑦)|
𝑑𝑦
1 1 𝑛−1 −1/(𝛽𝑦) 1
= ( ) 𝑒
(𝑛 − 1)! 𝛽 𝑛 𝑦 𝑦2
1 1 𝑛+1 −1/(𝛽𝑦)
= ( ) 𝑒 ,
(𝑛 − 1)! 𝛽 𝑛 𝑦
Dalam banyak aplikasi, fungsi 𝑔 mungkin tidak bertambah atau berkurang; maka hasil di atas
tidak akan berlaku. Namun, sering kali 𝑔akan menjadi montone pada interval tertentu dan itu
memungkinkan kita untuk mendapatkan pernyataan untuk 𝑌 = 𝑔(𝑋). (jika 𝑔 tidak monoton
pada interval tertentu, maka kita berada dalam masalah besar).
Contoh 2.1.7 (transformasikuadrat) Misalkan 𝑋 adalah variabel acak kontinu. Untuk 𝑦 >
0, cdf dari 𝑌 = 𝑋 2 adalah
Karena 𝓍 kontinu, kita dapat menurunkan persamaan dari titik akhir kiri dan memperoleh
= 𝐹𝑋 (√𝑦) − 𝐹𝑋 (−√𝑦),
𝑑
= [𝐹 (√𝑦) − 𝐹𝑥 (−√𝑦)]
𝑑𝑦 𝑥
1 1
= 𝑓𝑥 (√𝑦) + 𝑓𝑥 (−√𝑦),
2√𝑦 2√𝑦
Dimana kita menggunakan aturan rantai untuk membedakan 𝐹𝑥 (√𝑦) dan 𝐹𝑥 (−√𝑦) . Jadi,
pdfnya adalah
1
(2.1.11) 𝑓𝑌 (𝑦) = 2 (𝑓𝑥 (√𝑦) + 𝑓𝑥 (−√𝑦)).
√𝑦
Perhatikanbahwa pdf dari𝑌 dalam (2.1.11) dinyatakan sebagai jumlah dari dua bagian,
bagian yang mewakili interval di mana 𝑔(𝓍) = 𝓍 2 adalah monoton. Secara umum, ini akan
terjadi.
Poin penting dalam teorema 2.1.8 adalah bahwa 𝓍 dapat dibagi menjadi himpunan
𝐴1 , … , 𝐴𝑘 sedemikian sehingga 𝑔(𝓍) monoton pada setiap 𝐴𝑖 . Kita dapat mengabaikan
"himpunan luar biasa" 𝐴0 karena 𝑃(𝑋 𝜖 𝐴0 ) = 0. Ini adalah perangkat teknis yang digunakan,
misalnya, untuk menangani titik akhir dari interval. Penting untuk dicatat bahwa setiap 𝑔𝑖 (𝓍)
adalah transformasi tunggal dari𝐴𝑖 ke𝓨. Selanjutnya,𝑔𝑖 −1 (𝑦) adalah fungsi tunggal dari𝓨 ke
𝐴𝑖 seperti itu, untuk𝑦 𝜖 𝓨, 𝑔𝑖 −1 (𝑦) memberikan yang unik 𝑥 = 𝑔𝑖 −1 (𝑦) 𝜖 𝐴𝑖 untuk 𝑔𝑖 (𝓍) =
𝑦.. (lihat latihan 2.7 untuk lanjutan).
Contoh 2.1.9 (Hubungan normal-chi kuadrat) Misalkan 𝑋 memiliki distribusi normal standar,
1 2/2
𝑓𝑋 (𝓍) = 𝑒 −𝑥 , −∞<𝑥 <∞
√2𝜋
𝐴0 = {0};
1 2 1 1 2 /2 1
𝑓𝑌 (𝑦) = 𝑒 −(−√𝑦) /2 |− |+ 𝑒 −(√𝑦) | |
√2𝜋 2√𝑦 √2𝜋 2√𝑦
1 1
= 𝑒 −𝑦/2 , 0 < 𝑦 < ∞.
√2𝜋 √𝑦
Pdf dari 𝑌 adalah salah satu yang akan sering kita jumpai, yaitu chi kuadrat acak dengan
derajat kebebasan 1.
Gambar 2.1.2. (a) 𝐹(𝓍) sangat meningkat; (b) 𝐹(𝓍) tak menurun
Kami menutup bagian ini dengan transformasi khusus dan sangat berguna.
Teorema 2.1.10 (Transformasi integral probabilitas) Misalkan𝑋 memiliki cdf kontinu
𝐹𝑋 (𝓍) dan mendefinisikan variabel acak 𝑌 sebagai 𝑌 = 𝐹𝑋 (𝑋). Maka 𝑌 terdistribusi merata
pada (0,1), yaitu, 𝑃(𝑌 ≤ 𝑦) = 𝑦, 0 < 𝑦 < 1.
Sebelum kita membuktikan teorema ini, kita akan menyimpang sejenak dan melihat 𝐹𝑋 −1 ,
kebalikan dari cdf 𝐹𝑋 , dalam beberapa bagian kecil. Jika𝐹𝑋 benar-benar meningkat, maka
𝐹𝑋 −1 didefinisikan dengan baik oleh
(2.1.12) 𝐹𝑋 −1 (𝑦) = 𝓍 ⇔ 𝐹𝑋 (𝓍) = 𝑦.
Namun, jika𝐹𝑋 konstan pada beberapa interval, maka 𝐹𝑋 −1 tidak didefinisikan dengan baik
oleh (2.1.12), seperti yang diilustrasikan pada Gambar 2.1.2. Setiap 𝓍 memenuhi𝓍1 ≤ 𝓍 ≤
𝓍2 memenuhi𝐹𝑋 (𝓍) = 𝑦.
Masalah ini dihindari dengan mendefinisikan 𝐹𝑋 −1 (𝑦) untuk 0 < 𝑦 < 1 oleh
Definisi yang sesuai dengan (2.1.12) ketika 𝐹𝑋 tidak konstan dan memberikan 𝐹𝑋 −1 yang
bernilai tunggal bahkan ketika 𝐹𝑋 tidak meningkat secara ketat. Menggunakan definisi ini,
pada gambar 2.1.2b, kita memiliki 𝐹𝑋 −1 (𝑦) = 𝓍1 . Pada titik akhir kisaran 𝑦, 𝐹𝑋 −1 (𝑦) juga
dapat ditentukan. 𝐹𝑋 −1 (1) = ∞ jika𝐹𝑋 (𝓍) < 1 untuk semua 𝓍 dan, untuk semua 𝐹𝑋 ,
𝐹𝑋 −1 (0) = −∞.
Bukti Teorema 2.1.10: untuk 𝑌 = 𝐹𝑋 (𝑋) kita miliki, untuk 0 < 𝑦 < 1,
= 𝑦. (Kontinuitas 𝐹𝑋 )
Pada titik akhir yang kita miliki𝑃(𝑌 ≤ 𝑦) = 1untuk𝑦 ≥ 1dan 𝑃(𝑌 ≤ 𝑦) = 0untuk 𝑦 ≤ 0,
menunjukkan bahwa𝑌 memiliki distribusi yang seragam.
Agak halus dan patut mendapat perhatian tambahan. Jika𝐹𝑋 meningkat tajam, maka benar
𝐹𝑋 −1 (𝐹𝑋 (𝓍)) = 𝓍. (lihat gambar 2.1.1a.) namun, jika 𝐹𝑋 datar, mungkin 𝐹𝑋 −1 (𝐹𝑋 (𝓍)) ≠ 𝓍.
Misalkan 𝐹𝑋 seperti pada gambar 2.1.2b dan misalkan 𝓍 𝜖 [𝓍1 , 𝓍2 ]. Kemudian
𝐹𝑋 −1 (𝐹𝑋 (𝓍)) = 𝓍1 untuk setiap 𝓍 dalam interval ini. Bahkan dalam kasus ini, persamaan
probabilitas berlaku, karena 𝑃(𝑋 ≤ 𝓍) = 𝑃(𝑋 ≤ 𝓍1 ) untuk sebarang𝓍 𝜖 [𝓍1 , 𝓍2 ] . Cdf datar
menunjukkan wilayah dengan probabilitas 0, (𝑃(𝓍1 < 𝑋 ≤ 𝓍) = 𝐹𝑋 (𝓍) − 𝐹𝑋 (𝓍) = 0)..
Salah satu penerapan teorema 2.1.10 adalah dalam pembangkitan sampel acak dari distribusi
tertentu. Jika diperlukan untuk menghasilkan pengamatan 𝑋 dari populasi dengan cdf 𝐹𝑋 , kita
hanya perlu menghasilkan bilangan acak seragam 𝑈, antara 0 dan 1, dan menyelesaikan 𝑥
dalam persamaan 𝐹𝑋 (𝓍) = 𝑢. (untuk banyak distribusi ada metode lain untuk menghasilkan
pengamatan yang membutuhkan waktu komputer lebih sedikit, tetapi metode ini masih
berguna karena penerapannya secara umum.)
Nilai yang diharapkan, atau harapan, dari variabel acak hanyalah nilai rata-ratanya, di mana
kita berbicara tentangnilai "rata-rata" sebagai nilai yang ditimbang menurut distribusi
probabilitas. Nilai yang diharapkan dari suatu distribusi dapat dianggap sebagai ukuran pusat,
karena kita menganggap rata-rata sebagai nilai tengah. Dengan membobot nilai-nilai variabel
acak menurut distribusi probabilitas, kami berharap untuk mendapatkan angka yang
merangkum nilai khas atau yang diharapkan daripengamatan variabel acak.
Definisi 2.2.1 Niilai harapan atau rata-rata dari variabel acak𝑔(𝑋), dilambangkan dengan
𝐸𝑔(𝑋), adalah
∞
∫ 𝑔(𝓍)𝑓𝑋 (𝓍)𝑑𝓍 𝑗𝑖𝑘𝑎 𝑋 𝑘𝑜𝑛𝑡𝑖𝑛𝑢
𝐸𝑔(𝑋) = −∞
Asalkan integral atau jumlah ada. Jika 𝐸 |𝑔(𝑋)| = ∞, kami katakan bahwa 𝐸𝑔(𝑋) tidak ada.
1 −𝓍/⋋
𝐹𝑋 (𝓍) = 𝑒 , 0 ≤ 𝓍 > ∞, ⋋ > 0.
⋋
Maka EX diberikan oleh
∞1
𝐸𝑋 = ∫0 𝜆
𝑥𝑒 −𝑥/𝜆 𝑑𝑥
∞ ∞ ᵡ
= -ᵡ𝑒 −𝑥/𝜆 | + ∫0 𝑒 −𝜆 𝑑𝑥
0
∞ ᵡ
= ∫0 𝑒 −𝜆 𝑑𝑥 = 𝜆
Contoh 2.2.3 (Binomial Mean) Jika X memiliki distribusi binomial, prnfnya diberikan
terhadap
P (𝑋 = 𝑥)= (ᶯᵡ)𝑝ᵡ (1 − 𝑝)𝑛− ᵡ , 𝑥 = 0,1…., n,
dimana n adalah bilangan bulat positif 0 ≤ p ≤ 1,dan untuk setiap pasangan tetap n dan p
jumlah prnf menjadi 1. Nilai harapan dari variabel acak binomial diberikan terhadap
EX = ∑𝑛𝓍=0 𝑥 (𝑛𝑥)𝑝ᵡ (1 – 𝑝)𝑛−ᵡ = ∑𝑛ᵡ=1 𝑥 (𝑛ᵡ )𝑝ᵡ (1 – 𝑝)𝑛−ᵡ
= 𝑛𝑝,
Karena penjumlahan terakhir harus 1, menjadi jumlah dari semua nilai yang mungkin dari
binomial (𝑛 − 1, 𝑝) prnf.
Contoh 2.2.4 (cauchy mean) Contoh klasik dari variabel acak yang nilai harapannya tidak
ada adalah variabel acak Cauchy, dengan pdf.
1 1
𝑓𝑥 (𝑥) = , −∞ < 𝑥 < ∞.
𝜋 1+𝑥 2
∞
Sangat mudah untuk memeriksanya ∫−∞ 𝑓𝑥 (𝑥 ) 𝑑𝑥. = 1, tetapi E|X| = ∞. ditulis
∞ |𝑥| 1 2 ∞ 𝑥
E|X| = ∫−∞ 𝜋 1+𝑥 2
𝑑𝑥 = 𝜋 ∫0 1+𝑥 2
𝑑𝑥
Untuk setiap bilangan positif M
𝑀 𝑥 log(1+𝑥 2) 𝑚 log ( 1+ 𝑀 2 )
∫0 𝑑𝑥 = |0 =
1+𝑥 2 2 2
Dengan demikian,
𝑙𝑖𝑚 2 𝑀 𝑥 1
𝑙𝑖𝑚
E|X|= 𝑀→∞ ∫ 𝑑𝑥= 𝜋 𝑀→∞ log(1 + 𝑀2 ) = ∞
𝜋 0 1+𝑥 2
Contoh 2.2.6 (Meminimalkan jarak) Nilai harapan dari variabel acak memiliki properti
lain, yang dapat kita anggap terkait dengan interpretasi EX sebagai tebakan yang baik pada
nilai X.
Misalkan kita mengukur jarak antara variabel acak X dan konstanta b dengan (𝑋 − 𝑏)2 .
Semakin dekat b ke X, semakin kecil kuantitas ini. Sekarang kita dapat menentukan nilai b
yang meminimalkan E(X - b)² dan, oleh karena itu, akan memberi kita prediktor yang baik
untuk X. (Perhatikan bahwa tidak ada gunanya mencari nilai b yang meminimalkan (X - b) ²,
karena jawabannya akan bergantung pada X, menjadikannya prediktor X yang tidak berguna.)
Kita dapat melanjutkan dengan minimisasi E(𝑋 − 𝑏)2 dengan menggunakan kalkulus, tetapi
ada metode yang lebih sederhana. (Lihat Latihan 2.19 untuk bukti berbasis kalkulus.)
Menggunakan keyakinan bahwa ada sesuatu yang istimewa tentang 𝐸 𝑋, kami menulis
𝜇 𝑛′ = 𝐸𝑋 𝑛
Definisi 2.3.2 Varians variabel acak X adalah momen pusat kedua Var 𝑋 = E(𝑋 − E𝑋)2 .
Akar kuadrat positif dari Var X adalah standar deviasi dari X.
Varians memberikan ukuran derajat penyebaran distribusi di sekitar meannya. Kita telah
melihat sebelumnya dalam Contoh 2.2.6 bahwa kuantitas E(X-𝑏)2 diminimalkan dengan
memilih b = EX. Sekarang kita pertimbangkan ukuran absolut dari minimum ini. Interpretasi
yang melekat pada varians adalah bahwa nilai yang lebih besar berarti X lebih bervariasi.
Selain itu, jika Var X= E (X-E𝑋)2 =0, maka X sama dengan EX dengan probabilitas 1, dan
tidak ada variasi dalam X. Standar deviasi memiliki interpretasi kualitatif yang sama: Nilai
kecil berarti X adalah sangat mungkin mendekati EX, dan val ses besar berarti X sangat
bervariasi. Standar deviasi lebih mudah untuk diartikan bahwa satuan besaran pada
simpangan baku adalah sama dengan variabel asal X. Satuan pengukuran pada varians adalah
kuadrat dari satuan asal.
Contoh 2.3.3 (Varians eksponensial) Misalkan X memiliki distribusi eksponensial (λ),
didefinisikan dalam Contoh 2.2.2 Di sana kami menghitung EX = λ, dan sekarang kita dapat
menghitung variansnya dengan
∞ 1
𝑣𝑎𝑟𝑋 = 𝐸(𝑋 − 𝜆)2 = ∫−∞(𝑥 − 𝜆)2 𝜆 𝑒 −𝑥/𝜆 𝑑𝑥
∞ 1
=∫0 (𝑥 2 − 2𝑥𝜆 + 𝜆2 ) 𝜆 𝑒 −𝑥/𝜆
1 1
Gambar 2.3.1 Kepadatan exponensial untuk λ = 1,3 , 5
Untuk menyelesaikan integrasi, kita dapat mengintegrasikan setiap suku secara terpisah,
menggunakan integrasi per bagian pada suku yang melibatkan 𝑥 dan 𝑥². Setelah melakukan
ini, kami menemukan bahwa Var X = λ ².
Kita melihat bahwa varians dari distribusi eksponensial berhubungan langsung
dengan parameter λ . Gambar 2.3.1 menunjukkan beberapa distribusi eksponensial yang
sesuai dengan nilai λ yang berbeda. Perhatikan bagaimana distribusi lebih terkonsentrasi pada
meannya untuk nilai λ yang lebih kecil. dari varians eksponensial, sebagai fungsi dari λ,
adalah kasus khusus dari perilaku varians yang diringkas dalam teorema berikut.
Teorema 2.3.4 Jika X adalah variabel acak dengan varians hingga, maka untuk sembarang
konstanta a dan b,
𝑉𝑎𝑟 (𝑎𝑋 + 𝑏) = 𝑎2 𝑉𝑎𝑟 𝑥
Bukti dari defenisi kita miliki berikut
𝑉𝑎𝑟(𝑎𝑋 + 𝑏) = E ((aX, + b) - 𝐸(𝑎𝑋 + 𝑏))2
= E (aX - aE𝑋)2 (E(a𝑋 + 𝑏) = 𝑎E 𝐸 + 𝑏)
= 𝑎2 E(X- E𝑋)2
= 𝑎2 𝑣𝑎𝑟 𝑋
Terkadang lebih mudah menggunakan rumus alternatif untuk varians, yang diberikan oleh
Dimana kita menggunakan fakta bahwa 𝐸 (𝑋𝐸𝑋) = (𝐸𝑋)(𝐸𝑋) = (𝐸𝑋)2 , karena (𝐸𝑋) adalah
konstan. Sekarang kita menggambarkan perhitungan beberapa momen dengan distribusi
diskrit.
Sekarang, dengan mudah kita melihat bahwaa awal penjulahan sama dengan (𝑛 − 1)𝑝
(sehingga artinya binomial ((𝑛 − 1), 𝑝), dimana penjumlahan yang kedua sama denga 1, oleh
karena itu
Perhitungan dari hasil kejadian yang tertinggi adalah dengan cara menganalogikan, tetapi
biasanya manipulasi matematika menjadi cukup terlibat. Pada aplikasi, momen orde 3 atau 4
kadang-kadang menarik, tetapi biasanya alasan sedikit statistika untuk memeriksa momen
tertinggi daripada ini.
Sekarang kita memperkenalkan sebuah fungsi tersebut terkait dengan distribusi peluang, the
𝑚𝑜𝑚𝑒𝑛𝑡 𝑔𝑒𝑛𝑒𝑟𝑎𝑡𝑖𝑛𝑔 𝑓𝑢𝑛𝑐𝑡𝑖𝑜𝑛 (𝑚𝑔𝑓) , sesuai Namanya, mgf dapat digunakan untuk
membangkitkan momen. Pada praktiknya, hal tersebut lebih muda pada kasus untuk
menghitung momen secara langsung dariapada menggunakan (𝑚𝑔𝑓) , Bagaimanapun,
kegunaan utama (𝑚𝑔𝑓) adalah bukan untuk membangkitkan momen, tetapi untuk membantu
menggamabrkan sebuah distribusi. Tetapi hal ini dapat membantu menghasilhkan hasil yang
sangat kuat apabila digunakan dengan benar.
Defenisi 2.3.6 Dengan 𝑋 adalah variable acak dengan cdf 𝐹𝑋 . Fungsi pembangkit momen
(mgf) pada 𝑋 (𝑜𝑟 𝐹𝑋 ), dinotasikan oleh 𝑀𝑋 (𝑡) adalah
𝑀𝑋 (𝑡) = 𝐸𝑒 𝑡𝑋
Dengan ketentuan bahwa ekpektasi yang ada untuk 𝑡 pada beberapa persekitaran 0. Yaitu
terdapat ℎ > 0 sehingga, untuk semua 𝑡 pada −ℎ < 𝑡 < ℎ, 𝐸𝑒 𝑡𝑋 ada. Jika ekepktasi tidak
ada pada persekitaran 0, kita menganggap bahwa fungsi pembangkit momen juga tidak ada.
Secara lebih eksplisit, kita dapat menulis mgf dari 𝑋 sebagai berikut
∞
𝑀𝑋 (𝑡) = ∫−∞ 𝑒 𝑡𝑥 𝑓𝑥 (𝑥 )𝑑𝑥 Jika 𝑋 adalah kontinu
atau
Hal ini sangat mudah dilihat bagaimana mgf mgf mebangkitkan momen. Kita menjumlahkan
hasilnya pada teorema berikut
Teorema 2.3.7 Jika 𝑋 mempunyai mgf 𝑀𝑋 (𝑡), kemudian
(𝑛)
𝐸𝑋 𝑛 = 𝑀𝑋 (0),
(𝑛) 𝑑𝑛
𝑀𝑋 (0) = 𝑛 𝑀𝑋 (𝑡)|
𝑑𝑡 𝑡=0
Bukti: Dengan asumsi bahwa kita menurunkan dibawah tanda integral (lihat bagian berikut),
kita memilki
𝑑 𝑑 ∞
𝑀𝑋 (𝑡) = ∫ 𝑒 𝑡𝑥 𝑓𝑥 (𝑥 )𝑑𝑥
𝑑𝑡 𝑑𝑡 ∞
∞
𝑑
= ∫ ( 𝑒 𝑡𝑥 ) 𝑓𝑥 (𝑥 )𝑑𝑥
∞ 𝑑𝑡
∞
= ∫ (𝑥𝑒 𝑡𝑥 )𝑓𝑥(𝑥 )𝑑𝑥
∞
= 𝐸𝑋𝑒 𝑡𝑋
Dengan demikian
𝑑
𝑀 (𝑡 )| = 𝐸𝑋𝑒 𝑡𝑋 |𝑡=0 = 𝐸𝑋
𝑑𝑡 𝑋 𝑡=0
𝑑𝑛
𝑀 (𝑡 )| = 𝐸𝑋 𝑛 𝑒 𝑡𝑋 |𝑡=0 = 𝐸𝑋 𝑛
𝑑𝑡 𝑛 𝑋 𝑡=0
Contoh 2.3.8 (mgf Gamma) Pada Contoh 2.1.6 kita menemukan sebuah kasus spesial dari
pdf gamma,
1
𝑓 (𝑥 ) = 𝑥 𝛼−1 𝑒 −𝑥/𝛽 , 0 < 𝑥 < ∞, 𝛼 > 0, 𝛽 > 0,
Ӷ(𝛼)𝛽 𝛼
Dimana Ӷ(𝛼) dinotasikan sebagai fungsi gamma, beberapa rumus yang di berikan pada
bagian 3.3. mgf yaitu sebagai berikut
∞ 𝑥
1 𝛼−1 −𝛽
𝑀𝑋 (𝑡) = ∫ 𝑥 𝑒 𝑑𝑥
Ӷ(𝛼 )𝛽 𝛼 0
∞ 1
1 𝛼−1 −(𝛽 −𝑡)𝑥
= ∫ 𝑥 𝑒 𝑑𝑥
Ӷ(𝛼 )𝛽 𝛼 0
∞ 𝛽
1 𝛼−1 −𝑥/( )
= ∫ 𝑥 𝑒 Ӷ−𝛽𝑡 𝑑𝑥
Ӷ 𝛼 𝛽 0
( ) 𝛼
Kita sekarang mengetahui integral pada (2.3.6) sebagai kernel dari pdf gamma yang lain.
(Fungsi kernel adalah bagian utama fungsi, bagian yang tersisa Ketika konstanta diabaikan).
Menggunakan fakta tersebut, untuk setiap konstanta positif a dan b,
1
𝑓 (𝑥 ) = 𝑥 𝛼−1 𝑒 −𝑥/𝛽
Ӷ(𝛼)𝛽 𝛼
Dan karenanya
𝑥
∞ −
(2.3.6) ∫0 𝑥 𝛼−1 𝑒 𝛽 𝑑𝑥 = Ӷ(𝛼)𝛽 𝛼
𝑑 𝛼𝛽
𝐸𝑋 = 𝑀𝑋 (𝑡)| = | = 𝛼𝛽
𝑑𝑡 𝑡=0 (1 − 𝛽𝑡)𝛼+1 𝑡=0
Pada kejadian yang lain dapat di hitung dengan cara yang sama.
Contoh 2.3.9 (mgf Binomial) Untuk ilustrasi kedua dari perhitungan fungsi pembangki
momen, kita mempertimbangkan distribusi diskrit, distribusi binomial. Distribusi Binomial
dengan parameter (n,p) pmfyaitu pada (2.1.3). Sehingga
𝑛 𝑛
𝑡𝑥 𝑛 𝑛
𝑀𝑋 (𝑡) = ∑ 𝑒 ( ) 𝑝 𝑥 (1 − 𝑝)𝑛−𝑥 = ∑ ( ) (𝑝𝑒 𝑡 )𝑥 (1 − 𝑝)𝑛−𝑥
𝑥 𝑥
𝑥=0 𝑥
Jika terdapat mgf, hal tesebut menggambarkan sekumpulan momen tak hingga. Pertanyaan
dasar yaitu apakah menggambarkan sekumpulan momen takhingga secara unik menetukan
sebuah fungsi distribusi. Jawaban dari pertanyaan tersebut ,sayangnya adalah tidak.
Menggambarkan sekumpulan momen, tidaklah cukup untuk menentukan sebuah distribusi
yang unik, karena terdapat dua kemungkinan yang berbeda pada variabel acak yang memilki
momen yang sama.
1 (𝑙𝑜𝑔𝑥)2
𝑓1 (𝑥 ) = 𝑒− 2 , 0≤𝑥<∞
√2𝜋𝑥
𝑓2 𝑥 = 𝑓1 (𝑥 )[1 + 𝑠𝑖𝑛(2𝜋𝑙𝑜𝑔𝑥 )],
( ) 0≤𝑥<∞
1 2/2
Gambar 2.3.2. dua pdf dengan momen yang sama: 𝑓1 (𝑥 ) = 𝑒 −(log 𝑥) 𝑎𝑛𝑑 𝑓2 (𝑥 ) =
√2𝜋𝑥
𝑓1 (𝑥 )[1 + sin(2𝜋 log 𝑥 )]
Namun transformasi 𝑦 = log 𝑥 − 𝑟 menunjukkan bahwa integral terakhir ini adalah fungsi
ganjil atas (−∞, ∞) dan oleh karena itu sama dengan 0 untuk 𝑟 = 0, 1, … Jadi, meskipun 𝑋1
dan 𝑋2 memiliki pdf (fungsi kepadatan peluang) yang berbeda, mereka memiliki momen yang
sama untuk semua 𝑟. Kedua pdf tersebut digambarkan pada gambar 2.3.2
Lihat latihan 2.35 untuk detailnya dan juga Latihan 2.34, 3.36, dan 2.37 untuk lebih lanjut
tentang mgf (fungsi pembangkit momen) dan distribusi.
Masalah keunikan momen tidak terjadi jika variabel acak memiliki dukungan terbatas. Jika
itu adalah kasusnya, maka urutan momen tak terbatas secara unik menentukan distribusi
(lihat, misalnya, Billingsley 1995, Bagian 30). Selanjutnya, jika mgf ada di sekitar 0, maka
distribusi ditentukan secara unik, tidak peduli apa dukungannya. Dengan demikian,
keberadaan semua momen tidak ekuivalen dengan keberadaan fungsi pembangkit momen.
Teorema berikut menunjukkan bagaimana distribusi dapat dicirikan.
Teorema 2.3.11 misalkan𝐹𝑋 (𝑥) dan𝐹𝑌 (𝑦) adalah dua cdf (fungsi kepadatan kumulatif)
yang momen-momennya ada.
a. Jika X dan Y memiliki bounded support, maka 𝐹𝑋 (𝑢) = 𝐹𝑌 (𝑢)untuk semua 𝑢 jika dan
hanya jika𝐸𝑋 𝑟 = 𝐸𝑌 𝑟 untuk semua bilangan bulat𝑟 = 1, 2, …
b. Jika fungsi pembangkit momen ada dan 𝑀𝑋 (𝑡) = 𝑀𝑦 (𝑡) untuk semua di beberapa
lingkungan 0, maka 𝐹𝑋 (𝑢) = 𝐹𝑌 (𝑢)untuk semua 𝑢.
Dalam teorema berikutnya, yang berhubungan dengan barisan mgf (fungsi pembangkit
momen) yang konvergen, kita tidak memperlakukan kasus pendukung terbatas secara
terpisah. Perhatikan bahwa asumsi keunikan terpenuhi secara otomatis jika mgf pembatas ada
di sekitar 0 (lihat Miscellanea 2.6.1).
Dan 𝑀𝑋 (𝑡)adalah mgf. Kemudian cdf 𝐹𝑋 unik yang momennya ditentukan oleh𝑀𝑋 (𝑡) dan,
untuk semua 𝐹𝑋 (𝑥) dimana kontinu, kita memiliki
Artinya, konvergensi, untuk |𝑡| < ℎ, dari mgfs ke mgf menyiratkan konvergensi cdfs.
Pembuktian Teorema 2.3.11 dan 2.3.12 bergantung pada teori transformasi Laplace
(Referensi klasik adalah Widder 1946, tetapi transformasi Laplace juga mendapatkan
perlakuan komprehensif oleh Feller 1971.) Persamaan yang mendefinisikan 𝑀𝑋 (𝑡), yaitu,
(2.3. 8)
∞
𝑀𝑋 (𝑡) = ∫ 𝑒 𝑡𝑥 𝑓𝑋 (𝑥 )𝑑𝑥,
0
Kemungkinan non keunikan dari urutan momen adalah gangguan. jika kita menunjukkan
bahwa urutan momen konvergen, kita tidak akan dapat menyimpulkan secara formal bahwa
variabel acak konvergen. Untuk melakukannya, kita harus memverifikasi keunikan urutan
momen, pekerjaan yang umumnya mengerikan (lihat Miscellanea 2.6.1). Namun, jika
barisan mgfs konvergen di sekitar 0, maka variabel acaknya konvergen. Dengan demikian,
kita dapat menganggap konvergensi mgfs sebagai cukup, tetapi tidak perlu, kondisi untuk
urutan variabel acak untuk konvergen.
Contoh 2.3.13 (Pendekatan Poisson) Salah satu pendekatan yang biasanya diajarkan dalam
kursus statistik dasar adalah bahwa peluang binomial (lihat Contoh 2.3.5) dapat didekati
dengan Poisson probabilitas, yang umumnya lebih mudah untuk dihitung. Distribusi
binomial dicirikan oleh dua kuantitas, dilambangkan dengan 𝑛 dan 𝑝 . Diajarkan bahwa
pendekatan Poisson valid "bila 𝑛 besar dan 𝑛𝑝 kecil," dan aturan praktis kadang-kadang
diberikan.
𝑒 −𝜆 𝜆𝑧
𝑃 (𝑋 = 𝑥 ) = , 𝑥 = 0,1,2, … ,
𝑥!
Dimana λ adalah konstanta positif. Perkiraan menyatakan bahwa jika 𝑋~binomial (𝑛, 𝑝)dan
𝑌~Poisson(λ) , dengan λ = np maka
Untuk besar 𝑛 dan 𝑛𝑝 kecil. Kami sekarang menunjukkan bahwa mgfs konvergen,
memberikan kepercayaan pada pendekatan ini. Ingatlah bahwa
Untuk distribusi Poisson (λ) kita dapat menghitung (lihat latihan 2.33)
𝑡 −1)
𝑀𝑌 (𝑡) = 𝑒 𝜆(𝑒 ,
Dan jika kita mendefinisikan 𝑝 = λ/n , maka 𝑀𝑋 (𝑡) → 𝑀𝑌 (𝑡) sebagai 𝑛 → ∞ . Validitas
aproksimasi dalam (2.3.9) kemudian akan mengikuti dari Teorema 2.3.12.
Pertama-tama kita harus sedikit menyimpang dan menyebutkan hasil limit yang penting, yang
memiliki penerapan luas dalam statistik. Bukti dari lemma ini dapat ditemukan di banyak teks
kalkulus standar.
lim 𝑎𝑛 = 𝑎. Maka
𝑛→∞
𝑎𝑛 𝑛
lim (1 + ) = 𝑒𝑎.
𝑛→∞ 𝑛
Kembali ke contoh, kita memiliki
𝑛 𝑛
𝑡
1 𝑡 1 𝑡
𝑀𝑋 (𝑡) = [𝑝𝑒 + (1 − 𝑝) ]𝑛 = [1 + (𝑒 − 1)(𝑛𝑝)] = [1 + (𝑒 − 1)𝜆] ,
𝑛 𝑛
Pendekatan Poisson bisa cukup baik bahkan untuk moderat 𝑝dan𝑛 . Pada Gambar 2.3.3
ditunjukkan fungsi massa binomial beserta aproksimasi Poissonnya, dengan λ = np .
Perkiraan itu tampaknya memuaskan.
Kami menutup bagian ini dengan hasil yang berguna tentang mgfs.
Teorema 2.3.15 untuk setiap konstanta dan , mgf dari variabel acak 𝑎𝑋 + 𝑏 diberikan oleh
= 𝑒 𝑏𝑡 𝐸 (𝑒 𝑎𝑡)𝑋 ), (𝑒 𝑏𝑡 𝑖𝑠 𝑐𝑜𝑛𝑠𝑡𝑎𝑛𝑡)
Membuktikan teorema.
Pada bagian sebelumnya kami menemukan contoh di mana kami ingin menukar urutan
integrasi dan diferensiasi. Situasi ini sering ditemui dalam statistik teoritis. Tujuan dari
bagian ini adalah untuk mengkarakterisasi kondisi di mana operasi ini sah. Kami juga akan
membahas pertukaran urutan diferensiasi dan penjumlahan.
Banyak dari kondisi ini dapat ditentukan dengan menggunakan teorema standar dari kalkulus
dan bukti detail dapat ditemukan di sebagian besar buku teks kalkulus. Dengan demikian,
bukti rinci tidak akan disajikan di sini.
(2.4.1)
𝑏(𝜃)
𝑑
∫ 𝑓(𝑥, 𝜃)𝑑𝑥,
𝑑𝜃
𝑎(𝜃)
Dimana −∞ < 𝑎(𝜃), 𝑏(𝜃) < ∞ untuk semua 𝜃 . Aturan untuk membedakan (2.4.1) disebut
Aturan Leibnitz dan merupakan aplikasi dari Teorema dasar kalkulus dan aturan rantai.