Penaksir untuk suatu parameter tidak bersifat tunggal. Sebuah parameter dapat
mempunyai penaksir tak bias yang berbeda. Sebagai contoh, untuk sampel yang berasal
1 𝑛+1
dari peubah acak uniform dengan pdf: 𝑓𝑌 (𝑦; 𝜃 ) = 𝜃 , 0 ≤ 𝑦 ≤ 𝜃, penaksir 𝜃̂ = 𝑛 . 𝑌𝑚𝑎𝑥
2
dan 𝜃̂ = 𝑛 ∑𝑛𝑖=1 𝑌𝑖 keduanya memiliki mean 𝐸(𝜃̂) = 𝜃. Jadi keduanya merupakan penaksir
tak bias. Lantas yang mana yang harus dipilih? Apakah mengambil salah satunya tanpa
perlu mempertimbangkan hal lain?
Kedua penaksir, yaitu 𝜃̂1 dan 𝜃̂2 merupakan penaksir tak bias untuk 𝜃, tetapi 𝜃̂2 jelas
lebih baik karena memiliki variansi yang lebih kecil. Untuk sebarang nilai 𝑟:
Dalam hal ini, 𝜃̂2 memiliki peluang lebih besar berada dalam jarak r dari θ dibandingkan
dengan 𝜃̂1 .
var(𝜃̂2 )
e(𝜃̂1 , 𝜃̂2 ) =
var(𝜃̂1)
̂𝟐 ) > 𝐯𝐚𝐫(𝜽
Jika 𝐯𝐚𝐫(𝜽 ̂𝟏 ) atau 𝐞(𝜽
̂𝟏 , 𝜽
̂ 𝟐 ) > 𝟏, maka 𝜃̂1 dikatakan relative lebih efisien
dari 𝜃̂2
Contoh:
Misalkan 𝑋1 , 𝑋2 , … , 𝑋𝑛 , 𝑛 ≥ 3 adalah peubah acak dari populasi dengan mean 𝜇 dan
variansi 𝜎 2 . Jika:
1
𝜃̂1 = 3 (𝑋1 + 𝑋2 + 𝑋3 )
1 3 1
𝜃̂2 = 𝑋1 + (𝑋2 + ⋯ + 𝑋𝑛−1 ) + 𝑋𝑛
8 4(𝑛−2) 8
𝜃̂3 = 𝑋̅
adalah penaksir-penaksir untuk 𝜇.
maka:
Sehingga
- untuk 𝑛 ≥ 4, 𝜃̂2 lebih efisien dari 𝜃̂1,
- untuk 𝑛 > 3, 𝜃̂3 lebih efisien dari 𝜃̂1,
- untuk 𝑛 ≥ 4, 𝜃̂3 lebih efisien dari 𝜃̂2
Contoh
Misalkan 𝑌1 , 𝑌2 , dan 𝑌3 adalah peubah acak dari distribusi normal dengan 𝜇 dan 𝜎
keduanya tidak diketahui. Jika 𝜇̂ 1 dan 𝜇̂ 2 adalah penaksir untuk 𝜇, dengan
Atau
dan
Sedangkan dengan melihat nilai variansinya, dengan
Dan
maka
atau 1.125.
Contoh:
2𝑦
𝑌1 , 𝑌2 , … 𝑌𝑛 adalah sampel acak iid dari distribusi dengan pdf 𝑓𝑌 (𝑦) = 𝜃2 , 0 ≤ 𝑦 ≤ 𝜃.
3 2𝑛+1
a. Buktikan 𝜃̂1 = 2 𝑌̅ dan 𝜃̂2 = 2𝑛 𝑌𝑚𝑎𝑥 merupakan dua penduga tak bias untuk 𝜃.
Jawab
a.
dan
Maka
……………………..(1)
Langkah 2. menghitung variansi dari 𝜃̂2 .
Pdf dari 𝑌𝑚𝑎𝑥 adalah:
𝑓𝑌𝑚𝑎𝑥 (𝑦) =
Berdasarkan pdf ini maka:
Sehingga:
Jadi:
………(2)
Dari (1) dan (2) diperoleh
Sehingga dapat disimpulkan bahwa penaksir 𝜃̂2 lebih efisien dari 𝜃̂1 .
c. Efisensi relatif 𝜃̂2 terhadap 𝜃̂1 adalah rasio antara 𝜃̂1 dan 𝜃̂2 , yaitu
Dari beberapa contoh di atas, kita melihat bahwa sebuah penaksir tak bias
memiliki kemungkinan lebih efisien dibandingkan dengan penaksir lain. Jika hasil
ini diperluas untuk semuapenaksir tak bias, maka kita akan mendapatkan sebuah
penaksir yang bersifat UMVU (Uniformly Minimum Variance Unbiased). Penaksir
yang bersifat UMVU adalah penaksir yang memiliki variansi terkecil dibandingkan
dengan semua penaksir tak bias yang lain.
Definisi:
- Sebuah penaksir tak bias 𝜃̂0 dikatakan penaksir UMVU (best estimator)
untuk parameter 𝜃, jika untuk setiap penaksir tak bias 𝜃̂ berlaku
𝑣𝑎𝑟 𝜃̂0 ≤ 𝑣𝑎𝑟 𝜃̂
Yang menjadi kendala adalah UMVU tidak selalu ada. Selain itu, dalam beberapa
kasus, estimator UMVU mungkin tidak selalu praktis atau dapat dihitung dengan mudah.
Oleh karena itu, penting untuk mempertimbangkan kriteria lain, seperti kesederhanaan dan
kemudahan penggunaan dalam memilih estimator yang tepat untuk suatu kasus
Pada uraian sebelumnya, jika diberikan dua penasir tak bias 𝜃̂1 dan 𝜃̂2 , kita bisa
menentukan yang lebih efisien diantara keduanya dengan melihat nilai variansi yang
lebih kecil. Tetapi tidak ada informasi lanjutan mengenai ada tidaknya penaksir selain
𝜃̂1 dan 𝜃̂2 yang kemungkinan memiliki variansi lebih kecil atau bahkan terkecil diantara
semua penaksir tak bias.
Bagaimana mengidentifikasi penaksir tak bias yang memiliki variansi terkecil? Salah
satu teorema yang praktis namun elegan untuk menjawab pertanyaan diatas adalah teorema
yang dikenal sebagai batas bawah Cramer-Rao (atau Rao-Cramer). Teorema ini menyatakan
bahwa sebarang penaksir tak bias memenuhi ketaksamaan Cramer-Rao, dan memberikan batas
bawah bagi variansi estimator yang mungkin terjadi. Oleh karena itu, Rao-Cramer inequality
memainkan peran penting dalam menentukan apakah suatu estimator efisien atau tidak, serta
membantu dalam membandingkan estimator yang berbeda untuk menemukan penaksir yang
paling yang paling baik (presisi).
Jika 𝑓(𝑥, 𝜃) adalah fungsi kepadatan peluang dari suatu distribusi maka identitas berikut
berlaku:
∞
1 = ∫−∞ 𝑓(𝑥, 𝜃)𝑑𝑥
Atau:
∞
𝜕(ln 𝑓(𝑥, 𝜃)
0= ∫[ ] 𝑓(𝑥, 𝜃)𝑑𝑥 … … … … … … .. (1)
𝜕𝜃
−∞
Persamaan terakhir dapat ditulis:
𝜕(ln 𝑓(𝑥, 𝜃)
𝐸[ ]=0 (2)
𝜕𝜃
𝜕(ln 𝑓(𝑥,𝜃)
Jadi ekspektasi peubah acak adalah 0.
𝜕𝜃
…..(3)
Suku kedua pada ruas kanan dapat dituliskan sebagai sebuah ekspektasi yang selanjutnya
disebut Informasi Fisher dan dinotasikan dengan 𝐼 (𝜃 ), yaitu:
∞
𝜕 ln 𝑓 (𝑥, 𝜃 ) 𝜕 ln 𝑓(𝑥, 𝜃 )
𝐼 (𝜃 ) = ∫ 𝑓 (𝑥, 𝜃 )𝑑𝑥
𝜕𝜃 𝜕𝜃
−∞
2
𝜕 ln 𝑓(𝑋, 𝜃 )
= 𝐸 [( ) ] … … … … … …. (4)
𝜕𝜃
𝜕 2 ln 𝑓(𝑋, 𝜃 )
= −𝐸 [ ] … … … … … … … … (5)
𝜕𝜃 2
(6)
Persamaan (5) biasanya lebih mudah dihitung dibandingkan dengan persamaan (4).
Contoh 1:
Informasi Fisher untuk peubah acak Bernoulli.
Misalkan 𝑋~𝑏(1, 𝜃), karena:
𝑓 (𝑥, 𝜃 ) = 𝜃 𝑥 (1 − 𝜃)1−𝑥
maka
Sehingga
Dari persamaan (5), untuk sampel berukuran 1, informasi Fisher adalah variansi dari
𝜕 ln 𝑓(𝑋,𝜃)
peubah acak .
𝜕𝜃
Untuk peubah acak 𝑋1 , 𝑋2 , … , 𝑋𝑛 iid dari distribusi dengan pdf 𝑓(𝑥, 𝜃) maka
informasi Fisher adalah:
Sehingga
Jadi, Informasi Fisher dari peubah acak berukuran 𝑛 adalah 𝑛 𝑘𝑎𝑙𝑖 informasi dari sampel
berukuran 1.
Dari contoh sebelumnya, informasi Fisher dari peubah acak berukuran 𝑛 dari
1
distribusi Bernoulli 𝑏(1, 𝜃) adalah 𝑛.
𝜃(1−𝜃)
(Argumen yang sama berlaku untuk distribusi diskrit dengan pmf 𝑝𝑋 (𝑘, 𝜃))
Dari teorema di atas,
Jika 𝜃̂ = ℎ(𝑋1 , 𝑋2 , … , 𝑋𝑛 ) adalah penduga tak bias untuk 𝜃, yaitu 𝐸(𝜃̂) = 𝜃, maka
ketaksamaan Cramer-Rao menjadi:
1
𝑣𝑎𝑟 (𝜃̂) ≥ … … … … … … … … …. (7)
𝑛𝐼 (𝜃 )
Jika 𝜃̂ adalah sebuah penduga parameter untuk 𝜃 maka 𝜃̂ disebut penaksir efisien jika
dan hanya jika 𝑣𝑎𝑟(𝜃̂) mencapai batas bawah Rao-Cramer.
Definisi
Misalkan 𝑋1 , 𝑋2 , … , 𝑋𝑛 adalah sampel acak berukuran 𝑛 dari pdf 𝑓𝑋 (𝑥; 𝜃 ) (atau pmf
𝑝𝑋 (𝑘, 𝜃)), dan 𝜃̂ = ℎ(𝑋1 , 𝑋2 , … , 𝑋𝑛 ) adalah penaksir tak bias untuk 𝜃.
Penaksir tak bias 𝜃̂ dikatakan penaksir efisien jika variansi 𝜃̂ sama dengan batas bawah
Cramer-Rao yang berkaitan dengan 𝑓𝑋 (𝑥; 𝜃 ) (atau 𝑝𝑋 (𝑘, 𝜃)), atau
1
𝑣𝑎𝑟 (𝜃̂) =
𝑛𝐼(𝜃)
Sebutan "efisien" dan "terbaik (UMVU)" tidak identik. Jika variansi penaksir tak bias
sama dengan batas bawah Cramér-Rao, maka penaksir dikatakan terbaik sekaligus efisien.
Namun, kebalikannya tidak selalu benar. Ada situasi di mana variansi penaksir tak bias tidak
mencapai mencapai batas bawah Cramér-Rao. Dalam hal ini, tidak satu pun dari penaksir yang
efisien, tetapi masih bisa disebut terbaik.
1
Jika 𝜃̂ adalah sebuah penaksir tak bias untuk 𝜃 dan jika 𝑣𝑎𝑟 (𝜃̂) = 𝑛𝐼(𝜃), maka
- 𝜃̂ disebut penduga UMVU untuk 𝜃.
- 𝜃̂ dikatakan juga sebagai penduga efisien
Apakah variansi penaksir selalu lebih besar atau sama dengan batas bawah Cramer-
Rao? Perhatikan contoh berikut ini:
Contoh
Misalkan 𝑋1 , 𝑋2 , … , 𝑋𝑛 adalah peubah acak dari distribusi dengan pdf
2𝑥
𝑓𝑋 (𝑥; 𝜃 ) = 𝜃2 , 0 ≤ 𝑥 ≤ 𝜃;
dan
3
𝜃̂ = 𝑌̅
2
adalah penaksir tak bias untuk 𝜃.
Tentukan variansi dari 𝜃̂ dan bandingkan hasilnya dengan batas bawah Cramer-Rao untuk
𝑓𝑋 (𝑥; 𝜃 ).
Jawab
Dari contoh sebelumnya telah diperoleh bahwa
𝜃2
𝑣𝑎𝑟 (𝜃̂) = 8𝑛.
dan
sehingga:
dan
Apakah variansi 𝜃̂ lebih besar atau sama dengan batas bawah Cramer-Rao? Tidak. Justru
2 −1
𝜃2 𝜃2 𝜕 ln 𝑓𝑋 (𝑋, 𝜃 )
𝑣𝑎𝑟 (𝜃̂) = < = {𝑛𝐸 [( ) ]}
8𝑛 4𝑛 𝜕𝜃
Apakah hal ini bertentangan dengan teorema batas bawah Cramer-Rao? Tidak. Teorema
batas bawah Cramer-Rao mensyaratkan bahwa himpunan nilai-nilai 𝑥 untuk 𝑓𝑋 (𝑥, 𝜃 ) ≠ 0
adalah bukan fungsi dari 𝜃. Pada contoh ini, asumsi atau syarat tersebut tidak terpenuhi
karena 𝑥 adalah fungsi dari 𝜃.
Contoh
Misalkan 𝑋1 , 𝑋2 , … , 𝑋𝑛 adalah sample acak dari populasi berdistribusi Bernoulli 𝑏(1, 𝜃 ).
Buktikan 𝜃̂ = 𝑋̅ adalah penduga UMVU untuk 𝜃.
Jawab.
Dari contoh sebelumnya telah diperoleh:
1
𝐼 (𝜃 ) = ,
𝜃(1 − 𝜃)
Sehingga batas bawah R-C adalah:
1 𝜃(1 − 𝜃)
=
𝑛𝐼(𝜃) 𝑛
𝜃(1−𝜃)
Karena 𝜎 2 (𝑋) = 𝜃 (1 − 𝜃 ) maka 𝜎 2 (𝑋̅) = .
𝑛
Akibatnya:
1
𝜎 2 (𝑋̅) ≥ (=) ,
𝑛𝐼 (𝜃 )
Atau memenuhi batas bawah Rao-Cramer.
Contoh:
Jawab
a. Karena 𝜃 konstan maka logaritma dari pdf 𝑓(𝑥, 𝜃) cukup kita tulis:
Jadi
dan
Sehingga:
b. Karena
1 (𝑥 − 𝜇 ) 2
𝑓(𝑥, 𝜃 ) = 𝑒𝑥𝑝 {− }
√2𝜋𝜃 2𝜃
Maka
(𝑥 − 𝜇 )2 1 1
ln 𝑓(𝑥, 𝜃 ) = − − ln 2𝜃 − ln 𝜃
2𝜃 2 2
Turunan pertama dan kedua terhadap 𝜃 adalah
𝜕 (𝑥 − 𝜇 )2 1
( )
𝑓 𝑥, 𝜃 = −
𝜕𝜃 2𝜃 2 2𝜃
𝜕 2 ln 𝑓 (𝑋, 𝜃 ) (𝑥 − 𝜇 )2 1
2
= − 3
+ 2.
𝜕𝜃 𝜃 2𝜃
Dengan menggunakan persamaan 5 diperoleh
𝜕 2 ln 𝑓 (𝑋, 𝜃 )
𝐼 (𝜃 ) = −𝐸 [ ]
𝜕𝜃 2
(𝑥 − 𝜇 )2 1 1
= −𝐸 [− + ] =
𝜃3 2𝜃 2 2𝜃 2
Sehingga
𝑛
𝐼𝑛 (𝜃 ) = 𝑛𝐼 (𝜃 ) =
2𝜃 2
2𝜃2
Jadi batas bawah Rao-Cramer untuk setiap penaksir adalah 𝑛
𝑿−𝝁 𝑿−𝝁 𝟐
(Catatan: Jika 𝑿~𝑵(𝝁, 𝝈𝟐 ) maka 𝒀 = ~𝑵(𝟎, 𝟏) sehingga 𝒀𝟐 = ( ) ~𝝌𝟐(𝟏) )
𝝈 𝝈
(𝑛−1)𝑆2 2
Karena 𝑋~𝑁(𝜇, 𝜃) maka ~𝜒(𝑛−1) ,
𝜃
dan
2
(𝑛 − 1)𝑆 2 (𝑛 − 1)
𝑣𝑎𝑟 [ ]=( ) 𝑣𝑎𝑟 (𝑆 2 ) = 2(𝑛 − 1)
𝜃 𝜃
sehingga
2𝜃 2
𝑣𝑎𝑟 (𝑆 2 ) = .
(𝑛 − 1)
Karena
2𝜃 2 2𝜃 2
≥
(𝑛 − 1) 𝑛
Atau
1
𝑣𝑎𝑟 (𝑆 2 ) >
𝑛𝐼(𝜃)
Dalam hal ini, variansi penaksir 𝑆 2 lebih besar dari batas bawah Rao Cramer.
Contoh:
Misalkan 𝑋1 , 𝑋2 , … , 𝑋𝑛 adalah sample acak yang menyatakan banyaknya sukses (0 atau 1)
dari sebanyak 𝑛 eksperimen acak, dimana
𝑝 = 𝑃(𝑠𝑢𝑘𝑠𝑒𝑠 𝑦𝑎𝑛𝑔 𝑡𝑒𝑟𝑗𝑎𝑑𝑖 𝑝𝑎𝑑𝑎 𝑠𝑒𝑏𝑎𝑟𝑎𝑛𝑔 𝑝𝑒𝑟𝑐𝑜𝑏𝑎𝑎𝑛 𝑦𝑔 𝑑𝑖𝑏𝑒𝑟𝑖𝑘𝑎𝑛) merupakan
parameter tak diketahui.
Maka
𝑝𝑋𝑖 (𝑘, 𝑝) = 𝑝𝑘 (1 − 𝑝)1−𝑘 , 𝑘 = 0,1; 0 < 𝑝 < 1 … … … … … . . (𝑖)
Contoh:
Misalkan 𝑋1 , 𝑋2 , … , 𝑋𝑛 adalah sample acak dari sebuah distribusi eksponensial dengan mean
𝜃. Tentukan sebuah penduga UMVU untuk 𝜃.
Jawab.
Diketahui pdf:
1 −𝑥
𝑓 (𝑥, 𝜃 ) = 𝑒 𝜃, 𝑥>0
𝜃
Karena
𝑥
ln 𝑓 (𝑥, 𝜃 ) = − ln 𝜃 −
𝜃
dan
𝜕 𝜕 𝑥
(ln 𝑓 (𝑥, 𝜃 )) = (− ln 𝜃 − )
𝜕𝜃 𝜕𝜃 𝜃
1 𝑥
=− + 2
𝜃 𝜃
𝜕2 1 2𝑥
2
(ln 𝑓 (𝑥, 𝜃 )) = 2 − 3
𝜕𝜃 𝜃 𝜃
maka diperoleh informasi Fisher
𝜕2 1 2𝑋 1 2𝜃 1
𝐼(𝜃 ) = −𝐸( ( ln 𝑓 ( 𝑋, 𝜃 )) = −𝐸 ( − ) = − + =
𝜕𝜃 2 𝜃2 𝜃3 𝜃2 𝜃3 𝜃2
1 2 1
𝑣𝑎𝑟(𝑋̅) = 𝜃 = ,
𝑛 𝑛𝐼(𝜃)
maka
Latihan:
Misalkan 𝑝(𝑥 ) adalah fungsi massa peluang dari distribusi Poisson dengan parameter 𝜆.
Buktikan 𝑋̅ adalah penaksir efisien untuk 𝜆.
=============
Latihan: