Kuliah 7:
Metode Evaluasi Penduga
Kriteria Evaluasi Penduga (Estimator)
Penduga (estimator):
• Penduga merupakan fungsi dari peubah acak X, tidak
mengandung parameter
• Penduga 𝜃መ bersifat acak karena X peubah acak
• Karena 𝜃መ merupakan peubah acak, maka memiliki
nilai harapan 𝐸 𝜃መ
• 𝜃መ merupakan penduga tak bias jika 𝐸 𝜃መ = 𝜃 dan
memiliki ragam penduga:
𝐵𝑖𝑎𝑠 = 𝐵 𝜃 = 𝐸 𝜃 − 𝜃 = 𝐸 𝜃 − 𝜃
2
=𝐸
𝑀𝑆𝐸(𝜃) 𝜃 − 𝐸(𝜃)
+ 𝐸 𝜃 − 𝜃
2 2
=𝐸 𝜃 − 𝐸(𝜃)
+ 2 𝜃 − 𝐸(𝜃)
𝐸 𝜃 − 𝜃 + 𝐸 𝜃 − 𝜃
2
= 𝐸 𝜃 − 𝐸(𝜃) + 2 𝜃 − 𝐸(𝜃)
𝐵𝑖𝑎𝑠(𝜃) + 𝐵𝑖𝑎𝑠(𝜃) 2
= 𝑉𝑎𝑟 𝜃 + 0 + 𝐵𝑖𝑎𝑠(𝜃) 2
Jadi,
𝑀𝑆𝐸(𝜃) = 𝑉𝑎𝑟 𝜃 + 𝐵2 (𝜃)
• Bila 𝜃 merupakan penduga tak bias bagi 𝜽, maka 𝐵 𝜃 = 0.
Sehingga 𝑴𝑺𝑬(𝜽) = 𝑽𝒂𝒓 𝜽
1. Kuadrat Tengah Galat
(Mean Square Error, MSE)
Example:
Misal X1 , X2 , … , X𝑛 ~ 𝑁 𝜇, 𝜎 2 yang bebas stokastik dan identik.
Statistik 𝑋ത dan 𝑆 2 merupakan penduga tak bias masing-masing
bagi 𝜇 dan 𝜎 2 , karena 𝐸 𝑋ത = 𝜇 dan 𝐸 𝑆 2 = 𝜎 2 .
MSE bagi masing-masing statistik atau penduga tersebut adalah:
2
𝜎
𝐸(𝑋ത − 𝜇)2 = 𝑉𝑎𝑟 𝑋ത =
𝑛
2 2 2 2 2𝜎 4
𝐸(𝑆 − 𝜎 ) = 𝑉𝑎𝑟 𝑆 = 𝑛−1
Catatan:
2
σ𝑛
𝑖=1 𝑋𝑖 −𝑋 1 2
𝑉𝑎𝑟(𝑆 2 ) = 𝑉𝑎𝑟( ) = 𝑉𝑎𝑟 σ𝑛𝑖=1 𝑋𝑖 − 𝑋 ,
𝑛−1 (𝑛−1)2
2
1 2) 𝜎2
= 𝑉𝑎𝑟(𝑌𝜎 = (𝑛−1)2 𝑉𝑎𝑟(𝑌)
(𝑛−1)2
2
𝜎2 2𝜎 4
= 2(𝑛 − 1) =
𝑛−1 2 (𝑛−1)
1. Kuadrat Tengah Galat
(Mean Square Error, MSE)
2 𝑛−1 2 𝑛−1
𝐸(𝜎ො )=𝐸 𝑛 𝑆 = 𝑛 𝐸 𝑆2
𝑛−1
= 𝑛 𝜎 2 ; ingat 𝐸 𝑆 2 = 𝜎 2 (𝑆 2 penduga tak bias bagi 𝜎 2 )
2(𝑛−1)𝜎 4 𝑛−1 2
𝐸(𝜎ො 2 − 𝜎 2 )2 = + 𝜎 2 − 𝜎2
𝑛2 𝑛
2𝑛−1
= 𝑛2 𝜎 4
2 2 2 2 2
sedangkan, MSE dari 𝑆 adalah 𝐸(𝑆 − 𝜎 ) = 𝑛−1
𝜎4
2𝑛−1 4 2
Padahal, 𝜎 < 𝜎4
𝑛2 𝑛−1
Berarti, MSE(𝜎ො 2 ) lebih kecil dari MSE(𝑆 2 ).
Jadi, dengan melakukan trading off antara ragam dan bias, MSE
dapat lebih kecil atau lebih baik (sedikit berbias tapi ragamnya lebih
kecil, sehingga MSE lebih kecil)
2. Uniformly Minimum Variance Unbiased
Estimator (UMVUE)
Definisi:
Misalkan X1, X2, …, Xn merupakan sampel acak berukuran n
dari suatu distribusi dengan pdf f(x;θ) yang mengandung
parameter θ. Misal 𝜏 ∗ penduga bagi 𝜏(𝜃), 𝜏 ∗ dikatakan
sebagai penduga tak bias dengan ragam minimum seragam
atau uniformly minimum variance unbiased estimator
(UMVUE) bagi 𝜏(𝜃) jika:
1. 𝜏 ∗ merupakan penduga tak bias bagi 𝜏(𝜃), dan
2. Untuk sembarang penduga tak bias 𝜏, 𝑉𝑎𝑟 𝜏 ∗ ≤ 𝑉𝑎𝑟 𝜏
• Selanjutnya, untuk memperoleh penduga tak bias dengan ragam
minimum seragam (UMVUE) dapat dilakukan dengan
pertidaksamaan Cramer-Rao
Pertidaksamaan Cramer-Rao
Pertidaksamaan Cramer-Rao
Salah satu cara untuk memperoleh penduga tak bias dengan ragam
minimum seragam adalah dengan pertidaksamaan Cramer-Rao.
• Pertidaksamaan Cramer-Rao didasarkan pada fungsi distribusi
yang memenuhi syarat-syarat keteraturan (regularity conditions),
yaitu:
1. Daerah pdf atau D tidak tergantung pada parameter θ
𝜕𝑓(𝑥,𝜃)
2. ada untuk semua θ ϵ Ω dan 𝑥 ∈ 𝐷, dan
𝜕𝜃
𝜕 𝑥 𝑓 ,𝜃 𝑑𝑥 𝜕𝑓 𝑥,𝜃 𝑑𝑥
𝜕𝜃
= 𝜃𝜕 =0
3. Jika t(𝑥) fungsi dari peubah acak X , maka
𝜕 𝑥 𝑓)𝑥(𝑡 ,𝜃 𝑑𝑥 𝜕𝑓 𝑥,𝜃 𝑑𝑥
= )𝑥(𝑡
𝜕𝜃 𝜕𝜃
Pertidaksamaan Cramer-Rao
Teorema:
• Misalkan X1, X2, …, Xn merupakan sampel acak
berukuran n dari suatu distribusi dengan pdf f(x;θ), θ ϵ
Ω. Misal T = t(X1, X2, …, Xn) merupakan penduga tak
bias bagi 𝜏(𝜃) bila E(T(X1, X2, …, Xn)) = 𝜏(𝜃); untuk θ
ϵ Ω, maka batas bawah Cramer-Rao (Cramer-Rao
Lower Bound, RCLB) adalah
𝜏 ′ (𝜃) 2
𝑉𝑎𝑟 𝑇 ≥ 2
𝜕 ln 𝑓(𝑥, 𝜃)
𝑛𝐸
𝜕𝜃
Pertidaksamaan Cramer-Rao
𝜏 ′ (𝜃) 2
𝑉𝑎𝑟 𝑇 ≥ 2
𝜕 ln 𝑓(𝑥, 𝜃)
𝑛𝐸
𝜕𝜃
atau
𝜏 ′ (𝜃) 2
𝑉𝑎𝑟 𝑇 ≥
𝑛𝐼 𝜃
𝜕 ln 𝑓(𝑥,𝜃) 2
𝐼 𝜃 =𝐸 , Informasi Fisher
𝜕𝜃
Catatan:
1
Bila 𝜏(𝜃) = θ, maka 𝑉𝑎𝑟 𝑇 ≥ 𝑛 𝐼 𝜃
Pertidaksamaan Cramer-Rao
𝜕 ln 𝑓(𝑥1 , 𝑥2 , … , 𝑥𝑛 ; 𝜃)
𝑢 𝑥1 , 𝑥2 , … , 𝑥𝑛 ; 𝜃 =
𝜕𝜃
Persamaan di atas dapat ditulis dalam bentuk:
1 𝜕𝑓(𝑥1 ,𝑥2 ,…,𝑥𝑛 ;𝜃)
𝑢 𝑥1 , 𝑥2 , … , 𝑥𝑛 ; 𝜃 = 𝑓(𝑥1 ,𝑥2 ,…,𝑥𝑛 ;𝜃) 𝜕𝜃
Pertidaksamaan Cramer-Rao
1 𝜕𝑓(𝑥1 , 𝑥2 , … , 𝑥𝑛 ; 𝜃)
= න…න 𝑓(𝑥1 , 𝑥2 , … , 𝑥𝑛 ; 𝜃) 𝑑𝑥1 𝑑𝑥2 … 𝑑𝑥𝑛
𝑓(𝑥1 , 𝑥2 , … , 𝑥𝑛 ; 𝜃) 𝜕𝜃
𝜕
= … 𝑥(𝑓 1 , 𝑥2 , … , 𝑥𝑛 ; 𝜃) 𝑑𝑥1 𝑑𝑥2 … 𝑑𝑥𝑛
𝜕𝜃
𝜕
= 1 = 0
𝜕𝜃
Pertidaksamaan Cramer-Rao
Jika T = t(X1, X2, …, Xn) penduga tak bias bagi 𝜏(𝜃) maka
𝜏 𝜃 =𝐸 𝑇
= 𝑋 𝑡 …1 , 𝑋2 , … , 𝑋𝑛 𝑓(𝑥1 , 𝑥2 , … , 𝑥𝑛 ; 𝜃) 𝑑𝑥1 𝑑𝑥2 … 𝑑𝑥𝑛
Jadi,
𝜏 ′ (𝜃) 2
≤ 𝑉𝑎𝑟 𝑇 𝑉𝑎𝑟(𝑈)
≤ 𝑉𝑎𝑟 𝑇 𝐸 𝑈 2
Pertidaksamaan Cramer-Rao
Dengan demikian,
𝜏 ′ (𝜃) 2
𝑉𝑎𝑟 𝑇 ≥
𝐸 𝑈2
Karena 𝑋1 , 𝑋2 , … , 𝑋𝑛 sampel acak, maka
𝑓 𝑥1 , 𝑥2 , … , 𝑥𝑛 ; 𝜃 = 𝑓 𝑥1 ; 𝜃 𝑓 𝑥2 ; 𝜃 … 𝑓 𝑥𝑛 ; 𝜃
Sehingga
𝑛
𝜕 ln 𝑓(𝑥𝑖 ; 𝜃)
𝑢 𝑥1 , 𝑥2 , … , 𝑥𝑛 ; 𝜃 =
𝜕𝜃
𝑖=1
dan
𝑛
𝜕 ln 𝑓(𝑥𝑖 ; 𝜃)
𝐸 𝑈2 = 𝑉𝑎𝑟 𝑈 = 𝑉𝑎𝑟
𝜕𝜃
𝑖=1
𝜕 ln 𝑓(𝑥,𝜃) 𝜕 ln 𝑓(𝑥,𝜃) 2
= 𝑛 𝑉𝑎𝑟 𝜕𝜃
= 𝑛𝐸 𝜕𝜃
Pertidaksamaan Cramer-Rao
Jadi,
2
𝜏′ (𝜃)
𝑉𝑎𝑟 𝑇 ≥ 𝜕 ln 𝑓(𝑥,𝜃) 2
𝑛𝐸 𝜕𝜃
atau
2
𝜏′ (𝜃)
𝑉𝑎𝑟 𝑇 ≥ 𝑛𝐼 𝜃
Jadi, Teorema Pertidaksamaan Cramer-Rao terbukti
Catatan:
Untuk kemudahan, kita bisa menggunakan persamaan berikut:
2
𝜕 ln 𝑓(𝑥, 𝜃) 𝜕 2 ln 𝑓(𝑥, 𝜃)
𝐸 = −𝐸
𝜕𝜃 𝜕𝜃 2
Pertidaksamaan Cramer-Rao
Catatan:
Untuk kemudahan, kita bisa menggunakan persamaan berikut:
2
𝜕 ln 𝑓(𝑥, 𝜃) 𝜕 2 ln 𝑓(𝑥, 𝜃)
𝐸 = −𝐸
𝜕𝜃 𝜕𝜃 2
Bukti:
1 = න 𝑓 𝑥; 𝜃 𝑑𝑥
𝜕𝑓(𝑥, 𝜃) 𝜕 ln 𝑓(𝑥, 𝜃)
0=න 𝑑𝑥 = න 𝑓(𝑥, 𝜃)𝑑𝑥
𝜕𝜃 𝜕𝜃
𝜕 𝜕 ln 𝑓(𝑥,𝜃)
= 𝜕𝜃 𝑓(𝑥, 𝜃)𝑑𝑥
𝜕𝜃
𝜕 𝜕 ln 𝑓(𝑥,𝜃)
= 𝜃𝜕 𝑓(𝑥, 𝜃)𝑑𝑥
𝜕𝜃
Pertidaksamaan Cramer-Rao
𝜕 𝜕 ln 𝑓(𝑥,𝜃)
0= 𝜃𝜕 𝜕𝜃
𝑓(𝑥, 𝜃)𝑑𝑥
𝜕2 ln 𝑓(𝑥,𝜃) 𝜕 ln 𝑓(𝑥,𝜃) 2
= + 𝑓(𝑥, 𝜃)𝑑𝑥
𝜕𝜃 2 𝜕𝜃
𝜕2 ln 𝑓(𝑥,𝜃) 𝜕 ln 𝑓(𝑥,𝜃) 2
= 𝑓(𝑥, 𝜃)𝑑𝑥 + 𝑓(𝑥, 𝜃)𝑑𝑥
𝜕𝜃 2 𝜕𝜃
Sehingga,
2
𝜕 ln 𝑓(𝑥, 𝜃) 𝜕 2 ln 𝑓(𝑥, 𝜃)
න 𝑓(𝑥, 𝜃)𝑑𝑥 = − න 2 𝑓(𝑥, 𝜃)𝑑𝑥
𝜕𝜃 𝜕𝜃
𝜕 ln 𝑓(𝑥,𝜃) 2 𝜕 2 ln 𝑓(𝑥,𝜃)
𝐸 𝜕𝜃
= −𝐸 𝜕𝜃 2
Pertidaksamaan Cramer-Rao
Definisi:
Misal T = t(X1, X2, …, Xn) merupakan penduga tak bias bagi 𝜃,
maka T merupakan penduga yang efisien bila memenuhi batas
bawah Cramer-Rao
Example:
Misalkan 𝑋1 , 𝑋2 , … , 𝑋𝑛 berdistribusi Poisson(λ) yang bebas
stokastik identik, dengan fungsi peluang:
𝑒 −λ λ𝑥
𝑝X 𝑥 = ൞ 𝑥! , 𝑥 = 0, 1, 2, …
0, selainnya
σ𝑛
𝑖=1 𝑥𝑖
Diketahui sebelumnya bahwa 𝑋ത = merupakan MLE bagi λ.
𝑛
Tunjukkan bahwa 𝑋ത merupakan penduga yang efisien!
Pertidaksamaan Cramer-Rao
Jawab:
Harus ditunjukkan apakah ragam penduga 𝑋ത memenuhi batas bawah
Cramer-Rao
𝜕 ln 𝑝(𝑥, λ) 𝜕 𝑒 −λ λ𝑥
= ln
𝜕λ 𝜕λ 𝑥!
𝜕
= 𝑥 ln λ − λ − ln 𝑥!
𝜕λ
𝑥 𝑥−λ
= −1=
λ λ
2 2
𝜕 ln 𝑝(𝑋,λ) 𝑋−λ
Sehingga, 𝐸 =𝐸
𝜕λ λ
2 2
𝑋−λ 𝐸 𝑋−λ 𝑉𝑎𝑟(𝑋)
=𝐸 = =
λ λ2 λ2
λ 1
= λ2 =
λ
Pertidaksamaan Cramer-Rao