BAB IX
b. Diberikan
1
, 𝑢𝑛𝑡𝑢𝑘 𝜃 ≤ 𝑥 ≤ 2𝜃
𝑓(𝑥; 𝜃) {𝜃
0 , 𝑢𝑛𝑡𝑢𝑘 𝑙𝑎𝑖𝑛𝑛𝑦𝑎
11. Consider a random sample of size n from a Pareto distribution, 𝑥1 ~𝑃𝐴𝑅(𝜃, 2).
a. Find the ML equation (9.2.7).
b. From the data of Example 4.6.2, compute the ML estimate, 𝜃, to three decimal
places. Note: The ML equation cannot be solved explicitly for 𝜃, but it can be
solved numerically, by an iterative method, or by trial and error.
Jawab:
𝑘 𝑥
a. 𝑓(𝜃) = 𝜃 (1 + 𝜃)−(𝑘+1)
2 𝑥
𝑓(𝜃) = (1 + )−3
𝜃 𝜃
2 𝑥
𝐿(𝜃) = ∏∞
𝑖=1 𝜃 (1 + 𝜃)
−3
𝑛
𝑥
𝑙𝑛𝐿(𝜃) = 2 − ∑ −𝑙𝑛𝜃 − 3𝑙𝑛 (1 + )
𝜃
𝑖=1
𝑛
𝑑 𝑑 𝑑 𝑥
𝑙𝑛𝐿(𝜃) = 2− ∑ −𝑙𝑛𝜃 − 3𝑙𝑛 (1 + )
𝑑𝜃 𝑑𝜃 𝑑𝜃 𝜃
𝑖=1
𝑛
𝑑 𝑑 𝑥
0= 2− ∑ −𝑙𝑛𝜃 − 3𝑙𝑛 (1 + )
𝑑𝜃 𝑑𝜃 𝜃
𝑖=1
𝑛
𝑛 𝑥𝑖
= ∑[ ]
3 𝑥𝑖 + 𝜃
𝑖=1
b. 𝜃̂ = 1,404
Petunjuk : ingat bahwa Y~LOGN(𝜇, 𝜎 2 ) jika ln(Y)~N(𝜇, 𝜎 2 ), atau setara dengan Y=exp(X)
dimana X~ N(𝜇, 𝜎 2 ).
Jawab ;
Diketahui : Y1, ... , Yn merupakan sebuah sampel acak dari sebuah distribusi log normal
Y~LOGN(𝜇, 𝜎 2 ).
1 ln(𝑦)−𝜇 2
1
Pdf f(y) = 𝑒 −2 ( 𝜎
)
, untuk 0<y<∞.
𝑦𝜎√2𝜋
Penyelesaian :
a. Tentukan MLEs dari 𝜇 dan 𝜎 2
1 ln(𝑦)−𝜇 2
1
f(y:𝜇, 𝜎)= 𝑦𝜎√2𝜋 𝑒 −2( 𝜎
)
14. Misalkan X adalah jumlah percobaan independen dari beberapa komponen sampai ia gagal, dimana 1-
p adalah kemungkinan untuk gagal di tiap percobaan. Kita mencatat angka eksak dari percobaan, Y = X ,
jika X ≤ r; untuk lainnya kita catat Y = r+1, dimana r adalah bilangan bulat positif.
a) Show that the discrete pdf of Y is
(1 − 𝑝)𝑝 𝑦−1 𝑦 = 1, … . , 𝑟
𝑓(𝑦; 𝑝) { 𝑟
𝑝 𝑦 = 𝑟+1
b) Misalkan 𝑌1 , … , 𝑌𝑛 adalah sampel acak dari 𝑓(𝑦; 𝑝). Cari MLE dari p
Jawaban:
a) Peluang berhasil = p
Peluang gagal = 1-p
Misalkan percobaan dilakukan sebanyak y kali dan karena percobaan yang dilakukan akan
berhenti jika ada yang gagal, maka kita dapat menyimpulkan bahwa:
P(gagal) = 1-p
P(berhasil) = py-1
sehingga diperoleh:
𝑓(𝑦) = (1 − 𝑝)1 𝑝 𝑦−1
𝑋
15. Misalkan 𝑋~𝐵𝐼𝑁(𝑛, 𝑝)𝑑𝑎𝑛 𝑝̂ = 𝑛
Penyelesaian
a) Karena diketahui adalah distribusi binomial, maka
𝐸(𝑥) = 𝑛𝑝
𝑉𝑎𝑟(𝑥) = 𝑛𝑝(1 − 𝑝), 𝑑𝑖𝑚𝑎𝑛𝑎 𝑉𝑎𝑟(𝑥) = 𝐸(𝑥 2 ) − (𝐸(𝑥))2
𝐸(𝑥 2 ) = 𝑉𝑎𝑟(𝑥) + (𝐸(𝑥))2 = 𝑛𝑝(1 − 𝑝) + 𝑛2 𝑝2
Sehingga,
𝐸(𝑐𝑝̂ (1 − 𝑝̂ ) = 𝑝(1 − 𝑝)
𝐸(𝑐𝑝̂ − 𝑐𝑝̂ 2 ) = 𝑝(1 − 𝑝)
𝐸(𝑐𝑝̂ ) − 𝐸(𝑐𝑝̂ 2 ) = 𝑝(1 − 𝑝)
𝑐𝐸(𝑝̂ ) − 𝑐𝐸(𝑝̂ 2 ) = 𝑝(1 − 𝑝)
𝑋 𝑋2
𝑐𝐸 ( ) − 𝑐𝐸 ( 2 ) = 𝑝(1 − 𝑝)
𝑛 𝑛
𝑐 𝑐
𝐸(𝑋) − 2 𝐸(𝑋 2 ) = 𝑝(1 − 𝑝)
𝑛 𝑛
𝑐 𝑐
𝑛𝑝 − 2 (𝑛𝑝(1 − 𝑝) + 𝑛2 𝑝2 ) = 𝑝(1 − 𝑝)
𝑛 𝑛
𝑐
𝑐𝑝 − (𝑝(1 − 𝑝) + 𝑛𝑝2 ) = 𝑝(1 − 𝑝)
𝑛
𝑐𝑝
𝑐𝑝 − ((1 − 𝑝) + 𝑛𝑝) = 𝑝(1 − 𝑝)
𝑛
1
𝑐 (1 − (1 − 𝑝 + 𝑛𝑝)) = 1 − 𝑝
𝑛
𝑛 − (1 − 𝑝 + 𝑛𝑝)
𝑐( )= 1−𝑝
𝑛
𝑛 − 1 + 𝑝 − 𝑛𝑝
𝑐( )=1−𝑝
𝑛
𝑛(1 − 𝑝) − (1 − 𝑝)
𝑐( )=1−𝑝
𝑛
(1 − 𝑝)(𝑛 − 1)
𝑐( )=1−𝑝
𝑛
𝑛
𝑐=
𝑛−1
𝑛
( )
Jadi, c konstan dari 𝐸(𝑐𝑝̂ 1 − 𝑝̂ = 𝑝(1 − 𝑝) adalah 𝑐 = 𝑛−1
1
= (𝑁. 𝑉𝑎𝑟(𝑥))
𝑁
= 𝑉𝑎𝑟(𝑥)
Jadi, estimator unbias untuk Var(x) adalah
2 2
𝑁 [ 𝑛 ] 𝑝̂𝑖 (1 − 𝑝̂𝑖 ) 𝑁 [ 𝑛 𝑋 𝑋
] 𝑖 (1 − 𝑛𝑖 )
(𝑛 − 1) (𝑛 − 1) 𝑛
∑ =∑
𝑁 𝑁
𝑖=1 𝑖=1
16. (Poisson terpotong). Misalkan 𝑋~𝑃𝑂𝐼(𝜇), dan diketahui bahwa kita tidak bisa mengamati X
= 0, sehingga variabel acak yang diamati, yaitu Y, mempunyai pdf diskrit
𝑒 −𝜇 𝜇 𝑦
𝑦 = 1,2, …
𝑓(𝑦; 𝜇) = {𝑦! (1 − 𝑒 −𝜇) }
0 𝑦 𝑦𝑎𝑛𝑔 𝑙𝑎𝑖𝑛
Kita ingin untuk mengestimasi 𝑃[𝑋 > 0] = 1 − 𝑒 −𝜇 . Tunjukkan bahwa estimator unbias(tapi
tidak beralasan) dari 1 − 𝑒 −𝜇 adalah diberikan oleh 𝑢(𝑌) dimana 𝑢(𝑦) = 0 jika y adalah ganjil,
dan 𝑢(𝑦) = 2 jika y adalah genap.
Penyelesaian:
𝑒 −𝜇 𝜇 𝑦
Diketahui bahwa 𝑓(𝑦; 𝜇) = 𝑦!(1−𝑒 −𝜇) ;𝑦 = 1,2, … merupakan distribusi poisson terpotong dimana
𝜇
E(Y) = 1−𝑒 −𝜇
𝐿(𝜇) = ∏ 𝑓(𝑦𝑖 ; 𝜇)
𝑖=1
𝑛
𝑒 −𝜇 𝑦̅
−𝜇
= −1 +
(1 − 𝑒 ) 𝜇
𝑒 −𝜇 𝑦̅
(1−𝑒 −𝜇 )
+1=𝜇
𝑒 −𝜇 +1−𝑒 −𝜇 𝑦̅
=𝜇
1−𝑒 −𝜇
𝜇
1 − 𝑒 −𝜇 = 𝑦̅
𝜇
Sehingga estimator dari 𝑢(𝑌) = 𝑇 = 𝑦̅
Mencari E(T)
𝜇
𝐸(𝑇) = 𝐸 ( )
𝑦̅
1
= 𝜇𝐸 (𝑦̅)
𝐸(1)
=𝜇 𝑦
𝐸(∑𝑛 𝑖
𝑖=1 𝑛 )
1
=𝜇1
𝐸(𝑛𝑦)
𝑛
1
= 𝜇𝑛
𝐸(𝑌)
𝑛
𝜇
= 𝜇
1−𝑒−𝜇
= 1 − 𝑒 −𝜇
Dengan demikian, 𝐸(𝑇) = 1 − 𝑒 −𝜇
Jadi, T merupakan estimator unbias dari 1 − 𝑒 −𝜇 .
Artinya :
17. Misalkan 𝑋1 , … , 𝑋𝑛 adalah sampel acak dari distribusi seragam, 𝑋𝑖 ~ 𝑈𝑁𝐼𝐹(𝜃 − 1, 𝜃 + 1).
a. Tunjukkan bahwa mean sampel, 𝑋̅, adalah estimator θ yang tidak bias.
b. Tunjukkan bahwa "midrange" (𝑋1:𝑛 + 𝑋𝑛:𝑛 )/2, adalah estimator tidak bias θ.
Jawab :
Diketahui :
𝑋𝑖 ~ 𝑈𝑁𝐼𝐹(𝜃 − 1, 𝜃 + 1).
a (batas bawah ) = 𝜃 − 1
b (batas atas) =𝜃+1
a. Tunjukkan 𝑋̅ adalah estimator θ yang tidak bias
𝑏+𝑎
𝐸(𝑋̅) =
2
𝜃+1+𝜃−1
=
2
2𝜃
=
2
=𝜃
𝐸(𝑋̅) = 𝜏(𝜃)
18. Diketahui bahwa 𝑋 adalah pdf kontinu, 𝑓(𝑥; 𝜇), adalah simetrik terhadap 𝜇, 𝑓(𝜇 + 𝑐; 𝜇) =
𝑓(𝜇 − 𝑐; 𝜇) untuk semua c>0
a. Tunjukkan bahwa untuk sebuah sampel acak dengan ukuran 𝑛, dimana 𝑛 is odd (𝑛 = 2𝑘 −
1), sampel median, 𝑋𝑘;𝑛 adalah unbiased estimator dari 𝜇.
b. Tunjukkan bahwa 𝑍 = 𝑋1:𝑛 + 𝜇 dan 𝑊 = 𝜇 − 𝑋𝑛:𝑛 memiliki distribusi yang sama, dan
thus that the midgrange, (𝑋1:𝑛 + 𝑋𝑛:𝑛) /2, adalah unbiased estimator dari 𝜇.
19. Sebuah sample acak berukuran n dari distribusi seragam, X~UNIF( -θ, θ); θ > 0 . Tentukan
nilai dari dari konstanta c dari c(𝑥𝑛:𝑛 - 𝑥1:𝑛 ) adalah estimator unbias θ.
Jawab:
1 1 1
pdf : f(x) = = = θ>0
𝑏−𝑎 𝜃+𝜃 2𝜃
∞ 𝜃 1 1 𝜃 1 1
CDF : F(x) = ∫−∞ 𝑓(𝑡)𝑑𝑡 = ∫0 2𝑡 𝑑𝑡 = 2 ln 𝑡 |0 = 2 ln 𝜃 − 2
𝑛−1
𝑥𝑛:𝑛 ∶ 𝑔𝑛 ( 𝑦𝑛 ) = 𝑛 (𝐹(𝑦𝑛 )) 𝑓(𝑦𝑛 )
1 1 𝑛−1 1
= 𝑛 (2 ln 𝑦𝑛 − 2) 2𝑦𝑛
1 𝑛 1
= 𝑛 (ln 𝑦𝑛 − 1)𝑛−1 (2) 𝑦𝑛
𝑛−1
𝑥1:𝑛 ∶ 𝑔1 ( 𝑦1 ) = 𝑛 (1 − 𝐹(𝑦1 )) 𝑓(𝑦1 )
1 1 𝑛−1 1
= 𝑛 (1 − 2 ln 𝑦1 + 2) 2𝑦1
1 𝑛 1
= 𝑛 (3 − ln 𝑦1 )𝑛−1 (2) 𝑦1
𝑛−1 1 1 𝑛−1 1 1
𝑐(𝑥𝑛:𝑛 − 𝑥1:𝑛 ) = c[𝑛 (ln 𝑦𝑛 − 1) ( )𝑛 − 𝑛 (3 − ln 𝑦1 ) ( )𝑛 ]
2 𝑦𝑛 2 𝑦1
𝑛−1 1 1 𝑛−1 1 1
𝐸(𝜃̂ ) = 𝑐[𝑛 (ln 𝑦𝑛 − 1) ( )𝑛 − 𝑛 (3 − ln 𝑦1 ) ( )𝑛 ]
2 𝑦𝑛 2 𝑦1
Diketahui :
Ditanyakan :
a. CRLB untuk varians dari estimator unbias 𝑝
b. CRLB untuk varians dari estimator unbias 𝑝(1 − 𝑝)
c. UMVUE dari 𝑝
Jawab :
[𝜏 ′ (𝑝)]2
𝑉𝑎𝑟(𝑇) ≥ 2
𝛿
𝑛𝐸 [ ln 𝑓(𝑋; 𝑝)]
𝛿𝑝
Bila
[𝜏 ′ (𝑝)]2
𝑉𝑎𝑟(𝑇) = 2
𝛿
𝑛𝐸 [ ln 𝑓(𝑋; 𝑝)]
𝛿𝑝
ln 𝑓(𝑋; 𝑝) = ln 𝑝 𝑥 (1 − 𝑝)1−𝑥
= ln 𝑝 𝑥 + ln(1 − 𝑝)1−𝑥
= 𝑥 ln 𝑝 + (1 − 𝑥) ln(1 − 𝑝)
𝛿
Dicari 𝛿𝑝 ln 𝑓(𝑋; 𝑝)
𝛿 𝛿
ln 𝑓(𝑋; 𝑝) = (𝑥 ln 𝑝 + (1 − 𝑥) ln(1 − 𝑝))
𝛿𝑝 𝛿𝜃
𝑥 (1 − 𝑥)
= −
𝑝 (1 − 𝑝)
𝛿
Dicari 𝐸 [𝛿𝑝 ln 𝑓(𝑋; 𝑝) ]
𝛿 𝑥 (1 − 𝑥)
𝐸[ ln 𝑓(𝑋; 𝑝) ] = 𝐸 [ − ]
𝛿𝑝 𝑝 (1 − 𝑝)
𝑥(1 − 𝑝) − 𝑝(1 − 𝑥)
= 𝐸[ ]
𝑝(1 − 𝑝)
𝑥 − 𝑥𝑝 − 𝑝 + 𝑥𝑝
= 𝐸[ ]
𝑝(1 − 𝑝)
𝑥−𝑝
= 𝐸[ ]
𝑝(1 − 𝑝)
𝛿 2
Dicari 𝐸 [𝛿𝑝 ln 𝑓(𝑋; 𝑝) ]
2
𝛿 𝑥−𝑝 2
𝐸 [ ln 𝑓(𝑋; 𝑝) ] = 𝐸 [ ]
𝛿𝑝 𝑝(1 − 𝑝)
𝑥 2 − 2𝑥𝑝 + 𝑝2
= 𝐸[ 2 ]
𝑝 (1 − 𝑝)2
𝑥2 2𝑥𝑝 𝑝2
= 𝐸[ 2 − + ]
𝑝 (1 − 𝑝)2 𝑝2 (1 − 𝑝)2 𝑝2 (1 − 𝑝)2
1 2]
2𝑝 𝑝2
= 2 𝐸[𝑥 − 𝐸(𝑥) +
𝑝 (1 − 𝑝)2 𝑝2 (1 − 𝑝)2 𝑝2 (1 − 𝑝)2
2
𝑑
[𝜏 ′ (𝑝)]2 [ (𝑝)]
𝑑𝑝
2 =
𝛿 1
𝑛𝐸 [ ln 𝑓(𝑋; 𝑝)] 𝑛[ ]
𝛿𝑝 𝑝(1 − 𝑝)
1
=
1
𝑛[ ]
𝑝(1 − 𝑝)
𝑝(1 − 𝑝)
=
𝑛
𝜏(𝑝) = 𝑝(1 − 𝑝)
𝜏(𝑝) = 𝑝 − 𝑝2
𝑑
𝜏 ′ (𝑝) = (𝑝 − 𝑝2 )
𝑑𝑝
𝜏 ′ (𝑝) = 1 − 2𝑝
Jadi, CRLB untuk varians dari estimator unbias 𝑝(1 − 𝑝) adalah
[𝜏 ′ (𝑝)]2 (1 − 2𝑝)2
2 =
𝛿 1
𝑛𝐸 [ ln 𝑓(𝑋; 𝑝)] 𝑛[ ]
𝛿𝑝 𝑝(1 − 𝑝)
𝑝(1 − 𝑝)(1 − 2𝑝)2
=
𝑛
[𝜏 ′ (𝑝)]2
𝑉𝑎𝑟(𝑇) = 2
𝛿
𝑛𝐸 [ ln 𝑓(𝑋; 𝑝)]
𝛿𝑝
∑𝑛𝑖=0 𝑥𝑖
𝑉𝑎𝑟(𝑋̅) = 𝑉𝑎𝑟 [ ]
𝑛
𝑛
1
= 2 𝑉𝑎𝑟 [∑ 𝑥𝑖 ]
𝑛
𝑖=0
1
= 2 𝑛 𝑉𝑎𝑟(𝑥)
𝑛
1
= 𝑝(1 − 𝑝)
𝑛
𝑝(1 − 𝑝)
=
𝑛
𝑝(1−𝑝)
Karena 𝑉𝑎𝑟(𝑋̅) = mencapai CRLB, maka UMVUE dari 𝑝 adalah 𝑋̅.
𝑛
22. Diberikan sampel acak berukuran n dari sebuah distribusi normal , χ𝑖 ~ 𝑁(𝜇, 9)
1 1 𝑥−𝜇 2
𝑒 −2( )
𝑓(𝑥) = 3
3√2𝜋
𝐸(𝜇̂ ) = 𝜇 , karena 𝜇 estimator unbias
𝑉𝑎𝑟(𝑥) = 𝜎 2 = 9
a) CRLB untuk 𝑉𝑎𝑟(𝜇̂ )
[𝜏 ′ (𝜇)]2
𝑉𝑎𝑟(𝜇̂ ) = 2
𝜕
𝑛𝐸 [ ln 𝑓(𝑥, 𝜇)]
𝜕𝜇
1 1 𝑥−𝜇 2
𝑒 −2( )
ln 𝑓(𝑥, 𝜇) = 𝑙𝑛 [ 3 ]
3√2𝜋
1 1 𝑥−𝜇 2
] + 𝑙𝑛 [𝑒 −2( )
= 𝑙𝑛 [ 3 ]
3√2𝜋
1 1
= 𝑙𝑛 [ ]− (𝑥 − 𝜇)2
3√2𝜋 18
𝜕 𝜕 1 1 𝜕
ln 𝑓(𝑥, 𝜇) = 𝑙𝑛 [ ]− (𝑥 − 𝜇)2
𝜕𝜇 𝜕𝜇 3√2𝜋 18 𝜕𝜇
1
=0− (−2)(𝑥 − 𝜇)
18
1
= (𝑥 − 𝜇)
9
𝜕 1 1
ln 𝑓(𝑥, 𝜇) = 𝑥 − 𝜇
𝜕𝜇 9 9
𝜕2 1
ln 𝑓(𝑥, 𝜇) = −
𝜕𝜇 2 9
2
𝜕 𝜕2
𝐸 [ ln 𝑓(𝑥, 𝜇)] = −𝐸 [ 2 ln 𝑓(𝑥, 𝜇)]
𝜕𝜇 𝜕𝜇
1
= −𝐸 [− ]
9
2
𝜕 1
𝐸 [ ln 𝑓(𝑥, 𝜇)] =
𝜕𝜇 9
Sehingga didapat
[𝜏 ′ (𝜇)]2
𝑉𝑎𝑟(𝜇̂ ) = 2
𝜕
𝑛𝐸 [ ln 𝑓(𝑥, 𝜇)]
𝜕𝜇
[1]2
𝑉𝑎𝑟(𝜇̂ ) =
1
𝑛
9
1 9
𝑉𝑎𝑟(𝜇̂ ) = 𝑛 =
𝑛
9
b) Apakah MLE , 𝜇̂ = 𝑋̅ merupakan UMVUE dari 𝜇 ?
𝑥0,95 − 𝜇
0,95 = 𝑃{𝑋1 ≤ 𝑥0,95 } = Φ ( )
3
𝑥0,95 − 𝜇
1,645 =
3
𝑥0,95 − 𝜇 = 1,645(3)
𝑥0,95 = 4,935 + 𝜇
𝑥̂0,95 = 4,935 + 𝑋̅
Dan didapatkan
9
𝑉𝑎𝑟( 𝑥̂0,95 ) = 𝑉𝑎𝑟(4,935 + 𝑋̅) = 𝑉𝑎𝑟(𝑋̅) =
𝑛
Sehingga MLE dari 𝑥0,95 adalah UMVUE
23. MIsalkan 𝑋1 , … , 𝑋𝑛 adalah variable acak dari distribusi normal, 𝑁(0, 𝜃).
1 (𝑥)2
−
𝑓(𝑥; 0, 𝜃) = 𝑒 2𝜃
√2𝜋𝜃
Mencari 𝜃̂ dengan MLE
𝑛
1 (𝑥𝑖 )2
−
𝐿(0, 𝜃) = ∏ 𝑒 2𝜃
𝑖=1
√2𝜋𝜃
𝑛
1 (𝑥𝑖 )2
−
ln 𝐿(0, 𝜃) = ln ∏ 𝑒 2𝜃
𝑖=1
√2𝜋𝜃
𝑛
𝑛 (𝑥𝑖 )2
− −
= ln(2𝜋𝜃) 2 + ln ∑ 𝑒 2𝜃
𝑖=1
𝑛
𝑛 (𝑥𝑖 )2
= − ln(2𝜋𝜃) + ∑ −
2 2𝜃
𝑖=1
𝑛
𝑛 1
= (ln 2𝜋 + 𝑙𝑛 𝜃) + ∑ −(𝑥𝑖 )2
2 2𝜃
𝑖=1
𝑛
𝑑 𝑑 𝑛 1
𝐿(0, 𝜃) = (ln 2𝜋 + 𝑙𝑛 𝜃) + ∑ −(𝑥𝑖 )2 )
𝑑𝜃 𝑑𝜃 2 2𝜃
𝑖=1
𝑛
𝑛 1
=− + 2 ∑ 𝑥𝑖2
2𝜃 2𝜃
𝑖=1
𝑑
𝐿(0, 𝜃) = 0
𝑑𝜃
𝑛
𝑛 1
− + 2 ∑ 𝑥𝑖2 = 0
2𝜃 2𝜃
𝑖=1
𝑛
1 𝑛
2
∑ 𝑥𝑖2 =
2𝜃 2𝜃
𝑖=𝑖
𝑛
1
∑ 𝑥𝑖2 = 𝑛
𝜃
𝑖=1
𝑛
1
𝜃 = ∑ 𝑥𝑖2
𝑛
𝑖=0
Sehingga,
𝑛
1
𝜃̂ = ∑ 𝑥𝑖2
𝑛
𝑖=0
1
= [𝐸(𝑥12 ) + 𝐸(𝑥22 )+. . . +𝐸(𝑥𝑛2 )]
𝑛
1
= 𝑛 𝐸(𝑥 2 )
𝑛
= 𝜇2 + 𝜎 2
= 0 + 𝜎2
= 𝜎2
=𝜃
Jadi 𝐸(𝜃̂ ) = 𝜃
𝜏(𝜃) = 𝐸(𝜃̂)
𝜏 ′ (𝜃) = 1
Sehingga,
[𝜏 ′ (𝜃)]
𝑉𝑎𝑟(𝜃) =
𝑑
𝑛𝐸( ln 𝑓(𝑥; 𝜃)) 2
𝑑𝜃
1
= 𝑛
𝑛(− 2 )
2𝜃
1
=
𝑛2
− 2
2𝜃
2𝜃 2
=− 2
𝑛
2𝜃 2
= 2
𝑛
Untuk 𝑉𝑎𝑟(𝜃̂ )
𝑛
1
𝑉𝑎𝑟(𝜃̂ ) = 𝑉𝑎𝑟 ( ∑ 𝑥𝑖2 )
𝑛
𝑖=0
𝑛
1
= 2 𝑉𝑎𝑟 (∑ 𝑥𝑖2 )
𝑛
𝑖=1
1
= 𝜃
𝑛2
2𝜃2 𝜃
Jadi 𝑉𝑎𝑟(𝜃) ≥ 𝑉𝑎𝑟 (𝜃̂) = ≥ 𝑛2
𝑛2
Penyelesaian :
𝑡 −1)
a. 𝑋~𝑃𝑂𝐼 (𝜇) → 𝐸(𝑋) = 𝜇 , 𝑉𝑎𝑟(𝑋) = 𝜇, 𝑀(𝑡) = 𝑒 𝜇(𝑒
𝜃̂ = 𝑒 −𝑋
𝑀(𝑡) = 𝐸(𝑒 𝑡𝑋 )
𝐸(𝜃̂) = 𝐸(𝑒 −𝑋 )
= 𝑀(−1)
−1
= 𝑒 𝜇(𝑒 −1)
−1
= 𝜃 (𝑒 −1) ≠ 𝜃 , 𝑠𝑒ℎ𝑖𝑛𝑔𝑔𝑎 𝜃̂ 𝑏𝑢𝑘𝑎𝑛 𝑒𝑠𝑡𝑖𝑚𝑎𝑡𝑜𝑟 𝑢𝑛𝑏𝑖𝑎𝑠 𝑑𝑎𝑟𝑖 𝜃
𝐸(𝜃̃) = 𝐸( 𝜇(𝑋))
= 𝑃[𝑋 = 0] + 𝑃[𝑋 = 1] + 𝑃[𝑋 = 2] + ⋯
= 𝑃[𝑋 = 0] + 0
= 𝑃[𝑋 = 0]
= 𝑒 −𝜇
Karena 𝐸(𝜃̃) = 𝐸(𝜃) = 𝑒 −𝜇 , maka 𝜃̃ = 𝜇(𝑋) merupakan estimator unbias dari 𝜃
−1 𝜇⁄
𝐵𝑖𝑎𝑠( 𝜃̂ ) = 𝐸(𝜃̂ ) − 𝐸(𝜃) = 𝑒 𝜇(𝑒 −1) − 𝑒 −𝜇 = 𝑒 −𝜇 (𝑒 𝑒 − 1)
2
̂ ) = 𝑉𝑎𝑟( 𝜃̂ ) + [𝐵𝑖𝑎𝑠 ( 𝜃̂ )]
𝑴𝑺𝑬 ( 𝜽
−2 +1) 2𝜇⁄ 𝜇⁄ 2
= 𝑒 −2𝜇 (𝑒 𝜇(𝑒 − 𝑒 𝑒) + [𝑒 −𝜇 (𝑒 𝑒 − 1)]
−2 +1) 2𝜇⁄ 𝜇⁄ 2
= 𝑒 −2𝜇 [𝑒 𝜇(𝑒 − 𝑒 𝑒 + (𝑒 𝑒 − 1) ]
−2 +1) 2𝜇⁄ 2𝜇⁄ 𝜇⁄
= 𝑒 −2𝜇 [𝑒 𝜇(𝑒 − 𝑒 𝑒 +𝑒 𝑒 − 2𝑒 𝑒 + 1]
−2 +1) 𝜇⁄
= 𝑒 −2𝜇 [𝑒 𝜇(𝑒 − 2𝑒 𝑒 + 1]
𝜃̃ = 𝜇(𝑋), 𝜇(0) = 1
𝜇(𝑥) = 0 , 𝑥 = 1,2, …
2
𝑚𝑎𝑘𝑎 (𝜃̃) = 𝜃̃
2 2
𝑉𝑎𝑟 (𝜃̃) = 𝐸(𝜃̃ 2 ) − [𝐸(𝜃̃)] = 𝐸(𝜃̃) − [𝐸(𝜃̃ )] = 𝑒 −𝜇 − 𝑒 −2𝜇 = 𝑒 −2𝜇 (𝑒 𝜇 − 1)
26. Diketahui:
PDF:
1
𝑓(𝑥; 𝜃) = {𝜃 , 0<𝑥≤𝜃
0, 0<𝜃
Ditanya: a) MLE?
b) MME?
c) apakah a) unbias?
d) apakah b) unbias?
Penyelesaian:
a) 𝐿 𝑓(𝑥; 𝜃) = ∏𝑛𝑖=1 𝑓(𝑥; 𝜃)
1
𝐿 𝑓(𝑥; 𝜃) = ∏𝑛𝑖=1 𝜃
1
𝑙𝑛 𝐿 𝑓(𝑥; 𝜃) = 𝑙𝑛 ∏𝑛𝑖=1 𝜃
1
𝑙𝑛 𝐿 𝑓(𝑥; 𝜃) = ∑𝑛𝑖=1 𝑙𝑛 𝜃
1
𝑙𝑛 𝐿 𝑓(𝑥; 𝜃) = 𝑙𝑛 𝜃
𝑑 𝑑 1
𝑙𝑛 𝐿 𝑓(𝑥; 𝜃) = 𝑛 𝑙𝑛 𝜃
𝑑𝜃 𝑑𝜃
0=𝑛𝜃
𝜃̂ = 0
∞
b) 𝐸(𝑋) = ∫−∞ 𝑥 𝑓(𝑥; 𝜃) 𝑑𝑥
𝜃 1
𝐸(𝑋) = ∫0 𝑥 𝑑𝑥
𝜃
1 𝜃
𝐸(𝑋) = 𝜃 ∫0 𝑥 𝑑𝑥
11
𝐸(𝑋) = 𝑥 2 ] 𝜃0
𝜃2
11
𝐸(𝑋) = 𝜃 2 (𝜃 2 )
𝜃
𝐸(𝑋) = 2
𝜃̃ = 2𝑥
c) 𝜃̂ bias, bukan unbias karena 𝜃̂ = 0 ≠ 𝜃
𝜃
d) 𝜃̃ bias, bukan unbias karena 𝜃̃ = 2𝑥 ≠ 2
31. Jika 𝜃̂ dan 𝜃̃ masing-masing adalah MLE dan MME dari soal no 26
a. Tentukan 𝜃̂ adalah MSE konsisten.
b. Tentukan 𝜃̃ adalah MSE konsisten.
Penyelesaian :
Dari soal no 26 diketahui
1
𝑢𝑛𝑡𝑢𝑘 0 ≤ 𝑥 ≤ 𝜃
𝑓(𝑥; 𝜃) = { 𝜃
0 𝑢𝑛𝑡𝑢𝑘 𝑥 𝑦𝑎𝑛𝑔 𝑙𝑎𝑖𝑛
Pdf diatas adalah pdf dari distribusi uniform dengan
𝑋~𝑈𝑁𝐼𝐹(0, 𝜃)
Dimana
𝜃
𝐸(𝑋) =
2
𝜃2
𝑉𝑎𝑟 (𝑋) =
12
a. Mencari estimator 𝜃̂ dengan MLE
𝑛
𝐿(𝜃) = ∏ 𝑓(𝑥𝑖 ; 𝜃)
𝑖=1
𝑛
𝑛
1
=∏ 0 > 𝑥𝑖 (𝑖 = 1,2,3, … … . . 𝑛)
𝜃
𝑖=1
1 𝑛
= ( ) 𝜃 > 𝑚𝑎𝑥{𝑥1, 𝑥2, 𝑥3, 𝑥4, … … . 𝑥𝑛 }
𝜃
Oleh karena itu parameter 𝜃 terpenuhi untuk 𝐿(𝜃)dengan
Ω = {θϵR|xmax < θ < ∞} = (xmax , ∞)
Selanjutnya Memaksimumkan 𝐿(𝜃) 𝑝𝑎𝑑𝑎 Ω
1 𝑛
𝑙𝑛𝐿(𝜃) = ( )
𝜃
𝑙𝑛𝐿(𝜃) = −𝑛𝑙𝑛(𝜃)
𝑑 𝑛
𝑙𝑛𝐿(𝜃) = − < 0
𝑑𝜃 𝜃
Oleh karena 𝑙𝑛𝐿(𝜃) adalah sebuah fungsi turunan dari 𝜃 dan maksimum dari 𝑙𝑛𝐿(𝜃)
terjadi pada titik paling ujung sebelah kiri dalam interval (xmax , ∞). Sehingga pada 𝜃 =
xmax fungsi likelihood mencapai maksimum. Oleh karena itu estimator 𝜃 dengan MLE
diperoleh
𝜃̂ = 𝑋(𝑛)
Dimana 𝑋(𝑛) adalah order statistik ke n dari sebuah sampel acak
𝐸(𝑋) = ∫ 𝑥 𝑓(𝑥)
0
𝜃
1
𝐸(𝑋) = ∫ 𝑥
𝜃
0
𝑥2 𝜃
𝐸(𝑋) = ]
2𝜃 0
𝜃
𝐸(𝑋) =
2
𝜃
̅𝑋 =
2
𝜃 = 2𝑋̅
𝜃̃ = 2𝑋̅
𝑉𝑎𝑟(𝜃̃) = 𝑉𝑎𝑟(2𝑋̅)
𝑛
4
𝑉𝑎𝑟(𝜃̃) = 2 𝑉𝑎𝑟 ∑ 𝑋𝑖
𝑛
𝑖=1
4 𝑛𝜃 2
𝑉𝑎𝑟(𝜃̃) = 2 .
𝑛 12
𝜃2
𝑉𝑎𝑟(𝜃̃) =
3𝑛
𝜃2
lim 𝑉𝑎𝑟(𝜃̃) = lim =0
𝑛→∞ 𝑛→∞ 3𝑛
a) Estimator : ̂1
𝜃 ̂2
𝜃 ̂3
𝜃 ̂4
𝜃
1 5 4+𝜃2 2+𝜃2
Resiko : 2 8 9 9
1 5 5 1
b) Resiko Max : ̂4 adalah minimax)
(𝜃
2 8 9 3
1 5 5 1
c) Resiko Bayes : (ditribusi uniform)
2 8 9 3
1 5 5 1
d) Resiko Bayes : (distribusi beta)
2 8 9 3
Penyelesaian :
Diketahui :
Distribusi Geometri (distribusi pada soal) yang mempunyai pdf sebagai berikut :
𝑝(1 − 𝑝)𝑥 , 𝑥 = 0,1,2, …
𝑓(𝑥; 𝑝) = {
0, 𝑥 𝑦𝑎𝑛𝑔 𝑙𝑎𝑖𝑛
1
𝐸 (𝑥) =
𝑝
1−𝑝
𝑉𝑎𝑟 (𝑥) =
𝑝2
Ditanya : a, b, c, d, e, f, dan g...?
Jawab :
a. MLE dari p
Penyelesaian :
Diketahui pdf dari distribusi Geometri (pada soal) adalah sebagai berikut :
𝑓(𝑥) = 𝑝(1 − 𝑝)𝑥
Lalu kita cari fungsi Likelihoodnya dengan rumus sebagai berikut :
𝑛
𝐿(𝑝) = ∏ 𝑓(𝑥; 𝑝)
𝑖=1
𝑛
𝑙(𝑝) = 𝑛. ln 𝑝 + ∑ 𝑋𝑖 . ln(1 − 𝑝)
𝑖=1
𝑑𝑙 𝑛 ∑𝑛𝑖=1 𝑋𝑖
= + . (−1)
𝑑𝑝 𝑝 (1 − 𝑝)
𝑛 ∑𝑛𝑖=1 𝑋𝑖
0= −
𝑝 (1 − 𝑝)
∑𝑛𝑖=1 𝑋𝑖 𝑛
( )=
(1 − 𝑝) 𝑝
∑𝑛𝑖=1 𝑋𝑖 1 − 𝑝
=
𝑛 𝑝
1−𝑝
𝑥̅ =
𝑝
𝑝𝑥̅ = 1 − 𝑝
𝑝𝑥̅ + 𝑝 = 1
𝑝(𝑥̅ + 1) = 1
1
𝑝=
𝑥̅ + 1
1
𝑝̂ =
𝑥̅ + 1
1
Jadi, MLE dari distribusi Geometri (pada soal) adalah 𝑝̂ = 𝑥̅ +1
(𝟏−𝒑)
b. MLE dari 𝜽 = 𝒑
Penyelesaan :
1 𝑥̅ + 1 − 1
1 − 𝑥̅ + 1 𝑥̅
𝜃= = 𝑥̅ + 1 = (𝑥̅ + 1) = 𝑥̅
1 1 𝑥̅ + 1
𝑥̅ + 1 𝑥̅ + 1
𝜃̂ = 𝑥̅
𝑥̅ = 𝜃̂
(1−𝑝)
Jadi, MLE dari 𝜃 = 𝑝 adalah 𝑥̅ = 𝜃̂
1
𝜏 ′(𝜃) = − 2
= −(𝜃 + 1)2
𝑝
𝑓(𝑥; 𝜃) = 𝑝(1 − 𝑝)𝑥
1 1 𝑥
𝑓(𝑥; 𝜃) = (1 − )
𝜃+1 𝜃+1
1 𝜃+1−1 𝑥
𝑓(𝑥; 𝜃) = ( )
𝜃+1 𝜃+1
1 𝜃 𝑥
𝑓(𝑥; 𝜃) = ( )
𝜃+1 𝜃+1
ln 𝑓(𝑥; 𝜃) = − ln(𝜃 + 1) + 𝑥 (ln 𝜃 − ln 𝜃 + 1)
ln 𝑓(𝑥; 𝜃) = − ln(𝜃 + 1) + 𝑥 ln 𝜃 − 𝑥 ln(𝜃 + 1)
𝜕 1 𝑥 𝑥
ln 𝑓(𝑥; 𝜃) = − + −
𝜕𝜃 𝜃+1 𝜃 𝜃+1
𝜕 −𝜃 + 𝜃𝑥 + 𝑥 − 𝑥𝜃
ln 𝑓(𝑥; 𝜃) =
𝜕𝜃 𝜃(𝜃 + 1)
𝜕 𝑥−𝜃
ln 𝑓(𝑥; 𝜃) =
𝜕𝜃 𝜃(𝜃 + 1)
2
𝜕 (𝑥 − 𝜃)2
[ ln 𝑓(𝑥; 𝜃)] = 2
𝜕𝜃 𝜃 (𝜃 + 1)2
2
𝜕 𝑥 2 − 2𝑥𝜃 + 𝜃 2
[ ln 𝑓(𝑥; 𝜃)] =
𝜕𝜃 𝜃 2 (𝜃 + 1)2
2
𝜕 1
𝐸[ ln 𝑓(𝑥; 𝜃)] = 2 (𝐸(𝑥)2 − 2𝜃𝐸(𝑥) + 𝜃 2 )
𝜕𝜃 𝜃 (𝜃 + 1)2
Kita cari nilai dari 𝐸(𝑥)2 terlebih dahulu, sebagai berikut :
𝐸(𝑥)2 = 𝑉𝑎𝑟(𝑥) + (𝐸(𝑥))2
1−𝑝 1
𝐸(𝑥)2 = 2
+ 2
𝑝 𝑝
2−𝑝
𝐸(𝑥)2 =
𝑝2
1
2−𝜃+1
𝐸(𝑥)2 =
1
(𝜃 + 1)2
2𝜃 + 2 − 1
𝐸(𝑥)2 = 𝜃+1
1
(𝜃 + 1)2
2𝜃 + 1
𝐸(𝑥)2 =
𝜃+1
2𝜃+1
Lalu setelah kita ketahui nilai dari 𝐸(𝑥)2 = maka bisa kita substitusikan
𝜃+1
2
𝜕 1 2𝜃 + 1
𝐸[ ln 𝑓(𝑥; 𝜃)] = 2 2
( − 2𝜃(𝜃 + 1) + 𝜃 2 )
𝜕𝜃 𝜃 (𝜃 + 1) 𝜃 + 1
2
𝜕 1 2𝜃 + 1 − 2𝜃(𝜃 + 1)2 + 𝜃 2 (𝜃 + 1)
𝐸 [ ln 𝑓(𝑥; 𝜃)] = 2 ( )
𝜕𝜃 𝜃 (𝜃 + 1)2 𝜃+1
2
𝜕 2𝜃 + 1 + 2𝜃 3 − 4𝜃 2 − 2𝜃 + 𝜃 3 + 𝜃 2
𝐸[ ln 𝑓(𝑥; 𝜃)] =
𝜕𝜃 𝜃 2 (𝜃 + 1)2
2
𝜕 −𝜃 3 − 3𝜃 2 + 1
𝐸 [ ln 𝑓(𝑥; 𝜃)] =
𝜕𝜃 𝜃 2 (𝜃 + 1)2
[𝜏′(𝜃)]
𝐶𝑅𝐿𝐵 = 2
𝜕
𝑛. 𝐸 [ ln 𝑓(𝑥; 𝜃)]
𝜕𝜃
−(𝜃 + 1)2
𝐶𝑅𝐿𝐵 =
−𝜃 3 − 3𝜃 2 + 1
𝑛. ( 2 )
𝜃 (𝜃 + 1)2
−𝜃 2 (𝜃 + 1)4
𝐶𝑅𝐿𝐵 =
𝑛. (−𝜃 3 − 3𝜃 2 + 1)
−𝜃2 (𝜃+1)4
Jadi, nilai CRLB untuk varians estimator unbias 𝜃 adalah 𝐶𝑅𝐿𝐵 = 𝑛.(−𝜃3 −3𝜃2 +1)
d. Apakah MLE dari 𝜽 merupakan sebuah UMVUE?
Penyelesaian :
MLE dari 𝜃 tidak UMVUE, hal ini dikarenakan nilai ekspetasi tidak sama dengan nilai
estimator.
2
2𝜃 + 1 + (𝜃 + 1)3 (𝑛 − 2)
lim 𝐸[𝑇𝑛 − 𝜏(𝜃)] = lim
𝑛→∞ 𝑛→∞ 𝑛(𝜃 + 1)
( Petunjuk : 𝑌 = ∑ 𝑋𝑖 ~ 𝑃𝑂𝐼 (𝑛𝜇) dan 𝐸(𝜃̃) dan 𝑉𝑎𝑟 (𝜃̃) adalah berelasi ke MGF dari 𝑌
Penyelesaian :
Diketahui : 𝑋𝑖 ~ 𝑃𝑂𝐼 (𝜇)
𝑒 −𝜇 𝜇 𝑥
𝑢𝑛𝑡𝑢𝑘 𝑥 ≥ 0
Pdf = { 𝑥!
0 𝑢𝑛𝑡𝑢𝑘 𝑥 𝑦𝑎𝑛𝑔 𝑙𝑎𝑖𝑛
Jawab :
a. CRLB untuk variansi dari estimator unbias 𝜇.
[𝜏 ′ (𝜇)]2
𝑉𝑎𝑟 (𝜇̂ ) ≥ 2
𝜕
𝑛𝐸 [ ln 𝑓(𝑥, 𝜇)]
𝜕𝜇
𝜏(𝜇) = 𝐸(𝜇̂ ) = 𝜇 maka 𝜏 ′ (𝜇) = 1
𝑒 −𝜇 𝜇 𝑥
𝑓(𝑥, 𝜇) =
𝑥!
𝑒 −𝜇 𝜇 𝑥
ln 𝑓(𝑥, 𝜇) = 𝑙𝑛 [ ]
𝑥!
= ln 𝑒 −𝜇 + 𝑙𝑛 𝜇 𝑥 − ln 𝑥!
= −𝜇 + 𝑥 ln 𝜇 − ln 𝑥!
𝜕 𝜕
ln 𝑓(𝑥, 𝜇) = [−𝜇 + 𝑥 ln 𝜇 − ln 𝑥!]
𝜕𝜇 𝜕𝜇
𝑥
= −1 +
𝜇
𝜕2 𝑥
ln 𝑓(𝑥, 𝜇) = − 2
𝜕𝜇 2 𝜇
Karena
[𝜏 ′ (𝜇)]2 [𝜏 ′ (𝜇)]2
2 =
𝜕 𝜕2
𝑛𝐸 [ ln 𝑓(𝑥, 𝜇)] −𝑛𝐸 [ ln 𝑓(𝑥, 𝜇)]
𝜕𝜇 𝜕𝜇 2
Maka,
𝜕2 𝑥
𝐸 [ 2 ln 𝑓(𝑥, 𝜇)] = 𝐸 (− 2 )
𝜕𝜇 𝜇
1
= − 2 𝐸(𝑥)
𝜇
1
= − 2 𝜇
𝜇
1
=−
𝜇
Jadi , didapat
[1]2
𝑉𝑎𝑟 (𝜇̂ ) ≥
1
−𝑛 [− 𝜇 ]
𝜇
𝑉𝑎𝑟 (𝜇̂ ) ≥
𝑛
b. Tentukan CRLB untuk variansi dari estimator unbias 𝜃 = 𝑒 −𝜇 .
Karena = 𝑒 −𝜇 , maka :
𝜏(𝜇) = 𝑒 −𝜇 → 𝜏′(𝜇) = − 𝑒 −𝜇
Sehingga,
[𝜏 ′ (𝜇)]2
𝑉𝑎𝑟 (𝜇̂ ) ≥ 2
𝜕
𝑛𝐸 [ ln 𝑓(𝑥, 𝜇)]
𝜕𝜇
[− 𝑒 −𝜇 ]2
𝑉𝑎𝑟 (𝜃̂) ≥
1
−𝑛 [− 𝜇 ]
𝑒 −2𝜇
̂
𝑉𝑎𝑟 (𝜃) ≥
𝑛/𝜇
𝜇 𝑒 −2𝜇
̂
𝑉𝑎𝑟 (𝜃) ≥
𝑛
c. Tentukan UMVUE dari 𝜇
𝐿(𝜇) = 𝑓(𝑥, 𝜇)
𝑛
ln 𝐿(𝜇) = ln [∏ 𝐿(𝜇)]
𝑖=1
𝑛
𝑒 −𝜇 𝜇 𝑥
= ∑ ln [ ]
𝑥!
𝑖=1
𝑛 𝑛 𝑛
= ∑ ln 𝑒 −𝜇 + ∑ ln 𝜇 𝑋𝑖 − ∑ 𝑋𝑖 !
𝑖=1 𝑖=1 𝑖=1
𝑛 𝑛
= −𝑛𝜋 + ∑ 𝑋𝑖 ln 𝜇 − ∑ 𝑋𝑖 !
𝑖=1 𝑖=1
𝑛 𝑛
𝑑 ln 𝐿(𝜇) 𝑑
= [−𝑛𝜋 + ∑ 𝑋𝑖 ln 𝜇 − ∑ 𝑋𝑖 !]
𝑑𝜇 𝑑𝜇
𝑖=1 𝑖=1
𝑛
1
= −𝑛 + ∑ 𝑋𝑖
𝜇
𝑖=1
𝑑 ln 𝐿(𝜇)
=0
𝑑𝜇
𝑛
1
∑ 𝑋𝑖 =𝑛
𝜇
𝑖=1
𝑛
∑ 𝑋𝑖 = 𝑛𝜇
𝑖=1
∑𝑛𝑖=1 𝑋𝑖
𝜇=
𝑛
𝜇̂ = 𝑋̅
d. Tentukan MLE 𝜃̂ dari 𝜃.
Telah diketahui pada jawaban (b) 𝜇̂ = 𝑋̅ , sehingga
𝜃̂ = 𝑒̂−𝜇
̂
= 𝑒 −𝜇
̂
= 𝑒 −𝑋
e. Apakah 𝜃̂ estimator unbias dari ?
Akan ditunjukkan bahwa 𝐸(𝑇) = 𝜏(𝜃)
̂̅̅̅̅
𝐸 ( 𝑒 −𝑋 ) = 𝑒 −𝜇
∞
̅̅̅̅
̂
−𝑋
𝑒 −𝑥 𝑒 −𝜇 𝜇 𝑥
𝐸 (𝑒 )= ∑
𝑥!
𝑥=0
∞
−𝜇
(𝑒 −1 𝜇)𝑥
=𝑒 ∑
𝑥!
𝑥=0
𝑒 −1𝜇
=𝑒
−1
Selanjutnya dikalikan dengan 𝑒 −𝜇 , diperoleh 𝑒 −𝜇(1−𝑒 )
−1
Karena 𝑒 −𝜇(1−𝑒 ) tidak sama dengan 𝑒 −𝜇 sehingga 𝜃̂ bukan estimator unbias dari 𝜃.
f. Apakah 𝜃̂ unbias asimtotik ?
Akan ditunjukkan bahwa lim 𝐸(𝑇𝑛 ) = 𝜏(𝜃)
𝑛→∞
̅̅̅̅ 𝑛
lim 𝐸( 𝑒 −𝑋 ) = 𝑒 −𝜇
𝑛→∞
𝑛−1 𝑋𝑖
g. Tunjukkan bahwa 𝜃̃ = [ ] adalah estimator unbias dari 𝜃.
𝑛
𝑛−1 𝑋𝑖
Akan ditunjukkan bahwa 𝐸 ([ ] ) = 𝑒 −𝜇
𝑛
∞
𝑛 − 1 𝑋𝑖 𝑛 − 1 𝑋𝑖 𝑒 −𝜇 𝜇 𝑥
𝐸 ([ ] ) = ∑[ ]
𝑛 𝑛 𝑥!
𝑥=0
= 𝑒 −𝜇
𝑛−1 𝑋𝑖 𝑛−1 𝑋𝑖
Karena 𝐸 ([ ] ) = 𝑒 −𝜇 sehingga dapat dikatakan 𝜃̃ = [ ] adalah estimator unbias
𝑛 𝑛
dari 𝜃.
𝑛−1 𝑋𝑖
Karena 𝜃̃ = [ 𝑛 ] , maka :
𝜏(𝜇) = 𝑒 −𝜇 → 𝜏′(𝜇) = − 𝑒 −𝜇
Sehingga,
Penyelesaian:
Diketahui : Terdapat sampel acak dari distribusi Binomial 𝑋𝑖 ~𝐵𝐼𝑁(1, 𝑝)
dimana p tidak diketahui.
Ditanya : Nilai asimtotik = ......
Jawab :
Bentuk umum dari 𝑋𝑖 ~𝐵𝐼𝑁(1, 𝑝) adalah
𝑓(𝑥𝑖 , 𝑝) = 𝑝 𝑥𝑖 (1 − 𝑝)1−𝑥𝑖 , 𝑖 = 1, 2, … , 𝑛
Maka fungsi LikeLihoodnya:
𝑛
𝐿(𝑝) = ∏ 𝑓(𝑥𝑖 , 𝑝)
𝑖=1
𝑛
= ∏ 𝑝 𝑥𝑖 (1 − 𝑝)1−𝑥𝑖
𝑖=1
𝑛 𝑛
= 𝑝∑𝑖=1 𝑥𝑖 (1 − 𝑝)𝑛 − ∑𝑖−1 𝑥𝑖
Akan dicari MLE:
𝑛 𝑛
ln 𝐿(𝑝) = ∑ 𝑥𝑖 ln 𝑝 + (𝑛 − ∑ 𝑥𝑖 ) ln(1 − 𝑝)
𝑖=1 𝑖=1
Persamaan LikeLihood:
∑𝑛𝑖=1 𝑥𝑖 (𝑛 − ∑𝑛𝑖=1 𝑥𝑖 )
− =0
𝑝̂ (1 − 𝑝̂ )
𝑛 𝑛
𝑝̂ (𝑛 − ∑ 𝑥𝑖 ) = (1 − 𝑝̂ ) (∑ 𝑥𝑖 )
𝑖=1 𝑖=1
𝑛 𝑛 𝑛
̂𝑝𝑛 − 𝑝̂ ∑ 𝑥𝑖 = ∑ 𝑥𝑖 − 𝑝̂ ∑ 𝑥𝑖
𝑖=1 𝑖=1 𝑖=1
𝑛
𝑝̂ 𝑛 = ∑ 𝑥𝑖
𝑖=1
∑𝑛𝑖=1 𝑥𝑖
𝑝̂ =
𝑛
Didapat MLE
∑𝑛𝑖=1 𝑥𝑖
𝑝̂ =
𝑛
Untuk mencari CRLB
ln 𝐿(𝑥, 𝑝) = 𝑥 ln 𝑝 + (1 − 𝑥) ln(1 − 𝑝)
𝜕𝐿(𝑥, 𝑝) 𝜕(𝑥𝑝 + (1 − 𝑥) ln(1 − p))
=
𝜕𝑝 𝜕𝑝
𝑥 1−𝑥
= −( )
𝑝 1−𝑝
Sehingga
𝜕 2 𝐿(𝑥, 𝑝)
𝐶𝑅𝐿𝐵 = 1/𝑛𝐸 ( )
𝜕 2𝑝
𝑥 1−𝑥
𝐶𝑅𝐿𝐵 = 1/𝑛𝐸 [ 2
+( )]
𝑝 (1 − 𝑝)2
𝐸(𝑥) 𝐸(1 − 𝑥)
= 1/𝑛 ( + )
𝑝2 (1 − 𝑝)2
𝑝 (1 − 𝑝)
= 1/𝑛 ( 2
+ )
𝑝 (1 − 𝑝)2
1 (1 − 𝑝)
= 1/𝑛 ( + )
𝑝 (1 − 𝑝)2
(1 − 𝑝)2 + 𝑝 − 𝑝2
= 1/𝑛 ( )
𝑝(1 − 𝑝)2
1−𝑝
= 1/𝑛 ( )
𝑝(1 − 𝑝)2
1
= 1/𝑛 ( )
𝑝(1 − 𝑝)
𝑝(1 − 𝑝)
=
𝑛
𝑝(1 − 𝑝)
𝑝̂ ~ 𝑁 (𝑝, )
𝑛
𝑝(1−𝑝)
Jadi, nilai asimtotik dari estimator persamaan diatas adalah 𝑁 (𝑝, )
𝑛
No. 36
Diketahui :
𝑿𝒊 = 𝑵(𝟎, 𝜽)
Ditanya :
Distribusi asimpotik dari MLE
Penyelesaian :
𝟏 𝟏 𝒙−𝝁 𝟐
− ( )
𝒇(𝒙) = 𝒆 𝟐 𝜽
√𝟐𝝅𝝈
𝟏 𝒙𝟐
−
𝒇(𝒙) = 𝒆 𝟐𝜽
√𝟐𝝅𝜽
MLE :
𝒏
𝑳(𝜽) = ∏ 𝒇(𝒙)
𝒊=𝟎
𝒏
𝟏 𝒙𝟐
− 𝒊
𝑳(𝜽) = ∏ 𝒆 𝟐𝜽
√𝟐𝝅𝜽
𝒊=𝟎
𝟏 𝟏
− ∑𝒏 𝟐
𝒊=𝟏 𝒙𝒊
𝑳(𝜽) = 𝒏 𝒆 𝟐𝜽
(𝟐𝝅𝜽)𝟐
𝒏
𝟏 𝟏
𝐥𝐧(𝑳(𝜽)) = 𝐥𝐧 ( 𝒏) − ∑ 𝒙𝟐𝒊
(𝟐𝝅𝜽)𝟐 𝟐𝜽
𝒊=𝟏
𝒏
𝒅(𝐥𝐧(𝑳(𝜽))) 𝟏
= −𝒏𝝅𝜽 + 𝟐 ∑ 𝒙𝟐𝒊 = 𝟎
𝒅𝜽 𝟐𝜽
𝒊=𝟏
∑𝒏𝒊=𝟏 𝒙𝟐𝒊
𝟑
𝜽= √ − 𝒏𝝅
𝟐
𝑘 ∗ (𝜃)
𝑎𝑟𝑒(𝑇𝑛 , 𝑇𝑛 ∗ ) = , (pers. 9.4.6)
𝑘(𝜃)
2
𝑉𝑎𝑟(𝜂̃𝑛 ) 𝑉𝑎𝑟(𝑋𝑘:𝑛 ) 3𝑛 1
𝑎𝑟𝑒(𝜂̂ 𝑛 , 𝜂̃𝑛 ) = = = =
𝑉𝑎𝑟(𝜂̂ 𝑛 ) 𝑉𝑎𝑟(𝑋̅) 2 3
𝑛
1
Sehingga di dapatkan asymptotic relative efficiency adalah 3 .
1
𝑉𝑎𝑟(𝜇̃𝑛 ) 𝑉𝑎𝑟(𝑋𝑘:𝑛 ) 3𝑛 1
𝑎𝑟𝑒(𝜇̂ 𝑛 , 𝜇̃𝑛 ) = = = =
𝑉𝑎𝑟(𝜇̂ 𝑛 ) 𝑉𝑎𝑟(𝑋̅) 1 3
𝑛
1
Sehingga di dapatkan asymptotic relative efficiency adalah 3 .
38. Suatu estimator 𝜃̂ dikatakan median unbiased jika 𝑃[𝜃̂ < θ] = 𝑃[𝜃̂ > θ]. Berdasarkan
sampel acak berukuran 𝑛 dari distribusi eksponensial, 𝑋𝑖 ~𝐸𝑋𝑃(𝜃).
a. Tentukan estimator median unbiased dari 𝜃 yang memiliki bentuk 𝜃̂ = c𝑋̅.
b. Tentukan efisiensi relatif dari 𝜃̂ dibandingkan dengan 𝑋̅.
c. Bandingkan MSEs dari 𝜃̂ dan 𝑋̅ ketika 𝑛 = 5.
Penyelesaian:
Diketahui
𝑋𝑖 ~𝐸𝑋𝑃(𝜃)
Sehingga
1 −𝑥
𝑓(𝑥, 𝜃) =
𝑒 𝜃 untuk 𝑥 > 0
𝜃
Pertama akan dicari estimator 𝜃̂, dengan menggunakan metode MLEs
𝑛
𝐿(𝜃) = ∏ 𝑓(𝑥, 𝜃)
𝑖=1
𝑛
1 𝑥
= ∏ 𝑒 −𝜃
𝜃
𝑖=1
1 −𝑥 1 −𝑥 1 −𝑥
= 𝑒 𝜃 . 𝑒 𝜃 . 𝑒 𝜃 .…
𝜃 𝜃 𝜃
𝑛
1 −∑𝑖=1 𝑥𝑖
= 𝑛𝑒 𝜃
𝜃
∑𝑛 𝑥
−𝑛 − 𝑖=1 𝑖
ln 𝐿(𝜃) = ln 𝜃 + ln 𝑒 𝜃
∑𝑛𝑖=1 𝑥𝑖
= −𝑛 ln 𝜃 −
𝜃
𝜕(ln 𝐿(𝜃)) 𝑛 ∑𝑛𝑖=1 𝑥𝑖
=− +
𝜕𝜃 𝜃 𝜃2
𝑛 ∑𝑛𝑖=1 𝑥𝑖
0 =− +
𝜃 𝜃2
𝑛
𝑛 ∑𝑖=1 𝑥𝑖
=
𝜃 𝜃2
2 𝑛
𝜃 ∑𝑖=1 𝑥𝑖
=
𝜃 𝑛
𝜃̂ = 𝑋̅
Jadi estimator 𝜃̂ = 𝑋̅
Ditanya
a. Tentukan estimator median unbiased dari 𝜃 yang memiliki bentuk 𝜃̂ = c𝑋̅.
b. Tentukan efisiensi relatif dari 𝜃̂ dibandingkan dengan 𝑋̅.
c. Bandingkan MSEs dari 𝜃̂ dan 𝑋̅ ketika 𝑛 = 5.
Jawab
a. estimator 𝜃̂ dikatakan median unbiased jika 𝑃[𝜃̂ < θ] = 𝑃[𝜃̂ > θ] dimana 𝜃̂ = c𝑋̅
maka akan dicari nilai 𝑐 sehingga 𝑃[𝜃̂ < θ] = 𝑃[𝜃̂ > θ]. Berdasarkan rumus CDF
𝑥
𝑃[𝑋 ≤ 𝑥] = ∫ 𝑓(𝑡) 𝑑𝑡
−∞
maka
𝜃
1 −𝑥̂
𝑃[𝜃̂ < θ] = ∫ 𝑒 𝜃 𝑑𝑥
0 𝜃̂
𝜃
1 −𝑥
=∫ 𝑒 c𝑋̅ 𝑑𝑥
0 c𝑋̅
1 𝜃 −𝑥
= ∫ 𝑒 c𝑋̅ 𝑑𝑥
c𝑋̅ 0
𝑥 1
Misalkan 𝑢 = c𝑋̅ maka 𝑑𝑢 = c𝑋̅ 𝑑𝑥 sehingga 𝑑𝑥 = 𝑐𝑋̅ 𝑑𝑢, jadi
1 𝜃 −𝑢
𝑃[𝜃̂ < θ] = ∫ 𝑒 𝑐𝑋̅ 𝑑𝑢
c𝑋̅ 0
𝑐𝑋̅ 𝜃 −𝑢
= ∫ 𝑒 𝑑𝑢
c𝑋̅ 0
𝑥
− ̅ 𝜃
= −𝑒 c𝑋 ]
0
𝜃
−
=1− 𝑒 c𝑋̅
Sehingga 𝑃[𝜃̂ > θ] = 1 − 𝑃[𝜃̂ < θ]
𝜃
−
𝑃[𝜃̂ > θ] = 1 − (1 − 𝑒 c𝑋̅ )
𝜃
−
= 𝑒 c𝑋̅
Syarat suatu estimator adalah median unbias ketika 𝑃[𝜃̂ < θ] = 𝑃[𝜃̂ > θ]
𝜃 𝜃
− ̅ − ̅
1−𝑒 c𝑋 =𝑒 c𝑋
𝜃
− ̅
−2𝑒 c𝑋 = −1
−
𝜃 1
𝑒 c𝑋̅ =
2
𝜃
−
ln 𝑒 c𝑋̅ = ln 2−1
𝜃
− = − ln 2
𝑐𝑋̅
𝜃
𝑐𝑋̅ =
ln 2
𝜃
𝑐 =
𝑋̅ ln 2
𝜃
Sehingga estimator median unbiased dari 𝜃 adalah 𝜃̂ = ln 2
b. Tentukan efisiensi relatif dari 𝜃̂ dibandingkan dengan 𝑋̅
Suatu estimator unbias 𝜃̂1 dikatakan lebih efisien dari estimator unbias 𝜃̂2 apabila
̂
𝑉𝑎𝑟(𝜃 )
𝑉𝑎𝑟(𝜃̂1 ) < 𝑉𝑎𝑟(𝜃̂2 ) dan efisiensi relatif nya adalah 𝑟𝑒(𝜃̂2 , 𝜃̂1 ) = 𝑉𝑎𝑟(𝜃̂1 )
2
Maka langkah pertama harus ditunjukkan bahwa estimator 𝜃̂ dan 𝑋̅ adalah unbias
𝐸(𝜃̂ ) = 𝐸(𝑐𝑋̅)
= 𝑐𝐸(𝑋̅)
𝑛
1
= 𝑐𝐸 ( ∑ 𝑥𝑖 )
𝑛
𝑖=1
𝑛
𝑐
= 𝐸 (∑ 𝑥𝑖 )
𝑛
𝑖=1
𝑛
𝑐
= ∑ 𝐸(𝑥𝑖 )
𝑛
𝑖=1
𝑐
= 𝑛𝜃
𝑛
= 𝑐𝜃 untuk 𝑐 = 1 maka estimator 𝜃̂ adalah estimator unbias
𝑛
1
𝐸(𝑋̅) = 𝐸 ( ∑ 𝑥𝑖 )
𝑛
𝑖=1
𝑛
1
= 𝐸 (∑ 𝑥𝑖 )
𝑛
𝑖=1
𝑛
1
= ∑ 𝐸(𝑥𝑖 )
𝑛
𝑖=1
1
= 𝑛𝜃
𝑛
=𝜃 jadi 𝑋̅ adalah estimator unbias
Berikutnya mencari 𝑉𝑎𝑟(𝜃̂) dan 𝑉𝑎𝑟(𝑋̅)
𝑉𝑎𝑟(𝜃̂) = 𝑉𝑎𝑟(𝑐𝑋̅)
𝑛
𝑐
= 𝑉𝑎𝑟 ( ∑ 𝑥𝑖 )
𝑛
𝑖=1
𝑛
2
𝑐
= 𝑉𝑎𝑟 (∑ 𝑥𝑖 )
𝑛2
𝑖=1
𝑛
2
𝑐
= ∑ 𝑉𝑎𝑟(𝑥𝑖 )
𝑛2
𝑖=1
𝑐2 2
= 𝜃
𝑛
𝑛
1
𝑉𝑎𝑟(𝑋̅) = 𝑉𝑎𝑟 ( ∑ 𝑥𝑖 )
𝑛
𝑖=1
𝑛
1
= 𝑉𝑎𝑟 (∑ 𝑥𝑖 )
𝑛2
𝑖=1
𝑛
1
= ∑ 𝑉𝑎𝑟(𝑥𝑖 )
𝑛2
𝑖=1
1
= 𝜃2
𝑛
Karena 𝑉𝑎𝑟(𝑋 < 𝑉𝑎𝑟(𝜃̂) maka 𝑋̅ lebih efisien dari 𝜃̂ = 𝑐𝑋̅ sehingga
̅ )
1 2
𝑉𝑎𝑟(𝑋̅) 𝑛 𝜃 1
𝑟𝑒(𝜃̂, 𝑋̅) = = 2 = 2
𝑉𝑎𝑟(𝜃̂) 𝑐 𝜃 2 𝑐
𝑛
c. Bandingkan MSEs dari 𝜃̂ dan 𝑋̅ ketika 𝑛 = 5
𝜃̂ = 𝑐𝑋̅ dan 𝑋̅ adalah estimator dari 𝜃. Sehingga dapat digunakan rumus
2 2
MSEs = 𝐸[𝜃̂ − 𝜃] = 𝐸(𝜃̂ 2 ) − (𝐸(𝜃))
2
= 𝐸(𝑐 2 𝑋̅ 2 ) − (𝐸(𝜃))
= 𝑐 2 𝐸(𝑋̅ 2 ) − 𝜃 2
𝑛 2
1
= 𝑐 2 𝐸 (( ∑ 𝑥𝑖 ) ) − 𝜃 2
𝑛
𝑖=1
𝑛
𝑐2
= ∑ 𝐸(𝑥𝑖2 ) − 𝜃 2
𝑛2
𝑖=1
𝑐2 2
= 𝜃 − 𝜃2
𝑛
𝑐2
= ( − 1) 𝜃 2
𝑛
2
MSEs = 𝐸[𝑋̅ − 𝜃]2 = 𝐸(𝑋̅ 2 ) − (𝐸(𝜃))
2
= 𝐸(𝑋̅ 2 ) − (𝐸(𝜃))
= 𝐸(𝑋̅ 2 ) − 𝜃 2
𝑛 2
1
= 𝐸 (( ∑ 𝑥𝑖 ) ) − 𝜃 2
𝑛
𝑖=1
𝑛
1
= 2
∑ 𝐸(𝑥𝑖2 ) − 𝜃 2
𝑛
𝑖=1
1
= 𝜃2 − 𝜃2
𝑛
1
= ( − 1) 𝜃 2
𝑛
𝑐2 1
̂ ̅
Jadi MSEs 𝜃 : MSEs 𝑋 adalah ( 𝑛 − 1) 𝜃 2 : (𝑛 − 1) 𝜃 2
𝑐2 1
( − 1) : ( − 1)
𝑛 𝑛
39. Diberikan 𝜃̂𝑖 , 𝑖 = 1, … , 𝑛 adalah estimator unbiased saling bebas dari 𝜃 dengan 𝑉𝑎𝑟(𝜃̂𝑖 ) =
𝜎𝑖2 . Mengingat mengombinasikan estimator 𝜃̂𝑐 = ∑𝑛𝑖=1 𝑎𝑖 𝜃̂𝑖 dimana ∑𝑛𝑖=1 𝑎𝑖 = 1.
Penyelesaian :
𝐸(𝑋) = ∫ 𝑥𝑓(𝑥) 𝑑𝑥
−∞
∞
(𝑥 − 𝑦) = ∫ ⌈𝑡 ≤ 𝑥⌉ 𝑑𝑡
𝑦
𝑐 ∞
|𝑥 − 𝑐| = ∫|𝑥 ≤ 𝑡| 𝑑𝑡 + ∫ |𝑥 ≥ 𝑡| 𝑑𝑡
−∞ 𝑐
𝑐 ∞
Oleh karena itu, 𝑢: 𝑐 → 𝐸[|𝑋 − 𝑐|] dapat diturunkan hampir di semua titik ,
Sehingga, 𝑢′ (𝑐) ≤ 0 jika 𝑐 mempunyai nilai yang lebih kecil dari setiap median
𝑢′ (𝑐) ≥ 0 jika 𝑐 mempunyai nilai yang lebih besar dari setiap median
Penyelesaian:
Teorema 9.5.2
Estimator Bayes 𝑇 dari 𝜏(𝜃) dibawah fungsi kerugian kuadrat,
2
𝐿(𝑇, 𝜃) = (𝑇 − 𝜏(𝜃))
Merupakan mean kondisional dari 𝜏(𝜃) relative terhadap distribusi posterior,
𝑇 = 𝐸𝜃|𝑥 [𝜏(𝜃)] = ∫ 𝜏(𝜃)𝑓𝜃|𝑥 (𝜃)𝑑𝜃
Bukti:
Jika
2
𝐿(𝑇, 𝜃) = (𝑇 − 𝜏(𝜃))
Maka,
𝑑
𝑅𝜃|𝑥 = 0
𝑑𝑇
𝑑 2
𝑑𝑇
(∫(𝑇 − 𝜏(𝜃)) 𝑓𝜃|𝑥 (𝜃)𝑑𝜃) = 0
2 ∫(𝑇 − 𝜏(𝜃))𝑓𝜃|𝑥 (𝜃)𝑑𝜃 = 0
∫(𝑇 − 𝜏(𝜃))𝑓𝜃|𝑥 (𝜃)𝑑𝜃 = 0
∫ (𝑇𝑓𝜃|𝑥 (𝜃) − 𝜏(𝜃)𝑓𝜃|𝑥 (𝜃)) 𝑑𝜃 = 0
∫ 𝑇𝑓𝜃|𝑥 (𝜃)𝑑𝜃 − ∫ 𝜏(𝜃)𝑓𝜃|𝑥 (𝜃)𝑑𝜃 = 0
∫ 𝑇𝑓𝜃|𝑥 (𝜃)𝑑𝜃 = ∫ 𝜏(𝜃)𝑓𝜃|𝑥 (𝜃) 𝑑𝜃
𝑇 = ∫ 𝜏(𝜃)𝑓𝜃|𝑥 (𝜃)𝑑𝜃
Ingat bahwa 𝐸(𝑥) = ∫ 𝑥 𝑓(𝑥) 𝑑𝑥, maka 𝐸𝜃|𝑥 [𝜏(𝜃)] = ∫ 𝜏(𝜃)𝑓𝜃|𝑥 (𝜃)𝑑𝜃
Sehingga
𝑇 = ∫ 𝜏(𝜃)𝑓𝜃|𝑥 (𝜃)𝑑𝜃
= 𝐸𝜃|𝑥 [𝜏(𝜃)]
(terbukti)