KELOMPOK 1

PENGANTAR TEORI STATISTIK A

Misalkan X1, X2, . . . , Xn variabel random saling bebas
dan berdistribusi identik dengan fungsi kepadatan
probabilitas f(x; θ). Sebarang statistik
U = U(X1, X2, . . . , Xn)
yang digunakan untuk menaksir kuantitas yang tidak
diketahui dinamakan estimator dari g(θ). Nilai dari
U(x1, x2, . . . , xn) untuk nilai-nilai pengamatan x1, x2, .
. . , xn dinamakan estimasi dari g(θ).
Misalkan g fungsi real dan terukur. Estimator U = U(X1,
X2, . . . , Xn) dinamakan estimator tak bias (unbiased
estimator ) dari g(θ) jika
E[U = U(X1, X2, . . . , Xn)] = g(θ)
untuk semua θ ∈ Ω. Fungsi g dikatakan tertaksir
(estimable) jika g(θ) mempunyai estimator tak bias.
Misalkan g tertaksir. Suatu estimator
U = U(X1, X2, . . . , Xn)
dikatakan estimator UMV U untuk g(θ) jika U tak bias
dan mempunyai variansi minimum diantara kelas semua
estimator tak bias dari g(θ) dengan θ ∈ Ω. Jika U =
U(X1, X2, . . . , Xn) adalah sebarang estimator tak bias
dari g(θ) maka
Varθ(U1) ≥ Varθ(U)
untuk semua θ ∈ Ω.
Misalkan g fungsi terukur dan real. Misalkan terdapat
estimator tak bias 𝑈 = 𝑈(𝑋1 , 𝑋2 , … , 𝑋𝑛 ) dari 𝑔(𝜃)
dengan variansi berhingga. Jika
𝑇 = (𝑇1 , 𝑇2 , … 𝑇𝑟 ) 𝑡
dengan 𝑇𝑗 = 𝑇𝑗 (𝑋1 , 𝑋2 , … , 𝑋𝑛 ) untuk 𝑗=
1,2, … , 𝑟 adalah statistik cukup untuk 𝜃, lengkap dan
ϕ(𝑇) = 𝐸[𝑈|𝑇] maka estimator UMVU untuk 𝑔(𝜃) dan
tunggal.
Misalkan 𝑋1 , 𝑋2 , … , 𝑋𝑛 variabel random saling bebas
dan berdistribusi Binom (1; 𝜃) dan akan ditentukan
estimator UMVU dari variansi X. Karena X berdistribusi
maka variansi dari X adalah 𝑉𝑎𝑟(𝑋) = 𝑔(𝜃) =
𝜃(1 − 𝜃 ). Jika
σ𝑛𝑖=1(𝑋𝑖 −𝑋)2
𝑈=
𝑛−1
maka 𝐸𝜃 [𝑈] = 𝑔(𝜃). Hal itu berarti U merupakan
estimator tak bias untuk
𝑔(𝜃). Lebih jauh,
 𝑛

෍ ത 2 = ෍ 𝑋𝑖2 − 𝑛𝑋ത
(𝑋𝑖 − 𝑋)
𝑖=1
𝑖−1
Karena 𝑋𝑖 = 0 atau 1 maka 𝑋𝑖2 =𝑋𝑖 sehingga
𝑛 𝑛 𝑛
1 𝑇 2
෍ 𝑋𝑖2 − 𝑛𝑋 = ෍ 𝑋𝑖 − 𝑛( ෍ 𝑋𝑖 )2 = 𝑇 −
𝑛 𝑛
𝑖=1 𝑖−1 𝑖=1
1 𝑇2
Sehingga 𝑈 = 𝑇 . Karena T merupakan statistik
−
𝑛−1 𝑛
lengkap dan juga merupakan statistik cukup untuk maka dengan
mengingat Teorema 2.1, U merupakan estimator UMVU untuk
𝑔(𝜃) = 𝜃(1 − 𝜃 )
Misalkan 𝑋1 , … , 𝑋𝑛 variabel random saling bebas dan
berdistribusi 𝑁 𝜇, 𝜎 2 dengan 𝜇 dan 𝜎 2 tidak diketahui.
Akan ditentukan estimator UMVU untuk 𝜇 dan 𝜎 2 .
Misalkan 𝜃 = 𝜇, 𝜎 2 2 , 𝑔1 𝜃 = 𝜇 dan 𝑔1 𝜃 = 𝜎 2 .
𝑛 𝑛 2 2
ത
Jika 𝑋 = σ𝑖=1 𝑋𝑖 dan σ𝑖=1 𝑋𝑖 merupakan statistik
yang lengkap. Jika 𝑈1 = 𝑋ത dan
𝑛
1
𝑆 = ෍ 𝑋𝑖 − 𝑋ത 2
2
𝑛
𝑖=1
maka (𝑋,ത 𝑆2 ) merupakan statistik yang lengkap. Jika
𝑈1 = 𝑋ത dan 𝑈2 = 𝑛𝑆 2
𝑛𝑆 2
maka 𝐸[𝑈1 ] = μ dan 𝐸 = 𝑛 − 1 sehingga
𝜎2
𝑛𝑆 2
𝐸[ ]𝜎 2 . Hal itu berarti 𝑈1 estimator tak bias untuk 𝜇
𝑛−1
dan 𝑈2 merupakan estimator tak bias untuk 𝜎 2 . Karena
𝑈1 dan 𝑈2 hanya tergantung pada statistik cukup yang
lengkap maka (𝑋, ത 𝑆2 )𝑡 merupakan estimator UMVU
untuk 𝜇, 𝜃 2
Misalkan Ω ⊆ R g fungsi real dan terdeferensialkan untuk
semua 𝜃 ∈ 𝜔
Adapun syarat menggunakan metode ini sebagai berikut:
1. 𝑓 𝑥; 𝜃 positif pada himpunan S yang tidak bergantung
pada 𝜃 ∈ Ω
2. Ω interval terbuka dalam R
3. 𝜕𝑓(𝑥; 𝜃)/𝜕𝜃 ada untuk semua 𝜃 ∈ Ω dan semua 𝑥 ∈ 𝑆
4. ‫𝑥(𝑓 𝑆׬ … 𝑆׬‬1 ; 𝜃) … 𝑓 𝑥𝑛 ; 𝜃 𝑑𝑥1 … 𝑑𝑥𝑛 atau
σ𝑆 … σ𝑆 𝑓 𝑥1 ; 𝜃 … 𝑓 𝑥𝑛 ; 𝜃
Dapat dideferensialkan di bawah tanda integral atau tanda
sigma
5. 𝐼 𝜃 = 𝐸 [𝜕𝑓(𝑥; 𝜃)/𝜕𝜃 ]2 positif untuk semua 𝜃 ∈ Ω
6. ‫𝑥(𝑢 𝑆׬ … 𝑆׬‬1 , … , 𝑥𝑛 ) 𝑓 𝑥1 ; 𝜃 … 𝑓 𝑥𝑛 ; 𝜃 𝑑𝑥1 … 𝑑𝑥𝑛 atau
෍ … ෍ 𝑢 ( 𝑥1 , … , 𝑥𝑛 ) 𝑓(𝑥1 ; 𝜃) … 𝑓(𝑥𝑛 ; 𝜃)
𝑆 𝑆
Dapat dideferensialkan di bawah tanda integral atau tanda
sigma dengan sebarang statistik tak bias untuk 𝜃

Ada sebuah teorema yang memberikan sifat tentang batas

bawah dari variansi suatu statistik.
Misalkan X1, . . . , Xn variabel random saling-bebas dan berdistribusi
identik dengan fungsi kepadatan serta dianggap syarat-syarat
tersebut dipenuhi. Untuk sebarang estimator tak bias U =U (X1, . . . ,
Xn) dari 𝑔(𝜃) berlaku :
𝑔′ 𝜃 2
𝑉𝑎𝑟 𝑈 ≥
𝑛𝐼(𝜃)
dengan 𝜃 ∈ Ω dan 𝑔′ 𝜃 = 𝑑𝑔 𝜃 /𝑑 𝜃 .
𝐼 𝜃 = 𝐸 [𝜕𝑓(𝑥; 𝜃)/𝜕𝜃 ]2 dinamakan informasi Fisher sedangkan
𝑛𝐼 𝜃 adalah informasi yang terkandung dalam sampel X1, . . . , Xn
Contoh soal :
Misalkan X1, . . . , Xn variabel random saling bebas dan berdistribusi
Binom 1, 𝜃 dengan
𝜃 ∈ (0,1). Fungsi probabilitas dari variabel random X yang berdistibusi
Binom 1, 𝜃 adalah....
Penyelesaian:
𝑓 𝑥; 𝜃 = 𝜃 𝑥 (1 − 𝜃)1−𝑥
Atau 𝑙𝑛 𝑓 𝑥; 𝜃 = 𝑥 ln 𝜃 + 1 − 𝑥 𝑙𝑛 𝜃 sehingga
𝜕𝑓 𝑥; 𝜃 1 1−𝑥
= −
𝜕𝜃 𝜃 1−𝜃
Akibatnya
2
𝜕𝑓 𝑥; 𝜃 1 2 1−𝑥 2
2
= 2𝑥 + (1 − 𝑥) − 𝑥(1 − 𝑥)
𝜕𝜃 𝜃 (1 − 𝜃)2 𝜃 1−𝜃
Karena 𝐸 𝑋 2 = 𝜃 dan 𝐸 1 − 𝑋 2 = 1 − 𝜃 serta 𝐸 𝑋(1 − 𝑋) = 0 maka
informasi Fisher 𝐸 = 𝐼(𝜃) adalah
2
𝜕𝑓 𝑥; 𝜃 1 2
1 2
2
𝐸 = 2 𝐸[𝑋 ] + 𝐸(1 − 𝑋) − 𝐸[𝑋 1 − 𝑋 ]
𝜕𝜃 𝜃 (1 − 𝜃)2 𝜃 1−𝜃
1 1
= 2𝜃+ 1−𝜃
𝜃 (1 − 𝜃)2
1 1
= +
𝜃 1−𝜃
1
=
𝜃(1 − 𝜃)
Hal itu berarti batas bawah Cramer-Rao untuk 𝑔(𝜃) adalah
𝑔′ 𝜃 2
𝐶𝑅𝐿𝐵 =
𝑛𝐼(𝜃)
1
=
1
𝑛
𝜃(1 − 𝜃)
𝜃(1 − 𝜃)
=
𝑛
Karena 𝑋ത merupakan estimator tak bias 𝜃 dan variansinya adalah
𝜃(1 − 𝜃)
ത
𝑉( 𝑋) =
𝑛
Yaitu sama dengan batas bawah Cramer Rao maka 𝑋ത merupakan
estimator UMVU untuk 𝜃 .
Contoh 2.5
Misalkan 𝑋1 , … . , 𝑋𝑛 variabel random saling bebas dan
berdistribusi 𝑁(𝜇, 𝜎 2 ) dengan 𝜇 𝜖 𝑅 dan 𝜎 2 > 0.
Kasus 1
Misalkan bahwa 𝜎 2 diketahui dan 𝜇 = 𝜃. Fungsi kepadatan
probabilitas 𝑋 yang berdistribusi 𝑁(𝜃, 𝜎 2 ) adalah
1 𝑥−𝜃 2
𝑓 𝑥, 𝜃 = exp[− 2
]
2𝜋𝜎 2 2𝜎
Atau
1 𝑥−𝜃 2
𝑙𝑛𝑓 𝑥, 𝜃 = ln −
2𝜋𝜎 2 2𝜎 2
Akibatnya
𝜕𝑙𝑛 𝑓(𝑥; 𝜃) 1 𝑥 − 𝜃
=
𝜕𝜃 𝜎 𝜎
Atau
𝜕𝑙𝑛 𝑓(𝑥; 𝜃) 2 1 𝑥 − 𝜃 2
( ) = 2
𝜕𝜃 𝜎 𝜎2
Misalkan bahwa 𝜇 diketahui dan 𝜎 2 = 𝜃. Fungsi kepadatan
probabilitas 𝑋 yang berdistribusi 𝑁(𝜇, 𝜃) adalah
1 𝑥−𝜇 2
𝑓 𝑥; 𝜃 = exp[− ]
2𝜋𝜃 2𝜃
1 1 𝑥−𝜇 2
Sehingga 𝑙𝑛𝑓 𝑥; 𝜃 = ln 2𝜋 − 𝑙𝑛𝜃 −
2 2 2𝜃
𝜕𝑙𝑛 𝑓(𝑥;𝜃) 1 𝑥−𝜇 2
Akibatnya = − +
𝜕𝜃 2𝜃 2𝜃2
𝜕𝑙𝑛 𝑓(𝑥;𝜃) 2 1 1 𝑥−𝜇 2 1 𝑥−𝜇 4
Dan ( ) = − 2 + + ( )
𝜕𝜃 4𝜃 2𝜃2 𝜃 4𝜃2 𝜃
Bila 𝜇 𝑑𝑎𝑛 𝜎 2 tidak diketahui maka 𝜇 = 𝜃1 dan 𝜎 2 = 𝜃2
sehingga estimator UMVU untuk 𝜃1 adalah dan estimator
UMVU untuk 𝜃2 adalah
𝑛
1 2
2 = ෍ (𝑋𝑖 −)
𝑛−1
𝑖=1
Misalkan 𝑋1 , 𝑋2 , … , 𝑋𝑛 variabel random saling bebas dan
berdistribusi identitas dengan fungsi kepadatan probabilitas
𝑓 𝑥; 𝜃 , 𝜃 ∈ Ω ⊆ ℝ𝑟 dan anggap bahwa fungsi kepadatan
probabilitas bersamanya dinyatakan dengan
𝑓 𝑥1 ; 𝜃 𝑓 𝑥2 ; 𝜃 , … , 𝑓 𝑥𝑛 ; 𝜃
Bila fungsi kepadatan probabilitas bersama ini, variabel x
dipandang sebagai konstanta dan merupakan fungsi dari 𝜃
maka dinamakan fungsi likelihood (likelihood function) dan
dinotasikan dengan
𝐿(𝜃|𝑥1 , 𝑥2, , … , 𝑥𝑛 )
Definisi 2.5
Estimasi 𝜃 = 𝜃(𝑥1 , 𝑥2, , … , 𝑥𝑛 ) dinamakan MLE (maximum
likelihood estimator) dari 𝜃 jika
𝐿 𝜃 𝑥1 , 𝑥2, , … , 𝑥𝑛 = max{𝐿 𝜃 𝑥1 , 𝑥2, , … , 𝑥𝑛 }
Dan 𝜃 = 𝜃(𝑥1 , 𝑥2, , … , 𝑥𝑛 ) dinamakan MLE untuk 𝜃.
Karena fungsi 𝑦 = ln 𝑥, 𝑥 > 0 merupakan fungsi naik tajam
maka untuk memaksimumkan 𝐿(𝜃|𝑥1 , 𝑥2, , … , 𝑥𝑛 ) terhadap 𝜃
cukup dengan memaksimumkan.
ln 𝐿(𝜃|𝑥1 , 𝑥2, , … , 𝑥𝑛 )
Contoh 2.6
Misalkan 𝑋1 , … , 𝑋𝑛 variabel random saling bebas dan berdistribusi Poisson (𝜃).
Fungsi probabilitas dari 𝑋𝑖 adalah
𝑒 −𝜃 𝜃 𝑥𝑖
𝑓 𝑥𝑖 ; 𝜃 =
𝑥𝑖 !
Sehingga fungsi likelihoodnya adalah
σ 𝑥𝑖 1
𝐿 𝜃 𝑥1 , 𝑥2, , … , 𝑥𝑛 = exp −𝑛𝜃 𝜃
ς𝑛𝑖=1 𝑥𝑖 !
Logaritma naturalis dari fungsi Likelihoodnya adalah
𝑛 𝑛

𝑙 𝜃 = ln 𝐿(𝜃|𝑥1 , 𝑥2, , … , 𝑥𝑛 ) = − ln(ෑ 𝑥𝑖 !) − 𝑛 𝜃 + ෍ 𝑥𝑖 ln 𝜃

𝑖=1 𝑖=1
𝜕𝑙 1 2
ത Sedangkan 𝜕 𝑙 =
Oleh karena itu = −𝑛 + 𝑛𝑋ത = 0 dan diperoleh 𝜃መ = 𝑋.
1 𝜕𝜃 𝜃 𝜕𝜃
መ
− 𝑛𝑥ҧ 2 < 0 untuk semua 𝜃 = 𝜃.
𝜃
Contoh 2.7
Misalkan 𝑋1 , … , 𝑋𝑛 variabel random saling bebas dan
berdistribusi 𝑁(𝜇, 𝜎 2 ) dengan parameter 𝜃 = (𝜇, 𝜎 2 )𝑡 . Fungsi
likelihoodnya adalah
𝑛
1 1
𝐿 𝜃 𝑥1 , 𝑥2, , … , 𝑥𝑛 = ( ) exp( 2 ෍(𝑥𝑖 − 𝜇)2 )
2𝜋𝜎 2 2𝜎
𝑖=1
Sehingga
𝐿 𝜃 𝑥1 , 𝑥2, , … , 𝑥𝑛
𝑛
1
= −𝑛 ln 2𝜋 − 𝑛 ln 𝜎2 − 2 ෍ 𝑥𝑖 − 𝜇 2 )
2𝜎
𝑖=1
Akibatnya
𝑛
𝜕 ln 𝐿 2 𝑛
= 2 ෍ 𝑋𝑖 − 𝜇 = 2 𝑋−𝜇
𝜕𝜇 2𝜎 𝜎
𝑖=1
Dan
𝑛
𝜕 ln 𝐿 𝑛 1 2
2
= − 2 + 4 ෍ 𝑋𝑖 − 𝜇 =0
𝜕𝜎 2𝜎 2𝜎
𝑖=1
1
𝜎 2 = σ𝑛𝑖=1(𝑋𝑖 −𝑋)
Sehingga diperoleh 𝜇Ƹ = 𝑋ത dan ത 2. Jika 𝜎 2
𝑛
diketahui dan 𝜇 = 𝜃 maka 𝜇Ƹ = 𝑥ҧ adalah MLE untuk 𝜇 sedangkan
1 𝑛
2
jika 𝜇 diketahui dan 𝜎 = 𝜃 maka 𝜎ො = σ𝑖=1(𝑋𝑖 −𝑋) ത adalah
𝑛
MLE untuk 𝜎 .2
Contoh 2.8
Misalkan 𝑋1 , … , 𝑋𝑛 variabel random saling bebas dan berdistribusi
𝑈(𝛼, 𝛽). Fungsi kepadatan probabilitas dari adalah 𝑈(𝛼, 𝛽) adalah
1
𝑓 𝑥; 𝜃 =
𝛽−𝛼
Untuk 𝛼 < 𝑥 < 𝛽 dengan 𝜃 = (𝛼, 𝛽)𝑡 ∈ Ω. Fungsi likelihoodnya adalah
𝑛

𝐿 𝜃 𝑥1 , 𝑥2, , … , 𝑥𝑛 = ෑ 𝑓(𝑥𝑖 ; 𝜃)
𝑖=1
𝑛
1
=ෑ 𝑢𝑛𝑡𝑢𝑘 𝛼 < 𝑥𝑖 < 𝛽
𝛽−𝛼
𝑖=1
1
= 𝑛
𝐼 𝜃−𝑐,∞ 𝑋 1 𝐼 −∞,𝛽 𝑋 1
(𝛽 − 𝛼)
Teorema 2.3
Misalkan 𝑋1 , … , 𝑋𝑛 variabel random saling bebas dengan fungsi
kepadatan probabilitas dari adalah 𝑓(𝑥; 𝜃) dan adalah 𝑇 =
(𝑇1 , … , 𝑇𝑟 )𝑡 dengan 𝑇𝑗 = 𝑇𝑗 (𝑋1 , … , 𝑋𝑛 ) untuk 𝑗 = 1,2, … , 𝑟 merupakan
statistik cukup untuk 𝜃 = (𝜃1 , … , 𝜃𝑟 )𝑡 . Jika 𝜃෠ = (𝜃෠1 , … , 𝜃෠𝑟 ) adalah MLE
yang tunggal untuk 𝜃 dan 𝜃෠ merupakan fungsi dari 𝑇.
Teorema 2.4
Misalkan 𝑋1 , … , 𝑋𝑛 variabel random saling bebas dengan fungsi
kepadatan probabilitas 𝑓 𝑥; 𝜃 dan 𝜃 ∈ Ω ⊆ ℝ𝑟 . Jika 𝜙 didefinisikan
ada 𝛺 ke Ω∗ ⊆ ℝ𝑚 yang merupakan fungsi korespondensi satu-satu
dan 𝜃෠ adalah MLE untuk 𝜃 maka 𝜙(𝜃) merupakan MLE untuk 𝜙(𝜃). Ini
berarti MLE invariant di bawah transformasi satu-satu.
Contoh 2.9
Misalkan 𝑋1 , … , 𝑋𝑛 variabel random saling bebas dan
berdistribusi 𝑁(𝜇, 𝜎 2 ) dengan parameter 𝜃 = (𝜇, 𝜎 2 )𝑡 .
Berdasarkan Contoh 2.7, merupakan MLE untuk 𝜎 2 . Misalkan
didefinisikan 𝜙: Ω ⟼ Ω∗ dengan 𝜙 𝜃 = 𝜃 dan 𝛺 = Ω∗ =
{ℝ ∈ 𝑅|𝜎 ≥ 0} yang merupakan fungsi koresondensi satu-satu.
Dengan menggunakan Teorema 2.4, diperoleh bahwa
𝑛
1
ത 2
෍(𝑋𝑖 − 𝑋)
𝑛
𝑖=1

Merupakan MLE untuk 𝜎.

Misalkan X1,....,Xn variabel random saling bebas dan
berdistribusi identik
dengan f(x;) dan untuk bilangan positif r dianggap bahwa
E[Xr]=mr berhingga. Dengan menggunakan metode ini mr akan
σ𝑛 𝑟
𝑖=1 𝑥𝑖
diestimasi dengan momen sampel yaitu
𝑛
1 𝑛 𝑘
Bila sistem persamaan σ𝑖=1 𝑥𝑖=𝑚 𝑘 (𝜃1 ,𝜃2 ,….𝜃𝑟 )
𝑛
dengan k = 1,2,..,r dapat diselesaikan maka akan menghasilkan
estimator untuk 𝜃𝑗 dengan j = 1,2,...,r
Misalkan 𝑥1 , 𝑥2 , . . . , 𝑥𝑛 variabel random saling bebas dan
berdistribusi identik dengan fungsi kepadatan probabilitas
𝑓 𝑥; 𝜃 , 𝜃 ∈ Ω ⊆ 𝑅 dan diinginkan untuk mengestimasi θ.

Definisi 2.6
Fungsi keputusan δ adalah fungsi terukur yang didefinisikan dari
Rn ke R. Nilai 𝛿(𝑥1 , 𝑥2 , . . . , 𝑥𝑛 ) dari δ pada dinamakan
keputusan (decision).

Definisi 2.7
Untuk mengestimasi θ berdasarkan 𝑥1 , 𝑥2 , . . . , 𝑥𝑛 dan
menggunakan keputusan δ. Fungsi kerugian (loss function) adalah
fungsi non negatif dari θ dan 𝛿(𝑥1 , 𝑥2 , . . . , 𝑥𝑛 ) yang menyatakan
kerugian yang diakibatkan bila mengestimasi θ dengan
𝛿(𝑥1 , 𝑥2 , . . . , 𝑥𝑛 )
Fungsi kerugian yang biasa digunakan adalah
𝐿 𝜃; 𝛿(𝑥1 , 𝑥2 , . . . , 𝑥𝑛 ) = |𝜃 − 𝛿 𝑥1 , 𝑥2 , . . . , 𝑥𝑛 |
Atau secara umum
𝐿 𝜃; 𝛿 𝑥1 , 𝑥2, . . . , 𝑥𝑛 = |𝜃 − 𝛿(𝑥1 , 𝑥2 , … , 𝑥𝑛 )|𝑘
untuk k > 0 atau 𝐿 𝜃; 𝛿(𝑥1 , 𝑥2 , . . . , 𝑥𝑛 fungsi konveks dari θ.
Bentuk fungsi kerugian yang biasa digunakan adalah
𝐿 𝜃; 𝛿 𝑥1 , 𝑥2, . . . , 𝑥𝑛 = (𝜃 − 𝛿(𝑥1 , 𝑥2 , … , 𝑥𝑛 ))2
Definisi 2.8
Fungsi resiko (risk function) yang bersesuaian dengan 𝐿 𝜃; 𝛿 dan
dinotasikan dengan 𝑅 𝜃; 𝛿 didefinisikan sebagai
𝑅 𝜃; 𝛿 = 𝐸 𝐿 𝜃; 𝛿 𝑥1 , 𝑥2 , … , 𝑥𝑛 .
Hal itu berarti bahwa resiko dari fungsi keputusan yang diberikan
adalah rata-rata atau harapan jika fungsi keputusan tersebut
digunakan.
Dua keputusan 𝛿 dan 𝛿 ∗ dikatakan ekuivalen bila
𝑅 𝜃; 𝛿 = 𝐸 𝐿 𝜃; 𝛿 𝑥1 , 𝑥2 , … , 𝑥𝑛
= 𝐸 𝐿 𝜃; 𝛿 ∗ 𝑥1 , 𝑥2 , … , 𝑥𝑛 = 𝑅[𝜃; 𝛿 ∗ ].
Dalam konteks estimasi titik, keputusan 𝛿 𝑥1 , 𝑥2 , … , 𝑥𝑛
dinamakan estimasi dari θ dan kebaikannya ditentukan
berdasarkan resiko 𝑅 𝜃; 𝛿 .
Definisi 2.9
Estimator δ dari θ dikatakan admisible jika tidak ada estimator lain 𝛿 ∗
dari 𝛿 sehingga untuk semua 𝑅[𝜃; 𝛿 ∗ ] ≤ 𝑅 𝜃; 𝛿 untuk semua θ ∈ Ω.

Definisi 2.10
Kelas dari estimator D dikatakan essentially complete jika untuk
sebarang estimator δ∗ dari θ tidak dalam D sehingga 𝑅[𝜃; 𝛿 ∗ ] ≤
𝑅 𝜃; 𝛿 untuk semua θ ∈ Ω.
Apabila hal ini dikerjakan, maka muncul pertanyaan : yang manakah
dari kelas ini yang dapat dipilih sebagai suatu estimator dari θ. Untuk
itu dipilih estimator δ sehingga untuk sebarang estimator lain 𝛿 ∗ dalam
kelas dari semua θ ∈ Ω. Sayangnya estimator yang demikian tidak ada
kecuali untuk kasus-kasus yang sederhana. Akan tetapi, jika kita
membatasi hanya pada kelas estimator tak bias dengan variansi
berhingga dan mengambil fungsi kerugian kuadrat maka 𝑅 𝜃; 𝛿
menjadi variansi dari 𝛿 ∗ 𝒙𝟏 , 𝒙𝟐 , … , 𝒙𝒏 . Kriteria pemilihan di atas
bersesuaian dengan pencarian estimator UMVU.
Estimator yang meminimumkan hal-hal buruk yang terjadi pada
kita yaitu meminimumkan resiko maksimum atas θ. Jika estimator
yang mempunyai sifat tersebut ada maka dinamakan estimator
minimaks (minimax estimator). Untuk mencari estimator minimaks
ini masih dibatasi pada kelas estimator yang essentially complete.

Definisi 2.11
Dalam kelas D yaitu semua estimator yang mempunyai sifat R[θ;δ]
berhingga untuk semua θ ∈ Ω, estimator δ dikatakan minimaks
(minimax) jika untuk sebarang estimator δ∗ yang lain berlaku sifat
𝑠𝑢𝑝{𝑅[𝜃; 𝛿]; 𝜃 ∈ Ω} ≤ 𝑠𝑢𝑝{𝑅[𝜃; 𝛿 ∗ ]; 𝜃 ∈ Ω}.
Misalkan Ω ⊆ R dan θ adalah variabel random dengan fungsi
kepadatan probabilitas yaitu fungsi kepadatan probabilitas prior
𝑅(𝛿) = 𝐸[𝑅(𝜃; 𝛿)] = න 𝑅 𝜃; 𝛿 𝜆 𝜃 𝑑𝜃 𝑎𝑡𝑎𝑢 ෍ 𝑅[𝜃; 𝛿]𝜆(𝜃)
Ω Ω
Hal itu berarti bahwa R(δ) adalah resiko rata-rata dari seluruh ruang
parameter Ω bila digunakan estimator δ. Misalkan 𝐷2 adalah kelas
semua estimator sehingga R(δ) berhingga untuk suatu prior λ pada Ω
yang diketahui.

Definisi 2.12
Dalam kelas 𝐷2 , estimator δ dikatakan estimator Bayes (dalam teori
keputusan dan berkaitan dengan fungsi kepadatan probabilitas prior λ
pada Ω) jika 𝑅(𝛿) ≤ 𝑅(𝛿 ∗ ) untuk semua estimator 𝛿 ∗ yang lain.

Penentuan Estimator Bayes

Misalkan 𝑥1 , 𝑥2 , . . . , 𝑥𝑛 variabel random saling bebas dengan fungsi
kepadatan probabilitas 𝑓(𝑥, 𝜃), 𝜃 ∈ Ω ⊆ 𝑅. Dalam hal ini digunakan
fungsi kerugian kuadrat. Misalkan θ variabel random dengan fungsi
kepadatan prior λ. Akan ditentukan δ sehingga menjadi estimator
Bayes dari θ dalam arti teori keputusan.
Teorema 2.5
Estimasi Bayes dari θ yang bersesuaian dengan fungsi kepadatan
probabilitas λ pada Ω sehingga
න 𝜃𝑓(𝑥1; 𝜃)𝑓(𝑥2; 𝜃)𝜆(𝜃)𝑓(𝑥𝑛; 𝜃). . . 𝑑𝜃
Ω
dan‫׬‬Ω 𝑓(𝑥1; 𝜃)𝑓(𝑥2; 𝜃)𝜆(𝜃)𝑓(𝑥𝑛; 𝜃). . . 𝑑𝜃
berhingga untuk setiap (𝑥1 , 𝑥2 , . . . , 𝑥𝑛 )𝑡 diberikan oleh
‫׬‬Ω 𝜃𝑓(𝑥1; 𝜃)𝑓(𝑥2; 𝜃)𝜆(𝜃)𝑓(𝑥𝑛; 𝜃). . . 𝑑𝜃
𝛿 𝑥1𝑥2, . . . , 𝑥𝑛 =
‫׬‬Ω 𝑓(𝑥1; 𝜃)𝑓(𝑥2; 𝜃)𝜆(𝜃)𝑓(𝑥𝑛; 𝜃). . . 𝑑𝜃
asalkan λ kontinu.
Contoh 2.12
Misalkan variabel random saling bebas dari distribusi Binom(1,θ)
dengan θ ∈ Ω = (0,1). Fungsi kepadatan probabilitas priornya
dipilih berdistribusi Beta (α, β) dengan parameter α dan β yaitu
𝛤(𝛼 + 𝛽) 𝛼−1
𝜆(𝜃) = 𝜃 (1 − 𝜃)𝛽−1
𝛤(𝛼)𝛤(𝛽)
Untuk 𝜃 ∈ (0,1). Akibatnya
𝐼1 = න 𝑓 𝑥1 ; 𝜃 𝑓 𝑥2 ; 𝜃 … 𝑓 𝑥𝑛 ; 𝜃 𝜆𝑑𝜃
Ω
𝛤(𝛼 + 𝛽) 1 σ 𝑥 𝑛−σ 𝑥𝑖 𝜃 𝛼−1 𝛽−1 𝑑𝜃
= ‫׬‬ 𝜃 𝑖 1−𝜃 1−𝜃
𝛤(𝛼)𝛤(𝛽 0
𝛤(𝛼 + 𝛽) 1 σ 𝑥 +𝛼−1 𝛽+𝑛−σ 𝑥𝑖 −1 𝑑𝜃
= ‫׬‬ 𝜃 𝑖 1−𝜃
𝛤(𝛼)𝛤(𝛽 0
𝛤(𝛼 + 𝛽) 𝛤(𝛼+σ𝑛
𝑖=1 𝑥𝑖 )𝛤(𝛽 + 𝑛−σ𝑛
𝑖=1 𝑥𝑖 )
=
𝛤(𝛼)𝛤(𝛽 𝛤(𝛼 + 𝛽+𝑛)
𝐼1 = න 𝜃𝑓 𝑥1 ; 𝜃 𝑓 𝑥2 ; 𝜃 … 𝑓 𝑥𝑛 ; 𝜃 𝜆𝑑𝜃
Ω
𝛤(𝛼 + 𝛽) 1 σ 𝑥𝑖 𝑛−σ 𝑥𝑖 𝛼−1 𝛽−1
= ‫׬‬ 𝜃𝜃 1 − 𝜃 𝜃 1 − 𝜃 𝑑𝜃
𝛤(𝛼)𝛤(𝛽 0
𝛤(𝛼 + 𝛽) 1 σ 𝑥 +𝛼+1−1 𝛽+𝑛−σ 𝑥𝑖 −1 𝑑𝜃
= ‫׬‬ 𝜃 𝑖 1 − 𝜃
𝛤(𝛼)𝛤(𝛽 0
𝛤(𝛼 + 𝛽) 𝛤(𝛼+σ𝑛 𝑛
𝑖=1 𝑥𝑖 )𝛤(𝛽 + 𝑛−σ𝑖=1 𝑥𝑖 )
=
𝛤(𝛼)𝛤(𝛽 𝛤(𝛼 + 𝛽+𝑛+1)
Diperoleh estimator Bayes adalah
‫׬‬Ω 𝜃𝑓 𝑥1 ; 𝜃 𝑓 𝑥2 ; 𝜃 𝜆 𝜃 𝑓 𝑥𝑛 ; 𝜃 . . . 𝑑𝜃
𝛿 𝑥1 , 𝑥2 , … , 𝑥𝑛 =
‫׬‬Ω 𝑓 𝑥1 ; 𝜃 𝑓 𝑥2 ; 𝜃 𝜆 𝜃 𝑓 𝑥𝑛 ; 𝜃 . . . 𝑑𝜃
𝛤(𝛼 + 𝛽 + 𝑛)𝛤(𝛼+σ𝑛
𝑖=1 𝑥𝑖 +1)
=
𝛤(𝛼 + 𝛽+ 𝑛)𝛤(𝛼+σ𝑛𝑖=1 𝑥𝑖 )
𝛤(𝛼 + 𝛽 + 𝑛)(𝛼+σ𝑛𝑖=1 𝑥𝑖 )𝛤(𝛼+ σ𝑛
𝑖=1 𝑥𝑖 )
=
(𝛼 + 𝛽 + 𝑛)𝛤(𝛼 + 𝛽 + 𝑛)𝛤(𝛼+σ𝑛 𝑖=1 𝑥𝑖 )
𝛼+σ𝑛
𝑖=1 𝑥𝑖 )
=
𝛼+𝛽+𝑛
Bila α = β = 1 maka distribusi priornya merupakan distribusi seragam
pada (0,1) sehingga diperoleh estimator Bayes
1 + σ𝑛𝑖=1 𝑥𝑖
𝛿 𝑥1 , 𝑥2 , … , 𝑥𝑛 =
2+𝑛

Penentuan estimator Minimaks

Misalkan 𝑥1 , 𝑥2 , … , 𝑥𝑛 variabel random saling bebas dengan fungsi
kepadatan probabilitas 𝑓 𝑥; 𝜃 , 𝜃 ∈ Ω ⊆ 𝑅 dan λ fungsi kepadatan
probabilitas prior pada Ω. Fungsi kepadatan probabilitas posterior
dari θ diberikan x = (𝑥1 , 𝑥2 , … , 𝑥𝑛 )𝑡 = (𝑥1 , 𝑥2 , … , 𝑥𝑛 )𝑡 dinyatakan
dengan
𝑓 𝑥1 ; 𝜃 𝑓 𝑥2 ; 𝜃 … 𝑓 𝑥𝑛 ; 𝜃
ℎ 𝜃𝑥 =
ℎ(𝑥)
Telah diperoleh bahwa estimator Bayes dari θ dalam arti teori
keputusan diberikan dengan
𝛿 𝑥1 , 𝑥2 , … , 𝑥𝑛 = න 𝜃ℎ(𝜃|𝑥)𝑑𝜃
Ω
asalkan λ kontinu.
Teorema 2.6
Misalkan terdapat fungsi kepadatan probabilitas λ pada Ω sehingga
untuk estimasi Bayes δ yang didefinisikan dengan
‫׬‬Ω 𝜃𝑓 𝑥1 ; 𝜃 𝑓 𝑥2 ; 𝜃 𝜆 𝜃 𝑓 𝑥𝑛 ; 𝜃 . . . 𝑑𝜃
𝛿 𝑥1 , 𝑥2 , … , 𝑥𝑛 =
‫׬‬Ω 𝑓 𝑥1 ; 𝜃 𝑓 𝑥2 ; 𝜃 𝜆 𝜃 𝑓 𝑥𝑛 ; 𝜃 . . . 𝑑𝜃
dan resiko R[θ;δ] tidak tergantung pada θ. Estimator δ(x1x2,...,xn)
merupakan estimator minimaks.

Contoh 2.12
Misalkan 𝑋1 , . . . , 𝑋𝑛 variabel random saling bebas dari distribusi
Binom(1,θ) dengan 𝜃 ∈ Ω = (0,1) . Fungsi kepadatan probabilitas
priornya dipilih berdistribusi Beta(α,β). Jika 𝑋 = σ𝑛𝑖=1 𝑋𝑖 , maka X
berdistribusi Binom(n,θ) sehingga 𝐸 𝑋 = 𝑛𝜃 dan 𝑉𝑎𝑟 𝑋 = 𝑛𝜃(1 − 𝜃)
serta
𝐸 𝑋 2 = 𝑉𝑎𝑟 𝑋 + (𝐸 𝑋 )2 = 𝑛𝜃 1 − 𝜃 + (𝑛𝜃)2
= 𝑛𝜃 1 − 𝜃 + 𝑛𝜃 .
Contoh 2.13
Misalkan 𝑋1 , 𝑋2 , . . . , 𝑋𝑛 variabel random saling bebas dari
distribusi 𝑁(𝜇, 𝜎 2 ) dengan 𝜎 2 diketahui dan µ = θ. Estimator 𝑥ҧ
merupakan estimator UMVU untuk θ tetapi juga merupakan
estimator minimaks dan estimator yang admisible.

Contoh 2.14
Misalkan 𝑋1 , 𝑋2 , . . . , 𝑋𝑛 variabel random saling bebas dari
distribusi 𝑁(Θ, 𝜎 2 ) dengan 𝜎 2 tidak diketahui. Misalkan 𝜎 2 = 𝜃.
Estimator UMVU untuk θ adalah
𝑛
1
𝑈 = ෍ 𝑋𝑖2
𝑛
𝑖=1
2𝜃2 2𝜃2
dan variansinya adalah yaitu 𝑅 𝜃; 𝑈 = .
𝑛 𝑛
Misalkan estimatornya adalah δ = αU. Resiko yang terjadi jika
digunakan δ untuk mengestimasi θ adalah
𝑅 𝜃; 𝑈 = 𝐸 𝛼𝑈 − 𝜃 2
= 𝐸 𝛼 𝑈 − 𝜃 + (𝛼 − 1)𝜃 2
= 𝛼 2 𝐸 𝑈 − 𝜃 2 + 2𝛼(𝛼 − 1)𝜃𝐸(𝑢 − 𝜃) + 𝐸[ 𝛼 − 1 2 𝜃 2 ].
Karena U estimator tak bias untuk θ maka E[U] = θ sehingga E(U−θ) =
2 2 2𝜃2
0 dan akibatnya 𝐸 𝑈 − 𝜃 = 𝐸 𝑈 − 𝐸 𝑈 = 𝑉𝑎𝑟 𝑈 = .
𝑛
Hal itu berarti
2 𝜃
𝑅 𝜃, 𝛿 = 2𝛼 + 0 + 𝛼 − 1 2𝜃 2
𝑛
𝜃 2
= (2𝛼 2 + 𝑛𝛼 2 − 2𝛼𝑛 + 𝑛)
𝑛
𝜃2
= [(𝑛 + 2)𝛼 2 − 2𝛼𝑛 + 𝑛).
𝑛
 n
Nilai α = akan meminimumkan resiko dan resikonya sama
n+2
2θ2 2θ2
dengan yang lebih kecil dari untuk semua θ. Akibatnya U
n+2 n
tidak admisible yaitu resikonya bukan yang terkecil.
Misalkan 𝑋1 , 𝑋2 , … , 𝑋𝑛 variabel random saling bebas dan berdistribusi
identik dengan fungsi kpadatan probabilitas 𝑓 𝑥; 𝜃 , 𝜃 ∈ Ω ⊆ ℝ.

Definisi 2.12
Barisan estimator dari 𝜃, 𝑉𝑛 = 𝑉𝑛 𝑋1 , 𝑋2 , … , 𝑋𝑛 dikatakan
konsisten dalam probabilitas (konsisten lemah) jika
𝑉𝑛 → 𝜃
Untuk 𝑛 → ∞ dan untuk semua 𝜃 ∈ Ω. Demikian juga barisan estimator
dari 𝜃, dikatakan konsisten hampir pasti (konsisten kuat) jika
𝑉𝑛 → 𝜃
ntuk 𝑛 → ∞ dan untuk semua 𝜃 ∈ Ω.
Misalkan 𝑋1 , 𝑋2 , … , 𝑋𝑛 variabel random saling bebas dan berdistribusi
identik dengan fungsi kpadatan probabilitas 𝑓 𝑥; 𝜃 , 𝜃 ∈ Ω ⊆ ℝ.

Definisi 2.12
Barisan estimator dari 𝜃, 𝑉𝑛 = 𝑉𝑛 𝑋1 , 𝑋2 , … , 𝑋𝑛 dikatakan
konsisten dalam probabilitas (konsisten lemah) jika
𝑉𝑛 → 𝜃
Untuk 𝑛 → ∞ dan untuk semua 𝜃 ∈ Ω. Demikian juga barisan estimator
dari 𝜃, dikatakan konsisten hampir pasti (konsisten kuat) jika
𝑉𝑛 → 𝜃
ntuk 𝑛 → ∞ dan untuk semua 𝜃 ∈ Ω.
Definisi 2.14
Barisan estimator , dikatakan BAN (best asimptotically normal) jika
• Estimator tersebut normal secara asimptotik.
• Variansi 𝜎 2 𝜃 dari distribusi normal limitnya terkecil untuk
semua 𝜃 ∈ Ω dalam kelas semua barisan estimator yang
memenuhi (1).
Barisan estimator BAN juga dinamakan efisien secara asimptotik.
Teorema 2.8
Misalkan 𝑋1 , 𝑋2 , … , 𝑋𝑛 variabel random saling bebas dengan fungsi
kepadatan probabilitas 𝑓 𝑥; 𝜃 , 𝜃 ∈ Ω ⊆ ℝ. Jika syarat-syarat 1
sampai 6 pada pasal 22 dipenuhi, maka persamaan likehood
𝜕
ln 𝐿 𝜃|𝑥1 , 𝑥2 , … , 𝑥𝑛 = 0
𝜕𝜃

Mempunyai akar 𝜃𝑛∗ = 𝜃 ∗ 𝑋1 , 𝑋2 , … , 𝑋𝑛 untuk setiap n, sehingga

barisan 𝜃𝑛∗ dari estimator adalah BAN dan variansi dari distribusi
normal limitnya sama dengan invers informasi Fishbernya yaitu
2
𝜕 ln 𝑓 𝑥; 𝜃
𝐼 𝜃 = 𝐸𝜃
𝜕𝜃
Dengan X mempunyai distribusi diatas.