MODUL 5

METODE ESTIMASI BAYES

Pendugaan parameter pada metode momen dan metode maksimum likelihood
berdasarkan informasi dari sampel acak ( statistika ).
Contoh :

X 1 , X 2 ,..., X n sampel acak berdistribusi Binomial (n,p)

x x
Taksiran untuk parameter p pada distribusi Binomial adalah dan ditulis pˆ 
n n

Misal terdapat data acak n =10 dengan nilai : 1, 2, 3, 2, 1, 2, 2, 3, 5, 2 yang diketahui

berdistribusi Binomial dengan parameter p yang tak diketahui. Kita dapat menaksir nilai
x
p berdasarkan Metode momen yaitu . Dengan demikian
n
x 1
pˆ   (1  2  3  2  1  2  2  3  5  2)  0.23
n 100

Terlihat bahwa taksiran nilai parameter p berdasarkan data yang ada pada sampel acak.
(jika dikaitkan dengan peluang maka pendugaan di atas dikatakan sebagai peluang
obyektif).
Pendekatan Bayes untuk menduga parameter menggabungkan dua informasi :
- Informasi dari sampel acak
- Informasi lain yang telah ada sebelumnya (informasi tambahan)
x
Dari contoh di atas pˆ  yang merupakan informasi dari sampel acak
n
Sedangkan informasi tambahan dari p misalkan parameter p bervariasi dengan fungsi
kepadatan peluang tertentu. ( yang biasanya disebut sebagai distribusi awal/distribusi
prior , dengan mean awal 𝜇0 dan variansi awal 𝜎02 ). Peluang yang berkaitan dengan
distribusi awal ini disebut peluang subyetif ( yakni mengukur tingkat kepercayaan
sesorang dari nilai parameternya)
Metode Bayes menggunakan distribusi awal dan dari sampel acak untuk mendapatkan
distribusi posterior bagi parameter p.
Secara umum distribusi posterior :
Distribusi posterior adalah fkp dari  dengan syarat sampel acak observasi adalah :

x  ( x1 , x 2 ,..., x n ) dan didefinisikan sebagai:

f ( , x1 , x 2 , x3 ,...x n ) f ( x1 x 2 , x3 ,...x n  ) f ( ) f ( x1 x 2 , x3 ,...x n  ) f ( )

f  x ( )   
f ( x1 , x 2 , x3 ,...x n )  f (  , x x
1 2 , x 3 ,...x n ) d  f ( x x , x ,...x
1 2 3 n  ) f ( )d

Ingat kembali tentang fkp bersyarat dan fkp marjinal

f ( , x) f ( ) f ( x  ) f ( ) f ( x  )
f  x    
f ( x)  f ( , x)d  f ( ) f ( x  )d
Penarikan kesimpulan tentang parameter populasi didasari pada distribusi posterior
tersebut.
CONTOH 1 :
Sampel acak ukuran n berdistribusi Bernoulli dengan fkp bersayarat sbb:

𝑋𝑖 𝐼𝜃~𝐵𝑒𝑟𝑛𝑜𝑢𝑙𝑙𝑖(𝜃) 𝑖 = 1,2,3, … 𝑛
Dan diketahui distribusi prior :  ~ U (0,1) dengan fkp f ( )  1 0  1

maka fkp posterior :

f ( , x1 x 2 , x3 ,...x n ) f ( x1 x 2 , x3 ,...x n  ) f ( )
f  x ( )  
f ( x1 x 2 , x3 ,...x n )  f(x x1 2 , x3 ,...x n  ) f ( )d
f ( x1  ) f ( x 2  )... f ( x n  ) f ( )
1
 f (x  ) f (x
0
1 2  )... f ( x n  ) f ( )d

(1)
Ingat tentang fungsi Beta (m,n) dan peubah acak berdistribusi Beta (m,n)
1
B(m, n)   x m 1 (1  x) n 1 dx
0

X ~ Beta(m, n)
fkp dari X adalah :
1
f ( x)  x m 1 (1  x) n 1 0  x 1 0 selainnya
B(m, n)
m
E(X) 
mn

Dengan demikian terlihat bahwa  x ~ Beta  x1  1 , n   xi  1

ekspektasi dari distribusi posteriornya merupakan taksiran bayes:

E  x  
x i 1

x i 1
x i  1  (n   xi  1) n2

CONTOH 2:
Distrbusi awal dari proporsi (p) barang cacat yang dihasilkan oleh mesin produksi botol
minuman soft drink mempunyai fkp sebagai berikut :

p 0.1 0.2
f(p) 0.6 0.4

Dugalah proporsi barang cacat yang dihasilkan mesin tersebut jika diambil sampel acak
sebanyak 2 dijumpai 1 barang yang cacat.
Jawab :
Untuk proporsi barang cacat p=0.1 (sesuai tabel), apabila diambil 2 barang dan tepat
dijumpai 1 yang cacat -> jelas berdistribusi Binomial B(2, 0.1) dengan n =2 dan p =0.1
Ingat p : peluang “sukses”
Jika didefinisikan X: banyaknya barang yang cacat maka

 2
P( X  1)   0.110.91  0.18
1 
Untuk proporsi barang cacat p=0.2 (sesuai tabel), apabila diambil 2 barang dan tepat
dijumpai 1 yang cacat -> jelas berdistribusi Binomial B(2, 0.2) dengan n =2 dan p =0.2
ingat p : peluang “sukses”
Jika didefinisikan X: banyaknya barang yang cacat maka

 2
P( X  1)   0.210.81  0.32
1 
Untuk menghitung distribusi posterior bagi parameter p, kita harus menggabungkan nilai
peluang 0.18 dan 0.32 pada Binomial dengan distribusi awal sesuai tabel.
Dengan menggunakan Kaidah Bayes (diingat kembali kaidah bayes pada mata kuliah
Pengantar statistika / Pengantar Peluang)
Untuk mempermudah didefinisikan terlebih dahulu kejadian kejadiannya.
C : Banyaknya barang yang cacat sejumlah 1 (sesuai pertanyaan pada contoh soal)
B1: Proporsi barang yang cacat sebesar 0.1
B2: Proporsi barang yang= sebesar 0.2
Jika diketahui barang yang cacat pada contoh sejumlah 1, maka peluang bahwa barang
tersebut berasal dari mesin yang proporsi barang cacat sebesar 0.1
Maka ekspresi di atas merupakan peluang bersyarat yaitu

P( B1C )
P( B1 C ) 
P(C )
P( B1 ) P(C B1 )

P( B1 ) P(C B1 )  P( B2 ) P(C B2 )
(0.6)(0.18)

(0.6)(0.18)  (0.4)(0.32)
 0.46

𝐶 ⁄𝐵1 ~𝐵(2,0.1)
𝐶 ⁄𝐵2 ~𝐵(2,0.2)

Untuk mendapatkan peluang bersyarat P ( B2 C )  1  P ( B1 C ) = 1 – 0.46 = 0.54

Sehingga distribusi posteriornya untuk proporsi barang yang cacat adalah p dengan X;
banyaknya yang cacat adalah 1 sebagai berikut :

p 0.1 0.2
f (𝑝|𝑥 = 1) 0.46 0.54
Nilai tengah atau ekspektasi dari distribusi posteriornya adalah:
P* = (0.1)(0.46) +(0.2)(0.54) = 0.154
P* merupakan estimator titik untuk prporsi barang yang cacat pada populasi.

SOAL LATIHAN :
1. Sampel acak ukuran n dari distribusi eksponensial dengan
E(X/ϴ)=1/  𝑋 𝐼 𝜃 ~ exp(𝜃)
x
Dengan fkp besyarat f ( x  )   e x0 0 selainnya
Diketahui juga bahwa distribusi prior  adalah eksponensial dengan mean atau
E(  )= 1/𝛽

𝜃~exp(𝛽)
𝑓(𝜃) = 𝛽 𝑒 −𝛽𝜃 𝜃>0

a. Tunjukkan bahwa distribusi posterior  X ~ Gamma    x 

i
1

, n 1
b. Dapatkan estimator Bayes untuk 

2. Distrbusi awal dari proporsi (p) barang cacat yang dihasilkan oleh mesin produksi
botol minuman soft drink mempunyai fkp sebagai berikut :

p 0.1 0.2
f(p) 0.6 0.4

Dugalah proporsi barang cacat yang dihasilkan mesin tersebut jika diambil sampel
acak sebanyak 2 dijumpai semua barangnya cacat.
Teori Keputusan :
Pada estimasi titik dengan metode momen maupun maksimum likelihood, kulaitas
estimator yang baik ditentukan oleh ketidakbiasan dan efisien (variansi kecil). Dalam teori
keputusan kita juga memasukkan sebagai bahan pertimbangan keuntungan apabila
keputusan yang kita lakukan benar dan kerugian akibat dari keputusan yang kita lakukan
salah. Hal tersebut akan membawa pada kriterium baru yaitu :
fungsi keputusan  yang akan meminimumkan kerugian jika keputusan yang kita ambil
salah.
Kita definisikan dahulu fungsi kerugian.
Fungsi kerugian adalah fungsi yang nilai nilainya bergantung pada nilai parameter
sebenarnya yaitu  dan nilai dugaannya  .

ˆ , )
Notasi dari fungsi kerugian adalah L(

Biasanya pada teori keputusan fungsi kerugian berbentuk :

L(ˆ , )  
ˆ   , L( ˆ , )  (
ˆ  )2

Nilai  tidak diketahui, maka nilai parameter tersebut mempunyai beberapa

kemungkinan. Himpunan dari semua kemungkinan nilai  disebut sebagai ruang
parameter.
Fungsi risiko untuk fungsi keputusan  adalah nilai harapan/ekspektasi dari fungsi
kerugian bila nilai parameternya adalah  .


ˆ , )  E L(
Notasi dari fungsi risiko adalah R( ˆ , ) 
Jika kita harus memilih salah satu dari ˆ1 dan ˆ2 sebagai estimator bagi  maka kita
akan menggunakan Kriterium Minimaks yaitu : menentukan nilai maksimum dari
R(ˆ , ) dan R(ˆ , ) pada ruang parameter tersebut selanjutnya memilih fungsi
1 2

keputusan yang memberikan nilai minimum di antara kedua risiko maksimum tersebut.
Kadangkala ada informasi tambahan tentang parameter  yang tak diketahui. Parameter
 tersebut dipandang sebagai peubah acak dengan fungsi kepadatan peluangnya adalah
f ( ) . Risiko Bayes akibat pendugaan  oleh ˆ adalah :
 
ˆ )  E R (
B ( ˆ , ) 
  R ((ˆ ,  ) f ( )
i i

atau untuk peubah acak kontinu


ˆ )  E R (
B ( ˆ , ) 
ˆ ,  ) f ( )d
  R ( i i

ˆ yang meminimumk an B(

Fungsi keputusan  ˆ ) disebut penduga Bayes bagi 

KRITERIUM BAYES
Misalkan parameter  merupakan nilai bagi peubah acak  dan f ( ) adalah fungsi
kepadatan peluang dari .
ˆ dan 
 ˆ adalah penduga bagi  . Bila B (
ˆ )  B(
ˆ ) maka 
ˆ terpilih sebagai penduga terbaik b
1 2 1 2 1

CONTOH 3:
Misalkan Ani mempunyai 3 uang logam dengan kriteria:
1. Uang logam yang ke-1 : kedua sisinya adalah Gambar
2. Uang logam yang ke-2 : kedua sisinya adalah Angka
3. Uang logam ke-3 : bersisi Gambar dan Angka (setimbang/fair)
Ani melakukan pelemparan salah satu dari uangnya tersebut sebanyak dua kali, dan kita
akan menerka uang mana yang dilempar oleh Ani.
Misal  : menyatakan banyaknya sisi Gambar pada uang yang dilempar tadi.

ˆ dan 
Kita misalkan dua fungsi keputusan yaitu  ˆ , dimana :
1 2

ˆ : penduga yang menyatakan banyaknya sisi Gambar bila uang tsb dilempar 2 kali
 1

ˆ : penduga yang memberi nilai 1 pada  bagaimanap un juga hasil ke dua lemparan tsb
2

Misal fungsi kerugian berbentuk ˆ , )  (

L( ˆ  )2
JAWAB :

Untuk menduga ̂1 dan fungsi kerugian berbentuk ˆ , )  (

L( ˆ   ) 2 maka nilai
yang mungkin dari ̂1 adalah : 0 , 1 , atau 2 (bergantung pada nilai yang
sesungguhnya .
a. Bila  = 0 , kedua lemparan menghasilkan Angka
b. Bila  = 2 , kedua lemparan menghasilkan Gambar

Dengan demikian keputusan kita adalah benar, sehingga :

ˆ ,  )  (
L ( ˆ   )2
L(0,0)  0
L(2,2)  0
Dengan mudah dapat disimpulkan bahwa :

ˆ ,0)  0
R (1
𝑅(𝜃̂, 𝜃) = 𝐸[𝐿(𝜃,
̂ 𝜃)] = ∑ 𝐿(𝜃,
̂ 𝜃) 𝑓(𝜃̂, 𝜃) =
ˆ ,2)  0
R ( 1

c. Namun apabila nilai  = 1 ( terjadi jika yang terambil adalah mata uang yang
isinya Gambar dan Angka /mata uang ke -3 )
- mungkin kita mendapatkan sisi Gambar 0 kali dari dua kali lemparan mata uang
tersebut dengan peluang ¼.
- Mungkin kita mendapatkan sisi Gambar 1 kali dari dua kali lemparan mata uang
tersebut dengan peluang 2/4.
- Mungkin kita mendapatkan sisi Gambar 2 kali dari dua kali lemparan mata uang
tersebut dengan peluang ¼.
Sehingga dari 3 kemungkinan di atas diperoleh :

L ( ˆ ,  )  (
ˆ   )2
L(0,1) 1
L(1,1)  0
L(2,1)  1
Sehingga :
ˆ ,1)  (1x 1 )  (0 x 1 )  (1x 1 )  1
R ( (1)
1
4 2 4 2
Untuk menduga ̂ 2 yang memberi nilai 1 untuk menduga  , maka fungsi kerugian
ˆˆ
ˆ ,  )  (
berbentuk L( 2   )  (1   ) , dengan demikian
2 2
2

ˆˆ
ˆ ,  )  (
L ( 2   )  (1   )
2 2
2

L(1,0) 1
L(1,1)  0
L(1, 2) 1

Sedangkan fungsi risiko yang berpadanan adalah :

ˆˆ
ˆ ,  )  E  L ( 
R (
 2 ,  )

2

RL(1,0)  R11
RL(1,1)  R0  0 (2)
RL(1, 2) R1  1

Perhatikan bahwa :
ˆ , ) untuk penduga/estimator ̂ adalah ½ (lihat pers. 1.)
Risiko maksimum R(1 1

ˆ , ) untuk penduga/estimator ̂ adalah 1 (lihat pers. 2)

Risiko maksimum R( 2 2

Dengan menggunakan kriterium minimaks : yaitu memilih fungsi keputusan yang

memberikan nilai minimum di antara kedua risiko maksimum.

KESIMPULAN : Kita memilih ̂1 sebagai penduga/estimator terbaik bagi 

CONTOH 4 :
Dari soal di atas, ada tambahan informasi bahwa :
Peluang saat melempar uang yang setimbang (fair) adalah 0.8 , dan peluang melempar
mata uang yang pertama dan ke-2 masing masing 0.1.

Manakah yang dipilih sebagai estimator terbaik menurut kriterium Bayes, ̂1 atau ̂ 2
JAWAB :
Parameter  diperlakukan sebagai peubah acak dengan fkp :

 0 1 2
f(  ) 0.1 0.8 0.1
Untuk estimator ̂1 , risiko Bayes

ˆ )  E R (
B ( 1 ˆ , )
1 
  R (( 
ˆ , ) f ( )  R(
1 i i
ˆ 0) f (0)  R(
1
ˆ 1) f (1)  R(
1
ˆ 2) f (2)
1

1
 (0)(0.1)  ( )(0.8)  (0)(0.1)  0.4
2
Untuk estimator ̂ 2 , risiko Bayes

ˆ )  E R (
B ( 2 ˆ , )
2 
  R ( (
ˆ , ) f ( )  R(
2 i i
ˆ 0) f (0)  R(
2
ˆ 1) f (1)  R(
2
ˆ 2) f (2)
2

 (1)(0.1)  (0)(0.8)  (1)(0.1)  0.2

ˆ )  B(
Karena B ( ˆ ) maka 
ˆ terpilih sebagai penduga terbaik bagi 
2 1 2