Makalah Inferensi Bayesian Untuk Normal Mean
Makalah Inferensi Bayesian Untuk Normal Mean
PENDAHULUAN
1.1 Latar Belakang
Pada suatu penelitian terkadang diamati karakteristik dari sebuah populasi. Beberapa
macam ukuran statistik digunakan untuk mengetahui karakteristik dari populasi, misalnya
rataan, varian, median, atau proporsi. Pada inferensi statistik ingin diperoleh kesimpulan
mengenai populasi, meskipun tidak praktis untuk mengamati keseluruhan individu yang
menyusun populasi atau tidak mungkin jika populasinya tak hingga. Dengan berbagai
keterbatasan dan kendala, tidak dimungkinkan mengamati keseluruhan dari elemen populasi,
maka dapat dilakukan langkah alternatif yaitu pendugaan populasi dengan menggunakan
sampel yang diambil secara acak dari sebuah populasi. Pada teori estimasi titik dapat
dilakukan dengan dua metode yaitu metode klasik dan metode Bayes. Metode klasik
sepenuhnya mengandalkan proses inferensi pada data sampel yang diambil dari populasi,
sedangkan metode Bayes disamping memanfaatkan data sampel yang diperoleh dari populasi
juga memperhitungkan suatu distribusi awal yang disebut distribusi prior (Walpole dan
Myers, 1995). Salah satu teknik yang digunakan dalam metode klasik adalah metode
maksimum likelihood. Metode klasik memandang parameter sebagai besaran tetap yang tidak
diketahui harganya, dan inferensi didasarkan hanya pada informasi dalam sampel. Metode
Bayes memandang parameter sebagai variabel yang menggambarkan pengetahuan awal
tentang parameter sebelum pengamatan dilakukan dan dinyatakan dalam suatu distribusi yang
1
disebut dengan distribusi prior (Bolstad, 2007). Setelah pengamatan dilakukan, informasi
dalam distribusi prior dikombinasikan dengan informasi dengan data sampel melalui teorema
Bayes, dan hasilnya dinyatakan dalam bentuk distribusi yang disebut distribusi posterior yang
selanjutnya menjadi dasar untuk inferensi di dalam metode Bayes (Berger, 1990).
1. Untuk mengetahui bagaimana teorema Bayes untuk normal mean dengan prior
diskrit.
2. Untuk mengetahui bagaimana teorema Bayes untuk normal mean dengan prior
kontinu.
2
BAB II
PEMBAHASAN
Banyak variabel acak yang tampaknya berdistribusi normal, setidaknya mendekati.
Alasan di balik teorema limit pusat menunjukkan mengapa demikian. Ada beberapa variabel
acak yang mana jumlahnya mendekati tak hingga akan membentuk variabel acak yang
independen yang menyebabkan dia mendekati distribusi normal. Bentuk dari setiap individu
dari variabel acak "rata-rata yang dihasilkan" mendekati ke bentuk normal. Sampel data dari
jumlah distribusi tersebut akan dilakukan pendekatan oleh distribusi normal. Dalam
pembahasan ini kita menunjukkan bagaimana inferensi Bayesian pada sampel acak dari
distribusi normal.
Pengamatan Tunggal
Kita akan melakukan pengamatan tunggal dari fungsi kepadatan peluang (fkp)
bersyarat distribusi normal f(yl ) dengan varians diketahui . Ada sejumlah m
kemungkinan nilai ,. . . , untuk mean. Kita akan memilih distribusi probabilitas prior
diskrit yang hasilnya akan kita gunakan sebagai parameter, sebelum kita melakukan
pengamatan. Jika kita sama sekali tidak memiliki informasi mengenai prior, kemungkinan
kita akan memberikan kemungkinan yang sama untuk semua prior.
Pengamatan distribusi bersyarat dari y| adalah normal dengan mean dan varians
diketahui. Fungsi kepadatan peluangnya adalah
3
Likelihood dari setiap nilai parameter adalah nilai dari pengamatan distribusi pada
nilai yang telah diamati. Bagian yang tidak bergantung pada parameter sama untuk semua
nilai parameter, sehingga dapat dimasukkan ke dalam konstanta proporsionalitas. Bagian
yang membentuk fungsi dari parameter adalah bagian penting. Berikut bentuk likelihood
yang diberikan.
di mana y adalah konstanta tetap pada nilai yang telah diamati dan boleh bervariasi sesuai
dengan nilai yang mungkin.
Metode pertama adalah untuk mencari likelihood dari tabel "koordinat distribusi
normal”. Diberikan
4
untuk setiap nilai yang mungkin dari . Z berdistribusi normal baku (0, 1). Likelihood dapat
ditemukan dengan melihat f(z) pada "koordinat dari distribusi normal baku "yang diberikan
pada Tabel distribusi normal.
Metode kedua adalah dengan menggunakan rumus fungsi kepadatan peluang dari
distribusi normal, dengan y adalah nilai kostan sesuai dengan yang diberikan, sedangkan
bisa bervariasi sesuai dengan semua nilai yang mungkin.
Biasanya kita memiliki sampel acak y1,. . . ,yn dari pengamatan kecuali pengamatan
tunggal. Posterior selalu sebanding dengan prior likelihood. Pengamatan pada sampel acak
independen satu sama lain, sehingga likelihood marginal dari sampel adalah hasil dari
observasi individual pada likelihood. Maka diberikan
5
Teorema Bayes dengan sebuah prior diskrit diberikan sebagai berikut.
Kita dapat menganalisis suatu pengamatan satu per satu , secara berurutan y1,. . . ,yn
dan biarkan posterior dari pengamatan sebelumnya menjadi prior untuk pengamatan
selanjutnya. Likelihood dari pengamatan tunggal yj adalah kolom nilai dari distribusi
pengamatan pada setiap nilai parameter yang mungkin pada saat sudah diamati.
6
Mencari probabilitas posterior dengan menganalisis sampel bersama-sama dalam satu
langkah.
Posterior sebanding dengan prior likelihood, dan likelihood marginal dari sampel
adalah hasil dari likelihood dari masing – masing observasi. Masing-masing pengamatan
adalah normal, sehingga memiliki likelihood normal. Berikut diberikan likelihood
marginalnya.
7
Menjumlahkan pangkat pada eksponennya
Maka diperoleh.
Likelihood dari sampel acak normal y1,. . . ,yn sebanding dengan likelihood dari sampel
mean ̅.
Ketika kita memasukkan bagian yang tidak melibatkan ke perbandingan kita mendapatkan
Kita mengakui bahwa likelihood ini memiliki bentuk distribusi normal dengan rata-
rata dan varians . Mean sampel ̅, biasanya didistribusikan dengan mean dan varians
. Jadi likelihood marginal dari sampel acak sebanding dengan likelihood sampel mean,
sebagai berikut.
8
Berikut contoh soalnya :
Kita dapat menganggap ini sebagai penggambaran nilai tunggal dari sampel mean ̅,
dari distribusi normal dengan mean dan varians . Ini akan memudahkan kita dalam
Kita memiliki sampel acak y1,. . . ,yn dari distribusi normal dengan mean dan
varians diketahui . Hal ini lebih realistis untuk dipercaya mengenai semua nilai yang
mungkin, setidaknya dalam interval. Ini berarti kita harus menggunakan prior kontinu. Kita
ketahui bahwa teorema Bayes dapat diringkas yaitu “posterior sebanding dengan prior
likelihood”.
Di sini kita ketahui g( ) menjadi prior kontinu. Ketika priornya adalah diskrit, kita
mengevaluasi posterior dengan membagi prior likelihood oleh jumlah prior likelihood
untuk semua nilai parameter mungkin. Integrasi untuk variabel kontinu adalah analogi dari
penjumlahan untuk variabel diskrit. Oleh karena itu kita dapat mengevaluasi posterior dengan
membagi prior likelihood dengan integral dari prior likelihood atas semua kisaran nilai
parameter yang mungkin.
9
Untuk distribusi normal, likelihood dari sampel acak sebanding dengan likelihood
dari sampel mean ̅.
Ini berlaku untuk prior kontinu g( ). Namun, itu membutuhkan integrasi yang
mungkin harus dilakukan secara numerik. Kemudian kita akan melihat beberapa kasus
khusus di mana kita dapat menemukan posterior tanpa harus melakukan integrasi. Untuk
kasus - kasus ini, kita harus mampu mengenali kapan kepadatan harus normal dari bentuk
yang diberikan dalam persamaan.
Kita tahu bahwa nilai-nilai aktual yang diberikan oleh prior kepada setiap nilai yang
mungkin adalah tidak penting. Mengalikan semua nilai-nilai prior oleh konstanta yang sama
akan kalikan integral dari prior likelihood oleh konstanta yang sama, sehingga akan
mengkanselasi dan kita akan mendapatkan posterior yang sama.
Prior mentah memberikan bobot yang sama kepada semua nilai yang mungkin yaitu
g( ) = 1. Prior mentah ini bukan distribusi prior yang benar-benar tepat karena - < <
sehingga tidak dapat diintegrasikan ke 1. Namun demikian, ketidaktepatan prior ini tidak
perlu diperhatikan. Meskipun priornya tidak tepat, posterior akan mengintegrasikan ke 1,
sehingga layak. Prior Jeffrey untuk mean dari distribusi normal ternyata menjadi prior
mentah.
10
Karena priornya selalu sama dengan 1, posterior sebanding dengan berikut.
Kita menyadari bahwa dari bentuk dari posterior ini adalah distribusi normal dengan
mean y dan varians .
Sebuah sampel acak normal y1. . . yn. Pada bagian sebelumnya kita menunjukkan
bahwa likelihood dari sampel acak dari distribusi normal sebanding dengan likelihood dari
sampel mean ̅. Kita tahu ̅ terdistribusi normal dengan mean dan varians . Oleh karena
Kita menyadari bahwa dari bentuk dari posterior ini adalah distribusi normal dengan
11
Prior dikalikan likelihood maka :
Kita menyadari bahwa dari bentuk ini posterior adalah distribusi normal yang
memiliki mean dan varians yang diberikan sebagai berikut.
dan
Kita mulai dengan prior normal (m,s2) dan berakhir dengan posterior normal
(m‟,(s‟)2). Hal ini menunjukkan bahwa distribusi normal adalah keluarga konjugat untuk
distribusi observasi normal dengan varians diketahui. Teorema Bayes bergerak dari satu
anggota keluarga konjugat ke anggota yang lain. Karena itu kita tidak perlu melakukan
integrasi dalam rangka untuk mengevaluasi posterior.
12
Aturan sederhana untuk memperbaharui keluarga normal.
Dengan demikian posterior presisi sama dengan prior presisi ditambah presisi
pengamatan. Mean posterior diberikan sebagai berikut.
Dengan demikian rata-rata posterior adalah rata-rata tertimbang dari prior mean dan
pengamatan, di mana bobotnya sebanding dengan presisi dari presisi posterior. Aturan ini
juga berlaku untuk memperbarui prior mentah. Prior mentah memiliki varians yang tak
terbatas, sehingga memiliki presisi nol. Presisi posterior akan sama dengan presisi prior
dan varians posterior sama dengan varians pengamatan . Prior mentah tidak didefinisikan
dengan baik oleh prior mean. Kita perhatikan bahwa
Variabel acak y1,. . . ,yn diambil dari distribusi normal dengan mean dan varians
yang diasumsikan diketahui. Kita memiliki distribusi prior yang normal dengan mean m dan
varians s2 diberikan sebagai berikut
13
Kita menggunakan likelihood dari rata – rata sampel, ̅ yang biasanya didistribusikan
Varians posterior sama dengan kebalikan dari presisi posterior. Mean posterior sama
dengan rata-rata tertimbang dari mean prior dan ̅ dimana bobotnya sebanding dengan
presisi posterior :
Distribusi prior yang anda pilih harus sesuai dengan prior yang sebenarnya. Setelah
mengamati dari distribusi normal dengan variansi yang diketahui. Keluarga konjugat dari
prior µ adalah normal (m,s2). Jika kita dapat menemukan dari keluarga ini yang sesuai
dengan prior yang sebenarnya, itu akan memudahkan dalam menemukan posterior dengan
teorema bayes. Posterior akan menjadi anggota dari keluarga yang sama dimana parameter
yang telah kita peroleh dari perumusan sebelumnya .
Pertama, tentukan prior mean m anda. Ini adalah nilai prior yang sebenarnya terpusat.
Kemudian kita putuskan standar deviasi kita misalkan s. Dugaan titik atas dan titik bawah
yang anda pilih akan menjadi batas atas dan batas bawah dari nilai kemungkinan µ. Membagi
jarak antara dua titik dengan 6 untuk emndapatkan prior standar deviasi s anda. Cara ini
dilakukan dari peluang yang mungkin dari daerah yang anda duga.
Adalah bermanfaat untuk mengecek prior anda adalah „equivalent sample size‟. Atur
prior anda dengan varians s2 = σ2/neq and solve for neq. ini berlerasi dari prior yang anda
putuskan dari sample. Keyakinan anda sangat menentukan ukuran jumlah sample neq. jika
neq besar, itu menunjukan bahwa anda mempunyai prior yang sangat kuat tentang µ. Jika
14
samplenya kecil, prior yang anda yakini tidak kuat , dan dengan pasti akan mempengaruhi
posterior anda yang kemungkinan kuat. Hal ini di pengaruhi oleh lebih sederhananya jumlah
sample yang ada.
Jika anda tidak dapat menemukan distribusi prior dari distribusi keluarga konjugat
prior yang anda yakini, maka anda harus menentukan prior yang anda yakini dengan memilih
titikatas dari daerah kemungkinan yang anda yakini, dan diinterpolasi secara liniear.
kemudian anda akan menemukan posterior dengan distribusi.
15
2.4 CREDIBLE INTERVAL UNTUK NORMAL MEAN
Distribusi posterior g(µly1, . . . , yn) adalah kesimpulan kita untuk µ dari hasil
pengamatan. Kesimpulannya dari masukan dari semua parameter yang anda yakini. Kadang
kita akan menyimpulkan posterior yang kita yakini menjadi rentang dari nilai yang kita
miliki ,terkadang ini tidak dapat dirubah dari beberapa jenis probabilitas, bergantung dari
sampel data yang diberikan.
Interval seperti ini disebut interval bayes kredibel. kesimpulanya daerah hasil yang
mungkin kredibel pada batas tertentu.Akan ada banyak kemungkinan yang muncul dari
interval kredibel sesuai dengan probabilitasnya.pada umumnya , yang paling pendek lebih
disukai. Akan tetapi ,dalam beberapa kasus untuk mencari interval kredibel yang mudah
adalah dengan menyamakan ekor probabilitasnya.
16
1. presisi berbanding terbalik dengan varians.
2. presisi posterior sama dengan presisi prior ditambahkan dengan presisi mean data.
3. mean posterior berbobot dari penjumlahan mean dan mean sampel, dimana bobot dari
proporsi presisi untuk presisi Posterior .
Yang mana mean posterior positif atau negative dengan z dikali posterior standar deviasi,
dimana nilai z ditentukan dengan melihat table normal standard. Peluang distribusi Posterior
kita adalah normal dan pasti simetris. Interval kredibel yang digunakan lihat dalam
persamaan 11.7 , dengan mudah kita peroleh peluang ekornya.
Jika kita tidak mengetahui varian, kita tidak dapat mengetahui presisinya, jadi kita
tidak dapat melakukan yang seharusnya. Untuk itu kita dapat menghitungnya dari sampel
varian Dari data.
Kemudian kita gunakan persamaan sebelumnya untuk menemukan (s‟)2 dan m‟ dimana kita
akan menggunakan sampel varian dimana kita mengetahui varian σ 2 .
2
Terdapat beberapa hal yang salah, yaitu munculnya nilai estimasi σ . kita dapat
meperlebar interval kredibel untuk memperbaiki hal ini. Kita akan menggunakan nilai dari
distribusi t dimana . Kita dapat mengambil nilainya dari tabel distribusi Student‟s t. Interval
Bayesian yang benar adalah :
Ketika kita mulai dengan non normal kita menemukan distribusi posterior untuk µ
menggunakan teorema bayes dimana kita memperolehnya dengan mengintegralkanya.
17
Distribusi posterior yang tidak normal kita dapat mencarinya dengan (1-α) X 100% interval
kredibel dengan menemukan batas bawah µ1 dan batas atas µ v yaitu:
disana pasti banyak angka-angka yang muncul. Pilihan yang tepat untuk µ1 dan µ v adalah
dengan kemungkinan interval kredibel.
Hal ini akan dapat ditemukan dengan teorema bayes . y1, . . . , yn, yn+l adalah peubah acak sampel
dari f(yIµ), yang mana distribusi normal dengan mean µ dan varians σ 2 . distribusi bersyarat dari
peubah acak y1, . . . , yn dan observasi berikutnya yn+l diberikan sebagai berikut:
18
Misalkan distribusi prior g(µ) (dari prior seragam atau prior normal(m,s2)) distribusi gabungan dari
pengamatan dan parameter dari µ adalah:
kita telah menemukan posterior normal (µ|y1,. . . , yn, ) dengan posterior presisi yang sama dengan
prior presisi ditambah dengan ӯ presisi dan mean sama dengan bobot rata-rata dari prior mean dan
ӯ dimana bobot proporsi posterior presisi. Katakanlah itu normal dengan mean m n dan varian sn2.
Distribusi dari yn+1 diperoleh dari µ dan y1,. . . , yn yang hanya bergantung pada µ, karena yn+l
adalah gambaran yang dari distribusi(y|µ).ini posterior gabungan (dari pertama sampai ke n
observasi) distribusinya adalah:
distribusi yang kita inginkan diperoleh dengan mengintegralkan terhadap µ dari posterior gabungan.
Inilah distribusi marginal posteriornya.
19
mengeluarkan factor ( dari eksponentnya dan menyelesaikan pangkat kuadratnya
baris yang pertama bagian yang hanya bergantung pada µ, dan kita mengaturnya sedemikian
sehingga menjadikanya proporsi kepadatan normal , jadi kita dapat mengintegralkan yang ada
dalam kurung dan dapat diperoleh suatu konstanta. Dengan mengaturnya lagi sedemikian rupa kita
peroleh
kita mengaturnya menjadi fungsi kepadatan peluang normal mean dengan m’=mn dan varian
(s’)2=σ2+sn2 . mean prediksi untuk observasi yn+1 adalah posterior mean dari µ yang diberikan dari
observasi y1, . . . , y., prediksi variansi yang di observasi adalah varian observasi σ 2 ditambah
dengan variansi posterior yang diberikan dari observasi y1 ,. . . , y.
inilah salah satu keuntungan dari pendekatan bayes . hal ini memberikan gambaran yang
jelas bahwa pendekatan marginal akan selalu dapat digunakan untuk membanggun distribusi
prediksi . tidak ada jalan lain untuk mencari hal ini dengan statistic frekuensi .walaupun dalam
banyak kasus kita pandang sebagai normal seperti yang telah kita lakuakan , maka hasilnya akan
sama kita peroleh.
20
BAB III
PENUTUP
3.1 Kesimpulan
Dari pembahasan yang telah dikaji mengenai inferensi bayes untuk normal mean
1. Teorema Bayes untuk normal mean dengan prior diskrit ada 2 kategori yaitu untuk
pengamatan tunggal dan untuk sampel acak dari pengamatan normal. Cara memperoleh
likelihood pada pengamatan tunggal ada dua metoda yaitu dengan menggunakan tabel
sementara untuk peubah acak dari distribusi normal likelihoodnya didapat dengan
2. Dalam teorema Bayes untuk normal mean dengan prior kontinu berbeda pada
selain itu juga pada prior kontinu ini, priornya memiliki fungsi kepadatan yang sama
pengintegrasian yang cukup sulit, maka dari itu dalam kasus ini dipilih prior Jeffrey
21
3. Keluarga konjugat prior dari observasi normal dengan variansinya adalah keluarga
normal (m,s2 ) .
4. Jika kita mempunyai peubah acak dari pengamatan normal dan menggunakan
prior normal (m,s2 ) posteriornya normal(m‟,(s‟)2), dimana m‟ dan (s‟)2 dapat
ditemukan dengan mengikuti aturan dibawah ini:
a. Presisi adalah sebanding terbalik dengan varian
b. Posterior presisi adalah jumlah prior presisi dan presisi dari sampel
c. Mean posterior adalah bobot rerata dari prior mean dan sampel mean,
dimana bobot proporsi dari presisi ke presisi posterior
Cara yang sama untuk memperbaharui dari prior mentah, ingatlah bahwa prior
mentah adalah presisi yang sama dengan nol. Interval Bayesian kredibal untuk µ
dapat ditemukan dengan distribusi posterior. Jika varians σ2 tidak diketahui , kita
gunakan estimasi untuk varians dihitung dari sampel, ̂ dan menggunakan nilai kritis
dari bistribusi t . menggunakan titik kritis distribusi t mengantinya dari ketidak
pastian dimana yang diketahuinya σ 2 .( hal ini sebenarnya memberikan interval yang
kredibel ketika kita menggunakan g(σ2 ) dan mengeluarkan σ 2
keluar dari
posterior gabungan).
22
3.2 Saran
1. Pada penulisan ini mengedepankan Inferensi Bayesian untuk Normal Mean dan tidak
2. Berdasarkan hasil pembuatan makalah yang telah dilakukan maka penulis memberikan
saran untuk makalah selanjutnya menambah teori – teori dan pembuktian rumus
23
DAFTAR PUSTAKA
Sumber Buku :
Bolstad ,William M.2007 introduction to Bayesian statistic second edition, united state of
Siska ,Ade Candra.(2011). Inferensi Statistik Distribusi Binomial Dengan Metode Bayes
Menggunakan Prior Konjugat. Skripsi Sarjana Sains Pada Program Studi Statistika
Sumber Lain :
http://www.google.com/url?sa=t&rct=j&q=inferensial+bayes&source=web&cd=1&cad=rja&ved=0C
CoQFjAA&url=http://repository.usu.ac.id/bitstream/123456789/31979/4/Chapter%2520I.pdf&ei=Er
kdUdLpL6-5iAfgtoBA&usg=AFQjCNEhY-ppAHL9uBDZI3raxArjuo2jQQ&bvm=bv.42553238,d.aGc
24