Teori Bayes

Tujuan dari inferensi statistik adalah untuk menarik kesimpulan dari data sampel yang diketahui
tentang populasi yang tidak ada datanya. Sebagai contoh, kita tahu dari sampel bahwa 55 persen
pemilih cenderung untuk memilih pilihan A, tapi sebenarnya berapa banyak pemilih secara
keseluruhan yang cenderung memilih A?

Saat ini, terdapat dua pendekatan filosofis utama dalam statistik inferens, yang pertama disebut
sebagai pendekatan frequentist atau kadang-kadang disebut sebagai pendekatan klasik (karena
berkembang lebih dulu). Dalam pendekatan ini, prosedur dikembangkan hanya dengan melihat
performa seluruh kemungkinan sampel acak (all possible random sample) saat ini. Informasi
sampel acak yang diperoleh sebelumnya (pada percobaan/observasi lain di masa lalu) diabaikan.
Kemudian pendekatan kedua, dikenal sebagai Bayesian, yang akan kita bahas dalam artikel ini.

Frequentist versus Bayesian

Pendekatan frequentist berlandaskan pada ide-ide dibawah ini:

1. Parameter, yaitu karakteristik dari populasi, adalah konstan namun tidak diketahui.
2. Probabilita selalu diinterpretasikan sebagai frekuensi relatif jangka panjang, tak peduli
datanya.
3. Prosedur statistik dinilai dengan seberapa baik prosedur itu dalam jangka panjang dengan
mengulang-ulang percobaan sampai tak hingga.

Karena dalam pendekatan ini parameter adalah tetap, maka kita tidak bisa membuat pernyataan
tentang peluang dari nilai parameter tersebut (bagaimana kita menyatakannya dalam peluang jika
nilai parameter adalah tetap dengan kata lain pasti). Interval kepercayaan tidak memiliki arti
peluang akan nilai parameter, namun hanya digunakan untuk uji hipotesis apakah nilai penduga
parameter bisa kita terima atau tidak.

Misal diperoleh P(a < θ ≤ b)=0.95, kita tidak bisa mengatakan peluang θ diantara [a,b] adalah 95
persen karena jika kita mengatakan demikian berarti θ adalah suatu nilai acak. Karena itu dalam
frequentist interval itu selalu diartikan begini: dari 100 percobaan dengan random sampel iid
maka 95 percobaan akan mendapatkan nilai penduga parameter θ̂ berada pada interval [a,b].

Sedangkan Bayesian berlandaskan pada ide-ide berikut:

1. Sejak kita tak pernah yakin akan nilai sebenarnya dari parameter, maka parameter
dianggap sebagai suatu random variabel.
2. Aturan probabilita digunakan secara langsung untuk melakukan inferens tentang
parameter.
3. Pernyataan probabilita tentang parameter diinterpretasikan sebagai “derajat
kepercayaan”. Distribusi prior adalah subyektif. Setiap orang bisa memilih priornya
sendiri, yang mengandung bobot relatif yang diberikannya pada parameter tersebut, yang
 mengukur bagaimana sejauh mana bisa diterima/dipercaya setiap parameter tersebut
sebelum percobaan.
4. Setelah itu kita menyesuaikan kepercayaan/penerimaan kita pada parameter tersebut
setelah memperoleh data dengan menggunakan teorema Bayes, sehingga akan
menghasilkan distribusi posterior, yang memberikan bobot relatif tiap parameter setelah
data dianalisis. Distribusi posterior diperoleh dari dua sumber, yaitu: distribusi prior
dan data pengamatan.

Dengan pendekatan Bayesian ini kita bisa membuat pernyataan probabilita dari parameter karena
memang parameter adalah random variabel. P(a < θ ≤ b) = 0.95 memang berarti peluang nilai
parameter θ berada pada interval [a,b] dengan syarat data seperti pada data observasi adalah 95
persen. Hanya dengan teorema Bayes kita bisa secara konsisten memperbaiki kepercayaan kita
pada parameter berdasarkan data yang benar-benar terjadi! Selain itu pendekatan Bayesian
sangat bermanfaat dalam menangani parameter pengganggu (nuisance parameter). Parameter
pengganggu adalah suatu parameter yang kita tidak tertarik untuk melakukan inferens atasnya,
tapi kita tidak ingin parameter tersebut mempengaruhi inferens tentang parameter utama (tidak
kita bahas dalam artikel ini.

Teorema Bayes

Sebelum lebih jauh mengenal Bayesian kita harus kenal lebih dalam dulu dengan teorema Bayes,
yang menjadi landasan utama dalam pendekatan Bayesian. Pertama kita harus berkenalan dulu
dengan Thomas Bayes, seorang pendeta dan matematikawan berkebangsaan Inggris, yang
pertama kali mengemukakan teorema Bayes. Dalam tulisannya yang diterbitkan tahun 1763, 3
tahun setelah kematiannya, Bayes memperkenalkan sebuah versi dari persamaan beberapa
probabilita yang sekarang dikenal sebagai teorema Bayes. Saat paper ini pertama kali terbit,
hanya ada sedikit ekspektasi bahwa persamaan sederhana ini bisa memecahkan banyak
permasalahan dalam teori peluang. Namun siapa sangka jika dua ratus tahun kemudian, teorema
Bayes telah menjadi sesuatu yang penting dan saat ini menjadi dasar bagi inferensi statistik
Bayesian.

Untuk memahami teorema Bayes, kita harus pahami dulu peluang bersyarat. Sekarang pikirkan
permasalahan ini: jika kita tahu suatu event (peristiwa) telah terjadi, apakah akan mempengaruhi
peluang terjadinya event yang lain? Misal terdapat dua event A dan B yang saling berpotongan
seperti digambarkan dalam diagram Venn di bawah ini.

Gbr.1 Diagram Venn dua event A dan B dalam U (semesta)

Daerah perpotongan kita sebut irisan, atau A ⋂ B, dimana seluruh elemennya adalah anggota A
sekaligus anggota B. Misal kita tahu bahwa A telah terjadi lebih dulu, maka seluruh
kemungkinan di luar peristiwa A menjadi tidak mungkin. Kini kita hanya memperhatikan
seluruh hasil yang hanya ada didalam event A, digambarkan sebagai berikut:

Gbr 2. U setelah A terjadi

Kita lihat bahwa bagian peristiwa B yang masih relevan (masih mungkin terjadi) setelah
peristiwa terjadi hanyalah B yang ada di dalam A, atau B ⋂ A.

Dengan demikian peluang terjadinya dua peristiwa berturut-turut, dimana A terjadi lebih dulu
lalu B menyusul terjadi (dengan kata lain: peluang terjadinya B jika A telah terjadi lebih dulu),
dinotasikan dengan P(B ∣ A) adalah:

maka:

P( A ⋂ B ) = P( B ∣ A ) P(A)

Dan sekarang misal peristiwa itu dibalik menjadi event B terjadi lebih dulu baru kemudian event B
menyusul terjadi. Maka peluang terjadinya B dengan syarat A terjadi lebih dulu adalah:
dimana kita tahu bahwa dalam teori himpunan P(A ⋂ B) = P(B ⋂ A) (sifat komutatif), sehingga:

Dari teori himpunan juga kita tahu bahwa B=(A ⋂ B) ⋃ (A ⋂ Bc) dimana (A ⋂ B) dan (A ⋂ Bc) adalah
disjoint (saling bebas, tidak saling berpotongan), maka:

P(B) = P(A ⋂ B) + P(A ⋂ Bc)

= P(A ∣ B) P(B) + P( A ∣ Bc ) P(Bc)

sehingga disubtitusikan ke persamaan diatas menjadi:

Hasil diatas adalah bentuk dasar dari teorema Bayes.

Yang menjadi catatan diatas bahwa A dan A c adalah partisi dari semesta sedemikian hingga A ⋃ Ac = S
dan A dan Ac adalah disjoint. Sehingga seandainya pun semesta himpunan dipartisi sejumlah n partisi
sedemikian hingga:

maka persamaan teorema Bayes diatas disesuaikan menjadi:

Lebih jelasnya lihat ilustrasi dibawah ini:

Misal S=A1 + A2 + A3 + A4, yang berarti semesta S dipartisi menjadi empat partisi, kemudian didalam S
juga terdapat event B. Digambarkan sebagai berikut:

Gbr 3. Empat event Ai yang mempartisi S dan satu event B

Misal event B terjadi lebih dulu, sehingga seluruh kemungkinan event di luar B menjadi tidak mungkin
terjadi. Sehingga diilustrasikan sebagai berikut:

Gbr 5. Semesta terpotong setelah event B terjadi