BAB 11

REGRESI BERGANDA :
METODE BAYESIAN
OLEH : SITI CHOIRUN NISAK
PROGRAM PASCASARJANA STATISTIKA
FAKULTAS MIPA
UNIVERSITAS BRAWIJAYA
2014

PENDAHULUAN

Regresi linier berganda merupakan salah satu model linier yang

melibatkan variabel respon dan variabel prediktor didalamnya.
Pada dasarnya terdapat dua paradigma utama dalam pendugaan
parameter yaitu paradigma frekuentist dengan pendekatan klasik
dan paradigma Bayesian dengan pendekatan Bayesian.
Metode klasik mendasarkan inferensinya hanya pada informasi
yang dikandung dalam sampel. Pendekatan Bayes menggabungkan
informasi yang dikandung dalam sampel dengan informasi lain yang
telah tersedia sebelumnya. Metode klasik parameter yang
dihasilkan bersifat konstan sedangkan pada metode Bayesian
parameter diperlakukan sebagai variabel acak yang memiliki
distribusi.

Elemen Statistik pada Bayesian

Dalam statistik Bayesian, nilai parameter dinyatakan menggunakan

teori probabilitas.
Fungsi kepadatan peluang untuk parameter dan mencerminkan
kredibilitas nilai yang mungkin untuk parameter ini.
Tujuan dari pendekatan Bayesian adalah dengan menggunakan
data untuk memperbarui distribusi parameter, dan kemudian
menarik kesimpulan menggunakan distribusi yang telah diketahui.
Statistik merupakan simbol untuk merepresentasikan general
vektor dari parameter. Symbol f,g,h,k,p,q,r dan t adalah fungsi
densitas.

Teorema Bayesian menunjukkan jika p() adalah distribusi prior

untuk informasi awal dari data y, kemudian
adalah distribusi
posterior atau informasi dari data y itu sendiri maka dengan
mengkombinasikan distribusi prior p() dan likelihood dari
diperoleh:

Dimana merupakan peluang gabungan

Dengan menggunakan conditional densitas
dan persamaan diatas menjadi:

Persamaan tersebut merupakan teorema Bayesian.

dapat ditulis

Marginal densitas
merupakan suatu konstanta (total probability),
sehingga persamaan tersebut dapat dituliskan dalam bentuk
proporsional sebagai berikut:

Dimana merupakan fungsi likelihood yang dapat pula dituliskan

dalam bentuk

Distribusi posterior yang terbentuk digunakan sebagai dasar untuk

inferensianya, dan pemberian nilai parameter pada distribusi prior
akan sangat mempengaruhi bentuk distribusi posterior yang
didapatkan pada informasi data.

Regresi Linier Berganda dengan Bayesian

Regresi berganda dengan bayes hampir sama dengan

regresi klasik kecuali pada penentuan distribusi prior
parameter. Penentun prior sangat penting dalam
Bayesian modeling.

Bayesian Regresi Linier Berganda dengan Prior

Conjugate

Pada metode Bayesian, semua parameter diperlakukan sebagai

variabel sehingga parameter memiliki sebaran distribusi. Dari
alasan tersebut parameter akan mempunyai nilai dalam domain
populasi , dengan densitas f(). Dan densitas ini yang akan
dinamakan sebagai prior dari , dengan adanya informasi prior
yang dipadukan dengan data,Y, digunakan dalam membentuk
posterior , maka perhitungan posteriornya akan semakin mudah
yaitu dengan menghitung densitas bersyarat dari diberikan Y=y .
Distribusi prior dikelompokkan menjadi dua macam yaitu Conjugate
prior dan non-conjugate prior. Prior conjugate merupakan prior yang
sesuai atau terkait dengan pola model likelihood datanya.
Penggunaan
prior
conjugate
mempermudah
dalam
mengkalkulasikan posterior karena pada prior conjugate, distribusi
posteriornya telah diketahui.

Penambahan: Macam Conjugate Prior

Pada regresi, nilai

merupakan kuadrat tengah galat regresi,
memiliki distribusi posterior gamma, dan dilogikakan dengan
Dengan menggunakan parameterisasi, Bayesian untuk regresi linier
berganda,

Prior dari parameter dan

parameter dari prior parameter regresi

k adalah banyak variabel prediktor sedangkan, n adalah banyak
observasi.

Prior Gabungan dari Parameter

Dimana

dan semua factor yang tidak melibatkan

variabel acak dikumpulkan kebentuk normalisasi konstan

Sehingga distribusi Posteriornya adalah:

Dimana

dan semua factor yang tidak melibatkan

variabel acak dikumpulkan kebentuk normalisasi konstan

Disederhanakan menjadi:

Dimana:

Marginal Posterior

marjinal posterior yang dinotasikan dengan

distribusi t multivariate dengan parameter

Marginal posterior diperoleh dari integral berikut:

Dapat dituliskan:

adalah

Disederhanakan lagi sehingga diperoleh

marginal adalah sebagai berikut:

fungsi

Karena integral dalam ekspresi sebelumnya adalah sebanding

dengan integral dari densitas normal multivariat gabungan, maka
diperoleh

Penduga Titik Bayesian dan Pendugaan Selang

Koefisisen Regresi

Uji Hipotesis pada Koefisien Regresi pada

Bayesian Inference

Pendekatan yang digunakan adalah dengan distribusi posterior

(dalam hal ini distribusi t dengan derajat kebebasan (
untuk
menghitung probabilitas

Pengujian hipotesis kelayakan model pada Bayesian dapat

menggunakan beberapa statistik uji. Misalnya, Schwarz(1978)
mengajukan Bayesian Information Criterion (BIC) untuk model regresi
berganda, dan Spiegelhalter et al. (2002) mengajukan Deviance
Information Criterion (DIC) untuk general model Bayesian. Model
dengan nilai criteria terendah yang dipilih. Pemilihan model dalam
Bayesian merupakan penelitian saat ini.

Kasus Khusus Bayesian Regresi Linier Berganda

Bayesian dengan Simulasi Markov Chain Monte

Carlo

Metode Bayesian cukup sulit diselesaikan secara analitik sehingga

untuk mengatasi masalah tersebut, perlu dikembangkan analisis
numerik dengan suatu metode simulasi.
MCMC merupakan suatu metode simulasi berupa perpaduan antara
Monte Carlo dan sifat Markov Chain untuk mendapatkan data
sampel variabel random dengan teknik sampling tertentu.
Ross, 2006,
metode MCMC merupakan metode simulasi untuk
mendapatkan data sampel suatu peubah acak dengan teknik
sampling berdasarkan sifat rantai markov.
Penggunaan MCMC pada analisis Bayesian membutuhkan skenario
sampling yang tepat. Skenario sampling digunakan untuk
mendapatkan sampel dari suatu distribusi tertentu yang diketahui.
Pembangkit variabel random yang sering digunakan pada umumnya
adalah Gibbs Sampler (Gilks et al. 1998). Dalam melakukan proses
simulasi, Gibbs Sampler menggunakan sebaran bersyarat untuk
membangkitkan data sampel peubah acak.

Sesuai dengan marginal posterior yang diperoleh dari model

regresi untuk setiap parameter dalam model regresi, maka estimasi
parameter model dalam MCMC akan cukup berbeda caranya.
Hasil joint posterior digunakan sebagai awalan dalam membangun
MCMC untuk model regresi.
MCMC khususnya Gibbs sampler yang digunakan akan menirukan
proses markov yang mencatat proses sekarang hanya akan
dipengaruhi oleh satu step sebelumnya (Casella dan George, 1992).
Proses Gibbs sampler akan membangun step-step proses MCMCnya dengan membuatkan full conditional posterior untuk setiap
posterior parameter dan menyusunnya bergantian sebagai step
iteratif simulasi stokhastiknya (Gilks et al. 1998, Casella and George
1992).

Proses Gibbs Sampling untuk model regresi

Full conditional posterior
untuk regresi
adalah
sebagai: berikut
berganda
linier
adalah
Dengan memberikan nilai awal setiap parameter model dalam

maka algoritma Gibbs sampler dapat disusun.

Pembangkitan data dan

Kekonvergenan dapat diketahui dengan melihat plot dynamic trace

dan juga dapat dilihat dari nilai MC error.
diulang

Plot dynamic trace

MC Error

konvergen

Pola acak
kurang dari 5% simpangan baku

CONTOH-Data Lemak dalam Tubuh

Hasil Pendugaan Bayesian

Prediktif Posterior

Menduga Nilai y jika x diketahui

Misal nilai y yang ingin diduga didefinisikan sebagai

Pada Bayesian untuk menduga nilai y jika x1=20 dan x2=25
diperoleh dari integrasi berikut:

Integral tersebut sangat sulit dalam kalkulasinya, sehingga

diperlukan algoritma komputasional untuk mendapatkan nilai
posterior prediktif dari yaitu dengan Gibbs Sampling.
Distribusi posterior yang terbentuk untuk nilai .

STARLIGHT
SHINE UPON U ALL

THANK YOU