Anda di halaman 1dari 13

SKRIPSI

ANALISIS BAYESIAN UNTUK REGRESI KUANTIL DENGAN


MENGGUNAKAN ALGORITMA GIBBS SAMPLING

BAYESIAN ANALYSIS FOR QUANTILE REGRESSION USING GIBBS


SAMPLING ALGORITHM

Diajukan untuk memenuhi salah satu syarat memperoleh derajat


Sarjana Sains Matematika

ANNISA HANIF
09/283391/PA/12540

PROGRAM STUDI STATISTIKA


JURUSAN MATEMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS GADJAH MADA
YOGYAKARTA
2013

DAFTAR ISI

HALAMAN JUDUL ....................................................................................


HALAMAN PENGESAHAN .......................................................................
HALAMAN PERNYATAAN.......................................................................
HALAMAN PERSEMBAHAN ....................................................................
KATA PENGANTAR ..................................................................................
DAFTAR ISI ................................................................................................
DAFTAR TABEL ........................................................................................
DAFTAR GAMBAR ....................................................................................
DAFTAR LAMPIRAN .................................................................................
INTISARI .....................................................................................................
ABSTRACT ...................................................................................................

i
ii
iii
iv
v
vii
ix
x
xi
xii
xiii

BAB I.

PENDAHULUAN ......................................................................
1.1. Latar Belakang ....................................................................
1.2. Pembatasan Masalah ............................................................
1.3. Tujuan Penulisan..................................................................
1.4. Tinjauan Pustaka ..................................................................
1.5. Metode Penulisan .................................................................
1.6. Sistematika Penulisan ..........................................................

1
1
3
3
3
4
5

BAB II.

LANDASAN TEORI..................................................................
2.1. Plobabilitas Bersyarat dan Independensi...............................
2.2. Matriks ................................................................................
2.2.1. Pengertian Matriks ....................................................
2.2.2. Operasi Matriks ..........................................................
2.3. Variabel Random .................................................................
2.4. Distribusi Variabel Random .................................................
2.4.1. Distribusi Normal .......................................................
2.4.2. Distribusi Normal Multivariat ....................................
2.4.3. Distribusi Eksponensial ..............................................
2.4.4. Distribusi Gamma ......................................................
2.4.2. Distribusi Inverse Gamma .........................................
2.5. Kuantil .................................................................................
2.6. Fungsi Karakteristik .............................................................
2.7. Analisis Regresi Ganda ........................................................
2.8. Ordinary Least Square (OLS) .............................................
2.8.1. Estimator Ordinary Least Square ...............................
2.9. Fungsi Likelihood................................................................
2.10. Metode Bayesian ...............................................................
2.10.1. Inferensi Bayesian ....................................................
2.10.2. Distribusi Posterior...................................................
2.10.3. Distribusi Prior Sekawan ..........................................

6
6
7
7
9
11
11
11
12
12
12
12
13
13
13
14
15
16
16
17
17
18

vii

2.10.4. Prior Non Informatif.................................................


2.10.5. Prior Wajar ...............................................................
2.11. Markov Chain Monte Carlo ..............................................
2.11.1. Gibbs Sampling ........................................................
2.12. MSE dan R2 ......................................................................

18
18
19
20
20

BAB III

ANALISIS BAYESIAN UNTUK REGRESI KUANTIL............


3.1. Regresi Kuantil ....................................................................
3.1.1. Quantile Process ........................................................
3.2. Asymmetric Laplace Distribution .........................................
3.3. Analisis Bayesian untuk Regresi Kuantil ..............................

22
22
24
24
28

BAB IV

STUDI KASUS ..........................................................................


4.1. Deskripsi Data .....................................................................
4.2. Pengecekan Linearitas..........................................................
4.3. Pembentukan Model Regresi dengan Metode OLS ..............
4.4. Model Regresi Kuantil ........................................................
4.1.1. Plot Quantile Process .................................................
4.1.1. Pembentukan Model Regresi Kuantil .........................
4.5. Analisis Model Regresi Kuantil Menggunakan
Metode Bayesian ......................................................................
4.6. Perbandingan Model Regresi OLS, Regresi Kuantil,
dan Regresi Kuantil Bayesian ...................................................

36
37
38
38
40
40
41

BAB V

43
44

PENUTUP .................................................................................. 47
5.1. Kesimpulan .......................................................................... 47
5.2. Saran.................................................................................... 48

DAFTAR PUSTAKA ................................................................................... 49


LAMPIRAN ................................................................................................. 51

viii

BAB V
PENUTUP
5.1.

Kesimpulan
Berdasarkan pembahasan dan studi kasus dari bab-bab sebelumnya,

didapatkan kesimpulan sebagai berikut :


1. Regresi kuantil dapat digunakan untuk mengatasi keterbatasan regresi linear
dalam menganalisis sejumlah data yang berbentuk lonceng tidak simetris dan
regresi kuantil sangat berguna jika distribusi data tidak homogen.
2. Keseluruhan distribusi kondisional dari variabel dependen dapat dimodelkan
berdasarkan nilai dari kuantil ke- .
3. Heteroskedastisitas dapat dideteksi dengan mengguankan plot quantile
process. Jika data ternyata heteroskedastisitas, estimator regresi kuantil bisa
lebih efisien daripada regresi OLS.
4. Estimasi regresi kuantil dengan menggunakan metode Bayesian digunakan
ketika peneliti ingin memasukkan informasi prior dari parameter yang
digunakan.
5. Metode

Bayesian

dengan

menggunakan

algoritma

Gibbs

sampling

menghasilkan estimator yang lebih baik daripada estimator yang dihasilkan


oleh model regresi dengan metode OLS dan model regresi kuantil. Karena
metode Bayesian memiliki nilai standar error lebih kecil, MSE yang lebih
kecil, dan juga nilai R2 lebih besar.
6. Dari analisis yang dilakukan, diperoleh model persamaan regresi yang terbaik
adalah pada saat menggunakan analisis regresi kuantil Bayesian dengan nilai
kuantil 0,4. Model :

= 220,81 38,75(

) + 1,52(

) + 15,63(

BI rate mempengaruhi harga emas secara negatif, artinya jika nilai BI rate turun,
maka harga emas pun turun. Sedangkan migas dan inflasi mempengaruhi secara
positif. Artinya, harga emas akan naik jika inflasi dan harga migas naik.

47

48

5.2.

Saran
Saran untuk penelitian selanjutnya yaitu :

1. Model regresi kuantil dengan metode Bayesian yang dibahas dalam skripsi ini
adalah model linear, bagi yang ingin mendalami lebih lanjut dapat digunakan
model

selain

model

linear

seperti

model

nonparametrik,

model

semiparametrik, model tobit, dan lainnya.


2. Selain itu disarankan mencoba mengestimasi model regresi kuantil untuk
diaplikasikan diberbagai kasus seperti penggunaan model regresi kuantil untuk
mendeteksi perilaku herding atau digunakan untuk analisis stock market
return dan lainnya.

BAB I
PENDAHULUAN
1.1.

Latar Belakang
Berawal dari kebutuhan analisis data untuk memprediksi suatu nilai bila

diberikan suatu nilai-nilai variabel prediktor ( ) pada beberapa kasus, maka


metode regresi pun semakin berkembang. Analisis Regresi merupakan alat
statistik yang banyak digunakan di berbagai bidang. Analisis tersebut bertujuan
untuk mengetahui hubungan sebab-akibat antara satu variabel dengan variabel
yang lain.
Ada beberapa metode yang digunakan untuk menduga parameterparameter dalam persamaan regresi, salah satunya yang paling sering digunakan
adalah metode Ordinary Least Square (OLS). Secara matematik, penentuan
parameter regresi ini dengan cara meminimumkan jumlah kuadrat dari residualnya
(Walpole dan Myers, 1986). Dalam metode OLS, diharuskan memenuhi asumsiasumsi yang ada sehingga hasil estimasinya memenuhi sifat Best, Linear,
Unbiased Estimator (BLUE). Namun metode OLS dikenal peka terhadap
penyimpangan asumsi pada data, jika data tidak memenuhi salah satu asumsi,
maka penduga OLS tidak lagi baik digunakan. Asumsi normalitas dan
homoskedastisitas seringkali tidak terpenuhi ketika data mengandung pencilan
(outlier). Jika data mengandung pencilan (outlier), maka data tidak lagi berbentuk
simetris sehingga nilai mean menjadi sangat peka dengan adanya data outlier dan
kurang tepat digunakan. Terkadang untuk mengatasi hal tersebut, peneliti akan
melakukan transformasi terhadap data dengan maksud agar asumsi terpenuhi.
Namun seringkali asumsi tersebut tidak terpenuhi meskipun telah dilakukan
transformasi yang pada akhirnya mengakibatkan dugaan berbias.
Kemudian berkembanglah metode Median Regression dengan pendekatan
Least Absolute Deviation (LAD) yang dikembangkan dengan mengganti
pendekatan rata-rata pada OLS menjadi median. Permasalahannya adalah metode
median regression hanya dapat melihat dua kelompok data yang yang dibagi pada
nilai tengahmya saja dan ketika terdapat data yang berbentuk lonceng tidak

simetris atau kemiringan (titik pusat) data bukan terletak pada mediannya
melainkan pada potongan kuantil tertentu. Maka pendekatan median dirasa kurang
untuk mengatasi permasalahan tersebut.
Selanjutnya dikembangkan metode regresi kuantil yang pada umumnya
dipakai dalam kasus ekonometrika. Regresi kuantil tidak membutuhkan asumsi
error dalam model dan estimatornya bersifat tegar terhadap pencilan (outlier)
pada variabel respon. Pendekatannya adalah memisahkan atau membagi data yang
dicurigai ada perbedaan nilai taksiran pada kuantil-kuantil tertentu. Dalam
penarikan sampel, biasanya diperoleh informasi parameter yang akan diestimasi.
Jika informasi tersebut ingin dimasukkan dalam analisis data, maka metode
estimasi yang digunakan tidak memungkinkan untuk memasukkan informasi
tersebut. Oleh karena itu diperlukan metode estimasi lain dengan melibatkan
parameter yang akan diestimasi.
Bayes

memperkenalkan

suatu

metode

yang

diperlukan

untuk

mengestimasi parameter yang akan diestimasi dengan memanfaatkan informasi


awal dan bentuk distribusi awal (prior) dari suatu populasi yang dikenal dengan
metode Bayesian. Informasi ini kemudian digabungkan dengan informasi dari
sampel yang digunakan dalam mengestimasi parameter populasi. Pada metode
Bayesian, peneliti harus menentukan distribusi prior dari parameter yang ditaksir.
Distribusi prior ini dapat berasal dari data penelitian sebelumnya atau berdasarkan
intuisi seorang peneliti. Dugaan penentuan distribusi parameter sangatlah
subyektif (Hogg dan Craig, 1978).
Setelah informasi dari data yang didapat dari pengambilan sampel
digabungkan dengan informasi prior dari parameter, akan didapat distribusi
posterior dari parameter. Rataan dari distribusi posterior ini yang akan menjadi
parameter regresi dengan metode Bayesian.
Secara analitik, memperoleh marginal posterior merupakan suatu hal yang
sulit. Dalam model yang rumit, mengintegralkan parameter dari distribusi
posterior bersama atau bahkan menentukan kenormalan dari distribusi posterior
secara umum adalah hal yang tidak mungkin. Terlebih lagi menghitung fungsi
distribusi posterior dari parameter itu sulit dilakukan. Metode Bayesian mengatasi

hal ini dengan bantuan algoritma MCMC (Markov Chain Monte Carlo). MCMC
(Markov Chain Monte Carlo) dapat dengan mudah digunakan untuk mendapatkan
ditribusi poterior bahkan dalam situasi yang kompleks.
Penulisan tugas akhir dengan judul Analisis Bayesian untuk Regresi Kuantil
dengan Menggunakan Algoritma Gibbs Sampling ini mengemukakan kombinasi
antara regresi kuantil dan metode Bayesian. Serta, mengkombinasikan antara
inferensi Bayesian dengan bantuan algoritma Gibbs sampling.

1.2.

Pembatasan Masalah
Model regresi kuantil memiliki lingkup yang sangat luas untuk dibahas.

Batasan masalah dalam skripsi ini sangat diperlukan agar tidak terjadi penyimpangan
dengan tujuan awal dan penyelesaian masalah lebih terkonsentrasi. Oleh karena itu,
dalam skripsi ini hanya akan dibahas estimasi parameter model Regresi Kuantil
dengan metode Bayesian melalui metode Markov Chain Monte Carlo (MCMC)
dengan algoritma Gibbs sampling.

1.3.

Tujuan Penulisan
Skripsi yang berjudul Analisis Bayesian untuk Regresi Kuantil dengan

Menggunakan Algoritma Gibbs Sampling pada dasarnya bertujuan untuk :

1. Mempelajari model regresi kuantil.


2. Mempelajari metode Bayesian dan mengimplementasikannya melalui
metode Markov Chain Monte Carlo dengan algoritma Gibbs sampling
untuk mengestimasi parameter model regresi kuantil.
3. Mengaplikasikan regresi kuantil Bayesian untuk menganalisis faktor apa
saja yang mempengaruhi harga emas.

1.4.

Tinjauan Pustaka
Model regresi merupakan model yang paling sering digunakan dalam

bidang ekonometri. Regresi kuantil dikemukakan oleh Koenker dan Basset pada
tahun 1978. Regresi ini berguna untuk menganalisis sejumlah data yang
bentuknya tidak simetris dan juga berguna jika distribusi data tidak homogen.
Regresi kuantil juga bersifat tegar (robust) terhadap pencilan (outlier). Pendekatan

metode regresi kuantil dengan memisahkan atau membagi data menjadi dua atau
lebih kelompok dimana dicurigai adanya perbedaan nilai dugaan pada kuantilkuantil tertentu.
Pada tahun 2001 Keming Yu dan Rana A. Moyeed mempopulerkan
metode Bayesian pada regesi kuantil. Keming Yu dan Rana A. Moyeed
memperkenalkan gagasan regresi kuantil menggunakan fungsi likelihood yang
didasarkan pada asymmetric Laplace distribution. Penggunaan distribusi ini
merupakan cara alami dan efektif untuk pemodelan regresi kuantil Bayesian. Yu
dan Moyeed memperkenalkan regresi kuantil Bayesian menggunakan metode
Markov Chain Monte Carlo (MCMC) untuk inferensi posteriornya. Dalam
metodenya

mereka

menggunakan

algoritma

Metropolis-Hasting

untuk

menganalisis regresi kuantil bayesian.


Pada tahun 2002, Tsionas mengembangkan regresi kuantil Bayesian
dengan algoritma Gibbs sampling. Selanjutnya tahun 2009, Hiedo Kozumi dan
Kobayashi mengembangkan regresi kuantil Bayesian menggunakan asymmetric
Laplace distribution dan mengemukakan metode MCMC dengan bantuan
algoritma Gibbs sampling yang berdasarkan pada mixture representation dari
asymmetric

Laplace

distribution.

Mereka

memaparkan

bahwa

dengan

menggunakan kondisi tersebut, desitas dari posterior akan sangat mudah


dikerjakan.
Pada tahun 2010, Rizon Agustan Sinaga dalam skripsinya membahas
mengenai regresi kuantil untuk menjelaskan dispersi dari efek prediktor. Tahun
2013, Latifah Ratnawati dalam skripsinya juga membahas mengenai regresi
kuantil dengan menggunakan estimasi Bayesian. Latifah menggunakan metode
MCMC dengan menggunakan algoritma Metropolis-Hasting.

1.5.

Metode Penulisan
Metode yang digunakan dalam penyusunan skripsi ini adalah studi

literatur yang didapat dari perpustakaan, buku-buku, jurnal-jurnal, dan situs-situs


internet yang berhubungan dengan tema skripsi ini. Pengerjaan skripsi ini
menggunakan perangkat lunak (software) R 2.15.3.

1.6.

Sistematika Penulisan
Skripsi ini disusun dengan sistematika penulisan sebagai berikut :

BAB I

PENDAHULUAN
Bab ini membahas latar belakang masalah, pembatasan masalah,
tujuan penulisan, metode penulisan, dan sistematika penulisan.

BAB II

DASAR TEORI
Bab ini membahas tentang teori-teori yang menunjang pembahasan
pada bab-bab berikutnya.

BAB III

ANALISIS BAYESIAN UNTUK REGRESI KUANTIL


Bab ini berisi pembahasan mengenai penggunakaan metode
Bayesian dalam mengestimasi parameter model regresi ruantil
dengan menggunakan algoritma Gibbs sampling.

BAB IV

STUDI KASUS
Bab ini berisi tentang deskripsi data, estimasi parameter
menggunakan metode OLS, regresi kuantil dan metode Bayesian.

BAB V

PENUTUP
Pada bab terakhir ini, diberikan beberapa kesimpulan dan saran
dari hasil pembahasan pada bab-bab sebelumnya.

DAFTAR PUSTAKA

Agustan, Rizon., 2010, Regresi Kuantil untuk Menjelaskan Dispersi dari Efek
Prediktor, Skripsi, Jurusan Matematika FMIPA UGM, Yogyakarta.
Bain, L.J. and Engelhardt, M., 1992, Introduction to Probability and
Mathematical Statistics, 2nd Edition, Duxbury Press, California.
Gujarati, 1999, Essentials of Econometrics,
Gujarati, 2004, Basic Econometrics, 4th edition, The McGraw-Hill Companies,
New Jersey.
Hamada, M. S., Wilson, A. G., Reese, C. S., and Martz, H. F., 2008, Bayesian
Reliability, Springer Science+Bussiness Media, LLC, New York.
Hoff, P.D., 2009, A First Course in Bayesian Statistical Methods, Springer, New
York.
Koenker, R., 2005, Quantile Regression, Camridge University Press, London.
Koenker, R. and Basset, G., 1978, Regression Quantile, Econometrica, Vol.46,
No.1.
Kotz et al, 2003, An Asymmetric Multivariate Laplace Distribution, New York.
Kozumi, H. and Kobayashi, G., 2009, Gibbs Sampling Methods for Bayesian
Quantile Regression, Technical Report, Kobe University.
Montgomery, Douglas, C. and Peck, Elizabeth, A., 1982, Introduction to Linear
Regression Analysis, New York.
Ratnawati, Latifah, 2013, Regresi Kuantil dengan Metode Bayesian, Skripsi,
Jurusan Matematika FMIPA UGM, Yogyakarta.
Reed, Craig., 2011, Bayesian Parameter Estimation and Variable Selection for
Quantile Regression, University of Brunel, West London.
Robert, V, Hogg. and Allen, Craig., 1978, Introduction to Mathematical Statistics,
4th Edition, USA.
Rosadi, D., 2005, Diktat Praktikum Komputasi Statistika Pengantar Analisa
Statisika dengan R, Program Studi Statistika FMIPA UGM, Yogyakarta.
Soejoeti, Z. dan Subanar, 1988, Inferensi Bayesian, Universitas Terbuka, Jakarta.
Subanar, 2006, Inferensi Bayesian, Penerbit Universitas Terbuka, Jakarta.
Subanar, 2011, Diktat Kuliah Pengantar Teori Ukuran dan Probabilitasl,
Program Studi Statistika FMIPA UGM, Yogyakarta.
Tsionas, E., 2003, Bayesian Quantile Inference, Greece.
Walpole, 1993, Pengantar Statistika, Gramedia, Jakarta.

49

50

Yu, K. and Moyeed, R.A., 2001, Bayesian Quantile Regression, Plymouth PLA
8AA UK.
Yu, K. and Zhang, Jin, 2005, Bayesian Quantile Regression:An Application to the
Wage Distribution in 1990s Britain, Brunel University, UK.
Yu, K. and Lu, Zidu, 2003, Quantile Regression : Applications and Current
Research Areas, University of Plymouth, UK.
Zulaela, 2010, Modul Praktikum Analisis Regresi Terapan, Laboratorium
Komputasi Matematika dan Statisika UGM, Yogyakarta.

ABSTRACT
BAYESIAN ANALYSIS FOR QUANTILE REGRESSION USING GIBBS
SAMPLING ALGORITHM
by
Annisa Hanif
09/283391/PA/12540

Quantile regression has received increasing attention both from a


theoretical and from an empirical view point. It is a statistical procedure that
minimizing sums of asymmetrically weighted absolute and can be used to explore
the relationship between quantile of response distribution. Quantile regression
can be used to overcome the limitation of linear regression to analyze data not
symmetric and quantile regression is useful if the distribution of datais not
homogeneous.
Quantile regression can be estimated using Bayesian method. Bayesian
method is a method of analysis based on information from sample and prior
information. Combination of those informations is called posterior. For looking
posterior dsitribution often result in calculation can not be solved with analytical
so Gibbs sampling approach is used. Estimation of parameters in the model is the
mean of the posterior distribution that obtained from Gibbs sampling process. In
this paper discused quantile regression using an asymmetric Laplace distribution
from Bayesian point of view. Gibbs sampling is used to find the estimator of
quantile regression model based on a location-scale mixture representation
asymmetric Laplace distribution.
The case study in this paper discusses the factors that effect the gold
price. The estimation result of quantile regression using Bayesian method will be
compared with linear regression using OLS method, and compared with quantile
regression method. And then it was concluded that the Bayesian method is better
than the otherconclusion.

Keywords: Quantile Regression, Bayesian, Gibbs sampling, Asymmetric Laplace


Distribution

xiii

Anda mungkin juga menyukai