id
oleh
NURUL KUSTINAH
M0106057
SKRIPSI
ditulis dan diajukan untuk memenuhi sebagian persyaratan
memperoleh gelar Sarjana Sains Matematika
commit to user
perpustakaan.uns.ac.id digilib.uns.ac.id
SKRIPSI
PEMILIHAN MODEL REGRESI TERBAIK DENGAN
BAYESIAN INFORMATION CRITERION (BIC)
dibimbing oleh
Pembimbing I Pembimbing II
commit to user
ii
perpustakaan.uns.ac.id digilib.uns.ac.id
ABSTRAK
Pemilihan model regresi linear terbaik adalah memilih model regresi linear
yang memiliki kecocokan dengan data. Terdapat beberapa kriteria sebagai tolak
ukur untuk menilai suatu kecocokan model dengan data, salah satu satunya
adalah BIC.
BIC merupakan metode pemilihan model terbaik dari beberapa kandidat
model. Kriteria pemilihan model dengan menggunakan BIC didasarkan pada
teorema Bayesian dan metode MLE. Tujuan dari penelitian ini adalah mengkaji
ulang metode BIC dan menerapkannya dalam pemilihan model regresi terbaik.
Berdasarkan hasil penelitian menunjukkan bahwa BIC memiliki bentuk umum
yaitu
| = −2ln
+ ln .
Dalam memilih model regresi terbaik dengan BIC dilakukan dengan memilih
model dengan nilai BIC terkecil yang didapat dari
"
= ln2 + ln ! + $# ln + 1.
commit to user
iii
perpustakaan.uns.ac.id digilib.uns.ac.id
ABSTRACT
The best regression model selection is method for selection the most
appropriate fit between the regression model and the data. There are several
criterias as a benchmark to evaluate the suitability of the model with data, one of
them is BIC.
BIC is a method in model selection to choose the best of several candidate
models. Criteria for model selection using BIC is based on Bayesian theorem and
MLE. The aims of this research are to review the BIC and apply it in the best
regression model selection. Based on the results, BIC has the general form
| = −2ln
+ ln .
In selecting the best regression model with BIC performed by selecting the model
with the smallest BIC value obtained from
"
= ln2 + ln ! + # ln + 1.
$
commit to user
iv
perpustakaan.uns.ac.id digilib.uns.ac.id
MOTO
“Jangan pernah menghindar dan selalu berkata tidak, majulah ke depan, hadapi
hidupmu dan berkatalah, ya, aku bisa!”
commit to user
v
perpustakaan.uns.ac.id digilib.uns.ac.id
PERSEMBAHAN
Alhamdulillahirobbil ‘aalamiin...
Damar, Bili, Uswa, Desi, Umi, Siti & Ahmad yang memberi semangat
commit to user
vi
perpustakaan.uns.ac.id digilib.uns.ac.id
KATA PENGANTAR
Puji syukur penulis panjatkan kehadirat Tuhan Yang Maha Esa atas segala
rahmat dan hidayah-Nya sehingga penulis dapat menyelesaikan skripsi ini. Selain
itu, penulis mengucapkan terima kasih kepada seluruh pihak yang telah membantu
dalam penyusunan skripsi ini.
1. Dra. Yuliana Susanti, M.Si dan Bowo Winarno, S.Si, M.Kom selaku Dosen
Pembimbing I dan Dosen Pembimbing II yang telah memberikan bimbingan
kepada penulis.
2. Endah Krisna Murti yang telah memberi bantuan diskusi materi kepada
penulis.
3. Semua pihak yang telah membantu sehingga skripsi ini dapat selesai.
Semoga skripsi ini bermanfaat untuk semua pihak.
Penulis
commit to user
vii
perpustakaan.uns.ac.id digilib.uns.ac.id
DAFTAR ISI
Halaman
JUDUL ..................................................................................................... i
PENGESAHAN ....................................................................................... ii
ABSTRAK ............................................................................................. iii
ABSTRACT ............................................................................................. iv
MOTO ..................................................................................................... v
PERSEMBAHAN ................................................................................. vi
KATA PENGANTAR ........................................................................... vii
DAFTAR ISI .......................................................................................... viii
DAFTAR GAMBAR .............................................................................. ix
DAFTAR TABEL ................................................................................. xi
BAB I PENDAHULUAN ..................................................................... 1
1.1 Latar Belakang Masalah ................................................................ 1
1.2 Rumusan Masalah ..................................................................... 2
1.3 Tujuan Penelitian ..................................................................... 2
1.4 Manfaat Penelitian ..................................................................... 2
BAB II LANDASAN TEORI .................................................................. 3
2.1 Tinjauan Pustaka ..................................................................... 3
2.1.1 Probabilitas Bersyarat .................................................... 3
2.1.2 Estimasi Maksimum Likelihood ...................................... 4
2.1.3 Distribusi Prior dan Distribusi Posterior ........................ 5
2.1.4 Teorema Bayes ................................................................ 6
2.1.5 Faktor Bayes ..................................................................... 7
2.1.6 Uji Asumsi Klasik .............................................................. 8
2.1.7 Analisis Model Regresi .................................................... 11
2.2 Kerangka Pemikiran ..................................................................... 12
BAB III METODE PENELITIAN .......................................................... 13
BAB IV PEMBAHASAN ...................................................................... 14
4.1 Bayesian information criterion(BIC) ............................................... 14
commit to user
viii
perpustakaan.uns.ac.id digilib.uns.ac.id
commit to user
ix
perpustakaan.uns.ac.id digilib.uns.ac.id
DAFTAR GAMBAR
Halaman
Gambar 2.1 Pola plot residu terhadap & .................................................. 9
Gambar 4.1 Plot probabilitas dari residu ...........................................….. 20
Gambar 4.2 Plot residu dengan & .............................................……….. 21
commit to user
x
perpustakaan.uns.ac.id digilib.uns.ac.id
DAFTAR TABEL
Halaman
Tabel 4.1 Hasil Uji Multikolinearitas …………............…………….… 21
Tabel 4.2 Hasil Uji F .............................................................................. 23
Tabel 4.3 Hasil Uji t ................................................................................ 24
Tabel 4.4 Nilai BIC dari model ............................................................... 24
commit to user
xi
perpustakaan.uns.ac.id digilib.uns.ac.id
BAB I
PENDAHULUAN
commit to user
1
perpustakaan.uns.ac.id digilib.uns.ac.id
2
commit to user
perpustakaan.uns.ac.id digilib.uns.ac.id
BAB II
LANDASAN TEORI
2. P (S) = 1
= ∑ .
3. ⋃
∩
| =
.
commit to user
3
perpustakaan.uns.ac.id digilib.uns.ac.id
4
Definisi 2.3. S adalah suatu ruang sampel dari suatu percobaan. A1 , A2, ... , Ak
adalah peristiwa-peristiwa di dalam S, sedemikian hingga ∩ = ∅ untuk
setiap ≠ dan ⋃
=
.
Teorema 2.1. (Teorema Probabilitas Total). Jika A=[ A1 , A2, ... , Ak] adalah
partisi S dan B sebarang peristiwa anggota S, maka
!) , ( =
, … , ; #* +,-! , , … , ; #.
./0
log !) , ( =
, … , ; #* +,-! , , … , ; #.
./0
commit to user
perpustakaan.uns.ac.id digilib.uns.ac.id
5
commit to user
perpustakaan.uns.ac.id digilib.uns.ac.id
6
CD,+
!#|B = .
CD
Teorema 2.4 disebut sebagai teorema Bayes. Teorema Bayes memberikan aturan
untuk menghitung probabilitas bersyarat peristiwa K diberikan A, jika masing-
masing probabilitas tak bersyarat K dan probabilitas bersyarat A yang diberikan
K diketahui. Untuk selanjutnya, K disebut probabilitas prior, |K
disebut sebagai fungsi likelihood dan K | disebut fungsi probabilitas
posterior.
commit to user
perpustakaan.uns.ac.id digilib.uns.ac.id
7
commit to user
perpustakaan.uns.ac.id digilib.uns.ac.id
8
2.1.6.2 Heteroskedastisitas
Uji heterokedastisitas bertujuan untuk mengetahui apakah variansi `
konstan. Pendeteksian kesamaan variansi dapat dilakukan dengan membuat plot
sisa terhadap t( . Plot yang diperoleh seharusnya tidak menghasilkan pola tertentu
dan terkumpul di sekitar garis lurus yang melalui titik nol.
commit to user
perpustakaan.uns.ac.id digilib.uns.ac.id
9
` `
t( t(
(a) (b)
i
` `
t( t(
(c) (d)
Jika hasil plot mirip pola pada Gambar 2.1a maka berarti asumsi
homogenitas variansi dipenuhi karena titik tersebar. Pada Gambar 2.1b
menunjukkan bahwa titik tersebar dengan variansi tidak konstan
(heteroskedastisitas). Pola pada Gambar 2.1c seharusnya tidak akan muncul
kecuali kalau ada kesalahan dalam perhitungan. Pola Gambar 2.1d menunjukkan
model yang digunakan kurang tepat, atau perlu dilakukan transformasi.
2.1.6.3 Mutikolinearitas
Menurut Montgomery dan Peck (1992), salah satu cara mendeteksi adanya
multikolinearitas dalam model adalah dengan nilai tolerance dan VIF (Variance
Inflation Factors). Matriks u = ′ A adalah matriks untuk mendeteksi adanya
multikolinearitas dengan u99 merupakan diagonal matriks u yang dapat ditulis
1
vwr9 = u99 =
1 − x9
commit to user
perpustakaan.uns.ac.id digilib.uns.ac.id
10
dengan x9 adalah nilai koefisien determinasi atau x ketika yang diregresikan
dengan variabel bebas selain . vwr9 adalah faktor perubahan variansi dalam
variabel bebas ke-j. Nilai vwr > 10 menunjukkan multikolinearitas yang kuat.
2.1.6.4 Autokorelasi
Autokorelasi adalah suatu keadaan kesalahan gangguan dari periode
tertentu berkorelasi dengan kesalahan gangguan dari periode sebelumnya. Jika
kesalahan gangguan periode y dengan y − 1 berkorelasi maka terjadi korelasi
tingkat pertama. Autokorelasi dapat dideteksi dengan berbagai cara antara lain
dengan uji Durbin Watson. Langkah-langkah pengujian autokorelasi dengan
Durbin Watson adalah sebagai berikut (Gujarati, 1995):
1. Melakukan regresi kuadrat terkecil biasa dan memperoleh residu
2. Menghitung nilai \ (statistik Durbin Watson ), dengan
∑k$k − $kA
\=
∑k $k
3. Mencari nilai \6 (batas bawah Durbin Watson) dan \z (batas atas Durbin
Watson) untuk ukuran sampel dan banyaknya variabel independen tertentu.
4. Jika de adalah tidak terdapat autokorelasi positif, maka jika
\ < \6 : menolak de
\ > \z : tidak menolak de
\6 ≤ \ ≤ \z : pengujian tidak meyakinkan
5. Jika de adalah tidak terdapat autokorelasi negatif, maka jika
\ > 4 − \6 : menolak de
\ < 4 − \z : tidak menolak de
4 − \z ≤ \ ≤ 4 − \6 : pengujian tidak meyakinkan
6. Jika de adalah tidak terdapat autokorelasi positif atau negatif, maka jika
\ < \6 : menolak de
\ > 4 − \6 : menolak de
\z < \ < 4 − \z : tidak menolak de
\6 ≤ \ ≤ \z : pengujian tidak meyakinkan
4 − \z ≤ \ ≤ 4 − \6 : pengujian tidak meyakinkan
commit to user
perpustakaan.uns.ac.id digilib.uns.ac.id
11
dengan,
xx: Rataan Kuadrat Regresi
x
: Rataan Kuadrat Sisa
Pengujian hipotesis yang digunakan adalah sebagai berikut :
a. de : = = ⋯ = = 0 (variabel independen secara bersama-sama tidak
mempunyai pengaruh yang signifikan terhadap variabel dependen)
d ∶ 9 ≠ 0, untuk 8 = 1, 2, … , (variabel independen secara bersama-sama
mempunyai pengaruh yang signifikan terhadap variabel dependen)
b. Tingkat signifikasi h
c. Daerah kritis: de ditolak jikarjklm > r,A,A
d. Statistik uji
xx
rjklm =
x
commit to user
perpustakaan.uns.ac.id digilib.uns.ac.id
BAB III
METODE PENELITIAN
Pada penelitian ini, metode yang digunakan adalah studi literatur dan
penerapan kasus, dengan pengumpulan bahan melalui buku-buku referensi dan
karya ilmiah yang meliputi hasil-hasil penelitian dan jurnal. Adapun langkah
penelitian sebagai berikut.
1. Menurunkan rumus Bayesian Information Criterion (BIC) sehingga diperoleh
bentuk umum BIC.
2. Menentukan rumus BIC berdasarkan bentuk umum yang diperoleh pada
langkah nomor 1 untuk memilih model regresi terbaik.
3. Menentukan data yang digunakan kemudian uji residu data dengan uji asumsi
klasik regresi linear
4. Pilih model regresi terbaik dengan metode BIC, dimana nilai BIC dihitung
dengan cara
a. Hitung nilai ߪෝ ଶ dari masing-masing kombinasi model
ೖ
b. Hitung nilai
ln ݊ dari masing-masing kombinasi model
commit to user
13
perpustakaan.uns.ac.id digilib.uns.ac.id
BAB IV
PEMBAHASAN
commit to user
14
perpustakaan.uns.ac.id digilib.uns.ac.id
15
Karena nilai suatu konstanta tetap untuk model
, maka untuk tujuan
model seleksi bentuk 25 dapat disederhanakan, sehingga diperoleh
Pada bentuk #3 L | g |2 , dengan mengambil ekspansi deret taylor
∞
orde ke-2 dari log Likelihood di sekitar , bentuk ln | dapat ditulis
:/
′ <ln. 1 ′ < ln.
:/
ln | ≈ ln. :/ + . − / + . − / . − /
< 2 < < ′
dengan
E
Ι>. , / = − @% @%′& .
@ BCD.% :'/ A
& &
| ≈ L. :/exp − . − / [5Ι> , ] . − /
′
(4.4)
Dari persamaan (4.4) maka bentuk #3 | g |2 dalam persamaan
∞
#3 | g θJ |k2 = #3 . :/ exp L− . − / M5Ι>. , /N. − /O
∞ ∞ ′
g |2
1
= . :/ P exp Q− . − / M5Ι>. , /N. − /R
∞
′
3 2
2π ST
= . :/
nΙ>θ J
ST ST
= . :/2π nU [Ι>. , /]
sehingga
XT XT
= −2 ln./ − 2ln{ . :/2π A nU A [Ι>. , /]}
commit to user
perpustakaan.uns.ac.id digilib.uns.ac.id
17
Metode BIC didasarkan pada metode MLE. Metode MLE ini digunakan
untuk mencari fungsi maksimum likelihood dari model. Sebelum melakukan
pemilihan model dalam kasus regresi linear dengan metode BIC, residu data harus
memenuhi asumsi klasik regresi linear.
Untuk mendapatkan model terbaik perlu dilihat semua kombinasi yang
mungkin dari variabel independen yang berpengaruh terhadap model dan variabel
dependennya. Dari kombinasi yang diperoleh tersebut dipilih model terbaik.
Kombinasi yang paling baik untuk dijadikan model regresi terbaik dapat dilihat
dari nilai BIC yang diperoleh. Nilai BIC yang dipilih adalah nilai BIC terkecil
diantara beberapa kombinasi tersebut. Nilai BIC terkecil yang dimiliki model
berarti variansinya juga terkecil diantara model yang lain. Ini berarti bahwa residu
model yang dipilih kecil sehingga model cukup akurat. Untuk menentukan nilai
BIC dalam model regresi linear perlu diketahui rumus yang digunakan. Penurunan
rumus tersebut dapat diketahui berdasarkan penjelasan di bawah ini.
Bentuk .: / dalam persamaan (4.7) disubtitusikan dengan fungsi
maksimum likelihood untuk regresi linear yaitu Z|, [, sehingga diperoleh
7\] = −2lnZ|, [, + Y ln 5 (4.8)
dengan,
Z|, [, : fungsi maksimum likelihood
Y : banyaknya parameter
5 : banyaknya data.
Karena residu data mengikuti distribusi normal maka dapat dituliskan bentuk
umum fungsi likelihoodnya, sebagai berikut
ef U'f gA
Z|, [, = ∏ab cY d− h (4.9)
√"` A `A
commit to user
perpustakaan.uns.ac.id digilib.uns.ac.id
18
5 5 1 ka − a [
ln Z|, [, =− ln2 − ln − i j l
2 2 2
ab
5 5 1 Z − [′ Z − [
ln Z|, [, =− 2 − ln − j l
2 2 2
ln Z|, [, = − ln2 − ln − `A MZ ′ Z − 2[ ′ ′ Z + [′ ′ [N (4.10)
dimana Y adalah vektor 51 dan adalah matriks 5.
Kemudian untuk memperoleh [> , dicari turunan pertama dari bentuk
ln Z|, [, terhadap [ sama dengan nol, maka diperoleh
<5 1 Z ′ Z − 2[ ′ ′ Z + [ ′ ′ [
= − j l=0
<[ 2 <[
<5 1
= − [−2′Z + 2′[] = 0
<[ 2
1 ′
[ Z − ′[] = 0
′ [ = ′ Z
Kemudian mengalikan kedua ruas dengan ′ U diperoleh
′ U ′ [ = ′ U ′ Z.
Sehingga diperoleh persamaan untuk [> sebagai berikut
[> = ′ U ′ Z.
Kemudian untuk memperoleh , dicari turunan pertama dari bentuk
lnZ|, [, terhadap sama dengan nol, maka diperoleh
<ln 5 1
= − + n [Z − [′ Z − [] = 0
< 2 2
1 5
[Z − [′ Z − [] =
2 n 2
[Z − [′ Z − [] = 5 (4.11)
`A
commit to user
perpustakaan.uns.ac.id digilib.uns.ac.id
19
5 5 1
7\]opqopra = −2 s− ln2 − ln − MZ ′ Z − 2[ ′ ′ Z + [′ ′ [Nt + Y ln 5
2 2 2
= 5 ln 2 + 5 ln + `A [Z ′ Z − 2[ ′ ′ Z + [ ′ ′ [] + Y ln 5 (4.12)
7\]opqopra = 5 ln 2 +5 ln u + 5 + Y ln 5
Y
= 5 ln 2 + 5 ln + ln 5 + 5
5
v&
= 5 ln 2 + ln +
ln 5 + 1 (4.13)
Model yang baik adalah model yang memiliki nilai variansi yang kecil.
Sehingga dalam menentukan model terbaik dengan BIC dipilih model yang
memiliki nilai BIC yang terkecil sesuai persamaan (4.14).
1. Asumsi Normalitas
Pengujian kenormalan digunakan untuk mengetahui apakah residu
berdistribusi normal atau tidak. Plot kenormalan untuk residu dari model
produksi padi disajikan pada gambar 4.1.
60
50
40
30
20
10
5
00 00 00 00 0 00 00 00 00
000 000 000 000 000 0 00 000 0 00
-8 -6 -4 -2 2 4 6 8
RESI1
Gambar 4.1 terlihat bahwa pola penyebaran residu mengikuti garis lurus, ini
berarti asumsi kenormalan pada residu dipenuhi. Untuk menguji kenormalan
dapat juga digunakan uji Kolmogorov-Smirnov sebagai berikut
a. 3 ∶ residu berdistribusi normal
∶ residu tidak berdistribusi normal
b. Tingkat signifikasi = 0.05
c. Daerah kritis, 3 ditolak jika p-value < = 0.05
d. Statistik uji
Dari Gambar 4.1 terlihat bahwa p-value = 0.095
e. Kesimpulan
Karena nilai p-value = 0.095 > 0.05 maka 3 tidak ditolak yang berarti
residu berdistribusi normal.
commit to user
perpustakaan.uns.ac.id digilib.uns.ac.id
21
2. Uji Multikolinearitas
Uji multikolinieritas bertujuan untuk mengetahui apakah terdapat korelasi
antara variabel independen dalam model regresi. Berdasarkan perhitungan
nilai VIF sesuai lampiran 2 didapatkan,
Versus Fits
(response is y)
500000
250000
Residual
-250000
-500000
-750000
commit to user
perpustakaan.uns.ac.id digilib.uns.ac.id
23
commit to user
perpustakaan.uns.ac.id digilib.uns.ac.id
24
commit to user
perpustakaan.uns.ac.id digilib.uns.ac.id
25
Model terbaik menurut metode BIC adalah model dengan nilai BIC
terkecil. Berdasarkan tabel 4.4 model yang memiliki nilai BIC terkecil adalah
model yang dipengaruhi oleh variabel independen dan w yaitu variabel
independen luas panen dan produktivitas padi. Model tersebut mempunyai BIC
sebesar 28.4957. Sehingga berdasarkan output minitab pada lampiran 5 diperoleh
persamaan Z = −938452 + 5.56 + 16454w . Hal ini berarti, untuk setiap
kenaikan satu hektar luas panen menaikkan nilai produksi padi sebesar 5.56 ton
dan untuk setiap kenaikan satu kuintal/hektar produktivitas padi menaikkan nilai
produksi padi sebesar 16454 ton. Jika dan w bernilai nol maka produksi padi
sebesar −938452 ton. Berarti, jika dan w bernilai nol maka produksi padi
akan mengalami kerugian sebesar 938452 ton.
commit to user
perpustakaan.uns.ac.id digilib.uns.ac.id
BAB V
PENUTUP
5.1 Kesimpulan
Berdasarkan hasil dari pembahasan pada bab 4 dapat ditarik suatu kesimpulan
sebagai berikut :
1. Bentuk umum BIC yang dirumuskan dengan menerapkan teorema Bayes dalam
mencari probabilitas posterior model , dapat ditulis
| = −2ln + ln .
2. Model regresi terbaik dengan metode BIC diperoleh dengan memilih model yang
memiliki nilai BIC terkecil. Nilai BIC dalam regresi dihitung dengan
#$
= ln2 + ln ! " + ln + 1.
%
5.2 Saran
BIC merupakan salah satu metode pemilihan model yang memiliki hasil
cukup akurat. Bagi pembaca yang tertarik pada pemilihan model terbaik dengan BIC
dapat mengembangkan penggunaan BIC dalam analisis runtun waktu.
commit to user
26
perpustakaan.uns.ac.id digilib.uns.ac.id
27
DAFTAR PUSTAKA
commit to user