OUTLINE PROPOSAL

JUDUL : Regresi Ridge Untuk Mengatasi Multikolinieritas

NAMA/NPM : Reny Muliasari/F1A004010
PEMBIMBING : Ir. Sigit Nugroho, M.Sc, PhD (PU)
Jose Rizal, S.Si, M.Si (PP)
1. PENDAHULUAN
Regresi merupakan suatu teknik statistika yang dapat digunakan untuk
menggambarkan hubungan diantara dua peubah atau lebih. Hubungan yang dimaksud
merupakan hubungan antara satu atau lebih peubah bebas (independen) dengan satu
peubah tak bebas (dependen). Jadi secara umum analisa regresi diartikan sebagai
suatu analisis tentang ketergantungan suatu peubah kepada peubah lain yaitu peubah

bebas dalam rangka membuat estimasi atau pendugaan dari nilai rata-rata peubah.
Istilah regresi pertama kali dikemukakan oleh seorang antropolog dan ahli
meteorologi terkenal dari Inggris yang bernama Sir Francis Galton pada tahun 1855.

Istilah Regesi muncul dalam pidatonya didepan Section H of The British Association

di Aberdeen, 1855, yang dimuat di majalah Nature September 1885 dan dalam sebuah
makalah �Regression towards mediocrity in hereditary stature�, yang dimuat dalam
Journal of the Anthropological Institute (Draper dan Smith, 1992).
Dalam perkembangannya ada dua jenis regresi yang sangat terkenal, yaitu
regresi linier sederhana dan regresi linier berganda. Regresi linear sederhana
digunakan untuk menggambarkan hubungan antara satu peubah bebas ( dengan
satu peubah tak bebas dalam bentuk persamaan linier sederhana.
)X()Y
iiiXYe��++=110 ; (1.a) ni,...,2,1=
Sedangkan regresi linier berganda menggambarkan hubungan antara dua
peubah bebas atau lebih dengan satu peubah tak bebas (. (nXXX,...,,21)Y
iikkiiiXXXYe����+++++=...22110; ni,...,2,1= (1.b)
Keterangan : ie = galat (error)
� = parameter regresi
Pada rumus diatas parameter regresi 0� dan 1� dalam regresi linier sederhana
dan parameter regresik����,...,,,210 dalam regresi linier berganda diduga secara
berturut-turut dengan , dan dengan menggunakan metode
kuadrat terkecil. Biasanya penduga kuadrat terkecil diperoleh dengan meminimumkan
jumlah kuadrat galat untuk masing-masing model regresi linier. Penduga yang
dihasilkan oleh metode kuadrat terkecil ini diharapkan bersifat BLUE (best linear
unbiased estimator).
0
��1
��k���߈,...,�,�,�
210
Terdapat beberapa persyaratan yang harus dipenuhi untuk menghasilkan
penduga yang bersifat BLUE. Persyaratan yang harus dipenuhi ini lebih dikenal
dengan nama asumsi klasik regresi linier. Asumsi klasik regresi linier tersebut
adalah
sebagai berikut (1) model regresi linier, (2) nilai peubah explanatoris (X) tetap
pada
sampel berulang, (3) nilai rata-rata dari error adalah nol, (4) homoskedastisitas
sama
untuk setiap observasi, (5) tidak ada otokorelasi antara unsur pengganggu, (6)
kovarians antar unsur penggangu regresi adalah nol, (7) jumlah observasi harus
lebih
besar dari jumlah parameter yang yang diobservasi, (8) nilai peubah bebas
bervariasi,

(9) Spesifikasi model harus benar dan (10) tidak ada multikolinieritas (Manurung,
et
al (2005) dalam Naftali (2007)).
Akan tetapi, yang menjadi permasalahan pada regresi linier berganda adalah
seringnya terjadi korelasi antara peubah-peubah bebas dalam regresi linier
berganda.
Peristiwa seperti ini dalam regresi linier berganda dikenal dengan nama
multikolinieritas. Jika terjadi multikolinieritas berarti salah satu asumsi klasik
regresi
linier dilanggar. Hal ini berarti juga bahwa penduga yang dihasilkan dari metode
kuadrat terkecil tidak bersifat BLUE. Penduga yang dihasilkan masih tetap tak bias

dan konsisten, tetapi tidak efisien sehingga varian dari koefisien regresi menjadi
tidak
minimum.
Berdasarkan hal tersebut maka penulis tertarik untuk mempelajari lebih dalam
masalah multikolinieritas dan metode dalam menanggulangi masalah multikolinieritas

ini, yaitu dengan menggunakan metode Regresi Ridge. Sehingga dapat memberikan
penjelasan lebih luas mengenai masalah multikolinieritas dan regresi ridge sebagai

metode untuk mengatasinya.

2. LANDASAN TEORI
2.1 Regresi Linier Berganda
Regresi linier berganda adalah perluasan langsung dari regresi linier
sederhana. Jika pada model regresi linier sederhana hanya ada satu peubah bebas ,
maka pada regresi linier berganda ada lebih dari satu peubah bebas (Paulson,
2007).
Model regresi linier berganda tersebut ditulis seperti pada (1.a).
()X
Model regresi linier berganda pada (1.1.a) dapat juga ditulis dalam bentuk
matriks. Dengan menggunakan lambang matriks model regresi linier berganda dapat
ditulis sebagai model regresi linier umum, yaitu
e�+=XY (2.1.a)
(Montgomery, 1976).
2.1.1. Asumsi Regresi Linier Berganda
Berdasarkan model regresi linier berganda pada (1.1.a) maka asumsi untuk ie
pada dasarnya sama dengan asumsi untuk regresi linier sederhana, yaitu
1. ()0=iEe untuk atau ini ekuivalen dengan ni,...,2,1=
()ikkiiiXXXYE����++++=..22110
2. untuk 2)var(se=ini,...,2,1=
3. ()0,cov=jiee untuk setiap ji.
2.1.2. Metode Kuadrat Terkecil
Metode kuadrat terkecil merupakan salah satu metode yang paling banyak
digunakan untuk menduga parameter-parameter regresi . Metode kuadrat terkecil
dipilih karena metode ini mudah digunakan dan memiliki sifat-sifat yang dapat
menghasilkan penduga yang baik berdasarkan beberapa asumsi.
Biasanya penduga kuadrat terkecil ini diperoleh dengan meminimumkan
jumlah kuadrat galat.
(2112��..
==
-==
niniiiiYYJKGe
Sehingga diperoleh penduga kuadrat terkecil dari � pada regresi linier berganda
adalah
()YXXX''=-1�� (2.1.2.d)
(Montgomery, 1976)

2.1.3. Sifat Penduga Kuadrat Terkecil

Menurut Sembiring (1995) kuadrat terkecil memiliki beberapa sifat yang baik.
Kuadrat terkecil bersifat BLUE (best linear unbiased estimator) atau penduga
takbias
linier terbaik ketika semua asumsi klasik dipenuhi. Best maksudnya adalah varian
minimum dan linier menunjukkan bahwa penduga adalah fungsi linier dari
(Rencher dan Schaalje, 2008). Y
2.2. Multikolinieritas
Istilah multikolinieritas pertama kali diperkenalkan oleh Ragnar Frisch pada
tahun 1934, yang menyatakan bahwa multikolinieritas terjadi jika adanya hubungan
linier yang sempurna (perfect) atau pasti (exact) diantara beberapa atau semua
peubah
bebas dari model regresi berganda (Rahardiantoro, 2008). Jadi dalam regresi linier

berganda multikolinieritas merupakan masalah yang selalu terjadi ketika dua atau
lebih peubah bebas saling berkorelasi satu sama lain.
Jika korelasi antara dua peubah bebas atau lebih dalam suatu persamaan
regresi linier berganda ini terjadi maka taksiran koefisien dari peubah yang
bersangkutan tidak lagi tunggal melainkan tidak terhingga banyaknya sehingga tidak

mungkin lagi menduganya. Hal ini disebabkan XX' menjadi singular (Sembiring,
1995).
Menurut Montgomery dan Hines (1990) dalam Rahardiantoro (2008)
multikolinieritas dapat mengakibatkan koefisien regresi yang dihasilkan oleh
analisis
regresi berganda menjadi sangat lemah atau tidak dapat memberikan hasil analisis
yang mewakili sifat atau pengaruh dari peubah bebas yang bersangkutan. Hal ini
disebabkan oleh penduga yang dihasilkan dari metode kuadrat terkecil tidak lagi
bersifat BLUE.
2.3. Regresi Ridge
Regresi ridge adalah suatu teknik yang dikembangkan untuk menstabilkan
koefisien regresi karena adanya multikolinieritas. Metode regresi ridge pertama
kali
dikemukakan oleh A.E. Hoerl pada tahun 1962. Metode ini ditujukan untuk mengatasi
kondisi buruk (ill-conditioned) yang diakibatkan oleh korelasi yang tinggi antara
beberapa peubah bebas di dalam model regresi, sehingga menyebabkan matriks XX'-
nya hampir singular, yang pada gilirannya menghasilkan nilai dugaan parameter
model regresi yang tidak stabil (Draper dan Smith, 1981).
Regresi ridge merupakan modifikasi dari metode kuadrat terkecil yang
menghasilkan penduga bias dari koefisien regresi (Kutner, et al., 2005). Jadi
Regresi
Ridge mengurangi dampak multikolinearitas dengan menentukan penduga yang bias
tetapi mempunyai varians yang lebih kecil dari varians penduga regresi linear
ganda.
2.3.1. Pemusatan dan penyekalaan
Pemusatan dan penyekalaan data ini merupakan bagian dari membakukan
(standardized) peubah. Pemusatan merupakan perbedaan antara masing-masing
pengamatan dan rata-rata dari semua pengamatan untuk peubah. Sedangkan
penyekalaan meliputi gambaran pemusatan pengamatan pada kesatuan (unit) standar
deviasi dari pengamatan untuk peubah (Kutner, et al., 2005).
Berikut ini merupakan pembakuan peubah respon Y dan peubah prediktor
kXX,,1�
YiSYY-
(2.3.1.a)

jXjijSXX-
, kj,,2,1�= (2.3.1.b)
Keterangan : Y = rata-rata dari Y
jX = rata-rata dari pengamatan jX
= standar deviasi dari Y YS
= standar deviasi dari jXSjX
Melalui transformasi korelasi atau pembakuan peubah maka diperoleh
...
.
...
.-
-
=
YiiSYYnY11* (2.3.1.e)
..
.
.
..
.
.-
-
=
jXjijijSXXnX11* , kj,,2,1�= (2.3.1.f)
Berdasarkan transformasi peubah dan yang didefenisikan dengan transformasi
korelasi pada persamaan (2.3.1.e) dan (2.3.1.f) diatas maka diperoleh model
regresi
yang baku (standardized regression model) sebagai berikut
*
iY*
ijX
***
2*
2*
1*
1*
ikkiiiXXXY���+++=.. (2.3.1.h)
Berdasarkan model regresi pada persamaan (2.3.1.f) dan model regresi linier
berganda diatas,terdapat hubungan antara parameter regresi yang baku dengan
parameter regresi asli, yaitu bahwa
*jXYjjSS��..
.
.
..
.
.
= , (2.3.1.i) kj,,2,1�=
kkXXXY����----=..22110
.=
-=
kjjjXY1� (2.3.1.j)
2.3.2. Matriks Korelasi
Model regresi untuk model yang dibakukan pada persamaan (2.3.1.h) dapat
dibuat dalam bentuk matriks seperti berikut ini
.....
.
.
.....
.
.
+
.....
.
.
.....
.
.
.....
.
.
.....
.
.
=
.....
.
.
.....
.
.
*
*
2*
1**
2*
1*
2*
22*
21*
1*
12*
11*
*
2*
1*
*
2*
1nnknnkkknXXXXXXXXXYYYeee���
..
..
......
..
..
....
(2.3.2.a)
Kemudian dari persamaan bentuk matriks diatas didapat matriks dan -
nya,
**XX'**YX'
........
.
.
........
.
.
=
'
...
...
...
===
===
===
niikniiikniiikniikiniiniiiniikiniiiniiXXXXXXXXXXXXXXXXX12*
1*
2*
1*
1*
1**
212*
21*
1*
21**
11*
2*
112*
1**
..
......
..
..
(2.3.2.b)

........
.
.
........
.
.
=
'
.
.
.
=
=
=
niiikniiiniiiYXYXYXYX1**
1**
21**
1**
..
(2.3.2.c)
Kedua bentuk matriks diatas dapat dibentuk dalam bentuk matrriks korelasi.
Matriks pertama adalah matriks korelasi dari peubah X dan dinotasikan dengan .
Matriks kedua adalah vektor yang berisi koefisien korelasi sederhana diantara
peubah
respon Y dan setiap peubah
XXrX dan dinotasikan dengan . YXr
Matriks korelasinya didefenisikan sebagai berikut
....
.
.
....
.
.
=
11121221112
..
....
..
..
kkkkXXrrrrrrr (2.3.2.d) (2.3.2.e)
....
.
.
....
.
.
=
YkYYYXrrrr
..
21
Jadi adalah matriks korelasi sederhana dari peubah **XX'
X dan adalah
matriks korelasi sederhana antara peubah
**YX'
X dan Y.
XXrXX=
'** (2.3.2.f)
YXrYX=
'** (2.3.2.g)
2.3.3. Penduga Regresi Ridge
Sama seperti pada metode kuadrat terkecil, biasanya penduga ridge yaitu
diperoleh dengan meminimumkan jumlah kuadrat galat untuk model
pada (2.3.1.h) (Walpole dan R. H. Myers,1989).
**
2*
1
�,,�,�
k���..
()..
==
..
.
..
.
+=
nikjjicJKG112*2*���e (2.3.3.a)
Sehingga dengan meminimumkan jumlah kuadrat galat diatas maka diperoleh
penduga regresi ridge, yaitu
**
1***�YXcIXX'
..
.
...+
'
=
-
� (2.3.3.b)
Untuk , c menggambarkan jumlah bias dalam penduga, c adalah . 0=c10==c
Menurut Hoerl dan Kennard (1970) tedapat hubungan antara penduga ridge
dengan penduga kuadrat terkecil biasa, yang dituliskan sebagai berikut
�߈�
1***
..
.
.
...
.
..
.
..
.'
+=
-
XXcI (2.3.3.c)