Pengertian Regresi Ridge

Regresi ridge merupakan salah satu cara untuk mengatasi multikolinieritas diantara
variabel-variabel bebasnya. Karena memberikan tetapan bias yang relatif kecil dan
memberikan variansi yang minimum. Metode regresi ridge merupakan modifikasi dari
metode kuadrat terkecil dengan cara mengalihkan tetapan bias c yang kecil pada diagonal
matriks identitas. Modifikasi regresi ridge dapat dilakukan dengan cara menambahkan
tetapan c pada diagonal utama matriks XX, sehingga koefisien estimator ridge dipenuhi
dengan besaran tetapan bias c. Sehingga parameter penduganya menjadi :

^ ( c ) =( X ' X +cI )1 X ' Y

Dimana c harus merupakan bilangan positif atau c 0 umumnya c terletak antara

interval 0 > c > 1.
Estimator regresi ridge diperoleh dengan meminimumkan jumlah kuadrat galat untuk
model :

Y= X +

Dengan syarat memenuhi kendala tunggal ^ 2j =

j=1

Misalkan model yang akan diestimasi adalah parameter dari persamaan :

Y i= 0 + 1 X 1i + 2 X 2 i+ + k X ki + i

Sehingga didapat dari persamaan :

^ 2j

2
=Y Y 2 X Y ^+ X ' X ( ^ ) +cI
' ' '

^
Dengan menggunakan syarat minimmum akan di diferensialkan terhadap dan estimasi
regresi ridge dapat diperoleh :

'
=2 X ' Y 2 X ' X ^ +2 cI ^ =0
^

^+ cI =
^ X' Y
XX
^=X ' Y
(XX + cI )
 ^ ( c ) =( X ' X +cI )1 X ' Y

Sifat dari estimator ridge adalah :

1. Bias

^ ' ^
E( (c) =(X X + cI ) -1
XY denganY =X
X ' X +cI
= 1 X ' Y ^

2. Variansi minimum

'
^ 1 '
[ ]
Var [ (c)] = ( X '
X +cI ) X ( X '
X +cI ) X '

' 1
' 2 ' 1
= ( X X +cI ) X IX ( X X + cI )
2 ' ' 1
' 1
= ( X X +cI ) X X ( X X+ cI )

Sehingga nilai VIF merupakan diagonal utama dari matriks

1 1
( X ' X +cI ) X ' X ( X ' X +cI )

Metode regresi ridge pertama kali dikemukakan oleh A.E Hoerl pada tahun 1962. Dari
beberapa metode yang digunakan untuk mengatasi multikolinieritas metode regresi ridge
merupakan metode yang terbaik dalam mengatasi multikolinieritas, karena tujuan regresi
ridge adalah untuk memperkecil variansi estimator koefisien regresi.
Hoerl dan Kennard (1970) dalam Gusriani (2004) menentukan nilai c dengan menggunakan ridge
^R
trace yang merupakan suatu plot data antara dengan beberapa nilai c dengan selang 0 sampai 1 hingga
tercapai kestabilan pada parameter dugaannya. Akan tetapi pemilihan c dengan ridge trace menjadi prosedur
yang sangat subjektif. Karena memerlukan keputusan peneliti untuk menentukan nilai c yang akan dipilih
(Montgomery dan Peck 1992). Hoerl, Kennard dan Balwin (1975) dalam Gusriani (2004)
menyarankan pemilihan nilai c dengan meggunakan rumus HKB :

P ^ 2
c= ^ ' ^

^
dan
^
dimana diperoleh dari metode kuadrat terkecil.

Langkah-langkah penaksiran koefisien regresi ridge adalah :

3. Lakukan transformasi terhadap matriks X dan vektor Y, menggunakan centering dan

rescaling.
 Z ' Z =r xx =
4. Hitung matriks matriks korelasi dari variabel bebas, serta hitung

Z ' Y korelasi dari variabel bebas terhadap variabel tak bebas Y.

5. Hitunglah penaksiran parameter dengan berbagai kemungkinan tetapan bias

, >0
c
6. Hitunglah dengan berbagai nilai
c
7. Tentukan nilai dengan mempertimbangkan nilai , tentukan koefesien

penaksir ridge dari nilai yang sesuai

^
8. Hitunglah nilai Y dan menganalisis ANAVA.

Ridge Trace

Ridge trace merupakan plot dari estimator dari regresi ridge secara bersama dengan
berbagai kemungkinan nilai tetapan bias c. Konstanta c mencerminkan jumlah bias dalam
^ ^
estimator (c) , bila c = 0 maka estimator ( c ) akan bernilai sama dengan estimator

kuadrat terkecil . Sedangkan bila c > 0 maka koefisien estimator ridge akan bias

terhadap parameter , tetapi lebih stabil bila dibandingkan pada estimator kuadrat
terkecil. Pemilihan besarnya tetapan bias c adalah tetapan bias yang menghasilkan estimator
yang stabil dan relatif kecil. Sedangkan untuk memilih besaran c dapat dilihat dari besarnya
VIF dan melihat pola kecenderungan ridge trace. VIF merupakan faktor yang mengukur
^
seberapa besar kenaikan variansi dari koefisien estimator k dibandingkan terhadap
variabel bebas lain yang saling ortogonal. Bila terdapat korelasi yang tinggi nilai VIF akan
besar. Nilai VIF memiliki nilai mendekati 1 jika variabel bebas X tidak saling berkolerasi
dengan variabel-variabel bebas lainnya.
Determinan XX dapat digunakan sebagai indeks dari multikolinieritas. Nilai
deteminannya yaitu 0 | X X|1. jika X X=I maka terdapat hubungan ortogonal antara
' '

variabel bebasnya. Jika |XX| = 0 maka terdapat hubungan linear diantara variabel bebasnya,
dengan kata lain bahwa tingkat multikolinieritas di lihat dari |XX| mendekati 0.

Analisis Penaksiran Model Regresi Ridge

Dalam analisis regresi ridge data yang digunakan adalah data yang sudah
ditransformasi melalui metode centering dan rescaling. Sedangkan dalam pemilihan tetapan
 untuk dapat menduga regresi ridge digunakan statistik C mallows (C ). Nilai C didapat
p 0 0

dari berbagai nilai kemungkinan tetapan . Nilai yang terpilih adalah pada saat C 0

minimum.
Untuk kriteria uji pada ANAVA : Tolak H0 jika Fhitung F (p; n-p-1;

/2) atau dapat
dilihat dari nilai p, jika p maka tolak H0.

Untuk pengujian secara parsial atau individu dapat dapat dilakukan melalui pengujian
hipotesis sebagai berikut :
Ho : i*= 0 , untuk i=1,2,3 (variabel independen X secara individu tidak berpengaruh secara
signifikan terhadap nilai taksiran Y)
H1: i* 0 , untuk i=1,2,3 (variabel independen X secara individu berpengaruh secara
signifikan terhadap nilai taksiran Y)
= 5%

Dengan kriteria uji :

Tolak H0 jika thitung -t(n-2; /2) atau t hitung
t
(n-2 ;

/2) , bisa dilihat dari p jika p
maka H ditolak.
0