RIDGE REGRESSION

Analisis regresi merupakan suatu teknik statistika yang dapat digunakan untuk
menggambarkan hubungan diantara dua peubah atau lebih. Untuk menduga koefisien regresi
digunakan metode penaksiran parameter. Salah satunya adalah dengan menggunakan metode
kuadrat terkecil. Adakalanya penaksiran koefisien regresi menggunakan metode kuadrat
terkecil tidak bisa dilakukan karena terjadi masalah multikolinearitas. Multikolinearitas
terjadi apabila terdapat hubungan atau korelasi diantara beberapa atau seluruh variabel bebas.
Multikoloniaritas ini menimbulkan masalah dalam pemodelan regresi. Korelasi yang sangat
tinggi akan menghasilkan penaksir yang berbias, tidak stabil dan mungkin jauh dari nilai
sasaran (Gonst and Mason, 1977). Selain itu efek dari multikolinieritas yaitu tingginya nilai
koefisien determinasi tetapi tidak diikuti dengan hasil uji hipotesis yang signifikan.
A. Permasalahan Bila Terjadi Multikolinieritas
1. Koefisien regresi akan berubah dengan menambah atau mengurangi variabel bebas.
2. Interpretasi koefisien regresi sebagai ukuran perubahan nilai variabel tidak bebas
ketika variabel bebas lainnya konstan tidak sepenuhnya bisa diterapkan ketika terjadi
multikolinieritas.
B. Cara Untuk Mengatasi Multikolinieritas
1. Dengan memperbesar ukuran sampel sehingga kovarian diantara parameterparameternya dapat dikurangi. Hal ini disebabkan karena kovariansi berhubungan
terbalik dengan ukuran sampel, tetapi harus diingat bahwa hal ini akan besar jika
interkorelasi yang terjadi hanya di dalam sampel dan bukan di dalam populasi dari
variabel-variabel. Jika variabel-variabel ini berkolinear dalam populasi maka prosedur
memperbesar ukuran sampel tidak akan mengurangi multikolinearitas.
2. Mengeluarkan suatu variabel yang diketahui menyebabkan multikolinearitas, tetapi
dalam mengeluarkan suatu variabel dari model, kita mungkin melakukan bias
spesifikasi. Bias spesifikasi timbul dari spesifikasi yang tidak benar dari model yang
digunakan dalam analisis. Kita dapat menggunakan metode stepwise/backward
ellimination/forward selection.
3. Metode Ridge Regression
Merupakan suatu metode transformasi untuk menstabilkan perkiraan koefisien regresi
akibat adanya multikolinieritas dengan menggunakan suatu biasing constant C. (Neter
hal. 142)

RIDGE REGRESSION

Page 1

C. Metode Ridge Regression

Metode kuadrat terkecil menghasilkan penaksir terbaik (tak bias dan bervarians
minimum) jika saja tidak ada korelasi antar variable bebas. Namun jika hal itu terjadi, maka
salah satu cara untuk mengatasi masalah tersebut adalah melalui metode Ridge regression.
Pada dasarnya metode ini juga merupakan metode kuadrat terkecil. Perbedaannya adalah
bahwa pada metode ridge regression, nilai variabel bebasnya ditransformasikan dahulu
melalui prosedur centering and rescaling. Kemudian pada diagonal utama matriks korelasi
variable bebas ditambahkan biasing constant (c) dimana nilainya antara 0 dan 1 (Neter et al.,
1990). Metode ridge regression dapat digunakan dengan asumsi matriks korelasi dari variable
bebasnya dapat diinverskan. Akibatnya nilai dugaan koefisien regresi dan variable tak
bebasnya mudah didapat.
Model Regresi berganda dengan OLS
Y^ i=

bc + b1Xi1 + b2Xi2 + . . . + bp-1 Xip-1

b = ( X 'X)-1 X'Y
Model Standardized Regression
Y i=
b1*Xi1* + b2*Xi2* + . . . + bp-1* Xip-1*
^
b* = ( rxx)-1 rxy

matriks korelasi

Model Ridge regression

Y^

= b1RZi1* + b2RZi2* + . . . + bp-1R Zip-1*

bR = ( rxx + c I)-1 rxy

dimana:
c = biasing constant
I = identity matrix

bR

RIDGE REGRESSION

[(p-1) x 1]

||
b R1
b R2

R
b p 1

Page 2

matriks korelasi

Tahapan dalam metode ridge regression :

1. Lakukan transformasi tehadap matriks X menjadi Z dan vektor Y menjadi YR, melalui
centering and rescaling.
2. Hitung matriks Z'Z => matriks korelasi dari variable bebas, serta hitung Z'YR =>
korelasi dari variable bebas terhadap variable tak bebas y.
3. Hitung nilai penaksir parameter bR dengan berbagai kemungkinan tetapan bias c.
4. Hitung nilai VIF dengan berbagai nilai c (0<c<1)
5. Tentukan nilai c dengan mempertimbangkan nilai VIF dan bR.
Tentukan koefisien penduga (estimator) ridge regression dari nilai c yang terpilih..
6. Buat persamaan model Ridge Regression
7. Uji Hipotesis secara Simultan dengan ANOVA Ridge Regression dan Parsial .
8. Transformasikan ke bentuk asal.
a. Metode Centering and Rescaling
Dalam persamaan regresi yang memiliki model :
Yi = 0 + 1Xi1 + 2Xi2 + i
Persamaan tersebut di atas dapat dibentuk menjadi :
Yi = 0 + 1 (Xi1

X 1

= (0 + 1

X 1 ) + 1 X 1 + 2(Xi2 - X 2 ) + 2 X 2 + i

+ 2 X 2 ) + 1 (Xi1 - X 1 ) + 2 (Xi2 - X 2 ) + i

menurut rumus untuk mendapatkan 0 yaitu :

Y - 1 X 1 - 2 X 2

0 =

maka berlaku

Y = 0 + 1 X 1 + 2 X 2
sehingga

X 1 + 2 X 2 ) = 1 (Xi1 -

Yi (0 + 1
Yi -

Y = 1 (Xi1 -

Jika yi = Yi -

X 1 ) + 2(Xi2 -

X 2 ) + i

xi1 = Xi1 -

X 1

xi2 = Xi2 -

X 2

RIDGE REGRESSION

X 1 ) + 2(Xi2 -

Page 3

X 2 ) + i

maka kita dapat persamaan baru yaitu :

yi = 1xi1 + 2xi2 + i

Prosedur untuk membentuk persamaan pertama menjadi persamaan

terakhir disebut dengan prosedur centering. Prosedur ini mengakibatkan
hilangnya 0 (intercept) yang membuat perhitungan untuk mencari model
regresi menjadi lebih sederhana.
Bila dari persamaan di atas kita bentuk persamaan :
Yi R = 1Zi1 + 2Zi2 + i
Dengan

Y =
R
i

Zi1 =
Zi2 =

yi
S Y n1
xi
S 1 n1
xi 1
S 2 n1

Yi Yi
S Y n1

X i 1 X 1
S 1 n1

X i 2 X 2
S 2 n1

Keterangan:
R

Yi

: nilai variabel tak bebas ke-i hasil trasformasi

Yi

: nilai variabel tak bebas ke-i

: rata-rata variabel tak bebas

: Jumlah Observasi

SY
Z
i1

(
n

i=1

Y iY ) /(n1)

: nilai variabel bebas 1 ke-i hasil trasformasi

Xi1

: nilai variabel bebas 1 ke i

X 1

: rata-rata variabel bebas 1

RIDGE REGRESSION

Page 4

S1
S2

(
n

( X i 1 X 1 )2 /(n1)
i=1
n

i=1

2 ) /(n1)
X i 2 X

maka prosedur ini disebut dengan prosedur Rescaling. Keseluruhan dari

prosedur di atas disebut prosedur centering and rescaling.
b. Menghitung matriks Z'Z serta menghitung Z'Y*
ZZ = rxx
ZY* = ryx

rxx

ryx

[(p-1) x (p-1)]

[(p-1) x 1]

1
r 21

r 12
1

r p1,1 r p1,2

r 1, p1
r 2, p1

[ ]
r y1
r y2

r y , p1

c. Menentukan tetapan bias / biasing constant (c)

Menurut Neter dkk, dalam bukunya Applied Linear Regression Models
menyarankan memilih ridge parameter dengan menggunakan cara ridge trace.
Ridge trace merupakan plot dari estimator ridge regresi secara bersama dengan
berbagai kemungkinan nilai tetapan bias c. Konstanta c mencerminkan jumlah bias
dalam estimator

^
( c ). Saat c bernilai 0 maka estimator

sama dengan estimator kuadrat terkecil

RIDGE REGRESSION

Page 5

^
( c ) akan bernilai

yang telah dalam bentuk standardized.

Ketika c > 0 estimator ridge regression akan bias tetapi cenderung menjadi lebih stabil
daripada estimator kuadrat terkecil. Umumnya nilai c terletak pada interval 0<c<1.
Pemilihan besarnya tetapan bias c merupakan masalah yang perlu diperhatikan.
Tetapan bias yang diinginkan adalah tetapan bias yang relative kecil dan
menghasilkan koefisien estimator yang relative stabil.
Suatu acuan yang digunakan untuk memilih besarnya c, dengan melihat besarnya VIF
dan melihat pola kecenderungan Ridge Trace. VIF merupakan faktor yang mengukur
seberapa besar kenaikan variansi dari koefisien estimator

^
k

dibandingkan

terhadap variable bebas lain yang saling orthogonal. Bila diantara variable bebas
tersebut terdapat korelasi yang tinggi, nilai VIF akan besar. VIF memiliki nilai
mendekati 1 jika variable bebas X tidak saling berkorelasi dengan variabbel-variabel
bebas lainnya.
Nilai VIF untuk koefisien ridge regression adalah element diagonal pada matriks (p-1)
x (p-1) berikut:
( rxx + c I)-1 rxx ( rxx + c I)-1
Cara pemilihan ini memang bersifat subyektif, artinya jika ada 2 orang pemilih
memilih nilai c dengan data yang sama mungkin akan mendapatkan nilai c yang tidak
sama.
d. Pengujian Hipotesis
Uji Simultan Untuk Semua
H 0 : R=0
R

H0: 0

(Variabel bebas secara simultan tidak signifikan di dalam model)

(Variabel bebas secara simultan signifikan di dalam model)

Daerah kritis: tolak

H0

p; n p1;
jika

F h itung > F

ANOVA Ridge Regression

SOV
Regresi
Error
Total

DF
P
n-p-1
n-1

RIDGE REGRESSION

SS
SSRegR
SSER
SSTR

MS
MSRegR
MSER

Page 6

Fhitung
MSRegR/MSER

R
R 2
SST R = ( Y i Y ) =1

MSReg R=

SSReg R
p

2
SSE R = ( Y iRY^ R )

SSReg R =SST R SSE R

MSE R=

SSE R
np1

e. Teknik Transformasi ke Bentuk Asal

Untuk kepentingan estimasi, maka model Ridge Regression dapat ditransformasi
kembali ke bentuk variabel asalnya ( b
bi=

Sy R
b
S xi i

( )

ke b ) dengan cara:

; i = 1,2,....,p-1

p1
b0 =Y b 1 X 1 b p1 X
Akhirnya didapat model regresi berganda yang siap digunakan untuk estimasi
^ i=b 0+ b1 X i 1+ b2 X i 2+ +b p 1 X i (p 1)
Y

(Neter hal. 414).

D. Contoh Soal
Table Barang Import dan Faktor-Faktor yang Mempengaruhinya
Y

X1

X2

X3

15,9
16,4
19
19,1
18,8
20,4
22,7
26,5
28,1
27,6
26,3
31,1
33,3
37

149,3
161,2
171,5
175,5
180,8
190,7
202,1
212,4
226,1
231,9
239
258
269,8
288,4

4,2
4,1
3,1
3,1
1,1
2,2
2,1
5,6
5
5,1
0,7
5,6
3,9
3,1

108,1
114,8
123,2
126,9
132,1
137,7
146
154,1
162,3
164,3
167,6
176,8
186,6
199,7

RIDGE REGRESSION

Page 7

43,3
49,3
50,3
56,6

304,5
323,4
336,8
353,9

4,6
7
1,2
4,5

213,9
223,8
232
242,9

Sumber: Chatterjee Samprit and Price Bertram 1977.

Keterangan:
Y = barang import (milliard Franc Prancis)
X1 = barang yang dipesan (milliard Franc Prancis)
X2 = persediaan barang (milliard Franc Prancis)
X3 = barang yang dikonsumsi (milliard Franc Prancis)
Tabel 3.2 Estimator Parameter Regresi Kuadrat Terkecil
Variabel
Y
X1
X2
X3

Penduga Parameter
-15,687
0,113
-1,288
0,155

Dari data diatas diperoleh persamaan regresi linier berganda :

^y

= -15,687 + 0,113 X1 1,288 X2 + 0,155 X3

Koefisien Korelasi Parsial

rX1X1 = 1

rX1X2 = 0,215

rX1X3 = 0,999

rX2X2 = 1

rX2X3 = 0,214

rX3X3 = 1

dari data diatas terlihat bahwa korelasi antara X1 dan X3 sangat tinggi mendekati 1. Ini
menunjukkan adanya multikolonieritas antara variable bebasnya.
Transformasi tehadap matriks X menjadi Z dan vektor Y menjadi YR, melalui
centering and rescaling.
SY
S X1

(
(
n

i=1

i=1

RIDGE REGRESSION

Y iY ) /(n1) = 12,5082
1 )2 /(n1)
X i 1 X
= 63,51674

Page 8

S X2
S X3

(
n

( X i 2 X 2 )2 /(n1)
i=1
n

i=1

= 1,74138

X i 3 X 3 ) /( n1) = 41,58106

Y = 30,0944
X 1=237,517

X 2=3,6778
X 3=167,378

Tabel 3.4 Data Transformasi

No
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

YR

Z1

Z2

Z3

-0,27523
-0,26554
-0,21512
-0,21318
-0,219
-0,18798
-0,14338
-0,0697
-0,03867
-0,04837
-0,07357
0,019498
0,062156
0,133899
0,256057
0,372397
0,391787
0,513945

-0,33685
-0,29141
-0,25208
-0,23681
-0,21657
-0,17877
-0,13524
-0,09591
-0,04359
-0,02145
0,005664
0,078215
0,123272
0,194296
0,255773
0,327941
0,379109
0,444404

0,072734
0,058806
-0,08047
-0,08047
-0,35903
-0,20582
-0,21975
0,267722
0,184156
0,198084
-0,41474
0,267722
0,030951
-0,08047
0,128445
0,462711
-0,3451
0,114517

-0,34576
-0,30668
-0,25768
-0,2361
-0,20577
-0,17311
-0,12469
-0,07745
-0,02962
-0,01795
0,001296
0,054958
0,11212
0,18853
0,271357
0,329102
0,376931
0,440509

Menghitung matriks Z'Z serta Z'YR

Z'Z = rxx =

RIDGE REGRESSION

1
0,215445629 0,998933
0,215445629
1
0,213699
0,998933
0,213699
1

Page 9

Z'YR

0,983967
r xy = 0,26802877
0,984559

Penentuan nilai biasing constant c

Nilai VIF

^
( c ) dengan Berbagai Nilai c
^

Nilai c

VIF

0,000
0,001
0,002
0,003
0,004
0,005
0,006
0,007
0,008
0,009
0,010
0,020
0,030
0,040
0,050
0,060
0,070
0,080
0,090
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1

469,3032
125,1808
56,9900
32,3153
21,0415
14,7548
10,9425
8,4577
6,7488
5,5232
4,6146
1,4580
0,8059
0,5667
0,4522
0,3880
0,3479
0,3208
0,3014
0,2868
0,2250
0,1983
0,1790
0,1633
0,1500
0,1384
0,1282
0,1192
0,1111

(c)

VIF

(c)

1,0499
1,0465
1,0441
1,0418
1,0395
1,0373
1,0351
1,0328
1,0306
1,0285
1,0263
1,0048
0,9841
0,9640
0,9445
0,9256
0,9072
0,8894
0,8722
0,8554
0,7116
0,6014
0,5152
0,4465
0,3907
0,3449
0,3067
0,2746
0,2473

VIF

(c)

468,9395
125,0844
56,9495
32,4948
21,0260
14,7442
10,9348
8,4520
6,7443
5,5197
4,6118
1,4576
0,8060
0,5670
0,4525
0,3884
0,3483
0,3213
0,3019
0,2873
0,2254
0,7986
0,1793
0,1636
0,1502
0,1386
0,1284
0,1193
0,1112

Dari table diatas terlihat bahwa mulai dari c = 0,000 sampai pada nilai c = 1, VIF koefisien
estimator

^
( c ) semakin lama semakin kecil. Nilai VIF yang diambil adalah VIF yang

relative dekat dengan 1. Sedangkan nilai koefisien estimator parameter

berbagai kemungkinan nilai c dapat dilihat pada table berikut:
RIDGE REGRESSION

Page 10

^
( c ) dengan

^
Nilia c
0
0,001
0,002
0,003
0,004
0,005
0,006
0,007
0,008
0,009
0,01
0,02
0,03
0,04
0,05
0,06
0,07
0,08
0,09
0,1
0,2
0,3
0,4
0,5

c)
0,158
3
0,316
6
0,371
5
0,399
3
0,416
0,427
1
0,435
0,441
9
0,445
4
0,449
0,451
9
0,464
5
0,467
4
0,467
7
0,467
0,465
8
0,464
3
0,462
6
0,460
8
0,459
0,439
4
0,420
7
0,403
4
0,347
3

RIDGE REGRESSION

c)
0,06
0,059
8
0,059
8
0,059
8
0,059
8
0,059
8
0,059
8
0,059
9
0,059
9
0,059
9
0,06
0,060
4
0,060
8
0,061
2
0,061
6
0,061
9
0,062
3
0,062
6
0,062
9
0,063
2
0,065
6
0,066
9
0,067
5
0,067
7

c)
0,813
5
0,654
8
0,599
4
0,571
2
0,554
0,542
4
0,534
0,527
6
0,522
6
0,518
5
0,515
1
0,497
7
0,49
0,484
8
0,480
8
0,477
3
0,474
2
0,471
3
0,468
6
0,465
9
0,443
0,423
1
0,405
1
0,388
8
Page 11

0,372
5
0,358
8
0,346
1
0,334
3
0,323
2

0,6
0,7
0,8
0,9
1

0,067
4
0,066
9
0,066
3
0,065
5
0,064
6

0,373
7
0,359
9
0,347
0,335
1
0,323
9

Ridge Trace
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0
1.0000000000000007E-3
2.0000000000000013E-3
3.0000000000000014E-3
4.0000000000000027E-3
5.0000000000000027E-3
0
6.0000000000000027E-3
7.0000000000000027E-3
8.0000000000000071E-3
9.0000000000000028E-3
1.0000000000000005E-2
2.0000000000000011E-2
3.0000000000000002E-2
4.0000000000000022E-2
6.0000000000000026E-2
7.0000000000000021E-2
8.0000000000000043E-2
9.0000000000000024E-2
0.05 0.30000000000000016
0.1
0.60000000000000031
0
0.70000000000000029
.2 0.4
0.5 0.8
0.91
B1

B2

B3

Dari berbagai harga c yang ada, nilai c yang memberikan nilai VIF relative dekat dengan 1
yaitu pada c = 0,03 dan pada nilai c = 0,03 ini koefisien

juga lebih stabil. Dengan

demikian nilai c yang diambil adalah 0,03. Persamaan ridge regression yang diperoleh jika c
yang diambil sebesar 0,03 yaitu :
Y^

= 0,4647Z1 + 0,0608Z2 +0,4900Z3

Pengujian hipotesis

Ho :

= 0 (Variabel bebas secara simultan tidak signifikan di dalam

model)
H1 :

i 0 (Variabel bebas secara simultan signifikan di dalam model)

RIDGE REGRESSION

Page 12

= 0,05

ANOVA
SOV
Regresi
Error
Tabel

SS
0,9586
0,0414
1

DF
3
14
17

MS
0,3195
0,003

Fhit
106,5

Ftabel
3,34

Keputusan : karena Fhit> Ftabel maka tolak Ho

Kesimpulan : Dengan tingkat kepercayaan sebesar 95 % dapat disimpulkan bahwa variabel
bebas secara simultan signifikan di dalam model
Tranformasi ke bentuk awal
Sy R
bi =
b
; i = 1,2,3
S xi i

( )
( ) (
( ) (
( ) (
b1=

S y R 12,5082
b =
0,4674=0,0920
S x 1 1 63,5167

b2 =

S y R 12,5082
b =
0,0608=0,4367
Sx 2 2
1,7414

b3 =

S y R 12,5082
b =
0,4900=0,1474
S x3 3 41,5811

3
b0 =Y b 1 X 1 b2 X 2b 3 X
30,0944( 0,0920 .237,517 )( 0,4367.3,6778 )( 0,1474.167,378)

18,0348
Sehingga model yang diperoleh adalah
Y^ = -18,0347 + 0,0929 X1 + 0,4367 X2 + 0,1474 X3

RIDGE REGRESSION

Page 13