Anda di halaman 1dari 16

REGRESI RIDGE

PROGRAM STUDI STATISTIKA


PROGRAM PASCA SARJANA
INSTITUT PERTANIAN BOGOR

Regresi Ridge

2006
REGRESI RIDGE
Pendahuluan
Dalam pendugaan parameter populasi (metode klasik), inferensi
mengenai populasi didasarkan sepenuhnya pada informasi yang
diperoleh dari sample acak yang diambil dari populasi. Penduga yang
baik adalah penduga yang tak bias, dan diantara penduga-penduga
yang tak bias, penduga yang memberikan ragam minimumlah yang
merupakan penduga yang efisien.
Dalam penelitian yang menggunakan regresi linear berganda,
terkadang peneliti langsung melakukan pendugaan terhadap koefisien
regresi untuk menemukan model regresinya. Sementara salah satu
asumsi yang harus dipenuhi dalam regresi linear berganda adalah tidak
adanya korelasi antar variable prediktor. Jika terjadi korelasi diantara
variebel prediktor (terjadi multikolinear), maka model regresi menjadi
tidak tepat lagi, karena dengan adanya multikolinear ini akan
mengakibatkan ragamnya menjadi besar, dan nilai statistik t kecil,
sehingga cenderung menerima H0.
Menurut Montgomery & Peck, beberapa penyebab multikolinear
antara lain :
1. Dalam pengumpulan data, nilai variabel prediktor yang digunakan
dibatasi.
2. Penentuan banyaknya variabel predictor lebih banyak dari pada
banyaknya observasi.
3. Data time series, dimana nilai trend yang tercakup dalam variabel
regresor mempunyai

tingkat penurunan atau peningkatan yang

sama, sejalan dengan waktu.

Regresi Ridge

4. Spesifikasi model, misalnya penammbahan bentuk polynomial


terhadap model regresi, khusunya ketika nilai jarak antar variabel
prediktor sangat kecil.
Beberapa indikasi adanya multikolinear
1. Nilai koefisien determinasi R2 tinggi, tetapi signifikansi statistik uji
t dari koefisien penduga parameter rendah.
2. Nilai koefisien determinasi R2 tinggi, tetapi koefisien korelasi
parsial rendah.
3. Untuk model regresi linear berganda 2 variabel prediktor : nilai
koefisien korelasi antara 2 variabel prediktornya tinggi.
4. Nilai Rj2 tinggi, indikasi variabel prediktor ke-j berkorelasi tinggi
dengan sisa variabel bebas lainnya.
5. Tanda dari koefisien korelasi (antara variabel respon dengan
variabel prediktor) berlawanan tanda dengan tanda dari koefisien
parameter regresi.
6. Nilai VIF yang besar. Myers [1990] nilai VIF > 10 indikasi adanya
multikolinear.
Besarnya kolinearitas dapat diukur dengan Variance Inflation Factor
(VIF). VIF akan mengukur seberapa besar kenaikan ragam dari
koefisien penduga regresi dibandingkan dengan variabel predictor yang
orthogonal jika dihubungkan secara linear (Fox dan Monette, 1992).
Semakin besar nilai VIF menunjukkan korelasi diantara variabel
predictor tinggi. Nilai VIF > 10 menunjukkan adanya adanya kolinearitas
( Neter, Waserrman and Kutner, 1990).

Regresi Ridge
Model regresi linear berganda

Regresi Ridge

y = X +

Matriks X berukuran nxp, (selain baris pertama) baris ke-i menyatakan


nilai pengamatan x yang menimbulkan respon ke-i. vector y menyatakan
respon amatan ke-i. Vektor berukuran px1 adalah vector parameter
populasi

dan

vektor

berukuran

nx1

merupakan

vector

pengamatan yang mempunyai sifat E ( ) = 0 dan E ( ' ) =

galat

Persamaan regresi tersebut mempunyai penyelesaian

= ( X ' X ) 1 X ' Y

Jika kolinearitas diantara variabel prediktor kuat, maka elementelement diagonal matriks ( X ' X ) besar sekali dan matriksnya menjadi
singular. Sehingga

pendugaan

dengan

metode

kuadrat

terkecil

menghasilkan penduga koefisien regresi yang tak bias tetapi ragamnya


menjadi besar. Hal ini mengakibatkan pendugaan koefisien regresi
menjadi tidak akurat lagi. Dalam penelitian seringkali semua predictor
harus diikutsertakan, di sisi lain korelasi diantara variabel predictor sulit
dihindari.
Adanya

multikolinear

tersebut

dapat

diatasi

dengan

menambahkan sejumlah bias tertentu sehingga penduga ragamnya


dapat diminimumkan. Karena matriks ( X ' X ) simetris dengan akar ciri
1 , 2 ,...., k maka terdapat matriks orthogonal P sehingga
P ' ( X ' X ) P = P ( X ' X ) P ' = diag (1 , 2 ,...., k )

Karena matriks P orthogonal, maka persamaan regresi berganda


dapat dituliskan dalam bentuk kanonik,
y = XP ' P +

atau
y = X * +

Regresi Ridge

0

1
.
Dengan X * = XP' dan = P =
.

.
k
Penduga dari

adalah

= P.b * sehingga diperoleh penduga regresi

ridge yaitu :

b * = P '. *

Untuk meminimumkan jumlah kuadrat galat model kanonik

y = X * .* + e ,

ditambahkan (k+1) pengali lagrange yaitu ( d 0 , d 1 ,...., d k ) ,

dimana d j > 0 , untuk j =0,1,...., k Dengan metode kuadrat terkecil


diperoleh ( A* + D ). * = g * , yang memberikan penyelesaian :

* = ( A* + D) 1 .g *

dengan A* =X *' X , dan

g =X *' y .

Hal tersebut sama artinya dengan menambahkan konstanta


tertentu

pada

element-element

diagonal

(X ' X ) ,

dan

akan

mengakibatkan penduga koefisien regresinya menjadi bias. Disisi lain


penambahan konstanta tersebut akan membuat matriks tersebut seolaholah orthogonal. Element-element diagonal ( A* + D ) 1 menjadi lebih
kecil, sehingga penduga koefisien regresinya menjadi lebih stabil.
k

Model regresi akan optimum jika

ini akan dipenuhi jika d j =

dengan

E (
j 0

*
j

j ) minimum. Hal

, untuk j =0,1,...., k . Dimana 2 diduga

s , dan j diduga dengan .


2

*
j

Regresi Ridge

Algoritma regresi ridge


1. menentukan = ( X * ' X * ) 1 g *

2. Menentukan 2 = s 2

3. Menentukan

dj =

s2

2j

4. solusi persamaan adalah * = ( X * ' X * + D ) 1 .g *

*
*
*
5. ' = j

j =0

6. Ulangi iterasi dari langkah 3 sampai 5, dengan *j pada langkah 4

dan tentukan * ' *

7. Iterasi dilakukan sampai diperoleh kestabilan * ' *

8. Diperoleh koefisien regresi ridge *


Regresi ridge

= P ' *

dilakukan dengan tujuan memperkecil ragam dari

penduga koefisien regresi, walaupun penduga yang diperoleh berbias.


Penduga regresi ridge dapat diperoleh dengan meminimumkan jumlah
kuadrat galat dari model

y = X . * + e
k

*
dengan = , 0 < < . Dengan metode pengali Langrange,

k 2

L = y i 0* 1* x1i .... k* x ki + c *j

j =0

diturunkan terhadap 0 , 1 ,...., k dan disamakan dengan nol maka


diperoleh

(X'X

+ cI ) * = X ' y

Dan penduga koefisien regresi ridge adalah

Regresi Ridge

* = ( X ' X + cI ) 1 X ' y

Pendugaan koefisien regresi ridge dimulai dari c = 0 , sampai diperoleh


nilai c yang memberikan semua koefisien regresi yang stabil. Dalam
menentukan nilai c yang mana yang memberikan nilai koefisien regresi
yang stabil, dapat dilakukan dengan menggambarkan grafik nilai-nilai
koefisien regresi dengan tetapan c padanannya, (disebut jejak ridge).
Tahapan-tahapan dalam runut regresi adalah sebagai berikut :
1. Variabel prediktor dan variabel respon ditransformasi pembakuan
menjadi variabel Z dan y*.
2. Menghitung rxx = Z ' Z yang merupakan matriks korelasi dari variabel
prediktor.
3. Menghitung rxy = Z ' y , yang merupakan matriks korelasi variabel
predictor terhadap respon.
4. menghitung penduga parameter

* untuk berbagai tetapan c,

(dimulai dari c =0).


5. Menghitung nilai


VIF k

dan s 2 dari berbagai tetapan c.

6. Menggambarkan jejak ridge dengan berbagai tetapan c.


7. Menetapkan nilai tetapan bias c dengan mempertimbangkan nilai VIF
serta plot jejak ridge.
8. Menentukan penduga koefisien regresi ridge dari tetapan c yang
memberikan pendugaan yang stabil.
Aplikasi regresi ridge
Berikut adalah data survey ekonomi di Pakistan tahun 2000-2001.
Y

X1

X2

X3

X4

X5

20.30

19.55

0.2671

3286

68.924

22.2

20.08

19.82

0.1166

3248

71.033

22.5

21.89

19.76

0.1178

3373

73.205

22.8

22.73

21.10

0.0779

3676

75.444

23.2

23.62

19.98

0.0663

3715

77.516

23.4

24.15

20.23

0.1072

3750

80.130

23.7

24.70

20.30

0.1237

3815

82.580

24.0

Regresi Ridge

25.27

20.42

0.1000

3882

84.254

26.2

25.85

20.31

0.0448

3931

87.758

26.5

26.40

20.33

0.0836

4047

90.480

26.9

26.96

20.61

0.0746

4423

93.286

27.2

27.93

20.67

0.0483

4349

96.180

27.5

28.70

21.92

0.0387

4544

99.162

27.9

28.99

20.66

0.3884

4573

102.230

28.0

29.99

20.73

0.3087

4595

105.409

28.1

30.82

20.73

0.3854

4543

108.678

28.3

31.78

20.77

0.3886

4589

111.938

28.6

31.78

20.96

0.2910

4656

111.938

34.9

31.94

21.06

0.4112

4849

113.610

36.0

32.45

21.40

0.2129

4809

116.470

37.2

33.29

21.51

0.6121

4852

119.390

38.4

33.60

21.55

0.4291

4998

122.361

39.6

34.42

21.68

0.1231

5072

125.387

40.9

36.84

21.98

0.5120

4992

128.421

42.2

37.73

21.96

0.4001

4924

131.510

43.6

38.59

21.93

0.4014

4992

134.511

45.0

40.40

21.99

0.4423

5081

137.512

47.1

41.20

21.99

0.4328

5128

140.473

52.0

Sumber : G.R. Pasha and Muhammad Akbar Ali Shah (2004)

Application of Ridge Regression to

Multicollinear Data , Research, 15, 97-106.

Keterangan :
Y = jumlah pekerja (juta)
X1 = luas tanah yang didirikan bangunan ( juta hektar)
X2 = tingkat inflasi (%)
X3 = jumlah bangunan
X4 = jumlah penduduk (juta)
X5 = tingkat literasi (%)
Dengan program minitab, dapat diperoleh : korelasi antar variabel
predictor, persamaan regresi dan anova dari data tersebut sebagai
berikut :

Regresi Ridge

Correlations: Y, X1, X2, X3, X4, X5


Y
X1

X1

X2

X3

X4

0.892
0.000

X2

0.544

0.000

0.003

0.944

0.883

0.659

0.000

0.000

0.000

0.993

0.890

0.729

0.963

0.000

0.000

0.000

0.000

0.957

0.870

0.681

0.867

0.951

0.000

0.000

0.000

0.000

0.000

X3

0.712

X4
X5

Cell Contents: Pearson correlation


P-Value
Regression Analysis: Y versus X1, X2, X3, X4, X5
The regression equation is
Y = - 1.22 + 0.353 X1 - 1.16 X2 - 0.00201 X3 + 0.312 X4 + 0.0152 X5
Predictor

Coef

SE Coef

Constant

-1.217

7.119

-0.17

0.866

X1

0.3532

0.4211

0.84

0.411

X2

-1.162

1.197

-0.97

0.342

2.5

X3

-0.002007

0.001108

-1.81

0.084

26.1

X4

0.31157

0.04818

6.47

0.000

67.2

X5

0.01524

0.06405

0.24

0.814

18.5

S = 0.6700

R-Sq = 99.0%

VIF
6.2

R-Sq(adj) = 98.7%

Analysis of Variance
Source

DF

SS

MS

420.98

0.000

Regression

945.01

189.00

Residual Error

22

9.88

0.45

Total

27

954.89

Untuk mencari persamaan regresi ridge dapat digunakan program SAS


sebagai berikut;
SAS PROGRAM
data ridge;
input y x1 x2 x3 x4 x5;
cards;

Regresi Ridge

20.30 19.55 0.2671

3286

68.924

22.2

20.08 19.82 0.1166

3248

71.033

22.5

21.89 19.76 0.1178

3373

73.205

22.8

22.73 21.10 0.0779

3676

75.444

23.2

23.62 19.98 0.0663

3715

77.516

23.4

24.15 20.23 0.1072

3750

80.130

23.7

24.70 20.30 0.1237

3815

82.580

24.0

25.27 20.42 0.1000

3882

84.254

26.2

25.85 20.31 0.0448

3931

87.758

26.5

26.40 20.33 0.0836

4047

90.480

26.9

26.96 20.61 0.0746

4423

93.286

27.2

27.93 20.67 0.0483

4349

96.180

27.5

28.70 21.92 0.0387

4544

99.162

27.9

28.99 20.66 0.3884

4573

102.230

28.0

29.99 20.73 0.3087

4595

105.409

28.1

30.82 20.73 0.3854

4543

108.678

28.3

31.78 20.77 0.3886

4589

111.938

28.6

31.78 20.96 0.2910

4656

111.938

34.9

31.94 21.06 0.4112

4849

113.610

36.0

32.45 21.40 0.2129

4809

116.470

37.2

33.29 21.51 0.6121

4852

119.390

38.4

33.60 21.55 0.4291

4998

122.361

39.6

34.42 21.68 0.1231

5072

125.387

40.9

36.84 21.98 0.5120

4992

128.421

42.2

37.73 21.96 0.4001

4924

131.510

43.6

38.59 21.93 0.4014

4992

134.511

45.0

40.40 21.99 0.4423

5081

137.512

47.1

41.20 21.99 0.4328

5128

140.473

52.0

;
proc reg;
model y=x1 x2 x3 x4 x5/collin VIF;
run;
proc reg outest=temp outstb noprint;
model y=x1 x2 x3 x4 x5/
ridge=(0 to 0.8 by 0.01)
outvif;
run;

10

Regresi Ridge

title 'Ridge Trace';


symbol1 v=x h=0.5 c=black;
symbol2 v=circle h=0.5 c=red;
symbol3 v=square h=0.5 c=green;
symbol4 v=triangle h=0.5 c=blue;
symbol5 v=plus h=0.5 c=magenta;
legend1 label=none position=(top center inside)
mode=share;
axis1 label=(angle=90 'Ridge Coefficients');
proc gplot;
where _type_='RIDGESTB';
plot (x1 x2 x3 x4 x5)*_ridge_/ overlay legend=legend1
vaxis=axis1 vref=0;
run;
proc print;
where _type_='RIDGESTB';
where _type_='RIDGEVIF';
var _ridge_ x1 x2 x3 x4 x5;
run;
quit;

11

Regresi Ridge

1. 2

x1

x2

x3

x4

x5

1. 1
1. 0
0. 9
0. 8
0. 7
0. 6
0. 5
0. 4
0. 3
0. 2
0. 1
0. 0
- 0. 1
- 0. 2
- 0. 3
0. 0

0. 1

0. 2

0. 3
Ri dge

0. 4
r egr es s i on

0. 5
c ont r ol

0. 6

0. 7

val ue

1
The REG Procedure
Model: MODEL1
Dependent Variable: y
Analysis of Variance
Sum of

Mean

DF

Squares

Square

F Value

Pr > F

Model

945.01288

189.00258

420.98

<.0001

Error

22

9.87706

0.44896

Source

12

Regresi Ridge

0. 8

Corrected Total

Root MSE

27

954.88994

0.67004

R-Square

0.9897

Dependent Mean

29.72857

Adj R-Sq

0.9873

oeff Var

2.25387

Parameter Estimates
Parameter

Standard

Variance

Variable

DF

Estimate

Error

t Value

Pr > |t|

Inflation

Intercept

-1.21704

7.11945

-0.17

0.8658

x1

0.35316

0.42115

0.84

0.4107

6.15852

x2

-1.16178

1.19653

-0.97

0.3421

2.54041

x3

-0.00201

0.00111

-1.81

0.0836

26.09372

x4

0.31157

0.04818

6.47

<.0001

67.22167

x5

0.01524

0.06405

0.24

0.8141

18.51754

Collinearity Diagnostics
Condition
Number

Eigenvalue

Index

5.73992

1.00000

0.22729

5.02527

0.02837

14.22397

0.00396

38.05175

0.00032623

132.64452

0.00012429

214.89582

Collinearity Diagnostics
-------------------Proportion of Variation----------------------------Number

Intercept

x1

x2

x3

x4

x5

0.00000929

0.00000611

0.00307

0.00002015

0.00001877

0.00010710

0.00015596

0.00008027

0.41740

0.00007781

0.00000320

0.00000844

0.00251

0.00076621

0.36478

0.00001887

0.00265

0.05848

0.00677

0.00181

0.02680

0.06257

0.03105

0.28052

0.03121

0.00003600

0.14170

0.84410

0.96319

0.54781

0.95934

0.99730

0.04626

0.09321

0.00309

0.11307

3
Ridge Trace
Obs

_RIDGE_

x1

x2

x3

x4

x5

0.00

6.15852

2.54041

26.0937

67.2217

18.5175

0.01

5.14528

2.13676

9.0983

17.1770

7.6659

0.02

4.41951

1.95887

5.6372

7.9847

5.2622

11

0.03

3.84944

1.82884

4.2085

4.7314

4.1647

14

0.04

3.38936

1.72172

3.4060

3.1952

3.4915

13

Regresi Ridge

17

0.05

3.01158

1.62942

2.8755

2.3393

3.0153

20

0.06

2.69711

1.54803

2.4902

1.8084

2.6517

23

0.07

2.43227

1.47520

2.1935

1.4533

2.3611

26

0.08

2.20697

1.40932

1.9561

1.2022

2.1222

29

0.09

2.01356

1.34924

1.7609

1.0170

1.9217

32

0.10

1.84620

1.29408

1.5973

0.8758

1.7508

35

0.11

1.70031

1.24316

1.4580

0.7652

1.6035

38

0.12

1.57231

1.19595

1.3380

0.6766

1.4754

41

0.13

1.45931

1.15199

1.2336

0.6044

1.3629

44

0.14

1.35902

1.11091

1.1420

0.5445

1.2637

47

0.15

1.26956

1.07243

1.0611

0.4943

1.1755

50

0.16

1.18937

1.03626

0.9892

0.4517

1.0967

53

0.17

1.11719

1.00220

0.9250

0.4151

1.0260

56

0.18

1.05197

0.97005

0.8672

0.3835

0.9623

59

0.19

0.99280

0.93965

0.8152

0.3559

0.9047

62

0.20

0.93894

0.91084

0.7680

0.3317

0.8525

65

0.21

0.88976

0.88351

0.7251

0.3103

0.8048

68

0.22

0.84472

0.85754

0.6860

0.2913

0.7613

71

0.23

0.80334

0.83283

0.6503

0.2743

0.7215

74

0.24

0.76523

0.80928

0.6175

0.2590

0.6848

77

0.25

0.73004

0.78682

0.5873

0.2453

0.6511

80

0.26

0.69748

0.76538

0.5594

0.2328

0.6200

83

0.27

0.66727

0.74488

0.5337

0.2215

0.5912

86

0.28

0.63919

0.72526

0.5099

0.2112

0.5645

89

0.29

0.61303

0.70648

0.4877

0.2018

0.5397

92

0.30

0.58863

0.68848

0.4672

0.1931

0.5166

95

0.31

0.56581

0.67121

0.4480

0.1852

0.4951

98

0.32

0.54444

0.65464

0.4301

0.1778

0.4750

101

0.33

0.52440

0.63871

0.4133

0.1711

0.4562

104

0.34

0.50557

0.62340

0.3976

0.1648

0.4386

107

0.35

0.48785

0.60868

0.3829

0.1589

0.4220

110

0.36

0.47116

0.59451

0.3691

0.1535

0.4065

113

0.37

0.45541

0.58086

0.3561

0.1484

0.3919

116

0.38

0.44053

0.56770

0.3438

0.1437

0.3782

119

0.39

0.42646

0.55502

0.3323

0.1392

0.3652

122

0.40

0.41313

0.54278

0.3213

0.1350

0.3529

125

0.41

0.40050

0.53097

0.3110

0.1311

0.3413

128

0.42

0.38851

0.51957

0.3013

0.1275

0.3304

131

0.43

0.37712

0.50855

0.2920

0.1240

0.3200

134

0.44

0.36628

0.49790

0.2832

0.1207

0.3101

137

0.45

0.35597

0.48759

0.2749

0.1176

0.3008

140

0.46

0.34614

0.47763

0.2669

0.1147

0.2919

143

0.47

0.33676

0.46798

0.2594

0.1119

0.2835

146

0.48

0.32781

0.45864

0.2522

0.1093

0.2754

149

0.49

0.31927

0.44960

0.2454

0.1068

0.2677

14

Regresi Ridge

152

0.50

0.31109

0.44083

0.2389

0.1044

0.2604

Ridge Trace
4
Obs

_RIDGE_

x1

x2

x3

x4

x5

155

0.51

0.30327

0.43233

0.23263

0.10216

0.25346

158

0.52

0.29578

0.42409

0.22667

0.10001

0.24680

161

0.53

0.28860

0.41610

0.22098

0.09795

0.24043

164

0.54

0.28172

0.40834

0.21554

0.09599

0.23434

167

0.55

0.27511

0.40081

0.21032

0.09412

0.22851

170

0.56

0.26877

0.39350

0.20532

0.09233

0.22292

173

0.57

0.26267

0.38639

0.20053

0.09062

0.21757

176

0.58

0.25681

0.37949

0.19593

0.08897

0.21244

179

0.59

0.25117

0.37278

0.19152

0.08740

0.20751

182

0.60

0.24574

0.36626

0.18728

0.08589

0.20278

185

0.61

0.24052

0.35991

0.18321

0.08444

0.19823

188

0.62

0.23548

0.35374

0.17928

0.08304

0.19386

191

0.63

0.23062

0.34774

0.17551

0.08170

0.18966

194

0.64

0.22593

0.34189

0.17188

0.08041

0.18561

197

0.65

0.22141

0.33620

0.16838

0.07917

0.18171

200

0.66

0.21704

0.33066

0.16500

0.07797

0.17795

203

0.67

0.21282

0.32526

0.16175

0.07681

0.17433

206

0.68

0.20874

0.32000

0.15861

0.07570

0.17084

209

0.69

0.20479

0.31487

0.15558

0.07462

0.16747

212

0.70

0.20097

0.30987

0.15265

0.07358

0.16422

215

0.71

0.19728

0.30500

0.14982

0.07257

0.16108

218

0.72

0.19370

0.30025

0.14709

0.07160

0.15804

221

0.73

0.19023

0.29561

0.14444

0.07065

0.15510

224

0.74

0.18687

0.29108

0.14188

0.06974

0.15226

227

0.75

0.18361

0.28667

0.13940

0.06886

0.14952

230

0.76

0.18045

0.28236

0.13700

0.06800

0.14686

233

0.77

0.17739

0.27815

0.13468

0.06717

0.14428

236

0.78

0.17441

0.27404

0.13242

0.06636

0.14178

239

0.79

0.17153

0.27003

0.13024

0.06557

0.13937

242

0.80

0.16872

0.26611

0.12812

0.06481

0.13702

Referensi
Norman Draper dan Harry Smith, Analisis Regresi Terapan, edisi 2, PT
Gramedia Pustaka Utama Jakarta, 1992.
Prof. Dr. Sudjana M.A.,M.Sc., Metoda Statistika, Penerbit Tarsito,
Bandung, 2002.

15

Regresi Ridge

Thomas P. Ryan, Modern Regression Methods, John Wiley & Sons Inc.,
Canada, 1997.
Draper N. R., Smith H, [1981], Applied Regression Analysis, Second Edition,
by John Wiley & Sons, Inc.
Neter, J. Wasserman, W., dan Kutner, M. H. [1997] Model Linier Terapan
(terj.) Jurusan Statistika FMIPA IPB, Bogor.
Walpole & Myers, [], Ilmu Peluang dan Statistika untuk Insinyur dan Ilmuwan,
edisi 4, ITB Bandung.
MINITAB
SAS version eight

16

Regresi Ridge