Makalah Regresi Terapan

REGRESI RIDGE
Untuk Mengatasi Masalah Multikolinearitas

OLEH :
A. FAHMI INDRAYANI
1560 9050 0011 001

PROGRAM PASCASARJANA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

UNIVERSITAS BRAWIJAYA
2016

BAB I
PENDAHULUAN
1.1.

Latar Belakang
Analisis regresi linear adalah teknik statistika yang dapat digunakan untuk

menjelaskan pengaruh variabel prediktor (Independent Variable) terhadap variabel

Respon (Dependent Variable). Salah satu asumsi yang harus dipenuhi untuk melakukan
pengujian hipotesis terhadap parameter ada analisis regresi linear berganda adalah tidak
terjadinya korelasi antar variabel prediktor (Multikolinearitas)
Jika antara variabel berkorelasi tinggi, pengujian hipotesis parameter berdasarkan
metode kuadrat terkecil (Ordinary Least Square) memberikan hasil yang tidak valid
(galat yang dihasilkan akan menjadi besar, variansi dan kovariansi parameter tidak
hingga), diantara variabel-variabel prediktor yang seharusnya berpengaruh signifikan
terhadap variabel tak prediktor akan dinyatakan sebaliknya (tidak nyata secara statisitik),
tanda koefisien regresi dugaan yang dihasilkan bertentangan dengan kondisi aktual,
penduga koefisien regresi bersifat tidak stabil sehingga mengakibatkan silit menduga
nilai-nilai variabel tak prediktor yang tentunya akan mengakibatkan tidak akuratnya
pada peramalan (Myers, 1991).
Ada beberapa prosedur yang dapat digunakan untuk mengatasi masalah
multikolinearitas. Apabila seleksi variabel diperbolehkan dan tidak mengubah teori yang
ada maka cara

paling muda untuk mengatasi multikolinearitas adalah dengan

mengeluarkan salah satu atau beberapa variabel prediktor yan tidak penting dalam model
segingga akan diperoleh estimator dangan varian lebih kecil. Namun, tidak semua
permasalahan jika terjadi multikolinearitas dapat menggunakan metode tersebut dalam
mengatasinya karena dapat memperngaruhi variabel Respon. Oleh karena itu diperlukan
metode lain yang tidak mengeluarkan variabel Prediktor dalam model regresi dan
metode estimasi lain yang dapat menghasilkan parameter dengan variansi lebih kecil.
Metode alternatif dapat digunakan adalah dengan Metode Komponen Utama (Principal
Component Analiysis/PCA) dan Metode Regresi Ridge. PCA dapat menghilangkan
korelasi secara bersih sehingga multikolinearitas dapat benar benar teratasi secara bersih.
Dan Metode Regresi Ridge menghasilkan taksiran koefisien regresi dengan varian yang
kecil, namun taksiran koefisien regresinya bersifat bias.
REGRESI RIDGE

Dalam makalah ini akan dibahas cara mengatasi multikolinearitas dengan

Regresi Ridge kemudian hasilnya akan dibandingkan dengan hasil diperoleh dengan
menggunakan PCA.
1.2.

Perumusan Masalah
1. Bagaimana mendeteksi adanya salah satu pelanggaran asumsi regresi
klasik yaitu Multikolinearitas?
2. Apa yang terjadi ketika adanya pelanggaran asumsi multikolinearitas
diabaikan ?
3. Bagaimana cara penanggulangan Masalah multikolinearitas dengan
menggunakan Regresi Ridge ?
4. Dengan menggunakan Data yang sama, diantara analisis Komponen
Utama (PCA) dan Regresi Ridge mana yang lebih baik dalam
menanggulangi multikolinearitas?

1.3.

Tujuan
1. Mengetahui cara mendeteksi adalanya salah satu pelanggaran asumsi
regresi klasik yaitu multikolinearitas
2. Mengetahui akibat mengabaikan masalah Multikolinearitas ?
3. Mengatahui cara penanggulanagn masalah multikolinearitas dengan
menggunakan Regresi Ridge.
4. Mengetahui

analisis

yang

baik

dalam

menanggulangi

masalah

multikolinearitas diantara regresi Ridge dan analisis komponen utama

1.4.

Batasan Masalah
Makalah ini hanya akan membahas penanganan Mulikolinearitas menggunakan
pada data yang diperoleh Buku Regression Analysis by Example (Chattree dan
Price, 1997). Dengan 1 variabel respon Y dan 3 Variabel Prediktor.

REGRESI RIDGE

BAB II
TINJAUAN PUSTAKA
2.1.

Analisis Regresi

Analisis Regresi merupakan analisis yang dapat menjelaskan hubungan dua Variabel
atau lebih serta menelusuri pengaruh Variabel satu terhadap Variabel lainnya. Hubungan
antara Variabel-Variabel tersebut dapat dirumuskan dalam bentuk persamaan :

Y 0 1 X 1 2 X 2 ... k X k
dimana Y merupakan Variabel respon, X adalah Variabel prediktor dan merupakan
parameter sedangkan adalah sisaan model.
Untuk memperoleh nilai dugaan parameter biasanya digunakan metode kuadrat terkecil
dengan bebarapa asumsi sebagai berikut :
1. i menyebar saling prediktor mengikuti sebaran normal dengan nilai tengah sama
dengan nol dan ragam 2 atau i N(0, 2),
2. i memiliki ragam homogen atau disebut juga tidak adanya masalah
heteroskedastisitas.
3. Tidak adanya hubungan antara Variabel X atau sering juga disebut tidak adanya
masalah kolinear.
Keakuratan suatu model dapat dilihat dari nilai koefisien determinasi (R2) yang
merupakan ukuran kemampuan model yang dapat merangkan keragaman model yang
dapat merengkan keragaman total respon Y. Nilai R2 didefiniskan sebagai berikut :

Y Y
Y Y

JKR
R

JKT
2

dimana Y merupakan nilai rataan respon dan Y adalah nilai dugaan. Semakin besar nilai
R2 berarti model telah mampu menerangkan perilaku Variabel respon. Prinsip moetode
kuadarat terkecil diperlukan untuk mengestimasi 1 dan 2 sehingga ei2 minimum.
Artinya akan dicari 1 dan 2 sedemikian hingga model regresi yang teresttimasi dekat
sekali dengan model regresi yang sesungguhnya. Secara matematis, 1 dan 2 diplih
sehingga bentuk berikut terpenuhi (Nachrowi et al, 2002)
Meminimumkan

REGRESI RIDGE

2
i

Yi 1 2 X i

Istilah multikolinearitas merupakan hubungan linear yang sempurna diantara

variabel-variabel prediktor dalam model regresi. Istilah kolinearitas sendiri berarti
hubungan linear tungga, sedangkan kolinearitas ganda atau multikolinearitas
menunjukkan adanya lebih dari satu hubungan linear yang sempurna (Supranto, 1992).
Cara dalam menghadapi multikolinearitas berdasarkan metode kuadrat terkecil
memberikan hasil yang tidak valid, sehingga dapat digunakan analisis komponen utama.
Analisis komponen utama adalah teknik yang digunakan untuk menyederhanakan suatu
data, dengan cara mentransformasi data secara linear sehingga terbentuk sistem
koordinat baru dengan varians maksimum. Analisis komponen utama dapat digunakan
untuk mereduksi dimensi suatu data tanpa mengurangi karakteristik data tersebut secara
signifikan (Johnson, 2002).
Analisis komponen utama juga dikenal dengan Transformasi Karhunen-Love
(dinamakan untuk menghormati Kari Karhunen dan Michel Love) atau Transformasi
Hotelling (dinamakan untuk menghormati Harold Hotelling). Analisis komponen utama
juga merupakan salah satu teknik statistika multivariat yang dapat menemukan
karakteristik data yang tersembunyi. Dalam penerapannya, analisis komponen utama,
justru dibatasi oleh asumsi-asumsinya, yaitu asumsi kelinearan model regresi, asumsi
keortogonalan komponen utama, dan asumsi varians yang memiliki struktur yang
penting (Harvey, 2009).
2.2.

Multikolinearitas

Istilah Multikolinearitas mula-mula ditemukan oleh Ragnar Frisch pada tahun 1934 yang
berarti adanya hubungan linear antara variabel Xt. Maksud dari adanya hubungan linear
antara variabel Xt adalah sebagai berikut: misalkan hubungan linear antara X1 dan X2 .
Misalkan secara substansi diketahui bahwa total pendapatan (X1) adalah penjumlahan
pendapatan dari upah (X2) dan pendapatan bukan dari (X3), hubungannya adalah X1=
X2+ X3.

Bila model ini diestimasi dengan metode kuadrat terkecil maka 1 tidak

diperoleh karena [XX]-1 tidak dapat dicari, kejadian inilah yang dinamakan
multikolinearitas sempurna.
Dalam hal lain, misalkan:
Konsumsi = 1+ 2 pendapatan + 3 kekayaan +

REGRESI RIDGE

Ada hubungan positif antara kekayaan dan pendapatan, dalam arti seseorang yang kaya
cenderung berpendapatan tinggi. Jika model ini diestimasi dengan metode kuadrat
terkecil, dapat ditentukan, tetapi variansi yang dihasilkan besar yang mengakibatkan
galatnya besar dan interval kepercayaannya semakin besar, sehinggga kurang tepat.
Disimpulkanlah terjadi multikolinearitas yang hampir sempurna. Permasalahan ini
mengakibatkan dampak yang tidak baik bagi model. Pada analisis regresi,
multikolinearitas dikatakan ada apabila beberapa kondisi berikut dipenuhi:
a. Dua variabel berkorelasi sempurna (oleh karena itu vektor-vektor yang
menggambarkan variabel tersebut adalah kolinear).
b. Dua variabel prediktor hampir berkorelasi sempurna yaitu koefisien korelasinya
mendekati 1.
c.

Kombinasi linear dari beberapa variabel prediktor berkorelasi sempurna atau

mendekati sempurna dengan variabel prediktor yang lain.

d. Kombinasi linear dari satu sub-himpunan variabel prediktor berkorelasi sempurna

dengan satu kombinasi linear dari sub-himpunan variabel prediktor yang lain.
2.2.1. Pendeteksian Multikolinearitas
Ada beberapa cara untuk mengetahui ada tidaknya multikolinearitas diantaranya adalah:
a. Nilai korelasi (korelasi antar variable prediktor)
Pendektesian ini merupakan pendektesian yang paling sederhana dan paling mudah.
Jika elemen |rij | mendekati satu atau | rij |> 0.75 , maka Xi dan Xj mungkin terjadi
masalah multikolinearitas.
1

r1 p

rik

r12

r2 p

... r1 p

1 n xir xi xkr xk

n 2 r 1 sii skk

Untuk i = k mengasilkan r = 1
b. Faktor variansi inflasi ( Variance Inflation Faktor /VIF)

REGRESI RIDGE

Merupakan element diagonal utama dari invers matriks korelasi. Faktor variansi
inflasi kecil, maka multikolinearitas lebih sederhana. Faktor inflasi yang
melebihi 10 maka terditeksi adanya masalah multikolinearitas.
c. Nilai Determinan
Nilai determinan terletak antara 0 dan 1. Jika nila determinan 1, kolom matriks X
adalah ortogonal dan jika nilainya 0 maka terdapat ketergantungan linear yang
nyata antara kolom X. Nilai yang lebih kecil determinannya maka tingkat
kolinearitasnya lebih besar.
d. Jika pengujian F untuk regresi adalah nyata tetapi pengujian pada koefisien
regesi

secara

individu

tidak

nyata,

maka

mungkin

terjadi

masalah

multikolinearitas.
2.3.

Metode Regresi Ridge

Salah satu cara selain PCA untuk menghilangkan multikolinearitas adalah dengan
menghilangkan variabel-variabel prediktor dari model dengan berdasarkan pada nilai
koefisien ganda R2 tertinggi. Namun penghilangkan variabel prediktor yang dikeluarkan
dari model mempunyai pengaruh yang relatif signifikan terhadap variabel Prediktor,
karena dapat merusak kekuatan prediksi dari model. Suatu cara untuk menghadapai
masalah ini adalah meninggalkan metode kuadrat terkecil yang biasa dan menggunakan
cara penaksiran bias. Dalam menggunakan estimator yang bias ini adalah prinsipnya
adalah menerima bias tertentu dalam estimator agar variansi dari estimators dapat
diperkecil. Sejumlah prosedur estimasi bias telah dikembangkan untuk memperoleh
estimasi koefisien regresi. Salah satunya adalah Regresi Ridge
Metode Regresi Ridge digunakan untuk mengurangi dampak multikolinearitas
dengan cara menentukan penduga yang bias tetapi cenderung mempunyai jumlah
kuadrat residual yang lebih kecil daripada taksiran yang diperoleh dengan kuadrat
terkecil. Estimasi regresi ridge stabil, dengan pengertian bahwa tidak dipengaruhi oleh
adanya variansi yang lebih kecil dalam penaksiran data karena sifat rata-rata kuadrat
residual yang lebih kecil maka diharapkan lebih dekat pada nilai-nilai koefisien regresi
yang sebenarnya dari taksiran kuadrat terkecil.

REGRESI RIDGE

Metode Regresi Ridge ini didasarkan pada modifikasi metode kuadrat terkecil, yakni
dengan menambahkan suku

kI pada

(XX) sebelum diinverskan sehingga

menyebabkan melemahnya multikolinearitas.

Estimator ridge R didefinisikan sebagai berikut :

X' X kI R X' Y
Atau dapat ditulis juga

R X' X kI 1 X' Y
dimana k 0 adalah suatu konstan (parameter bias) yang dipilih sedemikian sehingga
nilai R stabil. Jika k = 0 maka estimators ridge sama dengan estimators kuadrat terkecil:

R X' X kI 1 X' Y
X'kI X' XX' X X' y
1

X' X kI X' X

Zk

dengan, Zk X' X kI X' X . Oleh karena itu selama E R E Zk Zk ,

1

dimana R adalah estimator bias bagi . Matriks Varian-Covarian dari R adalah

EX' X kI
EX' X kI

Var Cov R E R''R

X' Y X' X kI X' Y '

X' YY' XX' X kI

X' X kI X' EYY' XX' X kI

1

X' X kI X' 2IXX' X kI

1

2tr X' X kI X' XX' X kI

1

Sehingga varians dari R adalah

p
j
1
1
j
2
j k j 1 j k 2
j 1 j k
p

1
1
Var R 2tr X' X kI X' XX' X kI 2

Mean Square Error ( MSE ) untuk estimators ridge adalah

REGRESI RIDGE


E 2' E
Jika E E 2' E
MSE R E R ' R
2

2
Maka, E R 2' E R 2 E R

2
' E R

Var E
Jika nilai E disubsitusikan, maka MSE akan diperoleh
E R

2
MSE R E R var R E R ' E R

var Bias dalam

2
var R E R '

Atau dapat ditulis juga dengan

MSE R 2

i k

k 2' X' X kI

Dimana 1, 2,..., i adalah nilai-nilai eigen dari (X) . Suku pertama pada ruas kanan
adalah jumlahan variansi R dan suku kedua merupakan kuadrat bias. Jelas bahwa k > 0
untuk jika k nilai bertambah, maka variansi akan mengecil dan kuadrat bias akan
membesar. Penentuan nilai dilakukan sedemikian sehingga penurunan jumlah variansi
lebih besar dari kenaikan kuadrat bias. Jika hal ini dapat dilakukan MSE dari estimator
ridge R akan lebih kecil dari variansi estimator kuadrat terkecil .
Metode Pemilihan k
Penambahan konstanta k mengakibatkan nilai-nilai elemen diagonal matrik X' X kI

menjadi kecil sehingga rata-rata kuadrat residulnya menjadi kecil. Hal ini menunjukkan
bahwa taksiran koefisien regresi menjadi lebih stabil.Untuk pemilihan nilai konstan k
yang dapat digunakan metode iterasi yang diperoleh dengan cara meminimumkan ratarata kuadrat residual.

REGRESI RIDGE

MSE R E R ' R

j 1

j 1

2j k 2

R 2
2j k 2
j

2
2

j k
j 1 j k

REGRESI RIDGE

BAB III
METODE DAN PEMBAHASAN
3.1.

Data

Data yang digunakan pada makalah ini diambil dari buku Regression Analysis by
Example (Chattree dan Price, 1997). Dengan 1 variabel respon Y dan 3 Variabel
Prediktor.
PERUSAHAAN

KOMPENSASI(Y)

PENJUALAN(X1)

KEUNTUNGAN(X2)

PEKERJA(X3)

1
2

450
387

4600.6
9255.4

128.1
783.9

48000
55900

368

1526.2

136

13783

277

1683.2

179

27765

676

2752.8

231.5

34000

454

2205.8

329.5

26500

507

2384.6

381.8

30800

496

2746

237.9

41000

487

1434

222.3

25900

10

383

470.6

63.7

8600

11
12
13

311
271
524

1508
464.4
9329.3

149.5
30
577.3

21075
6874
39000

14

498

2377.5

250.7

34300

15

343

1174.3

82.6

19405

16

354

409.3

61.5

3586

17

324

724.7

90.8

3905

18

225

578.9

63.3

4139

19

254

966.8

42.8

6255

20
21
22

208
518
406

591
4933.1
7613.2

48.5
310.6
491.6

10605
337119
52000

23
24
25

332
340
698

3457.4
545.3
22862.8

228
54.6
3011.3

50500
18625
97937

26
27
28

306
613
302

2361
2614.1
1013.2

203
201
121.3

12300
71800
18625

29
30
31
32

540
293
528
456

4560.3
855.7
4211.6
5440.4

194.6
63.4
352.1
655.2

97937
12300
71800
87700

33

417

1229.9

97.5

14600

REGRESI RIDGE

3.2. Prosedur Pembentukan Regresi Ridge

Regresi Metode Ridge dilakukan melalui tahapan sebagai berikut :
1. Transformasi terhadap matriks X menjadi Z dan vektor Y menjadi YR, melalui
centering and rescaling. Dengan :

YiR =

Zi1 =

: Jumlah Observasi
:
: nilai variabel bebas 1 ke-i hasil

Zi2 =

trasformasi
: nilai variabel bebas 1 ke i

Dimana :

: rata-rata variabel bebas 1

: nilai variabel tak bebas ke-i

hasil trasformasi

: nilai variabel tak bebas ke-i

: rata-rata variabel tak bebas

2. Menghitung matriks Z'Z matriks korelasi dari variabel bebas, serta menghitung
Z'YR korelasi dari variable bebas terhadap variable tak bebas y.
3. Hitung nilai VIF dan nilai penaksir parameter bR dengan berbagai kemungkinan
tetapan bias c (0<c<1).
VIF : elemen diagonal pada matriks ( ZZ + c I)-1 ZZ (ZZ + c I)-1
VIF memiliki nilai mendekati 1 jika variabel bebas X tidak saling
berkorelasi dengan variabel-variabel bebas lainnya (Neter, dkk).
Nilai penaksir parameter bR = (ZZ + c I)-1 ZY
4. Menentukan nilai c dengan mempertimbangkan nilai VIF dan bR. Dan menentukan
koefisien penduga (estimator) ridge regression dari nilai c yang terpilih, serta
menyusun persamaan model Regresi Ridge.
5. Uji Hipotesis secara Simultan dengan ANOVA Ridge Regression dan Parsial
( = 0,05).
Ho : 1= 2 = 3 = 0 (Variabel bebas secara simultan tidak signifikan di dalam model)
H1 :

0 (Variabel bebas secara simultan signifikan di dalam model)

REGRESI RIDGE

ANOVA Untuk Regresi Ridge :

SK
DF
JK
KT
Fhitung
Regresi
P
JKR
KTR
KTR/KTS
Error
n-p-1
JKS
KTS
Total
n-1
JKT
Untuk mengujinya diperlukan dua macam jumlah kuadrat sisa (JKS) yang dapat

dihitung dengan rumus sebagai berikut :dengan JKT : Jumlah kuadrat total
R2 = JKR/JKT
JKT : Jumlah kuadrat total
6. Transformasi ke bentuk asal :
Untuk kepentingan estimasi, maka model Regresi Ridge dapat ditransformasi
kembali ke bentuk variabel asalnya R ke dengan cara:
; i = 1,2,....,p-1

Akhirnya didapat model regresi berganda yang siap digunakan untuk estimasi
(Neter hal. 414)

REGRESI RIDGE

Bab IV
Hasil dan Pembahasan
4.1. Regresi Berganda
Pembentukan model regresi berganda dengan menggunakan software R. Setelah
memasukkan seluruh variabel prediktor dan variabel responnya, diperoleh output berikut
Residuals:
Min
1Q
-147.79 -73.69

Median
-20.27

3Q
64.27

Max
278.38

Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 3.419e+02 2.483e+01 13.769
3e-14 ***
Penjualan
1.073e-02 1.429e-02
0.750
0.4591
Keuntungan 2.521e-02 1.130e-01
0.223
0.8250
Pekerja
5.998e-04 3.408e-04
1.760
0.0889 .
--Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
Residual standard error
Multiple R-squared
Adjusted R-squared
F-statistic
p-value

: 101.9 on 29 degrees of freedom

: 0.3947
: 0.3321
: 6.305 on 3 and 29 DF
: 0.001997

Berdasarkan nilai pvalue diketahui bahwa variabel X1, X2, dan X3 secara parsial tidak
berpengaruh signifikan. Padahal ketiga variabel secara logika harusnya mempengaruhi
nilai variabel Y. Selain berdasarkan p-value untuk uji F, diperoleh hasil bahwa paling
sedikit ada satu variabel yang berpengaruh secara signifikan. Berdasarkan hal tersebut
diatas dicurigai bahwa adanya kasus multikolinearitas. Untuk itu perlu dilakukan
pengecekan multikolinearitas.
Identifikasi Multikolineritas
Untuk mengidentifikasi adanya masalah multikolinearitas dilakukan dengan melihat
nilai VIF dengan output sebagai berikut
> vif(RegModel.1)
Penjualan
11.414462

REGRESI RIDGE

Keuntungan
Pekerja
10.597591 1.261438

Dari output diatas dapat dilihat bahwa ada nilai VIF yang lebih dari 10 yaitu pada
variabel X1(Penjualan) dan X2 (Keuntungan) . hingga dapat disimpulkan bahwa pada
data terjadi masalah multikolinearitas. Untuk mengatasi masalah multikolineatritas ini
data akan dimodelkan dengan menggunakan Regresi Ridge.
4.2. Regresi Ridge
1.

Transformasi terhadap matriks X menjadi Z dan vektor Y menjadi YR

Setelah ditransformasi maka data diperlihatkan sebagai berikut :
perusahaan

YR

z1

z2

z3

0.316771

0.305462991

-0.34118

0.091508561

-0.18826

1.398230336

0.921492

0.224512669

-0.34058

-0.41628744

-0.32597

-0.484567587

4
5
6
7
8
9
10
11
12

-1.07007
2.128484
0.348836
0.773707
0.685526
0.613379
-0.22033
-0.79751
-1.11817

-0.37942991
-0.12832912
-0.2567436
-0.21476826
-0.12992549
-0.43793244
-0.66410157
-0.4205601
-0.66555709

-0.24318
-0.14209
0.046594
0.147292
-0.12977
-0.15981
-0.46517
-0.29998
-0.53006

-0.249167152
-0.144194922
-0.270464645
-0.198070004
-0.02634318
-0.280566223
-0.571828384
-0.361799745
-0.600887256

13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

0.909987
0.701559
-0.54099
-0.45281
-0.6933
-1.48693
-1.25445
-1.62321
0.861888
-0.03595
-0.62917
-0.56504
2.304846
-0.8376
1.623449
-0.86966
1.038249
-0.94181
0.942052
0.364869

1.415579203
-0.21643507
-0.49889998
-0.67849245
-0.6044487
-0.63867691
-0.54761297
-0.6358363
0.383521155
1.012705172
0.037083764
-0.6465649
4.592722552
-0.22030863
-0.16089052
-0.53672004
0.296002107
-0.57369496
0.214140808
0.502615611

0.523706
-0.10513
-0.42878
-0.46941
-0.413
-0.46594
-0.50542
-0.49444
0.010205
0.3587
-0.14883
-0.4827
5.210107
-0.19697
-0.20082
-0.35427
-0.21314
-0.46575
0.090108
0.673694

-0.060015107
-0.139144133
-0.389915803
-0.656243903
-0.65087323
-0.646933615
-0.611308717
-0.538072278
4.959105367
0.158852413
0.133598469
-0.403047854
0.932246049
-0.50953532
0.492204482
-0.403047854
0.932246049
-0.50953532
0.492204482
0.759896295

33

0.052228

-0.48584725

-0.4001

-0.470812605

REGRESI RIDGE

2. Menghitung matriks Z'Z matriks korelasi dari variabel bebas, serta menghitung
Z'YR korelasi dari variable bebas terhadap variable tak bebas y.

0,694 0,354
1
Z' Z 0,694
1
0.300
0,354 0.300
1

0.272
Z' Y R 0.431
0.384

3. Hitung nilai VIF dan nilai penaksir parameter R dengan berbagai kemungkinan
tetapan bias k (0<k<1).
VIF : elemen diagonal pada matriks ( ZZ + kI)-1 ZY
Nilai penaksir parameter R = ( ZZ + kI)-1 ZY
Menentukan nilai k dengan mempertimbangkan nilai VIF dan R. Dan
menentukan koefisien penduga (estimator) ridge regression dari nilai k yang
terpilih, serta menyusun persamaan model Regresi Ridge.
k
0
0,0001
0,0002
0,0003
0,0004
0,0005
0,0006
0,0007
0,0008
0,0009
0,001
0,002
0,003
0,004
0,005
0,006
0,007
0,008
0,009
0,01
0,02
0,03
0,04
0,05
0,06
0,07
0,08
0,09
0,1

Z1
2,0201
2,0189
2,0177
2,0165
2,0154
2,0142
2,0130
2,0118
2,0107
2,0095
2,0083
1,9967
1,9852
1,9738
1,9626
1,9514
1,9403
1,9294
1,9185
1,9077
1,8054
1,7118
1,6260
1,5472
1,4746
1,4075
1,3454
1,2878
1,2342

Nilai VIF
Z2
Z3
1,9418 1,1509
1,9407 1,1506
1,9396 1,1503
1,9385 1,1500
1,9375 1,1497
1,9364 1,1495
1,9353 1,1492
1,9342 1,1489
1,9331 1,1486
1,9320 1,1483
1,9309 1,1480
1,9201 1,1451
1,9094 1,1423
1,8987 1,1394
1,8882 1,1366
1,8778 1,1338
1,8675 1,1310
1,8572 1,1282
1,8471 1,1254
1,8371 1,1226
1,7415 1,0954
1,6540 1,0692
1,5737 1,0440
1,4997 1,0197
1,4315 0,9964
1,3685 0,9738
1,3100 0,9521
1,2557 0,9311
1,2051 0,9108

Z1
-0,1369
-0,1368
-0,1367
-0,1366
-0,1365
-0,1364
-0,1363
-0,1362
-0,1361
-0,1360
-0,1359
-0,1350
-0,1341
-0,1331
-0,1322
-0,1313
-0,1304
-0,1295
-0,1286
-0,1277
-0,1192
-0,1113
-0,1038
-0,0968
-0,0902
-0,0840
-0,0781
-0,0726
-0,0674

R
Z2
0,4360
0,4359
0,4358
0,4357
0,4356
0,4355
0,4354
0,4353
0,4353
0,4352
0,4351
0,4341
0,4331
0,4321
0,4312
0,4302
0,4293
0,4283
0,4274
0,4265
0,4174
0,4089
0,4009
0,3933
0,3861
0,3792
0,3727
0,3665
0,3605

Z3
0,3011
0,3010
0,3010
0,3010
0,3009
0,3009
0,3009
0,3008
0,3008
0,3008
0,3007
0,3004
0,3001
0,2997
0,2994
0,2991
0,2987
0,2984
0,2981
0,2977
0,2945
0,2914
0,2884
0,2855
0,2826
0,2798
0,2771
0,2745
0,2720

0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1

0,8552
0,6401
0,5044
0,4121
0,3458
0,2962
0,2577
0,2271
0,2023

0,8449
0,6379
0,5059
0,4153
0,3497
0,3002
0,2616
0,2309
0,2058

0,7411
0,6162
0,5212
0,4472
0,3883
0,3406
0,3014
0,2688
0,2413

-0,0278
-0,0030
0,0134
0,0247
0,0326
0,0383
0,0424
0,0453
0,0474

0,3132
0,2801
0,2552
0,2356
0,2196
0,2062
0,1946
0,1846
0,1757

0,2494
0,2311
0,2158
0,2027
0,1913
0,1812
0,1723
0,1642
0,1570

4. Dari tabel dan gambar diatas terlihat bahwa mulai dari k = 0 sampai pada nilai k = 1,
VIF koefisien estimator R semakin lama semakin kecil. Nilai VIF yang diambil
adalah VIF yang relatif dekat dengan 1.
Dari berbagai harga k yang ada, nilai k yang memberikan nilai VIF relatife dekat
dengan 1 yaitu pada k = 0,1 dan pada nilai k = 0,1 ini koefisien R juga lebih
stabil. Dengan demikian nilai k yang diambil adalah 0,1. Persamaan regresi ridge
yang diperoleh jika k yang diambil sebesar 0,1 yaitu :
YR = - 0.0674Z1 + 0.3605Z2 + 0.272Z3
5. Uji Hipotesis secara Simultan dengan ANOVA Ridge Regression dan Parsial
( = 0,05).
Ho :
H1 :
SK
Regresi
Error
Total

Df
3
29
32

3=

0
JK
6,745
1,872
2,547

KT
3,456
6,456

Fhit
3,4826

Ftabel
0,028368

R2 = JKR/JKT = 6,745/2,547 = 2,74 ~ 27,4%

Keputusan : karena Fhit > Ftabel maka tolak Ho
Kesimpulan : Dengan tingkat kepercayaan sebesar 95 % dapat disimpulkan bahwa
variabel bebas secara simultan signifikan di dalam model.
6. Transformasi ke bentuk asal :
Diketahui

nilai

Sx1=4259.64

Sx2=519.37

3299.43,

dan

Sx3=59396.66

maka diperoleh :

REGRESI RIDGE

9.
serta

Sy=124.74

Interpretasi Hasil
Berdasarkan persamaan regresi yang baru

diketahui bahwa kompensasi mendapat

pengaruh negatif dari penjualan, serta mempunyai pengaruh yang positif pada
keuntungan, dan pekerja yang dimiliki sebuah perusahaan.
4.3. Perbandingan PCA dengan Regresi Ridge
Berikut disajikan tabel hasil perhitungan dari analisis komponen utama (PCA)
dengan Regresi Ridge dalam mengatasi masalah multikolinearitas.

PCA
RIDGE

X1
1
1.23

VIF
X2
1
1.21

X3
1
0.92

R2
39,4 %
27,4 %

Dengan membandingkan hasil dari nilai VIF yang mendeteksi adalnya multikolinearitas
analisis dengan baik dengan menggunakan PCA maupun Regresi Ridge, sama sama
menghilangkan

permasalahan multikolinearitas, ini dapat dilihat dari nilai VIF

seluruhnya berada dibawah 10. Namun, analisis menggunakan PCA lebih baik, karena
nilai VIF nya adalah 1, artinya bahwa antar variabel dijamin saling bebas, keunggulan
PCA dalam mengatasi masalah multikolinearitas juga dapat dilihat dari nilai R2 yang
lebih tinggi dari pada nilai R2 yang diperoleh dari Regresi Ridge.Akan tetapi dari
penggunaannya, Regresi Ridge lebih mudah dari pada menggunakan PCA.

REGRESI RIDGE

BAB IV
KESIMPULAN
Dari pembahasan pada bab 3 dapat disimpulkan bahwa, pelanggaran asumsi yang
menyebabkan terjadinya multikolinearitas pada data dapat diindentifikasi dengan
melihat nilai Variance Inflation Faktor (VIF) . multikolinearitas terjadi jika nilai VIF
>10. Multikolinearitas menyebabkan hasil analisis dengan regresi berganda signifikan
jika diuji secara simultan namun ketika diuji secara parsial variabelnya tidak signifikan,
akibatnya jika multikolinearitas tidak diatasi akan terjadi kesalahan estimasi.
Untuk mengatasi masalah multikolinearitas dapat menggunakan analisis komponen
utama, melalui penggunaan analisis ini akan dihasilkan variabel-variabel baru yang
merupakan kombinasi linear dari variabel-variabel prediktor asal dan antara variabel
variabel baru ini bersifat saling prediktor. Variabel-variabel yang baru ini disebut
komponen utama dan selanjutny diregresikan dengan variabel tak prediktor. Hal ini
dapat dilihat pada studi kasus, masalah multikolinearitas dapat diatasi, sehingga nilai
dari R2 meningkat. Cara lainnya adalah dengan menggunakan Regresi Ridge, yaitu
dengan modifikasi metode kuadrat terkecil, yakni dengan menambahkan suku kI pada
(XX) sebelum diinverskan sehingga menyebabkan melemahnya multikolinearitas.
Pada studi kasus yang dibahas pada bab sebelumnya, dapat dilihat bahwa untuk
mengatasi masalah multikolinearitas analisis menggunakan analisis komponen utama
memiliki nilai VIF sama dengan satu sehingga variabel dijamin saling bebas. Juga dilihat
dari nilai R squarenya yang lebih tinggi dari pada Regresi Ridge. Namun dalam
penggunaannya Regresi Ridge lebih mudah digunakan.

REGRESI RIDGE

DAFTAR PUSTAKA
Chatterje, S., A. S. Hadi, B. Price. 1997. Regression Analysis by Example 3rd Edition.
John Wiley & Sons. New York.
Djalal, N, et al. 2002. Penggunaan Teknik Ekonometrika. Edisi Revisi. Jakarta: PT. Raja
Grafindo Persada.
Harvey Mudd College.2009 Karhunen-Loeve Transform (KLT). www:/http//E:/Analisis_
komponen_utama .htm. Diakses pada 09 November 2016 jam 16.20
Johnson, R, A. & Wichern, D, W. 2002. Applied Multivariate Statistical Analysis. 5th
edition. Pearson education International.
Myers, R.H. & Milton, J.S. 1991. A First Course In The Theory Of Linier Statistical
Models. PWS-KENT Publishing Company, Boston.

REGRESI RIDGE