Analisis Regresi 2

Pokok Bahasan :
Multikolinier &
penanganannya

TUJUAN INSTRUKSIONAL KHUSUS :

Mahasiswa dapat menjelaskan adanya multikolinieritas pada regresi
linier berganda serta prosedur penanganannya
Regresi linear berganda:
Dalam notasi matriks

Y=Xβ+ε

Dengan
Y = vektor peubah tak bebas (nx1)
X = matriks peubah bebas (nxk)
β = vektor penduga parameter (kx1)
ε = vektor sisaan/galat (nx1)
Beberapa asumsi yang mendasari
model tersebut adalah :

εi menyebar saling bebas mengikuti

sebaran normal (0.σ2)
εi memiliki ragam homogen
Tidak adanya hubungan antar
peubah X ( E(Xi,Xj) = 0, untuk
semua i ≠ j ) atau sering disebut
tidak ada masalah kolinear
εi bebas terhadap peubah X
 MULTIKOLINEARITAS

Muncul ketika adanya korelasi diantara peubah bebas

yang dapat mempengaruhi ragam dari penduga kuadrat
terkecil dan pendugaan model yang dibuat.
(Wetherhill,1986)

Apabila terdapat masalah multikolinear pada model

regresi berganda, maka matriks X’X akan memiliki sifat
kondisi buruk (ill-conditioned) atau hampir singular
yang pada akhirnya akan menyebabkan dugaan bagi b
memiliki dugaan ragam yang menduga lebih
(overestimate) walaupun tetap takbias.
Indikasi adanya multikolinearitas

1.Semua variabel dilibatkan dengan nilai VIF >10

2.Uji parsial-t mengindikasikan terima Ho (model
tidak nyata)
3.Uji-F mengindikasikan tolak Ho (model nyata)
4.Rsq(adj) bernilai tinggi
5.Adanya korelasi antara peubah bebas
Ketidaksesuaian hubungan antara peubah
bebas dan peubah respon berdasarkan teori
dan hasil.
 Selain itu, cara mendeteksi adanya
multikolinearitas melalui nilai:

1. Condition Index (CI)

atau Indeks Kondisi Dilakukan dengan mengukur
perubahan akar ciri yang umum, yaitu:

n = √( λmax / λmin )

Jika n>30 maka menandakan derajat multikolinearitas

yang tinggi
2. Multikolinearitas Index (MCI) (Thisted,1980)
2
p
æ lm ö
MCI = å çç ÷÷
x =1 è l1 ø
Dengan:
lm = nilai eigen (akar ciri) minimal
l1 = nilai eigen (akar ciri) dari matriks
Bila MCI mendekati 1 4 Multikolinearitas tinggi
Bila MCI mendekati 3 4Peubah saling bebas
3. Variance Inflation Factor (VIF)
dengan
VIFi = 1/(1-Ri²)
Ri² = koefisien determinasi ganda bila Xi diregresikan
terhadap semua peubah bebas lainnya.
Nilai VIF yang lebih besar dari 10 menunjukkan adanya
kolinearitas(Myers,1990).
Y=a+b1X1+b2X2+b3X3+e

VIF1=1/(1-R1)
X1=a+b1X2+b2X3 -> R1
X2=a+b1X1+b2X3 -> R2
X3=a+b1X1+b2X2 -> R3
Cara dan pendekatan yang dilakukan
untuk mengatasi masalah
multikolinearitas, seperti:

Membuang peubah bebas yang mempunyai

korelasi tinggi terhadap peubah bebas lainnya.
Menambah data pengamatan/contoh.
Melakukan transformasi terhadap peubah-
peubah bebas yang mempunyai kolinearitas atau
menggabungkan menjadi peubah-peubah bebas
baru yang lebih berarti.
Menggunakan regresi Gulud, regresi
kuadrat terkecil parsial dan Regresi Komponen
Utama (principal component regression).
REGRESI KOMPONEN UTAMA

(PRINCIPAL COMPONENT REGRESSION)

Regresi Komponen Utama ( Principal Component
Regression)

Analisis komponen utama pada dasarnya

mentransformasi peubah-peubah bebas yang
berkorelasi menjadi peubah-peubah baru yang
ortogonal dan tidak berkorelasi. Analisis ini bertujuan
untuk menyederhanakan peubah-peubah yang diamati
dengan cara mereduksi dimensinya. Hal ini dilakukan
dengan menghilangkan korelasi di antara peubah melalui
transformasi peubah asal ke peubah baru (komponen
utama) yang tidak berkorelasi (Gesperz, 1995).
 Tahapan-tahapan yang dilakukan dalam analisis
regresi komponen utama adalah:

1.Membakukan peubah bebas asal yaitu X menjadi Z.

2.Mencari akar ciri dan vektor ciri dari matriks R.
3.Menentukan persamaan komponen utama dari vektor
ciri.
4.Meregresikan peubah respon Y terhadap skor
komponen utama W.
5.Transformasi balik.
 Biasanya tidak semua W digunakan.
Morrison (1978) menyarankan agar memilih komponen-
komponen utama sampai komponen-komponen utama
tersebut mempunyai keragaman kumulatif 75 %, namun
sebagian ahli menyarankan agar memilih komponen
utama yang mempunyai akar ciri lebih dari satu, karena
jika akar ciri kurang dari satu, keragaman data yang
dapat diterangkan kecil sekali.
contoh kasus
Berdasarkan teori dan konsep ekonomi, variabel-
variabel yang mempengaruhi penawaran ekspor TPT
Indonesia adalah sebagai berikut:
Y = Volume ekspor TPT (Tekstil dan Produk Tekstil)
(kg)
X1 = Pendapatan per kapita (dolar)
X2 = Upah tenaga kerja (dolar)
X3 = Harga ekspor TPT pada (dolar/kg)
X4 = Indeks persepsi korupsi Indonesia (CPI)
X5 = Nilai tengah kurs rupiah (rupiah/dolar)
X6 = Suku bunga kredit investasi (%)
 Y X1 X2 X3 X4 X5 X6
1231259 1221,02 101,518 100,741 6,366 2,31988 0,15
3784049 1252,35 107,148 95,819 7,296 2,82953 0,135
12610093 929,03 49,919 115,86 10,348 6,46352 0,135
16262677 1020,79 64,109 102,191 12,192 4,57276 0,135
19652917 1066,94 106,114 81,993 13,052 3,33007 0,135
26066585 1018,6 159,541 69,089 14,347 3,56899 0,135
54588512 4327,72 164,611 49,617 16,065 2,87178 0,135
84680680 3793,76 139,723 53,641 17,447 3,10394 0,135
1,01E+08 3613,34 140,651 51,051 18,329 3,81087 0,193
1,28E+08 2771,18 87,752 52,635 17,247 4,2792 0,178
1,59E+08 2841,22 96,019 43,769 19,239 3,90727 0,187
2,05E+08 2808,28 93,805 44,101 20,155 3,2182 0,196
2,48E+08 2847,93 78,978 41,936 21,008 4,0113 0,188
3,09E+08 2933,46 80,505 44,015 23,781 4,28146 0,232
4,08E+08 2909,73 77,761 44,048 24,999 3,76041 0,191
5,78E+08 2922,27 99,133 44,405 26,512 4,20033 0,1819
6,9E+08 2959 112,733 36,717 29,096 3,76027 0,1528
7,71E+08 3021,99 144,148 29,589 30,986 2,8298 0,1527
8,26E+08 3096,76 150,796 28,13 33,066 2,40781 0,161
9,71E+08 3057,78 147,18 24,718 35,041 2,23297 0,1741
8,58E+08 933,63 56,405 18,54 37,813 2,25327 0,1833
1,19E+09 820,67 95,347 4,043 76,989 1,69289 0,262
1,58E+09 925,35 136,239 4,773 81,369 2,11452 0,179
1,73E+09 707,91 113,51 4,731 90,048 2,27233 0,1686
1,73E+09 665,66 126,703 3,957 97,379 2,46266 0,179
1,76E+09 795 208,356 3,406 100 2,24986 0,1782
1,65E+09 865,11 223,453 3,754 104,37 2,46344 0,1575
1,63E+09 824,06 200,482 4,019 110,2 2,41005 0,1391
1,8E+09 812,45 183,482 3,774 116,39 2,54001 0,1623
1,88E+09 921,43 211,937 3,642 126,16 2,78449 0,1542
Regression Analysis: Y versus X1, X2, X3, X4, X5, X6
The regression equation is
Y = 1.36E+09 - 38255 X1 - 1882111 X2 - 7980119 X3 + 12350726 X4 -
34507807 X5
- 2.69E+09 X6

Predictor Coef SE Coef T P VIF

Constant 1356844891 424915011 3.19 0.004
X1 -38255 52547 -0.73 0.474 4.6
X2 -1882111 1239485 -1.52 0.143 4.2
X3 -7980119 2843555 -2.81 0.010 11.0
X4 12350726 2923637 4.22 0.000 15.8
X5 -34507807 45042940 -0.77 0.451 2.5
X6 -2689286254 1411764071 -1.90 0.069 2.2

S = 153742395 R-Sq = 96.1% R-Sq(adj) = 95.1%

standardized residual
Analysis of Variance

Source DF SS MS F P
Regression 6 1.34843E+19 2.24739E+18 95.08 0.000
Residual Error 23 5.43645E+17 2.36367E+16
Total 29 1.40280E+19

Source DF Seq SS
X1 1 3.71673E+18
X2 1 4.09562E+18
X3 1 5.11166E+18
X4 1 4.61654E+17
X5 1 1.28943E+16
X6 1 8.57703E+16

Unusual Observations

Obs X1 Y Fit SE Fit Residual St Resid

20 3058 971167565 653131316 53575981 318036249 2.21R

R denotes an observation with a large

Correlations: X1, X2, X3, X4, X5, X6

X1 X2 X3 X4 X5
X2 -0.139
0.465

X3 0.141 -0.550
0.458 0.002

X4 -0.566 0.664 -0.811

0.001 0.000 0.000

X5 0.257 -0.529 0.651 -0.553

0.170 0.003 0.000 0.002

X6 0.098 -0.271 -0.417 0.128 -0.142

0.605 0.147 0.022 0.501 0.453

Cell Contents: Pearson correlation

P-Value
Hasil pembakuan dari peubah-peubah X i ke Zi
Z1 Z2 Z3 Z4 Z5 Z6
-0.62888 -0.50233 1.81149 -0.98524 -0.84248 -0.60552
-0.60209 -0.38325 1.66399 -0.96128 -0.3355 -1.10485
-0.87868 -1.59365 2.26457 -0.88257 3.27946 -1.10485
-0.80018 -1.29354 1.85494 -0.83502 1.3986 -1.10485
-0.7607 -0.40512 1.24969 -0.81284 0.16242 -1.10485
-0.80205 0.72487 0.86301 -0.77945 0.40009 -1.10485
2.02883 0.8321 0.2795 -0.73516 -0.29347 -1.10485
1.57204 0.30572 0.40008 -0.69954 -0.06253 -1.10485
1.4177 0.32533 0.32246 -0.67677 0.6407 0.82589
0.69725 -0.79348 0.36994 -0.70467 1.10658 0.32656
0.75716 -0.61864 0.10424 -0.65332 0.7366 0.62616
0.72898 -0.66545 0.11421 -0.6297 0.05113 0.92575
0.76291 -0.97905 0.04933 -0.60771 0.84008 0.65945
0.83607 -0.94677 0.11161 -0.53621 1.10883 2.12414
0.81577 -1.00479 0.1126 -0.50479 0.59051 0.75931
0.8265 -0.55276 0.12332 -0.46579 1.02812 0.45639
0.85792 -0.26513 -0.10707 -0.39916 0.59037 -0.51231
0.91181 0.3993 -0.32068 -0.35041 -0.33524 -0.51564
0.97577 0.53991 -0.36438 -0.29679 -0.75501 -0.23934
0.94243 0.46342 -0.46664 -0.24587 -0.92893 0.19674
-0.87475 -1.45647 -0.65179 -0.1744 -0.90874 0.50299
-0.97138 -0.63284 -1.0862 0.83574 -1.46618 3.12279
-0.88183 0.23203 -1.06432 0.94868 -1.04676 0.35985
-1.06784 -0.2487 -1.06558 1.17249 -0.88978 0.01365
-1.10398 0.03034 -1.08878 1.3615 -0.70045 0.35985
-0.99334 1.7573 -1.10528 1.42909 -0.91214 0.33322
-0.93336 2.07661 -1.09487 1.54177 -0.69967 -0.35585
-0.96848 1.59078 -1.08692 1.69209 -0.75279 -0.96836
-0.97841 1.23122 -1.09425 1.8517 -0.6235 -0.19607
-0.88518 1.83304 -1.09821 2.10362 -0.38031 -0.46571
Nilai eigen dan vektor eigen:
Principal Component Analysis: Z1, Z2, Z3, Z4, Z5, Z6

Eigen analysis of the Correlation Matrix

Eigenvalue 3.0626 1.3123 0.9525 0.4737 0.1655 0.0332

Proportion 0.510 0.219 0.159 0.079 0.028 0.006
Cumulative 0.510 0.729 0.888 0.967 0.994 1.000

Variable PC1 PC2 PC3 PC4 PC5 PC6

Z1 -0.261 0.332 -0.816 -0.095 -0.159 0.348
Z2 0.426 -0.339 -0.461 -0.223 0.630 -0.211
Z3 -0.503 -0.312 0.139 0.211 0.533 0.549
Z4 0.534 -0.064 0.182 -0.385 -0.160 0.710
Z5 -0.451 -0.063 0.144 -0.862 0.014 -0.168
Z6 0.097 0.818 0.219 -0.070 0.517 0.023
Hasil yang di dapat dari komponen utama pertama W1
dan W2 yang merupakan kombinasi linear dari Z dapat
dinyatakan dalam persamaan berikut:
W1 = -0.261 Z1 + 0.426 Z2 + 0.503 Z3 +0.534 Z4 -0.451 Z5 + 0.097 Z6
W2 = 0.332 Z1 + 0.339 Z2 - 0.312 Z3 – 0.064 Z4 - 0.063 Z5 + 0.818 Z6
Skor komponen utama
W1 W2 W3 W4 W5 W6
-1.16649 -0.98347 0.56379 1.70166 0.582702 0.309045
-1.31276 -1.41091 0.43465 1.22996 0.319862 0.132363
-3.64533 -1.51295 1.83746 -1.49488 -0.03854 0.068403
-2.459 -1.34529 1.31563 -0.05189 -0.11521 0.158095
-1.21736 -1.36769 0.61526 0.67605 0.093751 -0.12398
-0.61974 -1.66044 0.11424 0.12842 0.603699 -0.60554
-0.68302 -0.53407 -2.41855 0.29402 -0.10855 0.185921
-0.93385 -0.56193 -1.74641 0.2674 -0.30523 0.190588
-0.96291 0.93865 -1.11264 -0.48903 0.695591 0.032673
-1.54896 0.62738 -0.04919 -0.51701 -0.11588 -0.06569
-1.13313 0.93616 -0.19417 -0.33938 -0.01561 -0.12181
-0.80014 1.22635 -0.17711 0.23693 0.106089 0.022883
-1.27963 1.09506 -0.00975 -0.38016 -0.26137 -0.05805
-1.25667 2.26605 0.29639 -0.74298 0.530649 0.034297
-1.15916 1.19241 -0.02755 -0.19747 -0.22065 0.11793
-1.18058 0.76162 -0.2394 -0.66834 -0.08867 -0.02097
-0.8118 -0.02283 -0.69256 -0.36442 -0.55354 -0.09865
0.00748 -0.11083 -1.19794 0.21684 -0.28051 -0.14704
0.31734 0.12551 -1.31135 0.49221 -0.09715 -0.06326
0.49288 0.5368 -1.18351 0.59078 0.020392 -0.03925
0.30095 0.88626 1.24213 1.0864 -0.85028 -0.31369
1.94085 2.82509 1.55744 0.72877 0.637612 0.112298
1.87734 0.26053 0.5653 0.32 -0.26178 -0.08178
1.73663 0.05442 0.9264 0.2474 -0.74817 0.078748
1.92588 0.21446 0.96141 -0.0766 -0.42752 0.104856
2.77007 -0.34123 0.04825 -0.31768 0.605883 -0.14749
2.78255 -1.01717 -0.24606 -0.57083 0.431483 -0.1601
2.62519 -1.37431 -0.10637 -0.42656 -0.2063 0.036139
2.58034 -0.63996 0.28319 -0.57387 -0.05921 0.214109
2.81304 -1.06366 -0.04901 -1.00572 0.126458 0.248942
Meregresikan peubah tak bebas Y dengan skor
komponen utama W1 dan W2
Regression Analysis: Y versus W1, W2

The regression equation is

Y = 7.14E+08 + 3.71E+08 W1 + 3798390 W2

Predictor Coef SE Coef T P VIF

Constant 713684077 47118974 15.15 0.000
W1 371064003 27384750 13.55 0.000 1.0
W2 3798390 41834820 0.09 0.928 1.0

S = 258081252 R-Sq = 87.2% R-Sq(adj) = 86.2%

Analysis of Variance
Source DF SS MS F P
Regression 2 1.22296E+19 6.11480E+18 91.81 0.000
Residual Error 27 1.79836E+18 6.66059E+16
Total 29 1.40280E+19

Source DF Seq SS
W1 1 1.22291E+19
W2 1 5.49081E+14

Unusual Observations
Obs W1 Y Fit SE Fit Residual St Resid
3 -3.65 12610093 -644713694 127246505 657323787 2.93R
Transformasi peubah Z ke peubah asal (X)
Y = 7.14E+08 + 3.71E+08 W1 + 3798390 W2

Y = 7.14E+08 + 3.71E+08 (-0.261 Z1 + 0.426 Z2 + 0.503 Z3 +0.534 Z4 -0.451 Z5 +

0.097 Z6) + 3798390 (0.332 Z1 + 0.339 Z2 - 0.312 Z3 – 0.064 Z4 - 0.063 Z5 +
0.818 Z6)

Y = 7.14E+08 + -95569934.52 Z1 + 156758345.79 Z2 +87798097.68

Z3+197870903.04 Z4 +167560298.57 Z5+39094083.02 Z6

Y = 7.14E+08 + -95569934.52 + 156758345.79 + 87798097.68 + 197870903.04 +

167560298.57 + 39094083.02

Y = 7.67E+08 - 81753.5796 X1 + 3315531.848 X2 - 5.63E+06 X3 + 5102395.643 X4

-166726665.2 X5 + 1301400899 X6

Jadi model akhir yang kita dapat adalah:

Y = 7.67E+08 - 81753.5796 X1 + 3315531.848 X2 - 5.63E+06 X3 + 5102395.643 X4 -

166726665.2 X5 + 1301400899 X6
 Analisis signifikansi koefesien regresi parsial
Peubah (Zi) koefisien(γi) Simpangan baku s(γi) t-hitung

Z1 -95569934,52 7,102218521 -13456349,48

Z2 156758345,8 8,349539489 18774490,02

Z3 -187798097,7 8,628167101 -21765700,12

Z4 197870903 6,759499313 29273011,78

Z5 -167560298,6 5,741958242 -29181734,09

Z6 39094083,02 15,60628974 2505020,967

Karena nilai |t-hitung|>t-tabel maka setiap koefisien

berpengaruh nyata.

Penduga koefisien regresi pada model regresi yang diperoleh

dengan menggunakan regresi komponen utama seringkali
berbias, padahal sifat penduga yang baik adalah tak bias
dengan ragam penduga minimum.
 Kesimpulan
Analisis komponen utama pada dasarnya
mentransformasi peubah-peubah bebas yang
berkorelasi menjadi peubah-peubah baru yang
ortogonal dan tidak berkorelasi. Analisis ini
bertujuan untuk menyederhanakan peubah-
peubah yang diamati dengan cara mereduksi
dimensi, sehingga masalah multikolinearitas dapat
diatasi.