Analisis Regresi

Pokok Bahasan :

Multikolinier &
penanganannya
TUJUAN INSTRUKSIONAL KHUSUS :
Mahasiswa dapat menjelaskan adanya multikolinieritas
pada regresi linier berganda serta prosedur
penanganannya

ASUMSI KLASIK PADA MODEL

REGRESI LINIER BERGANDA

Kenormalan
Galat menyebar normal

Homoskedastisitas (ragam sisaan homogen)

Var(i) = E(i2) = 2

Non Autokorelasi (sisaan menyebar bebas)

Cov(i, j ) = E(i, j ) = 0

Non Multikolinearitas
Tidak ada hubungan linear sempurna antar peubah
bebas dalam model regresi.

PELANGGARAN ASUMSI :
MULTIKOLINEARITAS

Mutikolinearitas adalah salah satu pelanggaran

asumsi dimana adanya hubungan linear (KORELASI)
antara peubah bebasnya

Dapat mempengaruhi ragam dari penduga

kuadrat terkecil dan pendugaan model yang
dibuat. (Wetherhill,1986)

AKIBAT PELANGGARAN ASUMSI :

MULTIKOLINEARITAS
1.

2.

3.

4.
5.

6.

Interpretasi menjadi sulit karena setiap ada perubahan pada

peubah yang saling berkorelasi maka peubah lain yang berkorelasi
juga akan mengalami perubahan sesuai arah korelasinya.
Pendugaan dengan OLS akan diperoleh ragam dan koragam yang
besar. Sehingga sulit untuk disimpulkan.
Hasil uji F signifikan tetapi dengan uji-t banyak peubah yang tidak
signifikan. (Tidak selaras)
Penduga OLS dan standar error sensitif terhadap perubahan data.
Matriks XX akan hampir singular (ill-conditioned) yang
pada akhirnya akan menyebabkan dugaan bagi memiliki
dugaan ragam yang menduga lebih (overestimate)
walaupun tetap takbias.
Rsq(adj) bernilai tinggi

CARA MENDETEKSI ADANYA

MULTIKOLINEARITAS
a. Correlation Pearson
Uji koefisien korelasi antar peubah bebas, jika
korelasinya
sangat tinggi dan nyata, maka
terjadi
multikolinearitas.
b. Variance Inflation Factor (VIF)
Suatu pengukuran multikolinearitas untuk peubah
bebas ke-i.
Jika korelasi semakin besar, VIF
akan
semakin besar.
VIF = 1/ (1 Ri2)
jika VIF>10 dikatakan terjadi multikolinearitas.

Mengatasi masalah multikolinearitas:

Membuang peubah bebas yang mempunyai

korelasi tinggi terhadap peubah bebas
lainnya.
Menambah data pengamatan/contoh.
Melakukan transformasi terhadap
peubah-peubah bebas yang mempunyai
kolinearitas atau menggabungkan
menjadi peubah-peubah bebas baru
yang lebih berarti.
Menggunakan regresi Gulud, regresi
kuadrat terkecil parsial dan Regresi
Komponen Utama (principal component

Mengatasi masalah
multikolinearitas:

Membuang peubah bebas yang mempunyai

korelasi tinggi terhadap peubah bebas lainnya.

Menambah data pengamatan/contoh.

Melakukan transformasi terhadap peubahpeubah bebas yang mempunyai kolinearitas

atau menggabungkan menjadi peubah-peubah
bebas baru yang lebih berarti.

Menggunakan Regresi Gulud, Regresi

Kuadrat Terkecil Parsial, dan Regresi Komponen
Utama (principal component regression)

REGRESI KOMPONEN UTAMA

(PRINCIPAL COMPONENT REGRESSION)

Regresi Komponen Utama

Analisis komponen utama pada dasarnya
mentransformasi peubah-peubah bebas yang
berkorelasi menjadi peubah-peubah baru yang
ortogonal dan tidak berkorelasi.
Analisis ini bertujuan untuk menyederhanakan
peubah-peubah yang diamati dengan cara mereduksi
dimensinya. Hal ini dilakukan dengan menghilangkan
korelasi di antara peubah melalui transformasi
peubah asal ke peubah baru (komponen utama) yang
tidak berkorelasi (Gesperz, 1995).

Regresi Komponen Utama

Tahapan-tahapan Analisis
1.
2.
3.

4.

5.

Membakukan peubah bebas asal yaitu X menjadi Z.

Mencari akar ciri dan vektor ciri dari matriks R.
Menentukan persamaan komponen utama dari
vektor ciri.
Meregresikan peubah respon Y terhadap skor
komponen utama W.
Transformasi balik

Regresi Komponen Utama

Skor Komponen Utama W
Biasanya tidak semua W digunakan.
Morrison (1978) menyarankan agar memilih
komponen-komponen utama sampai
komponen-komponen utama tersebut
mempunyai keragaman kumulatif 75 %,
namun sebagian ahli menyarankan agar
memilih komponen utama yang besar akar
cirinya lebih dari satu, karena jika akar ciri
kurang dari satu keragaman data yang
dapat diterangkan kecil sekali.

CONTOH :
PENYELESAIAN KASUS MULTIKOLINEARITAS
DENGAN
MENGGUNAKAN
RKU
Harga Harga
Volume
Volume
Ekspor
Tahun Jagung (Y)

Volume
Produksi
(X1)

1997

Jagung Ekspor
Ekspor
Volume Impor Nilai
Domes- Jagun Sebelumny
Jagung
Tukar
tik (X2) g(X3)
a (X4)
Indonesia (X5) (X6)
560 0,143

539.765
8.770.851
42.889.43
1998
2 10.169.488

1.089

539.765

1999 4.259.279

9.204.036

1.382 0,105 42.889.432

2000 1.003.532

9.676.899

1.466

2001

768.328

9.347.192

1.747 0,114

2002

826.003

9.585.277

2.002 0,115

768.328 1.154.063.011

8.940

10

2003 4.103.229 10.886.442

1.738

0,12

826.003 1.345.446.349

8.465

5,1

2004 4.256.758 11.225.243

2.007 0,169

4.103.229 1.088.927.757

9.290

6,15

2005 4.255.200 12.523.894

2.152

4.256.758

185.957.289

9.830

10,7

4.255.200 1.775.320.810

9.013

13,33

0,11

0,11

0,15

Itasia
S & Dian K,
Dep Statistika2.338
FMIPA 0,158
IPB
2006Dina646.537
11.609.463

0 1.098.353.536

Inflasi
(X7)

5.700

11,05

299.916.896

8.100

56,2

618.059.896

8.632

12,01

4.259.279 1.264.575.055

8.534

9,35

1.003.532 1.035.796.928 10.400

12,55

ANALISIS DATA

The regression equation is

Y = - 7320987 + 1,12 X1 + 2388 X2 + 16356575 X3 + 0,003 X4 0,00382 X5 - 1340 X6 + 797761 X7

Predictor
Constant
X1
X2
X3
X4
X5
X6
X7

Coef
-7320987
1,123
2388
16356575
0,0027
-0,003816
-1340
797761

SE Coef
43792662
3,364
10846
112702936
0,1783
0,006072
3585
175873

T
-0,17
0,33
0,22
0,15
0,01
-0,63
-0,37
4,54

P
0,878
0,760
0,840
0,894
0,989
0,574
0,734
0,020

VIF
6,9
13,3
5,2
1,4
2,3
5,2
1,8

S = 5915748 R-Sq = 93,1% R-Sq(adj) = 77,1%

Dari regresi tersebut, terdapat nilai VIF>10 maka dapat dikatakan
bahwa terjadi multikolinearitas

MATRIKS KORELASI ANTAR

PEUBAH

Y
X1
X2

X1

X2

X3

X4

X5

X6

X7

1 0,08958 -0,20488 -0,06476 -0,11068 0,56319 -0,12058 0,9226

0,08958
1 0,81796 0,78995 -0,26002 0,17981 0,41702 -0,39449

X4

0,6548 -0,15014 0,09119 0,69899 -0,39449

-0,06476 0,78995 0,6548
1 -0,28104 0,02544 0,07519 -0,31723
-0,11068 -0,26002 -0,15014 -0,28104
1 0,21742 0,03545 -0,07965

X5

-0,56319 -0,17981 0,09119 -0,02544 -0,21742

X3

X6
X7

-0,20488 0,81796

1 -0,10472 -0,45245
-0,12058 0,41702 0,69899 0,07519 0,03545 0,10472
1 -0,16332
0,9226 -0,39449 -0,39449 -0,31723 -0,07965 0,45245 -0,16332
1

ANALISIS DATA (LANJUTAN)

Analysis of Variance
Source
DF
SS
Regression
7 1,42431E+15
Residual Error
3 1,04988E+14
Total
10 1,52930E+15
Source
X1
X2
X3
X4
X5
X6
X7

DF
1
1
1
1
1
1
1

MS
2,03473E+14
3,49961E+13

F
5,81

P
0,088

Seq SS
1,22723E+13
3,57541E+14
6,69509E+13
6,33113E+12
2,45267E+14
1,58875E+13
7,20060E+14

Unusual Observations
Obs
X1
Y
3 9204036 4259279

Fit
3809091

Itasia Dina S & Dian K, Dep Statistika FMIPA IPB

SE Fit
5889626

Residual
450188

St Resid
0,81 X

HASIL PEMBAKUAN PEUBAH

Z1

Z2

Z3

Z4

Z5

Z6

Z7

-1,23266

-1,90805

0,11242

-0,46454

0,29311

-2,53308

-0,19901

-0,2752

-1,06596

-0,75582

-0,42114

-1,40777

-0,51992

2,95977

-0,93611

-0,59955

-0,88737

2,98423

-0,73004

-0,07366

-0,13185

-0,61241

-0,46583

-0,75582

-0,12205

0,6472

-0,15587

-0,31795

-0,83811

-0,01852

-0,65058

-0,38385

0,15985

1,40937

-0,09407

-0,67513

0,3874

-0,62427

-0,40276

0,41178

0,18469

-0,27247

0,21561

-0,03285

-0,49272

-0,39812

0,81948

-0,21375

-0,61528

0,44754

0,39536

0,79648

-0,1346

0,27303

0,47828

-0,54182

1,33656

0,62618

0,29659

-0,12225

-1,65053

0,93124

-0,2235

0,71057

0,92226

0,50707

-0,12238

1,73522

0,24593

-0,0395

1,85935

1,75958

2,45402

-0,41255

-0,55133

0,24677

-0,52433

REGRESI KOMPONEN UTAMA

Principal Component Analysis: Z1; Z2; Z3; Z4; Z5; Z6; Z7

Eigenanalysis of the Correlation Matrix

Eigenvalue
Proportion
Cumulative

Varb
Z1
Z2
Z3
Z4
Z5
Z6
Z7

2,9881
0,427
0,427

PC1
-0,522
-0,551
-0,465
0,163
-0,030
-0,338
0,255

1,4565
0,208
0,635

PC2
0,218
0,017
-0,006
0,153
-0,757
0,209
0,559

1,2156
0,174
0,809

PC3
0,157
-0,166
0,318
-0,700
0,007
-0,495
0,334

0,8405
0,120
0,929

PC4
0,122
-0,127
0,460
0,523
-0,250
-0,573
-0,307

0,3369
0,048
0,977

PC5
-0,168
-0,220
-0,101
-0,426
-0,567
0,127
-0,628

0,1160
0,017
0,993

PC6
-0,711
0,047
0,630
-0,004
-0,023
0,270
0,151

0,0464
0,007
1,000

PC7
0,327
-0,776
0,254
0,072
0,204
0,425
-0,004

Dari hasil di atas, akan di ambil Score (W) sebanyak 4,

dikarenakan jumlah proportion > 0,7.

Itasia Dina S & Dian K, Dep Statistika FMIPA IPB

SCORE KOMPONEN UTAMA

W1

W2

2,36316 -1,23413
1,9888
1,73162

2,47322

W3

W4

W5

1,67472

1,33926

0,44961

1,42432 -0,72398 -0,58986

0,71268 -2,43058

1,37922 -0,40665

0,86039 -0,85541 -0,19801 -0,40172

0,14577

0,18379 -0,11685 -0,79508 -1,41756

0,52077

0,21968

-0,6239 -0,26642 -0,75419

0,22353

-1,0206

0,08474

-0,03992

0,06745 -0,29795

Itasia Dina S & Dian K, Dep Statistika FMIPA IPB

-1,15242 -0,33088 -0,06398

0,12427

0,06134

W6
W7
0,13885
8 0,05701
0,00948
9 -0,00466
0,04412
4 -0,03036
0,02749
-0,16691
2
0,54926 0,17923
6
5
0,10602
5 -0,54518
0,02072
-0,63285
3
0,24348 0,29296
6
2

REGRESI Y terhadap W

Regression Analysis: Y versus W1; W2; W3; W4

The regression equation is
Y = 6775162 + 1538350 W1 + 7778621 W2 + 4769269 W3 1822347W4
Predictor
Coef SE Coef
T
P VIF
Constant
6775162 2033306
3,33 0,016
W1
1538350 1233686
1,25 0,259 1,0
W1 dan W4 tidak
W2
7778621 1767009
4,40 0,005 1,0
nyata
W3
4769269 1934202
2,47 0,049 1,0
W4
-1822347 2326075 -0,78 0,463 1,0

S = 6743712

Analysis of Variance
Source
DF
SS
Regression
4 1,25643E+15
Residual Error
6 2,72866E+14
Total
10 1,52930E+15

R-Sq = 82,2%

R-Sq(adj) = 70,3%

Itasia Dina S & Dian K, Dep Statistika FMIPA IPB

MS
3,14108E+14
4,54776E+13

F
6,91

P
0,020

HASIL ANALISIS REGRESI

Hasil analisis regresi memperlihatkan bahwa ada dua peubah yang

tidak nyata, yaitu W1 dan W4

Sehingga untuk selanjutnya yang digunakan hanyalah W yang nyata

terhadap Y. Persamaan regresinya yaitu :
Y = 6775162 + 7778621 W2 + 4769269 W3

Predictor
Constant
W2
W3

Coef
6775162
7778621
4769269

SE Coef
2054630
1785540
1954486

T
3,30
4,36
2,44

S = 6814436 R-Sq = 75,7% R-Sq(adj) = 69,6%

P
0,011
0,002
0,041

VIF
1,0
1,0

TRANSFORMASI BALIK

Hasil regresi sebelumnya dapat dinyatakan telah

bebas dari multikolinearitas karena nilai VIF<10

Namun persamaan regresi tersebut masih dalam

fungsi score (W), sehingga perlu dilakukan
transformasi balik menjadi fungsi dalam peubah
X.

TRANSFORMASI : W Z

Y = 6775162 + 7778621 W2 + 4769269 W3

-klik score-

Y = 6775162 + 7778621 (0,218 Z1 + 0,017 Z2 0,006 Z3 +

0,153 Z4 0,757 Z5 + 0,209 Z6 + 0,559 Z7) + 4769269
(0,157 Z1 0,166 Z2 + 0,138 Z3 - 0,700 Z4 + 0,007 Z5
0,495 Z6 + 0,334 Z7)
Y = 6775162 + 2444514,611 Z1 659462,097 Z2 + 611487,396 Z3
3385160,026 Z4 5855031,214 Z5 735056,366 Z6 +
5941184,985 Z7

Klik next

FUNGSI SCORE

Variable PC1
Z1
-0,522
Z2
-0,551
Z3
-0,465
Z4
0,163
Z5
-0,030
Z6
-0,338
Z7
0,255

PC2
0,218
0,017
-0,006
0,153
-0,757
0,209
0,559

PC3
0,157
-0,166
0,318
-0,700
0,007
-0,495
0,334

PC4
0,122
-0,127
0,460
0,523
-0,250
-0,573
-0,307

PC5
-0,168
-0,220
-0,101
-0,426
-0,567
0,127
-0,628

PC6
-0,711
0,047
0,630
-0,004
-0,023
0,270
0,151

PC7
0,327
-0,776
0,254
0,072
0,204
0,425
-0,004

W2 = 0,218 Z1 + 0,017 Z2 0,006 Z3 + 0,153 Z4 0,757 Z5 + 0,209 Z6

+ 0,559 Z7

W3 = 0,157 Z1 0,166 Z2 + 0,138 Z3 - 0,700 Z4 + 0,007 Z5 0,495 Z6 +

0,334 Z7
-klik backItasia Dina S & Dian K, Dep Statistika FMIPA IPB

TRANSFORMASI : Z X
Y = 6775162 + 2444514,611 Z1 659462,097 Z2 + 611487,396 Z3
3385160,026 Z4 5855031,214 Z5 735056,366 Z6 +
5941184,985 Z7

Y = 6775162 + 2444514,611
+ 611487,396
5855031,214

659462,097
3385160,026
735056,366

5941184,985
-next-

RUMUS
Zi =

-back-

Variabel
Y
X1
X2
X3
X4
X5
X6
X7

Mean
6775162
10571487
1758,548
0,138727
5777097
9,61E+08
8719,818
13,89455

Stdev
12366480
1460774
628,1764
0,038008
12436132
4,69E+08
1192,151
14,29348

PERSAMAAN AKHIR

Sehingga persamaan regresi terakhirnya adalah :

Y = 1,78E+07 + 1,673 X1 1049,804 X2 +
16088386,55 X3 0,272 X4 1,25E-02 X5
616,58 X6 + 415656,9978 X7