Anda di halaman 1dari 13

PCR (Principle Component Regression)

PCR merupakan salah satu metode dalam pemilihan model terbaik dengan berusaha
mempertahankan seluruh variabel independen karena terjadi multikolinieritas. Dasar dari
PCR adalah centering dan scalling.
Dari data yang tersedia, maka dilakukan metode PCR dengan langkah-langkah sebagai
berikut:
1. Memeriksa apakah antar variabel prediktor terjadi kolinier/multikolinier apa tidak.
Diperoleh output minitab sebagai berikut:
Regression Analysis: Y versus X1; X2; X3; X4; X5; X6
The regression equation is
Y = 9,32 + 0,00019 X1 - 0,0407 X2 + 0,00049 X3 - 0,0599 X4 + 0,100 X5
+ 0,0082 X6
Predictor
Constant
X1
X2
X3
X4
X5
X6

Coef
9,320
0,000193
-0,040681
0,000492
-0,05990
0,100428
0,00822

S = 0,268546

SE Coef
5,753
0,002112
0,009808
0,001451
0,05940
0,009408
0,01088

R-Sq = 97,9%

T
1,62
0,09
-4,15
0,34
-1,01
10,67
0,76

P
0,115
0,928
0,000
0,737
0,321
0,000
0,456

VIF
2,986
4,354
5,582
1,830
8,600
3,681

R-Sq(adj) = 97,4%

Analysis of Variance
Source
Regression
Residual Error
Total

DF
6
31
37

SS
102,117
2,236
104,353

MS
17,019
0,072

F
236,00

P
0,000

Berdasarkan output diatas diketahui bahwa P-value sebesar 0,000 < 0,05 (pada uji
overall) dan R-Sq 97,9%, menunjukkan bahwa model regresi
y=9,32+ 0,00019 x 10,0407 x 2 +0,00049 x3 0,0599 x 4 + 0,100 x 5 +0,0082 x 6
sudah baik atau sudah sesuai, namun pada uji individu terlihat bahwa P-value untuk
x1
x3
1
3
dan
lebih besar dari 0,05 sehingga parameter
dan
tidak
signifikan. Ini mengindikasikan adanya multikolinieritas. Saat diperiksa VIF, ternyata
x5
diketahui bahwa VIF untuk
sebesar 8,600 > 5 sehingga bisa disimpulkan data
tersebut multikolinier.
2. Diketahui bahwa data multikolinier, maka untuk memilih model terbaik dilakukan
metode Principle Component Regression (PCR). Langkah berikutnya adalah
xj
melakukan standarisasi data variabel independen
dengan rumus:
z j=

x j x j
sj

Sehingga diperoleh nilai


z1
0,9509
1,1626
9
0,6524
6
1,0621
9
0,8757
16
1,0990
1
0,1984
4
0,6469
3
0,2596
2
1,0841
8
0,6383
4
0,1837
7
0,5159
8
0,2178

zj

z2
0,5021
6
0,5071
46
0,5703
0,6959
3
0,3605
6
0,6948
6
0,0145
4
0,4113
26
0,4123
9
0,1462
24
0,8478
39
0,7924
76
0,8180
28
0,1071

sebagai berikut:
z3

z4

z5

0,1729
37
0,8866
6
0,5164
5
0,1213
4

0,2282
32

0,3633
7

0,2000
56
0,4300
8
0,0363
7
0,8627
4
0,5954
4
0,1367
8
0,9438
2
0,8559
2
0,9005
7
0,5117

1,1432
55

1,0835
8
0,0690
98
0,1486
65

1,1929
85
0,5077
6
2,7754
3

0,2282
0,5326
9
0,0900
91
0,3822
6

-1,751

0,1823
82
0,3706
4
1,0181
2
0,6983
8

0,3973
13
0,3884
1
1,1840
9
0,3784
7
0,5475

-0,367
0,9643
5
0,6220
7
1,3465
9
0,8001

z6
0,5048
07
0,1476
3
0,4380
22

-0,199
0,3736
7
0,0513
1

-0,4777
0,0912
55
1,3882
9
0,5200
8
0,6229
65
0,4854
1
1,0326
64
0,0642
84

2
1,1221
08
0,1004
4
1,2451
9
0,3421
2
0,6131
5
0,3379
7
0,9899
4
0,7817
5
1,1848
3
0,8235
5
0,1711
48
0,6438
8
1,2202
7
0,6481
51
0,8631

7
1,1505
4
0,6639
9
0,4964
99
0,3360
7
0,0802
14
0,2945
5
0,4294
25
0,1558
06
1,3461
03
0,0631
8
0,3573
6

1,1616
05

1,0239
05

1,3363
78

0,5613
67
0,8938
9
0,2209
2

0,8349
32
0,7564
1
0,8558
7

0,3727
77

0,4216
0,4007
4
0,6342
4
0,5663
7

0,6857
44

0,9587
0,2705
7

3,6543
01

0,4110
29
0,9168
4
1,0098
8

0,7158
2
1,8837
6

0,9797
0,9146

1,5441
31

1,0537
42

0,1562
21
0,2412
8
0,1475
4

0,2381
78

0,0530
3
0,3938
9
0,4803
7
0,6496
9
0,0581
5

0,9145
1,2636
5
1,6316
5
0,6271
2
1,5719

0,4883
22
1,5675
1
2,1459
6
0,8342
7
0,9941

1,0736
34
0,0293
14
0,1298
2

0,8129
1
0,5804
5
0,2350
99
0,5664
54
0,2055
59

-0,3223
0,5073
76
0,8978
1
1,1726
55
0,8233
19
0,5908
57
1,5643
74
2,5738
53
1,6761
1
1,7467
48

4
1,5196
56
1,5196
56
1,4595
81
0,9634
76
1,4449
08
1,5196
56
1,5196
56
1,5196
56
1,3668
38

1
0,9919
1
0,9908
4
0,9482
5
0,4074
1,0046
8
0,9652
9
1,1516
1
1,1345
7
0,9620
9

0,6252
01

0,7155
82

1,3153
04

1,1088
96

1,0636
88

1,3538
19

2,7118
49

0,2083
4

1,4628
24

0,9395
06

0,8015
29

0,4676
32

0,6857
44
1,2934
9

1,6711
67

0,6360
14

1,6430
45

1,6955
05

1,0239
05

1,9133
77

2,7286
76

0,5962
31

2,0274
68

0,5304
93

0,6161
23

1,2426
34

0,7673
74

0,7332
8
0,9451
9
1,5655
2
0,4096
3
0,8694
2
1,1455
5
1,5809
4
1,4640
6
1,2418
7

3. Kemudian membuat matrik korelasi antar variabel independen yang diperoleh dari
output Minitab sebagai berikut.
z1
z2
z3
z4
z5
z6
z1

-0,619

0,793

0,323

0,750

-0,684

z2

-0,619

-0,713

-0,586

-0,834

0,798

z3

0,793

-0,713

0,474

0,883

-0,727

z4

0,323

-0,586

0,474

0,599

-0,389

z5

0,750

-0,834

0,883

0,599

-0,795

z6

-0,684

0,798

-0,727

-0,389

-0,795

4. Menentukan eigen value, proportion, cumulative, dan eigen vector dari output
Minitab sebagai berikut.
Principal Component Analysis: Z1; Z2; Z3; Z4; Z5; Z6
Eigenanalysis of the Correlation Matrix
Eigenvalue
Proportion
Cumulative
Variable
Z1
Z2
Z3
Z4
Z5
Z6

4,3809
0,730
0,730
PC1
0,395
-0,427
0,434
0,302
0,458
-0,416

0,7632
0,127
0,857
PC2
-0,422
-0,146
-0,176
0,852
0,023
0,208

0,4033
0,067
0,925
PC3
0,484
0,493
0,359
0,257
0,052
0,571

0,2056
0,034
0,959

PC4
-0,640
0,056
0,604
-0,238
0,361
0,190

0,1640
0,027
0,986

PC5
-0,147
0,706
0,099
0,228
-0,045
-0,645

0,0830
0,014
1,000

PC6
0,035
0,229
-0,527
-0,092
0,809
0,072

Dari output minitab tersebut diketahui bahwa eigen value dari


yang digunakan sebagai variabel baru adalah

PC 1

PC 1 1

, sehingga

, didapatkan

PC 1=0,395 z 10,427 z 2+ 0,434 z 3+ 0,302 z 4 + 0,458 z 50,416 z 6


5. Langkah selanjutnya adalah mensubtitusikan variabel
sehingga diperoleh hasil sebagai berikut:

ke persamaan

PC 1

Case
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

PC1
-0,39363
-0,77648
-0,64367
-0,00612
0,912325
0,141096
-0,21233
-2,14804
-0,80819
0,474708
-1,84192
-1,22302
-2,10458
-0,82092
2,698101
1,151831
-1,34649
-0,69214
-0,40541
0,294948
-0,91688
-1,20577
-2,28346
-0,76691
0,652619
-3,06191
-5,02701
-1,74357
-3,19895
2,418705
2,839098
3,542531
1,706881
1,525192
3,158868
3,671064
3,986663
2,452764

6. Kemudian melakukan regresi antara variabel

dengan variabel

PC 1

. Dari

output minitab didapatkan hasil sebagai berikut.


Regression Analysis: Y versus PC1
The regression equation is
Y = 7,22 + 0,769 PC1
Predictor
Constant
PC1

Coef
7,22289
0,76851

S = 0,487303

SE Coef
0,07905
0,03826

T
91,37
20,09

R-Sq = 91,8%

P
0,000
0,000

R-Sq(adj) = 91,6%

Analysis of Variance
Source
Regression
Residual Error
Total

DF
1
36
37

SS
95,804
8,549
104,353

MS
95,804
0,237

F
403,44

P
0,000

Dari output di atas diketahui informasi bahwa:


a. P-value pada uji overall sebesar 0,000 < 0,05. Dengan hipotesis sebagai berikut,
H 0 : 0 =1 =0
H 1 :minimal ada satu j 0 , j=0, 1
maka disimpulkan tolak
b. Kemudian

dilakukan

H0.

Jadi minimal ada satu

uji

individu

untuk

j
0

H 0 : 0 =0( 0 tidak signifikanter h adap model regresi)

yang signifikan.
dengan

hipotesis:

H 1 : 0 0 ( 0 signifikan ter h adap model regresi)


0

Dari output minitab di atas diketahui P-value


Sehingga tolak

H0.

Jadi

c. Lalu dilakukan uji individu untuk

adalah 0,000 < 0,05.

signifikan terhadap model regresi.


1

dengan hipotesis:

H 0 : 1=0( 1 tidak signifikan ter h adap model regresi)


H 1 : 1 0 ( 1 signifikan ter h adap model regresi)
1

Dari output minitab di atas diketahui P-value


Sehingga tolak

H0.

Jadi

adalah 0,000 < 0,05.

signifikan terhadap model regresi.

Kedua parameter ternyata signifikan terhadap model regresi, selain itu dari output
tersebut diketahui R-Sq = 91,8% > 75%, sehingga dapat disimpulkan bahwa model
y=7,22+0,769 PC 1
regresi
merupakan model regresi yang sudah sesuai dan
merupakan yang terbaik.
z

7. Langkah selanjutnya adalah menentukan model regresi tersebut dalam variabel


dengan mensubtitusikan nilai

PC 1

y=7,22+0,769 ( 0,395 z 10,427 z 2+ 0,434 z 3+ 0,302 z 4 + 0,458 z 50,416 z 6 )


y=7,22+0,303755 z 10,328363 z 2+ 0,333746 z 3 +0,232238 z 4 +0,352202 z 5 0,319904 z 6
x

8. Langkah terakhir adalah menentukan model regresi tersebut dalam variabel


dengan mensubtitusikan nilai
y=7,22+0,303755

y=7,22+0,303755

x 1 x1
x x
x x
x x
0,328363 2 2 +0,333746 3 3 +0,232238 4 4 +0,352202
s1
s2
s3
s4

x 145,10789
x 12,97658
x 262,065
0,328363 2
+ 0,333746 3
+0,232238
36,1214
9,392609
71,90483

y=16,906+0,008 x 10,0 35 x2 +0,005 x 3 +0,231 x 4 + 0,026 x5 0,041 x 6


9. Jadi model regresi terbaik dengan metode PCR (Principle Component Regression)
adalah
y=16,906+0,008 x 10,0 35 x2 +0,005 x 3 +0,231 x 4 + 0,026 x5 0,041 x 6

Regresi Gulud (Ridge Regression)

Regresi gulud adalah salah satu metode yang digunakan untuk mengatasi multikolinieritas
dengan cara memodifikasi metode kuadrat terkecil, sehingga dihasilkan penduga koefisien
regresi lain yang bias namun mempunyai varian yang lebih kecil daripada regresi linier
berganda.
Langkah-langkah regresi gulud adalah sebagai berikut:
1. Memeriksa apakah antar variabel prediktor terjadi kolinier/multikolinier apa tidak.
Pada langkah 1 pemilihan model terbaik dengan metode PCR di atas telah diketahui
bahwa data multikolinier karena saat diperiksa VIF, ternyata diketahui bahwa VIF
x5
untuk
sebesar 8,600 > 5. Bisa juga di cek matriks korelasinya sebagai berikut:
x1

x2

x3

x4

x5

x6

x1

-0,619

0,793

0,323

0,750

-0,684

x2

-0,619

-0,713

-0,586

-0,834

0,798

x3

0,793

-0,713

0,474

0,883

-0,727

x4

0,323

-0,586

0,474

0,599

-0,389

x5

0,750

-0,834

0,883

0,599

-0,795

x6

-0,684

0,798

-0,727

-0,389

-0,795

Dari data di atas diketahui bahwa yang berwarna kuning menunjukkan korelasi antar
variabel independen cukup tinggi, lebih besar atau sama dengan 75%. Ini berarti
terjadi multikolinieritas.
2. Karena terjadi multikolinieritas maka bisa dilakukan metode regresi gulud untuk
memilih model regresi terbaik. Langkah pertama dalam metode regresi gulud adalah
melakukan centering dan scaling untuk semua variabel dengan rumus:
x j x j
z j=
, j=1,2, , 6
2
(
n1
)
s

j
sehingga diperoleh output sebagai berikut:
z1
z2
z3
y
-0,0414

-0,15633

-0,05217
-0,0365
0,04474
7

-0,19114
-0,10726

-0,04238
0,03985
2
-0,04042

-0,08255
0,08337
4
-0,09376
-0,11441

0,02843
1
-0,14577
-0,0849

-0,17462
0,14396
7

-0,05928

-0,01995
0,03288
9

-0,18068
-0,03262

-0,11423
-0,00239

-0,07071
-0,00598

z4
0,03752
1
0,17813
9
0,01136

z5

z6

-0,05974

0,08299

-0,03752
-0,08757

-0,02427
0,07201

0,02444

0,014811 -0,03272

0,18795
0,19612
6
-0,08348

-0,06284
0,02998
3
-0,06093

-0,06143
-0,00843
-0,07853

0,06762
2
0,06779
7
0,02403
9
0,13938
4
0,13028
2
0,13448
3

-0,14614

-0,10635

-0,10894
-0,06685

-0,04268
0,17823
8

-0,18041

-0,10494

-0,1295

-0,03021

-0,19313

-0,08483

-0,08349
0,23367
9
0,06236
8
0,04278
9

-0,03581
0,18447
3

-0,01762

-0,01651

-0,10916
0,08162
4

-0,01986

-0,05624

-0,03944

-0,1008

-0,00028

-0,05556

-0,08741

-0,16274

-0,07468

-0,12852

-0,09622

-0,19479

-0,02965
0,07509
4

-0,13539
0,02813
7

-0,26851

-0,10585

-0,38304

-0,20061
0,10655
5

-0,12265
-0,23816
0,25032
1

-0,20471

-0,18915

-0,05525
0,01318
7
-0,04842
0,07059
7
0,02561
4
0,22129
8
0,01038
7
-0,05875
0,25385
4
0,60076
3

-0,1419

0,11768
0,30968
8

0,24983

-0,16307

-0,14183

-0,45628

-0,16738

0,01500
2

-0,09789

-0,11481

-0,22823

-0,02249

-0,28786
0,06531
8

-0,06033

-0,15516

-0,06385

-0,15854

-0,0855
0,10241
5

-0,14071

-0,19466

-0,10227

-0,14805

-0,06222

-0,22138

-0,08413
0,19096
7
0,09228
8

-0,09002
0,16832
9
0,13726
2

-0,14695

-0,12435

-0,13154
0,21969
9
0,06128
4
0,02568
3

-0,03632

-0,1407

-0,03967

-0,06931 0,112736
0,17323
-0,06588
4
0,17650
-0,10427
4
0,00481
-0,09311
9

-0,02426
0,00871
8

-0,15761

-0,10681

-0,04448
0,06757
3

-0,02134
0,03915
6
0,15034
3

-0,15073

-0,20774

-0,2577

-0,16602

-0,26824

-0,35279

-0,16106

-0,1031

-0,13715

-0,15036 -0,25843
0,10278
2
0,117641

-0,06476
-0,07897

-0,00956
0,08028

-0,16344
0,21623
5

-0,0798
0,16976
9
0,01056
8
-0,13364
-0,09542
0,03865
0,09312
5
0,03379
4
-0,05299
0,08341
2
0,14759
9
0,19278
3
0,13535
3
0,09713
6
0,25718
2
0,42313
9
0,27555
1
0,28716
4
-0,12055

0,23563
7
0,26402
6
0,12208
2
0,16613
3
0,25619
4
0,30318
3
0,26989
9
0,11523

0,24983
0,23995
4
0,15839
4
0,23754
1

-0,16289

0,24983

-0,15869

0,24983

-0,18932

0,24983
0,22470
7

-0,18652

-0,15589
-0,06698
-0,16517

-0,15817

3. Kemudian diregresikan variabel

0,18230 0,17486
1
9
0,44582 0,03425
5
1
0,15445
4
0,112736
0,07687
8
-0,21265
0,27473
8
0,10456
0,27873 0,16832
9
9
0,44859
2
0,09802
0,08721
2
0,10129
y terhadap variabel

0,22256
7
0,24048
7
0,13177
1
0,12615
5
0,270115
0,31455
7
0,33331
4
0,20428
8
x1
x2
,

-0,15539
-0,25737
-0,06734
-0,14293
-0,18833
-0,2599
-0,24069
-0,20416
x6
, ...,
. Dari

output minitab diperoleh hasil:


Regression Analysis: Y versus Z1; Z2; Z3; Z4; Z5; Z6
The regression equation is
Y = 0,00000 + 0,0042 Z1 - 0,228 Z2 + 0,0211 Z3 - 0,0359 Z4 + 0,823 Z5
+ 0,0381 Z6
Predictor
Constant
Z1
Z2
Z3
Z4
Z5
Z6

Coef
0,000000
0,00415
-0,22753
0,02105
-0,03586
0,82291
0,03810

S = 0,0262885

SE Coef
0,004265
0,04543
0,05485
0,06211
0,03556
0,07709
0,05043

R-Sq = 97,9%

T
0,00
0,09
-4,15
0,34
-1,01
10,67
0,76

P
1,000
0,928
0,000
0,737
0,321
0,000
0,456

R-Sq(adj) = 97,4%

Analysis of Variance
Source
DF
SS
P
diketahui
bahwa persamaan
regresinyaMSadalah F
Regression
6 0,97858 0,16310 236,00 0,000
y=0,00000+
z2 +0,0211 z 30,0359 z 4 + 0,823 z 5 +0,0381 z6 .
Residual
Error0,0042
31 z
0,02142
10, 228 0,00069
Total
37 1,00000

Ini adalah kondisi saat


bz ( 0) .

=0.

sehingga bisa diketahui juga vektor koefisien

[ ]

0,0042
0,228
b z ( 0 )= 0,0211
0,0359
0,823
0,0381

4. Langkah selanjutnya adalah menentukan dengan rumus:


k ( s2 )
=
bz ( 0) ' bz ( 0)
dimana:

k adalah banyaknya variabel parameter selain


s 2 adalah MS residual saat =0
Sehingga perhitungannya adalah sebagai berikut:
k ( s2 )
=
bz ( 0) ' bz ( 0)
=

6( 0,00069)
=0,00565
0,7325

5. Kemudian menentukan b z ( ) dengan =0,00565


b z ( )=(Z ' Z + I r )1 Z ' Y

[ ]

0.0071
0.2309
'
1 '
b z ( 0,00565 )=(Z Z +0,00565(I r )) Z Y = 0.0373
0.0287
0.7879
0.0294

6. Kemudian b z ( ) disubtitusikan ke persamaan 4.1 sehingga


Y =Z b z ( ) +
y=0,0071 z 10,2309 z 2+0,0373 z 30,0287 z 4 + 0,7879 z 5 +0,0294 z 6
7. Langkah terakhir adalah menentukan model regresi tersebut dalam variabel
dengan mensubtitusikan nilai

y y

( n1 ) s y

=0,0071

x1 x1

( n1 ) s1

0,2309

x 2 x 2
2

( n1 ) s 2

+0,0373

+0,7879

(
(
(
(
(

x 3 x3

( n1 ) s3

x 5 x5

( n1 ) s5

)
)

(
(

0,0287

+0,0294

18

)
)
)

x 4 x 4

( n1 ) s 4

x 6 x 6

( n1 ) s 6

(
(
(

)
)

17

)
)
)

17
x +6,6. 10
x +4,2. 10
y4,71.10
=0,0071 1
0,2309 2
+
( 381 ) 0,027
( 381 ) 0,027
( 381 ) 0,027

+0,0373

+0,7879

x 31,13.10

17

( 381 ) 0,027

x 5 +1,4.1017

( 381 ) 0,027

0,0287

+ 0,0294

x 4 3,65.10

16

( 381 ) 0,027

x 6+ 1,1.1016

( 381 ) 0,027

y=6,15. 1017 +0,0071 x 10,2309 x 2 +0,0373 x3 0,0287 x 4 +0,7879 x5 +0,0294 x 6


8. Jadi model regresi terbaik dengan metode Regresi Gulud (Ridge Regression) adalah
y=6,15. 1017 +0,0071 x 10,2309 x 2 +0,0373 x3 0,0287 x 4 +0,7879 x5 +0,0294 x 6