1. Meregresikan variabel respon, Y, dengan semua varibel prediktor, misal X1, X2, ... , Xk.
2. Memilih satu prediktor yang mempunyai Fpartial terendah dan taraf signifikansi partial (dinotasikan Ppartial)
lebih dari Pout , kemudian dikeluarkan dari model.
Nilai Fpartial sama dengan kuadrat nilai statistik uji T.
Nilai Ppartial adalah luasan di kanan Fpartial pada distribusi F(1,), dengan derajat bebas error/residual.
Nilai Pout ditentukan, misal out, biasanya 0,1.
Nilai Ppartial tidak tersedia di MINITAB, maka diperlukan bantuan tabel distribusi F(1,); bila Fpartial < F(1,,out)
Contoh :
X1
X2
15,57
2463
44,02
2048
20,42
3940
18,74
49,2
X3
X4
X5
472,92
18
4,45
566,52
1339,75
9,5
6,92
696,82
620,25
12,8
4,28
1033,15
6505
568,33
36,7
3,9
1603,62
5723
1497,6
35,7
5,5
1611,37
44,92
11520
1365,83
24
4,6
1613,27
55,48
5779
1687
43,3
5,62
1854,17
59,28
5969
1639,92
46,7
5,15
2160,55
94,39
8461
2872,33
78,7
6,18
2305,58
128,02
20106
3655,08
180,5
6,15
3503,93
96
13313
2912
60,9
5,88
3571,89
131,42
10771
3921
103,7
4,88
3741,4
127,21
15543
3865,67
126,8
5,5
4026,52
252,9
36194
7684,1
157,7
10343,81
409,2
34703
12446,33
169,4
10,78
11732,17
463,7
39204
14098,4
331,4
7,05
15414,94
510,22
86533
15524
371,6
6,35
18854,45
Sumber : Classical And Modern Regression With Applications, oleh
Raymond H. Myers, halaman 132.
Coef
1963
-15,85
0,05593
1,590
-4,219
-394,3
SE Coef
1071
97,65
0,02126
3,092
7,177
209,6
T
1,83
-0,16
2,63
0,51
-0,59
-1,88
P
0,094
0,874
0,023
0,617
0,569
0,087
Analysis of Variance
Source
DF
SS
MS
F
P
Regression
5 490177488 98035498 237,79 0,000
Residual Error 11
4535052
412277
Total
16 494712540
Coef
2032,2
0,05608
1,0884
-5,004
-410,1
SE Coef
942,1
0,02036
0,1534
5,081
178,1
T
2,16
2,75
7,10
-0,98
-2,30
P
0,052
0,017
0,000
0,344
0,040
Analysis of Variance
Source
DF
SS
MS
F
P
Regression
4 490166625 122541656 323,48 0,000
Residual Error 12
4545916
378826
Total
16 494712540
SE Coef
786,9
0,02009
0,1052
153,2
T
1,94
2,64
9,31
-2,10
P
0,075
0,021
0,000
0,056
Analysis of Variance
Source
DF
SS
MS
F
P
Regression
3 489799142 163266381 431,97 0,000
Residual Error 13
4913399 377954
Total
16 494712540
PROSEDUR FORWARD
1. Meregresikan variabel respon, Y, dengan setiap variabel prediktor, misal X1, X2, ... , Xk. Kemudian dipilih
model yang mempunyai nilai R2 tertinggi. Misal model tersebut adalah yang memuat prediktor Xa, yaitu
= b0 + baXa.
Y
2. Meregresikan variabel respon, Y, dengan prediktor Xa,
ditambah dengan setiap prediktor selain Xa, satu-persatu, sehingga setiap model memuat dua prediktor, yaitu Xa dan prediktor lain. Kemudian dipilih model yang
nilai R2 nya tertinggi, misal yang mengandung tamba = b0 + baXa + bbXb.
han prediktor Xb, yaitu model Y
Prediktor terpilih, Xb, berarti mempunyai Fsequential tertinggi. Formula Fsequential untuk Xb adalah sbb :
Fseq = R(b|0,a)/MSE(model dg prediktor Xa dan Xb)/db
R(b|0,a) adalah tambahan jumlah kuadrat regresi akibat tambahan prediktor Xb pada model terdahulu
= b0 + baXa).
(yaitu : Y
Notasi db menyatakan derajat bebas Residual/Error
yang tercantum pada Tabel ANOVA.
Nilai Fsequential untuk Xb dapat diperoleh dengan cara
mengkuadratkan nilai statistik uji T prediktor Xb.
3. Pemodelan dilanjutkan dengan menambahkan setiap
satu variabel yang tersisa, sehingga model melibatkan tiga prediktor. Misal yang mempunyai nilai R2
terbesar adalah yang memuat Xc, maka model inilah
yang dipilih.
4. Proses diulang, sampai didapatkan Fsequential yang lebih
kecil dari Fin, yaitu suatu nilai yang menghasilkan tingkat signifikansi sebesar Pin , misal in, biasanya sebesar 0,1. Nilai Fin = F(1,,in), sehingga model terbaik yang
Contoh :
Coef SE Coef
-28,1
319,0
1,11739 0,04880
T
P
-0,09 0,931
22,90 0,000
Coef
SE Coef
T
-171,1
675,2 -0,25
48,436
4,524 10,71
P
0,803
0,000
Analysis of Variance
Source
DF
SS
MS
F
P
Regression
1 437459361 437459361 114,61 0,000
Residual Error 15 57253180
3816879
Total
16 494712540
Coef
-6991
2031,0
SE Coef
T
4502
-1,55
739,2
2,75
P
0,141
0,015
Analysis of Variance
Source
DF
SS
MS
Regression
1 165607159 165607159
Residual Error 15 329105382 21940359
Total
16 494712540
F
P
7,55 0,015
Coef
-143,8
0,9516
8,077
SE Coef
322,5
0,1323
6,012
T
-0,45
7,19
1,34
P
0,662
0,000
0,200
Predictor
Constant
X3
X1
Predictor
Constant
X3
X4
Analysis of Variance
Source
DF
SS
MS
F
P
Regression
2 482521888 241260944 277,07 0,000
Residual Error 14 12190652
870761
Total
16 494712540
Source
X3
X4
DF
1
1
Seq SS
480950232
1571656
SE Coef
355,4
3,623
110,4
P
0,939
0,485
0,689
Predictor
Constant
X3
X5
Analysis of Variance
Source
DF
SS
MS
F
P
Regression
2 481112959 240556479 247,64 0,000
Residual Error 14 13599582
971399
Total
16 494712540
Analysis of Variance
Source
X3
X1
DF
1
1
Seq SS
480950232
162727
Coef
-68,3
0,82287
0,07487
SE Coef
228,4
0,08296
0,01913
T
-0,30
9,92
3,91
P
0,769
0,000
0,002
Coef
2585,5
1,23243
-530,9
SE Coef
807,1
0,05044
156,2
T
3,20
24,43
-3,40
P
0,006
0,000
0,004
Source
DF
SS
MS
F
P
Regression
2 487170454 243585227 452,16 0,000
Residual Error 14
7542086
538720
Total
16 494712540
Source
X3
X5
DF
1
1
Seq SS
480950232
6220223
Source
DF
SS
MS
F
P
Regression
2 488140158 244070079 519,90 0,000
Residual Error 14
6572383
469456
Total
16 494712540
Source
X3
X2
Predictor
Constant
X3
X2
X1
DF
1
1
Seq SS
480950232
7189926
SE Coef
250,5
2,554
0,01942
77,91
T
0,03
1,11
3,90
-0,79
P
0,977
0,285
0,002
0,442
Analysis of Variance
Source
DF
SS
MS
F
P
Regression
3 488442818 162814273 337,59 0,000
Residual Error 13 6269722
482286
Total
16 494712540
Source
X3
X2
X1
DF
1
1
1
Seq SS
480950232
7189926
302660
Coef
-80,9
0,8103
0,07314
0,942
SE Coef
246,1
0,1092
0,02188
5,048
T
-0,33
7,42
3,34
0,19
P
0,748
0,000
0,005
0,855
DF
1
1
1
SE Coef
786,9
0,1052
0,02009
153,2
T
1,94
9,31
2,64
-2,10
P
0,075
0,000
0,021
0,056
DF
1
1
1
Coef
1559,9
2,763
0,05414
-314,8
-54,55
SE Coef
800,5
2,296
0,02046
155,8
70,13
T
1,95
1,20
2,65
-2,02
-0,78
P
0,075
0,252
0,021
0,066
0,452
DF
1
1
1
1
Seq SS
480950232
7189926
1658984
235881
Seq SS
480950232
7189926
17547
Predictor
Constant
X3
X2
X5
Seq SS
480950232
7189926
1658984
Predictor
Constant
X3
X2
X5
X4
Coef
2032,2
1,0884
0,05608
-410,1
-5,004
SE Coef
942,1
0,1534
0,02036
178,1
5,081
T
2,16
7,10
2,75
-2,30
-0,98
P
0,052
0,000
0,017
0,040
0,344
DF
1
1
1
1
Seq SS
480950232
7189926
1658984
367483
Prediktor X1 dan X4 menghasilkan Seq SS masing-masing sebesar 235881 dan 367483. Adapun nilai Fsequenensial
masing-masing adalah (-0,78)2 dan (-0,98)2. Bila
nilai F(1,12,0.1) = 3,18, maka Fsequenensial prediktor X1 dan X4
lebih kecil dari pada Fin, sehingga tidak perlu dimasukkan ke dalam model. Dengan demikian model terbaik adalah :
Y = 1523 + 0,978 X3 + 0,0530 X2 - 321 X5
KORELASI PARSIAL
Perbedaan utama antara korelasi dengan korelasi parsial
ialah; pada korelasi antara variable X dengan Y hanya
terdapat variable X dan Y saja, sedang pada korelasi parsial antara variable X dengan Y terdapat variable lain, misal Z, yang disebut sebagai variable pengoreksi. Korelasi
parsial ini sangat berguna untuk memilih variabel prediktor yang dimasukkan ke dalam model.
Pengertian korelasi parsial lebih lanjut akan diuraikan sebagai berikut. Misal terdapat variable respon Y dengan k
predictor, yaitu X1, X2, , Xk..
Kemudian diregresikan Y terhadap X1, maka akan terbentuk model regresi :
Y = 0 + 1 X1 + ,
dan timbul variabel baru, yaitu Y*, X*2, X*3, ... , X*k,
dengan :
Y* adalah sisaan/residual model Y = 0 + 1 X1 + ,
X*2 adalah sisaan model X2 = 02 + 12 X1 + ,
PROSEDUR STEPWISE
1. Meregresikan variabel respon, Y, dengan setiap variabel prediktor, misal X1, X2, ... , Xk. Kemudian dipilih
model yang mempunyai nilai R2 tertinggi. Misal model tersebut adalah yang memuat prediktor Xa, yaitu
= b0 + baXa. Bila pengaruh Xa bermakna, maka Xa
Y
dipertahankan.
Pemilihan juga dapat dilakukan melalui korelasi antara
respon dengan setiap prediktor. Prediktor yang korelasinya tertinggi dimasukkan ke dalam model. Apabila
terdapat dua prediktor bernilai korelasi sama, dipilih
yang memiliki R2 tertinggi.
2. Menghitung korelasi parsial antara setiap prediktor (kecuali Xa ) dengan respon, didapatkan : r1y.a , r2y.a , ... ,
rky.a . Prediktor yang korelasi parsial tertinggi dimasukkan kedalam model. Misal yang korelasinya tertinggi
adalah rby.a , maka prediktor yang dipilih ialah Xb.
3. Meregresikan Y terhadap Xa dan Xb. Bila kedua prediktor bermakna, keduanya dipertahankan.
4. Menghitung korelasi parsial antara setiap prediktor (kecuali Xa dan Xb) dengan respon (Xa dan Xb sebagai pengoreksi), didapatkan : r1y.ab , r2y.ab , dst. Kemudian dipilih prediktor dengan korelasi parsial tertinggi, misal
Xc.
5. Langkah dilanjutkan sampai tidak terdapat prediktor
yang bermakna.
Contoh :
Data yang digunakan sama dengan pada Backward.
X2
X3
1,000
0,000
0,936
0,000
0,907
0,000
0,910
0,000
0,933
0,000
X5
0,671
0,003
0,447
0,072
0,671
0,003
0,463
0,061
0,986
0,000
0,945
0,000
0,986
0,000
0,940
0,000
X2
X3
X4
X4
X5
0,579
0,015
X1**
X4**
0,052
0,844
0,554
0,021
X5**
-0,502
0,040
0,051
0,847
X1**
X1*
X2*
-0,656
0,004
0,055
0,833
X4*
-0,315
0,218
0,494
0,044
0,509
0,037
X5*
0,451
0,069
0,020
0,939
-0,004
0,986
X1*
X2*
X4*
X4**
-0,508
0,037
-0,118
0,653
Predictor
Constant
X3
X2
X5
Coef
-68,3
0,82287
0,07487
SE Coef
228,4
0,08296
0,01913
T
-0,30
9,92
3,91
P
0,769
0,000
0,002
Prediktor X3 dan X2 keduanya berpengaruh secara bermakna, maka keduanya dipertahankan berada didalam
model.
4. Menghitung korelasi parsial lanjutan
Selanjutnya dihitung korelasi parsial dengan dua variable
pengoreksi, yaitu X3 dan X2. Hasilnya ditampilkan sebagai berikut :
Coef
1523,4
0,9785
0,05299
-321,0
SE Coef
786,9
0,1052
0,02009
153,2
T
1,94
9,31
2,64
-2,10
P
0,075
0,000
0,021
0,056
Y***
-0.219
0.398
X1***
-0.273
0.288
0.674
0.003
Penggunaan MINITAB
Pada MINITAB, metode Backward dan Forward tersedia
di dalam menu Regresi Stepwise.
MTB > Stepwise 'Y' 'X1'-'X5';
SUBC>
Backward;
SUBC>
ARemove 0.1;
SUBC>
Best 0;
SUBC>
Constant.
Forward selection.
1
-28.13
2
-68.31
3
1523.39
X3
T-Value
P-Value
1.117
22.90
0.000
0.823
9.92
0.000
0.978
9.31
0.000
0.075
3.91
0.002
0.053
2.64
0.021
X2
T-Value
P-Value
Backward elimination.
X5
T-Value
P-Value
Alpha-to-Remove: 0.1
Step
Constant
1
1963
Model
Ke dua
Model
Ke tiga
2
2032
3
1523
X1
T-Value
P-Value
-16
-0.16
0.874
X2
T-Value
P-Value
0.056
2.63
0.023
0.056
2.75
0.017
0.053
2.64
0.021
X3
T-Value
P-Value
1.59
0.51
0.617
1.09
7.10
0.000
0.98
9.31
0.000
X4
T-Value
P-Value
-4.2
-0.59
0.569
-5.0
-0.98
0.344
X5
T-Value
P-Value
-394
-1.88
0.087
-410
-2.30
0.040
-321
-2.10
0.056
S
R-Sq
R-Sq(adj)
Mallows Cp
642
99.08
98.67
6.0
615
99.08
98.77
4.0
615
99.01
98.78
2.9
Alpha-to-Enter: 0.1
S
R-Sq
R-Sq(adj)
Mallows Cp
-321
-2.10
0.056
958
97.22
97.03
20.4
685
98.67
98.48
4.9
615
99.01
98.78
2.9
Alpha-to-Remove: 0.1
1
-28.13
2
-68.31
3
1523.39
X3
T-Value
P-Value
1.117
22.90
0.000
0.823
9.92
0.000
0.978
9.31
0.000
0.075
3.91
0.002
0.053
2.64
0.021
X2
T-Value
P-Value
X5
T-Value
P-Value
S
R-Sq
R-Sq(adj)
Mallows Cp
-321
-2.10
0.056
958
97.22
97.03
20.4
685
98.67
98.48
4.9
615
99.01
98.78
2.9
Name c7 "RESI1"
Regress 'Y' 1 'X3';
Residuals 'RESI1';
Constant;
Brief 0.
name c7 'Y*'
Name c8 "RESI1"
Regress 'X3' 1 'X1';
Residuals 'RESI1';
Constant;
Brief 0.
name c8 'X1*'
Name c9 "RESI1"
Regress 'X3' 1 'X2';
Residuals 'RESI1';
Constant;
Brief 0.
name c9 'X2*'
Name c10 "RESI1"
Regress 'X3' 1 'X4';
Residuals 'RESI1';
Constant;
Brief 0.
name c10 'X4*'
Name c11 "RESI1"
Regress 'X3' 1 'X5';
Residuals 'RESI1';
Constant;
Brief 0.
name C11 'X5*'
Correlation 'Y*'-'X5*'.
Y*
0,109
0,678
X1*
X2*
-0,656
0,004
0,055
0,833
X4*
-0,315
0,218
0,494
0,044
0,509
0,037
X5*
0,451
0,069
0,020
0,939
-0,004
0,986
Y**
-0,215
0,408
X1**
X4**
0,052
0,844
0,554
0,021
X5**
-0,502
0,040
0,051
0,847
X1**
X4**
-0,508
0,037
X2*
X4*
Predictor
Constant
X3
X2
Coef
-68,3
0,82287
0,07487
S = 685,169
98,5%
-0,118
0,653
MTB >
MTB >
MTB >
SUBC>
SUBC>
SUBC>
MTB >
MTB >
MTB >
SUBC>
SUBC>
SUBC>
MTB >
MTB >
SE Coef
228,4
0,08296
0,01913
T
-0,30
9,92
3,91
R-Sq = 98,7%
P
0,769
0,000
0,002
R-Sq(adj) =
Analysis of Variance
Source
F
P
Regression
519,90 0,000
Residual Error
Total
DF
SS
MS
488140158
244070079
14
16
6572383
494712540
469456
X1***
-0.273
0.288
0.674
0.003
X1***
X4***
SUBC> Yes
No variables entered or removed
More? (Yes, No, Subcommand, or Help)
SUBC> No
MTB > Stepwise 'Y' 'X1'-'X5';
SUBC>
Forward;
SUBC>
AEnter 0.10;
SUBC>
Best 0;
SUBC>
Constant.
Alpha-to-Enter: 0.1
Step
Constant
1
-28.13
2
-68.31
3
1523.39
X3
T-Value
P-Value
1.117
22.90
0.000
0.823
9.92
0.000
0.978
9.31
0.000
0.075
3.91
0.002
0.053
2.64
0.021
Alpha-to-Remove: 0.1
1
1963
2
2032
3
1523
X2
T-Value
P-Value
X5
T-Value
P-Value
S
R-Sq
R-Sq(adj)
Mallows Cp
-321
-2.10
0.056
958
97.22
97.03
20.4
685
98.67
98.48
4.9
615
99.01
98.78
2.9
X1
T-Value
P-Value
-16
-0.16
0.874
X2
T-Value
P-Value
0.056
2.63
0.023
0.056
2.75
0.017
0.053
2.64
0.021
SUBC> Yes
X3
T-Value
P-Value
1.59
0.51
0.617
1.09
7.10
0.000
0.98
9.31
0.000
X4
T-Value
P-Value
-4.2
-0.59
0.569
-5.0
-0.98
0.344
X5
T-Value
P-Value
-394
-1.88
0.087
-410
-2.30
0.040
-321
-2.10
0.056
S
R-Sq
R-Sq(adj)
Mallows Cp
642
99.08
98.67
6.0
615
99.08
98.77
4.0
615
99.01
98.78
2.9
SUBC> no
MTB > Stepwise 'Y' 'X1'-'X5';
SUBC>
AEnter 0.1;
SUBC>
ARemove 0.1;
SUBC>
Best 0;
SUBC>
Constant.
Alpha-to-Enter: 0.1
Alpha-to-Remove: 0.1
1
-28.13
2
-68.31
3
1523.39
1.117
22.90
0.000
0.823
9.92
0.000
0.978
9.31
0.000
0.075
3.91
0.002
0.053
2.64
0.021
X2
T-Value
P-Value
X5
T-Value
P-Value
S
R-Sq
R-Sq(adj)
Mallows Cp
-321
-2.10
0.056
958
97.22
97.03
20.4
685
98.67
98.48
4.9
615
99.01
98.78
2.9
WORKSHEET
C1
C2
C3
C4
C5
C6
C7
C8
C9
C10
C11
C12
C13
C14
C15
C16
C17
C18
X1
X2
X3
X4
X5
Y*
X2*
X4*
X5*
Y**
X1**
X4**
X5**
Y***
X1***
X4***
15.57
2463
472.92
18
4.45
566.52
66.21142
-723.448
-261.831
-1006.96
61.28538
-1.18464
-6.15525
-0.57073
-121.889
-1.12057
-16.321
44.02
2048
1339.75
9.5
6.92
696.82
-772.078
230.1936
965.5143
-5274.65
-490.638
-1.12983
-25.4444
1.450719
-25.0283
-1.29268
0.395689
20.42
3940
620.25
12.8
4.28
1033.15
368.216
-885.084
106.0495
-506.241
296.1043
-1.1818
-16.0243
-0.71147
67.757
-1.10193
-28.697
18.74
6505
568.33
36.7
3.9
1603.62
996.701
-1473.56
-959.555
231.7646
717.2669
-1.19548
3.868157
-0.89145
431.156
-1.09542
-12.0103
49.2
5723
1497.6
35.7
5.5
1611.37
-33.9082
-380.71
12.12865
-2164.97
18.8894
-1.17149
-8.08058
0.204705
84.58975
-1.19446
-4.43438
44.92
11520
1365.83
24
4.6
1613.27
115.2306
-1725.12
376.5975
-425.862
-304.778
-1.21281
-28.6456
-0.23624
-380.599
-1.1863
-32.8535
55.48
5779
1687
43.3
5.62
1854.17
-2.74231
-203.025
-120.815
-2225.02
101.6445
-1.09775
-3.10671
0.236696
177.6121
-1.12432
1.109298
59.28
5969
1639.92
46.7
5.15
2160.55
356.2445
-289.85
-312.101
-1295.09
432.5409
4.242203
0.572474
-0.19753
369.1446
4.264376
-2.94586
94.39
8461
2872.33
78.7
6.18
2305.58
-875.811
421.2716
-436.925
-2203.79
-623.114
-1.06029
11.58644
0.404837
-493.181
-1.10574
18.79737
128.02
20106
3655.08
180.5
6.15
3503.93
-552.1
-1231.94
-3971.88
-1358.68
-940.682
6.765704
81.62234
0.789152
-687.403
6.67712
95.67867
96
13313
2912
60.9
5.88
3571.89
346.172
-554.023
357.7066
-1540.49
247.3033
-0.81586
-15.6315
0.416355
380.9328
-0.8626
-8.2154
131.42
10771
3921
103.7
4.88
3741.4
-611.767
986.7248
-448.594
1547.258
-223.158
1.579736
18.38197
-1.24612
-623.102
1.719616
-3.81391
127.21
15543
3865.67
126.8
5.5
4026.52
-264.822
-66.8349
-1483.68
203.1017
-249.768
-0.88217
33.47637
-0.274
-337.709
-0.85141
28.59591
252.9
36194
7684.1
157.7
10343.81
1785.784
-568.28
1024.172
903.404
1379.377
-0.57939
-24.3346
0.782444
1630.503
-0.66722
-10.3977
409.2
34703
12446.33
169.4
10.78
11732.17
-2147.14
4505.845
5290.164
-2192.05
-1039.36
-0.2889
-73.3541
2.151926
-348.694
-0.53046
-35.0241
463.7
39204
14098.4
331.4
7.05
15414.94
-310.376
5216.374
71.23446
7213.766
946.996
0.021602
58.3877
-2.07223
281.9136
0.254213
21.47734
510.22
86533
15524
371.6
6.35
18854.45
1536.18
X1*
35.2939
7
35.3716
8
34.8647
9
34.1273
5
35.4087
8
34.0324
5
33.4834
9
129.367
33.3888
2
208.426
24.0088
7
46.0901
26.8409
4
16.0232
7
16.4471
5
8.13050
3
16.4610
2
-3258.53
-208.191
10094.49
-329.913
-0.80883
-7.11845
-0.23708
-406.003
-0.78221
-11.3412