REGRESI STEPWISE, BACKWARD, FORWARD

Regresi Stepwise merupakan salah satu metode untuk mengatasi adanya kasus multikolinieritas, yaitu suatu kondisi dimana terjadi korelasi yang kuat diantara variabel-variabel bebas (X). Untuk mendeteksi adanya kasus multikolinieritas dapat dilihat dari besarnya nilai VIF yang lebih dari 10. Metode Stepwise merupakan gabungan dari metode backward elimination dan forward selection. Model dalam regresi Stepwise adalah: Y = 0 + 1X1 + 2X2 + 3X3 + . + nXn Sedangkan Hipotesis yang digunakan dalam Regresi Stepwise adalah: H0 : 1, 2, 3 = 0 Dengan hipotesis alternatif adalah: Ha : 1, 2, 3 0 Untuk itu akan dibahas metode backward elimination, forward selection, dan stepwise regression. Metode Backward Elimination Metode backward bekerja dengan mengeluarkan satu per satu variabel prediktor yang ti-dak signifikan dan dilakukan terus menerus sampai tidak ada variabel prediktor yang ti-dak signifikan, langkah-langkah metode backward adalah sebagai berikut : 1. 2. Membuat model dengan meregresikan variabel respon Y dengan semua variabel prediktor. Mengeluarkan satu persatu dengan melakukan pengujian terhadap parameternya dengan menggunakan partial F test. Nilai Fparsial terkecil dibandingkan dengan Ftabel : Jika Fparsial < Ftabel, maka X yang bersangkutan dikeluarkan dari model dan dilanjutkan dengan pembuatan model baru tanpa variabel tersebut. Jika Fparsial > Ftabel, maka proses dihentikan artinya tidak ada variabel yang perlu dikeluarkan dan persamaan terakhir tersebut yang digunakan/dipilih.

Contoh Kasus : Apendix B (Drapper and Smith)

No. 1 2 3 4 5 6 7 8 9 10 11 12 13 X1 7 1 11 11 7 11 3 1 2 21 1 11 10 X2 26 29 56 31 52 55 71 31 54 47 40 66 68 X3 6 15 8 8 6 9 17 22 18 4 23 9 8 X4 60 52 20 47 33 22 6 44 22 26 34 12 12 Y 78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4

1.

Meregresikan variabel Y dengan X1, X2, X3, X4

Regression Analysis: y versus x1; x2; x3; x4
The regression equation is y = 62,4 + 1,55 x1 + 0,510 x2 + 0,102 x3 - 0,144 x4 Predictor Constant x1 x2 x3 x4 S = 2,44601 Coef 62,41 1,5511 0,5102 0,1019 -0,1441 SE Coef 70,07 0,7448 0,7238 0,7547 0,7091 T 0,89 2,08 0,70 0,14 -0,20 P 0,399 0,071 0,501 0,896 0,844 VIF 38,496 254,423 46,868 282,513

R-Sq = 98,2%

R-Sq(adj) = 97,4% MS 666,97 5,98 F 111,48 P 0,000

Analysis of Variance Source DF SS Regression 4 2667,90 Residual Error 8 47,86 Total 12 2715,76

2.

Memilih variabel prediktor yang akan dikeluarkan Prediktor X3 memiliki nilai Fparsial sebesar (0,14)2 yaitu 0,0196 yang terendah. Pout ditentukan sebesar 0,1, maka F(1,v,out) = F(1, 8, 0.1) = 3,46. Karena nilai Fparsial sebesar 0,0196 yang berarti kurang dari F (1, 8, 0.1), maka prediktor X3 harus dikeluarkan dari model.

3.

Meregresikan Y tanpa X3 (Y dengan X1, X2, X4)

Regression Analysis: y versus x1; x2; x4
The regression equation is y = 71,6 + 1,45 x1 + 0,416 x2 - 0,237 x4 Predictor Constant x1 x2 x4 S = 2,30874 Coef 71,65 1,4519 0,4161 -0,2365 SE Coef 14,14 0,1170 0,1856 0,1733 T 5,07 12,41 2,24 -1,37 P 0,001 0,000 0,052 0,205

R-Sq = 98,2%

R-Sq(adj) = 97,6% MS 889,26 5,33 F 166,83 P 0,000

Analysis of Variance Source DF SS Regression 3 2667,79 Residual Error 9 47,97 Total 12 2715,76

4.

Memilih prediktor untuk dikeluarkan Prediktor X4 memiliki nilai Fparsial sebesar (-1,37)2 yaitu 1,8769 yang terendah. Nilai F(1,v,out) = F(1, 9, 0.1) = 3,36. Karena nilai Fparsial sebesar 1,8769 yang berarti kurang dari F(1, 9, 0.1), maka prediktor X4 harus dikeluarkan dari model.

5.

Meregresikan Y tanpa X3, X4 (Y dengan X1, X2)

Regression Analysis: y versus x1; x2
The regression equation is y = 52,6 + 1,47 x1 + 0,662 x2 Predictor Constant x1 x2 Coef 52,577 1,4683 0,66225 SE Coef 2,286 0,1213 0,04585 T 23,00 12,10 14,44 P 0,000 0,000 0,000

S = 2,40634 R-Sq = 97,9% Analysis of Variance Source DF SS Regression 2 2657,9 Residual Error 10 57,9 Total 12 2715,8

R-Sq(adj) = 97,4% MS 1328,9 5,8 F 229,50 P 0,000

6. Model Y sebagai fungsi X1 dan X2 menghasilkan nilai Fparsial terendah sebesar (12,10)2 yaitu 146,41. Nilai F(1,v,out) = F(1, 10, 0.1) = 3,29. Karena nilai Fparsial sebesar 146,41 lebih dari F(1, tahap ini selesai. Dengan demikian model terbaik dari metode backward adalah dengan menggunakan 2 prediktor yaitu X1 dan X2 yang sudah tidak terdapat kasus multikolinieritas dengan model pada langkah 5, yaitu :
3
10, 0.1)

, maka prediktor X4 tidak dikeluarkan dari model dan

Regression Analysis: y versus x1; x2

The regression equation is y = 52,6 + 1,47 x1 + 0,662 x2 Predictor Constant x1 x2 S = 2,40634 Coef 52,577 1,4683 0,66225 SE Coef 2,286 0,1213 0,04585 T 23,00 12,10 14,44 P 0,000 0,000 0,000 VIF 1,055 1,055

R-Sq = 97,9%

R-Sq(adj) = 97,4% MS 1328,9 5,8 F 229,50 P 0,000

Analysis of Variance Source DF SS Regression 2 2657,9 Residual Error 10 57,9 Total 12 2715,8

Langkah-langkah metode backward elimination dengan menggunakan program Minitab yaitu : 1. Memasukkan data pada Worksheet.

2. Klik Stat Regression pilih Stepwise.

3.

Pada variabel Response masukkan Y, dan Predictors masukkan semua prediktor X1 sampai X4.

4. Klik tombol Methods pilih Backward Elimination. Pada kotak dialog paling atas terdapat dua cara, yaitu dengan menggunakan nilai alpha dan nilia F, pilih Use alpha values. Pada kotak dialog Alpha to remove diisi 0,1 Klik OK.

5.

Klik OK, akan menghasilkan output sebagai berkut :

Stepwise Regression: y versus x1; x2; x3; x4

Backward elimination. Alpha-to-Remove: 0,1

Response is y on 4 predictors, with N = 13 Step Constant x1 T-Value P-Value x2 T-Value P-Value x3 T-Value P-Value x4 T-Value P-Value S R-Sq R-Sq(adj) Mallows Cp 1 62,41 1,55 2,08 0,071 0,510 0,70 0,501 0,10 0,14 0,896 -0,14 -0,20 0,844 2,45 98,24 97,36 5,0 -0,24 -1,37 0,205 2,31 98,23 97,64 3,0 2,41 97,87 97,44 2,7 2 71,65 1,45 12,41 0,000 0,416 2,24 0,052 3 52,58 1,47 12,10 0,000 0,662 14,44 0,000

Regresi stepwise dengan metode backward menggunakan Minitab menunjukkan beberapa step yaitu pada step pertama variabel yang digunakan adalah semua variabel X (X1, X2, X3, dan X4), dengan melihat P-value yang lebih dari 0,1 dan terbesar yaitu X 3, maka pada step selanjutnya variabel X3 tidak diikutkan dalam model. Pada step kedua masih terdapat P-value yang > 0,1, yaitu X 4 maka pada step selanjutnya variabel X 4 dikeluarkan dari model. Pada step ketiga yang tersisa yaitu variabel X 1 dan X2 yang memiliki P-value kurang dari 0,1 sehingga proses berhenti dan variabel yang dipilih atau digunakan dalam model yaitu X1 dan X2.

Langkah-langkah metode backward dengan menggunakan program SPSS yaitu : 1. Memasukkan data pada SPSS data editor.

2. Klik Analyze Regression pilih Linear.

3.

Pada kotak dialog Dependent masukkan Y, Independent masukkan semua variabel prediktor X1 sampai X4. Klik pada Method akan muncul beberapa pilihan, pilih Backward.

4.

Klik OK, akan muncul output sebagai berikut :

Variables Entered/Removed(b) Model 1 2 Backward (criterion: Probability of F-toremove >= ,100). Backward (criterion: Probability of F-toremove >= ,100). Variables Entered X4, X3, X1, X2(a) Variables Removed . Method Enter

X3

X4

a All requested variables entered. b Dependent Variable: Y

Model 1 menunjukkan variabel yang dimasukkan yaitu semua variabel prediktor X1, X2, X3, dan X4. Model 2 menunjukkan variabel yang dikeluarkan dari model yaitu X3 dengan menggunakan nilai F-to remove sebesar 0,1, dan pada model 3 variabel yang dikeluarkan dari model yaitu X4.
Coefficients(a) Unstandardized Standardized Coefficients Coefficients Model 1 (Constant) X1 X2 X3 X4 2 (Constant) X1 X2 3 X4 (Constant) X1 X2 a Dependent Variable: Y B 62,405 1,551 ,510 ,102 -,144 71,648 1,452 ,416 -,237 52,577 1,468 ,662 Std. Error 70,071 ,745 ,724 ,755 ,709 14,142 ,117 ,186 ,173 2,286 ,121 ,046 ,568 ,430 -,263 ,574 ,685 Beta ,607 ,528 ,043 -,160 ,891 2,083 ,705 ,135 -,203 5,066 12,410 2,242 -1,365 22,998 12,105 14,442

Sig. ,399 ,071 ,501 ,896 ,844 ,001 ,000 ,052 ,205 ,000 ,000 ,000

Pada model 1, P-value yang signifikan (< 0,1) hanya terdapat variabel X 1, nilai P-value yang paling besar tidak signifikan akan dikeluatkan dari model yaitu X3. Model 2 tanpa menggunakan variabel X3 menunjukkan P-value yang tidak signifikan terdapat pada variabel X4, sehingga variabel X4 dikeluarkan dari model. Pada model 3 diperoleh nilai P-value X1, dan X2 sudah signifikan, sehingga tidak ada variabel yang perlu dikeluarkan dari model dan variabel yang dipilih atau digunakan dalam model yaitu variabel X1, dan X2. Dari ketiga cara diatas, langkah-langkah manual, program Minitab, dan program SPSS menghasilkan model yang sama yaitu model dengan menggunakan variabel X 1, dan X2 sebagai variabel prediktornya dan model terbaik yang diperoleh adalah :

Regression Analysis: y versus x1; x2

The regression equation is y = 52,6 + 1,47 x1 + 0,662 x2 Predictor Constant x1 x2 S = 2,40634 Coef 52,577 1,4683 0,66225 SE Coef 2,286 0,1213 0,04585 T 23,00 12,10 14,44 P 0,000 0,000 0,000

R-Sq = 97,9%

R-Sq(adj) = 97,4% MS 1328,9 5,8 F 229,50 P 0,000

Analysis of Variance Source DF SS Regression 2 2657,9 Residual Error 10 57,9 Total 12 2715,8

Metode Forward Selection Kebalikan dari metode backward, metode forward adalah pemodelan dimulai

dari nol peubah (empty model), kemudian satu persatu peubah dimasukan sampai kriteria tertentu dipenuhi. Langkah-langkah metode forward adalah sebagai berikut : 1. Membuat model dengan meregresikan variabel respon Y dengan setiap variabel prediktor. Kemudian dipilih model yang mempunyai nilai R2 tertinggi. Misal model tersebut adalah yang memuat prediktor Xa, yaitu
=b + b X . Y 0 a a

2. Meregresikan variabel respon Y, dengan prediktor Xa, ditambah dengan setiap prediktor selain Xa dan prediktor lain. Kemudian dipilih model yang nilai R2 nya tertinggi, misal mengandung tambahan prediktor Xb, yaitu model
=b +b X + b X . Y 0 a a b b

Prediktor terpilih Xb berarti mempunyai Fsequensial tertinggi.

Formula Fsequensial untuk Xb adalah Fseq = R ( b | 0 , a ) / MSE / db . Nilai Fsequensial untuk Xb juga dapat diperoleh dengan cara mengkuadratkan nilai statistik uji T prediktor Xb. 3. Proses diulang sampai didapatkan Fsequensial > Fin. Nilai Fin = F(1,v, in ), sehingga model terbaik yang dipilih adalah model yang tidak mempunyai prediktor dengan Fsequensial < Fin.

Contoh Kasus: Apendix B (Drapper and Smith)

10

No. 1 2 3 4 5 6 7 8 9 10 11 12 13

X1 7 1 11 11 7 11 3 1 2 21 1 11 10

X2 26 29 56 31 52 55 71 31 54 47 40 66 68

X3 6 15 8 8 6 9 17 22 18 4 23 9 8

X4 60 52 20 47 33 22 6 44 22 26 34 12 12

Y 78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4

1. Meregresikan variabel Y dengan setiap variabel prediktor yaitu X1, X2, X3, dan X4. a.
Regression Analysis: y versus x1
The regression equation is y = 81,5 + 1,87 x1 Predictor Constant x1 S = 10,7267 Coef 81,479 1,8687 SE Coef 4,927 0,5264 T 16,54 3,55 P 0,000 0,005

R-Sq = 53,4%

R-Sq(adj) = 49,2%

b.
Regression Analysis: y versus x2
The regression equation is y = 57,4 + 0,789 x2 Predictor Constant x2 S = 9,07713 Coef 57,424 0,7891 SE Coef 8,491 0,1684 T 6,76 4,69 P 0,000 0,001

R-Sq = 66,6%

R-Sq(adj) = 63,6%

c.
Regression Analysis: y versus x3
The regression equation is y = 110 - 1,26 x3 Predictor Constant x3 S = 13,2781 Coef 110,203 -1,2558 SE Coef 7,948 0,5984 T 13,87 -2,10 P 0,000 0,060

R-Sq = 28,6%

R-Sq(adj) = 22,1%

d.
11

Regression Analysis: y versus x4

The regression equation is y = 118 - 0,738 x4 Predictor Constant x4 S = 8,96390 Coef 117,568 -0,7382 SE Coef 5,262 0,1546 T 22,34 -4,77 P 0,000 0,001

R-Sq = 67,5%

R-Sq(adj) = 64,5%

2. Memilih model yang mempunyai nilai R2 tertinggi yaitu Y = 118 - 0,738 X 4 dengan R2 sebesar 67,5% dan Fsequensial = T2 = (-4,77)2 = 22,7529. Nilai Fin = F(1,v,in) = F(1, 11, 0.05) = 4,48. Karena Fsequensial > Fin maka proses memilih variabel untuk membang-un model terbaik terus dilakukan. 3. Meregresikan variabel Y dan X4 dengan setiap variabel X1, X2, dan X3. a.
Regression Analysis: y versus x4; x1
The regression equation is y = 103 - 0,614 x4 + 1,44 x1 Predictor Constant x4 x1 S = 2,73427 Coef 103,097 -0,61395 1,4400 SE Coef 2,124 0,04864 0,1384 T 48,54 -12,62 10,40 P 0,000 0,000 0,000

R-Sq = 97,2%

R-Sq(adj) = 96,7%

b.
Regression Analysis: y versus x4; x2
The regression equation is y = 94,2 - 0,457 x4 + 0,311 x2 Predictor Constant x4 x2 S = 9,32137 Coef 94,16 -0,4569 0,3109 SE Coef 56,63 0,6960 0,7486 T 1,66 -0,66 0,42 P 0,127 0,526 0,687 VIF 18,7 18,7

R-Sq = 68,0%

R-Sq(adj) = 61,6%

c.
Regression Analysis: y versus x4; x3
The regression equation is y = 131 - 0,725 x4 - 1,20 x3 Predictor Constant x4 x3 S = 4,19211 Coef 131,282 -0,72460 -1,1999 SE Coef 3,275 0,07233 0,1890 T 40,09 -10,02 -6,35 P 0,000 0,000 0,000 VIF 1,0 1,0

R-Sq = 93,5%

R-Sq(adj) = 92,2%

12

Memilih model yang mempunyai nilai R2 tertinggi yaitu Y = 103 - 0,614 X4 + 1,44 X1 dengan R2 sebesar 97,2%. dan Fsequensial = T2 = (10,40)2 = 108,16. Nilai Fin = F(1,v,in) = F(1, 10, 0.05) = 4,96. Karena Fsequensial > Fin maka proses memilih variabel untuk membangun model dilanjutkan dengan proses penambahan variabel prediktor untuk memperoleh model terbaik. 4. Meregresikan variabel respon Y, dengan prediktor X4 dan X1 , ditambah dengan setiap prediktor X2 dan X3. a.
Regression Analysis: y versus x4; x1; x2
The regression equation is y = 71,6 - 0,237 x4 + 1,45 x1 + 0,416 x2 Predictor Constant x4 x1 x2 S = 2,30874 Coef 71,65 -0,2365 1,4519 0,4161 SE Coef 14,14 0,1733 0,1170 0,1856 T 5,07 -1,37 12,41 2,24 P 0,001 0,205 0,000 0,052

R-Sq = 98,2%

R-Sq(adj) = 97,6%

b.
Regression Analysis: y versus x4; x1; x3
The regression equation is y = 112 - 0,643 x4 + 1,05 x1 - 0,410 x3 Predictor Constant x4 x1 x3 S = 2,37665 Coef 111,684 -0,64280 1,0519 -0,4100 SE Coef 4,562 0,04454 0,2237 0,1992 T 24,48 -14,43 4,70 -2,06 P 0,000 0,000 0,001 0,070

R-Sq = 98,1%

R-Sq(adj) = 97,5%

Model yang mempunyai nilai R2 tertinggi yaitu Y = 71,6 - 0,237 X4 + 1,45 X1 + 0,416 X2 dengan R2 sebesar 97,2%, dan Fsequensial = T2 = (10,40)2 = 1,876. Nilai Fin=F(1,v, in )=F(1,9,0.1)=3,36, nilai Fsequensial pada prediktor X4 lebih kecil dari Fin. Sehingga prediktor proses sudah berhenti, dan prediktor yang dipilih/digunakan dalam model adalah X1 dan X4. Pemilihan model terbaik dengan metode forward selection adalah menggunakan 2 prediktor yaitu X1 dan X4, dimana model tersebut sudah memenuhi asumsi tidak terjadi kasus multiko-linearitas yang ditunjukkan pada langkah 3, yaitu :
13

Regression Analysis: y versus x4; x1

The regression equation is y = 103 - 0,614 x4 + 1,44 x1 Predictor Constant x4 x1 S = 2,73427 Coef 103,097 -0,61395 1,4400 SE Coef 2,124 0,04864 0,1384 T 48,54 -12,62 10,40 P 0,000 0,000 0,000 VIF 1,1 1,1

R-Sq = 97,2%

R-Sq(adj) = 96,7% MS 1320,5 7,5 F 176,63 P 0,000

Analysis of Variance Source DF SS Regression 2 2641,0 Residual Error 10 74,8 Total 12 2715,8

Langkah-langkah metode forward selection dengan menggunakan program Minitab yaitu : 1. Memasukkan data pada Worksheet.

2. Klik Stat Regression pilih Stepwise.

14

3.

Pada variabel Response masukkan Y, dan Predictors masukkan semua prediktor X1 sampai X4.

4. Klik tombol Methods pilih Forward Selection. Pada kotak dialog paling atas terdapat dua cara, yaitu dengan menggunakan nilai alpha dan nilia F, pilih Use alpha values. Pada kotak dialog Alpha to remove diisi 0,05 Klik OK.

15

5.

Klik OK, akan menghasilkan output sebagai berkut :

Stepwise Regression: y versus x1; x2; x3; x4

Forward selection. Alpha-to-Enter: 0,05 Response is y on 4 predictors, with N = 13 Step Constant x4 T-Value P-Value x1 T-Value P-Value S R-Sq R-Sq(adj) Mallows C-p 8,96 67,45 64,50 138,7 1 117,6 -0,738 -4,77 0,001 2 103,1 -0,614 -12,62 0,000 1,44 10,40 0,000 2,73 97,25 96,70 5,5

Regresi stepwise dengan menggunakan metode forward selection pada kasus di atas menunjukkan bahwa untuk pemilihan model terbaik dilakukan 2 langkah/step. Langkah per-tama variabel X4 terpilih untuk dimasukkan ke dalam model. Pada variabel X4, besarnya T2 yaitu 22,7529 > F(1, 11, 0.05) yaitu sebesar 4,48, maka diperlukan tahap kedua untuk memasuk-kan variabel prediktor lain ke model. Langkah kedua ditambahkan variabel X1 ke dalam mo-del. Dengan T2 yaitu 108,16 < F(1, 10, 0.05) yaitu sebesar 4,96, maka langkah berikutnya tidak diperlukan lagi, sehingga variabel yang digunakan dalam model adalah X1 dan X4.

16

Langkah-langkah metode forward selection dengan menggunakan program SPSS yaitu : 1. Memasukkan data pada SPSS data editor.

2. Klik Analyze Regression pilih Linear.

3.

Pada kotak dialog Dependent masukkan Y, Independent masukkan semua variabel prediktor X1 sampai X4. Klik pada Method akan muncul beberapa pilihan, pilih Forward.

17

4.

Klik OK, akan muncul output sebagai berikut :

18

Variables Entered/Removeda Variables Model 1 Variables Entered Removed X4 . Method Forward (Criterion: Probability-of-Fto-enter <= ,050) 2 X1 . Forward (Criterion: Probability-of-Fto-enter <= ,050) a. Dependent Variable: Y Model Summary Change Statistics Adjusted Std. Error of Model 1 2 R .821a .986b R Square .675 .972 R Square the Estimate .645 .967 8.9639 2.7343 R Square Change .675 .298 F Change 22.799 108.224 df1 1 1 df2 11 10 Sig. F Change .001 .000

a. Predictors: (Constant), X4 b. Predictors: (Constant), X4, X1 Coefficientsa Unstandardized Coefficients Model 1 B Std. Error 5.262 .155 2.124 .049 .138 -.683 .563 -.821 Standardized Coefficients Beta t 22.342 -4.775 48.540 -12.621 10.403 Sig. .000 .001 .000 .000 .000 .940 .940 1.064 1.064 1.000 1.000 Collinearity Statistics Tolerance VIF

(Constant) 117.568 X4 -.738

(Constant) 103.097 X4 X1 -.614 1.440

a. Dependent Variable: Y

Dengan menggunakan F-to enter sebesar 0,05, model 1 menunjukkan variabel yang dimasukkan pada model, yaitu variabel prediktor X4. Besarnya t2 yaitu 22,7529 > F(1, 11, 0.05) yaitu sebesar 4,48, maka diperlukan tahap kedua untuk mamasukkan variabel prediktor lain ke model. Model 2 menunjukkan variabel kedua yang dimasukkan pada model setelah X4 yaitu X1. Nilai t2 yaitu 108,16 < F(1, 10, 0.05) yaitu sebesar 4,96, maka
19

tidak ada variabel lain yang dimasukkan ke dalam model, sehingga variabel yang dipilih adalah X1 dan X4. Berdasarkan langkah-langkah manual, program Minitab, dan program SPSS, ketiga cara tersebut menghasilkan model yang sama yaitu model dengan menggunakan variabel X1, dan X4 sebagai variabel prediktor dengan model terbaik adalah sebagai berikut :
Regression Analysis: y versus x1; x4
The regression equation is y = 103 + 1,44 x1 - 0,614 x4 Predictor Constant x1 x4 S = 2,73427 Coef 103,097 1,4400 -0,61395 SE Coef 2,124 0,1384 0,04864 T 48,54 10,40 -12,62 P 0,000 0,000 0,000 VIF 1,1 1,1

R-Sq = 97,2%

R-Sq(adj) = 96,7% MS 1320,5 7,5 F 176,63 P 0,000

Analysis of Variance Source DF SS Regression 2 2641,0 Residual Error 10 74,8 Total 12 2715,8

METODE STEPWISE REGRESSION Regresi Stepwise adalah gabungan antara metode forward dan backward,

variabel yang pertama kali masuk adalah variabel korelasinya tertinggi dan significant dengan variabel dependent, variabel yang masuk kedua adalah variabel yang korelasi parsialnya tertingi dan masih significant, setelah variabel tertentu masuk kedalam model maka variabel lain yang ada didalam model dievaluasi,jika ada variabel yang tidak signifikan maka variabel tersebut dikeluarkan. langkah metode stepwise adalah sebagai berikut : 1. Hitung nilai korelasi masing-masing variabel bebas terhadap variabel terikatnya. Sebagai variabel pertama yang akan masuk persamaan regresi adalah yang memiliki nilai korelasi terbesar. Kita sebut saja variabel ini sebagai Xi. 2. Regresikan Y pada Xi. Tahan Xi dalam model jika seluruh uji F menunjukkan bahwa persamaan regresi secara statistik signifikan. Langkah-

20

3.

Hitung nilai korelasi parsial dari seluruh variabel bebas yang berada di luar persamaan. Pilih variabel bebas yang memiliki korelasi parsial terbesar sebagai variabel bebas kedua yang masuk persamaan, kita sebut saja Xj.

4.

Dengan dua variabel bebas di dalam model, hitung kembali persamaan regresi. Tahan Xj pada persamaan bila nilai F parsialnya signifikan dibandingkan dengan nilai kritis di bawah distribusi F dengan derajat bebas 1 dan n-2-1. tahan Xi pada persamaan bersama-sama Xj bila nilai F parsialnya signifikan bila dibandingkan dengan kriteria yang telah ditentukan.

5.

Sekarang pilih variabel bebas lainnya yang akan masuk persamaan, dengan syarat memiliki nilai koefisien korelasi parsial terbesar diantara variabel bebas lainnya yang berada di luar persamaan. Kita sebut saja Xk.

6. 1.

Masukkan Xk ke dalam persamaan yang telah mengandung Xi dan Xj. Putuskan apakah : Mengitung koefisien korelasi Y dengan setiap predictor.

Correlations: X1; X2; X3; X4; Y

X2 X3 X4 Y X1 0,229 0,453 -0,824 0,001 -0,245 0,419 0,731 0,005 X2 X3 X4

-0,139 0,650 -0,973 0,000 0,816 0,001 0,030 0,924 -0,535 0,060 -0,821 0,001

Korelasi yang paling besar terdapat pada predictor X4, yaitu sebesar -0,821, sehingga variabel X4 dipertahankan dalam model. 2. Menghitung korelasi parsial
Correlations: y; x1; x2; x3
x1 x2 x3 y 0,731 0,005 0,816 0,001 -0,535 0,060 x1 x2

0,229 0,453 -0,824 0,001 -0,139 0,650

Cell Contents: Pearson correlation P-Value

21

Korelasi antara X3* dengan Y*, atau korelasi parsial antara X3 dengan Y yang terkoreksi oleh X4, dinotasikan r3Y,4, adalah sebesar -0,824.Ini merupakan nilai korelasi parsial terbesar, maka X3 dimasukkan ke dalam model.

22

3. Meregresikan Y terhadap X3 dan X2

Regression Analysis: Y versus X4; X3
The regression equation is Y = 131 - 0,725 X4 - 1,20 X3 Predictor Constant X4 X3 S = 4,19211 Coef 131,282 -0,72460 -1,1999 SE Coef 3,275 0,07233 0,1890 T 40,09 -10,02 -6,35 P 0,000 0,000 0,000

R-Sq = 93,5%

R-Sq(adj) = 92,2%

Analysis of Variance Source Regression Residual Error Total DF 2 10 12 SS 2540,0 175,7 2715,8 MS 1270,0 17,6 F 72,27 P 0,000

Prediktor X4 dan X3 keduanya berpengaruh secara bermakna, maka keduanya dipertahankan berada didalam model 4. Menghitung korelasi parsial lanjutan Selanjutnya dihitung korelasi parsial dengan dua variable pengoreksi, yaitu X4 dan X3. Hasilnya ditampilkan sebagai berikut :
Correlations: X1; X2; Y
X2 Y X1 0,229 0,453 0,731 0,005 X2

0,816 0,001

Tampak bahwa r2y.431 = 0.229 dan r2y.431 = 0.731.Nilai yang kecil dan tidak bermakna, ditandai oleh nilai P masing-masing 0.435 dan 0.005, dan model yang dipilih adalah dengan menggunakan variabel X1 dan X2 sebagai prediktor.

23

 Langkah-langkah regresi stepwise dengan menggunakan program Minitab adalah :

1. Setelah memasukkan data, kemudian klik Stat Regression pilih Stepwise.

2.

Pada variabel Response masukkan Y, dan Predictors masukkan semua prediktor X1 sampai X4.

3. Klik tombol Methods pilih Stepwise (forward and backward). Pada kotak dialog paling atas terdapat dua cara, yaitu dengan menggunakan nilai alpha dan
24

nilia F, pilih Use alpha values. Pada kotak dialog Alpha to enter diisi 0,1 dan alpha to remove diisi 0,1 Klik OK.

4.

Klik OK, akan muncul output sebagai berikut :

Stepwise Regression: y versus x1; x2; x3; x4

Alpha-to-Enter: 0,1 Alpha-to-Remove: 0,1 Response is y on 4 predictors, with N = 13 Step Constant x4 T-Value P-Value x1 T-Value P-Value x2 T-Value P-Value S R-Sq R-Sq(adj) Mallows Cp 8,96 67,45 64,50 138,7 2,73 97,25 96,70 5,5 1 117,57 -0,738 -4,77 0,001 2 103,10 -0,614 -12,62 0,000 1,44 10,40 0,000 3 71,65 -0,237 -1,37 0,205 1,45 12,41 0,000 0,416 2,24 0,052 2,31 98,23 97,64 3,0 1,47 12,10 0,000 0,662 14,44 0,000 2,41 97,87 97,44 2,7 4 52,58

Pada step pertama regresi stepwise menggunakan Minitab, variabel yang digunakan adalah variabel X4, kemudian pada step kedua menambahkan variabel X 1 sebagai prediktor, dengan melihat P-value X1 dan X4 yang signifikan (< 0,1) maka pada step ketiga menambahkan variabel X2, dan dihasilkan variabel X4 tidak signifikan sehingga pada step selanjutnya variabel X4 dikeluarkan dari model. Pada step 4 yaitu
25

dengan menggunakan variabel X1 dan X2 sebagai prediktor, diperoleh P-value yang signifikan, sehingga proses berhenti dan variabel yang dipilih atau digunakan dalam model yaitu X1 dan X2. Langkah-langkah metode stepwise dengan menggunakan program SPSS yaitu : 1. Setelah memasukkan data, klik Analyze Regression pilih Linear.

2.

Pada kotak dialog Dependent masukkan Y, Independent masukkan semua variabel prediktor X1 sampai X4. Klik pada Method akan muncul beberapa pilihan, pilih Stepwise.

26

3.

Klik OK, akan muncul output sebagai berikut.

Variables Entered/Removed(a) Model 1 Variables Entered X4 2 X1 . . Variables Removed Method Stepwise (Criteria: Probability-of-F-to-enter <= , 050, Probability-of-F-toremove >= ,100). Stepwise (Criteria: Probability-of-F-to-enter <= , 050, Probability-of-F-toremove >= ,100).

a Dependent Variable: Y

Model pertama yang diperoleh yaitu dengan memasukkan variabel X4, dan model kedua yang diperoleh yaitu dengan memasukkan variabel X1 dengan tetap mempertahankan variabel X4. Dari kedua model diperoleh P-value yang sudah signifikan, sehingga model yang digunakan dalam menggunakan metode stepwise dengan program SPSS yaitu dengan menggunakan variabel prediktor X1 dan X4.
Coefficients(a) Unstandardized Standardized Coefficients Coefficients Model 1 2 (Constant) X4 (Constant) X4 X1 a Dependent Variable: Y B 117,568 -,738 103,097 -,614 1,440 Std. Error 5,262 ,155 2,124 ,049 ,138 Beta -,821 -,683 ,563 22,342 -4,775 48,540 -12,621 10,403 ,000 ,001 ,000 ,000 ,000

Sig.

Dari evaluasi metode stepwise dengan menggunakan langkah-langkah manual, program Minitab, dan SPSS menghasilkan model terbaik yang berbeda yaitu Minitab menghasilkan model dengan menggunakan variabel X1 dan X2 sebagai variabel prediktor, sedangkan program SPSS menghasilkan model dengan variabel X1 dan X4 sebagai variabel prediktor. Namun, dari kedua model yang dihasilkan sama-sama dapat mengatasi kasus multikolinieritas, ditunjukkan nilai VIF yang kurang dari 10.
Regression Analysis: y versus x1; x2 The regression equation is y = 52,6 + 1,47 x1 + 0,662 x2 Predictor Coef SE Coef T Constant 52,577 2,286 23,00 x1 1,4683 0,1213 12,10 x2 0,66225 0,04585 14,44 S = 2,40634 R-Sq = 97,9% P 0,000 0,000 0,000 VIF 1,055 1,055 Regression Analysis: y versus x1; x4 The regression equation is y = 103 + 1,44 x1 - 0,614 x4 Predictor Coef SE Coef T Constant 103,097 2,124 48,54 x1 1,4400 0,1384 10,40 x4 -0,61395 0,04864 -12,62 S = 2,73427 R-Sq = 97,2% P VIF 0,000 0,000 1,064 0,000 1,064

R-Sq(adj) = 97,4%

R-Sq(adj) = 96,7%

27

CONTOH KASUS BEBAS Distro Planet Gaya dalam beberapa bulan gencar mempromosikan sejumlah kaos dengan membuka outlet-outlet di berbagai daerah di Lamongan. Distro tersebut ingin mengetahui besar hubungan atau seberapa jauh biaya promosi, luas outlet, laju pertambahan penduduk, kompetitor atau pesaing, dan income penduduk berpengaruh terhadap penjualan Distro Planet Gaya. Oleh karena akan dilakukan uji regresi dengan keterangan sebagai berikut. 1. 2. Variabel bergantung/dependen (Y) : Penjualan. Variabel bebas/independen: a) X1 : Biaya Promosi (dalam juta Rupiah) b) X2 : Luas Outlet (dalam m) c) X3 : Laju Pertambahan Penduduk d) X4 : Kompetitor atau Pesaing e) X5 : Income Penduduk Daerah Y X1 LAMONGAN 200 21 MADURAN 201 23 MANTUP 249 30 BABAT 241 26 SUKODADI 196 16 SUGIO 286 44 PACIRAN 229 25 SEKARAN 204 25 TIKUNG 199 19 KARANGGENENG 211 26 KARANGBINAGUN 240 27 DEKET 281 42 PUCUK 307 49 KEMBANGBAHU 259 35 TURI 317 37 Temukan model regresi yang terbaik antara Y, a. Stepwise regression b. Forward selection c. Backward elimination X2 154 159 193 179 145 203 179 149 144 170 187 196 243 161 282 X1, X2, X3 X4 1.5 10 1 11 1.25 14 1.14 12 2.15 6 0.95 19 1.17 11 2.24 5 0.85 9 1.63 9 2.14 6 1.13 14 2.03 16 2.04 13 1.03 13 X3, X4, dan X5 X5 4.96 1.93 2.06 3.05 3.85 3.15 2.94 2.05 4.29 2.03 2.25 2.03 3.01 2.31 2.51 dengan

metode pembentukan model regresi dengan menggunakan MINITAB

28

PENYELESAIAN: A. BACKWARD ELIMINATION Cara yang digunakan pada backward elimination ada beberapa cara, yaitu : #CARA I 1. Model regresi Y sebagai fungsi X1 sampai X5

The regression equation is y = 64.7 + 2.03 x1 + 0.552 x2 + 2.44 x3 + 0.91 x4 + 0.61 x5 Predictor Constant x1 x2 x3 x4 x5 S = 10.8830 Coef 64.66 2.0257 0.5523 2.439 0.910 0.610 SE Coef 27.27 0.9097 0.1216 9.340 2.067 3.642 T 2.37 2.23 4.54 0.26 0.44 0.17 P 0.042 0.053 0.001 0.800 0.670 0.871

R-Sq = 95.5%

R-Sq(adj) = 93.0%

Analysis of Variance Source Regression Residual Error Total DF 5 9 14 SS 22561.4 1066.0 23627.3 MS 4512.3 118.4 F 38.10 P 0.000

2. Memilih prediktor yang dikeluarkan Predictor X5 mempunyai nilai T terkecil, yaitu 0,17 berarti F partial nya sebesar (0,17)2 juga terkecil. Apabila Pout ditentukan 0,1 maka F(1,v,out) = F(1,9,0,1) = 3,36. Karena nilai Fpartial = (0,17)2 = 0,0289, maka X5 kurang dari 3,36 berarti harus dikeluarkan dari model. 3. Meregresikan Y dengan empat predictor yang tersisa
The regression equation is y = 66.1 + 1.96 x1 + 0.554 x2 + 2.75 x3 + 1.04 x4 Predictor Constant x1 x2 x3 x4 S = 10.3407 Coef 66.11 1.9619 0.5539 2.745 1.037 SE Coef 24.57 0.7850 0.1151 8.703 1.828 T 2.69 2.50 4.81 0.32 0.57 P 0.023 0.031 0.001 0.759 0.583

R-Sq = 95.5%

R-Sq(adj) = 93.7%

Analysis of Variance Source Regression Residual Error Total DF 4 10 14 SS 22558.0 1069.3 23627.3 MS 5639.5 106.9 F 52.74 P 0.000

29

4.

Predictor X3 dengan Fpartial sebesar (0,32)2 = 0,1024. Nilai F(1,v,out) = F(1,10,0,1) = 3,29. Karena nilai Fpartial sebesar 0,1024 yang berarti kurang dari 3,29 maka X3 dikeluarkan dari model.

5.

Meregresikan Y dengan tiga predictor yang tersisa

Regression Analysis: Y versus X1; X2; X3

The regression equation is Y = 75,8 + 2,34 X1 + 0,535 X2 - 1,03 X3 Predictor Constant X1 X2 X3 S = 10,0170 Coef 75,77 2,3366 0,5345 -1,033 SE Coef 17,17 0,4115 0,1065 5,432 T 4,41 5,68 5,02 -0,19 P 0,001 0,000 0,000 0,853 VIF 2,213 2,296 1,058

R-Sq = 95,3%

R-Sq(adj) = 94,1%

Analysis of Variance Source Regression Residual Error Total DF 3 11 14 SS 22523,6 1103,7 23627,3 MS 7507,9 100,3 F 74,82 P 0,000

6.

Predictor X4 dengan Fpartial sebesar (0,53)2 = 0,2809. Nilai F(1,v,out) = F(1,11,0,1) = 3,23. Karena nilai Fpartial sebesar 0,2809 yang berarti kurang dari 3,23 maka X4 dikeluarkan dari model.

7.

Model selanjutnya adalah Y = f(X1,X2)

Regression Analysis: y versus x1, x2

The regression equation is y = 73.7 + 2.33 x1 + 0.539 x2 Predictor Constant x1 x2 S = 9.60631 Coef 73.69 2.3266 0.53911 SE Coef 12.70 0.3914 0.09946

T 5.80 5.94 5.42

P 0.000 0.000 0.000

R-Sq = 95.3%

R-Sq(adj) = 94.5%

Analysis of Variance Source Regression Residual Error Total DF 2 12 14 SS 22520 1107 23627 MS 11260 92 F 122.02 P 0.000

8.

Pada model ini menghasilkan Fpartial terkecil untuk (5,42)2 = 29,3764. Nilai F(1,v,out) = F(1,12,0,1) = 3,18. Karena nilai Fpartial > F(1,12,0,1) maka X2 tidak perlu dikeluarkan dari model. Dengan demikian model terbaik adalah : Y = 73,7 + 2,33 X1 + 0,539 X2

30

#CARA 2 Dengan menggunakan fasilitas yang disiapkan MINITAB yaitu : Klik Stat Regression Stepwise Isi kotak dialog response dengan variabel Y dan predictor dengan variabel X1, X2, X3, X4, dan X5. Klik Methods Backward Elimination Isi kotak dialog Alpha to remove dengan nilai yang telah ditentukan yaitu 0,10 (10%). Outputnya adalah sebagai berikut :
Stepwise Regression: y versus x1, x2, x3, x4, x5
Backward elimination. Alpha-to-Remove: 0.1 Response is y on 5 predictors, with N = 15 Step Constant x1 T-Value P-Value x2 T-Value P-Value x3 T-Value P-Value x4 T-Value P-Value x5 T-Value P-Value S R-Sq R-Sq(adj) Mallows Cp 1 64.66 2.03 2.23 0.053 0.552 4.54 0.001 2.4 0.26 0.800 0.9 0.44 0.670 0.6 0.17 0.871 10.9 95.49 92.98 6.0 10.3 95.47 93.66 4.0 9.91 95.43 94.18 2.1 9.61 95.31 94.53 0.3 2 66.11 1.96 2.50 0.031 0.554 4.81 0.001 2.7 0.32 0.759 1.0 0.57 0.583 0.6 0.53 0.608 3 72.51 2.13 3.90 0.002 0.541 5.27 0.000 4 73.69 2.33 5.94 0.000 0.539 5.42 0.000

Regresi stepwise dengan metode backward menggunakan Minitab menunjukkan beberapa step yaitu pada step pertama variabel yang digunakan adalah semua variabel X dengan melihat P-value yang yang lebih dari 0,1 dan terbesar yaitu X 5, maka pada step selanjutnya variabel X5 tidak diikutkan dalam model. Pada step kedua masih terdapat Pvalue yang > 0,1 yaitu X3 maka pada step selanjutnya variabel X3 dikeluarkan dari model. Pada step ketiga yang tersisa yaitu variabel X1 dan X2 yang memiliki P-value

31

kurang dari 0,1 sehingga proses berhenti dan variabel yang dipilih atau digunakan dalam model yaitu X1 dan X2. B. FORWARD SELECTION Cara yang digunakan pada forward selection ada beberapa cara, yaitu : #CARA I 1. Model regresi Y dengan setiap predictor

Regression Analysis: y versus x1

The regression equation is y = 126 + 3.89 x1 Predictor Constant x1 S = 17.1385 Coef 126.03 3.8866 SE Coef 14.72 0.4733 T 8.56 8.21 P 0.000 0.000

R-Sq = 83.8%

R-Sq(adj) = 82.6%

Analysis of Variance Source Regression Residual Error Total DF 1 13 14 SS 19809 3818 23627 MS 19809 294 F 67.44 P 0.000

Regression Analysis: Y versus X2

The regression equation is Y = 63,2 + 0,974 X2 Predictor Constant X2 S = 18,3296 Coef 63,19 0,9738 SE Coef 24,00 0,1286

T 2,63 7,57

P 0,021 0,000

VIF 1,000

R-Sq = 81,5%

R-Sq(adj) = 80,1%

Analysis of Variance Source Regression Residual Error Total DF 1 13 14 SS 19260 4368 23627 MS 19260 336 F 57,32 P 0,000

Regression Analysis: Y versus X3

The regression equation is Y = 259 - 11,8 X3 Predictor Constant X3 S = 42,1790 Coef 258,81 -11,78 SE Coef 34,73 22,23 T 7,45 -0,53 P 0,000 0,605 VIF 1,000

R-Sq = 2,1%

R-Sq(adj) = 0,0%

Analysis of Variance Source Regression Residual Error Total DF 1 13 14 SS 499 23128 23627 MS 499 1779 F 0,28 P 0,605

32

Regression Analysis: Y versus X4

The regression equation is Y = 153 + 7,88 X4 Predictor Constant X4 S = 28,5036 Coef 153,07 7,880 SE Coef 23,21 1,965 T 6,60 4,01 P 0,000 0,001 VIF 1,000

R-Sq = 55,3%

R-Sq(adj) = 51,9%

Analysis of Variance Source Regression Residual Error Total DF 1 13 14 SS 13065 10562 23627 MS 13065 812 F 16,08 P 0,001

Regression Analysis: Y versus X5

The regression equation is Y = 277 - 12,8 X5 Predictor Constant X5 S = 40,8441 Coef 277,44 -12,77 SE Coef 35,10 11,84

T 7,90 -1,08

P 0,000 0,300

VIF 1,000

R-Sq = 8,2%

R-Sq(adj) = 1,2%

Analysis of Variance Source Regression Residual Error Total DF 1 13 14 SS 1940 21687 23627 MS 1940 1668 F 1,16 P 0,300

Yang dipilih adalah model yang melibatkan X1 karena mempunyai R2 tertinggi yaitu 83,8%. Bentuk model yaitu Y = 126 + 3,89 X1 2. Penambahan setiap predictor selain X1 satu persatu pada model Y = 126 + 3,89 X1
Regression Analysis: Y versus X1; X2
The regression equation is Y = 73,7 + 2,33 X1 + 0,539 X2 Predictor Constant X1 X2 S = 9,60631 Coef 73,69 2,3266 0,53911 SE Coef 12,70 0,3914 0,09946

T 5,80 5,94 5,42

P 0,000 0,000 0,000

VIF 2,177 2,177

R-Sq = 95,3%

R-Sq(adj) = 94,5%

Analysis of Variance Source Regression Residual Error Total Source X1 X2 DF 1 1 DF 2 12 14 SS 22520 1107 23627 MS 11260 92 F 122,02 P 0,000

Seq SS 19809 2711

33

Regression Analysis: y versus x1, x3

The regression equation is y = 137 + 3.86 x1 - 7.23 x3 Predictor Constant x1 x3 S = 17.3956 Coef 137.44 3.8632 -7.226 SE Coef 20.83 0.4813 9.187 T 6.60 8.03 -0.79 P 0.000 0.000 0.447

R-Sq = 84.6%

R-Sq(adj) = 82.1%

Analysis of Variance Source Regression Residual Error Total Source x1 x3 DF 1 1 DF 2 12 14 SS 19996.0 3631.3 23627.3 MS 9998.0 302.6 F 33.04 P 0.000

Seq SS 19808.9 187.2

Regression Analysis: y versus x1, x4

The regression equation is y = 125 + 3.75 x1 + 0.43 x4 Predictor Constant x1 x4 S = 17.8046 Coef 125.28 3.7487 0.433 SE Coef 15.70 0.8119 2.027 T 7.98 4.62 0.21 P 0.000 0.001 0.835

R-Sq = 83.9%

R-Sq(adj) = 81.2%

Analysis of Variance Source Regression Residual Error Total Source x1 x4 DF 1 1 DF 2 12 14 SS 19823.3 3804.0 23627.3 MS 9911.7 317.0 F 31.27 P 0.000

Seq SS 19808.9 14.4

Regression Analysis: Y versus X1; X5

The regression equation is Y = 121 + 3,93 X1 + 1,20 X5 Predictor Constant X1 X5 S = 17,8030 Coef 121,50 3,9253 1,198 SE Coef 25,79 0,5226 5,484 T 4,71 7,51 0,22 P 0,001 0,000 0,831 VIF 1,130 1,130

R-Sq = 83,9%

R-Sq(adj) = 81,2%

Analysis of Variance Source Regression Residual Error Total Source X1 X5 DF 1 1 DF 2 12 14 SS 19824,0 3803,4 23627,3 MS 9912,0 316,9 F 31,27 P 0,000

Seq SS 19808,9 15,1

34

Yang dipilih untuk dimasukkan atau ditambahkan adalah prediktor X2, karena mempunyai tambahan Fsequensial ter-tinggi, yaitu sebesar 2711/92 = 29,467 atau didapatkan dari (5,42)2 = 29,4. Perbedaan terjadi karena pembulatan. Pilihan pada X 2 ini juga dapat dideteksi dari R2 model Y = 73.7 + 2.33 X1 + 0.539 X2 sebesar 95,3% merupakan nilai tertinggi diantara model dengan dua prediktor. 3. Pemodelan dengan menambahkan satu predictor selain X1 dan X2

Regression Analysis: y versus x1, x2, x3

The regression equation is y = 75.8 + 2.34 x1 + 0.535 x2 - 1.03 x3 Predictor Constant x1 x2 x3 S = 10.0170 Coef 75.77 2.3366 0.5345 -1.033 SE Coef 17.17 0.4115 0.1065 5.432 T 4.41 5.68 5.02 -0.19 P 0.001 0.000 0.000 0.853

R-Sq = 95.3%

R-Sq(adj) = 94.1%

Analysis of Variance Source Regression Residual Error Total Source x1 x2 x3 DF 1 1 1 DF 3 11 14 SS 22523.6 1103.7 23627.3 MS 7507.9 100.3 F 74.82 P 0.000

Seq SS 19808.9 2711.1 3.6

Regression Analysis: y versus x1, x2, x4

The regression equation is y = 72.5 + 2.13 x1 + 0.541 x2 + 0.60 x4 Predictor Constant x1 x2 x4 S = 9.90837 Coef 72.51 2.1321 0.5406 0.597 SE Coef 13.29 0.5462 0.1026 1.128 T 5.45 3.90 5.27 0.53 P 0.000 0.002 0.000 0.608

R-Sq = 95.4%

R-Sq(adj) = 94.2%

Analysis of Variance Source Regression Residual Error Total Source x1 x2 x4 DF 1 1 1 DF 3 11 14 SS 22547.4 1079.9 23627.3 MS 7515.8 98.2 F 76.55 P 0.000

Seq SS 19808.9 2711.1 27.4

35

Regression Analysis: y versus x1, x2, x5

The regression equation is y = 68.9 + 2.37 x1 + 0.539 x2 + 1.26 x5 Predictor Constant x1 x2 x5 S = 9.95762 Coef 68.91 2.3668 0.5393 1.258 SE Coef 17.58 0.4174 0.1031 3.068 T 3.92 5.67 5.23 0.41 P 0.002 0.000 0.000 0.690

R-Sq = 95.4%

R-Sq(adj) = 94.1%

Analysis of Variance Source Regression Residual Error Total Source x1 x2 x5 DF 1 1 1 DF 3 11 14 SS 22536.6 1090.7 23627.3 MS 7512.2 99.2 F 75.76 P 0.000

Seq SS 19808.9 2711.1 16.7

Prediktor X3, X4, X5 menghasilkan Seq SS masing-masing sebesar 235881 dan 367483. Adapun nilai Fsequenensial masing-masing adalah (-0,91)2, (0.53)2 dan (0,41)2. Bila nilai F(1,11,0.1) = 3,23, maka Fsequenensial prediktor X3, X4, X5 lebih kecil dari pada Fin, sehingga tidak perlu dimasukkan ke dalam model. Dengan demikian model terbaik adalah : Y = 73,7 + 2,33 X1 + 0,539 X2

36

#CARA 2 Dengan menggunakan fasilitas yang disiapkan MINITAB yaitu : Klik Stat Regression Stepwise Isi kotak dialog response dengan variabel Y dan prediktor dengan variabel X 1, X2, X3, X4, dan X5. Klik Methods Forward Selection Isi kotak dialog Alpha to enter dengan nilai yang telah ditentukan yaitu 0,10 (10%). Outputnya adalah sebagai berikut :
Stepwise Regression: y versus x1, x2, x3, x4, x5
Forward selection. Alpha-to-Enter: 0.1 Response is y on 5 predictors, with N = 15 Step Constant x1 T-Value P-Value x2 T-Value P-Value S R-Sq R-Sq(adj) Mallows Cp 17.1 83.84 82.60 21.2 1 126.03 3.89 8.21 0.000 2 73.69 2.33 5.94 0.000 0.539 5.42 0.000 9.61 95.31 94.53 0.3

Regresi stepwise dengan metode forward selection menggunakan Minitab menunjukkan ada dua step. Langkah pertama variable X1 terpilih untuk dimasukkan ke dalam model. Pada variable X1, besarnya T2 yaitu 35,2836> F(1,13,0.1) yaitu sebesar 3,14, maka diperlukan tahap kedua untuk memasukkan variable predictor lain ke model. Langkah kedua ditambahkan variabel X2 ke dalam model. Hasilnya menjadi : Y = 73,7 + 2,33 X1 + 0,539 X2

37

C. STEPWISE REGRESSION Cara yang digunakan pada stepwise regression ada beberapa cara, yaitu : #CARA I 1. Model regresi Y dengan setiap predictor

Correlations: y, x1, x2, x3, x4, x5

x1 x2 x3 x4 x5 y 0.916 0.000 0.903 0.000 -0.145 0.605 0.744 0.001 -0.287 0.300 x1 x2 x3 x4

0.735 0.002 -0.062 0.827 0.796 0.000 -0.339 0.217 -0.199 0.477 0.574 0.025 -0.252 0.366 -0.495 0.060 -0.111 0.694 -0.073 0.795

Korelasi yang paling besar terdapat pada predictor X 1 yaitu sebesar 0,916 sehingga variabel X1 dipertahankan dalam model. Modelnya yaitu Y = 126 + 3,89 X1 2. Menghitung korelasi parsial

Correlations: y*, x2*, x3*, x4*, x5*

x2* x3* x4* x5* y* -0.620 0.014 -0.014 0.961 -0.049 0.862 0.021 0.940 x2* x3* x4*

0.687 0.005 0.394 0.146 0.639 0.010 0.641 0.010 0.936 0.000 0.477 0.072

Korelasi antara X2* dengan Y* atau korelasi parsial antara X2 dengan Y yang terkoreksi oleh X1 dinotasikan r2Y,1 adalah sebesar -0,620. Ini merupakan nilai korelasi parsial terbesar, maka X2 dimasukkan ke dalam model.

38

3.

Meregresikan Y terhadap X1 dan X2

Regression Analysis: y versus x1, x2

The regression equation is y = 73.7 + 2.33 x1 + 0.539 x2 Predictor Constant x1 x2 S = 9.60631 Coef 73.69 2.3266 0.53911 SE Coef 12.70 0.3914 0.09946 T 5.80 5.94 5.42 P 0.000 0.000 0.000

R-Sq = 95.3%

R-Sq(adj) = 94.5%

Analysis of Variance Source Regression Residual Error Total DF 2 12 14 SS 22520 1107 23627 MS 11260 92 F 122.02 P 0.000

Predictor X1 dan X2 keduanya berpengaruh secara bermakna, maka keduanya dipertahankan berada didalam model. 4. Menghitung korelasi parsial lanjutan Selanjutnya dihitung korelasi parsial dengan dua variabel pengoreksi, yaitu X 1 dan X2. Hasilnya ditampilkan sebagai berikut:
Correlations: y**, x3**, x4**, x5**
x3** x4** x5** y** -0.057 0.839 0.157 0.575 0.123 0.663 x3** x4**

-0.765 0.001 -0.145 0.606 0.345 0.208

Tampak bahwa r3Y,12 = -0,057, r4Y,12 = 0,157 dan r5Y,12 = 0,123. Nilai yang kecil dan tidak bermakna, ditandai oleh nilai P masing-masing 0,839, 0,575 dan 0,663 yang nilainya lebih besar dari = 0,10 maka tidak perlu dimasukkan ke dalam model. Sehingga model yang dipilih dengan menggunakan X1 dan X2 yaitu Y = 73,7 + 2,33 X1 + 0,539 X2

39

#CARA 2 Dengan menggunakan fasilitas yang disiapkan MINITAB yaitu : Klik Stat Regression Stepwise Isi kotak dialog response dengan variabel Y dan prediktor dengan variabel X 1, X2, X3, X4, dan X5. Klik Methods Stepwise Lalu pilih use alpha value isi kotak dialog Predictor in initial model dengan variabel X 1, X2, X3, X4, dan X5. Isi jug kotak dialog Alpha to enter dan Alpha to remove dengan 0,10 (10%). Outputnya adalah sebagai berikut:
Stepwise Regression: y versus x1, x2, x3, x4, x5
Alpha-to-Enter: 0.1 Alpha-to-Remove: 0.1 Response is y on 5 predictors, with N = 15 Step Constant x1 T-Value P-Value x2 T-Value P-Value S R-Sq R-Sq(adj) Mallows Cp 17.1 83.84 82.60 21.2 1 126.03 3.89 8.21 0.000 2 73.69 2.33 5.94 0.000 0.539 5.42 0.000 9.61 95.31 94.53 0.3

Pada step pertama regresi stepwise menggunakan Minitab, variabel yang digunakan adalah variabel X1 kemudian pada step kedua menambahkan variabel X 2 sebagai prediktor, dengan melihat P-value yang signifikan sehingga proses berhenti model X1 dan X2 yaitu Y = 73,7 + 2,33 X1 + 0,539 X2

40

DAFTAR PUSTAKA Draper, N dan Smith, H. (1992). Analisis Regresi Terapan Edisi Kedua.Jakarta: PT. Gramedia Pustaka Utama.

41