Cara membentuk model dengan stepwise dengan menggunakan MINITAB

Stat > Regression > Stepwise > Methods

1
Dwinasanti Nur Rachmawati
Sekolah Tinggi Ilmu Statistik (Jakarta)
BPS (Badan Pusat Statistik)
Dialog box items
 Stepwise (forward and backward), untuk memilih metode standard stepwise
regression
 Predictor in initial model: masukkan variable prediktor. Variabel ini akan
dikeluarkan jika p-value lebih besar dari alpha to enter value
 Jika ingin mempertahankan variabel tertentu dalam model abaikan nilai p-value
dan enter variabel tersebut dalam Predictor to include in every model dalam box
utama
 Alpha to enter, nilai α yang digunakan sebagai batas untuk memasukkan variable
ke dalam model
 Alpha to remove, nilai α yang digunakan sebagai batas untuk mengeluarkan
variable dari dalam model
 Forward selection, untuk memilih metode Forward selection
 Alpha to enter : nilai α yang digunakan sebagai batas untuk memasukkan
variable ke dalam model
 Backward elimination: untuk memilih metode backward elimination
 Alpha to remove: nilai α yang digunakan sebagai batas untuk mengeluarkan
variable dari dalam model

2
Dwinasanti Nur Rachmawati
Sekolah Tinggi Ilmu Statistik (Jakarta)
BPS (Badan Pusat Statistik)
Contoh:
Seorang sosiolog sedang meneliti perubahan meningkatnya tren pembunuhan
baru-baru ini yang terjadi di united states, studi ini meneliti tingkat pembunuhan tiap
100.000 populasi (Y) berhubungan dengan populasi (X1), persentase keluarga dengan
pendapatan pertahun kurang dari $ 5,000 (X2), dan tingkat pengangguran (X3).
Penelitian dilakukan dilihat dari sampel 20 kota yang erada di united states.

City X1 X2 X3 Y
1 587 16.5 6.2 11.2
2 643 20.5 6.4 13.4
3 635 26.3 9.3 40.7
4 692 16.5 5.3 5.3
5 1248 19.2 7.3 24.8
6 643 16.5 5.9 12.7
7 1964 20.2 6.4 20.9
8 1531 21.3 7.6 35.7
9 713 17.2 4.9 8.7
10 749 14.3 6.4 9.6
11 7895 18.1 6 14.5
12 762 23.1 7.4 26.9
13 2793 19.1 5.8 15.7
14 741 24.7 8.6 36.2
15 625 18.6 6.5 18.1
16 854 24.9 8.3 28.9
17 716 17.9 6.7 14.9
18 921 22.4 8.6 25.8
19 595 20.2 8.4 21.7
20 3353 16.9 6.7 25.7

Temukan model regresi yang terbaik antara Y, X1, X2, dan X3 dengan tiga metode
pembentukan model regresi dengan menggunakan MINITAB
a. Stepwise regression
b. Forward selection
c. Backward elimination
Dengan α = 5%
3
Dwinasanti Nur Rachmawati
Sekolah Tinggi Ilmu Statistik (Jakarta)
BPS (Badan Pusat Statistik)
Pembahasan:
Tujuan : mengetahui hubungan antara tingkat pembunuhan dengan faktor-
faktor yang mempengaruhinya
Variable yang diteliti :
Y = tingkat pembunuhan tiap 100.000 populasi
X1 = populasi
X2 = persentase keluarga dengan pendapatan pertahun kurang dari $ 5,000
X3 = tingkat pengangguran
N = 20
Pembahasan akan dimulai dari metode dengan cara-cara khusus yaitu forward
selection lalu berlanjut ke backward elimination lalu terakhir stepwise
regression agar diketahui perbedaan langkah pembentukan model terbaik dari
masing-masing metode itu
a. Forward selection
Stat > Regression > Stepwise
Isi kotak dialog response dengan variable Y dan predictor dengan variable X1, X2,
dan X3.
> Methods > Forward selection
Isi kotak dialog Alpha to enter dengan nilai α yang telah ditentukan yaitu 0,05
(5%)

Outputnya adalah sebagai berikut:

Stepwise Regression: y versus x1, x2, x3
Forward selection. Alpha-to-Enter: 0.05
Response is y on 3 predictors, with N = 20

Step 1 2
Constant -28.53 -34.07

x3 7.08 4.40
T-Value 7.31 2.88
P-Value 0.000 0.010

x2 1.22

4
Dwinasanti Nur Rachmawati
Sekolah Tinggi Ilmu Statistik (Jakarta)
BPS (Badan Pusat Statistik)
 T-Value 2.15
P-Value 0.046

S 5.10 4.65
R-Sq 74.80 80.20
R-Sq(adj) 73.39 77.87

Penjelasan:
Seperti pada langkah-langkah yang telah dijelaskan pada materi forward yaitu
pertama-tama mencari variabel bebas yang berhubungan erat dengan variabel
tak bebasnya dengan melihat korelasi dari masing-masing variabel bebas
dengan variabel tak bebasnya,
 Pada step 1 dimulai dengan hanya memasukkan variabel X3 yaitu tingkat
pengangguran yang merupakan variabel bebas yang korelasi terhadap
variabel tak bebasnya paling tinggi.
 Regresikan Y dengan X3 lalu didapat model regresinya yaitu

R2 = 74,80% dan R2(adj) = 73,39%

 Pada step 2 dimasukkan lagi variabel X2 yaitu persentase keluarga dengan
pendapatan pertahun kurang dari $ 5,000 yang mempunyai korelasi
terbesar kedua.
 Regresikan Y dengan X3 dan X2 lalu didapat model regresinya yaitu

R2 = 80,20% dan R2(adj) = 77,87%

Analisis:
2
Untuk jumlah variabel bebas diatas dua maka digunakan Adjusted R sebagai
koefisien determinasi (ada tiga variabel bebas). Terlihat pada model 1, hasil
2
Adjusted R adalah 73,39%.
2
Kemudian pada model 2, dengan penambahan variabel Outlet, R yang
2
disesuaikan meningkat menjadi 77,87%. Semakin tinggi R yang disesuaikan
akan semakin baik bagi model regresi, karena variabel bebas bisa menjelaskan
variabel tak bebas lebih besar. Disini berarti 77,87% tingkat pembunuhan bisa
dijelaskan oleh variabel persentase keluarga dengan pendapatan pertahun

5
Dwinasanti Nur Rachmawati
Sekolah Tinggi Ilmu Statistik (Jakarta)
BPS (Badan Pusat Statistik)
 kurang dari $ 5,000 dan tingkat pengangguran. Sedangkan sisanya (100 % -
77,87% = 22,13 %) dijelaskan oleh sebab-sebab yang lain.

b. Backward elimination
Stat > Regression > Stepwise
Isi kotak dialog response dengan variable Y dan predictor dengan variable X1, X2,
dan X3.
> Methods > Backward Elimination
Isi kotak dialog Alpha to remove dengan nilai α yang telah ditentukan yaitu 0,05
(5%)

Outputnya adalah sebagai berikut:

Stepwise Regression: y versus x1, x2, x3
Backward elimination. Alpha-to-Remove: 0.05
Response is y on 3 predictors, with N = 20

Step 1 2
Constant -36.76 -34.07

x1 0.00076
T-Value 1.20
P-Value 0.248

x2 1.19 1.22
T-Value 2.12 2.15
P-Value 0.050 0.046

x3 4.7 4.4
T-Value 3.08 2.88
P-Value 0.007 0.010

S 4.59 4.65
R-Sq 81.83 80.20
R-Sq(adj) 78.43 77.87

Penjelasan:
Seperti pada langkah-langkah yang telah dijelaskan pada materi backward
elimination metode backward merupakan cara pembuatan model dengan
memasukkan semua variabel kemudian dikeluarkan satu persatu dengan
melakukan pengujian terhadap parameter-parameternya dengan menggunakan
partial F test.
6
Dwinasanti Nur Rachmawati
Sekolah Tinggi Ilmu Statistik (Jakarta)
BPS (Badan Pusat Statistik)
  Pada step 1 semua variabel bebas X1, X2, dan X3 di masukkan kedalam
model, hasil regresi Y dengan X1, X2, dan X3 adalah

R2 = 81,83% dan R2(adj) = 78,43%

 Lalu masing-masing variabel bebas X1, X2, dan X3 diuji apakah masing-
masing variabel secara signifikan berkontribusi terhadap perubahan
variabel tak bebas Y dengan menggunakan partial F test, lalu ditemukan
bahwa p-value X1 > 0,05 (5%) maka variabel X1 tidak secara signifikan
berkontribusi terhadap perubahan variabel tak bebas Y, sehingga variabel
X1 dikeluarkan dari model
 Pada step 2 variabel bebas yang tersedia adalah X1 dan X2, lalu regresikan
variabel bebas itu dengan variabel Y sehingga model regresinya menjadi

R2 = 80,20% dan R2(adj) = 77,87%

Analisis:
2
Untuk jumlah variabel bebas diatas dua maka digunakan Adjusted R sebagai
koefisien determinasi (ada tiga variabel bebas). Terlihat pada model 1, hasil
2
Adjusted R adalah 78,43%. Kemudian pada model 2 yang telah terjadi
2
pengeluaran variabel X1 didapatkan terjadi penurunan Adjusted R menjadi
77,87%, penurunan yang terjadi tidak begitu jauh yang berarti bahwa model yang
dikeluarkan (X1) tidak signifikan berkontribusi terhadap perubahan variabel tak
bebas Y, dari pada mempertahankan variabel yang kurang berguna itu malah
akan menambah biaya operasional dalam penelitian sebaiknya memang variabel
itu dikeluarkan sehingga model yang dihasilakan lebih efisien.
Disini berarti 77,87% tingkat pembunuhan bisa dijelaskan oleh variabel
persentase keluarga dengan pendapatan pertahun kurang dari $ 5,000 dan
tingkat pengangguran. Sedangkan sisanya (100 % - 77,87% = 22,13 %)
dijelaskan oleh sebab-sebab yang lain.

c. Stepwise regression
Stat > Regression > Stepwise

7
Dwinasanti Nur Rachmawati
Sekolah Tinggi Ilmu Statistik (Jakarta)
BPS (Badan Pusat Statistik)
 Isi kotak dialog response dengan variable Y dan predictor dengan variable X1, X2,
dan X3.
> Methods > Stepwise (forward and backward)
Lalu pilih use alpha value isi kotak dialog Predictor in initial model dengan variable
X1, X2, dan X3, isi juga kotak dialog Alpha to enter dan Alpha to remove dengan
0.05 (5%) lalu klik ok.

Outputnya adalah sebagai berikut:

Stepwise Regression: y versus x1, x2, x3
Alpha-to-Enter: 0.05 Alpha-to-Remove: 0.05
Response is y on 3 predictors, with N = 20

Step 1 2
Constant -36.76 -34.07

x1 0.00076
T-Value 1.20
P-Value 0.248

x2 1.19 1.22
T-Value 2.12 2.15
P-Value 0.050 0.046

x3 4.7 4.4
T-Value 3.08 2.88
P-Value 0.007 0.010

S 4.59 4.65
R-Sq 81.83 80.20
R-Sq(adj) 78.43 77.87

Penjelasan:
Stepwise regression merupakan merode yang menggabungkan antara metode
forward selection dan backward elimination. Karena program pengolahan yang
dipakai adalah minitab maka pada outputnya tidak terlalu terlihat proses tahapan
demi tahapan dari stepwise, bila dilihat sepintas mirip dengan output pada
backward elimination, sehingga penjelasannyapun sama seperti pada output
backward elimination

Kesimpulan:
8
Dwinasanti Nur Rachmawati
Sekolah Tinggi Ilmu Statistik (Jakarta)
BPS (Badan Pusat Statistik)
  Jumlah variable yang signifikan dalam model regresi ini hanya X2 dan X3
sehingga dapat dikatakan bahwa dengan tingkat kepercayaan sebesar 5%
variable yang berpengaruh terhadap tingkat pembunuhan adalah
persentase keluarga dengan pendapatan pertahun kurang dari $ 5,000 dan
tingkat pengangguran
 model yang terbentuk adalah
yang berarti bahwa dengan penambahan variable persentase keluarga
dengan pendapatan pertahun kurang dari $ 5,000 dan tingkat pengangguran
maka akan membuat tingkat pembunuhan meningkat.
 R2=80,20%
Yang berarti besarnya variable tingkat pembunuhan 80,20% dipengaruhi
oleh variable persentase keluarga dengan pendapatan pertahun kurang dari
$ 5,000 dan tingkat pengangguran sisanya 19,80% dipengaruhi oleh
variabel lain diluar model ataupun dari error.

9
Dwinasanti Nur Rachmawati
Sekolah Tinggi Ilmu Statistik (Jakarta)
BPS (Badan Pusat Statistik)