ANALISIS REGRESI

Materi

1. Pendahuluan :Pengertian regresi:

1.1. Pengertian regresi, regresi linier sederhana dan regresi liner berganda
serta bentuk-bentuk yang lain
1.2.Taksiran parameter regresi (Metode Least Square), pengujian parameter
1.3. Koefisien determinasi
1.4.Asumsi model
1.5. Langkah-langkah dalam pemodelan
1.6. Persoalan yang sering dihadapi dalam pemodelan regresi
2. Pengujian asumsi
3. Regresi Linier Sederhana
3.1. Cara pembuatan model regresi linier sederhana
3.2. Pengujian parameter regresi
3.3. Pengujian asumsi
4. Regresi Linier Berganda
4.1. Cara pembuatan model regresi linier sederhana
4.2. Pengujian parameter regresi
4.3. Pengujian asumsi
5. Pemilihan model terbaik
5.1. Best subset regression
5.2. Metode stepwise dan Backward
 I. PENDAHULUAN
PENGERTIAN REGRESI

1.1.Pengertian regresi, regresi linier sederhana dan regresi liner berganda

serta bentuk-bentuk yang lain

Digunakan untuk memodelkan hubungan antara variable respons (yang dipengaruhi)

dan variable predictor (yang mempengaruhi)

1. REGRESI LINIER SEDERHANA

Y = β 0 + β1 X + ε
2. REGRESI LINIER BERGANDA LINIER DALAM
Y = β 0 + β1 X 1 β1 + β 2 X 2 + β 3 X 3 + .........β k X k + ε PARAMETER

KETERANGAN:
βi : parameter regresi
ε : error
Y : variabel respons
X: variabel predictor

3. CONTOH REGRESI LINIER YANG LAIN:

Y = β 0 + β1 X 21 β1 + β 2 X 2 2 + β 3 X 2 3 + .........β k X 2 k + ε
Y = e β 0 + β1 X +ε
(Dikatagorikan sebagai model regresi linier karena dapat dilinierkan melalui
transformasi), Misalnya:
Zi = Xi2 Y = β 0 + β1Z1β1 + β 2 Z 2 + β 3 Z 3 + .........β k Z k + ε
Y’ = ln Y ln Y = β 0 + β1 X + ε
Y ' = β 0 + β1 X + ε

Tujuan utama: menemukan model yang paling sesuai βi???????

1.2.Taksiran parameter regresi (Metode Least Square), pengujian parameter

Contoh data 1:
Diduga ada hubungan linier antara variabel X dan variabel Y, dimana Y dapat
dinyatakan sebagai fungsi dari X:
Y = f(x) = β0 + β1 x + ε

obs 1 2 3 4 5 6 7 8 9 10 11 12 13 14
X 1.5 1.7 2 2.2 2.5 2.5 2.7 2.9 3 3.5 3.8 4.2 4.3 4.6
Y 3 2.5 3.5 3 3.1 3.6 3.2 3.9 4 4 4.2 4.1 4.8 4.2
 Y = f(x) = β0 + β1 x + ε
Y

9 Berapa taksiran β0 dan β1

8
7
6
5
4
Y
b0 dan b1
3
2
1
0 CONTOH DATA
0 2 4 6 8 10

Untuk mendapatkan taksiran dari β0 dan β1, digunakan Metode maximum Likelihood
Estimator (MLE) dimana metode ini secara prinsip adalah meminimumkan jumlah
kuadrat kesalahan Σεi2 (εi= Y- (β0 + β1 xi).
Pengujian parameter dilakukan untuk mengetahui apakah parameter tersebut
secara significant berbeda dengan nol atau tidak , artinya apakah memang variabel
prediktor X berpengaruh terhadap variabel respon Y dengan besaran β1. Hipotesis
dalam pengujian ini adalah :
H0: β1 = 0
H1: β1 ≠ 0
Jika H0 diterima artinya memang X tidak berpengaruh terhadap variabel respon Y secara
linier.

1.3. Koefisien determinasi dan Asumsi Model Regresi

Koefisien Determinasi

Koefisien determinasi, disiimbolkan dengan R2 adalah sebuah besaran yang

mengukur ketepatan garis regresi. Nilai R2 ini menunjukkan prosentase besarnya
variabilitas dalam data yang dijelaskan oleh model regresi. Maksimum nilai R 2 adalah
100% dan mnimal 0. Jika nilai R2=100%, misalnya untuk regresi linier sederhana semua
titik data akan menempel ke garis regresi, semakin kecil R2 maka data makin menyebar
jauh dari garis. Oleh karena itu jika R2 kecil maka keeratan hubungan antara X dan Y
lemah dan jika R2=0 menunjukkan bahwa X tidak memiliki hubungan dengan Y.

∑ (Y i
2
(
− Y ) = ∑ Yˆi − Y ) + ∑ (Y − Yˆ )
2
i i
2

JUMLAH KUADRAT JUMLAH KUADRAT

SEKITAR MEAN SEKITAR REGRESI

JUMLAH KUADRAT
KRN REGRESI

JUMLAH KUADRAT TOTAL

Y TERKOREKSI
Artinya diantara keragaman y disekitar nilai tengah (mean), sebagian keragaman itu
berasal dari garis regresi dan sebagian lainnya, ∑ Yi − Yˆi ( )2
menunjukkan bahwa
amatan – amatan itu tidak seluruhnya terletak pada garis regresi.

Untuk mengevaluasi baik tidaknya garis regresi sebagai peramal dapat dilihat dari
berapa banyak variasi disekitar nilai mean terurai (dijelaskan) oleh variasi karena regresi
dan variasi di sekitar regresi. Atau:
VARIASI KARENA REGRESI
R2 =
VARIASI DI SEKITAR MEAN(TOTAL)

Asumsi Model Regresi

Asumsi model regresi dikaitkan dengan pengujian parameter model dimana

pengujian dikatakan sahih jika asumsi model regresi dipenuhi. Asumsi tersebut
menyangkut sifat dari distribusi residual (εi), yaitu:
εi ~ IIDN (0, σ2)
Artinya residual harus menyebar disekitar 0, memiliki varians konstan (identik) dan
independen (tidak berkorelasi satu sama lain). Salah satu syarat untuk mencapai ini
adalah pengamatan antar Yi tidak berkorelasi, misalnya tidak bersifat time series.
Berkaitan dengan metode penaksiran (MLE), maka untuk regresi linier berganda
dibutuhkan kondisi bahwa antar variabel X tidak saling berkorelasi (independent).

1.4. Langkah-langkah dalam pemodelan

Definisikan Apakah parameter

Kumpulkan data.
masalahnya pilih stabil dalam ruang
Periksa mutu data
responnya sampelnya
tebaran. Coba
Tentukan variabel- Apakah model
modelnya
varibelnya sudah divalidasi ?
Ti dak Ya

Apakah variabel- Konsultasikan

Apakah ada
variabel itu pada pakar untuk
ketidakpastian
penting dan mendapatkan
model ?
tersedia kritik & komentar
S top Ti dak Ya
Tidak
Ya
Matriks korelasi Buat distribusi
regresi pertama variabel-variabel. Apakah koefisien-
Tentukan variabel- koefisiennya wajar ?
variabel baru yang
dapat menjelaskan Apakah
Tentukan tujuan sisaan persamaannya
galat baku, R2 masuk akal ?
Taksir biayanya Apakah persamaan
Peubah dapat digunakan ?
ditransformasi, bila
perlu, dan tentukan Tidak Ya
Apakah tujuan Ya persamaan
dan biaya dapat regresinya Pemeliharaan
diterima ? model

Ti dak Apakah sasaran

tercapai ?
S top
Tidak
 II. PENGUJIAN ASUMSI

Asumsi residual:

 E(ε i ) = 0 , i= 1,2,3,…..n.

 Varians ( ε i ) = σ  homoskedastisitas ( identik ).

2

 Tidak ada autokorelasi antar error; εi dan εj tidak berkorelasi, i ≠ j sehingga cov
(εi, εj) = 0

 Tidak ada kolinieritas ganda (multikolinieritas) antar variabel independen.

 ε i ≈ N ( 0, σ 2 )
, artinya kesalahan error mengikuti distribusi normal
dengan rata-rata nol dan varians σ2.

Dalam bentuk gambar diilustrasikan sbb :

(
N β0 + β1 X , σ 2 )
Y1

Y1

GRS YG SEBENARNYA
β0 ÷ β1 X

X1 X2 . .......... Xn X

2.1. Pengujian Asumsi Residual SECARA GRAFIK

1. Over All Plot

-5 0 5 10
Jika model benar  residual akan beristribusi normal dengan mean nol

2. Menyusun normal plot / half normal plot.

 • Jika jumlah data residual sangat banyak  over all plot dapat dibuat
dengan cara membuat histogram

0 0

3. Plot εi melawan ŶI atau Xi

Bentuk-bentuk yang mengkin terjadi:

i • VARIASI TIDAK KONSTAN

SEIRING DENGAN MEMBESAR-
NYA Yi  WEIGHTED LEAST
SQUARE.

Yˆi

• ADA SUATU POLA TERTENTU,

MIS : εi UNTUK Ŷi TERTENTU
NEG, DIATAS NILAI Ŷi TSB
CENDERUNG POS
Yˆi  MUNGKIN TERJADI KRN
β0 DIHILANGKAN.

i i

X 1i X 2i
MODEL TIDAK SESUAI  BUTUH PENYESUAIAN DENGAN
MELAKUKAN TRANSFORMASI
 5. The Time Sequence Plot

10
×
5 ×
×
0
× ×
5
× 10 × 15 20
× TIME ORDER
-5
× Ŷi
× X j

Bentuk yang diinginkan

i

RANDOM,
MEMBENTUK CONFIDENCE BAND
.

Ŷi

2.2. Melalui Pengujian

1. UJI KENORMALAN

e=
∑e i
=0
n
ei
= the unit normal deviate from of the residual i
S
ei ε
= dapat digunakan untuk melihat apakah asumsi i ~ N (0 , 1) dipenuhi
S σ
95 % dari distribusi N (0,1) berada pada limit (-1,96 , 1.96) ~ (-2,2)
Jika (n–p) terlalu kecil, maka dapat digunakan pendekatan distribusi t n-p.
 III. REGRESI LINIER SEDERHANA
3.1. Cara pembuatan model regresi linier sederhana

Postulate Model

Y = f(x) = β0 + β1 x + ε

Bermacam-macam bentuk model regresi linier

β0=0
β0

β1=0

β0

1. Taksiran β 0 , β 1  METODE LEAST SQUARE (meminimkan jumlah kuadrat

error)

 Model Taksiran : ˆ =b +b X
Y o 1
bo dan b1 adalah taksiran dari β 0 , β 1

b0 = Y − b1 X
9
8
7
n

∑X Y
6
5 i i − nXY
Y
4
b1 = i =1
n

∑X
3
2
2
i − nX 2
1 i =1
0
0 2 4 6 8 10

3.2. Pengujian parameter

Tujuan :
Menguji pengaruh X terhadap Y  Gunakan Tabel Anova

Langkah-langkah menggunakan minitab :

Contoh :
Lihat data produksi (Lampiran 2)
Stat>Regressión>Regresión
 Dialog Box items:
Response: memilih kolom yang berisi variabel Y (respon)
Predictors:memilih kolom yangberisi variabel X (prediktor)

Model Regresi yang terbentuk :

The regression equation is
PRODUKSI = ­ 7863 + 0.273 BAHAN BAKU

Predictor       Coef       StDev          T        P
Constant       ­7863        5828      ­1.35    0.192
BAHAN BA     0.27307     0.01376      19.84    0.000

S = 6143        R­Sq = 95.2%     R­Sq(adj) = 94.9%

Analysis of Variance

Source       DF          SS          MS         F        P
Regression    1 14851467624 14851467624    393.55    0.000
Error        20   754744349    37737217
Total        21 15606211973

Unusual Observations
Obs  BAHAN BA   PRODUKSI    Fit  StDev Fit   Residual    St Resid
17    513469   146650   132348       1909      14302       2.45R 

R denotes an observation with a large standardized residual

3.3. Pengujian Residual

Sebelum dilakukan pengujian residual terlebih dahulu menyimpan residual dan nilai
dugaan dalam kolom baru.
Stat>Regression>Regression>Storage
Dialog Box Items:
Diagnostics Measures
Residual : Pilih untuk menyimpan residual
 Standard residual : Pilih untuk menyimpan residual yang sudah
distandarisasi
Deleted t residual: Pilih untuk menyimpan Residual Studendized
Hi (leverages): Pilih untuk menyimpan leverages
Cook’sdistances: Pilih untuk menyimpan cook’s distances
DFITS : Pilih untuk menyimpan DFITS
Karakteristik estimasi persamaan:
Coeffficients : Pilih untuk menyimpan koefisien dari persamaan regresi
Fits : Pilih untuk menyimpan nilai dugaan
MSE : Pilih untuk menyimpan mean square error (Hal ini juga digambarkan
dalam tabel analisis varians, dibawah MS) catatan bahwa akar kuadrat MSE sama
dengan s yang juga diikutkan dalam output.
X’X inverse: Pilih untuk menyimpan inverse dari X’X. Matrik ini bila dikalikan
dengan MSE adalah matrik varians covarians dari koefisien. Jika anda melakukan
weigthted regression (lihat options) kemudian pilihan ini disimpan dalam invers
matriks X’WX. (lihat juga Stored Regressions Matrices)
R matrix: Pilih untuk menyimpan matrik R dari QR atau Cholesky decomposition,
lihat Stored Regressions Matrices

Stat>Regression>Regression>Residual Plot
menampilkan plot residual untuk mengecek kesesuaian model.
Dialog Box Items:
Residual for Plots: anda dapat menentukan tipe residual plot yang mau ditampilkan.
Regular :Pilih plot biasa atau residual baris
Standardized : Pilih plot untuk residual yang sudah distandarisasi
Deleted : Pilih plot untuk rediual studendized yang dihapus
Residual Plots
Histogram of Residual: pilih untuk menampilkan residual dalam bentuk
histogram
Normal plot of residuals : pilih untuk menampilkan plot probabilitas normal untuk
residual
Residual versus fits: Pilih plot residual versus nilai dugaan (Y^)
Residual versus order: Pilih plot residual versus urutqan data. Jumlah baris untuk
setiap titik data ditunjukkan dengan sumbu X contohnya: 1, 2, 3,…,n
Residual versus variabel: Pilih untuk plot residual versus variable yang dipilih,
kemudian pilih kolom yang berisi variable ini. Minitab menmpilkan paragraph
yang terpisah untuk setiap kolom yang anda enter didalam kotak dialog

Residual Model Diagnostics

Normal Plot of Residuals I Chart of Residuals
1
3.0SL=13103
10000 10000
Residual

Residual

0 0 X=0.000

-10000
-10000 -3.0SL=-13103

-2 -1 0 1 2 0 10 20
Normal Score Observation Number

Histogram of Residuals Residuals vs. Fits

8
7 10000
Frequency

6
Residual

5
4
0
3
2
1
-10000
0
-12000
-8000-4000 0 4000800012000
16000 60000 80000 100000 120000 140000
Residual Fit
 IV. REGRESI LINIER BERGANDA

4.1. Struktur Data

Contoh:
Data tentang hasil produksi, bahan baku, tenaga kerja dan jenis mesin

No Y X1 X2 X3
Produksi Bahan baku Tenaga kerja Mesin
1 74970 308956 29 11
2 106430 416141 35 12
3 83285 325644 32 12
4 86810 339427 29 11
. . . . .
. . . . .
. . . . .
20 131767 515209 39 12
21 110120 472347 35 12
22 88333 378199 29 11

Akan dibuat model regresi yang menghubungkan hasil produksi dengan bahan baku,
tenaga kerja dan mesin.

Y : Hasil produksi
X1: Bahan baku
X2: Tenaga kerja
X3: Mesin

4.2. Cara Penaksiran Parameter Regresi dan Pengujian Model

 Postulate Model :
 Dalam bentuk Matriks Y = X β + ε

Dimana:

Y1  β 0  ε 0 
Y  1 x11 ... xk 1  β  ε 
 2    1  1
.  . . . 
.  . 
Y=   X= . . .  β=   ε = 
.    .  . 
.  . . .  .  . 
  1 x ... x     
 1n kn 
Yn   β k  ε k 

Taksiran parameter menggunakan metode Metode Least Square, diperoleh:

Estimasi Parameter : b = ( X’ X) -1 X’Y
Model estimasinya:
ˆ = Xb
Y
Sebagai contoh model yang memuat 2 variabel prediktor dapat digambarkan sebagai
berikut:

Model regresi yang menjelaskan hubungan antara kualitas dengan

variable temperature dan tekanan.
2 2
yˆ = −5.127,9 + 31,10 x1 + 39,75 x 2 − −0,146 x1 x 2 − 0,133x1 − 1,14 x 2

Pengujian Model:

Uji Serentak (Overall)

 Hipotesa:
Ho : β1 = β2 = … = βk = 0
H1 : minimal ada satu βi ≠ 0, dimana i = 1, 2, 3, …, k
 Statistik Uji:
MS regr SS regr / k SS regr (b1 , b2 ,...bk | b0 )
= =
MS res SS res / n − (k + 1) s2
 Fhitung =

 Daerah Kritis:
tolak Ho, jika Fhitung ≥ F k;n-(k+1);α

Tabel Anova

Sumber Derajat Jumlah Rata – rata

F hitung
variasi bebas kuadrat jumlah kuadrat

(b1 X1 Y − nY 2 ) MSregr /
Regresi k b1 X1 Y − nY 2 = MSregr
k MSres
Residual ( Y1 Y − b 1 X1 Y )
n-(k+1) Y1Y-b1X1Y = MSres
( n − k − 1)

Total
n-1 Y 1Y − n Y 2
terkoreksi

Uji Indvidu

Untuk menguji signifikansi dari pengaruh masing-masing variabel terhadap variabel y

(respons)

 Hipotesa :
Ho : βi = 0 , i = 1, 2, …, k
H1 : βi ≠ 0 , i = 1, 2, …, k

 Statistik Uji : bi
thitung = sd (b )
i
 Daerah Kritis :
Tolak Ho, jika | thitung | > t 1-α/2,n-(k+1)

4.3. Pembuatan Model dengan Menggunakan Minitab

Gunakan data produksi diatas

1. Klik Stat > Regression > Regression
2. Masukkan variabel Produksi (Y) ke kotak Response dan variabel Bahan Baku dan
Tenaga Kerja (X1 dan X2) ke kotak Prediktors. Klik OK
Untuk mengontrol tampilan output pada window session Klik
Stat>Regression>Regression>Results

Dialog Box Items:

Kontrol tampilan hasil

Display nothing: Pilih untuk tidak menampilkan apa-apa
Regression equation, table of coefficients, s, R-squared, and basic analysis of
variance: Pilih untuk menampilkan beberapa output keluaran regresi
In addition, sequential sums of square nand the unusual observation in the table
of fits and residual: Pilih untuk menampilkan tambahan dari sebelumnya,
sequential sum of squares (ditambahkan jumlahan kuadrat yang dijelaskan oleh
setiap tambahan predictor) dan suatu tabel untuk nilai-nilai yang tidak umum
In addition, the full table of fits and residuals: Pilih untuk menampilkan tambahan
sebelumnya, suatu tabel nilai dugaan dan observasi redual

Output :

The regression equation is
PRODUKSI = ­ 19592 + 0.245 BAHAN BAKU + 715 TENAGA KERJA

Predictor       Coef       StDev          T        P Keterangan:
Jika digunakan
Constant      ­19592        9065      ­2.16    0.044
α=5%, maka
BAHAN BA     0.24461     0.02177      11.23    0.000 tenaga kerja
TENAGA K       715.1       434.9       1.64    0.117 terlihat tidak
signifikan dalam
S = 5897        R­Sq = 95.8%     R­Sq(adj) = 95.3% model.
Mengapa???
Analysis of Variance

Source       DF          SS          MS         F        P
Regression    2 14945508709  7472754354    214.90    0.000
Error        19   660703264    34773856
Total        21 15606211973
 Source       DF      Seq SS
BAHAN BA      1 14851467624
TENAGA K      1    94041084

Unusual Observations
Obs  BAHAN BA   PRODUKSI    Fit  StDev Fit   Residual    St Resid
 17   513469     146650  133897     2061      12753       2.31R 

R denotes an observation with a large standardized residual

Interpretasi:

 Dari ANOVA  Model regresi signifikan pada alpha 5%

 Interpretasi model :
 Bila bahan baku meningkat 1 (satuan), maka produksi akan meningkat
18,3%. Dengan syarat variabel lain konstan.
 Bila tenaga kerja bertambah 1 orang, maka produksi akan meningkat
sebesar 919. Dengan syarat variabel lain konstan.
 Dan bila mesin bertambah 1 buah, maka produksi akan meningkat 5766
kali.

PENGUJIAN RESIDUAL
Residual Model Diagnostics
Normal Plot of Residuals I Chart of Residuals
20000
10000 3.0SL=14787

10000
Residual
Residual

0 0 X=-2.0E-11 Asumsi Residual

-10000
dari model yang
-10000
-3.0SL=-14787
terbentuk
-20000
-2 -1 0 1 2 0 10 20 terpenuhi, yaitu
Normal Score Observation Number identik,
Histogram of Residuals Residuals vs. Fits independen,
5 10000 berdistribusi
4
normal (IIDN)
Frequency

Residual

3
0
2

0 -10000
-8000
-6000
-4000
-2000 0 2000
4 000
6000
8 000
10000 50000 100000 150000
Residual Fit

Catatan:
Bila akan menambahkan variable baru:
Prediction intervals for new observation : memasukkan nilai baru yang ingin
diprediksi sebagai respon
Confidence Level :
Storage : pilih untuk menyimpan tambahan dari sebelumnya
Fits : pilih untuk menyimpan fitted values untuk observasi yang baru
SEs of fits : pilih untuk mengestimasi standard error dari nilai dugaannya
Confidence limits : pilih untuk menampilkan batas keyakinan dengan batas atas dan
batas bawah
 Prediction limits : pilih untuk menampilkan nilai prediksi dengan batas atas dan batas
bawah
V. PEMILIHAN MODEL TERBAIK

Jika antar variabel prediktor saling berkorelasi satu sama lain, dikatakan terjadi
kasus multicolinear. Hal ini kana mengakibatkan beberapa variabel prediktor tidak
significant berada dalam model valaupun sesungguhnya variabel tersebut berhubungan
sangat erat dengan variabel respon Y. Untuk mendapatkan model yang diinginkan
terdapat dua pertimbangan dalam pembentukan model, diantaranya:
• Agar persamaan regresi bermanfaat untuk tujuan prediksi, serigkali
diinginkan model yang memuat sebanyak-banyaknya variabel X (prediktor)
yang mempengaruhi variabel Y (respon)
• Kareena pertimbangan biaya untuk mendapatkan informasi, maka digunakan
sesedikit mungkin variabel X (prediktor) yang mempengaruhi variabel Y
(respon)
Untuk itu dibutuhkan metode untuk dapat mengakomodasikan dua kepentingan di atas
dengan cara Selecting the best regression equation. Berikut ini adalah cara-cara yang
sering digunakan dalam memilih model terbaik.

5.1. Best Subset Model

Memilih semua subset (model) yang terbaik yang memenuhi kriteria diatas.
Kriteria yang digunakan adalah:
R2 terbesar
MS residual terkecil
Cp yang mendekati jumlah parameter
Dengan menggunakan Minitab lakukan langkah berikut:

Stat > Regression > Best Subsets

Dalog box items

Respons : Masukkan kolom yang memuat variabel respon Y

Free predictors: masukkan yang memuat variabel –variabel prediktor X (maksimum 31
variabel)
Predictors in all models: pilih kolom-kolom yang memuat variabel yang ingin dimasukkan
dalam model. Kolom-kolom ini tidak boleh terdaftar dalam Free predictors. Jika anda
menganalisis data dengan lebih dari 15 variabel prediktor, pertimbangkan termasuk
variabel prediktor ini dalam rangka mengurangi jumlah free variables dan mempercepat
proses perhitungan.
Best Subsets Regression

Response is Y

              R­Sq                    X X X X X 
Vars   R­Sq   (adj)   C­p         S   1 2 3 4 5 

   1   92.3   92.0   25.4    27.314         X   
   1   88.5   88.1   50.3    33.288   X         
   2   95.4   95.0    6.9    21.580   X     X   
   2   92.6   92.1   25.1    27.188     X   X   
   3   96.4   96.0    2.0    19.378   X     X X 
   3   95.7   95.2    6.8    21.222   X X   X   
   4   96.4   95.8    4.0    19.758   X   X X X 
   4   96.4   95.8    4.0    19.762   X X   X X 
   5   96.4   95.6    6.0    20.165   X X X X X 

5.2. Stepwise and Eliminasi Backward Regression

Stepwise Regression
Model dibuat dengan memasukkan variabel prediktor satu persatu (secara
bertahap) mulai dari variabel X yang memiliki korelasi tinggi
Langkah-langkahnya:
1. Cari variabel X yang berkorelasi paling tinggi dengan Y, kemudian buat
regresinya
2. Pemilihan variabel berikutnya adalah variabel yag memiliki korelasi parsial
terbesar dengan Y dan buat model dengan memasukkan variabel tersebut.
3. Uji parameter yang telah ada di dalam model
4. Begitu seterusnya ulangi langkah 2-3 sampai diperoleh model terbaik

Eliminasi Backward
Membuat model dengan memasukkan semua variabel kemudian dikeluarkan
satu persatu dengan melakukan pengujian terhadap parameter –parameternya dengan
menggunakan partial F test. Nilai partial F-test (FL) terkecil dibandingkan dengan F0
table:
 • Jika FL < F0, maka X yang bersangkutan dikeluarkan dari model dan
dilanjutkan dengan pembuatan model baru tanpa variable tersebut
• Jika FL > F0, maka proses dihentikan dan persamaan terakhir tersebut
yang digunakan/dipilih.

Dengan menggunakan Minitab lakukan langkah berikut:

Stat > Regression > Stepwise>Methods

Dalog box items

Stepwise (forward and backward): pilih standard stepwise regression

Predictor in initial model: masukkan variabelprediktor. Variabel ini akan
dikeluarkan jika p-value lebih besar dari alpha to enter value (Jika ingin
mempertahankan variabel tertentu dalam model abaikan nilai p-value dan enter
variabel tersebut dalam Predictor to include in every model dalam box utama)
Alpha to enter : tetapkan nilai α untuk memasukkan variable dalam model
Alpha to remove: tetapkan nilai α untuk mengeluarkan variable dalam model
Forward selection: pilih Forward selection
Alpha to enter : tetapkan nilai α untuk memasukkan variable dalam model
Backward elimination
Alpha to remove: tetapkan nilai α untuk mengeluarkan variable dalam model
Force: masukkan variabel prediktor yang tidak ingin dikeluarkan dari model.

Contoh:

Klik Stat > Regression > Stepwise

Masukkan variabel X dan Y. Klik OK
Gunakan data di Lampiran 2
Y = berat limbah blontong (kuintal)
X1 = berat kapur tohor (kuintal)
X2 = berat sulfur (kg)
X3 = berat flokulan (kg)
X4 = berat tebu (kuintal)
X5 = berat fosfat (kg)
Variabel X1-X5 dipilih untuk dimasukkan dalam model

Stepwise Regression

 F­to­Enter:      4.00    F­to­Remove:      4.00

 Response is    Y     on  5 predictors, with N =   30

    Step        1        2        3
Constant    74.68    74.56    74.72

X1          0.076    0.076    0.076
T­Value      4.80     4.95     5.25
Jumlah variable yang signifikan dalam
X2         ­0.001                   model hanya 3 variabel yaitu X1, X4
T­Value     ­0.01                   dan X5.Model yang terbentuk:
Y=74,72 + 0,076 X1+0,0209 X4-4,7 X5
X3            0.3      0.3         
T­Value      0.10     0.10          R2=96,39

X4         0.0209   0.0209   0.0209
T­Value      6.35     7.01     7.17

X5           ­4.7     ­4.7     ­4.7
T­Value     ­2.19    ­2.68    ­2.74

S            20.2     19.8     19.4
R­Sq        96.40    96.40    96.39
Variabel X1-X5 ingin dimasukkan dalam model.

Stepwise Regression

 F­to­Enter:      4.00    F­to­Remove:      4.00

 Response is    Y     on  5 predictors, with N =   30

    Step        1
Constant    74.68

X1          0.076
T­Value      4.80

X2         ­0.001
T­Value     ­0.01

X3            0.3
T­Value      0.10

X4         0.0209
T­Value      6.35

X5           ­4.7
T­Value     ­2.19

S            20.2
R­Sq        96.40