Analisis Regresi 2

Pokok Bahasan :
Memilih Persamaan Regresi Terbaik

TUJUAN INSTRUKSIONAL KHUSUS :

Mahasiswa dapat memilih persamaan regresi terbaik dengan
mencobakan berbagai prosedur.

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Analisis Regresi 2

Sub Pokok Bahasan :

SEMUA KEMUNGKINAN REGRESI

(ALL POSSIBLE REGRESSION)

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 ALL POSSIBLE REGRESSION

 Merupakan suatu prosedur statistik dalam pemilihan

persamaan regresi terbaik.
 Ciri dari prosedur ini :
• tidak praktis
• dilakukan dengan bantuan komputer berkecepatan tinggi
 Tiga kriteria yang akan dievaluasi pada setiap persamaan
regresi :
1. nilai R2 yang dicapai
2. nilai s2, Jumlah Kuadrat Sisa
3. statistik Cp Mallow
 Penentuan persamaan mana yang terbaik untuk dipilih
dilakukan melalui evaluasi pola-pola yang teramati.
Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB
 Statistik R2

 Definisi : R2 merupakan suatu ukuran mengenai

seberapa baik model (persamaan regresi) dapat
menjelaskan keragaman data.
 Semakin tinggi R2 maka model tersebut semakin baik
menjelaskan keragaman data, sehingga tidak terlalu
sulit menginterpretasikannya.
 Namun statistik R2 tidaklah cukup untuk memeriksa
semua kemungkinan regresi.

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Penggunaan Statistik R2
pada ALL POSSIBLE REGRESSION

1. Kelompokkan persamaan-persamaan ke dalam kelompok yang

dikelompokkan berdasarkan banyaknya peubah peramal yang
ada dalam persamaan regresi contohnya :
 kelompok yang terdiri dari sejumlah persamaan regresi tanpa
peubah peramal ( E(Y)=β0 )
 kelompok yang terdiri dari sejumlah persamaan regresi
dengan 1 peubah peramal ( E(Y)=β0+ β1x1 )
 Sampai dengan kelompok yang terdiri dari sejumlah
persamaan regresi dengan semua peubah peramal yang ada
( E(Y)=β0+…+ βixi )
2. Urutkan persamaan regresi dalam setiap kelompok menurut
besarnya kuadrat koefisien korelasi berganda R2 yang dicapai.

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Penggunaan Statistik R2
pada ALL POSSIBLE REGRESSION
Lanjutan…

3. Periksalah persamaan regresi urutan pertama yang

terbesar dalam setiap kelompok dan lihatlah apakah
ada suatu pola peubah yang konsisten dalam
persamaan.
4. Periksalah matriks korelasi data tersebut.
5. Tentukan persamaan regresi terbaik yang cukup
konsisten, bila diperlukan informasi lain mengenai
sumber data yang diteliti dan peranan fisis peubah-
peubah x.

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Penggunaan Kuadrat Tengah Sisa, S2
pada ALL POSSIBLE REGRESSION

1. Evaluasi terhadap rata-rata kuadrat tengah sisa untuk setiap kelompok

masing-masing dengan p peubah.
(p = banyaknya parameter dalam model termasuk β0)
2. Overfitting menggambarkan stabilisasi tipikal s2 dan mendekati nilai σ2
sebenarnya. Overfitting adalah pendugaan persamaan regresi yang
melibatkan lebih banyak peubah peramal daripada yang dibutuhkan
untuk memperoleh persamaan yang memuaskan.
3. Melihat nilai yang sangat baik bagi σ2 melalui tebaran rata-rata s2(p)
lawan p.
4. Untuk setiap kelompok dilihat yang memiliki kuadrat tengah sisa yang
paling kecil.
5. Model yang memiliki nilai dugaan bagi ragam sisanya kecil dan
mengandung sedikit mungkin peubah peramalnya maka prosedur ini
telah menghasilkan suatu nilai dugaan “asimtotik” bagi σ2 (nilai dugaan
terbaik bagi σ2).
Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB
 Statistik Cp Mallow
• Ditemukan oleh C. L. Mallows

JKSp
Cp  2
 (n  2 p)
s
Ket :
JKSp = Jumlah Kuadrat Sisa dari model yang
mengandung P parameter
p = banyak parameter dalam model, termasuk β0
s2 = Kuadrat Tengah Sisa dari persamaan terbesar yang
dipostulatkan mengandung semua z (semua peubah
peramal termasuk peubah boneka)

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Penggunaan Statistik Cp Mallow
pada ALL POSSIBLE REGRESSION
Lanjutan…
 Jika suatu persamaan sudah memadai, maka
E(JKSp)=(n-p)σ2 dan diasumsikan E(s2)= σ2, kira-kira
nisbah JKSp/s2 mempunyai nilai harapan
(n-p)σ2/σ2=n-p sehingga kira-kira E(Cp)=p, jika
modelnya memadai.
 Tebaran Cp lawan p akan memperlihatkan “model-
model yang memadai” sebagai titik yang cukup dekat
pada garis Cp=p.
 Persamaan regresi yang memiliki ketidakpastian
model (persamaan yang berbias), akan menghasilkan
titik di atas garis Cp=p.

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Penggunaan Statistik Cp Mallow
pada ALL POSSIBLE REGRESSION
Lanjutan…

 Nilai Cp setiap sebaran menunjukkan nilai duga bagi

Jumlah Kuadrat Simpangan (galat ragam dan galat
bias) persamaan regresi tersebut.
 Persamaan dengan parameter lebih banyak sehingga
mempunyai kepasan lebih baik terhadap data (Cp≈p)
namun simpangan total (galat ragam + galat bias)
yang lebih besar dari model yang sebenarnya tidak
diketahui.

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Analisis Regresi 2

Sub Pokok Bahasan :

REGRESI BERTATAR

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 StepwiseRegression
Stepwise Regression

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Regresi Bertatar

Prosedur regresi bertatar (stepwise regression)

merupakan prosedur statistik untuk
menentukan peubah mana yang akan
dimasukkan ke dalam persamaan regresi.
Prosedur ini pada dasarnya merupakan
kombinasi dari prosedur eliminasi langkah
mundur (backward regression) dan prosedur
eliminasi langkah maju (forward regression).

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Regresi Bertatar
Kegunaan :
Prosedur regresi bertatar (stepwise
regression) biasanya digunakan pada
regresi linier berganda dengan banyak
peubah bebas.
Prosedur ini juga digunakan untuk
mencari model regresi terbaik serta
untuk mengatasi multikolinieritas.

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Regresi Bertatar :

Taraf Nyata ( )
Dalam regresi bertatar, terdapat dua taraf nyata ( ):
  untuk masuk

  untuk keluar.

Taraf nyata yang digunakan dalam pengujian untuk

memasukkan peubah bebas ke dalam persamaan
regresi ialah  untuk masuk
Taraf nyata yang digunakan dalam pengujian untuk
mengeluarkan peubah bebas ke dalam persamaan
regresi ialah  untuk keluar.
Taraf nyata ditentukan oleh peneliti, namun
disarankan untuk menggunakan nilai  =0,05 atau
 =0,01, baik untuk uji masuk maupun untuk uji
keluar.
Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB
 Regresi Bertatar
Algoritma :

a. Hitung korelasi setiap peubah bebas (X1, X2,…Xk)

terhadap peubah tak bebas (Y). Peubah bebas dengan
nilai korelasi tertinggi dimasukkan dalam model
regresi (syarat uji F menunjukkan peubah ini
berpengaruh nyata). Jika tidak nyata, berhenti dan
mengambil model sebagai yang terbaik.
b. Hitung korelasi parsial setiap peubah bebas tanpa
menyertakan peubah bebas yang telah masuk model.
Masukkan peubah bebas dengan korelasi parsial
tertinggi ke dalam model

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Algoritma (lanjutan)

c. Setelah diuji, perhatikan peningkatan R2 dan nilai-F

parsial/nilai-t parsial untuk kedua peubah yang ada di
dalam persamaan. Nilai-F parsial terendah kemudian
dibandingkan nilai-F tabel, dan peubah bebas tersebut
dipertahankan (nilai-F parsial terendah > F tabel/
nilai-t parsial> nilai-t tabel) atau dikeluarkan dari
persamaan tergantung pada apakah uji ini nyata atau
tidak.
d. Kembali ke langkah b
e. Jika tidak ada peubah yang dapat dikeluarkan atau
dimasukkan, proses akan terhenti.
Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB
 Contoh Kasus
Laju
Pro- pendu Pesa-
daerah sales mosi outlet duk ing income
JAKARTA 205 26 159 2 15 5.46
Berikut ini TANGERANG 206 28 164 1.5 16 2.43
merupakan data BEKASI 254 35 198 1.75 19 2.56
penjualan, biaya BOGOR 246 31 184 1.64 17 3.55
promosi, jumlah BANDUNG 201 21 150 2.65 11 4.35

outlet, laju SEMARANG 291 49 208 1.45 24 3.65

penduduk, jumlah SOLO 234 30 184 1.67 16 3.44

pesaing dan YOGYA 209 30 154 2.74 10 2.55

SURABAYA 204 24 149 1.35 14 4.79
income
PURWOKERTO 216 31 175 2.13 14 2.53
masyarakat yang MADIUN 245 32 192 2.64 11 2.75
ada di 15 daerah TUBAN 286 47 201 1.63 19 2.53
di Indonesia : MALANG 312 54 248 2.53 21 3.51
KUDUS 265 40 166 2.54 18 2.81
PEKALONGAN 322 42 287 1.53 18 3.01

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Hasil Analisis

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 a
Var iabl es Enter ed/Remo ved

Variables Variables
Model Entered Remov ed Method
1 St epwise
(Criteria:
Probabilit
y -of -
F-to-enter
biay a
. <= .050,
promosi
Probabilit
y -of -
F-to-remo
v e >= .
100).
2 St epwise
(Criteria:
Probabilit
y -of -
F-to-enter
jumlah
. <= .050,
outlet
Probabilit
y -of -
F-to-remo
v e >= .
100).
a. Dependent Variable: penjualan

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Model Summaryc

Adjusted St d. Error of
Model R R Square R Square the Estimate
1 .916a .839 .826 17.127
2 .976b .952 .944 9.757
a. Predictors: (Constant), biay a promosi
b. Predictors: (Constant), biay a promosi, jumlah outlet
c. Dependent Variable: penjualan

ANOVAc

Sum of
Model Squares df Mean Square F Sig.
1 Regression 19850.334 1 19850.334 67.673 .000a
Residual 3813.266 13 293.328
Total 23663.600 14
2 Regression 22521.299 2 11260.649 118.294 .000b
Residual 1142.301 12 95.192
Total 23663.600 14
a. Predictors: (Const ant), biay a promosi
b. Predictors: (Const ant), biay a promosi, jumlah outlet
c. Dependent Variable: penjualan

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Coefficientsa

Unstandardized Standardized
Coeff icients Coeff icients Collinearity Statistics
Model B Std. Error Beta t Sig. Tolerance VIF
1 (Constant) 111.523 16.982 6.567 .000
biay a promosi 3.891 .473 .916 8.226 .000 1.000 1.000
2 (Constant) 64.639 13.112 4.930 .000
biay a promosi 2.342 .398 .551 5.892 .000 .459 2.177
jumlah outlet .535 .101 .496 5.297 .000 .459 2.177
a. Dependent Variable: penjualan

Excluded Variablesc

Collinearity Statistics
Partial Minimum
Model Beta In t Sig. Correlation Tolerance VIF Tolerance
1 jumlah outlet .496a 5.297 .000 .837 .459 2.177 .459
laju pertambahan a
-.087 -.769 .457 -.217 .996 1.004 .996
penduduk (%)
jumlah pesaing .041a .214 .834 .062 .367 2.727 .367
tingkat pendapatan a
.026 .212 .835 .061 .885 1.130 .885
konsumen
2 laju pertambahan b
-.011 -.165 .872 -.050 .945 1.058 .436
penduduk (%)
jumlah pesaing .056b .520 .613 .155 .366 2.729 .251
tingkat pendapatan b
.027 .393 .702 .118 .885 1.130 .434
konsumen
a. Predictors in the Model: (Constant), biay a promosi
b. Predictors in the Model: (Constant), biay a promosi, jumlah outlet
c. Dependent Variable: penjualan

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Kesimpulan

Berdasarkan indikator pemilihan model terbaik,

R, R2, R2 adjusted, dan s (standar error)
model yang kedua merupakan model yang
terbaik karena R, R2, R2 adjusted yang
diperoleh lebih besar dibandingkan dengan
model pertama. Nilai s yang dihasilkan lebih
kecil dibandingkan dengan model pertama.

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Prosedur eliminasi langkah mundur
(the backward elimination procedure)

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Penentuan peubah penjelas dalam model
regresi (Draper dan Smith):
1. tujuan peramalan  nilai ramalan yang
terandalkan  memasukkan banyak
peubah penjelas.
2. banyak peubah diteliti  biaya operasi
tinggi  digunakan sedikit peubah
penjelas.

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Memperoleh nilai peramalan yang terandalkan
--> membutuhkan sebanyak mungkin peubah penjelas

Tingkat
representatif
Peramalan

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

  Banyak peubah penjelas  biaya
operasional tinggi.

Biaya
Operasional
penelitian

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Mencari persamaan regresi terbaik
(sesedikit mungkin peubah penjelas tanpa mengurangi
maksud dari tujuan penelitian)

Sesedikit Persamaan
mungkin Minimalisir
Regresi
peubah Biaya
Representatif
penjelas

Prosedur eliminasi langkah mundur Pencapaian

(the backward elimination procedure) Tujuan
Penelitian

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Proses menentukan persamaan regresi terbaik
dimulai dengan:
regresi terbesar dengan menggunakan semua
peubah, dan secara bertahap mengurangi
banyaknya peubah di dalam persamaan sampai
suatu keputusan dicapai untuk menggunakan
persamaan yang diperoleh

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

  Kita bisa melihat persamaan regresi
yang mengandung semua peubah
penjelas.
 Lebih menghemat waktu dibandingkan
dengan metode “semua kemungkinan
regresi”

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

  Sekali suatu peubah dihilangkan, maka
dia tak tersedia untuk bisa
dipertimbangkan lagi.

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Algoritma
regresi terbesar dengan semua
kemungkinan peubah

Bertahap…

mengurangi banyaknya peubah

diperoleh persamaan regresi

terbaik

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Regresi dengan
semua (n) peubah
penjelas
Regresi dengan
(n-1) peubah
penjelas F-Parsial
masing2 Peubah Persamaan Regresi Terbaik
penjelas

Buang
Peubah
Penjelas F-Parsial Peubah
(F-parsial penjelas terkecil
terkecil)
If
(F-Parsial >= F-Tabel)

Bandingkan
If
F-parsial
(F-Parsial < F-Tabel)
terkecil dgn
F-Tabel

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Regresi dengan
semua (n)
peubah penjelas

Regresi dengan
(n-1) peubah
penjelas
P-value masing2 Persamaan Regresi
Peubah penjelas Terbaik

Buang
Peubah
Penjelas P-value
(P-value Peubah penjelas
terbesar) terbesar
If
(P-value <= Alpha-
to-remove)
If Bandingkan
(P-value > Alpha-to- P-value
remove) terbesar
dgn
Alpha-to-
remove
Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB
 Y X1 X2 X3 X4
10 45 1 12 1
12 58 2 16 2
15 59 4 5 4
16 61 5 8 5
17 66 6 8 6
Suatu penelitian dilakukan 19 67 7 64 7
untuk mengetahui besarnya 25 68 8 5 8

pengaruh peubah penjelas 26 69 9 29 9

28 72 11 25 12
yakni x1, x2, x3, x4 terhadap 34 73 15 34 15
peubah respon yakni Y. 36 76 18 26 18
Didapat data seperti di 49 78 19 12 19

samping ini. 56 79 20 5 20
59 81 24 6 24
73 82 26 4 26
75 83 28 15 28
76 86 29 24 30
82 87 30 29 31
84 94 33 24 33
88 98 45 23 44

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB

 Penyelesaian..
Perhatikan output dari untuk kasus di atas:

Interpretasi:
Lihat step 1
- P-value terbesar (pada x1)
- Bandingkan dengan nilai α=0,1
(P-value=0,915) > (α=0,1)
- Eliminasi x1

Lihat step 2
- P-value terbesar (pada x3)
- Bandingkan dengan nilai α=0,1
(P-value=0,093) < (α=0,1)

Dugaan Persamaan Regresi Tebaik

Y duga =7,894 - 6,4X2 - 0.153 X3 + 8,6 X4

Itasia Dina S & Dian K, Dep Statistika FMIPA -IPB