Analisis Regresi 2

Pokok Bahasan :

Review
Regresi Linier Sederhana dan
Berganda

Tujuan Instruksional Khusus :

Mahasiswa dapat menjelaskan regresi linier sederhana dan
berganda dan asumsi-asumsi yang mendasarinya
 Regresi Linier Sederhana

 Model Regresi Linier Sederhana (1 peubah penjelas)

Y  β0  β1x1  ε

 Model Regresi Linier Berganda ( k peubah penjelas )

Y  β0  β1 x1  β2 x2  .....  βk xk  ε

Dengan notasi matriks dapat dituliskan :

n
y1 n Xk 1 k 1  1  n  1 , k  banyaknya p penjelas

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Ringkasan Regresi Linier Berganda

 Model Regresi Linier Berganda dengan 2 peubah

penjelas :

Y  β 0  β1x1  β 2 x 2  ε

 Model umum Regresi Berganda dengan k peubah

penjelas dalam notasi matriks :

n
y1
 n X k 1 k 1
 1
 n  1

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Ringkasan Regresi Linier Berganda
lanjutan

 Nilai dugaan yˆ  Xb  H y H  X(X' X) 1 X'

 Matriks dugaan ragam peragam bagi b :
Vˆ (b0 ) cov (b0 , b1 ) ....... cov (b0 , bk ) 
 
ˆ
cov(b1 , b0 ) V (b1 ) ....... cov (b1 , bk )
ˆ
V (b)     X ' X 1 2
s
 ... ... ... 
cov(b , b ) cov(b , b ) ............Vˆ (b ) 
 k 0 k 1 k 

dengan :
s2 = KT sisaan

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Ringkasan Regresi Linier Berganda
lanjutan

 KOEFISIEN DETERMINASI
b' X ' Y b' X ' Y  nY 2
R  2
R adj 
2

Y 'Y Y ' Y  nY 2

 Dugaan simpangan baku

sb j  c( j 1)( j 1) s dengan :

s2 = KT sisaan
c(j1)(j1)  unsur ke j  1 diagonal matriks (X' X) 1

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Pendugaan model regresi linier
berganda dengan notasi matriks

 Notasi Matriks pada Model Regresi Linier Berganda

dengan k = 2  y1  1 x11 x 21   1 
y  1 x x 22   
 0 
y  X    2  12  2
    . 
.   . . . 
     1  
.  . . .    2  . 
 yn  1 x1n x 2n   n 
    
 Penduga parameter regresi berganda dg notasi
matriks : 1
( k 1) b1 ( k 1) (X' X) ( k 1) (k 1) X'n y
n 1

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Contoh: model regresi linier berganda
dalam notasi matriks

Data : Model Regresi dalam notasi Matriks :

y  X  
y x1 x2
3.5 3.1 30 3.5  1 3.1 30 
3.2  1 3.4 25
3.2 3.4 25   
3.0 3.0 20 3.0  1 3.0 20  0 
   
2.9 3.2 30 y  2.9 X  1 3.2 30     1 
4.0 3.9 40 4.0 1 3.9 40   2 
   
2.5 2.8 25 2.5 1 2.8 25
2.3 1 2.2 30
2.3 2.2 30   

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Contoh : Menduga parameter regresi
linier berganda dg matriks

Dugaan bagi parameter regresi :

1
b 
( k 1) 1 ( k 1) ( X' X) ( k 1) (k 1) X'n y
n 1

Dari data contoh tsb. didapat :

1 1 1 1 1 1 1  1 3.1 30 
3.1 3.4 3.0 3.2 3.9 2.8 2.2 
X’X =   1 3.4 25
30 25 20 30 40 25 30  1 3.0 20
 
1 3.2 30 
3x7 1 3.9 40
 
1 2.8 25
1 2.2 30


7x3
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
 Contoh : Menduga parameter regresi
linier berganda dg matriks
lanjutan
Dengan perhitungan cara matriks didapat :
 7.0 216
. 200.0   6.683 - 1.529 - 0.064 
 
X  X   216
. 68.3 626.0  ( X' X) 1  - 1.529 0.760 - 0.028 
200.0 626.0 5950.0 - 0.064 - 0.028 0.005

 6.683 - 1.529 - 0.064  1 1 1 1 1 1 1  3.5   0.214 

- 1.529 0.760 - 0.028  3.1 3.4 3.0 3.2 3.9 2.8 2.2 3.2    0.898 
b =       
- 0.064 - 0.028 0.005 30 25 20 30 40 25 30  3.0   0.017 
 
(X’X) -1 X’  2.9
 4.0
 
Dugaan persamaan garis regresinya :  2.5
 2.3
 
yˆ  0.214  0.898x1  0.017 x2
y
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
 Pemeriksaan Model Regresi Berganda :
uji-t

 Uji-t dimaksudkan untuk menguji pengaruh setiap

peubah penjelas secara satu per satu terhadap
peubah responnya
Model Regresi Berganda dg 2 peubah penjelas :
Y  β 0  β1x1  β 2 x 2  ε
H0 :  j  0 Peubah penjelas Xj tidak berhubungan linier dg Y

H1 :  j  0 Peubah penjelas Xj berhubungan linier dg Y

atau  j  0 Peubah penjelas Xj berhubungan linier positif dg Y

atau  j  0 Peubah penjelas Xj berhubungan linier negatif dg Y

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Pemeriksaan Model untuk Regresi
Berganda : uji-t
lanjutan

Hipotesis : Statistik uji-nya :

1. H 0 : 1  0 bj   j
H 1 : 1  0 t hit  , sb j  c( j 1)( j 1) s
sb j
atau 1  0
atau 1  0 Derajat bebasnya = n – k - 1

2. H 0 :  2  0 Unsur ke (j+1) diagonal (X’X)-1

H1 :  2  0
atau  2  0 Akar dari KT sisaan
atau  2  0 k = banyaknya peubah penjelas

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Contoh : uji-t dengan notasi matriks

 Dengan menggunakan data contoh pada slide

sebelumnya ingin diuji apakah X1 dan atau X2
berpengaruh linier thdp Y
 6.683 - 1.529 - 0.064 
 Didapatkan bahwa ( X' X) 1  - 1.529 0.760 - 0.028 
- 0.064 - 0.028 0.005

Dugaan garis regresi-nya: yˆ  0.214  0.898x1  0.017 x2

 Hipotesisnya :
H0 :  j  0 Peubah penjelas Xj tidak berhubungan linier dg Y

H1 :  j  0 Peubah penjelas Xj berhubungan linier dg Y

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Contoh : uji-t dengan notasi matriks
lanjutan
 Statistik uji-nya :
bj   j
t hit  , sb j  c( j 1)( j 1) s
sb j
1
S2=  2   67.44  671031
.   0.08422
4
0.898
untuk j  1, s b1  0.76 x 0.2902  0.2530  t hit   3.55
0.253
0.017
untuk j  2, s b 2  0.005 x 0.2902  0.0205  thit   0.829
0.0205

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Contoh : uji-t dengan notasi matriks
(lanjutan)

d.b. = 7 - 3 = 4 t4,.025 = 2.776

a/2=.025 a/2=.025 Untuk j=1  t hit = 3.55  tolak H0

Untuk j=2  t hit = 0.829  terima H0

-tn-3,α/2 0 tn-3,α/2 KESIMPULAN :

Tolak H0 Terima H0 Tolak H0 1. Cukup bukti untuk mengatakan
bahwa ada hub linier antara x1 dan Y
-2.776 2.776
2. Tidak cukup bukti untuk mengatakan
bahwa ada hub linier antara x2 dan Y

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Contoh : uji-t dengan Minitab
lanjutan

Regression Analysis: Y versus X1, X2

The regression equation is

Y = - 0.214 + 0.898 X1 + 0.0175 X2

Predictor Coef SE Coef T P

Constant -0.2138 0.7502 -0.29 0.790
X1 0.8984 0.2530 3.55 0.024
X2 0.01745 0.02116 0.82 0.456 > 0.05

S = 0.290208 R-Sq = 83.3% R-Sq(adj) = 74.9%

Terima H0

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Pemeriksaan Model
Regresi Berganda : uji-F

Dengan uji F ini kita dapat mengetahui :

 peubah-peubah penjelas yang ada dalam model
berpengaruh secara serempak terhadap respon atau
tidak. (model regresi layak atau tidak)
 Penambahan satu peubah penjelas ke dalam model
setelah peubah penjelas lainnya ada dalam model
berpengaruh nyata atau tidak terhadap respon
 Penambahan sekelompok peubah penjelas ke dalam
model setelah peubah penjelas lainnya ada dalam
model berpengaruh nyata atau tidak terhadap respon

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Uji Parameter Regresi Linier Berganda :
uji-F untuk model keseluruhan
H 0 : 1   2  ...   k  0 H0 : peubah respon tidak memp
hub linier dg peubah
H1 : min ada satu  j  0, j  1,2,....., k penjelas ke-1 s.d ke-k

Derajat Jumlah Kuadrat (JK) Kuadrat

Sumber H1 :
Bebas Tengah
Keragaman (db) (KT) peubah respon
JK Regresi memp hub linier
b1, b2,..,bk| b0 k b’X’Y – Y’11’Y/n dg min 1 peubah
k penjelas ke-1 s.d
Sisaan n – k-1 Y’Y – b’X’Y ke-k
JKsisaan
n  k -1
KTregresi
Total
(terkoreksi)
n-1 Y’Y – Y’11’Y/n Fhit 
KTsisaan
KRITERIA PENOLAKAN : Tolak H 0 jika F  Fk,n k 1,α
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
 Uji Parameter Regresi Linier Berganda :
uji-F untuk model keseluruhan
lanjutan

H 0 : 1   2  ...   k  0
OUT PUT MINITAB : DATA TEKANAN DARAH H1 : min ada 1  j  0, j  1,2,.., k

The regression equation is

KEPUTUSAN:
Tekanan Darah = 50,5 + 12,8 Ukuran Tubuh + 0,848 Umur
+ 9,11 Merokok tolak H0. a = 5%
S = 7,88677 R-Sq = 72,6% R-Sq(adj) = 69,6%
KESIMPULAN:
Analysis of Variance
Source DF SS MS F P Tekanan darah
Regression 3 4610,3 1536,8 24,71 0,000 memiliki hubungan
Residual Error 28 1741,6 62,2 linier dg min satu
Total 31 6352,0 peubah penjelas

F tabel : F (3,28), 5% =2,95

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Uji Parameter Regresi Linier Berganda :
uji-F untuk model keseluruhan
lanjutan

H 0 : 1   2   3  0 Statistik uji-nya:
H1 : min ada satu  j  0, j  1,2,3 Fhit  KTregresi  24,71
KTsisaan
F tabel : F (3,28), 5% =2,95
Keputusan:
Tolak H0

a = .05
Kesimpulan:
Cukup bukti untuk mengatakan
bahwa minimum ada satu peubah
0 F penjelas yg berhubungan linier dg Y
Terima H0 Tolak H0
F.05 = 2,95
Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB
 Uji-F Parsial dan uji-F Sekuensial

PADA ANALISIS REGRESI LINIER BERGANDA :

Terhadap semua peubah penjelas yang tersedia :
 Diuji peubah penjelas apa yg berpengaruh nyata thd respon.
 Dari yang ada dalam model, usahakan yang dipakai hanya
peubah penjelas yang keberadaannya dalam model menyum-
bangkan keragaman kepada garis regresi cukup besar
 Jika suatu peubah penjelas keberadaannya dalam model
sudah dapat diwakili oleh yg lainnya, maka peubah penjelas
tsb tidak perlu lagi digunakan dlm model
 Lebih disenangi model yang memiliki banyaknya peubah
penjelas yang lebih sedikit.

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Pemeriksaan Model
Regresi Berganda : uji-F
Apakah penambahan X2 ke dalam model Y  β0  β1x1  ε
berpengaruh terhadap Y
H 0 :  2  0 dalam model Y   0  1 x1   2 x2  
H1 :  2  0
Derajat Kuadrat
Sumber
Bebas Jumlah Kuadrat (JK) Tengah
Keragaman (db) (KT)

b1, b2 | b0 2 b’X’Y – Y’11’Y/n

JK b 2 | b 0 ,b1 KTb 2 |b0 ,b1
b 2 b 0 , b1 1 JKb1 ,b2 | b0  JKb1| b0 Fhit 
JK sisaan KTsisaan
JKsisaan
Sisaan n–3 Y’Y – b’X’Y n -3

Total
n-1 Y’Y – Y’11’Y/n
(terkoreksi)

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Pemeriksaan Model Regresi Berganda :
KOEFISIEN DETERMINASI BERGANDA

KOEFISIEN DETERMINASI BERGANDA

 Proporsi keragaman pada Y dijelaskan oleh
semua peubah X secara bersama-sama

Keragaman yg dijelaskan SS yy  SSE SSE

R  2
  1
Total Keragaman SS yy SS yy

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Pemeriksaan Model Regresi Berganda :
Adjusted R2

 R2 besarnya tidak pernah turun ketika peubah X

ditambahkan ke dalam model
 Hanya nilai Y yang menentukan besarnya SSyy
 Tidak ada gunanya kalau membandingkan model yg satu dg yg
sdh ditambah peubah penjelasnya.

 Solusi: Adjusted R2
 Setiap penambahan peubah penjelas akan menurunkan nilai
adjusted R2.

2  n  1  SSE SSE 2
Ra  1     1 R
 n  k  1 SS yy SSyy

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Validitas Model

PRESS = Prediction Sum of Squares, adalah prosedur yang

merupakan kombinasi dari: semua kemungkinan regresi,
analisis sisaan, dan teknik validasi.
Digunakan untuk mengukur validitas model.

PRESS    yi  yˆ i , i 
2 2
n
 ei  R 2 PRED  1  PRESS
= 
 1  h   yi  y 
  ei,-i  
2 2
i 1  ii 

yi : nilai respon pada x=xi (data lengkap)

R2pred adalah statistik la-
yˆ i , i : nilai ramalan y pd x=xi yg diramal innya yg berhub dg PRESS.
melalui dugaan persamaan regresi
Model valid jika R2pred besar.
dari data tanpa amatan ke-i
Model valid jika memiliki PRESS yg kecil

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Validitas Model
PROSEDUR PRESS (lanjutan)
Mis. k adalah banyaknya peubah dalam suatu persamaan regresi,
n adalah banyaknya amatan

Langkah-langkahnya:
1. Sisihkan amatan ke-1, amatan ke-1 tidak digunakan, data tinggal n-1.
2. Dugalah semua ”kemungkinan model regresi” thdp n-1 data tersebut. (jika
k=1 banyaknya ”kemungkinan model” hanya 1)
3. Ramal y1 dengan model yang didapat pd no.2. (lakukan untuk semua
kemungkinan model  hanya 1 jika k=1)
4. Hitung perbedaan y1 yg disisihkan tadi dengan hasil no.3.  y1  y1k
ˆ
5. Ulangi langkah 1-4 dengan menyisihkan amatan ke-2, ke-3,...., ke-n.
Didapat y2  yˆ 2k , y3  yˆ3k , ..., yn  yˆ nk
n 2

6. Untuk setiap model regresi yang mungkin hitung : PRESS    yi  yˆ ik 

i 1

7. Pilih model yang relatif memiliki nilai PRESS terkecil, dan melibatkan
peubah penjelas sedikit.

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Validitas Model (lanjutan)
Contoh Proses PRESS, untuk n=11 dan k=1
Dugaan Garis Regresi dg Data tanpa ramalan Yi tnp
Y X
amatan ke-i amatan ke-i ei,-i e i,-i kuadrat
7,46 10 Y tnp 1 = 3,01 + 0,505 X tnp 1 8,06 -0,6 0,36
6,77 8 Y tnp 2 = 3,05 + 0,497 X tnp 2 7,026 -0,256 0,06553
12,74 13 Y tnp 3 = 4,01 + 0,345 X tnp 3 8,495 4,245 18,02003
7,11 9 Y tnp 4 = 3,04 + 0,500 X tnp 4 7,54 -0,43 0,18490
7,81 11 Y tnp 5 = 2,95 + 0,514 X tnp 5 8,604 -0,794 0,63043
8,84 14 Y tnp 6 = 2,46 + 0,577 X tnp 6 10,538 -1,698 2,88320
6,08 6 Y tnp 7 = 2,97 + 0,502 X tnp 7 5,982 0,098 0,00960
5,39 4 Y tnp 8 = 2,72 + 0,526 X tnp 8 4,824 0,566 0,32035
8,15 12 Y tnp 9 = 2,84 + 0,528 X tnp 9 9,176 -1,026 1,05267
6,42 7 Y tnp 10 = 3,03 + 0,498 X tnp10 6,516 -0,096 0,00921

5,73 5 Y tnp 11 = 2,88 + 0,511 X tnp11 5,435 0,295 0,08703

Total = PRESS = 23,6229

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Validitas Model (lanjutan)

Output Minitab untuk data contoh tsb • Hasil PRESS melalui proses
The regression equation is = hasil Minitab
Y = 3,00 + 0,500 X • Untuk k=1 hanya ada 1 model
• Amatan ke-3 memberikan
Predictor Coef SE Coef T P
Constant 3,002 1,124 2,67 0,026
simpangan ramalan terbesar
X 0,4997 0,1179 4,24 0,002 • Amatan ke-3 dapat dipandang
sebagai amatan berpengaruh
S = 1,23631 R-Sq = 66,6% R-Sq(adj) = 62,9% • Dugaan parameter regresi
PRESS = 23,6210 R-Sq(pred) = 42,70% tanpa amatan ke-3 sangat
berbeda dg lainnya dugaan
Analysis of Variance yg ini relatif yg benar/baik
Source DF SS MS F P
Regression 1 27,470 27,470 17,97 0,002
Residual Error 9 13,756 1,528
Total 10 41,226 Keluarkan amatan ke-3 dari analisis.
Cek nilai PRESS-nya. Cek nilai R2nya

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Validitas Model (lanjutan)

Output Minitab data lengkap Output Minitab data tanpa amatan ke-3

The regression equation is The regression equation is

Y = 3,00 + 0,500 X Y tnp 3 = 4,01 + 0,345 X tnp 3

Predictor Coef SE Coef T P Predictor Coef SE Coef T P

Constant 3,002 1,124 2,67 0,026 Constant 4,00619 0,00221 1811,78 0,000
X 0,4997 0,1179 4,24 0,002 X tnp 3 0,345334 0,000237 1454,74 0,000

S = 1,23631 R-Sq = 66,6% S = 0,00308655 R-Sq = 100,0

PRESS = 23,6210 R-Sq(pred) = 42,70% PRESS = 0,000174853 R-Sq(pred) = 100,00%

Analysis of Variance Analysis of Variance

Source DF SS MS F P Source DF SS MS F P
Regression 1 27,470 27,470 17,97 0,002 Regression 1 20,161 20,161 2116264,34 0,000
Residual Error 9 13,756 1,528 Residual Error 15 0,000 0,000
Total 10 41,226 Total 16 20,161

Menyisihkan amatan ke-3 mempengaruhi dugaan parameter, menurunkan nilai PRESS

Dari sisi model, “persamaan tanpa amatan ke-3” yg terbaik.
R-Sq(pred)=100,00%  model sangat valid  PELUANG salah memprediksi = 0

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 Validitas Model (lanjutan)
Dugaan garis regresi dg data lengkap Dugaan garis regresi tanpa amatan ke-3
PRESS = 23,6210 R-Sq(pred) = 42,70% PRESS = 0,000174853 R-Sq(pred) = 100,0%

Fitted Line Plot Fitted Line Plot

Y = 3,002 + 0,4997 X Y tnp 3 = 4,006 + 0,3453 X tnp 3
13 9

12

11
8
10

Y tnp 3
7
Y

6 6

4 5
5,0 7,5 10,0 12,5 15,0 5,0 7,5 10,0 12,5 15,0
X X tnp 3

Semakin kecil nilai PRESS-nya  model semakin valid  semakin baik untuk
memprediksi. Setiap 1 model regresi thdp 1 set data memiliki 1 nilai PRESS

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB

 ASUMSI ASUMSI YANG HARUS DIPENUHI DALAM
ANALISIS REGRESI BERGANDA :

1. Kondisi Gauss-Marcov
1. E[ i ]  0 nilai - harapan/rataan sisaan  nol
2. E[ i ]  var [ ]   2 , ragam sisaan homogen untuk setiap nilai x
2

( homoscedas ticity )
3. E[ i j ]  0, i  j sisaan saling bebas/tdk ada autokorelasi

2. Galat menyebar Normal

3. Galat bebas terhadap peubah bebas, cov(x i ,  j )  0, i

4. Tidak ada multikolinieritas pd peubah bebas, cov(x i , x j )  0, i  j

Itasia Dina S & Dian K, Departemen Statistika FMIPA IPB