REGRESI LINEAR BERGANDA

OLEH

INDA ILMA IFADA, SP.,MP

REGRESI BERGANDA
Yᵢ = bₒ + b ₁ Xᵢ + e
Merupakan regresi sederhana yang
masih belum representative sehingga
diperlukan model yang lebih kompleks
Regresi berganda melibatkan lebih
banyak variable bebas untuk
menjelaskan perilaku variable terikat
Contoh : Fungsi permintaan
 Regresi Linier Berganda
Model regresi linier berganda melibatkan lebih dari satu variabel bebas.
Modelnya :
Y   0  1 X 1   2 X 2  ...   k X k
Dimana
Y = variabel terikat
Xi = variabel bebas ( i = 1, 2, 3, …, k)
0 = intersep
i = koefisien regresi ( i = 1, 2, 3, …, k)
Model penduganya adalah
Y  b0  b1 X 1  b2 X 2  ...  bk X k
 Regresi Linier Berganda
Misalkan model regresi dengan kasus 2 peubah bebas X 1
dan X2 maka modelnya :
Y   0  1 X 1   2 X 2

Sehingga setiap pengamatan   X 1i , X 2i ; Yi  ; i  1, 2 ,..., n

Akan memenuhi persamaan
Y   0  1 X 1   2 X 2   i
 Asumsi-asumsi
Model Regresi Linier Berganda
(Agar hasil estimasi dapat diinterpretasikan dengan baik - BLUE)
 Nilai rata-rata disturbance term adalah nol,
E(i) = 0.
 Tidak tdpt serial korelasi (otokorelasi) antar i
Cov(i,j) = 0 untuk i  j.
 Sifat homoskedastisitas:
Var(i) = 2 sama utk setiap i  Kesalahan
Pengganggu Mempunyai Varian Sama
 Covariance antara i dan setiap var bebas adalah nol.
Cov(i,Xi) = 0
 Tidak tdpt multikollinieritas antar variebel bebas.
 Model dispesifikasi dengan baik
Estimasi Koefisien Regresi Parsial

Metode Ordinary Least Squares (OLS)

Prinsip: Meminimumkan nilai error – mencari jumlah

penyimpangan kuadrat (i2) terkecil.
i = Yi - 0 - 1 Xi
i2 = (Yi - 0 - 1 Xi)2
i2 =  (Yi - 0 - 1 Xi)2
i2 minimum jika:
i2 /0 = 0  2 (Yi - 0 - 1 Xi) = 0
i2 /1 = 0  2  Xi (Yi - 0 - 1 Xi) = 0
 Sederhanakan, maka didapat:
 (Xi – X) (Yi – Y)
b1 =
 (Xi – X)2

b0 = Y - b1X
dimana
b0 dan b1 nilai penduga untuk 0 dan 1.
X dan Y adlh nilai rata2 pengamatan X dan Y
 ESTIMASI MODEL
REGRESSI LINIER BERGANDA

Model: Yi = 0 + 1 X1i + 2 X2i + i

Model penduga: Ŷi = b0 + b1 X1i + b2 X2i
b0, b1 dan b2 nilai penduga untuk 0, 1 dan 2.

(yi x1i) (x22i ) – (yi x2i) (x1i x2i)

b1 =
(x21i ) (x22i ) – (x1i x2i)2

(yi x2i) (x21i ) – (yi x1i) (x1i x2i)

b2 =
(x21i ) (x22i ) – (x1i x2i)2

b0 = Yi – b1X1i – b2 X2i
1. Membuat Persamaan Regresi Berganda dengan Dua Pridektor
a) Membuat Tabel Penolong
b) Menerapkan metode skor deviasi
c) Mencari nilai-nilai konstanta
d) Menentukan persamaan regresi dengan dua variabel bebas
e) Mencari korelasi berganda
f) Mencari koefisien determinasi
 
No X₁ X₂ Y X₁² X₂² Y² X₁ Y X₂ Y X₁
X₂
1
2
3
 
 
 
2. Uji hipotesis Berganda Dua Prediktor
 
 
 
 
 
 Menaksir Koefisien Regresi Dengan
Menggunakan Matriks
Dari hasil Metode Kuadrat Terkecil didapatkan persamaan
normal :

nb0  b1  X 1i  b2  X 2i ...  bk  X ki   Yi

b0  X 1i  b1  X 1i b2  X 1i X 2i ...  bk  X 1i X ki   X 1iYi

2

…..

b0  X ki  b1  X ki X 1i b2  X ki X 2i ...  bk  X ki   X kiYi

2
 Menaksir Koefisien Regresi Dengan
Menggunakan Matriks
Tahapan perhitungan dengan matriks :
1. Membentuk matriks A, b dan g

 n  X1i  X 2i ...  X ki 
 
  1i  X1i X 2i  X1i X ki 
2
 X 1i X ...
A
 ... ... ... ... ... 
 
 X ki  X ki X1i  X ki X 2i  X ki
2
... 
Menaksir Koefisien Regresi Dengan
Menggunakan Matriks

b0   g 0   Yi 
b   
b  1
g  g 1   X 1iYi

 ...   ... 
   
bk   g k   X kiYi 
 Menaksir Koefisien Regresi Dengan
Menggunakan Matriks

2. Membentuk persamaan normal dalam bentuk

matriks
Ab=g

3. Perhitungan matriks koefisien b

b = A-1 g
 Metode Pendugaan Parameter
Regresi
Dengan Metode Kuadrat Terkecil, misalkan model terdiri dari 2
variabel nbebas n
 ei    Yi  b0  b1 X 1i  b2 X 2i 
2 2

i 1 i 1

Tahapan pendugaannya :
1. Dilakukan turunan pertama terhadap b0 , b1 dan b2

  ei
2

 2 Yi  b0  b1 X 1i  b2 X 2i 
b0

  ei
2

 2 Yi  b0  b1 X 1i  b2 X 2i  X 1i
b1

  ei
2
  2 Y  b  b X  b2 X 2i  X 2i
i 0 1 1i
b2
 Metode Pendugaan Parameter
Regresi
2. Ketiga persamaan hasil penurunan disamakan dengan
nol
nb0  b1  X i1  b2  X i 2   Yi

b0  X 1i  b1  X i1  b2  X 1i X i 2   X 1iYi
2

b0  X 2i  b1  X i1 X 2i  b2  X i 2   X 2iYi
2
 Metode Pendugaan Parameter
Regresi
3. Nilai b1 dan b2 dapat diperoleh dengan memakai aturan-
aturan dalam matriks
 n 2 
n
  n  n 
  X 2   X 1Y     X 1 X 2   X 2Y 
b1   i 1  i 1   i 1  i 1
2

 n 2  n   n

  X 1   X 2     X 1 X 2 
2

 i 1  i 1   i 1 
 n 2 
n
  n  n 
  X 1   X 2Y     X 1 X 2   X 1Y 
b2   i 1  i 1   i 1  i 1
2

 n  n
  n

  X 1   X 2     X 1 X 2 
2 2

 i 1  i 1   i 1 
b0  Y  b1 X 1  b2 X 2
 Koefisien Determinasi

 (Ŷi - Y)2  i2

1= +
 (Yi - Y)2  (Yi - Y)2

 (Ŷi - Y)2 Atau:

r2 =
 (Yi - Y)2  xi2
r2 = 22
Atau  yi2
 i 2
= 1–
 (Yi - Y)2
 (xi yi) 2
=
 xi 2  y i 2
 Uji Kecocokan Model
1. Dengan Koefisien Determinasi
2 JKR
R 
JKT
R2 menunjukkan proporsi variasi total dalam respon Y yang
dapat diterangkan oleh model

R2  r
r merupakan koefisien korelasi antara Y dengan kelompok
X1 , X2 , X 3 , … , X k
 Uji Kecocokan Model

2. Dengan Pendekatan Analisis Ragam

Tahapan Ujinya :
3. Hipotesis =
H0 :   0
H1 :   0
dimana
 = matriks [ 0, 1, 2, … , k ]
 Uji Kecocokan Model
2. Tabel Analisis Ragam

Komponen SS db MS Fhitung
Regresi
Regresi JKR k JKR / k JKR /k
s2
Galat JKG n – k – 1 s2 = JKG / n-k-1
Total JKT n – 1
 Uji Kecocokan Model

3. Pengambilan Keputusan

H0 ditolak jika Fhitung > Ftabel(1 , n-k-1)

pada taraf kepercayaan 
 Uji Parsial Koefisien Regresi

Tahapan Ujinya :
1. Hipotesis =
H0 : j  0
H1 : j  0
dimana j merupakan koefisien yang akan diuji
 Uji Parsial Koefisien Regresi
2. Statistik uji :

bj   j
t
s c jj
Dimana :
bj = nilai koefisien bj
s =
cjj = nilai matriks A-1 ke-jj JKG / n  k  1
 Uji Parsial Koefisien Regresi

3. Pengambilan keputusan

H0 ditolak jika thitung > t /2(db= n-k-1)

pada taraf kepercayaan 
 Pemilihan Model Terbaik

1. All Possible Regression

Tahapan pemilihan :
i. Tuliskan semua kemungkinan model regresi dan
kelompokkan menurut banyaknya variabel bebas
ii. Urutkan model regresi menurut besarnya R2
iii. Periksalah untuk setiap kelompok apakah terdapat
suatu pola variabel yang konsisten
iv. Lakukan analisa terhadap kenaikan R2 pada tiap
kelompok
 Pemilihan Model Terbaik
Contoh :
Akan dianalisis model regresi yang terdiri dari 4 variabel bebas
Pembagian kelompoknya
Y   0 A terdiri dari koefisien intersep
Kelompok
Y   Kelompok
  X B terdiri dari 1 variabel bebas
0 i i
Y  0  i X i   j X j Kelompok C terdiri dari 2 variabel bebas

Y  0  i X i   j X j   k X k
Kelompok D terdiri dari 3 variabel bebas

Y  0  1 X1   2 X 2  3 X 3  4 X 4
Kelompok E terdiri dari 4 variabel bebas
 Pemilihan Model Terbaik
Persamaan regresi yang menduduki posisi utama dalam setiap
kelompok adalah

Kelompok Model Regresi R2

B Y = f(X4) 67,5%
C Y = f(X1 , X2) 97,9%
Y = f(X1 , X4) 97,2%
D Y = f(X1 , X2 , X4) 98,234%
E Y = f(X1 , X2 , X3, X4) 98,237%
Persamaan terbaiknya adalah Y = f(X1 , X4)
 Pemilihan Model Terbaik

2. Backward Elimination Procedur

Tahap pemilihannya :
i. Tuliskan persamaan regresi yang mengandung semua
variabel
ii. Hitung nilai t parsialnya
iii. Banding nilai t parsialnya
a. Jika tL < tO maka buang variabel L yang menghasilkan tL,
kemudian hitung kembali persamaan regresi tanpa
menyertakan variabel L
b. Jika tL > tO maka ambil persamaan regresi tersebut
 Pemilihan Model Terbaik
Contoh :
Akan dianalisis model regresi yang terdiri dari 4 variabel bebas
Model regresi yang mengandung semua variabel bebas
Y   0  1 X 1   2 X 2   3 X 3   4 X 4
Persamaan Regersi t parsial F
Y = f(X1,X2,X3,X4) 157,266*
Model terbaiknya
X1 4,337*
Y = f(X1,X2)
X2 0,497*
X3 0,018
X4 0,041*
Y = f(X1,X2,X4) 166,83*
X1 154,008*
X2 5,026*
X4 1,863
Y = f(X1,X2) 229,5*
 Pemilihan Model Terbaik
3. Stepwise Regression Procedur
Tahap pemilihannya :
i. Hitung korelasi setiap variabel bebas terhadap variabel Y. Variabel
bebas dengan nilai korelasi tertinggi masukkan dalam model regresi
(syarat uji F menunjukkan variabel ini berpengaruh nyata)
ii. Hitung korelasi parsial setiap variabel bebas tanpa menyertakan
variabel bebas yang telah mauk model. Masukkan variabel bebas
dengan korelasi parsial tertinggi ke dalam model
iii. Hitung nilai t parsial variabel yang telah masuk model, jika tidak
berpengaruh nyata keluarkan dari model
iv. Kembali ke langkah ii
 Pemilihan Model Terbaik

Contoh :
Akan dianalisis model regresi yang terdiri dari 4 variabel bebas
 Model Variabel Korelasi t parsial F
riy 0,731
r2y 0,816
r3y -0,535
r4y -0,821
Y = f(X4) 22,798*
Model terbaik r1y.4 0,915

Y = f(X1 , X2) r2y.4 0,017

r3y.4 0,801
Y = f(X1,X4) 176,627*
r2y.14 0,358 X1 = 108,223*
r3y.14 0,320 X4 = 159,295*
Y = f(X1, X2,X4) 166,832*
X1 = 154,008*
X2 = 5,026*
X4 = 1,863
r3y.124 0,002
TERIMA
KASIH