Regresi Linier Berganda

1
 Asumsi Analisis Regresi Linier

1. Data Y berskala minimal interval

Data X berskala minimal nominal
(jika data X berskala nominal / ordinal
harus menggunakan bantuan variabel
dummy)
2. Existensi untuk setiap nilai dari variabel x
yang tetap, y adalah variabel random
dengan distribusi probabilitas tertentu
yang mempunyai mean dan varians.

2
 Asumsi Analisis Regresi Linier

3. Nilai y secara statistik saling bebas

4. Linieritas, nilai rata-rata y adalah sebuah
fungsi garis lurus dari x
5. Homoscedasticity. Varians dari y adalah
sama pada beberapa x
6. Distribusi normal pada beberapa nilai
tertentu x, y mempunyai distribusi normal

3
 Asumsi Analisis Regresi Linier

4
 Asumsi Analisis Regresi Linier

5
 Regresi Linier
Berganda
Model regresi linier berganda melibatkan lebih dari satu
variabel bebas. Modelnya :
Y   0  1 X 1   2 X 2  ...   k X k
Dimana
Y = variabel terikat
Xi = variabel bebas ( i = 1, 2, 3, …, k)
0 = intersep
i = koefisien regresi ( i = 1, 2, 3, …, k)
Model penduganya adalah
Y  b0  b1 X 1  b2 X 2  ...  bk X k

6
 Regresi Linier
Berganda
Misalkan model regresi dengan kasus 2
peubah bebas X1 dan X2 maka modelnya :
Y   0  1 X 1   2 X 2

  X1i , X 2i ; Yi  ; i  1, 2 ,..., n
Sehingga setiap pengamatan
Akan memenuhi persamaan
Y   0  1 X 1   2 X 2   i

7
 Menaksir Koefisien Regresi
Dengan Menggunakan
Matriks
Dari hasil Metode Kuadrat Terkecil didapatkan
persamaan normal :

nb0  b1  X1i  b2  X 2i ...  bk  X ki   Yi

b0  X 1i  b1  X 1i b2  X 1i X 2i ...  bk  X 1i X ki   X 1iYi

2

…..

b0  X ki  b1  X ki X 1i b2  X ki X 2i ...  bk  X ki   X kiYi

2

8
 Menaksir Koefisien Regresi
Dengan Menggunakan
Matriks
Tahapan perhitungan dengan matriks :
1. Membentuk matriks A, b dan g

 n  X1i  X 2i ...  X ki 
 
  X1i  X1i X 2i  X1i X ki 
2
 X 1i ...
A
 ... ... ... ... ... 
 
 X ki  X ki X1i  X ki X 2i  X ki
2
... 

9
 Menaksir Koefisien Regresi
Dengan Menggunakan Matriks

b0   g 0   Yi 
b   
b  1
g  g 1   X 1iYi

 ...   ... 
   
bk   g k   X kiYi 

10
 Menaksir Koefisien Regresi
Dengan Menggunakan Matriks

2. Membentuk persamaan normal dalam

bentuk matriks
Ab=g

3. Perhitungan matriks koefisien b

b = A-1 g

11
 Metode Pendugaan
Parameter Regresi
Dengan Metode Kuadrat Terkecil, misalkan model terdiri
dari 2 variabel
n n bebas
 ei    Yi  b0  b1 X1i  b2 X 2i 
2 2

i 1 i 1

Tahapan pendugaannya :
1. Dilakukan turunan pertama terhadap b0 , b1 dan b2
  ei  2

 2 Yi  b0  b1 X 1i  b2 X 2i 
b0

  ei
2

 2 Yi  b0  b1 X 1i  b2 X 2i  X 1i
b1

  ei
2

 2 Yi  b0  b1 X 1i  b2 X 2i  X 2i
12 b2
 Metode Pendugaan
Parameter Regresi
2. Ketiga persamaan hasil penurunan
disamakan dengan nol
nb0  b1  X i1  b2  X i 2  Yi
b0  X1i  b1  X i1  b2  X1i X i 2   X1iYi
2

b0  X 2i  b1  X i1 X 2i  b2  X i 2   X 2iYi
2

13
 Metode Pendugaan
Parameter Regresi
3. Nilai b1 dan b2 dapat diperoleh dengan
memakai aturan-aturan dalam matriks
 n 2 
n
  n  n 
  X 2   X 1Y     X 1 X 2   X 2Y 
b1   i 1  i 1   i 1  i 1
2

 n 2  n   n

  X 1   X 2     X 1 X 2 
2

 i 1  i 1   i 1 
 n 2  n   n  n 
  X 1   X 2Y     X 1 X 2   X 1Y 
b2   i 1  i 1   i 1  i 1
2

 n 2  n   n

  X 1   X 2     X 1 X 2 
2

 i 1  i 1   i 1 
b0  Y  b1 X1  b2 X 2
14
 Uji Kecocokan Model
1. Dengan Koefisien Determinasi
2 JKR
R 
JKT
R2 menunjukkan proporsi variasi total dalam
respon Y yang dapat diterangkan oleh model

R2  r
r merupakan koefisien korelasi antara Y
dengan kelompok X1 , X2 , X3 , … , Xk
15
 Uji Kecocokan Model

2. Dengan Pendekatan Analisis Ragam

Tahapan Ujinya :
3. Hipotesis =
H0 :   0
H1 :   0
dimana
 = matriks [ 0, 1, 2, … , k ]

16
 Uji Kecocokan Model
2. Tabel Analisis Ragam

Komponen SS db MS Fhitung
Regresi
Regresi JKR k JKR / k JKR /k
s2
Galat JKG n – k – 1 s2 = JKG / n-k-1
Total JKT n – 1

17
 Uji Kecocokan Model

3. Pengambilan Keputusan

Fhitung > Ftabel(1 , n-k-1)

H0 ditolak jika
pada taraf kepercayaan 

18
 Uji Parsial Koefisien
Regresi

Tahapan Ujinya :
1. Hipotesis =
H 0 : j  0
H 1 : j  0
dimana j merupakan koefisien yang akan
diuji

19
 Uji Parsial Koefisien
Regresi
2. Statistik uji :

bj   j
t
s c jj
Dimana :
bj = nilai koefisien bj
s = JKG / n  k  1
cjj = nilai matriks A-1 ke-jj

20
 Uji Parsial Koefisien
Regresi

3. Pengambilan keputusan

thitung > t /2(db= n-k-1)

H0 ditolak jika
pada taraf kepercayaan 

21
 Pemilihan Model Terbaik

1. All Possible Regression

Tahapan pemilihan :
i. Tuliskan semua kemungkinan model
regresi dan kelompokkan menurut
banyaknya variabel bebas
ii. Urutkan model regresi menurut besarnya
R2
iii. Periksalah untuk setiap kelompok apakah
terdapat suatu pola variabel yang
konsisten
iv. Lakukan analisa terhadap kenaikan R2
22 pada tiap kelompok
 Pemilihan Model Terbaik
Contoh :
Akan dianalisis model regresi yang terdiri dari 4 variabel bebas
Pembagian kelompoknya

Y  Kelompok
0
A terdiri dari koefisien intersep

Y  0   i XBi terdiri dari 1 variabel bebas

Kelompok

Y   0  i X i   j X j Kelompok C terdiri dari 2 variabel bebas

Y   0  i X i   j X j   k X k
Kelompok D terdiri dari 3 variabel bebas
Y  0  1 X 1   2 X 2  3 X 3   4 X 4
Kelompok E terdiri dari 4 variabel bebas

23
 Pemilihan Model Terbaik
Persamaan regresi yang menduduki posisi utama
dalam setiap kelompok adalah

Kelompok Model Regresi R2

B Y = f(X4) 67,5%
C Y = f(X1 , X2) 97,9%
Y = f(X1 , X4) 97,2%
D Y = f(X1 , X2 , X4) 98,234%
E Y = f(X1 , X2 , X3, X4) 98,237%
Persamaan terbaiknya adalah Y = f(X1 , X4)
24
 Pemilihan Model Terbaik

2. Backward Elimination Procedur

Tahap pemilihannya :
i. Tuliskan persamaan regresi yang
mengandung semua variabel
ii. Hitung nilai t parsialnya
iii. Banding nilai t parsialnya
a. Jika tL < tO maka buang variabel L yang
menghasilkan tL, kemudian hitung kembali
persamaan regresi tanpa menyertakan variabel L
b. Jika tL > tO maka ambil persamaan regresi
tersebut

25
 Pemilihan Model Terbaik
Contoh :
Akan dianalisis model regresi yang terdiri dari 4 variabel
bebas
Y   0 regresi
Model  1 X 1 yang
2 X 2  3 X 3   4 X 4 semua variabel bebas
mengandung
Persamaan Regersi t parsial F
Y = f(X1,X2,X3,X4) 157,266*
X1 4,337*
Model terbaiknya
X2 0,497*
Y = f(X1,X2)
X3 0,018
X4 0,041*
Y = f(X1,X2,X4) 166,83*
X1 154,008*
X2 5,026*
X4 1,863
26 Y = f(X1,X2) 229,5*
 Pemilihan Model Terbaik
3. Stepwise Regression Procedur
Tahap pemilihannya :
i. Hitung korelasi setiap variabel bebas terhadap variabel
Y. Variabel bebas dengan nilai korelasi tertinggi
masukkan dalam model regresi (syarat uji F
menunjukkan variabel ini berpengaruh nyata)
ii. Hitung korelasi parsial setiap variabel bebas tanpa
menyertakan variabel bebas yang telah mauk model.
Masukkan variabel bebas dengan korelasi parsial
tertinggi ke dalam model
iii. Hitung nilai t parsial variabel yang telah masuk model,
jika tidak berpengaruh nyata keluarkan dari model
iv. Kembali ke langkah ii
27
 Pemilihan Model
Terbaik

Contoh :
Akan dianalisis model regresi yang terdiri dari 4
variabel bebas

28
 Model Variabel Korelasi t parsial F
riy 0,731
r2y 0,816
r3y -0,535
r4y -0,821
Y = f(X4) 22,798*
Model terbaik r1y.4 0,915

Y = f(X1 , X2) r2y.4 0,017

r3y.4 0,801
Y = f(X1,X4) 176,627*
r2y.14 0,358 X1 = 108,223*
r3y.14 0,320 X4 = 159,295*
Y = f(X1, X2,X4) 166,832*
X1 = 154,008*
X2 = 5,026*
X4 = 1,863
29 r3y.124 0,002