Regresi Linier Berganda

Asumsi Analisis Regresi Linier

1. Data Y berskala minimal interval
Data X berskala minimal nominal
(jika data X berskala nominal / ordinal
harus menggunakan bantuan variabel
dummy)
2. Existensi untuk setiap nilai dari variabel x
yang tetap, y adalah variabel random
dengan distribusi probabilitas tertentu
yang mempunyai mean dan varians.
2

Asumsi Analisis Regresi Linier

3. Nilai y secara statistik saling bebas
4. Linieritas, nilai rata-rata y adalah sebuah
fungsi garis lurus dari x
5. Homoscedasticity. Varians dari y adalah
sama pada beberapa x
6. Distribusi normal pada beberapa nilai
tertentu x, y mempunyai distribusi normal
3

Asumsi Analisis Regresi Linier

Asumsi Analisis Regresi Linier

Regresi Linier Berganda

Model regresi linier berganda melibatkan lebih dari satu variabel
bebas. Modelnya :

Y 0 1 X 1 2 X 2 ... k X k

Dimana
Y = variabel terikat
Xi = variabel bebas ( i = 1, 2, 3, , k)

0 = intersep
i = koefisien regresi ( i = 1, 2, 3, , k)
Model penduganya adalah

Y b0 b1 X 1 b2 X 2 ... bk X k
6

Regresi Linier Berganda

Misalkan model regresi dengan kasus 2 peubah
bebas X1 dan X2 maka modelnya :

Y 0 1 X 1 2 X 2
Sehingga setiap pengamatan X 1i , X 2i ; Yi ; i 1, 2 ,..., n
Akan memenuhi persamaan

Y 0 1 X 1 2 X 2 i
7

Menaksir Koefisien Regresi

Dengan Menggunakan Matriks
Dari hasil Metode Kuadrat Terkecil didapatkan
persamaan normal :
nb0

b1 X 1i

b2 X 2i

... bk X ki Yi

b0 X 1i b1 X 1i b2 X 1i X 2i ... bk X 1i X ki X 1iYi
2

..

b0 X ki b1 X ki X 1i b2 X ki X 2i ... bk X ki X kiYi
2

Menaksir Koefisien Regresi

Dengan Menggunakan Matriks
Tahapan perhitungan dengan matriks :
1.
Membentuk matriks A, b dan g

X1i

...

X ki
9

X1i
2
X1i

...
X ki X1i

X 2i
X1i X 2i

...
X ki X 2i

...
...
...
...

X ki

X1i X ki
...
2
X ki

Menaksir Koefisien Regresi

Dengan Menggunakan Matriks

...

bk

10

g 0 Yi

g1 X 1iYi

...

b0
b
1

g k X kiYi

Menaksir Koefisien Regresi

Dengan Menggunakan Matriks
2.

Membentuk persamaan normal dalam

bentuk matriks
Ab=g

3.

Perhitungan matriks koefisien b

b = A-1 g

11

Metode Pendugaan Parameter

Regresi
Dengan Metode Kuadrat Terkecil, misalkan model terdiri dari 2
variabel bebas
n

ei
i 1

Yi b0 b1 X 1i b2 X 2i

i 1

Tahapan pendugaannya :
1. Dilakukan turunan pertama terhadap b0 , b1 dan b2

ei
2 Yi b0 b1 X 1i b2 X 2i
b0
2
ei
2 Yi b0 b1 X 1i b2 X 2i X 1i
b1
2

12

ei
2 Yi b0 b1 X 1i b2 X 2i X 2i
b2
2

Metode Pendugaan
Parameter Regresi
2. Ketiga persamaan hasil penurunan disamakan
dengan nol
nb0 b1 X i1 b2 X i 2 Yi
b0 X 1i b1 X i1 b2 X 1i X i 2 X 1iYi
2

b0 X 2i b1 X i1 X 2i b2 X i 2 X 2iYi
2

13

Metode Pendugaan
Parameter Regresi
3. Nilai b1 dan b2 dapat diperoleh dengan memakai
aturan-aturan dalam matriks

b1

b2

X 2 X1Y X1 X 2 X 2Y
i 1
i 1
i 1
i 1

2
n 2 n
2 n

X 1 X 2 X 1 X 2
i 1
i 1
i 1

n
n
n
n

2
X

X
Y

X
X

X
Y
1 2 1 2 1
i 1
i 1
i 1
i 1

2
n 2 n
2 n

X 1 X 2 X 1 X 2
i 1
i 1
i 1

b0 Y b1 X 1 b2 X 2
14

Uji Kecocokan Model

1.

Dengan Koefisien Determinasi

JKR
R
JKT
2

R2 menunjukkan proporsi variasi total dalam respon Y

yang dapat diterangkan oleh model

R2 r
r merupakan koefisien korelasi antara Y dengan
kelompok X1 , X2 , X3 , , Xk
15

Uji Kecocokan Model

Dengan Pendekatan Analisis Ragam
Tahapan Ujinya :
1. Hipotesis =
H0 : 0
2.

H1 : 0
dimana
= matriks [ 0, 1, 2, , k ]
16

Uji Kecocokan Model

2.

Tabel Analisis Ragam

Komponen
Regresi

SS

db

MS

Fhitung

Regresi

JKR

JKR / k

JKR /k
s2

Galat

JKG n k 1

Total

JKT

17

n1

s2 = JKG / n-k-1

Uji Kecocokan Model

3.

Pengambilan Keputusan

H0 ditolak jika

Fhitung > Ftabel(1 , n-k-1)

pada taraf kepercayaan

18

Uji Parsial Koefisien Regresi

Tahapan Ujinya :
1. Hipotesis =
H 0 : j 0
H 1 : j 0
dimana j merupakan koefisien yang akan
diuji

19

Uji Parsial Koefisien Regresi

2. Statistik uji :

bj j
s c jj

Dimana :
bj = nilai koefisien bj
JKG / n k 1
s =
cjj = nilai matriks A-1 ke-jj
20

Uji Parsial Koefisien Regresi

3. Pengambilan keputusan
H0 ditolak jika

thitung > t /2(db= n-k-1)

pada taraf kepercayaan

21

Pemilihan Model Terbaik

1.

All Possible Regression

Tahapan pemilihan :
i.
Tuliskan semua kemungkinan model regresi dan
kelompokkan menurut banyaknya variabel bebas
ii.
Urutkan model regresi menurut besarnya R 2
iii.
Periksalah untuk setiap kelompok apakah
terdapat suatu pola variabel yang konsisten
iv.
Lakukan analisa terhadap kenaikan R 2 pada tiap
kelompok
22

Pemilihan Model Terbaik

Contoh :
Akan dianalisis model regresi yang terdiri dari 4 variabel bebas
Pembagian kelompoknya
Kelompok
Y 0 A terdiri dari koefisien intersep
Kelompok B terdiri dari 1 variabel bebas

Y 0 i X i
Y 0 i X i Kelompok
j X j C terdiri dari 2 variabel bebas
Y 0 i X i Kelompok
j X j D kterdiri
X k dari 3 variabel bebas
Y 0 1 X 1 Kelompok
2 X 2 Eterdiri
4 X4 4variabel bebas
3 X 3 dari
23

Pemilihan Model Terbaik

Persamaan regresi yang menduduki posisi utama
dalam setiap kelompok adalah

Kelompok
Model Regresi
B
Y = f(X4)
C
D
E

R2
67,5%

Y = f(X1 , X2)

97,9%

Y = f(X1 , X4)

97,2%

Y = f(X1 , X2 , X4)

98,234%

Y = f(X1 , X2 , X3, X4) 98,237%

Persamaan terbaiknya adalah Y = f(X1 , X4)
24

Pemilihan Model Terbaik

2.

Backward Elimination Procedur

Tahap pemilihannya :
i.
Tuliskan persamaan regresi yang mengandung
semua variabel
ii.
Hitung nilai t parsialnya
iii.
Banding nilai t parsialnya
a.

b.
25

Jika tL < tO maka buang variabel L yang menghasilkan

tL, kemudian hitung kembali persamaan regresi tanpa
menyertakan variabel L
Jika tL > tO maka ambil persamaan regresi tersebut

Pemilihan Model Terbaik

Contoh :
Akan dianalisis model regresi yang terdiri dari 4 variabel bebas
Model regresi yang mengandung semua variabel bebas

Y 0 1 X 1 2 X 2 3 X 3 4 X 4

Persamaan Regersi

Model terbaiknya

t parsial

Y = f(X1,X2,X3,X4)

Y = f(X1,X2)

157,266*

X1

4,337*

X2

0,497*

X3

0,018

X4

0,041*

Y = f(X1,X2,X4)

26
Y = f(X1,X2)

166,83*
X1

154,008*

X2

5,026*

X4

1,863
229,5*

Pemilihan Model Terbaik

3.

Stepwise Regression Procedur

Tahap pemilihannya :
i. Hitung korelasi setiap variabel bebas terhadap variabel Y. Variabel
bebas dengan nilai korelasi tertinggi masukkan dalam model
regresi (syarat uji F menunjukkan variabel ini berpengaruh nyata)
ii. Hitung korelasi parsial setiap variabel bebas tanpa menyertakan
variabel bebas yang telah mauk model. Masukkan variabel bebas
dengan korelasi parsial tertinggi ke dalam model
iii. Hitung nilai t parsial variabel yang telah masuk model, jika tidak
berpengaruh nyata keluarkan dari model
iv. Kembali ke langkah ii

27

Pemilihan Model Terbaik

Contoh :
Akan dianalisis model regresi yang terdiri dari 4 variabel
bebas

28

Model

Variabel

Korelasi

riy

0,731

r2y

0,816

r3y

-0,535

r4y

-0,821

t parsial

Y = f(X4)

22,798*

Model terbaik

r1y.4

0,915

Y = f(X1 , X2)

r2y.4

0,017

r3y.4

0,801

Y = f(X1,X4)

176,627*
r2y.14

0,358

X1 = 108,223*

r3y.14

0,320

X4 = 159,295*

Y = f(X1, X2,X4)

166,832*
X1 = 154,008*
X2 = 5,026*

29

X4 = 1,863