Analisis Regresi dan Korelasi Ganda

Model Regresi Ganda

Hubungan antara 1 variabel dependent dengan 2 atau lebih variabel independent merupakan fungsi linier
Population Y-intercept Population slopes Random Error

Yi = 0 + 1X1i + 2 X2i +L + k Xki + i Yi = b0 + b1 X1i + b2 X2i +L + bk Xki + ei

Variabel dependent (Response) untuk sampel Variabel independent (Explanatory) untuk model sampel Residual

Persamaan Regresi Ganda Linear

Terlalu sulit dilakukan manual Ouch!

Interpretasi Persamaan Regresi Ganda

Slope (bi)
Diestimasikan nilai rata-rata Y akan berubah untuk setiap kenaikan atau penurunan 1 unit Xi dimana variabel lainnya dianggap konstan (ceteris paribus) Contoh: Jika b1 = -2, maka Y akan turun sekitar 2 satuan untuk 1 satuan kenaikan X1 yang mana X2 dianggap tetap

Y-intercept (b0)
Estimasi rata-rata nilai Y jika seluruh nilai variabel Xi = 0

Cara Menghitung Persamaan Regresi Ganda

Pendekatan Persamaan Normal
b2 = x 2y x 2 x 3y x 2x 3 3

I.

x x
2 2
2 2

2 3

( x 2 x 3 )

b3 =

x 3y x 2 x 2y x 2x 3 2

x x

2 3

( x 2 x 3 )

b1 = Y b 2 X 2 b 3 X 3

Dengan:

x = X
2 2

2 2

( X )
2

(X )(Y) x y = X Y n
2 2 2

x2 = X2 3 3

( X )
3

(X )(Y) x y = X Y n
3 3 3

=Y

( Y )
n
2

x x =X X
2 3

2 3

(X )(X )
3

II.

b1 = b2 =

SS

(SCP ) SCP
1y 1

SS SS
1

(SS 2 ) (SCP 12 )
2y

12

(SCP )
2y 2

(SCP )
1

SCP

SS

(SS 2 ) (SCP 12 )

12

(SCP )
1y 2

a = Y b1 X 1 b 2 X 2
Dengan:
SS 1 = SS 2 =

2 x1 =

2 X1

( X )
1

x2 = 2

X2 2

( X )
2

SS

(
n
1

)
2

SCP 12 =
SCP 1y =

x2 =
y =

X2

( X )( X )
n

( X )( Y )
1

SCP 2y =

x 2y =

X2Y

( X )( Y )
2

Keterangan: SS1 = jumlah kuadrat deviasi x1 (SS, Sum Square) SS2 = jumlah kuadrat deviasi x2 (SS, Sum Square) SSy = jumlah kuadrat deviasi y (SS, Sum Square) SCP12 = jumlah perkalian silang antara deviasi x1 dan deviasi x2 =(SCP, Sum Cross Product) SCP1y = jumlah perkalian silang antara deviasi x1 dan deviasi y SCP2y = jumlah perkalian silang antara deviasi x2 dan deviasi y

Pendekatan Matriks
n X2 X3 X2 X22 X2X3 X3 X2X3 X32 A dengan:
A = H = b = Ab b = b1 b2 b3

b1 b2 = b3 b

Y X2Y X3Y H

Matriks (diketahui) Vektor kolom (diketahui) Vektor kolom (tidak diketahui), dapat dicari dengan: = H A-1 H (A-1 = invers dari matriks A) = det |A1| det |A| = det |A2| det |A| = det |A3| det |A|

Contoh:
Develop a model for estimating heating oil used for a single family home in the month of January based on average temperature and amount of insulation in inches.
0 Oil (Gal) Temp ( F) Insulation 275.30 40 3 363.80 27 3 164.30 40 10 40.80 73 6 94.30 64 6 230.90 34 6 366.70 9 6 300.60 8 10 237.80 23 10 121.40 63 3 31.40 65 10 203.50 41 6 441.10 21 3 323.00 38 3 52.50 58 10

Persamaan Regresi Ganda: Yi = b0 + b1 X 1i + b2 X 2i + L + bk X ki

Intercept X Variable 1 X Variable 2 Coefficients 562.1510092 -5.436580588 -20.01232067

Yi = 562.151 5.437 X 1i 20.012 X 2 i

Koefisien Determinasi Ganda

Proporsi dari total variasi Y yang dapat dijelaskan oleh seluruh variasi variabel X secara bersama

2 Y 12L k

SSR Explained Variation = = SST Total Variation

Pengujian Hipotesis Terhadap Koefisien Regresi secara Simultan (ANAVA)

Menunjukkan jika ada hubungan yang linear antara seluruh variabel X terhadap variabel Y secara bersamaan Menggunakan uji F Hipotesis:
H0: 1 = 2 = = k = 0 (tidak ada hub. linear) H1: at least one i 0 ( setidaknya ada satu variabel X yang mempengaruhi Y )

Nilai Uji Statistik:

MSR SSR ( all ) / p F= = MSE MSE ( all )

ANOVA

Contoh (dengan menggunakan output dari Excel):

df SS MS F Significance F 2 228014.6 114007.3 168.4712 1.65411E-09 12 8120.603 676.7169 14 236135.2

Regressio Residual Total

p = 2, the number of explanatory variables

p value
n-1

Jawaban:
H0: 1 = 2 = = p = 0 H1: Setidaknya satu variabel i 0
= .05 df = 2 and 12

Nilai uji statistik:

F =

168.47

Nilai kritis:
= 0.05

Keputusan: Tolak pada = 0.05 Kesimpulan: Terdapat bukti bahwa setidaknya ada 1 variabel X yang mempengaruhi Y

3.89

Pengujian Hipotesis untuk Variabel secara Individual

Menunjukkan apakah terdapat pengaruh yang linear antara variabel Xi dengan Y Menggunakan uji t Hipotesis:
H0: i = 0 (tidak ada pengaruh linear) H1: i 0 (terdapat pengaruh dari Xi terhadap Y)

Contoh Hasil nilai uji statistik (to) melalui Excel:

to untuk X1 (Temperature)
Intercept X Variable 1 X Variable 2 Coefficients Standard Error 562.1510092 21.09310433 -5.436580588 0.336216167 -20.01232067 2.342505227 t Stat 26.65093769 -16.16989642 -8.543127434

bi t= Sbi

to untuk X2 (Insulation)

Hasil Pengujian t test:

Apakah suhu berpengaruh terhadap konsumsi bulanan dari minyak? Uji pada = 0.05.
H0: 1 = 0 H1: 1 0 df = 12

Nilai Uji Statistik: t Test Statistic = -16.1699 Keputusan: Reject H0 at = 0.05 Kesimpulan: Terdapat bukti bahwa ada pengaruh antara suhu terhadap konsumsi bulanan minyak

Nilai kritis:
Tolak H
0

Tolak H

.025
-2.1788

.025 0 2.1788 t

Estimasi Pendugaan Interval untuk Koefisien Regresi

Buatlah pendugaan interval pada tingkat keyakinan 95% untuk 1 (efek dari suhu terhadap konsumsi minyak).
b1 t n
Coefficients 562.151009 Intercept X Variable 1 -5.4365806 X Variable 2 -20.012321
p 1

S b1

Lower 95% Upper 95% 516.1930837 608.108935 -6.169132673 -4.7040285 -25.11620102 -14.90844

-6.169 1 -4.704 Diperkirakan rata-rata konsumsi minyak akan menurun antara 4.7 gallons sampai dengan 6.17 gallons untuk setiap kenaikan 10 F.

Koefisien Korelasi Parsial

Korelasi antara variabel Y dengan variabel X2 jika X3 dianggap konstan
r12.3 =

(1 r )(1 r )
2 13 2 23

r12 r13 r23

Korelasi antara variabel Y dengan variabel X3 jika X2 dianggap konstan

r13.2 =

(1 r ) (1 r )
2 12 2 23

r13 r12 r 23

Korelasi antara variabel X2 dengan variabel X3 jika Y dianggap konstan

r23.1 =

(1 r )(1 r )
2 12 2 13

r23 r12 r13