Analisis Regresi

1. Pengertian Analisis Regresi

Dalam ilmu statistika analisis regresi merupakan sebuah metode untuk mengetahui
hubungan antara variable bebas dan variable tak bebas yang bersifat fungsional,
dimana dituliskan dalam model matematis.

2. Model Persamaan Regresi

a. Persamaan Linier
1) Persamaan Linier Sederhana Y=aX+b
2) Persamaan Linier Berganda Y=a1X1+ a2X2+a3X3+…+b
3) Persamaan Semi Logaritma Y=a+blog(X)
b. Persamaan Non-Linier
1) Persamaan Kuadrat Y=aX2+bX+C
2) Persamaan Hiperbola Y=X(a+bX)
3) Persamaan Exponensial Y=aebx
4) Persamaan Logaritma Y=abx
5) Persamaan Log-Kuadratik Y=exp(aX2+bX=C)
3. Regresi Linier Sederhana
a. Model Persamaan Regresi

μ ( Y |X )= β0 + β 1 X

b. Estimasi Parameter Model

μ ( Y |X )= β0 + β 1 X ^μ ( Y |X ) = ^β 0+ β^ 1 X Y =a+bX

c. Metode Least Square untuk Menhitung Koefisien Regresi

∑ ( X 1− X ) ( Y 1−Y )
^β 1= i=1 ∧ β^ 0 =Y − ^β1 X
n
2
∑ ( X 1− X )
i =1
 n ∑ X i Y i−( ∑ X i )( ∑ Y i )
b= 2
2
n ∑ X i −(∑ X i )

b=Y −b X

d. Selisih Nilai Prediksi dengan Nilai

Pengamatan diisebut Residual

resi =Y i−^μ ( Y i|X i ) =Y i−( ^β0 + ^β 1 X i)

n n

∑ ( resi )2=∑ ( Y i−( ^β 0 + ^β 1 X i )) → SSE

i=1 i=1

e. Variasi dari variable

Respon/Terikat/Dependent

σ ( Y |X )=σ

SSE
σ=
√ n−2
=√ MSE

∑ ( y i− y )2=∑ ( y i−^y i )2 + ∑ ( ^y i − y i )2
atau
SS y =SSE+ SSR

f. Tabel Anova

SS y −SSE SSE
r 2= =1−
g. Model Terbaik SS y SS y
1) Standart error yang kecil yaitu
<10%
2) Nilai r2 besar yaitu >80%
3) Koefisien regresi yang signifikan, yakni pada level 1% atau 5%
 h. Asumsi-asumsi
1) Linieraitas adalah adanya hubungan yang bersifat liner Antara variable
respond an variable predictor
2) Varians konstan yaitu homogenitas varians
3) Nprmalitas yaitu data yang berdistrinusi normal
4) Independence merupakan hubungan Antara variable yang harus saling bebas
i. Pengujian Parameter Koefisien Regresi
1) Pengujian serentak

H 0 : β 0 . β 1=0 ; H 1 : β 0 . β 1 ≠ 0
2) Pengujian Individu

H 0 : β 0=0
H 0 : β1 =0
H 1: β0 ≠ 0
H1: β1 ≠ 0

4. Anareg Linier Sederhana

(1Prediktor)
a. Desain Penelitian
Menggunakan Persamaan
Sampel Y^ =a+b X 1
Populasi Y =α + β X 1
b. Penghitungan koefisien a dan b

( ∑ Y ) ( ∑ X 2 )−( ∑ X )( ∑ X .Y )
a=
¿¿
( ∑ X . Y )−( ∑ X )( ∑ Y )
b= ¿¿

c. Uji Sig Garis Regresi

H0 : Garis regresi tidak signifikan
H1 : Garis regresi yang signifikan
Untuk menghitung JK(SS) menggunakan rumus :
JK(T)=JK(a)+JK(a | b)+JK(Res)

2
2 (∑ Y ) 2
∑Y =
n
+ b ∑ ( X −X ) ( Y −Y ) + ∑ ( Y −Y^ )

2
JK (T )=∑ Y
2
(∑ Y )
JK (a )=
n
Jk (b|a)=b ∑ ( X− X )( Y −Y )
2
JK( Res)=∑ ( Y −Y^ )

Menghitung KT (MS atau Rk)

JK ( a)
KT ( a)= ; db (a )=1
JK (b|a)

JK (b|a)
JK (b|a)=KT (reg )= ; db (b|a)=1
db(b|a )

JK ( Res )
KT ( Res )= ; db( Res) =n−2
db (Res )

KT (b|a)
F= ↔ F t 5 % (Ft 1% )
KT( Res)
d. Uji Sig Koefisien Prediktor (b)

b
t= ↔ t t 5 % (t t 1 %)
Sb

S 2Y . X
S2b = 2
; Sb =√ S 2b
( ∑ ( X− X ) )
1 X2
S2a =S 2X . Y
{ +
n ∑ ( X 1− X )2 }
; S a= √ Saa

2
2
S X .Y =Se =
2 ∑ ( Y −Y^ )
( n−2 )

(n−1) 2
S2X .Y =Se = ( SY −b2 . S2x )
(n−2)

e. Menghitung (β)

SY
b=β ( ) SX

b.SX
β=
Skor baku (β) dapat SY dihitung menggunakan rumus
sebagai berikut:

β=
∑ ZX . ZY
∑ X 2X
f. Koefisien Determinasi

JK ( Reg)
R 2=
∑ y2
5. Anareg Linier Ganda (2 Prediktor)
a. XDesain Penelitian

X1 X2

b. Persamaan Garis Regresi

Sampel Y^ =a+b1 X 1 +b 2 X 2
Populasi Y =α + β 1 X 1+ β2 X 2

6. Anareg Linier Ganda (3Pediktor)

a. Desain Penelitian
Sampel Y^ =a+b1 X 1 +b 2 X 2 +b 3 X 3
Populasi Y =α + β 1 X 1+ β2 X 2 + β 3 X 3
Angka Deviasi

x=( X −X ) ; y=( X−X )

y=b1 X 1+ b2 X 2 +b3 X 3
b. Pengujian Koefisien b1, b2, dan b3
Menguji koefisien b1, b2, dan b3 dapat dihitung dengn menggunakan tabel
pengujian
c. Uji Signifikansi Garis Regresi
H0 : Garis regresi tidak signifikan
H1 : Garis regresi yang signifikan

∑ x 1 y=b1 ∑ x 21+ b2 ∑ x1 x 2+ b3 ∑ x 1 x3
∑ x 2 y=b 1 ∑ x 1+ b2 ∑ x22 +b 3 ∑ x 2 x 3
∑ x 3 y=b 1 ∑ x 1 x 3 +b2 ∑ x 2 x 3 +b3 ∑ x 23
 2
2 2 ( ∑ X 1)
∑ x =∑ X −
1 1
n
2
2 2 ( ∑ X 2)
∑ x =∑ X −
2 2
n

2
2 2 (∑ X 3 )
∑ x =∑ X −
3 3
n

2
2 2 (∑ Y )
∑ y =∑ Y
1 1 −
n
 ( ∑ X 1)( ∑ X 2 )
∑ x 1 x2 = ∑ X 1 X 2 − n

( ∑ X 1 )( ∑ X 3 )
∑ x 1 x3 =∑ X 1 X 3− n

( ∑XX)()(∑∑XX) )
(∑
∑ x 2 x3 =∑ xX22xX3−3− 2 n2 n 3 3

(∑ X 1 ) (∑ Y )
∑ x 1 y=∑ X 1 Y − n

(∑ X 2 ) (∑ Y )
∑ x 2 y=∑ X 2 Y − n

Apabila (∑ X 3 ) (∑ Y ) koefisien b1, b2, dan

∑ x 3 y=∑ X 3 Y − n
b3 telah diketahui, maka
selanjutnya menghitung
kontanta a dengan rumus sebagai berikut:

y=b1 X 1+ b2 X 2 +b3 X 3
Yang mana:

x 1=( X 1−X 1 ) ; x 2=( X 2− X 2 ) ; x3 =( X 3− X 3 )

Y −Y =b 1 ( X 1−X 1 ) +b 2 ( X 2−X 2 ) +b 3 ( X 3−X 3 )

Atau
Y =b1 ( X 1−X 1) + b2 ( X 2− X 2 ) +b3 ( X 3 −X 3 ) +Y

Setelah
menyelesaikan persamaan diata, nantinya akan diperoleh konstanta a. Dengan
demikian persamaan regresi dapat diperoleh sebagai berikut:
 Y^ =b1 X 1+ b2 X 2 +b3 X 3
Menghitung JK (SS)
JK (T)=JK(a)+JK(a | b)+JK(Res)
JK(T)=⅀y2
JK(Reg)=b1⅀x1y+ b2⅀x2y+ b3⅀x3y+…+ bk⅀xky
Untuk regresi 3 prediktor, dapat dihitung menggunakan rumus sebagai berikut:
JK(Reg)=b1⅀x1y+ b2⅀x2y+ b3⅀x3y; dengan db=k
JK(Res)=JK(T)-JK(Reg)
Atau bisa menggunakan rumus:

2
JK( Res)=∑ ( Y −Y^ ) ; dengan db=n−k−1

Untuk
menghitung S2Y . X 1,2,3 berdasarkan Y^ =b1 X 1+ b2 X 2 +b3 X 3
Menghitung KT (MS atau RK)

JK ( Reg )
KT ( Reg )= ; db( Reg )=k
db (Reg )

JK ( Res )
KT ( Res )= ; db( Res) =n−1−k
db (Res )

KT ( Reg)
F= ↔ Ft 5 % ( Ft 1% )
KT ( Res )

d. Koefisien Determinasi (R2)

JK( Reg)
R 2=
∑ y2

e. Korelasi ganda Antara Y dengan X1,X2, dan X3

R=√ R 2
f. Uji Signifikansi Koefisien Prediktor (b)
Koefisien β1

Koefisien β2 H 0 : β1 =0 ; H 1 : β 1 ≠ 0

Koefisien β3 H 0 : β2 =0 ; H 2 : β 2 ≠ 0

H 0 : β3 =0 ; H 3 : β 3 ≠0

b
t= ↔ t t 5 % ( t t 1 % ) ; db=(n−k−1)
sb

2 s2Y . X 1,2,3 …k
s=
b
∑ x 2 (1−R 2i )
Disini diketahui Ri merupakan korelasi ganda
Antara variable predictor dengan variable predictor lainnya.

JK (Res)
S2Y . X 1,2,3 =
n−k−1
Uji Signifikansi Koefisien Prediktor
(b1)

2 s 2Y . X 1,2,3 b
s =
b1 2 2
; s b 1=√ s b ; t 2= 1 ; db=(n−k−1)
2

∑ x 1 (1−R x 1(x 2 x 3) ) 1
sb 1

Disini Rx1(x2x3) merupakan korelasi ganda Antara X1 dengan X2 dan X3.

Uji Signifikansi Koefisien Prediktor (b2)

 2 s 2Y . X 1,2,3 b
s =
b2 2 2
; s b 2=√ s b ; t 2= 2 ; db=(n−k−1)
2

∑ x 2 (1−R x 2(x 1 x 3) ) 2
sb 2

Disini Rx1(x2x3) merupakan korelasi ganda Antara X2 dengan X1 dan X3.

Uji Signifikansi Koefisien Prediktor (b3)

s2Y . X 1,2,3 b
s2b 3= 2 2
; s b 3= √ sb ; t 2= 3 ; db=(n−k −1)
2

∑ x 3 (1−R x 3(x 1 x 2) ) 3
sb 3

Disini Rx1(x2x3) merupakan korelasi ganda Antara X3 dengan X1 dan X2.

g. Menghitung (β)

SY
b=β ( )
SX

b.SX ∑ Z X ZY
β= atau β=
SY ∑ X 2x

b1 S X 1 b S b S
β 1= ; β 2= 2 X 2 ; β 3 = 3 X 3
SY SY SY