MODEL REGRESI LINEAR SEDERHANA

Model regresi linear sederhana merupakan suatu model dengan

regressor (prediktor) tunggal x yang mempunyai hubungan dengan
respons y yaitu suatu garis lurus.

y = 0 + 1 x + 
Dimana, 0 = intercept (titik potong dengan sumbu tegak)
1 = slope (kemiringan)
 = galat acak

Dalam hal ini, 0 dan 1 disebut koefisien regresi.

Koefisien 0 dan 1 konstan dan tidak diketahui.

1
 Asumsi pada Analisis Regresi

Untuk dapat menggunakan model regresi linear sederhana, ada

beberapa asumsi yang harus dipenuhi, yaitu

E (i) = 0
Kesamaan Variansi, yaitu var (i) = 2 = var (yi)
... homoskedastisitas ... lawannya heteroskedastisitas
Kenormalan Galat, yaitu i  N (0 , 2)
Sampel Acak
Galat tidak Berkorelasi, yaitu cov (i , j) = 0
... non autokorelasi

Untuk keterangan masing-masing asumsi, dapat dilihat pada buku sumber (Sembiring, hal. 44 – 47).

yi = 0 + 1 xi + i
Mean Y

E(yi ) = E ( 0 + 1 xi + i )
E(yi ) = 0 + 1 xi + E(i ) ........ karena E(i) = 0
E(yi ) = 0 + 1 xi

Variansi Y

Var(yi ) = E [( yi  y )2 ] = E [( yi  E(yi ))2 ]

= E [((0 + 1 xi + i )  (0 + 1 xi ))2 ]
= E(i2 ) = E [(i  E(i ))2 ] = var (i ) = 2

Karena i  N (0 , 2) maka yi  N ((0 + 1 xi ), 2)

2
 ESTIMASI PARAMETER
MODEL REGRESI LINEAR SEDERHANA

1. Metode Kuadrat Terkecil (Ordinary Least Squares,OLS)

Parameter 0 dan 1 tidak diketahui dan harus diestimasi

menggunakan data sampel. Misalkan terdapat n pasang data, katakanlah

(y1 , x1) , (y2 , x2) , (y3 , x3) ... (yn , xn)

xi , yi merupakan bilangan yang berasal dari pengamatan.

0 dan 1 akan berubah bila garis regresinya berubah.

Jadi, dalam hal ini, 0 dan 1 dianggap berubah.

Pada Kalkulus, ini berarti mencari turunan terhadap 0 dan 1 .

Metode kuadrat terkecil digunakan untuk mengestimasi 0 dan 1 .

Dalam hal ini, akan diestimasi 0 dan 1 sehingga jumlah kuadrat
perbedaan antara observasi yi dan garis lurus adalah minimum
(artinya jumlah kuadrat dari galatnya minimum).

Perhatikan dua hal berikut ini.

y = 0 + 1 x + 
yi = 0 + 1 xi + i
Model pertama merupakan model regresi populasi.
Model kedua merupakan model regresi sampel dengan i = 1, 2, ..., n.

3
 n n
Misal S =  i =  (y   0  1 x i ) 2
2
i
i 1 i 1

Estimator kuadrat terkecil dari  0 dan  1 , katakanlah b0 dan b1 , haruslah memenuhi

S n

 0
= -2  (yi 1
i   0  1 x i ) = 0
b 0 , b1

S n

1
= -2  (yi 1
i   0  1 x i ) x i = 0
b 0 , b1

Dengan menyederhanakan kedua persamaan di atas, diperoleh

n n
n b0 + b1  i 1
xi = 
i 1
yi
n n n

  
2
b0 x i + b1 xi = yi x i
i 1 i 1 i 1

Kedua persamaan di atas disebut dengan persamaan normal kuadrat terkecil.

n n

 xi  yi
Misal x = i 1
dan y = i 1
. Maka
n n
n n

 i 1
xi 
i 1
yi
b0 + b1 =
n n
b0 + b1 x = y

b0 = y  b1 x

n n n
Perhatikan  y i x i  b1  x i  b0 
2
xi = 0
i 1 i 1 i 1
n n n

 y i x i  b1  x i  ( y  b1 x ) 
2
xi = 0
i 1 i 1 i 1
n n

n n  yi  xi n

 y i x i  b1  xi  ( i 1
 b1 i 1

2
) xi = 0
i 1 i 1 n n i 1

4
 2
 n  n
 xi   xi
x i   i 1  ) 
n n n

 y i x i  b1 (   i 1
2
yi = 0
i 1 i 1 n i 1 n

 n 
 x 
n
 n
 i 1 i 

i 1
x i yi   
 i 1
yi 
 n 
 
b1 =  
2
 n 
 xi 
  i 1 
n


2
xi
i 1 n


i 1
x i yi  n y x
b1 = n

  n x2
2
xi
i 1


i 1
x i y i  2n y x  n y x
b1 = n

  2n x 2  n x 2
2
xi
i 1

n n n


i 1
x i y i  x  y i  y x i  n y x
i 1 i 1
b1 = n n

  2x  x i  n x 2
2
xi
i 1 i 1

 (x
i 1
i  x )( y i  y)
b1 = n

 (x
i 1
i  x) 2

Dengan demikian, diperoleh model regresi linear taksiran (dugaan), yaitu

ŷ = b0 + b1 x
Perbedaan antara nilai observasi yi dan nilai ŷ i disebut suatu sisaan (residual), yaitu
ei = yi  ŷ i = yi  (b0 + b1 x) , i = 1, 2, ..., n

5
2. Metode Maksimum Likelihood (MML)

Karena i  N (0 , 2) maka dapat disusun fungsi Likehood sebagai berikut.

n
 1 2
exp 2 yi  0  1x i  
1
L(  0 , 1 , 2 | X) =  i 1 22  2 
 2 
2 
n n

 y   0  1 x i  
2 2 1
= exp  2
 2
i
i 1 
 1 n
2 
 y  0  1x i  
n n
Ln L (  0 , 1 , 2 | X) =  ln (2π)  ln 2   2
 2
i
2 2 i 1 
 Ln L
= 0
0 b , b1
0

 2 y  0  1x i (1) = 0
1

2 2
i
i 1

n n

i 1
y i = n b0 + b1  i 1
xi

b0 = y  b1 x

 Ln L
= 0
1 b , b1
0

 2 y  0  1x i ( x i ) = 0
1

2 2
i
i 1

n n n

  
2
y i x i = b0 x i + b1 xi
i 1 i 1 i 1

 n 
 x 
n
 n
 i 1 i 
 i 1
x i yi   
 i 1
yi 
 n 
 
b1 =  
2
 n 
 xi 
  i 1 
n


2
xi
i 1 n
6
  Ln L
= 0
2 b0 , b1 , ˆ
n

 y   0  1x i  = 0
n 1

2
+
2ˆ 2(ˆ 2 ) 2
2 i
i 1

n n

 y i   0  1x i  =
1 1
̂ 
2 2 2
= i
n i 1 n i 1

SIFAT-SIFAT ESTIMATOR

Gunanya : untuk menyelidiki apakah estimator b0 dan b1 memiliki sifat

BLUE (Best Linear Unbiased Estimator)

1. Linear terhadap y
n

 (x
i 1
i  x )( y i  y)
Perhatikan b1 = n

 (x
i 1
i  x) 2
n

 y i (x i  x) n
maka b1 = i 1
n
..................... Karena  y (x i  x) = 0
 (x
i 1
i  x) 2 i 1

n
(x i  x)
Maka b1 =  k i yi ................... Misalkan k = n
i 1
 (x
i 1
i  x) 2

Demikian juga halnya dengan

b0 = y  b1 x
1 n n
=  yi  x  k i yi
n i 1 i 1
n
1 
maka b0 = i 1
a i yi .................. Misalkan ai =   xk i 
n 

7
2. Unbiased

Suatu penduga dikatakan tak bias :

jika nilai harapannya sama dengan nilai parameter sebenarnya.

n n n n
Karena b1 = i 1
k i y i =  0  k i  1  k i x i   k i  i
i 1 i 1 i 1
dan
n

n  (x i  x)
 ki = i 1
n
= 0
i 1
 (x
i 1
i  x) 2

n  (x i  x) 2
 kixi = i 1
n
= 1
i 1
 (xi 1
i  x) 2

n
maka b1 = 1   k i  i
i 1
n
Akibatnya, E(b1) = E( 1   k i  i )
i 1
n
= E(1 )   k i E( i ) =  1
i 1

Dengan cara yang hampir sama, dapat ditunjukkan bahwa

E(b0) = 0

3. Best

Suatu penduga dikatakan terbaik

jika penduga tersebut memiliki nilai variansi terkecil

dibandingkan dengan penduga lain yang juga linear
dan tidak bias.

8
Perhatikan var (b1) = E ( b1   1 )2 .
2
n  n
Maka var (b1) = E  k i ( i ) ................... Karena b1 = 1   k i  i
 i 1  i 1
n n

k E ( i )   2k k E ( i  j )
2 2
Sehingga, var (b1) = i i j
i 1 i 1

Karena E(i j ) = 0 , E( i2 ) = 2 ,

n

n  (x i  x) 2
1
k i 1
2
dan i = 2
= n
n 2
i 1
 ( x i  x )   (x i  x) 2
 i 1  i 1

n
2
var (b1) =  2 
2
maka ki = n
i 1
 (x
i 1
i  x) 2

Dengan cara yang hampir sama diperoleh

n
2  xi
2

i 1
var (b0) = n
n  (x i  x) 2
i 1

Akan dibuktikan : var (b0) dan var (b1) memiliki variansi minimum
n
Misal b1* = wy
i 1
i i adalah penaksir lain dari β1 : linear , tak bias ,

wi ≠ ki , wi = ki + ci
n n
b1* = wy
i 1
i i = w
i 1
i (  0  1 x i   i )
n n n
= 0 
i 1
w i + 1  i 1
wi xi + w
i 1
i i

Sehingga,
 n n n

E( b1* ) =   0

w
i 1
i  1 w
i 1
i xi  w
i 1
i i 

n n
= 0 w
i 1
i  1 w
i 1
i xi

Karena b1* adalah penaksir yang tak bias untuk β : E( b1* ) = β

9
 n n
Maka  i 1
wi = 0 dan w
i 1
i xi = 1

n n n n


i 1
wi = 0  
i 1
(k i  c i ) = 
i 1
k i   ci = 0
i 1
n n

k
i 1
i = 0  c
i 1
i = 0

n n n n


i 1
wi xi = 1  
i 1
(k i  c i ) x i = i 1
ki xi + c i 1
i xi = 1

n n


i 1
ki xi = 1  c
i 1
i xi = 0

Jadi, var ( b1* ) = E [ ( b1*  β )2 ]

 n  
2 n
= E   w i  i   ........ Karena b1* = β + w i i
 i 1   i 1

n
= 2 w
2
i ..... sama dengan cara mendapatkan var (b1)
i 1

n n

w  (k  ci ) 2
2
Karena i = i
i 1 i 1

n n n

k + 2  k i ci + c
2 2
= i i
i 1 i 1 i 1

n n
(x i  x)
Dan k i ci = c i n
= 0
i 1 i 1
 (x
i 1
i  x) 2

n n n

w k c
2 2 2
Maka i = i + i
i 1 i 1 i 1

 n n

var ( b1* ) = 2   k i  c 
2 2
Sehingga i
 i 1 i 1 
n n
= 2  k i  2 c
2 2
i
i 1 i 1

c  0 , maka var ( b1* )  var (b1)

2
Oleh karena i
i 1

Jadi, b1 memiliki sifat best (variansi minimum)

Dengan cara yang sama, b0 memiliki sifat best (variansi minimum)

10
 PENAKSIR TAK BIAS UNTUK 2

n n

 y i   0  1x i  =
1 1
̂ 2 = 
2 2
i
n i 1 n i 1

1 n
 n2 2
E( ̂ 2 ) = E    =  
2
i
n i 1   n 
Terlihat bahwa E( ̂ 2 ) ≠  2
n
1
̂ 2 = 
2
Jadi, i merupakan penaksir yang bias
n i 1

Dengan demikian, penaksir tak bias untuk  2 adalah

 1  n
̂ 2 =   
2

n2
i
i 1

Dalam aplikasi, ̂ 2 = s2 (mean square error) dengan derajat kebebasan ( n – 2 )

==================================== bersambung ====================================

11