Least Square atau Kuadrat Terkecil

Metode Least Square atau Metode Kuadrat Terkecil S S

an hasil diferensialnya, yaitu dan
digunakan untuk mendapatkan penaksir koefi-  b0  b1
sien regresi linier. Model regresi linier sederha- disa-
na dinyatakan dengan persamaan : makan dengan 0.
Y = 0 + 1X +  , model umum S n

Yi = 0 + 1Xi + i , model setiap pengamatan

 2  Yi  b0  b1 X i  (1)  0

 b0 i 1

Model dugaan dinyatakan oleh : n

Yˆ  ˆ  ˆ X atau Yˆ = b0 + b1 X , model umum
0 1  Y i  b0  b1 X i   0
Yˆi  ˆ0  ˆ1 X i atau Yˆi  b0 + b1 Xi , model i 1
n n n
setiap
pengamatan
Y   b   b X
i 1
i
i 1
0
i 1
1 i 0
n n
Didapatkan eror, yaitu  atau i sebagai berikut :
  Y  Yˆ = Y  b0  b1 X
 Yi  n b0  b1  X i  0
i 1 i 1

atau : n n
n b0  b1  X i   Yi ............... (1)
 i  Yi  Yˆi  Yi  b0  b1 X i i 1 i 1

Secara geometrik, titik-titik hasil eksperimen,

S n
model dan error digambarkan pada grafik berikut ini
:  b1
  2 Y
i 1
i  b0  b1 X i  ( X i )  0
n
Fitted Line Plot
Y = 2,046 + 0,1705 X
 Y  b
i 1
i 0  b1 X i  ( X i )  0
10 S 1,32081
n n n

Y X b X  b X
R-Sq 65,4%
9 R-Sq(adj) 58,5%
i i  0 i 1 i
2
0
8
i 1 i 1 i 1
n n n
7
 X iYi  b0  X i  b1  X i2  0
Y

6 i 1 i 1 i 1
n n n
b0  X i  b1  X i2   X iYi ........
5

4
i 1 i 1 i 1
3 (2)
10 15 20 25 30 35 40 45
X Persamaan (1) dan (2) dinamai persamaan normal.

Titik-titik merah adalah nilai hasil eksperimen, di- iii. Menghitung b0 dan b1 berdasarkan dua persama-
notasikan Yi , yang diduga membentuk garis lurus an yang terbentuk. Dari persamaan (1) didapat-
berwarna biru. Garis inilah model yang akan di- kan formula b0,
n n
taksir, dengan cara menaksir koefisiennya, yaitu b0
n b0  b1  X i   Yi
dan b1, sehingga terbentuk persamaan Yˆi  b0 + b1 i 1 i 1
Xi.
Garis tegak lurus sumbu horisontal yang menghu- 1 n n

bungkan titik eksperimen dengan garis lurus dugaan b0 =   Yi  b1  X i   Y  b1 X
dinamai error.
n  i 1 i 1 

Metode least square bertujuan mendapatkan penak- Formula b0 ini kemudian disubstitusikan ke
sir koefisien regresi, yaitu b0 dan b1, yang menjadi- persamaan (2),
n
kan jumlah kuadrat error, yaitu 
i 1
i
2
sekecil
n
b0  X i  b1  X i2   X iYi
n n

i 1 i 1 i 1
mungkin. Prosedur metode kuadrat terkecil adalah
sebagai berikut :
n n n

i. Membentuk 
n

i
2
sebagai fungsi b0 dan b1, Y  b X   X 1 i  b1  X   X iYi i
2

i 1 i 1 i 1
i 1
n n n n
Y  X i  b1 X  X i  b1  X i2   X iYi
n n

  Y  b  b1 X i 
2 2
S = f(b0,b1) = i = i 0
i 1 i 1 i 1 i 1 i 1 i 1

ii. Mendiferensialkan S terhadap b0 dan b1, kemudi-  n

 n n n
b1   X i2  X  X i    X iYi  Y  X i
 i 1 i 1  i 1 i 1

1
 dan didapatkan penaksir koefisien regresi, yaitu b :
n n n

 X Y Y  X
i i i  X Y  nXY i i
S
b = A-1g
b1  i 1
n
i 1
n
 i 1
n
 XY dengan b = (b0 , b1 , ... , bk)T
S XX
X
i 1
i
2
 X  Xi
i 1
Xi 1
i
2
 nX 2

Latihan 1
Buktikan persamaan berikut :
Model regresi linier multiple dinyatakan dengan 1. Yˆ  Y  b1 ( X  X )
persamaan berikut :
2. Buktikan titik ( X , Y ) terletak pada garis regresi.
Yi = 0 + 1X1i + ... + kXki + i, n

dengan model dugaan sbb, 3.  Yˆ / n  Y

i 1
i

Yˆi  b0 + b1 X1i + ... + bk Xki

Perhitungan Taksiran Simpangan
Langkah perhitungan penaksir koefisien regresi : Baku Penaksir Koefisien Regresi
n
S = f(b0,b1) = 
i 1
i
2
Simpangan baku penaksir koefisien regresi adalah
akar variansi penaksir koefisien regresi, sehingga
= taksiran simpangan baku merupakan akar taksiran
n
variansi. Berikut ini adalah penurunan variansi b1 :
 Y  b  b1 X 1i  ...  bk X ki  ,
2
i 0
i 1
n n n
kemudian dideferensialkan terhadap b0, b1, ... bk,
dan hasilnya disamakan dengan nol,  X Y Y  X
i i i  X Y  nXY
i i
S XY
S S S b1  i 1
n
i 1
n
 i 1
n

 0,  0, . . . ,  0, S XX
 b0  b1  bk X
i 1
i
2
 X  Xi
i 1
X
i 1
i
2
 nX 2

Persamaan normal menjadi :

n n n Formula b1 terdiri dari variabel fixed yaitu X dan
n b0  b1  X 1i  ...  bk  X ki   Yi variabel random, yaitu Y, sedangkan yang mempu-
i 1 i 1 i 1 nyai variansi hanyalah variabel random. Untuk itu
n n n n n
formula b diupayakan agar antara X dan Y jelas
b0  X 1i  b1  X 12i  b2  X 1i X 2 i  ...  bk   mudah
X 1i X kidan 
X 11iYbentuk
i hubungannya, dan yang akan
i 1 i 1 i 1 i 1 i 1
diolah hanyalah pembilang, karena pembilanglah
. yang memuat Y.
.
.
 X i  X Yi  Y 
n n
n n
 Xn iYi  nXY  
b0  X ki  b1  X 1i X ki  b2  X 2i X ki  ...  bk  X ki2 i1 X kiYi
n
i 1
n

i 1 i 1 i 1 i 1 i 1 n
    X i  X   Yi    X i  X Y  
Untuk mempermudah menghitung penaksir koefisi- i 1
en regresi maka persamaan normal diubah ke ben- n n
tuk matrik,    X i  X   Yi     X i  X Y 
i 1 i 1

 n
 n
  n
   X i  X   Yi 
n

 n X 1i  X   Yi 
ki
 b0   n i 1
i 1
n i 1 i 1

 X
n n
    X  X   Y1    X 2  X   Y2   ...   X n  X   Yn 
  X 1i X k1   b1    X 1iYi  1
 X 2
1i 1i
   i 1 
 
i 1 i 1 i 1
     Formula variansi b1 menjadi sebagai berikut :
     
n  b n  n
2  k
n n
 
 X ki
 i 1
X 1i X k1  X ki

  X ki i 
Y   X i Yi  nXY 
 i 1 var i 1 1  n
i 1 i 1  var  X i Yi  nXY
A( k 1)( k 1) b( k 1)1 =  n  2
 i 1
X  nX 2   X 2  nX 2 
n

 
2
 i
g ( k 1)1  i 1 i 1
i

Pada satu matrik dan dua vektor di atas, masing-ma-
 n 
sing dinamai : matrik A (berukuran (k+1)(k+1)), var  X i Yi  nXY  
vektor b (berukuran (k+1)1), dan vektor g (juga  i 1 
berukuran (k+1)1), sehingga persamaan normal var  X 1  X   Y1    X 2  X   Y2   ...   X n  X   Yn  
menjadi :
=
A b = g,

2
X 1  X  var Y1    X 2  X  var Y2   ...   X n  X  var Yn 
2 2 2

 n 
  X iYi  nXY
=
 n

X  X   2   X 2  X   2  ...   X n  X   2 =
2 2 2 var i 1n


  n
1
2
 2
  Xi  X 
2


  X i  nX
1

   X i2  nX 2 
2 2 i 1

 i 1   i 1 
 2 Xi  X 
n
2

i 1

 n 
  X iYi  nXY  1 n
 2  Xi  X 
2
var  i 1n   2
   2
  X i  nX
n

  (Xi  X ) 
2 2 i 1

 i 1   i 1 
2
 n

 ( X i  X )2
i 1

2 ˆ 2 s2
var(b1 )  n
; bila  2 tidak diketahui, maka menjadi : ˆ b1 ) 
var( n
 n

(X
i 1
i  X )2 (X
i 1
i  X )2 (X
i 1
i  X )2

 
 
 s 
Penaksir Simpangan Baku ( b1) =  1/ 2 

   ( X i  X ) 2  
n

 
  i 1  
s2 = jumlah kuadrat error/n-2

Selanjutnya diuraikan penurunan variansi b0,

1 n n

b0 =   Yi  b1  X i   Y  b1 X
n  i 1 i 1 

var(b0) = var(Y  b1 X )  var(Y )  X 2 var(b1 )

1 n 2
var(  Yi )  X 2 n
= n i 1
(X i 1
i  X )2

1 n
2
var( Yi )  X 2 n
= n2 i 1
(X
i 1
i  X )2

2
1 2
= n2

   2  ...   2  X 2  n

(X
i 1
i  X )2

1  2

2
( n 2 )  X 2 n
= n
(X
i 1
i  X )2

Setelah ke dua suku disamakan penyebutnya, dan 2 diganti dengan s2, didapatkan penaksir var(b0) sebagai
berikut :

 n  n
s   ( X i  X ) 2  nX 2 
2
s 2  X i2
vâr(b0 )   i 1 n 
n
i 1

n ( X i  X ) 2 n ( X i  X ) 2
i 1 i 1

3
 1/ 2
 n

 s 2  X i2 
Penaksir simpangan baku (b0) =  n i 1 
 
 n ( X i  X ) 
2

 i 1 

Penaksir Kovariansi Koefisien Regresi

Review Rumus :
1. E(X) = X , E(aX) = a E(X) = a X
2. var(X) = E(X – E(X))2 = E(X – X)2
3. var(X + Y) = var(X) + var(Y) + 2cov(X,Y)
4. cov(X,Y) = E{(X– X)(Y– Y)}
5. cov(aX,bY) = E(aX– aX)(bY– bY) = E(ab(X– X)(Y– Y)) = ab E(X– X)(Y– Y) =
ab cov(X,Y)
6. cov(1+1Xi , 2+2Xj) = 12 cov(Xi,Xj), buktikan!

Diketahui : Yi variabel random saling independen dan identik, dengan var(Yi) = 2, i = 1, 2, ... , n.

Akan dilakukan penurunan cov(a,b), a dan b masing-masing fungsi variabel random Yi., sbb :
n n
a=  a i Yi  a1Y1  a 2Y2  ...  a n Yn ,
i 1
b= b Y
i 1
i i  b1Y1  b2 Y2  . . .  bn Yn

ai dan bi masing-masing konstanta.

cov(a,b) = cov( (a1Y1  a 2Y2  . . .  a n Yn ), (b1Y1  b2Y2  . . .  bn Yn ))

Lebih mudah melalui var(a + b),

var(a + b) = var(a) + var(b) + 2 cov(a,b), atau 2 cov(a,b) = var(a + b)  var(a)  var(b)

var(a + b) = var ((a1Y1  a 2 Y2  . . .  a n Yn )  (b1Y1  b2 Y2  . . .  bn Yn ))

= var((a1 + b1)Y1 + (a2 + b2)Y2 + . . . + (an + bn)Yn)
= (a1 + b1)2 var(Y1) + (a2 + b2)2 var(Y2) + ... + (an + bn)2 var(Yn)
= (a1 + b1)2 2 + (a2 + b2)2 2 + ... + (an + bn)2 2
n
= 2  (a
i 1
i  bi ) 2

var(a) = var ( a1Y1  a2Y2  ...  anYn )

= var((a1)Y1 + (a2)Y2 + . . . + (an)Yn)
= (a1)2 var(Y1) + (a2)2 var(Y2) + ... + (an)2 var(Yn)
= (a1)2 2 + (a2)2 2 + ... + (an)2 2
n

a 2
= 2
i
i 1

var(b) = var (b1Y1  b2Y2  ...  bnYn )

= var(b1)Y1 + (b2)Y2 + . . . + (bn)Yn)
= (b1)2 var(Y1) + (b2)2 var(Y2) + ... + (bn)2 var(Yn)
= (b1)2 2 + (b2)2 2 + ... + (bn)2 2
n

b 2
= 2
i
i 1

2 cov(a,b) = var(a + b)  var(a)  var(b)

4
 n n n

 (a a b
2 2
= 2 i  bi ) 2  2 i  2 i
i 1 i 1 i 1
n n n
=   (ai  bi  2aibi ) 2  ai  2 b
2 2 2 2 2
i
i 1 i 1 i 1
n
= 2  2a b
i 1
i i

n
cov(a,b) =  2
a b
i 1
i i

Penurunan cov(b0,b1)

Cara Pertama,
cov(b0,b1) = cov ((Y  b1 X ), b1 )  cov(Y  Xb1 , b1 ) , digunakan review rumus 6, dengan 1 = Y ,
1 =  X , 2 = 0, dan 2 = 1.

X 2

= cov(  X cov(b1 , b1 ))   X var(b1 ) = n

(X
i 1
i  X )2

Cara Kedua,
Menggunakan logika penurunan cov(a,b). Cara ini lebih panjang, tetapi merupakan latihan pemahaman
operasi variabel random yang sangat baik. Variabel random b0 dan b1 masing-masing merupakan fungsi
variabel random Yi.

Logika penurunan ini kemudian digunakan untuk mendapatkan cov(b0,b1); keduanya merupakan fungsi
variabel random Yi..

 n n

 n  ( X i  X )Yi (X  X )Yi 
i

cov(b0,b1) = cov   n Yi  n
1 i 1
X, i 1
n

 i 1 2 


 i 1
(Xi  X ) 2
i 1
(Xi  X ) 

n

(X
i 1
i  X ) 2 tidak memuat variabel random, dan hasilnya sudah tertentu, sehingga dapat dianggap

konstanta, dinotasikan k. Begitu pula dengan X , juga konstanta, boleh dikeluarkan dari sigma.

 n n

 n X  ( X i  X )Yi  ( X i  X )Yi 
cov(b0,b1) = cov   1n Yi  i 1 , i 1 
 i 1 k k 
 
 
 1 n n n

  n kYi X  ( X i  X )Yi  ( X i  X )Yi 
= cov  i 1  i 1 , i 1 
 k k k 
 
 
 1 n n n

  n kYi  X  ( X i  X )Yi  ( X i  X )Yi 
= cov  i 1 i 1
, i 1 
 k k 
 
 
 1 n
1   1 n

= cov    ( 1n k )  X ( X i  X ))Yi  ,   ( X i  X )Yi  
  i 1 k k   i 1 k 

5
 2 1  1 
n
1
=     ( 1n k )  X ( X i  X )  ( X i  X )  
 i 1  k k  k 

n
 1 1 2
=    2 1n k ( X i  X )  2 X ( X i  X ) 
2

i 1  k k 
2 2 
n n
1 1
=    2 1n k ( X i  X )   2 X ( X i  X ) 
 i 1 k i 1 k 
2 1 2
n n n
1
=   2 1n k  ( X i  X )  2 X  ( X i  X )  dapat diturunkan bahwa (X i  X) 0
k i 1 k i 1  i 1

2 2
n n
1
=    2 X  (Xi  X )  pada awal penurunan disebutkan k = (X i  X )2
 k i 1  i 1

 
 X 
=   n 
2

 2 
  (Xi  X ) 
 i 1 
 X 2
 n
=
 ( X i  X )2
i 1

 2X
 n
cov(b0,b1) =
(X
i 1
i  X )2

Penaksir Nilai Respon, Ŷ

Setelah didapatkan penaksir koefisien regresi, yaitu b0 dan b1, maka dapat dihitung penaksir respon, yaitu Ŷ
sebagai berikut :
Ŷ = b0 + b1X (model umum) atau Yˆi  b0  b1 X i (model setiap pengamatan).

Apabila diketahui atau ditentukan nilai variabel bebas sebesar X0 , maka didapatkan penaksir atau dugaan nilai
respon, Ŷ0 sebesar :
Yˆi  b0  b1 X i .

Selanjutnya dihitung var( Ŷ0 ),

var( Ŷ0 ) = var( b0  b1 X 0 )  var(Y  b1 X  b1 X 0 )  var(Y  b1 ( X 0  X ))

= var(Y )  var(b1 ( X 0  X )  2 cov(Y , b1 ( X 0  X ))

 n

 n ( X 0  X )  ( X i  X )Yi 
cov(Y , b1 ( X 0  X )) = cov(Y , ( X 0  X )b1 ) = cov   n Yi ,
1
n
i 1

 i 1 


i 1
( X i  X )2 


6
  n

n
(
 0 X  X )  (Xi  X ) 
=   ( 1n )  
2 i 1
n
 
i 1



i 1
(Xi  X ) 2



n
= 0, karena (X
i 1
i  X) 0

2  2 ( X 0  X )2  2
 ( X 0  X ) 2 var(b1 )   n
var( Ŷ0 ) = var(Y )  var(b1 ( X 0  X )  0 = n n
 ( X i  X )2
i 1

 
s 2 ( X 0  X )2 s 2  2 
 n 2 1 (X  X )
Penduga var( Ŷ0 ) = n 2 = s
  n 0 
i 1
(Xi  X ) n
  2 
(Xi  X ) 
 i 1 
1/ 2
 
1 (X  X ) 2 
Penduga simpangan baku Ŷ0 = s   n 0 
n 2 


i 1
(Xi  X ) 
