Least Square atau Kuadrat Terkecil

Metode Least Square atau Metode Kuadrat Terkecil S S

an hasil diferensialnya, yaitu dan
digunakan untuk mendapatkan penaksir koefi- b0 b1
sien regresi linier. Model regresi linier sederha- disa-
na dinyatakan dengan persamaan : makan dengan 0.
Y = 0 + 1X + , model umum S n
2 Yi b0 b1 X i ( 1) 0

Yi = 0 + 1Xi + i , model setiap pengamatan b0 i 1

Model dugaan dinyatakan oleh : n

Y 0 1 X atau Y = b0 + b1 X , model umum Y b
i 1
i 0 b1 X i 0
Y X atau Yi b0 + b1 Xi , model
i 0 1 i n n n
setiap
pengamatan
Y
i 1
i b b X
i 1
0
i 1
1 i 0
n n
Didapatkan eror, yaitu atau i sebagai berikut : Yi n b0 b1 X i 0
Y Y = Y b0 b1 X i 1 i 1
n n
atau :
n b0 b1 X i Yi ............... (1)
i Yi Yi Yi b0 b1 X i i 1 i 1

Secara geometrik, titik-titik hasil eksperimen, model

S n
dan error digambarkan pada grafik berikut ini :
b1
2 Y
i 1
i b0 b1 X i ( X i ) 0
n

Y b b1 X i ( X i ) 0
Fitted Line Plot
Y = 2,046 + 0,1705 X
i 0
10 S
R-Sq
1,32081
65,4%
i 1
9 R-Sq(adj) 58,5% n n n

8 Y X
i 1
i i b X b X
i 1
0 i
i 1
1 i
2
0
7 n n n

X iYi b0 X i b1 X i2 0
Y

6
i 1 i 1 i 1
5
n n n
4 b0 X i b1 X i2 X iYi ........
3 i 1 i 1 i 1
10 15 20 25
X
30 35 40 45
(2)
Persamaan (1) dan (2) dinamai persamaan normal.
Titik-titik merah adalah nilai hasil eksperimen, di-
notasikan Yi , yang diduga membentuk garis lurus iii. Menghitung b0 dan b1 berdasarkan dua persama-
berwarna biru. Garis inilah model yang akan di- an yang terbentuk. Dari persamaan (1) didapat-
taksir, dengan cara menaksir koefisiennya, yaitu b0 kan formula b0,
n n
dan b1, sehingga terbentuk persamaan Yi b0 + b1 n b0 b1 X i Yi
Xi. i 1 i 1
Garis tegak lurus sumbu horisontal yang menghu-
bungkan titik eksperimen dengan garis lurus dugaan 1 n n

dinamai error. b0 =
n
Y b X
i 1
i 1
i 1
i Y b1 X

Metode least square bertujuan mendapatkan penak-
sir koefisien regresi, yaitu b0 dan b1, yang menjadi- Formula b0 ini kemudian disubstitusikan ke
n persamaan (2),
kan jumlah kuadrat error, yaitu i
2
sekecil n n n
i 1
b0 X i b1 X i2 X iYi
mungkin. Prosedur metode kuadrat terkecil adalah i 1 i 1 i 1
sebagai berikut :
n

n n n
Y b X X
2
i. Membentuk
i 1
i sebagai fungsi b0 dan b1,
1 i b1 X X iYi i
2

i 1 i 1 i 1
n n
S = f(b0,b1) =
i 1
i
2
= Y b
i 1
i 0 b1 X i
2 n
Y X i b1 X X i b1 X i2 X iYi
n n n

i 1 i 1 i 1 i 1
ii. Mendiferensialkan S terhadap b0 dan b1, kemudi-
n n
n n
b1

X
i 1
i
2
X X i X iYi Y X i
i 1 i 1 i 1

1
 dan didapatkan penaksir koefisien regresi, yaitu b :
n n n

X Y Y X i i i X Y nX Y i i
S
b = A-1g
b1 i 1
n
i 1
n
i 1
n
XY dengan b = (b0 , b1 , ... , bk)T
S XX
Xi 1
i
2
X Xi
i 1
X i 1
i
2
nX 2

Latihan 1
Buktikan persamaan berikut :
Model regresi linier multiple dinyatakan dengan 1. Y Y b1 ( X X )
persamaan berikut :
2. Buktikan titik ( X , Y ) terletak pada garis regresi.
Yi = 0 + 1X1i + ... + kXki + i, n

dengan model dugaan sbb,

3. Y / n Y
i 1
i

Yi b0 + b1 X1i + ... + bk Xki

Perhitungan Taksiran Simpangan
Langkah perhitungan penaksir koefisien regresi : Baku Penaksir Koefisien Regresi
n
S = f(b0,b1) = i
2
Simpangan baku penaksir koefisien regresi adalah
i 1 akar variansi penaksir koefisien regresi, sehingga
= taksiran simpangan baku merupakan akar taksiran
n
variansi. Berikut ini adalah penurunan variansi b1 :
Y b
i 1
i 0 b1 X 1i ... bk X ki ,
2

n n n
kemudian dideferensialkan terhadap b0, b1, ... bk,
dan hasilnya disamakan dengan nol,
X iYi Y X i X Y nX Yi i
S XY
S S S b1 i 1
n
i 1
n
i 1
n

S XX
b0
0,
b1
0, . . . ,
bk
0,
X
i 1
i
2
X Xi
i 1
X i 1
i
2
nX 2

Persamaan normal menjadi :

n n n Formula b1 terdiri dari variabel fixed yaitu X dan
n b0 b1 X 1i ... bk X ki Yi variabel random, yaitu Y, sedangkan yang mempu-
i 1 i 1 i 1 nyai variansi hanyalah variabel random. Untuk itu
n n n n formulan b1 diupayakan agar antara X dan Y jelas
b0 X 1i b1 X 12i b2 X 1i X 2i ... bk mudah
X 1i X kidan
X 1iYbentuk
i hubungannya, dan yang akan
i 1 i 1 i 1 i 1 i 1
diolah hanyalah pembilang, karena pembilanglah
. yang memuat Y.
.
.
X i X Yi Y
n n
n n Xn iYi nXY
b0 X ki b1 X 1i X ki b2 X 2 i X ki ... bk X ki2 i1 X kiYi i 1
n n

i 1 i 1 i 1 i 1 i 1
X i X Yi X i X Y
n

Untuk mempermudah menghitung penaksir koefisi- i 1

en regresi maka persamaan normal diubah ke ben-
X i X Yi X i X Y
n n
tuk matrik,
i 1 i 1

n n
n
X i X Yi
n

n X 1i X ki Y i
b0
i 1
i 1 i 1
X
i 1
X Y X X Y ... X X Y

n n n
n
X 1i X k1 b1
X X 1iYi
2 1 1 2 2 n n
X 1i 1i

i 1 i 1 i 1
i 1 Formula variansi b1 menjadi sebagai berikut :

b n
2 k
n
n n n

X X X k1 X ki

X kiYi X i Yi nXY
n
var i 1
ki 1i
1
i 1 i 1 i 1 i 1 var X i Yi nXY
n 2


X i2 nX 2
n
A( k 1)( k 1) b( k 1)1 = i 1

g( k 1)1

i 1


X
i 1
i
2
nX 2

Pada satu matrik dan dua vektor di atas, masing-ma- n

sing dinamai : matrik A (berukuran (k+1)(k+1)), var
i 1
X Y
nXY i i

vektor b (berukuran (k+1)1), dan vektor g (juga
berukuran (k+1)1), sehingga persamaan normal var X 1 X Y1 X 2 X Y2 ... X n X Yn
menjadi : =
A b = g,

2
X 1 X var Y1 X 2 X var Y2 ... X n X var Yn
2 2 2

n

=
X Y nXY
i i n
2 Xi X
1
var
2
X
i 1

1 X X 2 X ... X n X
2 2 2 2 2 2
= n

2

X
n
nX 2
X
2 i 1
i 2
nX 2
i 1
i

X X
n i 1
2
2
i
i 1

n

X Y nXYi i
1 n
2 Xi X
2
var i 1
n
2
nX 2
X
n

(X
2 i 1
i
X ) 2
i 1 i 1
i

2
n

(X i 1
i X )2

2 2 s2
var(b1 ) n
; bila 2 tidak diketahui, maka menjadi : b1 )
var( n
n

(X
i 1
i X )2 (X
i 1
i X )2 (X
i 1
i X )2

s
Penaksir Simpangan Baku (b1) = 1/ 2

n

( X i X ) 2

i 1
s2 = jumlah kuadrat error/n-2

Selanjutnya diuraikan penurunan variansi b0,

1 n n

b0 =
n
Y b X
i 1
i 1
i 1
i Y b1 X

var(b0) = var(Y b1 X ) var(Y ) X 2 var(b1 )

1 n 2
var( Yi ) X 2 n
= n i 1
(X i 1
i X )2

1 n
2
var( Yi ) X 2 n
= n2 i 1
(X
i 1
i X )2

2
1 2
= n2

2 ... 2 X 2 n

(X
i 1
i X )2

1 2

2
( n 2 ) X 2 n
= n
(X
i 1
i X )2

Setelah ke dua suku disamakan penyebutnya, dan 2 diganti dengan s2, didapatkan penaksir var(b0) sebagai
berikut :

n
n
s2

( X i X ) 2 nX 2
i 1
s 2 X i2
var(b0 ) n n
i 1

n ( X i X ) 2 n ( X i X ) 2
i 1 i 1

3
 1/ 2
n

s 2
X i
2

Penaksir simpangan baku (b0) = i 1
n
n ( X i X )
2

i 1

Penaksir Kovariansi Koefisien Regresi

Review Rumus :
1. E(X) = X , E(aX) = a E(X) = a X
2. var(X) = E(X E(X))2 = E(X X)2
3. var(X + Y) = var(X) + var(Y) + 2cov(X,Y)
4. cov(X,Y) = E{(X X)(Y Y)}
5. cov(aX,bY) = E(aX aX)(bY bY) = E(ab(X X)(Y Y)) = ab E(X X)(Y Y) =
ab cov(X,Y)
6. cov(1+1Xi , 2+2Xj) = 12 cov(Xi,Xj), buktikan!

Diketahui : Yi variabel random saling independen dan identik, dengan var(Yi) = 2, i = 1, 2, ... , n.

Akan dilakukan penurunan cov(a,b), a dan b masing-masing fungsi variabel random Yi., sbb :
n n
a = a i Yi a1Y1 a 2 Y2 . . . a n Yn , b= b Y i i b1Y1 b2 Y2 . . . bn Yn
i 1 i 1
ai dan bi masing-masing konstanta.

cov(a,b) = cov( (a1Y1 a 2 Y2 . . . a n Yn ), (b1Y1 b2 Y2 . . . bn Yn ))

Lebih mudah melalui var(a + b),

var(a + b) = var(a) + var(b) + 2 cov(a,b), atau 2 cov(a,b) = var(a + b) var(a) var(b)

var(a + b) = var ((a1Y1 a 2 Y2 . . . a n Yn ) (b1Y1 b2 Y2 . . . bn Yn ))

= var((a1 + b1)Y1 + (a2 + b2)Y2 + . . . + (an + bn)Yn)
= (a1 + b1)2 var(Y1) + (a2 + b2)2 var(Y2) + ... + (an + bn)2 var(Yn)
= (a1 + b1)2 2 + (a2 + b2)2 2 + ... + (an + bn)2 2
n
= 2
(a
i 1
i bi ) 2

var(a) = var (a1Y1 a2Y2 ... anYn )

= var((a1)Y1 + (a2)Y2 + . . . + (an)Yn)
= (a1)2 var(Y1) + (a2)2 var(Y2) + ... + (an)2 var(Yn)
= (a1)2 2 + (a2)2 2 + ... + (an)2 2
n

a 2
= 2
i
i 1

var(b) = var (b1Y1 b2Y2 ... bnYn )

= var(b1)Y1 + (b2)Y2 + . . . + (bn)Yn)
= (b1)2 var(Y1) + (b2)2 var(Y2) + ... + (bn)2 var(Yn)
= (b1)2 2 + (b2)2 2 + ... + (bn)2 2
n

b 2
= 2 i
i 1

2 cov(a,b) = var(a + b) var(a) var(b)

4
 n n n
= 2 (a
i 1
i bi ) 2 2 a
i 1
i
2
2 b i 1
i
2

n n n
= (ai bi 2aibi ) 2 ai 2 b
2 2 2 2 2
i
i 1 i 1 i 1
n
= 2 2a b
i 1
i i

n
cov(a,b) = 2
a b
i 1
i i

Penurunan cov(b0,b1)
Cara Pertama,
cov(b0,b1) = cov ((Y b1 X ), b1 ) cov(Y Xb1 , b1 ) , digunakan review rumus 6, dengan 1 = Y ,
1 = X , 2 = 0, dan 2 = 1.

X 2

= cov( X cov(b1 , b1 )) X var(b1 ) = n

(X
i 1
i X )2

Cara Kedua,
Menggunakan logika penurunan cov(a,b). Cara ini lebih panjang, tetapi merupakan latihan pemahaman
operasi variabel random yang sangat baik. Variabel random b0 dan b1 masing-masing merupakan fungsi
variabel random Yi.

Logika penurunan ini kemudian digunakan untuk mendapatkan cov(b0,b1); keduanya merupakan fungsi
variabel random Yi..

n n

n ( X i X )Yi (X X )Yi i

cov(b0,b1) = cov

1
n Yi i 1
n
X , i n1
2



i 1
(X
i 1
i X )2 i 1
(Xi X )

n

(X
i 1
i X ) 2 tidak memuat variabel random, dan hasilnya sudah tertentu, sehingga dapat dianggap

konstanta, dinotasikan k. Begitu pula dengan X , juga konstanta, boleh dikeluarkan dari sigma.

n n

n
X ( X i X )Yi (X i X )Yi
cov(b0,b1) = cov

i 1
1
n Yi i 1

k
, i 1

k




n n
n

1
n kYi X ( X i X )Yi X )Yi (X i

= cov i 1
i 1 , i 1
k k k


n n n

n kYi X ( X i X )Yi ( X i X )Yi
1

= cov i 1 i 1
, i 1
k k


n
1 1 1 n
1
= cov k ( n k ) k X ( X i X ))Yi , k ( X i X ) Yi
i 1 i 1

5
 1 1
n
1 1
=
2

( n k ) X ( X i X )

(Xi X )

i 1 k k k

1 1
n
1
= k ( X i X ) 2 X ( X i X ) 2
2
2 n
i 1 k k
2 2
n n
1 1
= 2 1n k ( X i X ) 2 X ( X i X )
i 1 k i 1 k
2 1 2
n n n
1
= 2 1n k ( X i X ) 2 X ( X i X ) dapat diturunkan bahwa ( X i X ) 0
k i 1 k i 1 i 1

2 2
n n
1
= 2 X (Xi X ) pada awal penurunan disebutkan k = ( X i X )
2

k i 1 i 1

X
= n
2

2
(Xi X )
i 1
X 2
n
=
( X i X )2
i 1

2X
n
cov(b0,b1) =
(X
i 1
i X )2

Penaksir Nilai Respon, Y

Setelah didapatkan penaksir koefisien regresi, yaitu b0 dan b1, maka dapat dihitung penaksir respon, yaitu Y
sebagai berikut :
Y = b0 + b1X (model umum) atau Yi b0 b1 X i (model setiap pengamatan).

Apabila diketahui atau ditentukan nilai variabel bebas sebesar X0 , maka didapatkan penaksir atau dugaan nilai
respon, Y0 sebesar :
Yi b0 b1 X i .

Selanjutnya dihitung var( Y0 ),

var( Y0 ) = var( b0 b1 X 0 ) var(Y b1 X b1 X 0 ) var(Y b1 ( X 0 X ))

= var(Y ) var(b1 ( X 0 X ) 2 cov(Y , b1 ( X 0 X ))

n

n
( X 0 X ) ( X i X )Yi
cov(Y , b1 ( X 0 X )) = cov(Y , ( X 0 X )b1 ) = cov

n Yi ,
1
n
i 1




i 1
i 1
(Xi X ) 2

6
 n

n ( X 0 X ) ( X i X )
=
2
( 1n )
n
i 1


i 1



i 1
(Xi X ) 2

n
= 0, karena (X
i 1
i X) 0

2 2 ( X 0 X )2 2
( X X ) 2
var( b ) n
var( Y0 ) = var(Y ) var(b1 ( X 0 X ) 0 = n 0 1
n
( X i X )2 i 1

s 2 ( X 0 X )2 s 2 2
n 2 1 (X X )
Penduga var( Y0 ) = n 2 = s
n 0
i 1
(Xi X ) n
2
(Xi X )
i 1
1/ 2

1 ( X X )2
Penduga simpangan baku Y0 = s n 0
n 2


i 1
(Xi X )