Least Square atau Kuadrat Terkecil

Metode Least Square atau Metode Kuadrat Terkecil

digunakan untuk mendapatkan penaksir koefisien regresi linier. Model regresi linier sederhana dinyatakan dengan persamaan :
Y = 0 + 1X + , model umum
Yi = 0 + 1Xi + i , model setiap pengamatan
Model dugaan dinyatakan oleh :
Y 0 1 X atau Y = b0 + b1 X , model umum
Y X atau Yi b0 + b1 Xi , model
i

setiap
pengamatan
Didapatkan eror, yaitu atau i sebagai berikut :
Y Y = Y b0 b1 X
atau :
i Yi Yi Yi b0 b1 X i

disamakan dengan 0.
n
S

2 Yi b0 b1 X i ( 1) 0
b0
i 1

Y b
i

i 1
n

Y
i 1

b1 X i 0

b b X

i 1

i 1

i 1

i 1

i 1

i 1

n b0 b1 X i Yi
S

b1

2 Y

Y b

b1 X i ( X i ) 0

Y X

b X b X

i 1
n

1,32081
65,4%
58,5%

i 1
n

............... (1)

b0 b1 X i ( X i ) 0

i 1

Fitted Line Plot

Y = 2,046 + 0,1705 X
S
R-Sq
R-Sq(adj)

Yi n b0 b1 X i 0

Secara geometrik, titik-titik hasil eksperimen, model

dan error digambarkan pada grafik berikut ini :

10

S
S
dan
b0
b1

an hasil diferensialnya, yaitu

i 1

i 1

2
i

X iYi b0 X i b1 X i2 0

i 1

i 1
n

i 1

b0 X i b1 X i2 X iYi ........

i 1

3
10

15

20

25

30

35

40

Metode least square bertujuan mendapatkan penaksir koefisien regresi, yaitu b0 dan b1, yang menjadin

kan jumlah kuadrat error, yaitu

i 1

2
i

iii. Menghitung b0 dan b1 berdasarkan dua persamaan yang terbentuk. Dari persamaan (1) didapatkan formula b0,

i 1
n

S = f(b0,b1) =

i 1

2
i

b0 =

2
i

Y b
i 1

b1 X i

ii. Mendiferensialkan S terhadap b0 dan b1, kemudi-

i 1

i 1

Y b X
i 1

i 1

Y b1 X

Formula b0 ini kemudian disubstitusikan ke

persamaan (2),

sekecil

sebagai fungsi b0 dan b1,

n b0 b1 X i Yi

i 1

i 1

i 1

b0 X i b1 X i2 X iYi

mungkin. Prosedur metode kuadrat terkecil adalah

sebagai berikut :
n

i 1

Persamaan (1) dan (2) dinamai persamaan normal.

Titik-titik merah adalah nilai hasil eksperimen, dinotasikan Yi , yang diduga membentuk garis lurus
berwarna biru. Garis inilah model yang akan ditaksir, dengan cara menaksir koefisiennya, yaitu b0
dan b1, sehingga terbentuk persamaan Yi b0 + b1
Xi.
Garis tegak lurus sumbu horisontal yang menghubungkan titik eksperimen dengan garis lurus dugaan
dinamai error.

i. Membentuk

i 1

(2)

45

Y b X X
1

i 1

b1 X X iYi
i 1

2
i

i 1

i 1

i 1

i 1

Y X i b1 X X i b1 X i2 X iYi
i 1

b1

X
i 1

2
i

X X i X iYi Y X i
i 1
i 1
i 1

dan didapatkan penaksir koefisien regresi, yaitu b :

n

X Y Y X

b1

i 1
n

i i

X
i 1

i 1
n

X Xi

2
i

X Y nX Y
i i

i 1
n

i 1

i 1

2
i

nX

b = A-1g

S
XY
S XX

dengan b = (b0 , b1 , ... , bk)T

Latihan 1
Buktikan persamaan berikut :
1. Y Y b1 ( X X )
2. Buktikan titik ( X , Y ) terletak pada garis regresi.

Model regresi linier multiple dinyatakan dengan

persamaan berikut :
Yi = 0 + 1X1i + ... + kXki + i,

3.

dengan model dugaan sbb,

Yi b0 + b1 X1i + ... + bk Xki
n

i 1

Perhitungan Taksiran Simpangan

Baku Penaksir Koefisien Regresi

2
i

Simpangan baku penaksir koefisien regresi adalah

akar variansi penaksir koefisien regresi, sehingga
taksiran simpangan baku merupakan akar taksiran
variansi. Berikut ini adalah penurunan variansi b1 :

=
n

Y b
i

i 1

b1 X 1i ... bk X ki ,
2

kemudian dideferensialkan terhadap b0, b1, ... bk,

dan hasilnya disamakan dengan nol,
S
S
S
0,
0, . . . ,
0,
b0
b1
bk

b1

i 1

i 1
n

i 1

i 1

i 1

b0 X 1i b1 X 12i b2 X 1i X 2i ... bk
i 1

i 1
n

i 1
n

X iYi Y X i
X

2
i

X Xi

i 1

X Y nX Y
i i

i 1
n

X
i 1

2
i

nX 2

S XY
S XX

Formula b1 terdiri dari variabel fixed yaitu X dan

variabel random, yaitu Y, sedangkan yang mempunyai variansi hanyalah variabel random. Untuk itu
n
formula
b1 diupayakan agar antara X dan Y jelas
X 1i X kidan
mudah
X 1iYbentuk
i
hubungannya, dan yang akan
i 1
diolah
hanyalah pembilang, karena pembilanglah
yang memuat Y.

n b0 b1 X 1i ... bk X ki Yi
n

i 1

Persamaan normal menjadi :

n

i 1

Langkah perhitungan penaksir koefisien regresi :

S = f(b0,b1) =

Y / n Y

i 1

.
.
.

X i X Yi Y
Xn iYi nXY
i 1
b0 X ki b1 X 1i X ki b2 X 2 i X ki ... bk X ki2 i1 X kiYi
n

i 1

i 1

i 1

i 1

i 1

X i X Yi X i X Y
n

Untuk mempermudah menghitung penaksir koefisien regresi maka persamaan normal diubah ke bentuk matrik,

i 1

i 1
n

X
i 1

i 1

1i

X
i 1

2
1i

ki

1i

1i

X k1

X i X Yi X i X Y

i 1

ki

b0

X 1i X k1 b1

i 1

b
n
2 k

X ki

i 1

A( k 1)( k 1)

i 1

b( k 1)1 =

i 1

i 1

X i X Yi

i 1

X Y X X Y ... X X Y
n
X
1
1
2
2
n
n
X 1iYi

i 1
Formula variansi b1 menjadi sebagai berikut :

n
n

X kiYi X i Yi nXY

1
n

i 1
var i 1
var X i Yi nXY
i 1

X i2 nX 2

g( k 1)1

Pada satu matrik dan dua vektor di atas, masing-masing dinamai : matrik A (berukuran (k+1)(k+1)),
vektor b (berukuran (k+1)1), dan vektor g (juga
berukuran (k+1)1), sehingga persamaan normal
menjadi :
A b = g,

i 1

X
i 1

2
i

nX

i 1

nXY
i 1

var X 1 X Y1 X 2 X Y2 ... X n X Yn
var

X Y

i i

X var Y1 X 2 X var Y2 ... X n X var Yn

2

1 X X 2 X ... X n X

i 1

i i

i 1
n

var

i 1
n

i i

i 1

2
i

nX 2

X
i 1

2
i

nX 2

2 Xi X
i 1

var

X Y nXY

X Y nXY

X
i 1

2
i

nX 2

X ) 2

(X

i 1

(X
i 1

var(b1 )

2
n

(X
i 1

2 Xi X

i 1

X )2

; bila 2 tidak diketahui, maka menjadi :

b1 )
var(

X )2

2
n

(X
i 1

X )2

s2
n

(X
i 1

X )2

Penaksir Simpangan Baku (b1) =

( X i X ) 2

i 1

1/ 2

s2 = jumlah kuadrat error/n-2

Selanjutnya diuraikan penurunan variansi b0,
b0 =

i 1

Y b X
i

i 1

Y b1 X

var(b0) = var(Y b1 X ) var(Y ) X 2 var(b1 )

1 n
var( Yi ) X 2
=
n i 1

(X
i 1

(X
i 1

1 2
2 ... 2 X 2
= n2

(X
i 1

X )2
2

(X
i 1

1
( n 2 ) X 2
2
= n

X )2

1
var( Yi ) X 2
= n2
i 1

X )2

X )2

Setelah ke dua suku disamakan penyebutnya, dan 2 diganti dengan s2, didapatkan penaksir var(b0) sebagai
berikut :

var(b0 )

s2

( X i X ) 2 nX 2
i 1

n ( X i X ) 2
i 1

s 2 X i2
i 1

n ( X i X ) 2
i 1

Penaksir simpangan baku (b0) =

X
i 1

i 1

1/ 2

2
i

2
n ( X i X )

Penaksir Kovariansi Koefisien Regresi

Review Rumus :

1. E(X) = X , E(aX) = a E(X) = a X

2. var(X) = E(X E(X))2 = E(X X)2
3. var(X + Y) = var(X) + var(Y) + 2cov(X,Y)
4. cov(X,Y) = E{(X X)(Y Y)}
5. cov(aX,bY) = E(aX aX)(bY bY) = E(ab(X X)(Y Y)) = ab E(X X)(Y Y) =
ab cov(X,Y)
6. cov(1+1Xi , 2+2Xj) = 12 cov(Xi,Xj), buktikan!

Diketahui : Yi variabel random saling independen dan identik, dengan var(Yi) = 2, i = 1, 2, ... , n.
Akan dilakukan penurunan cov(a,b), a dan b masing-masing fungsi variabel random Yi., sbb :
n

a = a i Yi a1Y1 a 2 Y2 . . . a n Yn ,

b=

i 1

b Y
i 1

b1Y1 b2 Y2 . . . bn Yn

ai dan bi masing-masing konstanta.

cov(a,b) = cov( (a1Y1 a 2 Y2 . . . a n Yn ), (b1Y1 b2 Y2 . . . bn Yn ))

Lebih mudah melalui var(a + b),

var(a + b) = var(a) + var(b) + 2 cov(a,b), atau 2 cov(a,b) = var(a + b) var(a) var(b)
var(a + b) = var ((a1Y1 a 2 Y2 . . . a n Yn ) (b1Y1 b2 Y2 . . . bn Yn ))
= var((a1 + b1)Y1 + (a2 + b2)Y2 + . . . + (an + bn)Yn)
= (a1 + b1)2 var(Y1) + (a2 + b2)2 var(Y2) + ... + (an + bn)2 var(Yn)
= (a1 + b1)2 2 + (a2 + b2)2 2 + ... + (an + bn)2 2
=

(a

i 1

bi ) 2

var(a) = var (a1Y1 a2Y2 ... anYn )

= var((a1)Y1 + (a2)Y2 + . . . + (an)Yn)
= (a1)2 var(Y1) + (a2)2 var(Y2) + ... + (an)2 var(Yn)
= (a1)2 2 + (a2)2 2 + ... + (an)2 2
=

a
i 1

var(b) = var (b1Y1 b2Y2 ... bnYn )

= var(b1)Y1 + (b2)Y2 + . . . + (bn)Yn)
= (b1)2 var(Y1) + (b2)2 var(Y2) + ... + (bn)2 var(Yn)
= (b1)2 2 + (b2)2 2 + ... + (bn)2 2
= 2

b
i 1

2 cov(a,b) = var(a + b) var(a) var(b)

4

= 2

(a

i 1
n

bi ) 2 2

i 1

2
2
= (ai bi 2aibi ) 2
2

= 2

i 1
n

2
n

b
i 1

i
n

ai 2

i 1

i 1

2a b

i i

i 1

cov(a,b) =

a b
i 1

i i

Penurunan cov(b0,b1)
Cara Pertama,
cov(b0,b1) = cov ((Y b1 X ), b1 ) cov(Y Xb1 , b1 ) , digunakan review rumus 6, dengan 1 = Y ,
1 = X , 2 = 0, dan 2 = 1.

= cov( X cov(b1 , b1 )) X var(b1 ) =

X 2
n

(X
i 1

X )2

Cara Kedua,
Menggunakan logika penurunan cov(a,b). Cara ini lebih panjang, tetapi merupakan latihan pemahaman
operasi variabel random yang sangat baik. Variabel random b0 dan b1 masing-masing merupakan fungsi
variabel random Yi.
Logika penurunan ini kemudian digunakan untuk mendapatkan cov(b0,b1); keduanya merupakan fungsi
variabel random Yi..

cov(b0,b1) = cov

i 1

1
n

Yi

(X
i 1

( X i X )Yi
i 1
n

(X
i 1

X )2

X )Yi

X , i n1
2
(Xi X )

i 1

(X

X ) 2 tidak memuat variabel random, dan hasilnya sudah tertentu, sehingga dapat dianggap

konstanta, dinotasikan k. Begitu pula dengan X , juga konstanta, boleh dikeluarkan dari sigma.

cov(b0,b1) = cov

i 1

1
n

Yi

X ( X i X )Yi
i 1

(X
i 1

X )Yi
i 1

i 1
, i 1
k
k
k

n
n
n

1
n kYi X ( X i X )Yi ( X i X )Yi
i 1
i 1

, i 1
k
k

n
n
1 1
1
1

k ( n k ) k X ( X i X ))Yi , k ( X i X ) Yi
i 1
i 1

n

= cov

= cov

= cov

X )Yi

1
n

kYi

X ( X i X )Yi

(X

1
1 1

( n k ) X ( X i X )
k

i 1 k
n

2
=

1

(Xi X
)
k

1
1 1

k ( X i X ) 2 X ( X i X ) 2
2 n
k

i 1 k
n
n
1
1
2
2
= 2 1n k ( X i X ) 2 X ( X i X )
i 1 k
i 1 k

2
=

n
n
n
1
2 1
2
= 2 1n k ( X i X ) 2 X ( X i X )
dapat diturunkan bahwa ( X i X ) 0
k
i 1
i 1
i 1
k

n
n
1
2
2
2
= 2 X (Xi X )
pada awal penurunan disebutkan k = ( X i X )
k
i 1
i 1

X
2

= n
2

(Xi X )
i 1

2
X
n
=
( X i X )2
i 1

cov(b0,b1) =

2X
n

(X
i 1

X )2

Penaksir Nilai Respon, Y

Setelah didapatkan penaksir koefisien regresi, yaitu b0 dan b1, maka dapat dihitung penaksir respon, yaitu Y
sebagai berikut :
Y = b0 + b1X (model umum) atau Yi b0 b1 X i (model setiap pengamatan).
Apabila diketahui atau ditentukan nilai variabel bebas sebesar X0 , maka didapatkan penaksir atau dugaan nilai
respon, Y0 sebesar :

Yi b0 b1 X i .
Selanjutnya dihitung var( Y0 ),
var( Y0 ) = var( b0 b1 X 0 ) var(Y b1 X b1 X 0 ) var(Y b1 ( X 0 X ))
= var(Y ) var(b1 ( X 0 X ) 2 cov(Y , b1 ( X 0 X ))

cov(Y , b1 ( X 0 X )) = cov(Y , ( X 0 X )b1 ) = cov

(
X

X
)
( X i X )Yi

0
n
i 1
1

n Yi ,
n
2

i 1
(Xi X )

i 1


2
=

i 1

( 1n )

( X 0 X ) ( X i X )
i 1

n
2

(Xi X )

i 1

= 0,

karena

(X
i 1

X) 0

2
2 ( X 0 X )2 2
2

(
X

X
)
var(
b
)

n
0
1
var( Y0 ) = var(Y ) var(b1 ( X 0 X ) 0 = n
n
( X i X )2
i 1

s 2 ( X 0 X )2 s 2
2

(X X )
n
2 1
n 0

Penduga var( Y0 ) = n
2 = s
(Xi X )
2
n

(Xi X )

i 1

i 1

1/ 2

1
( X X )2

n 0
2
n
(Xi X )

i 1

Penduga simpangan baku Y0 = s