Method of

Least Squares
RIAN JULIANTO
20/466378/PPA/05944
 PEMBAHASAN

• Model regresi linear sederhana didefinisikan

sebagai

yi = b0 + b1 X i + ui
• Tujuan dari Metode Kemungkinan Maksimum
(likelihood) dari regresi linear sederhana adalah
untuk menduga vektor parameter

q = [b 0 , b1,s ]
• Untuk mencari Penduga Kemungkinan Maksimum dari
β0,β1,σ dan denganmenggunakanasumsibahwagaalt
(ui) independen dan berdistribusi Normal (ui ~ N(0,σ2).
Misalkan Y1,Y2,Y3,…Yn variabel random independen dan
berdistribusi Normal N(β0+β1Xi , σ2) untuk i=1,2,3,…,n

• Fungsi Probabilitas distribusi normal dengan mean β0+β1Xi

dan variansi σ2 adalah
• Dengan menggunakan persamaan likelihood di
peroleh persamaan baru
• Kedua ruas di Ln-kan untuk menghindari
exponensial maka persamaan berubah :
• Penduga kemungkinan maksimum dari β0,β1,σ ,
dapat diperoleh dengan mencari turunan parsial
Ln[L(β0+β1Xi , σ2) terhadap β0 β1 σ ,dan
menyamakan dengan nol maka diperoleh

(a)
(b)

(c)
• Berdasarkan persamaan (a) dan (b) diperoleh
n n

å Y = nb
i =1
i 0 + b1 å X i
i =1
(d)

n n n 2

åXY =b åX
i =1
i i 0
i =1
i + b1 å X i
i =1
(e)
• Dengan menggunakan metode eliminasi pada 2
persamaan diatas maka di dapatkan nilai β0,β1,

å Y å i =1 X i - å i =1 X i å i =1 X iYi
n n 2 n n

b0 = i =1 i

(å )
2
nå i =1 X i -
n 2 n
i =1
Xi

nå i =1 X iYi - å i =1 X i å i =1 Yi
n n n

b1 =
(å )
2
nå i =1 X i 2 -
n n
i =1
Xi
 • Dengan menggunakan persamaan (c) diperoleh :
n
n 1
3 å
- + (Y - b - b X ) 2
=0
s s i
i =1
0 1 i

å i =1 i 0 1 i
b b
n
ns 2
1 n
(Y - - X ) 2

3 å
- + (Y - b - b X ) 2
=0 s2 =
s3 s i
i =1
0 1 i
n
ns 2 1 n

3 å
= (Y - b - b X ) 2

s3 s i
i =1
0 1 i
• 3 Persamaan sebelumnya menunjukkan bahwa
Pendugaan Kemungkinan Maksimum dari regresi
linear sederhana menghasilkan penduga
(estimator) yang sama dengan penduga yang
dihasilkan dengan Metode Kuadrat Terkecil.
• Penduga Kemungkinan Maksimum dari yang
ditulis dalam persamaan terakhir adalah rata-rata
kuadrat galat sampel