RESUME PERHITUNGAN REGRESI LINEAR

SEDERHANA

Disusun untuk Memenuhi Tugas Mata Kuliah

Ekonometrika

Dosen Pengampu:
Lina Mu’awanah, M.Pd.

Disusun oleh
Kelompok 5:
1. Siti Mutimatus Sa’adah (12204173078)
2. Nia Ayu Anggraini (12204173)
3. Sonna Sasmitha Dewanti (12204173259)

TADRIS MATEMATIKA
FAKULTAS TARBIYAH DAN ILMU KEGURUAN
INSTITUT AGAMA ISLAM NEGERI TULUNGAGUNG
2019
A. Metode Kuadrat Terkecil.
Dalam metode penaksiran regresi dapat dilakukan dengan berbagai
metode namun yang akan dibahas disini adalah tentang penaksiran regresi
dengan metode kuadrat terkecil. Keuntungan penggunaan metode kuadrat
terkecil adalah mudah, paling luas, dan populer digunakan dari pada
metode yang lain. Metode kuadrat terkecil ini memiliki sifat Best Linear
Unbiase Estimator (BLUE). Best artinya terbaik, hasil regresi dikatakan
baik jika garis regresi yang dihasilkan guna melakukan estimasi atau
peramalan dari sebaran data menghasilkan error yang terkecil. Linear
berkaitan dengan analisis regresi model OLS berarti variabel-variabel
penduganya hanya berpangkat satu sedangkan OLS dalam parameter
adalah menjelaskan bahwa parameter yang dihasilkan merupakan fungsi
linear dari sampel. Unbiased atau tidak bias, suatu estimator dikatakan
unbiased jika nilai harapan dari estimator b sama dengan nilai yang benar
dari b, dengan kata lain rata-rata b=b, jika tidak maka selisih antara b dan
rata-rata b disebut sebagai bias. Estimator yang efisien dapat ditentukan
jika ketiga kondisi sebelumnya dapat tercapai.
1. Asumsi Dasar Regresi Linear.
Metode kuadrat terkecil atau Ordinary Least Square (OLS)
dikemukakan oleh seorang ilmuwan matematika Jerman bernama Carl
Friedrich Gauss
a. Asumsi 1 𝐸(𝜀𝑖 |𝑋𝑖 ) = 0.
Asumsi ini menyatakan bahwa nilai ekspektasi bersyarat dari
𝜀𝑖 dengan syarat bahwa variabel X sebesar 𝑋𝑖 atau 𝐸(𝜀𝑖 |𝑥𝑖 )
adalah sama dengan nol. Yang digambarkan seperti gambar
dibawah yang menunjukkan beberapa nilai variabel X dan Y,
dimana setiap nilai X tertentu ada nilai Y.
Seperti yang ditunjukkan pada gambar dibawah nilai 𝑋
tertentu misal 𝑋1, 𝑋2, 𝑋3, atau 𝑋4. Terdapat nilai Y yang
berdekatan dengan rata-ratanya atau nilai harapannya, dimana
nilai Y ada yang berada diatas maupun dibawah dari nilai
harapannya. Jarak dari tiap Y terdapat rata-ratanya, untuk nilai 𝑋
yang ke-i kita beri simbol 𝜀𝑖 . Jika menurut asumsi ini maka rata-
rata atau nilai harapan dari 𝜀𝑖 terhadap nilai X atau 𝑋𝑖 harus sama
dengan nol, untuk semua 𝑖 = 1,2,3, … , 𝑛
b. 𝐴𝑠𝑢𝑚𝑠𝑖 2

𝑘𝑜𝑣 ( 𝜀𝑖 , 𝜀𝑗 ) = 𝐸 [(𝜀𝑖 − 𝐸(𝜀𝑖 )) (𝜀𝑗 − 𝐸(𝜀𝑗 ))]

= 𝐸(𝜀𝑖 , 𝜀𝑗 ) karena asumsi 1

= 0 ,𝑖 ≠ 𝑗

𝜀𝑖 dan 𝜀𝑗 merupakan kesalahan pengganggu ke-i dan ke-j, 𝜀𝑖

dan 𝜀𝑗 tidak berkorelasi dan kov adalah kovarian. Karena 𝜀𝑖 dan
𝜀𝑗 tidak berkorelasi maka kovariannya bernilai nol. Asumsi kedua
ini biasa disebut tidak ada otokorelasi(auto correlation), artinya
untuk Y dengan 𝑋𝑖 , deviasi dari dua nilai Y dari rata-ratanya tidak
menunjukkan pola yang teratur
c. Asumsi 3

𝑣𝑎𝑟(𝜀𝑖 |𝑋𝑖 ) = 𝐸[𝜀𝑖 − 𝐸(𝜀𝑖 |𝑋𝑖 )]2

= 𝐸(𝜀𝑖 2 |𝑋𝑖 ) karena asumsi 1

= 𝜎2

Dimana var adalah varian= 𝜎 = 𝑠𝑖𝑔𝑚𝑎 = √𝜎 2 =

𝑠𝑖𝑚𝑝𝑎𝑛𝑔𝑎𝑛 𝑏𝑎𝑘𝑢

Persamaan diatas menunjukkan bahwa varian

𝜀𝑖 𝑢𝑛𝑡𝑢𝑘 𝑠𝑒𝑡𝑖𝑎𝑝 𝑋𝑖 merupakan nilai konstan sebesar sigma
kuadrat. Secara teknis persamaan tersebut mewakili asumsi
adanya homoskedastisitas dimana homo berarti sama dan
skedastisitas berarti perpencaran atau dapatdiartikan varian sama.
Untuk melihat distribusi 𝜀𝑖 untuk setiap untuk setiap 𝑋1 sebagai
berikut
 Sebaliknya jika varian 𝜀𝑖 bersyarat Y makin besar, nilai variabel
X makin meningkat, dapat dilihat bahwa varian untuk setiap X
tidak sama disebut heteroscedasticity dituliskan:

𝑣𝑎𝑟(𝜀𝑖 |𝑋𝑖 ) = 𝜎𝑖 2 , 𝑖 = 1,2, . . , 𝑛

Varian 𝜀𝑖 untuk setiap 𝑋𝑖 tidak konsisten selalu berubah.

d. Asumsi 4

Menyatakan bahwa kesalahan pengganggu ε dan variabel X

tidak berkorelasi (bebas satu sama lain). Yi = A + BXi + εi ,
dalam model regresi ini Xi dan εi tidak saling mempengaruhi,
sebab kalau saling mempengaruhi kita tidak bisa memisahkan
pengaruh masing-masing terhadap Y. Kenaikan Y disebabkan oleh
kenaikan X atau kenaikan εi atau oleh kenaikan secara simultan
dari keduanya. Dengan asumsi 4 ini, kita bisa melihat pengaruh X
terhadap Y juga pengaruh εi terhadap Y secara terpisah.

Suatu model regresi linier yang memenuhi 4 asumsi diatas

disebut model regresi klasik, baku, atau umum.

Asumsi 4 otomatis terpenuhi kalau asumsi 1 sudah terpenuhi

dan variabel X tidak berubah dari sampel ke sampel.

2. Prinsip Metode Kuadrat Terkecil

Metode kuadrat terkecil (method of least squares) akan

digunakan untuk menempatkan garis pada data yang diamati.
Metode ini akan meminimalkan jumlah kuadrat kesalahan
pengganggu(∑ ei 2 ,minimum), berdasarkan teori kalkulus
2
(turunan) ∑ ei akan minimal jika menurunkan sebanyak dua kali,
mula-mula terhadap a dan kemudian terhadap b, kemudian
menyamakannya dengan nol.

Perhatikan prosedur berikut :

Yi = a+bXi +ei

Ŷ = a+bXi

Berarti : Yi =Ŷ+ei atau ei =Yi – Ŷ

∑ ei = ∑(Yi – Ŷ)

2
∑ ei 2 = ∑(Yi – Ŷ)

∑ ei 2 = ∑(Yi – a - b Xi )2

Diturunkan terhadap a :

∂ ∑ ei 2 ∂[∑(Yi – a – b Xi )2 ]
= =0
∂a ∂a

→ 2 ∑(Yi – a – b Xi ) (−1) = 0

→ −2 ∑ Yi + 2na + 2b ∑ Xi = 0

→ 2na + 2 ∑ Yi = 2 b ∑ Xi

→ na + b ∑ Xi = ∑ Yi ......................................(5.1)

Diturunkan terhadap b ∶

∂ ∑ ei 2 ∂[∑(Yi – a – b Xi )2 ]
= =0
∂b ∂b

→ 2 ∑(Yi – a – b Xi ) (−Xi ) = 0

→ −2 ∑ Xi Yi + 2a ∑ Xi + 2b ∑ Xi 2 = 0

→ 2a ∑ Xi + 2b ∑ Xi 2 = 2 ∑ Xi Yi

→ a ∑ Xi + b ∑ Xi 2 = ∑ Xi Yi ...................................(5.2)

Mencari nilai a, Persamaan (5.1) dibagi n :

∑ Yi na ∑ Xi
∑ Yi = na + b ∑ Xi → = +b
n n n

→ Y = a + bX
 ∑ Yi ∑ Xi
a = Y − bX , dengan Y = , dan X =
n n

Mencari nilai b, dengan memasukkan a ke (5.2) :

a ∑ Xi + b ∑ Xi 2 = ∑ Xi Yi

∑ Yi ∑ Xi
( −b ) ∑ Xi + b ∑ Xi 2 = ∑ Xi Yi
n n

∑ Xi Yi ∑ Xi 2
−b + b ∑ Xi 2 = ∑ Xi Yi
n n

∑ Xi 2 ∑ Xi Yi
b ∑ Xi 2 − b = ∑ Xi Yi −
n n

∑ Xi 2 ∑ Xi Yi
b (∑ Xi 2 − ) = ∑ Xi Yi −
n n

∑ Xi Yi
∑ Xi Yi −
n
b= ∑ Xi 2
..............................................(5.3)
2
∑ Xi −
n

Atau nilai b, bisa juga didapat dari :

∑ Xi 2 ∑ Xi Yi
b ∑ Xi 2 − b = ∑ Xi Yi − xn
n n

bn ∑ Xi 2 − b ∑ Xi 2 = n ∑ Xi Yi − ∑ Xi Yi

b(n ∑ Xi 2 − ∑ Xi 2 ) = n ∑ Xi Yi − ∑ Xi Yi

n ∑ Xi Yi −∑ Xi Yi
b= .........................................(5.4)
n ∑ Xi 2 −∑ Xi 2

Dengan memisalkan xi = Xi − X dan yi = Yi − Y, diperoleh

pula rumus mencari nilai b :

∑ x i yi
b= ∑ xi 2

Penduga yang diperoleh (nilai a dan nilai b) dengan

menggunakan rumus diatas dikenal sebagai penduga kuadrat
terkecil karena diperoleh dari prinsip kuadrat terkecil. Penduga itu
dinyatakan dalam besaran sampel dan merupakan penduga titik,
yaitu dengan sampel tertentu, tiap penduga akan memberikan
hasil hanya satu nilai (titik) tunggal parameter populasi.
Dari pendugaan itu dapat dibuat garis regeresinya. Garis regresi sampel yang
diperoleh mempunyai sifat-sifat sebagai berikut :
 a. Garis tersebut akan melalui tiitk koordinat rata-rata X dan Y (Ȳ, X̄), hal ini
karena Ȳ = 𝑎 + 𝑏
𝑌𝑖 = 𝑎 + 𝑏𝑋𝑖 + 𝑒𝑖 jumlahkan untuk seluruh observasi
∑𝑌𝑖 = 𝑛𝑎 + 𝑏∑𝑋𝑖 + ∑𝑒𝑖 karena ∑𝑒𝑖 = 0 (lihat pembuktian poin 3), maka :
∑𝑌𝑖 = 𝑛𝑎 + 𝑏∑𝑋𝑖 , bagi dengan n
∑𝑌𝑖 = 𝑎 + 𝑏∑𝑋𝑖
b. Nilai rata-rata Y yang diduga (Ŷi/n) sama dengan nilai rata-rata Y(Ȳ) yang
sebenarnya
Ŷ𝑖 = 𝑎 + 𝑏𝑋𝑖
Ŷ𝑖 = (Ȳ − 𝑏X̄ ) + 𝑏𝑋𝑖
Ŷ𝑖 = Ȳ + 𝑏(𝑋𝑖 − 𝑋), jumlahkan untuk semua nilai sampel sehingga
∑Ŷ = 𝑛Ȳ + 𝑏X̄(𝑋𝑖 − X̄), karena∑(𝑋𝑖 − Ȳ) = 0, maka
∑Ŷ = 𝑛Ȳ, 𝑏𝑎𝑔𝑖 𝑑𝑒𝑛𝑔𝑎𝑛 𝑛 𝑠𝑒ℎ𝑖𝑛𝑔𝑔𝑎
Ŷ
∑ =Ȳ
𝑛
c. Nilai rata-rata kesalahan penggangu sama dengan nol.
𝑒𝑖 = 𝑌𝑖 − Ŷ𝑖
𝑒𝑖 = 𝑌𝑖 − 𝑎 − 𝑏𝑋𝑖
∑𝑒𝑖 = ∑(𝑌𝑖 − 𝑎 − 𝑏𝑋𝑖 )
∑𝑒𝑖 = ∑(𝑌𝑖 − Ȳ − 𝑏X̄ − b𝑋𝑖 )
∑𝑒𝑖 = ∑(𝑌𝑖 − Ȳ) − 𝑏∑(𝑋𝑖 − X̄), 𝑘𝑎𝑟𝑒𝑛𝑎 ∑(𝑌𝑖 − Ȳ) = 0 𝑑𝑎𝑛 ∑(𝑋𝑖 − X̄) =
0, 𝑚𝑎𝑘𝑎
∑𝑒𝑖 = 0, 𝑘𝑒𝑚𝑢𝑑𝑖𝑎𝑛 𝑏𝑎𝑔𝑖 𝑑𝑒𝑛𝑔𝑎𝑛 𝑛
𝑒𝑖
∑ =0
𝑛
d. Nilai rata-rata kesalahan pengganggu tidak mempunyai korelasi dengan Y
yang duga (Ŷ), yaitu ∑Ŷ𝑖 𝑒𝑖 = 0. Sesuai dengan poin 3 karena ∑𝑒𝑖 =
0 𝑚𝑎𝑘𝑎 ∑Ŷ𝑖 𝑒𝑖 = 0
e. Nilai rata-rata kesalahan pengganggu tidak berkorelasi dengan X, yaitu
∑Ŷ𝑖 𝑒𝑖 = 0. Sesuai dengan poin 3 karena ∑𝑒𝑖 = 0 𝑚𝑎𝑘𝑎 ∑Ŷ𝑖 𝑒𝑖 = 0
Pembuktian lain
∑𝑒𝑖 = ∑(𝑌𝑖 − 𝑎 − 𝑏𝑋𝑖 ), dikalikan dengan 𝑋𝑖
∑𝑒𝑖 𝑋𝑖 = ∑(𝑌𝑖 − 𝑎 − 𝑏𝑋𝑖 )𝑋𝑖 , diketahui bahwa 2∑(𝑌𝑖 − 𝑎 − 𝑏𝑋𝑖 )(−𝑋𝑖 ) = 0, lihst
persamaan 5.2 , sehingga ∑𝑒𝑖 𝑋𝑖 = 0
Contoh dari data riil biaya iklan –X (dalam jutaan rupiah) dan hasil penjualan –Y
(dalam jutaan rupiah) suatu perusahaan di bawah ini, carilah
Tahun Biaya iklan (X) (Jutaan Hasil Penjualan (Y)(Jutaan
Rupiah) Rupiah)
2010 20 24
2011 25 30
2012 40 48
2013 44 55
2014 48 60
2015 62 75
2016 78 96
2017 83 108
a. Koefisien regresi b dan apa arti koefisien regresi tersebut?

Tahun X Y 𝑋2 𝑌2 XY
2010 20 24 400 576 480
2011 25 30 625 900 750
2012 40 48 1600 2304 1920
2013 44 55 1936 3025 2420
2014 48 60 2304 3600 2880
2015 62 75 3844 5625 4650
2016 78 96 6084 9216 7448
2017 83 108 6889 11664 8964
∑𝑋𝑖 ∑𝑌𝑖 ∑𝑋𝑖 2 ∑𝑌𝑖 2 = 36910 ∑𝑋𝑌
= 400 = 496 = 23682 = 29552
X̄ = 50 Ȳ = 62
Pemecahan
Menggunakan Persamaan 5.3
(∑𝑋𝑖 ∑𝑌𝑖 )
∑𝑋𝑖 𝑌𝑖 −
𝑏= 𝑛
(∑𝑋 )2
∑𝑋𝑖 2 − 𝑛𝑖
400 . 496
29552 − 8
𝑏=
(400)2
23682 − 8
 4752
𝑏= = 1.2906
3682
Menggunakan Persamaan 5.4
𝑛∑𝑋𝑖 𝑌𝑖 − ∑𝑋𝑖 ∑𝑌𝑖
𝑏=
𝑛∑𝑋𝑖 2 − (∑𝑋𝑖 )2
8(29552) − (400 . 496)
𝑏=
8(23682) − 4002
38016
𝑏= = 1,2906
29456
𝑏 = 1,2906, berarti bahwa kalau biaya iklan naik Rp. 1.000.000, maka konsumsi
rumah tangga bertambah Rp. 1.290.690.
𝑎 = Ȳ − 𝑏X̄
𝑎 = 62 − (1,2906 . 50)
𝑎 = 62 − 64,53
𝑎 = −2.53
Persamaan garis regresinya adalah :
Ŷ = −2,53 + 1.2906𝑋