REGRESI LINIER

SEDERHANA (SIMPLE
LINEAR REGRESSION)
Ref : KodeJ0204/Statistik Ekonomi, 2007
REGRESI LINIER SEDERHANA
(SIMPLE LINEAR REGRESSION)
CAKUPAN MATERI:
Model Regresi Linier Sederhana
Metode Kuadrat Terkecil (Least Squares Method)
Koefisien Determinasi
Asumsi Model
Uji Keberartian (Testing for Significance)
Estimasi dengan Persamaan Regresi
Analisis Residual: Pemeriksaan Asumsi Model
Model Regresi Sederhana
Y
i
= |
0
+ |
1
X
i
+ c
i
|
0
dan |
1
: parameter dari fungsi yg nilainya akan
diestimasi.
Bersifat stochastik = untuk setiap nilai X terdapat suatu
distribusi probabilitas seluruh nilai Y atau Nilai Y tidak
dapat diprediksi secara pasti karena ada faktor
stochastik c
i
yang memberikan sifat acak pada Y.
Adanaya variabel c
i
disababkan karena:
C Ketidak-lengkapan teori
C Perilaku manusia yang bersifat random
C Ketidak-sempurnaan spesifikasi model
C Kesalahan dalam agregasi
C Kesalahan dalam pengukuran
.
.
.
.
.
.
.
.

i
= b
0
+ b
1
X
i Y
i

i
c
i
X
Y
Y
i
= |
0
+ |
1
X
i
+ c
i
Variation
in Y
Systemati
c
Variation
Random
Variatio
n
0
Asumsi-asumsi mengenai c
i
:
1. c
i
adalah variabel random yg menyebar normal
2. Nilai rata-rata c
i
= 0, e(c
i
) = 0.
3. Tidak tdpt serial korelasi antar c
i
cov(c
i
, c
j
) = 0
4. Sifat homoskedastistas, var(c
i
) = o
2
5. cov(c
i
,X
i
) = 0
6. Tidak terdapat bias dalam spesifikasi model
7. Tidak terdapat multi-collinearity antar variebel penjelas
X
1
X
2
X
3
Fungsi Regresi Populasi
E(Y
i
) = |
0
+ |
1
X
i
X
Y
Y
i
= |
0
+ |
1
X
i
+
i
Nilai rata2 Y
i
:
E(Y
i
) = |
0
+ |
1
X
i

I
= Y
i
- E(Y
i
)
METODE PENAKSIRAN PARAMETER DALAM EKONOMETRIK
Metode estimasi yang sering digunakan adalah Ordinary Least
Square (OLS). Dalam regresi populasi dikenal pula adanya
istilah PRF (Population Regression Function) dan dalam
regresi sampel sebagai penduga regresi populasi dikenal
istilah SRF (Sample Regression Function).
Y
i
e
i
u
i
0 X X
i
Y
X Y
^ ^ ^
| - o =
X ) Y ( E | - o =
SRF
PRF
P
Yi
^
Penaksir kuadrat terkecil adalah mempunyai varian yang minimum yaitu penaksir
tadi bersifat BLUE (Best Linear Unbiased Estimator). Asumsi yang harus
dipenuhi dalam penaksiran metode OLS adalah sebagai berikut :
1.
i
adalah sebuah variabel acak atau random yang riil dan memiliki distribusi
normal.
2. Nilai harapan dari
i
yang timbul karena variasi nilai X
i
yang diketahui
harus sama dengan nol. E(c
i
/ X
i
) = 0
3. Tidak terjadi autokorelasi atau serial korelasi. Artinya,
Cov(c
i
, c
j
) = E| c
i
E(c
i
)||
j
E(c
j
)|
= E(c
i
, c
j
)
= 0 .................... i = j
4. Syarat Homoskedastisiti. Artinya bahwa varian dari
i
adalah konstan dan
sama dengan o
2
.
Var (c
i
/ X
i
) = E| c
i
E(c
i
)|
2
= E(c
i
)
2
= o
2
5. Tidak terjadi multikolonieritas. Yaitu tidak ada korelasi antara dengan
variabel bebasnya X
i
atau :
Cov(c
i
, X
i
) = E(c
i
E(c
i
))(X
i
E(X
i
))
= 0
Pengujian statistik SECARA PARSIAL mendasarkan pada hipotesis
:
Uji Konstanta Intersep H0 : 0 = 0
H1 : 0 0
Uji Koeff. X H0 : 1 = 0
H1 : 1 0
REGRESI LINEAR SEDERHANA
Y = 0 + 1 X
Pengujian statistik model secara keseluruhan dilakukan dengan uji-F.
Uji F mendasarkan pada dua hipotesis, yaitu :
H0 : Semua koefisien variabel bebas adalah 0 (nol)
H1 : Tidak seperti tersebut di atas
REGRESI DAN KORELASI
Contoh Persamaan Regresi
Linear : Y = a + b X
Multi linear : Z = a + b X + c Y
Simple Non-linier : S = a H
b
Complex Non-linier : Q
t
= a (P
t
I
t
) + Qo e
-kt
Polynomial : Y = a
0
+ a
1
X + a
2
X
2
.. + a
n
X
n
Model Regresi Linier Sederhana
y = |
0
+ |
1
x + c
Persamaan Regresi Linier Sederhana
E(y) = |
0
+ |
1
x
Estimasi Persamaan Regresi Linier Sederhana
y = b
0
+ b
1
x
dimana
y = variabel tak bebas (response/dependent variable)
x = variabel bebas (predictor/independent variable)
c = suku sisaan (error/residual)
|
0
= intercept (titik potong garis regresi dengan sumbu y)
|
1
= slope/kemiringan garis regresi
^
REGRESI LINIER SEDERHANA
(SIMPLE LINEAR REGRESSION)
METODE KUADRAT TERKECIL
Kriteria Kuadrat Terkecil
Prinsip: Meminimalkan jumlah kuadrat jarak/selisih
antara nilai variabel tak bebas sebenarnya dengan
nilai estimasi variabel tak bebas (error)
dimana:
y
i
= nilai observasi ke-i dari variable tak bebas
y
i
= nilai estimasi ke-i dari variabel tak bebas

2
i i
) y

y ( min
^
SIMPLE LINEAR REGRESSION
Metode Least Square
X (explanatory variable)
Y

(
d
e
p
e
n
d
e
n
t

v
a
r
i
a
b
l
e
)
a
Y = a + b X
i
Y
i
v
e
i
x
i
Y = f (X)
Y = a + b X
Yi = hasil observasi
Estimasi terbaik
a = ? b = ?
v
Jika :
minimum maka kondisi least square akan
dipenuhi.
Apabila :
0 0
2 2
=
b
D
dan =
a
D
2
1
^
1
2 2

= =

= =
n
i
i i
n
i
i
b x a Y e D
) 1 .....( .......... .......... .......... .......... .......... 0
0 2
D
1 1
^
1
^
2
=
=

= =
=
n
i
i
n
i
n
i
i
i
x b a n Y
x b a Y
a

) ...( .......... .......... .......... x b x a x Y

x x b a Y
b
D
n
i
i
n
i
i
n
i
i
i
^
n
i
i i
i
2 .... 0
0 ) ( 2 0
1
2
1 1
1
^
2
=
=

= = =
=

) 3 .........( .......... .......... .......... .......... ..........

1
) 1 (
^
1 1
1
^

= =
=
=
(
(
'
`
,
,
\
|
=
=


x b y b x y x
n
a
b x Y na
n
i
i
n
i
i i
n
i
i
Persamaan umum Regresi
sederhana
|
1
dan |
2
adalah nilai estimasi
untuk parameter
i = nilai estimasi model
c
i
= nilai residual
(1)
(2)
(3)
(4)
Metode Ordinary Least Squares (OLS)
n X
i
Y
i
X
i
Y
i
|
1
=
n X
i
2
(X
i
)
2
(X
i
X)(Y
i
Y)
=
(X
i
X)
2
n x
i
y
i
=
x
i
2
(X
i
)
2
Y
i
X
i
X
i
Y
i
|
0
=
n X
i
2
(X
i
)
2
= Y |
1
X
Koefisien parameter untuk |
1
dan |
2
Kemiringan (Slope) Persamaan Regresi Estimasi
Intercept Persamaan Regresi Estimasi
dimana:
x
i
= nilai variabel bebas untuk observasi ke-i
y
i
= nilai variabel tak bebas untuk observasi ke-i
x = rata-rata nilai variabel bebas
y = rata-rata nilai variabel tak bebas
n = total observasi

=
n / ) x ( x
n / ) y x ( y x
b
2
i
2
i
i i i i
1
x b y b
1 0
=
METODE KUADRAT TERKECIL
CONTOH: REED AUTO SALES
Sebagai bagian dari kampanyenya, Reed Auto
menggunakan media televisi untuk iklan selama akhir
pekan yang lalu. Berikut adalah data dari 5 sampel
penjualan.
Banyaknya iklan TV Jumlah Mobil Terjual
1 14
3 24
2 18
1 17
3 27
Kemiringan Persamaan Regresi Estimasi
b
1
= 220 - (10)(100)/5 = 5
24 - (10)
2
/5
Intercept Persamaan Regresi Estimasi
b
0
= 20 - 5(2) = 10
Estimasi Persamaan Regresi
y = 10 + 5x
Interpretasi: Jika banyaknya iklan bertambah 1 kali,
maka dapat meningkatkan banyak penjualan mobil
sebanyak 5.
^
CONTOH: REED AUTO SALES
Scatter Diagram
y = 5x + 10
0
5
10
15
20
25
30
0 1 2 3 4
Banyaknya Iklan TV
J
u
m
l
a
h

M
o
b
i
l

T
e
r
j
u
a
l
CONTOH: REED AUTO SALES
KOEFISIEN DETERMINASI
Hubungan antara SST, SSR, SSE
SST = SSR + SSE
Koefisien Determinasi (Coefficient of Determination)
r
2
= SSR/SST
dimana:
SST = total sum of squares
SSR = regression sum of squares
SSE = error sum of squares

- =
2
i i
2
i
2
i
) y

y ( ) y y

( ) y y (
KOEFISIEN KORELASI SAMPEL
dimana:
b
1
= slope persamaan regresi estimasi
2
1 xy
r ) b dari (tanda r =
2
1 xy
r ) b dari (tanda r =
ion Determinat of t Coefficien ) b dari (tanda r
1 xy
= ion Determinat of t Coefficien ) b dari (tanda r
1 xy
=
x b b y

1 0
- = x b b y

1 0
- =
KOEFISIEN DETERMINASI
r
2
= SSR/SST = 100/114 = 0,8772
Artinya:
Hubungan regresi sangat kuat karena 88% variasi
mobil yang terjual dapat dijelaskan oleh banyaknya
iklan TV.
KOEFISIEN KORELASI
9366 , 0 8772 , 0 r
xy
- = - =
CONTOH: REED AUTO SALES
UJI SIGNIFIKANSI
Untuk menguji keberartian hubungan regresi, maka
harus dilakukan uji hipotesis apakah b
1
sama dg nol.
Dua pengujian yang umum digunakan adalah Uji t dan
Uji F
Kedua pengujian di atas memerlukan estimasi varian
dari c dalam model regresi, s
2
.
Mean square error (MSE) menghasilkan estimasi untuk
varian c.
s
2
= MSE = SSE/(n-2)
dimana:

= =
2
i 1 0 i
2
i i
) x b b y ( ) y

y ( SSE
UJI SIGNIFIKANSI: Uji t
Hipotesis
H
0
: |
1
= 0
H
a
: |
1
= 0
Statistik Uji
dimana
Aturan Penolakan
Tolak H
0
jika t < -t
o /2
atau t > t
o /2
dimana t
o /2
didasarkan pada distribusi t dengan derajat
bebas n - 2.
1
b
1
s
b
t =

=
2 2
i
2
2
b
x n x
s
s
1
Pengujian Hipotesis :
simpulan untuk menolak atau menerima
Ho, yang tergantung dari bentuk
perumusan hipotesisnya yaitu :
Ho : |
1
= 0
Ha : |
1
< 0
D. Penolakan D.
penerimaan

t
Kesimpulan untuk menolak atau menerima Ho
Ho : |
1
= 0 D. Penerimaan D.
penolakan
Ha : |
1
> 0
Ho : |
1
= 0 D.Penerimaan
Ha : |
1
0 D.Penolakan D.
Penolakan

t
Uji t
E Hipotesis H
0
: |
1
= 0
H
a
: |
1
= 0
E Aturan Penolakan
Untuk o = 0,05 dan derajat bebas = 3, t
0,025
= 3,182
Tolak H
0
jika t > 3,182
E Statistik Uji
t = 5/1,08 = 4,63
E Kesimpulan
Tolak H
0
, banyaknya iklan melalui TV signifikan
mempengaruhi jumlah mobil yang terjual (pada
o =0,05).
CONTOH: REED AUTO SALES
CONFIDENCE INTERVAL UNTUK
1
Kita dapat menggunakan interval keyakinan/
confidence interval (1-o )100% |
1
untuk menguji
hipotesis seperti halnya yang digunakan pada uji t.
H
0
ditolak jika nilai hipotesis |
1
tidak masuk dalam
confidence interval untuk |
1
.
Confidence interval untuk |
1
adalah:
dimana b
1
= estimasi titik dari |
1
= batas kesalahan
t
o /2
= nilai t tabel (didasarkan pada distribusi
t dengan derajat bebas n-2)
1
b 2 / 1
s t b
o

1
b 2 /
s t
o
Aturan Penolakan
Tolak H
0
jika 0 tidak masuk dalam confidence interval
untuk |
1
.
Confidence Interval 95% untuk |
1
= 5 3,182(1,08) = 5 3,44
atau 1,56 sampai 8,44
Kesimpulan
Tolak H
0
, banyaknya iklan melalui TV signifikan
mempengaruhi jumlah mobil yang terjual (pada
o =0,05).
1
b 2 / 1
s t b
o

CONTOH: REED AUTO SALES

UJI SIGNIFIKANSI: Uji F
Hipotesis
H
0
: |
1
= 0
H
a
: |
1
= 0
Statistik Uji
F = MSR/MSE
Aturan Penolakan
Tolak H
0
jika F > F
o
dimana F
o
didasarkan pada distribusi F dengan derajat
bebas 1 dan n - 2.
Uji F
E Hipotesis H
0
: |
1
= 0
H
a
: |
1
= 0
E Aturan Penolakan
Untuk o = 0,05 & derajat bebas = 1, 3: F
0,05
= 10,13
Tolak H
0
jika F > 10,13
E Statistik Uji
F = MSR/MSE = 100/4,667 = 21,43
E Kesimpulan
H
0
ditolak.
CONTOH: REED AUTO SALES
Volume penjualan dan harga jual produk PT.ABC
selama 10 bulan (contoh 2)
Bulan Volume Penjualan
(Dalam ribuan)
Harga Jual
(Dalam ribuan Rp)
1 10 1,30
2 6 2,00
3 5 1,70
4 12 1,50
5 10 1,60
6 15 1,20
7 5 1,60
8 12 1,40
9 17 1,00
10 20 1,10
JAWAB
y x xy
10 1,30 13,0 1,69 100
6 2,00 12,0 4,00 36
5 1,70 8,5 2,89 25
12 1,50 18,0 2,25 144
10 1,60 16,0 2,56 100
15 1,20 18,0 1,44 225
5 1,60 8,0 2,56 25
12 1,40 16,8 1,96 144
17 1,00 17,0 1,00 289
20 1,10 22,0 1,21 400
112 14,4 149,3 21,56 1.488
2
x
2
y
- Pengaruh harga terhadap penjualan
Untuk mengetahui pengaruh tersebut
dengan menghitung koefisien regresi
, ,
X Y
x a
x
x x
b
t 54 , 1 4 1 4 , 32
1 4 , 32 44 , 1 54 , 1 4 2 , 1 1
1 0
4 , 1 4
54 , 1 4
1 0
1 1 2
54 , 1 4
2 4 , 8
8 , 1 1 9
4 , 1 4 56 , 2 1 1 0
1 1 2 4 , 1 4 3 , 1 49 1 0
2
=
= - = =
=

=
Interprestasi dari persamaan tersebut
Nilai a = 32,14 artinya jika harga sama
dengan nol maka rata-rata 32.140 produk
akan terjual.
Nilai b = -14,54 artinya jika harga naik Rp
1,00 maka volume penjualan akan turun
sebesar 14,54 unit
- Kesalahan baku
y x
10 1,30 13,24 - 3,24 10,50
6 2,00 3,06 2,94 8,64
5 1,70 7,42 - 2,42 5,86
12 1,50 10,33 1,67 2,79
10 1,60 8,88 1,12 1,25
15 1,20 14,69 0,31 0,096
5 1,60 8,88 - 3,88 15,05
12 1,40 11,78 0,22 0,048
17 1,00 17,6 - 0,6 0,36
20 1,10 16,15 3,85 14,82
112 14,4 59,414
, ,
2
t
Y Y
t Y
t Y Y
KESALAHAN BAKU ESTIMASI
Kesalahan baku estimasi untuk mengukur
besarnya penyimpangan nilai Y
sebenarnya dengan nilai Y estimasi ( )
Rumus Kesalahan baku estimasi
, ,
2
2
.

=

n
Y Y
S
x y
Untuk memudahkan peoses perhitungan
rumus kesalahan baku estimasi sebelumnya
diubah menjadi :
2
1 0
2
.

=

n
XY b Y b Y
S
x y
Regr esi Li near
3. Uji Koefisien dan Korelasi
Untuk melihat pengaruh X terhadap Y, maka dilakukan pengujian pada koefisien regresi
B. Bila X tidak mempengaruhi Y maka B = 0, bila ada pengaruh negatif B < 0, ada pengaruh
positif B > 0, dan bila ada pengaruh X terhadap Y maka B= 0. Perumusan untuk pengujian
koefisien regresi B, adalah:
a. H
o
: B = 0
b. H
1
: B > 0(ada pengaruh X terhadap Y positif)
H
1
: B < 0(ada pengaruh X terhadap Y negatif)
H
1
: B= 0 (ada pengaruh X terhadap Y )
c. Dengan diketahui, dari tabel distribusi-t maka dapat dihitung

t untuk pengujian satu
arah dan
2

t untuk pengujian dua arah.

d. Tentukan statistik uji (t
b
) yang diberikan oleh
b
o
b
s
B b
t

=
;
, ,

=
n
x
x
s
s
x y
b
2
2
,
) (
e. Simpulkan, tolak H
o
atau terima H
o
.
Kesalahan baku estimasi dapat dihitung
dengan rumus :
Manfaat kesalahan baku adalah dapat
digunakan untuk membandingkan nilai
penyebaran titik data dari garis regresi
yang satu dengan garis regresi yang lain
, ,
73 , 2
2 1 0
41 4 , 59
2
2
.
=

=

n
Y Y
S
t
x y
Atau dihitung menggunakan rumus lain lagi
untuk menentukan kesalahan baku estimasi :
73 , 2
8
41 , 59
2 1 0
3 , 1 49 54 , 1 4 1 1 2 1 4 , 32 488 . 1
.
.
= =

-
=
x y
x y
S
x x
S
EXERCISE
A medical laboratory at Duke University estimates the amount of protein in
liver samples using regression analysis. A spectrometer emitting light shines
through a substance containing the sample, and the amount of light
absorbed is used to estimate the amount of protein in the sample. A new
estimated regression equation is developed daily because of differing
amounts of dye in the solution. On one day, six samples with known protein
concentrations gave the absorbence readings shown below.
E Use these data to develop an estimated regression equation relating the
light absorbence reading to milligrams of protein present in the sample.
E Compute r2. Would you feel comfortable using this estimated regression
equation to estimate the amount of protein in a sample?
E In a sample just received, the light absorbence reading was .941.
Estimate the amount of protein in the sample.
Absorbence Reading (xi) Milligrams of Protein (yi)
0.509 0
0.756 20
1.020 40
1.400 80
1.570 100
1.790 127
SEKIAN &
SEE YOU NEXT SESSION