Pokok Bahasan :
REGRESI LINIER
SEDERHANA
Model Regresi Linier Sederhana
(yang hubungannya linier ordo x=1 )
Y 0 1x
Dengan :
0 dan 1 adalah parameter regresi
adalah sisaan/galat (peubah acak)
Y adalah peubah tak bebas (peubah acak)
X adalah peubah bebas yang nilainya diketahui
dan presisinya sangat tinggi (bukan peubah acak)
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Interpretasi dan Asumsi
Parameter Model
E[ i ] 0 dan E[ i ] 2 untuk (i 1, , n)
2
Y 0 1X
Komponen linier (fix) Komponen acak
Y Y 0 1X
Nilai
pengamatan Y yi
untuk Xi
i Slope = 1
Nilai Sisaan/galat
E[Y | xi ]
harapan/rataan untuk xi
Y untuk xi
yi 0 1xi i
Intersep = 0 yi E[Y | xi ] i
E[Y | x i ] 0 1 xi
xi X
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Model Regresi Linier
Sederhana (contoh)
Dugaan bagi persamaan garis regresi :
Y ^
Nilai
Y b 0 b1x
pengamatan Y yi
untuk Xi
ei Slope = b1
Nilai dugaan
Sisaan/galat
E [Y | xi ]
bagi nilai untuk xi
harapan Y
untuk xi yi b0 b1 xi ei
Intersep = b0 ei y i yi
y i b
0 b1 xi
xi X
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Persamaan Garis Regresi
Linier Sederhana
Persamaan garis regresi linier sederhana merupakan
dugaan bagi garis regresi linier sederhana populasi
Nilai dugaan Dugaan bagi
Dugaan bagi
y pada kemiringan garis
intersep 0
pengamatan regresi 1
ke - i
Nilai x pada
yi b0 b1x i pengamatan
ke - i
min i i
(y y ) 2
min i 0 1 i
[y (b b x )] 2
i 1
SXX
Penduga bagi intersep 0 ialah:
b0 y b1x
dengan:
y = nilai rata-rata peubah tak bebas Y
yi = nilai pengamatan ke-i peubah tak bebas Y
yi = nilai dugaan y untuk suatu nilai xi
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Ukuran Keragaman
(lanjutan)
xi X
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Derajat Bebas Jumlah Kuadrat
yi yi JK sisaan S2,
2
Sisaan n-2 n 2 jika
i 1
model
y y
n nya
Total 2
n-1 i pas
(terkoreksi) i 1
ANOVA
df SS MS F Significance F
Regression 1 18934.9348 18934.9348 11.0848 0.01039
Residual 8 13665.5652 1708.1957
Total 9 32600.5000
Y Y
s e kecil X s e besar X
2 2
s s
s b1
2 e
e
(x i x) (n 1)s x
2 2
dengan:
s b1 = dugaan simpangan baku kemiringan garis regresi
SSE
se = akar KTG = akar Kuadrat Tengah Galat = dugaan
n2 simpangan baku sisaan
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Membandingkan Simpangan Baku
Koefisien Kemiringan Garis Regresi (b1)
Y Y
X X
Sb1 kecil Sb1 besar
dengan:
b1 1
Uji Statistik t b1 = koefisien kemiringan regresi
sb1
1 = kemiringan yg dihipotesiskan
d.b. n 2 sb1 = simpangan baku kemiringan
b1 s b1
H0: 1 = 0 Output dari Excel
H1: 1 0 Coefficients Standard Error t Stat P-value
Intercept 98.24833 58.03348 1.69296 0.12892
Luas lantai 0.10977 0.03297 3.32938 0.01039
b1 1 0.10977 0
t t 3.32938
sb1 0.03297
t8,.025 = 2.3060
Keputusan : Tolak H0
a/2=.025 a/2=.025
Kesimpulan :
Cukup bukti untuk mengatakan
Tolak H0 Terima H0 Tolak H0
-tn-2,/2 0 tn-2,/2 bahwa luas lantai
-2.3060 2.3060 3.329 mempengaruhi harga jual
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Contoh Inferensia
Koefisien Kemiringan Garis (b1): t Test
(lanjutan)
Nilai peluang P = 0.01039
H0: 1 = 0 Excel output:
H1: 1 0 Coefficients Standard Error t Stat P-value
Intercept 98.24833 58.03348 1.69296 0.12892
Luas Lantai 0.10977 0.03297 3.32938 0.01039
n (x i x)
b0 2
Keterangan:
s b 0 = dugaan simpangan baku intersep garis regresi
SSE
se = akar KTG = akar Kuadrat Tengah Galat = dugaan
n2 simpangan baku sisaan
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Inferensia Intersep Garis Regresi (b0):
t Test
Pada model regresi linier sederhana :
Uji t untuk intersep garis regresi populasi (0)
Apakah ada nilai Y yang tidak dapat dijelaskan oleh x?
Hipotesis Nol dan hipotesis tandingan
H0: 0 = 0 (semua nilai Y dapat dijelaskan oleh x)
H1: 0 0 (ada nilai Y yg tidak dapat dijelaskan oleh x)
dengan:
b0 0
Statistik uji t b0 = intersep garis regresi
s b0
0 = intersep yg dihipotesiskan
d.b. 1 sb0 = dugaan simp. baku intersep
b0 s b0
H0: 0 = 0 Excel output:
H1: 0 0 Coefficients Standard Error t Stat P-value
Intercept 98.24833 58.03348 1.69296 0.12892
Luas Lantai 0.10977 0.03297 3.32938 0.01039
b 0 0 98.24833 0
t t 1.69296
s b0 58.03348
y
n
Total y
2 S2, jika
n-1 i 1
i
model-
(terkoreksi) nya pas
Statistik uji F tersebut memiliki derajat bebas db1=1 dan db2=n-2
Jika Fhit <1 KTRegresi < KTSisaan Ragam Regresi < Ragam Sisaan
pengaruh regresi tdk nyata pengaruh x tdk nyata b1 = 0 (tdk perlu
tabel)
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Uji F bagi parameter regresi :
Tabel Sidik Ragam
(lanjutan)
Excel Output
Regression Statistics
Multiple R 0.76211
KTR 18934.9348
R Square 0.58082 F 11.0848
Adjusted R Square 0.52842 KTG 1708.1957
Standard Error 41.33032
Observations 10 Db 1,8 P-value
untuk uji-F
ANOVA
df SS MS F Significance F
Regression 1 18934.9348 18934.9348 11.0848 0.01039
Residual 8 13665.5652 1708.1957
Total 9 32600.5000
a = .05 Kesimpulan:
Cukup bukti bahwa luas lantai
0 F mempengaruhi harga rumah
terima Tolak H0
H0 F.05 = 5.32
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Perbandingan Tabel Sidik Ragam
Terkoreksi dan Tidak Terkoreksi
Sumber Derajat Jumlah Kuadrat
Keragaman Bebas (db) Kuadrat (JK) Tengah (KT)
y y H 0 : 1 0
n
2
Regresi JK Regresi
1 i
(b1| b0) i 1 1
n
H1 : 1 0
JK sisaan
y y i
2
Sisaan n-2
i 1
i
n 2 Sudah diku-
rangi dg fak-
y y
n tor koreksi ny
Total 2
n-1 i
(terkoreksi) i 1
H 0 : 0 1 0
Regresi 2 b1 xi yi b0 yi
H1 : min ada j 0,
n j 0,1
yi yi
2
Sisaan n-2
i 1
2
s Tidak bisa mem-
berikan jawaban
y
2
Total n i
apkh x berpe-
ngaruh/tidak
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Kualitas Fitted Model
Mana di antara
y gambargam- y
a.
bar ini yang mo- b.
delnya cukup
pas/sesuai ?
x x
Perlu diuji
y apakah model- y
c. nya sudah pas d.
atau belum
uji lack of fit
atau secara
eksploratif plot
x sisaan x
Mana di antara
gambargambar ini
yang modelnya
x cukup baik untuk x
peramalan?
y y
c. d.
Perlu suatu besaran
yang dapat mengukur
jauh/dekatnya titik pe-
ngamatan thdp garis
regresi
x
x
R 2
JK Reg
( y y )
i
2
atau R 1
2 JK Sisa
JK Tot ( y y)
i
2
JK Total
CATATAN: 0 R2 1
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Analisis Korelasi
r
s xy
, s xy
(x x)(y
i i y)
sxsy n 1
Koefisien Pada Model Regresi Linier Sederhana
korelasi yg hub.nya linier :
Pearson R2 = r2 r = (tanda b1)
H0 : 0
r (n 2)
t
(1 r )2
a a/2 a/2
a
-ta ta -ta/2 ta/2
tolak H0 jika t < -tn-2, a Tolak H0 jika t > tn-2, a Tolak H0 jika t < -tn-2, a/2
atau t > tn-2, a/2
r (n 2)
dengan t , d.b n - 2
(1 r )
2
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Interpretasi beberapa nilai r2
Y
r2 = 1 dapat diinterpretasikan
sbb. :
Adanya hubungan linier
yang tepat antara X dan Y:
X
r2 = 1 100% keragaman Y
Y dijelaskan oleh keragaman X
X
r2 =1
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Interpretasi beberapa nilai r2
Y
0 < r2 < 1 dapat diinterpretasi-
kan sbb. :
X
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Interpretasi beberapa nilai r2
r2 = 0 dapat diinterpretasikan
Y sbb. :
Tidak ada hubungan linier
antara X dan Y:
y y
n
Regresi 2 JK Regresi
1 i
1
(b1| b0) i 1
n
i i
y
y 2 JK sisaan Statistik uji-
Sisaan n-2
i 1 n 2 nya :
Ketidakpasan db -db JK KM KTKM
model sisa GM
JKsisa JKGM KTKM
db KM
Fhit
KTGM
m m nj
nj m ( y ju y j ) 2
JK GM
Galat murni KTGM
j 1 j 1 u 1 db GM
y y
n
2
Total n-1 i
(terkoreksi) i 1
Selama satuan peubah tak bebas (harga rumah) dalam juta rupiah, kita
percaya 95% bahwa rata-rata pengaruh penambahan harga rumah
berada antara Rp. 0,03374 juta sampai dengan Rp.0,18580 juta setiap
penambahan satu m2 luas lantai
450
Harga Rumah (juta Rp)
400
350
300
250
Sangat riskan
200 untuk melakukan
150 ekstrapolasi X di
100
luar selang
50
0
pengamatan
0 500 1000 1500 2000 2500 3000
Luas
Itasia & Y Angraini, Dep Statistika Lantai
FMIPA - IPB(m2)
Selang kepercayaan rataan
respon dan dugaan individu
Selang
kepercayaan
bagi rataan Y,
Y
y
untuk xi
y = b0 + b1 xi
Selang kepercaya-
an bagi nilai peng-
amatan y, untuk xi
1 (x i x)2
y n1 t n-2,/2 se 317.85 37.12
n (x i x) 2
1 (Xi X)2
y n1 t n-1,/2se 1 317.85 102.28
n (Xi X) 2