STK331 02
STK331 02
Pokok Bahasan :
REGRESI LINIER
SEDERHANA
Deskripsi Model
Model Regresi
Sederhana
Linier
Hubungannya linier Y β0 β1x ε
Non Linier
Polinom Y β0 β1x 2 ε
Multiplikatif Y β0 x β1
ε
Y β 0eβ1 x .ε
β1
Eksponensial Y β0 e x
ε
Reciprocal 1
β 0 β1x ε
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Model Regresi Linier Sederhana
(yang hubungannya linier ordo x=1 )
Y β0 β1x ε
Dengan :
0 dan 1 adalah parameter regresi
adalah galat/eror (peubah acak)
Y adalah peubah tak bebas (peubah acak)
X adalah peubah bebas yang nilainya diketahui
dan presisinya sangat tinggi (bukan peubah acak)
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Dugaan dan Interpretasi
Parameter Model
Y β 0 β1X ε
Komponen linier (fix) Komponen acak
Y Y β0 β1X ε
Nilai
pengamatan Y yi
untuk Xi
εi Slope = β1
Nilai Sisaan/galat
E[Y | xi ]
harapan/rataan untuk xi
Y untuk xi
yi β 0 β1xi εi
Intersep = β0 yi E[Y | xi ] i
E[Y | x i ] β0 β1 xi
xi X
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Dugaan Persamaan Garis
Regresi Linier Sederhana
Dugaan persamaan garis regresi linier sederhana
min (y i ŷ i ) 2
min [y i (b 0 b1x i )]2
Teknik kalkulus digunakan untuk mendapatkan nilai bo dan b1
sedemikian hingga meminimumkan JKG
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Menduga Persamaan Regresi
(lanjutan)
Metode Kuadrat Terkecil
i 1
SXX
Penduga bagi intersep β0 ialah:
b0 y b1x
245 1400
312 1600
279 1700
308 1875
199 1100
219 1550
405 2350
324 2450
319 1425
255 1700
Y 0 1 x
800
700
600
Persamaan Garis
500
Harga Rumah
Regresi-nya
400
300
Y 0 1 x
200
100
Diduga dengan :
0
1000 1200 1400 1600 1800 2000 2200 2400 2600
Luas Lantai Yˆ b0 b1 x
b
S = 41,3303 R-Sq1 = 58,1% R-Sq(adj) = 52,8%
Tampilan Grafik
Model Harga Rumah: scatter plot dan
garis regresi
450
Harga Jual Rumah (Rp.juta)
400
350 Kemiringan
300
250
= 0.10977
200
150
100
50
Intersep 0
= 98.248 0 500 1000 1500 2000 2500 3000
Luas Lantai (m2)
Interpretasi Intersep b0
xi X
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Sumber Keragaman Regresi
(lanjutan)
Untuk suatu nilai xi keragaman nilai pengamatan yi
disebabkan oleh :
Menyimpangnya
nilai amatan yi terhadap dugaan nilai
harapannya E [Y | x i ] E [Y | x i ] yi b0 b1x i
yi yi ei karena eror/galat /sisaan
dengan:
y = nilai rata-rata peubah tak bebas Y
yi = nilai pengamatan ke-i peubah tak bebas Y
ŷi = nilai dugaan y untuk suatu nilai xi
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Ukuran Keragaman
(lanjutan)
yˆ y
n
2 JK Regresi
Regresi 1 i
1
i 1
n
Sisaan n-2
i i
y ˆ
y 2 JK sisaan S2,
i 1 n 2 jika
model
y y
n nya
Total 2
n-1 i pas
(terkoreksi) i 1
Y Y
s e kecil X s e besar X
i
(x x) 2
(n 1)s2
x
dengan:
sb1 = dugaan simpangan baku kemiringan garis regresi
s 2x = dugaan ragam x
JKsisa
se = akar KTG = akar Kuadrat Tengah Galat = dugaan
n2
simpangan baku sisaan
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Membandingkan Simpangan Baku
Koefisien Kemiringan Garis Regresi (b1)
Y Y
X X
Sb1 kecil Sb1 besar
dengan:
b1 β1
Uji Statistik t b1 = koefisien kemiringan regresi
sb1
β1 = kemiringan yg dihipotesiskan
d.b. n 2 sb1 = simpangan baku kemiringan
Keputusan : Tolak H0
a/2=.025 a/2=.025
Kesimpulan :
Cukup bukti untuk mengatakan
Tolak H0 Terima H0 Tolak H0
-tn-2,α/2 0 tn-2,α/2 bahwa luas lantai
-2.3060 2.3060 3.329 mempengaruhi harga jual
Itasia & Y Angraini, Dep Statistika FMIPA - IPB secara linier
Contoh Inferensia
Koefisien Kemiringan Garis (b1): uji t
(lanjutan)
Nilai peluang P = 0.01039
H0: β1 = 0 output MINITAB :
H1: β1 0 Predictor Coef SE Coef T P
Constant 98,25 58,03 1,69 0,129
thit = 3.329 Luas Lantai 0,10977 0,03297 3,33 0,010
n (x i x)
b0 2
Keterangan:
s b 0 = dugaan simpangan baku intersep garis regresi
SSE
se = akar KTG = akar Kuadrat Tengah Galat = dugaan
n2 simpangan baku sisaan
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Inferensia Intersep Garis Regresi (b0): uji
t
dengan:
b0 β0
Statistik uji t s b0 = intersep garis regresi
b0
β0 = intersep yg dihipotesiskan
d.b. 1 sb0 = dugaan simp. baku intersep
yˆ y
n
Regresi 2 JK Regresi
1 KTRegresi
(b1| b0) i 1
i
1 Fhit
n
KTSisaan
i i
y ˆ
y 2 JK sisaan
=
Sisaan n-2
i 1 n 2 Ragam Reg
y y
n
2 Ragam Sisaan
Total
n-1 i 1
i S2, jika mo-
(terkoreksi) delnya pas
a = .05 Kesimpulan:
Cukup bukti bahwa luas lantai
0 F mempengaruhi harga rumah
terima Tolak H0
H0 F.05 = 5.32
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Uji F bagi parameter regresi :
Tabel Sidik Ragam
(lanjutan)
yˆ y H 0 : 1 0
n
2
Regresi JK Regresi
1 i
(b1| b0) i 1 1
n
H1 : 1 0
JK sisaan
y yˆ
2
Sisaan n-2
i 1
i i
n 2 Sudah diku-
rangi dg faktor
y y
n
Total 2
koreksi ny
n-1 i
(terkoreksi) i 1
H 0 : 0 1 0
Regresi (b0,b1) 2 b1 x i yi b0 yi
H1 : min ada satu
n j 0, j 0,1
y yˆ
2
Sisaan n-2
i 1
i i
2
s Tidak bisa mem-
berikan jawaban
y
2
Total n i apkh x berpe-
ngaruh/tidak
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Kualitas Fitted Model
Mana di antara
y gambar–gam- y
a.
bar ini yang mo- b.
delnya cukup
pas/sesuai ?
x x
Perlu diuji
y apakah model- y
c. nya sudah pas d.
atau belum
uji lack of fit
atau secara
eksploratif plot
x sisaan x
y y
c. Perlu suatu be- d.
saran yang dapat
mengukur jauh
/dekatnya titik
pengamatan
x thdp garis regresi
x
R 2
JK Reg
( yˆ i y)2
atau R 1
2 JK Sisa
JK Tot (y i y ) 2
JK Total
CATATAN: 0 R2 1
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Koefisien Determinasi, R2
(lanjutan)
OUTPUT MINITAB
Regression Analysis: Harga Rumah versus Luas Lantai
ˆ rXY
s xy
s xy
(x x)(y y)
i i
s xs y n 1
Pada Model Regresi Linier Sederhana
Koefisien yg hub.nya linier :
2
korelasi R2 = r2 rXY = (tanda b1) R
Pearson
Pada sembarang regresi linier berlaku:
rYŶ R
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Uji Hipotesis untuk Korelasi
(lanjutan)
H0 : ρ 0
r (n 2)
t
(1 r 2 )
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Uji Hipotesis untuk Korelasi
(lanjutan)
Kaidah Keputusan
a a/2 a/2
a
-ta ta -ta/2 ta/2
tolak H0 jika t < -tn-2, a Tolak H0 jika t > tn-2, a Tolak H0 jika t < -tn-2, a/2
atau t > tn-2, a/2
r (n 2)
dengan t , d.b n - 2
(1 r )
2
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Uji Hipotesis untuk Korelasi
(lanjutan)
OUTPUT MINITAB
P-Value = 0,010
X
r2 =1
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Interpretasi beberapa nilai r2
Y
0 < r2 < 1 dapat diinterpretasi-
kan sbb. :
X
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Interpretasi beberapa nilai r2
r2 = 0 dapat diinterpretasikan
Y sbb. :
Tidak ada hubungan linier
antara X dan Y:
R r 2 2
xy rxy R (tanda b1 )(R ) 2 1/ 2
^
Korelasi antara amatan Yi dengan nilai dugaannya Yi untuk
sembarang regresi linier dengan berapapun banyaknya
peubah bebas
r ^ R
YY
R2 = 1 80
R2 = 1
25
r=1 60 r=0
20
Y2
Y2
Y1
40
15
10 20
b1 = 3 b1 = 0
5
0
0 2 4 6 8 10 -10 -5 0 5 10
C1 X2
C1
30 30
R2 = 97,7% R2 = 88,7%
25 25
r = 0,988 r = 0,942
20 20
Y3
Y4
15 15
10 10
5 b1 = 3,1 5 b1 = 3,01
0 0
0 2 4 6 8 10 0 2 4 6 8 10
X1 X1
R2 = 76,0% R2 = 64,8%
8
30 r = -0,872 r = 0,805
6
20
C7
Y6
4
10
2
b1 = 0,116
b1 = -3,38
0 0
0 2 4 6 8 10 0 2 4 6 8 10
X1 X1
R2 = 93,5% 15,0
R2 = 53,3%
8
r = 0,967 r = 0,730
12,5
6
Y1
Y
10,0
4
7,5
2
b1 = 0,00914 5,0 b1 = 4,67
0
0 2 4 6 8 10 0 1 2 3 4 5
X1 X
The regression equation is Y1 = 3,99 + 0,00914 X1 The regression equation is Y = 1,06 + 4,67 X
S = 0,0077338 R-Sq = 93,5% R-Sq(adj) = 92,7% S = 2,06491 R-Sq = 53,3% R-Sq(adj) = 52,1%
Analysis of Variance Analysis of Variance
Source DF SS MS F P Source DF SS MS F P
Regression 1 0,0068911 0,00689 115,21 0,000 Regression 1 184,94 184,94 43,37 0,000
Resd Error 8 0,0004785 0,00005 Residual Error 38 162,03 4,26
Total 9 0,0073696 Total 39 346,97
yˆ y
n
Regresi 2 JK Regresi H0: model pas
1 i
1 H1: model tdk pas
(b1| b0) i 1
n
i i
y ˆ
y 2 JK sisaan Statistik uji-
Sisaan n-2
i 1 n 2 nya :
Ketidakpasan db -db JK KM KTKM
model (KM) sisa GM
JKsisa – JKGM KTKM
db KM
Fhit
KTGM
m m nj
nj m ( y ju y j )2
Galat murni JK GM
KTGM F tabel :
(GM) j 1 j 1 u 1 db GM
db1=dbKM
y y
n
2
Total db2=dbGM
n-1 i
(terkoreksi) i 1
3 -21,254 8 110,077 = 30 – 10 = 20
4 31,095 9 139,573
4 6,542 9 154,735 db ketidakpasan model = 28 – 20
4 35,466 9 151,428 = 8
5 -5,419 10 163,649
5 59,32 10 189,114
5 73,178 10 214,504
200
Pada tebaran data-nya ter-
150
lihat adanya pola kuadratik
100
model yang digunakan
y
diubah menjadi :
50
0
Y β0 β1x β11x 2 ε
0 2 4 6 8 10
x
Scatterplot
Fitted LineofPlot
y vs x OUTPUT MINITAB
200
200
The regression equation is
150
150 y = 28,32 - 13,33 x + 2,983 x**2
100
100
S = 19,7555 R-Sq = 91,1% R-Sq(adj) = 90,5%
y
y
5050
Analysis of Variance
Source DF SS MS F P
00
Regression 2 108043 54021,3 138,42 0,00
Error 27 10538 390,3
00 22 44 66 88 1010
xx Total 29 118580
Selama satuan peubah tak bebas (harga rumah) dalam juta rupiah, kita
percaya 95% bahwa rata-rata pengaruh penambahan harga rumah
berada antara Rp. 0,03374 juta sampai dengan Rp.0,18580 juta setiap
penambahan satu m2 luas lantai
450
Harga Rumah (juta Rp)
400
350
300
250
Sangat riskan
200 untuk melakukan
150 ekstrapolasi X di
100
luar selang
50
0
pengamatan
0 500 1000 1500 2000 2500 3000
Luas
Itasia & Y Angraini, Dep Statistika Lantai
FMIPA - IPB(m2)
Selang kepercayaan rataan
respon dan dugaan individu
Selang
kepercayaan
bagi rataan Y,
Y
y
untuk xi
yi = b0 + b1 xi
Selang kepercaya-
an bagi nilai peng-
amatan y, untuk xi
1 (x n 1 x) 2
ŷ n 1 t n -2,α/2s e 317.85 37.12
n (x i x) 2
OUTPUT MINITAB
1 (X n 1 X) 2
ŷ n 1 t n -1,α/2s e 1 317.85 102.28
n (Xi X) 2
New
Obs Fit SE Fit 95% CI 95% PI
1 317,8 16,1 (280,7; 354,9) (215,5; 420,1)