Pokok Bahasan :
REGRESI LINIER
SEDERHANA
Deskripsi Model
1 peubah penjelas
Sederhana
Linier
Polinom
Non Linier
Multiplikatif
Non Linier
Linier
Reciprocal
Log
Eksponensial
Contoh :
Macam-macam Model Regresi
Sederhana
Linier
Hubungannya linier
Y = 0 + 1x +
Non Linier
Polinom
Y = 0 + 1x 2 +
Multiplikatif
Y = 0 x
Eksponensial
Y = 0 e 1 x .
Reciprocal
1
0 + 1x +
+
Y = 0 e
ordo x=1 )
Y = 0 + 1x +
Dengan :
0 dan 1 adalah parameter regresi
E[ i ] = 0 dan
E[ i ] = 2
untuk (i = 1, K , n)
Intersep Y
populasi
Sisaan/
galat
Y = 0 + 1X +
Komponen linier (fix)
Komponen acak
Y
Nilai
pengamatan Y
untuk Xi
Y = 0 + 1X +
yi
Nilai
E[Y | xi ]
harapan/rataan
Y untuk xi
Sisaan/galat
untuk xi
yi = 0 + 1xi + i
Intersep = 0
E[Y | x i ] = 0 + 1 xi
xi
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Slope = 1
yi = E[Y | xi ] + i
Dugaan bagi
intersep 0
Dugaan bagi
kemiringan garis
regresi 1
y i = b 0 + b1x i
Nilai x pada
pengamatan
ke - i
ei = ( y i - y i ) = y i - (b0 + b1x i )
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Pendugaan
Parameter Regresi
e
(y
[y
2
i
i
y i ) 2
(b 0 + b 1 x i )] 2
b1 =
Koefisien
Korelasi
Pearson
(x
i =1
x)(yi y)
2
(x
x
)
i
S XY
sY
=
= rxy
S XX
sX
i =1
SXX
b0 = y b1x
Garis regresi selalu melalui titik x, y
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
2. E[ i ] = 2
( homoscedasticity )
3. E[ i j ] = 0, i j
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Contoh
Regresi Linier Sederhana
Sebuah agen real-estate ingin mengetahui
hubungan antara harga jual sebuah rumah
dengan luas lantainya (diukur dalam m2)
10 buah rumah diambil secara acak sebagai contoh
Peubah tak bebas (Y) = harga rumah (juta rupiah)
Peubah bebas (X)
= luas lantai (m2)
245
1400
312
1600
279
1700
308
1875
199
1100
219
1550
405
2350
324
2450
319
1425
255
1700
Y = 0 + 1 x +
800
700
Harga Rumah
600
Persamaan Garis
Regresi-nya
500
400
Y = 0 + 1 x
300
200
100
0
1000
Diduga dengan :
1200
1400
1600
1800
2000
Luas Lantai
2200
2400
2600
Y = b0 + b1 x
Luas Lantai
(m2) (X)
245
1400
312
1600
279
1700
308
1875
199
1100
219
1550
405
2350
324
2450
319
1425
255
1700
FILM :
MEMBUAT TEBARAN
HARGA RUMAH vs LUAS LANTAI
MENGGUNAKAN MINITAB
Klik di sini
P
0,129
0,010
b
S = 41,3303 R-Sq1 = 58,1% R-Sq(adj) = 52,8%
Luas Lantai
(m2) (X)
245
1400
312
1600
279
1700
308
1875
199
1100
219
1550
405
2350
324
2450
319
1425
255
1700
FILM :
MENDUGA GARIS REGRESI
MENGGUNAKAN MINITAB
Klik di sini
Tampilan Grafik
Intersep
= 98.248
Kemiringan
= 0.10977
500
1000
1500
2000
2500
3000
Luas Lantai
(m2) (X)
245
1400
312
1600
279
1700
308
1875
199
1100
219
1550
405
2350
324
2450
319
1425
255
1700
FILM :
MEMBUAT TEBARAN ANTARA
HARGA RUMAH
dengan
LUAS LANTAI
& GARIS REGRESI-nya
MENGGUNAKAN MINITAB
Klik di sini
Interpretasi Intersep b0
PENGURAIAN
KERAGAMAN TOTAL
JKReg
JKsisa
2
JKG = (yi - yi )
yi
_
y
xi
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
_
y
)
yi yi = ei karena eror/galat/sisaan
y i y = b0 + b1 xi y i
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Mengukur Keragaman
Total Keragaman disebabkan oleh dua bagian ini :
JKT =
Jumlah
Kuadrat Total
JKT = (y i y) 2
JKR +
Jumlah Kuadrat
Regresi
JKR = (y i y) 2
JKG
+
Jumlah Kuadrat
Galat/Sisaan
JKG = (y i y i ) 2
dengan:
Ukuran Keragaman
(lanjutan)
Ragam =
JK Sisaan = n - 2
JK Regresi
|b 0
=1
Derajat
Bebas
(db)
1
(y y )
JK Regresi
n-2
(
)
y
y
i i
JK sisaan
(n 2 )
n-1
(y y )
Regresi
Sisaan
Total
(terkoreksi)
Kuadrat
Tengah
(KT)
Jumlah
Kuadrat
(JK)
i =1
n
i =1
i =1
S2,
jika
model
nya
pas
(lanjutan)
OUTPUT MINITAB
Regression Analysis: Harga Rumah versus Luas Lantai
The regression equation is
Harga Rumah = 98,2 + 0,110 Luas Lantai
Predictor
Coef
SE Coef
Constant
98,25
58,03
Luas Lantai 0,10977
0,03297
T
1,69
3,33
P
0,129
0,010
JK
KT
MS
18935
1708
F
11,08
P
0,010
TABEL SIDIK
RAGAM
= s = KTsisaan
2
2
e
2
e
i
JKS i =1
=
=
n2 n2
s e = s e2
se
T
1,69
3,33
P
0,129
0,010
MS
18935
1708
F
11,08
P
0,010
s e kecil
s e besar
0 1
Pengujian Hipotesis
Terhadap
Slope dan Intersep
x
)
(n
1)s
i
x
dengan:
sb1
s 2x
= dugaan ragam x
JK sisa
se =
= akar KTG = akar Kuadrat Tengah Galat = dugaan
n2
simpangan baku sisaan
X
Sb1 kecil
Sb1 besar
P
0,129
0,010
Simpangan
Baku b1 = sb1
Uji Statistik t =
b1 1
sb1
d.b. = n 2
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
dengan:
b1 = koefisien kemiringan regresi
1 = kemiringan yg dihipotesiskan
sb1 = simpangan baku kemiringan
Contoh Inferensia
Koefisien Kemiringan Garis (b1): Uji t
Harga Rumah
(Rp.juta)
(y)
Luas Lantai
(m2)
(x)
245
1400
312
1600
279
1700
308
1875
199
1100
219
1550
405
2350
324
2450
319
1425
255
1700
Contoh Inferensia
Koefisien Kemiringan Garis (b1): uji t
(lanjutan)
H0: 1 = 0
H1: 1 0
Apakah luas
lantai mempengaruhi harga
jual (secara
linier)?
OUTPUT MINITAB
b1
sb1
Predictor
Coef
SE Coef
T
Constant
98,25
58,03
1,69
Luas Lantai 0,10977
0,03297 3,33
P
0,129
0,010
b1 1 0.10977 0
t=
=
= 3.32938
s b1
0.03297
Contoh Inferensia
Koefisien Kemiringan Garis (b1): uji t
(lanjutan)
output MINITAB :
b1
sb1
Predictor
Coef
SE Coef
T
Constant
98,25
58,03
1,69
Luas Lantai 0,10977
0,03297 3,33
d.b. = 10-2 = 8
t
P
0,129
0,010
t8,.025 = 2.3060
/2=.025
/2=.025
Keputusan : Tolak H0
Kesimpulan :
Tolak H0
Terima H0
-tn-2,/2
-2.3060
Tolak H0
tn-2,/2
2.3060 3.329
Contoh Inferensia
Koefisien Kemiringan Garis (b1): uji t
(lanjutan)
output MINITAB :
Predictor
Coef
SE Coef
T
Constant
98,25
58,03
1,69
Luas Lantai 0,10977
0,03297 3,33
P
0,129
0,010
Kesimpulan:
Tolak H0
Cukup bukti untuk mengatakan
bahwa luas lantai
mempengaruhi harga rumah
s =
2
b0
2
e
n (x i x)
Keterangan:
b0 0
Statistik uji t = s
b0
d.b. = 1
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
dengan:
b0 = intersep garis regresi
0 = intersep yg dihipotesiskan
sb0 = dugaan simp. baku intersep
Contoh Inferensia
Intersep Garis Regresi (b0): uji t
Harga Rumah
(Rp. Juta)
(y)
Luas Lantai
(m2)
(x)
245
1400
312
1600
279
1700
308
1875
199
1100
219
1550
405
2350
324
2450
319
1425
255
1700
Contoh Inferensia
Intersep Garis Regresi (b0): uji-t
H0: 0 = 0
H1: 0 0
Apakah ada harga rumah yg tdk
dpt dijelaskan (tdk
dipengaruhi) oleh
luas lantai
(lanjutan)
output MINITAB :
b0
s b0
Predictor
Coef
SE Coef
T
Constant
98,25
58,03
1,69
Luas Lantai 0,10977
0,03297 3,33
P
0,129
0,010
b 0 0 98.24833 0
t=
=
= 1.69296
s b0
58.03348
Contoh Inferensia
Intersep Garis Regresi (b0): uji-t
(lanjutan)
output MINITAB :
b0
s b0
Predictor
Coef
SE Coef
T
Constant
98,25
58,03
1,69
Luas Lantai 0,10977
0,03297 3,33
t
P
0,129
0,010
Keputusan: Terima H0
/2=.025
/2=.025
Kesimpulan :
Tolak H0
Terima H0
-t1,/2
-12.706
t1,/2
12.706
Tolak H0
1.69296
Kuadrat
Tengah
(KT)
Jumlah
Kuadrat
(JK)
(y y )
n
i =1
Sisaan
Total
(terkoreksi)
n-2
(
)
y
y
i i
i =1
(y
n
n-1
i =1
JK Regresi
1
JK sisaan
(n 2 )
H 0 : 1 = 0
H 1 : 1 0
Statistik uji-nya :
Fhit =
KTRe gresi
KTSisaan
Ragam Reg
Ragam Sisaan
(lanjutan)
T
1,69
3,33
P
0,129
0,010
Fhit =
=
MS
18935
1708
db: 1,8
F
11,08
P
0,010
KTreg
KTsisaan
18935
1708
P-value
untuk uji F
Y = 0 + 1 x +
= .05
db1= 1
Statistik Uji:
H0: 1 = 0
H1: 1 0
F=
db2 = 8
Kesimpulan:
= .05
terima
H0
F.05 = 5.32
KTsisaan
= 11.08
Keputusan:
Tolak H0 dg = 0.05
Nilai kritis:
F = 5.32
KTregresi
Tolak H0
Derajat
Bebas (db)
Jumlah
Kuadrat (JK)
(y y )
Regresi
(b1| b0)
i =1
n
Sisaan
Total
(terkoreksi)
Regresi (b0,b1)
n-2
(y
n-1
(y y )
i =1
Total
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
n-2
n
JK Regresi
1
JK sisaan
(n 2 )
i =1
(y
i =1
y i )
yi
H 0 : 1 = 0
H1 : 1 0
Sudah dikurangi dg faktor
koreksi ny
H 0 : 0 = 1 = 0
b1xi yi + b0 yi
n
Sisaan
y i )
Kuadrat
Tengah (KT)
j 0, j = 0,1
Tidak bisa memberikan jawaban
apkh x berpengaruh/tidak
a.
Mana di antara
y
gambargambar ini yang mo- b.
delnya cukup
pas/sesuai ?
c.
x
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Perlu diuji
apakah modelnya sudah pas
atau belum
uji lack of fit
atau secara
eksploratif plot
sisaan
x
y
d.
c.
Mana di antara
gambargambar ini yang modelnya cukup
baik untuk
peramalan?
b.
x
y
d.
Koefisien Determinasi, R2
Koefisien determinasi mengukur proporsi keragaman atau variasi
total di sekitar nilai tengah (Y) yang dapat dijelaskan oleh garis
regresi
secara grafis mengukur jauh/dekatnya titik pengamatan
thdp garis regresi
R =
2
JK Reg
JK Tot
( y
=
(y
CATATAN:
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
y)2
y
)
i
2
atau R = 1
0 R2 1
JK Sisa
JK Total
Koefisien Determinasi, R2
(lanjutan)
OUTPUT MINITAB
Regression Analysis: Harga Rumah versus Luas Lantai
The regression equation is
Harga Rumah = 98,2 + 0,110 Luas Lantai
Predictor
Coef
SE Coef
Constant
98,25
58,03
Luas Lantai 0,10977
0,03297
T
1,69
3,33
P
0,129
0,010
MS
18935
1708
F
11,08
P
0,010
R2 =
18935
= 0,5808
32600
Analisis Korelasi
Analisis korelasi digunakan untuk mengukur
kekuatan hubungan (hubungan linier) antara
dua peubah
Korelasi hanya khusus untuk kekuatan hubungan
Mengukur arah hubungan
Tidak berdampak pada sebab akibat
Analisis Korelasi
(lanjutan)
= rXY =
s xy
s xs y
Koefisien
korelasi
Pearson
s xy
(x x)(y y)
=
i
n 1
rYY = R
H0 : = 0
Statistik ujinya mengikuti sebaran t Student
dengan derajad bebas (n 2 )
t=
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
r (n 2)
(1 r )
2
Kaidah Keputusan
H0: 0
H1: < 0
H0: 0
H1: > 0
H0: = 0
H1: 0
-t
dengan t =
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
r (n 2)
(1 r )
2
, d.b = n - 2
/2
-t/2
/2
t/2
(lanjutan)
Luas Lantai
(m2) (X)
245
1400
312
1600
279
1700
308
1875
199
1100
219
1550
405
2350
324
2450
319
1425
255
1700
rXY
FILM :
MENDUGA
KOEFISIEN KORELASI PEARSON
dengan
MENGGUNAKAN MINITAB
Klik di sini
r2 = 1 dapat diinterpretasikan
sbb. :
Adanya hubungan linier
yang tepat antara X dan Y:
r2 = 1
X
100% keragaman Y
dijelaskan oleh keragaman X
r2
=1
X
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
r2 = 0
=r
2
xy
2 1/ 2
Y Y
= R
Scatterplot of Y1 vs C1
35
100
100
30
R2 = 1
r=1
R2 = 1
r=0
80
20
Y2
Y2
Y1
25
60
40
15
b1 = 3
10
b1 = 0
20
0
0
10
C1
-10
-5
0
X2
C1
10
rXY
Correlations: X1; Y1
Pearson correlation of X1 and Y1
= 1,000
P-Value = *
R2
S = 0 R-Sq = 100,0%
R-Sq(adj) = 100,0%
S = 0 R-Sq = 100,0%
R-Sq(adj) = 100,0%
Correlations: X2; Y2
Pearson correlation of X2 and Y2
= 0,000
P-Value = 1,000
Scatterplot of Y4 vs X1
35
35
30
30
R2 = 97,7%
r = 0,988
25
R2 = 88,7%
r = 0,942
25
20
Y4
Y3
20
15
15
10
10
b1 = 3,1
b1 = 3,01
0
0
10
X1
10
X1
Correlations: Y3; X1
Pearson correlation of Y3 and X1 = 0,988
Correlations: Y4; X1
Pearson correlation of Y4 and X1 = 0,942
Scatterplot of C7 vs X1
10
40
R2 = 76,0%
r = -0,872
30
R2 = 64,8%
r = 0,805
20
Y6
C7
4
10
b1 = 0,116
b1 = -3,38
0
0
10
X1
10
X1
Correlations: C7; X1
Pearson correlation of C7 and X1 = -0,872
Correlations: Y6; X1
Pearson correlation of Y6 and X1 = 0,805
Scatterplot of Y1 vs X1
17,5
10
R2 = 93,5%
r = 0,967
R2 = 53,3%
r = 0,730
15,0
12,5
Y
Y1
10,0
4
7,5
b1 = 0,00914
0
10
X1
b1 = 4,67
5,0
0
Y = 1,06 + 4,67 X
R-Sq(adj) = 52,1%
MS
F
P
184,94 43,37 0,000
4,26
x1
y11
y12
x2
y21
y22
y23
y24
x3
y31
y32
y33
x4
y41
y42
n =
j =1
n j = 2 + 4 + 3 + 2 = 11
(b1| b0)
Jumlah
Kuadrat
(JK)
Kuadrat
Tengah
(KT)
JK Regresi
(y y )
i =1
Sisaan
n-2
Ketidakpasan db -db
sisa
GM
model (KM)
Galat murni
(GM)
nj m
j =1
Total
(terkoreksi)
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
(
)
y
y
i i
i =1
JKsisa JKGM
m
nj
( y ju y j )2
j =1 u =1
(y y )
n
n-1
i =1
1
JK sisaan
(n 2 )
KTKM =
JKKM
dbKM
KTGM =
JKGM
dbGM
Fhit =
KT KM
KT GM
F tabel :
db1=dbKM
db2=dbGM
5,135
67,586
30,846
47,441
32,977
32,919
14,142
78,804
20,785
78,202
-1,499
73,846
13,463
154,158
30,391
114,145
-21,254
110,077
31,095
139,573
6,542
154,735
35,466
151,428
-5,419
10
163,649
59,32
10
189,114
73,178
10
214,504
db sisaan
= n 2 = 28
m
db galat murni =
n
j =1
= 30 10 = 20
db ketidakpasan model = 28 20
= 8
(lanjutan)
T
-3,19
10,33
P
0,003
0,000
SS
MS
Regression
93945
93945
28
24635
880
8
20
15272
9363
1909
468
29
118580
Residual Error
Lack of Fit
Pure Error
Total
106,78
0,000
4,08
0,005
200
150
100
50
Y = 0 + 1x + 11x 2 +
6
x
10
FittedLineofPlot
Scatterplot
y vs x
200
200
y
y
150
150
100
100
50
50
Analysis of Variance
Source
DF SS
MS
F
P
Regression 2 108043 54021,3 138,42 0,00
Error
27 10538 390,3
Total
29 118580
00
00
22
44
66
88
10
10
xx
MODEL YG DIGUNAKAN :
Y duga = 28,32 - 13,33 x + 2,983 x**2
5,135
67,586
30,846
47,441
32,977
32,919
14,142
78,804
20,785
78,202
-1,499
73,846
13,463
154,158
30,391
114,145
-21,254
110,077
31,095
139,573
6,542
154,735
35,466
151,428
-5,419
10
163,649
59,32
10
189,114
73,178
10
214,504
FILM :
MENGUJI
KETIDAKPASAN MODEL
dengan
MENGGUNAKAN MINITAB
Klik di sini
Langkah-langkah
Pemilihan Model yang Pas
1. Tentukan model, dapatkan dugaan persamaan garis regresinya,
susun tabel Sidik Ragam, jangan dulu melakukan uji F untuk
regresi keseluruhan
2. Lakukan uji ketidakpasan model.
Jika tidak ada ulangan, cek secara eksploratif : plot sisaan-nya
(akan dijelaskan pada pokok bahasan: Diagnosa Model).
Jika nyata : lanjut ke langkah 3
Jika tidak nyata : gunakan KT sisaan s2 sebagai dugaan bagi
Rag(Y) = 2 , lakukan uji F secara keseluruhan, hitung R2, periksa asumsi untuk MKT melalui plot sisaan (Diagnosa Model)
3. Hentikan analisis, perbaiki modelnya (lihat pola plot sisaannya).
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Selang Kepercayaan
bagi koefisien kemiringan b1
Selang kepercayaan bagi koefisien
kemiringan adalah :
Coefficients
Standard Error
98.24833
0.10977
d.b. = n - 2
t Stat
P-value
Lower 95%
Upper 95%
58.03348
1.69296
0.12892
-35.57720
232.07386
0.03297
3.32938
0.01039
0.03374
0.18580
Selang Kepercayaan
bagi koefisien kemiringan b1
(lanjutan)
Intercept
Luas Lantai
Coefficients
Standard Error
t Stat
P-value
98.24833
0.10977
Lower 95%
Upper 95%
58.03348
1.69296
0.12892
-35.57720
232.07386
0.03297
3.32938
0.01039
0.03374
0.18580
Selama satuan peubah tak bebas (harga rumah) dalam juta rupiah, kita
percaya 95% bahwa rata-rata pengaruh penambahan harga rumah
berada antara Rp. 0,03374 juta sampai dengan Rp.0,18580 juta setiap
penambahan satu m2 luas lantai
Selang kepercayaan 95% ini tidak memuat angka 0.
Kesimpulan : Ada hubungan linier yang nyata antara harga rumah
dengan luas lantai dengan tingkat nyata sebesar 95%
Itasia & Y Angraini, Dep Statistika FMIPA - IPB
Peramalan
Dugaan persamaan garis regresi dapat
digunakan untuk memprediksi/meramal nilai
Y jika x diketahui (hati-hati hanya untuk x
yang berada dalam selang pengamatan)
Untuk suatu nilai, xn+1 , nilai prediksi bagi Y
adalah
Sangat riskan
untuk melakukan
ekstrapolasi X di
luar selang
pengamatan
0
500
1000
1500
2000
2500
3000
yi = b0 + b1 xi
xi
1 (x n +1 x) 2
+
2
n (x i x)
1 (x n +1 x ) 2
1 + +
2
n (x i x )
1 (x n +1 x) 2
+
= 317.85 37.12
2
n (x i x)
OUTPUT MINITAB
Fit
SE Fit
317,8 16,1
95% CI
(280,7; 354,9)
95% PI
(215,5; 420,1)
Luas
Lantai
2000
y n +1 t n -1,/2s e
1 (X n +1 X ) 2
= 317.85 102.28
1+ +
2
n (X i X )
OUTPUT MINITAB
Fit
SE Fit
317,8 16,1
95% CI
(280,7; 354,9)
95% PI
(215,5; 420,1)
Luas
Lantai
2000
Luas Lantai
(m2) (X)
245
1400
312
1600
279
1700
308
1875
199
1100
219
1550
405
2350
324
2450
319
1425
255
1700
FILM :
MENGHITUNG
SELANG KEPERCAYAAN BAGI
RAMALAN NILAI TENGAH
&
RAMALAN NILAI INDIVIDU
dengan
MENGGUNAKAN MINITAB
Klik di sini