SEDERHANA
1
Dra. Sri Pangesti, S.U.
PENDAHULUAN
A
nalisis regresi merupakan analisis statistik yang mempelajari hubungan antara
dua variabel atau lebih. Dalam analisis regresi linear diasumsikan berlakunya
bentuk hubungan linear dalam parameter. Modul regresi linear yang paling
sederhana adalah regresi linear dengan satu variabel bebas (independent variable).
Pokok bahasan dalam modul ini terdiri atas dua kegiatan belajar, pertama, tentang
regresi linear dengan satu variabel bebas dan kedua, tentang inferensi dalam analisis
regresi.
Pada Kegiatan Belajar 1, Anda akan mempelajari penaksiran (estimasi) fungsi regresi
dan variansi suku sesatan 2 dengan distribusi suku sesatan belum ditentukan
(diasumsikan). Pada Kegiatan Belajar 2, Anda akan mempelajari inferensi pada model
regresi dengan suku sesatan berdistribusi normal.
Setelah mempelajari modul ini, secara umum Anda diharapkan dapat memahami
dasar-dasar pemikiran dalam analisis regresi dan dapat melakukan inferensi model regresi
linear sederhana secara tepat.
Secara khusus, Anda diharapkan dapat:
1. menentukan penaksir parameter model regresi dengan metode kuadrat terkecil,
2. menentukan penaksir parameter model regresi dengan metode maksimum likelihood,
3. menentukan selang kepercayaan untuk parameter model regresi,
4. menghitung koefisien korelasi dan determinasi,
5. melakukan analisis regresi dengan pendekatan analisis variansi.
1.1
Kegiatan Belajar 1
A
nalisis regresi adalah analisis statistik yang mempelajari hubungan antara dua
atau lebih variabel kuantitatif sehingga satu variabel dapat diramalkan
(predicted) dari variabel lainnya.
Hubungan antara dua variabel dapat dibedakan menjadi dua, yaitu hubungan
fungsional dan hubungan statistik. Hubungan fungsional antara dua variabel dapat
dinyatakan secara matematis; jika X variabel bebas (indenpendent variable) dan Y
variabel tak bebas (dependent variable), hubungan fungsional ditulis dalam bentuk
Y f X
Jika diketahui nilai X tertentu, fungsi f akan memberikan nilai Y yang bersesuaian.
Contoh 1.1
Misalkan Y = total nilai penjualan suatu produk (dalam ribuan rupiah) dan X =
jumlah unit produk yang terjual. Jika harga jual Rp 5.000,00 per unit produk maka
hubungan antara Y dan X dapat dinyatakan dalam Gambar 1.1.
150
Y=5X
100
50
X
10 20
Gambar 1.1.
1.2
SATS4312/MODUL 1
Hubungan statistik antara dua variabel tidak sempurna. Pada umumnya pada
hubungan statistik, pengamatan tidak tepat jatuh pada kurve hubungan.
Contoh 1.2
Jika hubungan antara X yang menyatakan usia (dalam tahun) dan Y yang menyatakan
tingkat steroid dinyatakan dalam Gambar 1.2.
30
25
20
15
10
5
X
0 10 15 20 25
Gambar 1.2.
Model regresi secara formal menyatakan dua hal tentang hubungan statistik, yaitu:
kecenderungan variabel tak bebas Y berubah-ubah terhadap variabel bebas X dalam
bentuk yang sistematik dan tersebarnya titik-titik di sekitar kurve hubungan statistik.
Kedua hal tersebut dinyatakan dalam suatu model regresi yaitu: untuk setiap nilai X
terdapat distribusi probabilitas dari Y dan mean dari distribusi probabilitas Y berubah-
ubah secara sistematik terhadap perubahan nilai X .
Yi 0 1 X i i , i 1, 2, n
dengan
Yi : nilai variabel tak bebas dalam trial ke-i,
0 , 1 : parameter,
Xi : konstanta yang diketahui nilainya, yakni nilai variabel bebas
dalam trial ke-i,
i : suku sesatan random dengan E i 0 , i , j 2 , i dan
j tidak berkorelasi, kovariansi i , j 0 untuk semua
i, j, i j
1.3
Model Linear Terapan
Contoh 1.3
Diketahui model regresi Yi 9,5 2,1 X i . Misalkan dalam trial ke-i diperoleh
nilai-nilai X i 45 , Yi 108 , dan suku sesatan i 4 maka E Yi 9,5 2,1 45 104
dan Yi 104 4 108 . Visual model regresi tersebut dapat dilihat pada Gambar 1.3
berikut.
Y
Yi 108
i 4
E (Yi ) 104
0 25 45 X
Gambar 1.3.
Yi 0 1 X i X 1 X
0 1 X 1 X i X
0* 1 X i X i
1.4
SATS4312/MODUL 1
Yi E Yi Yi 0 0 X i
n
Q Y 1 X i
2
i 0
i 1
Q
n
0 i 1
2 Yi 0 1 X i
Q
n
1 i 1
2 X i Yi 0 1 X i
n n
Y nb b X
i 1
i 0 1
i 1
i 0
n n n
i 1
X iYi b0
i 1
X i b1 X i 1
i
2
0
Kedua persamaan ini kita sebut sebagai persamaan normal. Penyelesaian persamaan
normal untuk b1 dan b0 adalah
n n
n Y Xi i n
XY i i
i 1
n
i 1
X X Y Y
i i
b1 i 1
i 1
n
X X
n 2 2
n Xi
i 1
i
i 1
X
2
i
i 1
n
1.5
Model Linear Terapan
1
n n
b0
n i 1
Yi b1 X Y b X
i 1
i 1
n n
n X Y i i n
i 1
X i Yi i 1
n
i 1
X Y n X Y
i 1
i i
n n
X X X X Xi
2
S XX i i
i 1 i 1
2
n
n Xi n
i 1
Xi
2 i 1
n
X i 1
i
2
n X2
n n
Y Y Y Y Y
2
SYY i i i
i 1 i 1
2
n
n Yi n
i 1
Yi
2 i 1
n
Y i 1
i
2
n Y2
S XY
Sehingga rumus untuk b1 dapat ditulis dalam bentuk lebih sederhana b1 dan
S XX
persamaan regresi taksiran Yˆi Y b1 X i X .
Contoh 1.4
Data berikut menunjukkan jumlah unit yang diproduksi X dan jumlah jam kerja
karyawan Y .
X 30 20 60 80 40 50 60 30 70 60
Y 73 50 128 170 87 108 135 69 148 132
n n n n
Dari data dihitung X
i 1
i 500 ; X
i 1
i
2
28.400 ; X Y 61.800 ; Y
i 1
i i
i 1
i 1.100 ;
n
Y
i 1
i
2
134.660 ; n 10; X 50; Y 110 . Dengan menggunakan rumus yang ada,
diperoleh:
1.6
SATS4312/MODUL 1
n n
n X Y i i
500 1.100
X iYi i 1
n
i 1
61.800
10
b1 i 1
2
2
500
n 2
n Xi 28.400
10
i 1
X
2
i
i 1
n
1
n n
X 10 1.100 2 500 10
1
b0 Yi b1 i
n i 1 i 1
Residual
Kesalahan (residual) ke-i adalah selisih antara nilai pengamatan Yi dengan nilai
taksirannya Yˆ , ditulis dengan notasi ei .
i
ei Yi Yˆi Yi b0 b1 X i
Kita perlu membedakan antara nilai suku sesatan i Yi E Yi dengan ei Yi Yˆi .
Residual kita gunakan untuk mempelajari ketepatan model regresi untuk data.
Contoh 1.5
Dari Contoh 1.4 telah dihitung persamaan regresi Yˆ 10 2 X . Nilai taksiran Yˆi , ei ,
dan ei2 dapat diperoleh dengan cara sebagai berikut. Misalkan untuk X1 30 dan
Y1 73 , maka diperoleh nilai-nilai Yˆ1 10 2 30 70 , e1 73 70 3 , dan e12 9 .
Untuk nilai-nilai X i dan Yi lainnya, diperoleh nilai taksiran Yˆ , ei , dan ei2 sebagai i
berikut.
1.7
Model Linear Terapan
Bukti:
n n
Y b b X
i 1
ei
i 1
i 0 1 1
n n
i 1
Yi nb0 b1 X
i 1
i 0 (dari persamaan normal)
n
2. Jumlah kuadrat residual, e
i 1
2
i adalah minimum. Hal ini sesuai dengan syarat dalam
3. Jumlah nilai observasi Yi sama dengan jumlah nilai taksiran Yˆi , yakni
n n
Y Yˆ
i 1
i
i 1
i
Bukti:
Dari persamaan normal diperoleh
n n n n
Y nb b X b b X
i 1
i 0 1
i 1
i
i 1
0
i 1
1 i
n n
b0 b1 X i Yˆi
i 1 i 1
1.8
SATS4312/MODUL 1
4. Jumlah residual tertimbang sama dengan nol jika angka timbang adalah X i , yakni
n
X e 0
i 1
i i
Bukti:
Dari persamaan normal dapat diturunkan
n n
X e X Y b b X
i 1
i i
i 1
i i 0 1 i
n n n
i 1
X i Yi b0
i 1
X i b1 Xi 1
i
2
0
5. Jumlah residual tertimbang dengan angka timbang Yˆi sama dengan nol, yaitu
n
Yˆ e 0
i 1
i i
e Y b
n n
b1 X i
2
JKS Yi Yˆ
2 2
i i 0
i 1 i 1 i 1
n n n
Y i 1
i
2
b0 Y b X Y
i 1
i 1
i 1
i i
2
n
S XY
2 n
X i X Yi Y
Yi Y i 1
2
JKS SYY n
X
S XX
X
i 1 2
i
i 1
1.9
Model Linear Terapan
atau
2
n n
n
2 n
X i Y i
n
Yi
X i Yi i 1
n
i 1
JKS
Yi 2 i 1 i 1
n n
2
i 1
Xi
n
i 1
Xi
2 i 1
n
JKS mempunyai derajat bebas n 2 , dua derajat bebas hilang karena dalam perhitungan
kita gunakan penaksir untuk 0 dan 1 . Kuadrat rata-rata sesatan (KRS) dirumuskan
sebagai:
e Y b
n n n
b1 X i
2
Yi Yˆi
2 2
i i 0
JKS
KRS i 1 i 1
i 1
Contoh 1.5
Kita tinjau kembali Contoh 1.4
2
n n
n
2 n
X
i Y i
n
Yi
X i Yi i 1
n
i 1
JKS
Yi 2 i 1 i 1
n n
2
i 1
Xi
n
i 1
X i2 i 1
n
500 1.100
2
61.800
1.100
2
134.660
10 13.660 13.600 60
500
2
10
28.400
10
JKS 60
dan KRS 7,5
n2 8
1.10
SATS4312/MODUL 1
LATIHAN
1) Suatu eksperimen dilakukan untuk melihat hubungan antara dosis pemupukan X
dan hasil panen Y . Dari hasil perhitungan didapat nilai-nilai
n n
X X 70,6; Y Y
2 2
i i 98,5
i 1 i 1
n
X 1 2 3 4 5
Y 0,9 2,1 2,5 3,3 3,8
X X Y Y
i i
68,3
1) a) b1 i
n
0,9674
X X
2 70, 6
i
i 1
1.11
Model Linear Terapan
2
n
n
X i X Yi Y
68,3
2
Y Y
2 i 1
b) JKS i n
98,5 32, 4251
Xi X
i 1
2 70,6
i 1
JKS 32, 4251
ˆ 2 2, 4942
n2 13
2) a)
1512, 6
n
X X Y Y
i i 44,8
5 7
b) b1 i
0, 7
15
n 2
X X
2 10
i 55
i 1 5
b0 Y b1 X 2,52 0,73 0, 42
n n n
c) JKS
i 1
Yi 2 b0
i 1
Yi b1 X Y
i 1
i i
1.12
SATS4312/MODUL 1
RANGKUMAN
1. Dalam modul ini dipelajari hubungan statistik antara variabel bebas X dan
variabel tak bebas Y . Dalam analisis linear sederhana bentuk hubungannya
adalah garis lurus dengan model Yi 0 1 X i i ; i N 0, 2 dan
independen.
X X Y Y
i i
b1 i 1
n
dan b0 Y b1 X
X X
2
i
i 1
3. Selanjutnya didefinisikan:
2
n
n
X i X Yi Y
Y Y i 1 n
2
JKS i
Xi X
2
i 1
i 1
JKS
KRS s2
n2
1.13
Model Linear Terapan
TES FORMATIF 1
Pilih satu jawaban yang paling tepat dari beberapa alternatif jawaban yang disediakan!
1) Tabel berikut ini menunjukkan tinggi badan X dalam cm dan berat badan Y
dalam kg dari 10 orang dewasa.
X 150 162 160 162 165 160 172 170 180 182
Y 55 67 60 70 65 79 79 76 89 90
Jika X sebagai variabel independen Y sebagai variabel dependen dalam model regresi
Yi 0 1 X i . Dari data ini dapat dihitung nilai b0 sama dengan ….
A. -103,63
B. -130,63
C. -103,36
D. -130,36
3) Lihat soal nomor 1, untuk X k 175 , nilai terhitung Yˆk sama dengan ….
A. 81,28
B. 82,18
C. 82,84
D. 81,81
1.14
SATS4312/MODUL 1
A. -15,19
B. -15,20
C. -15,09
D. -15,92
7) Lihat soal nomor 5, nilai estimasi dari variansi Y, yakni s 2 sama dengan ….
A. 931,46
B. 913,46
C. 116,37
D. 116,44
n
X X
2
8) Diketahui: n 277; X 65; Y 72 ; i 1600;
i 1
n n
Cocokkanlah jawaban Anda dengan Kunci Jawaban Tes Formatif 1 yang terdapat di
bagian akhir modul ini. Hitunglah jawaban Anda yang benar. Kemudian gunakan rumus
di bawah ini untuk mengetahui tingkat penguasaan Anda terhadap materi Kegiatan
Belajar 1.
1.15
Model Linear Terapan
Rumus:
Bila Anda mencapai tingkat penguasaan 80% atau lebih, Anda dapat meneruskan
dengan Kegiatan Belajar 2. Bagus! Tetapi bila tingkat penguasaan Anda masih di bawah
80%, Anda harus mengulangi Kegiatan Belajar 1, terutama bagian yang belum Anda
kuasai.
1.16
Kegiatan Belajar 2
T terkecil b0 dan b1 selalu bersifat tak bias dan mempunyai variansi minimum
dibandingkan penaksir-penaksir tak bias linear lainnya. Untuk inferensi, kita
memerlukan asumsi tentang bentuk fungsional distribusi dari i . Salah satu asumsi baku
yang diperlukan adalah i N 0, 2 . Secara umum model regresi dengan sesatan
normal dinyatakan sebagai
Yi 0 1 X i i
dengan
Yi : hasil observasi pada trial ke- i
Xi : konstanta yang diketahui nilainya, yakni tingkat variabel X
dalam trial ke- i
0 , 1 : parameter
i N 0, 2 independen; i 1, 2, n
n
L 0 , 1 , 2
1
1
exp 1 2 Yi 0 1 X i
2
2
i 1
2 2 2
1.17
Model Linear Terapan
Y
n n 1
ln L ln 2 ln 2 1 X i
2
mendeferensialkan terhadap
2 2
i 0
2 2 i 1
0 , 1 , dan 2 diperoleh:
ln L
n
Y
1
2 1 X i
0
i 0
i 1
ln L
n
X Y
1
2 1 X i
1
i i 0
i 1
ln L
n
Y
n 1
2 1 X i
2
2 2 4
2 i 0
i 1
Y b b X 0
i 1
i 0 1 i
X Y b X b X 0
i 1
i i 0 i 1 i
2
n
1
Y b b X ˆ 2
2
i 0 1 i
n i 1
Dua persamaan pertama, sama dengan persamaan normal, sehingga penaksir maximum
likelihood untuk masing-masing parameter adalah sebagai berikut.
X i X i Yi Yi
b1 i 1
n
X Xi
2
i
i 1
b0 Y b1 X
Y Yˆ
n
2
i i
ˆ 2 i 1
1.18
SATS4312/MODUL 1
Jadi penaksir maksimum likelihood untuk 0 dan 1 sama dengan penaksir kuadrat
terkecil yakni b0 dan b1 . Penaksir maksimum likelihood ̂ 2 adalah bias sehingga untuk
mendapatkan penaksir tak bias untuk 2 digunakan KRS (Kuadrat Rata-rata Sesatan).
Inferensi tentang 1
Sering kali kita tertarik untuk melakukan inferensi tentang 1 , yaitu kemiringan
(slope) dari garis regresi Yi 0 1 X i i dengan 0 dan 1 adalah parameter, X i
adalah konstanta yang diketahui, dan i N 0, 2 adalah independen. Sebelum kita
pelajari inferensi tentang 1 , kita bahas terlebih dahulu tentang distribusi sampling
penaksir titik untuk 1 yaitu
X X Y Y
i i
b1 i 1
n
X X
2
i i
i 1
Dari pengambilan sampel berulang pada nilai X tetap, diperoleh nilai b1 yang bervariasi.
Untuk model regresi sesatan normal akan dibuktikan bahwa
2
b1 N 1 ; n
X i X i
2
i 1
Bukti:
b1 dapat dinyatakan sebagai kombinasi linear dari Yi yaitu:
n n
X X Y Y X X Y
i i i i n
b1 i 1
n
i 1
n
k Y i i
Xi X Xi X
2 2
i 1
i 1 i 1
dengan
Xi X
ki n
(X
i 1
i X )2
Untuk X i tetap, ki merupakan kuantitas tetap. Oleh karena itu, b1 merupakan kombinasi
linear dari Yi . Koefisien ki mempunyai sifat-sifat sebagai berikut.
1.19
Model Linear Terapan
n
1. k 0
i 1
i
n n
Xi X X X i
k
0
0
i 1
Bukti: i n n n
2
X X X X
2 2
i 1 i 1
(Xi X ) i i
i 1 i 1 i 1
n
2. k X
i 1
i i 1
n
X X
2
Xi X Xi X i X
2 i
n n n
Bukti: ki X i n
n
i 1
n
1
X X
2
i 1 i 1
( X i X )2
i 1
( X i X )2 i
i 1 i 1 i 1
k
1
3. i
2
n
i 1
(X
i 1
i X )2
X X
2
n n
Bukti: k i
2
n
i
i 1 i 1
i 1
( X i X )2
n
X X
1 2 1
2 i n
n
2
Xi X X X
i 1 2
i
i 1 i 1
Kembali kita perhatikan distribusi sampling dari b1 pada model regresi linear dengan
i N 0, 2 . Distribusi sampling dari b1 adalah normal, hal ini akibat dari b1
merupakan kombinasi linear dari Yi . Akan kita buktikan b1 merupakan penaksir tak bias
untuk 1 atau E b1 1 .
Bukti:
n
E b1 E
i 1
kiYi ki E Yi
n n n
k
i 1
i 0 1 X i 0 k k X
i 1
i 1
i 1
i i 1
1.20
SATS4312/MODUL 1
n
n
2 b1 2
i 1
kiYi
k i 1
i
2 2
Yi
n n
k k
1
i
2 2
2
i
2
2 n
X X
2
i 1 i 1
i
i 1
KRS KRS
s 2 b1 n
2
Xi X
n
2
n Xi
X
i 1 2 i 1
i
i 1
n
n
1 c Y
i 1
i i dengan ci adalah konstanta sembarang.
n
n
E 1 E ciYi c E Y . i i 1
i 1 i 1
c
E 1 i 0 1 X i 0 ci 1 c X i i 1.
i 1 i 1 i 1
n n
Agar syarat tak bias berlaku maka haruslah i 1
ci 0 dan c Xi 1
i i 1.
1.21
Model Linear Terapan
Kita definisikan:
Xi X
ci ki di ; ki n
; d i adalah konstanta sembarang,
X X
2
i
i 1
sehingga
n
2 1 2 c 2
i
i 1
n
k d
2 2
i i
i 1
n n n
2
i 1
k i
2
i 1
d 2 i
2
i 1
ki d i
n n
k k
1
i
2
n
dan 2
b1 2
i
2
i 1
(X
i 1
i X )2 i 1
sehingga
n n n n
k d
i 1
i i k c k c k k
i 1
i i i
i 1
i i
i 1
i
2
n
Xi X
c
1
i n n
2
X X
2
i 1
(Xi X ) i
i 1 i 1
n n
c X i i X c i
1
i 1
n
i 1
n
0
X X X X
2 2
i i
i 1 i 1
Kita peroleh 2 1 2 b1 2 d i
2
, sehingga terbukti 2 1 2 b1 . Nilai
i 1
n n
terkecil diperoleh jika i 1
di2 0 atau semua d 0 sehingga c k .
i 1
i i i Jadi, 2 b1
1.22
SATS4312/MODUL 1
X X
2
JKS
s b1
2 i 2n2 b1 1
2 n 22
KRS JKS z
i 1
sehingga
2 b1 2
n 2
2
n2 s b1 2n2
n
X X n2
2
i
i 1
JKS b1 1
Karena b1 dan independen maka z dan 2 independen, sehingga t n 2 .
2
s b1
b 1
P t 1 t 1
2 ; n 2 s b1 1 ; n 2
2
Karena distribusi t simetri, maka ketidaksamaan di atas dapat kita tulis sebagai berikut.
P b1 t s b1 1 b1 t s b1 1
; n2
2
; n2
2
Karena probabilitas ini berlaku untuk semua nilai yang mungkin dari 1 maka batas
kepercayaan untuk 1 adalah:
b1 t
s b1
; n2
2
1.23
Model Linear Terapan
Contoh 1.6
Diketahui data sebagai berikut.
Xi 1,5 1,8 2,4 3,0 3,5 3,9 4,4 4,8 5,0
Yi 4,8 5,7 7,0 8,3 10,9 12,4 13,1 13,6 15,3
n n
n 9; X i 1
i 30,3 ; X 3,3667 ; Y 91,1 ;
i 1
i Y 10,1222 ;
n n n
i 1
X i2 115,11 ; i 1
Yi 2 1036, 65 ; X Y 345,09
i 1
i i
n n
n X Y i i
30,3 91,1
X iYi i 1
n
i 1
345, 09
9
b1 i 1
2,9303
30,3
2 2
n
n Xi 115,11
9
i 1
X
2
i
i 1
n
2
n n
n
2
n
X i
Yi
n Yi
i 1
X iYi i 1 i 1
n
JKS Y
2 i 1
i 2
n n
i 1
n Xi
i 1
X i2 i 1
n
30,3 91,1
2
345, 09
91,1
2
1036, 65
9 2, 026
30,3
2
9
115,11
9
JKS 2, 026
KRS 0, 289
n2 7
1.24
SATS4312/MODUL 1
n
Uji tentang 1
Karena
b1 1 t n2 , uji tentang 1 dapat kita lakukan berdasarkan distribusi t.
s b1
Contoh 1.7
Jika kita hanya ingin menguji apakah ada ( atau tidak) hubungan linear antara Y dan X
maka hipotesis kita rumuskan sebagai:
H 0 : 1 0 dan H1 : 1 0
menolak H 0 jika t t
.
; n2
2
Contoh 1.8
Dari Contoh 1.6, hipotesis kita tulis sebagai H 0 : 1 0 dan H1 : 1 0 . Selanjutnya
b 2,9303
kita hitung statistik uji t 1 19, 73 . Untuk taraf nyata 0,05 ,
s b1 0,1485
diperoleh nilai t0,025;7 2,365 . Karena t 2,365 maka kita menolak H 0 : 1 0 ,
berarti ada hubungan linear antara Y dan X.
1.25
Model Linear Terapan
Sering kali kita ingin menguji apakah 1 sama dengan nilai tertentu, hipotesis kita
rumuskan sebagai:
Statistik uji:
b1 1
t
s b1
H 0 : 1 0 dan H1 : 1 0
Kesimpulan untuk taraf nyata adalah menerima H 0 jika t t ; n2 dan menolak H 0
jika t t ; n2 .
Contoh 1.9
b1 1
Dari Contoh 1.8 diperoleh t 19, 73 . Untuk 0,05 , diperoleh nilai
s b1
t0,05;7 1,895 . Karena t 1,895 , maka H 0 ditolak, berarti 1 positif.
Inferensi tentang 0
Sebelum kita melakukan inferensi untuk 0 , kita pelajari terlebih dahulu tentang
distribusi sampling dari b0 . Penaksir titik untuk 0 adalah:
b0 Y b1 X
l Y
1
b0 i i dengan li X ki
i 1
n
dan
Xi X
ki n
X X
2
i
i 1
1.26
SATS4312/MODUL 1
Distribusi sampling untuk b0 adalah normal dan b0 merupakan penaksir tak bias dari 0
atau E b0 0 .
Bukti:
b0 Y b1 X
E b0 E Y E b1 X 0 1 X 1 X 0
n
b0 l Y
i 1
i i
n n
1
X2
2 b0 li2 2 Yi 2 li2 2 n
i 1 i 1 n
i 1
2
(Xi X )
b0 N 0 , 2 b0
dengan
1 X2
2 b0 2 n
n
i 1
2
(Xi X )
b0 0 b 0
dan distribusi sampling untuk adalah normal standar atau 0 N 0,1 .
b0 b0
b0 t
s b0 0 b0 t
s b0
; n2 ; n2
2 2
1.27
Model Linear Terapan
Contoh 1.10
Dari data pada Contoh 1.6 diperoleh:
n n
i 1
X i 30,3 ; X
i 1
i
2
115,11 ; X 3,3667 ; Y 10,1222 ; n = 9; b1 2,9303 ; dan
s b0 0, 282 0,531
Untuk taraf kepercayaan 90%, diperoleh t0,05; 7 1,895 sehingga selang kepercayaan
untuk 0 adalah:
0, 2568 1,895 0,531 0 0, 2568 1,895 0,531 atau 0,749 0 1, 263
Untuk model regresi dengan sesatan normal, distribusi sampling dari Yˆh b0 b1 X h
adalah normal dengan mean dan variansi masing-masing adalah:
E Yˆh E Yh
dan
1 X X
2
2
Yˆh
n
2
n
h
2
i 1
Xi X
Yˆh merupakan penaksir titik tak bias dari E Yh yang ditunjukkan sebagai berikut.
E Yˆh E b0 b1 X h
E b0 X h E b1
0 1 X h E Yh
1.28
SATS4312/MODUL 1
Keragaman dari distribusi sampling Yˆh dipengaruhi oleh besarnya simpangan X h dari
X . Makin jauh X h dari X , nilai 2 Yˆh makin besar. Untuk menentukan 2 Yˆh , kita
buktikan dulu bahwa b1 dan Y tidak berkorelasi.
Bukti:
n n
Y
i 1
1Y ; b
n i 1 k Y
i 1
i i
dengan
Xi X
ki n
dan Yi independen.
(X
i 1
i X) 2
1
n n n
2 Y , b1 i 1 n
2 2
ki Yi n i 1
ki 0, karena k 0
i 1
i
2 Yˆh 2 Y b1 X h X
2 Yˆh 2 Y X h X 2 b1
2
2 Yi
X h X 2 b1
2
n
2
2
Xh X
2
n
X
n
X
2
i
i 1
1 X X 2
2 h
n n
2
i 1
Xi X
Penaksir untuk 2
Yˆ h adalah:
1 X X
2
2
s Yˆh KRS
n
n
h
2
i 1
Xi X
1.29
Model Linear Terapan
Yˆh E Yh
Untuk model regresi dengan sesatan normal, distribusi sampling adalah
s Yˆ
h
Yˆh t
; n2
s Yˆh E Yh Yˆh t
; n2
s Yˆh
2 2
Contoh 1.11
Dari data pada Contoh 1.6 diperoleh:
n
X X
2
b0 0, 2568 ; b1 2,93 ; i 13,1 ; KRS 0, 289 ; n = 9; X 3,3667
i 1
Untuk X h 4 diperoleh:
Yˆ 0, 2568 2,93 4 11,977
h
1 4 3,3667 2
2 ˆ
s Yh 0, 289
9 13,1
0, 04096 atau s Yˆh 0, 202
t0,025; 7 2,365
Contoh 1.12
Misalkan diketahui 0 9,5 ; 1 2,1 ; 2 10 .
Untuk X h 40 didapat E Y40 9,5 2,1 40 93,5 . Selang peramalan 95% untuk Y40
adalah:
93,5 1,96 10 Y40 93,5 1,96 10 atau 87,30 Y40 99, 70
1.30
SATS4312/MODUL 1
Jika parameter 0 dan 1 tidak diketahui, kita gunakan penaksir b0 dan b1 . Selang
peramalan di atas tidak dapat kita gunakan karena kita hanya menggunakan taksiran dari
E Yh . Dalam penaksiran untuk E Yh , kita gunakan selang kepercayaan sehingga letak
distribusi dari Y tidak dapat ditentukan dengan tepat.
Dengan menganggap pengamatan baru independen terhadap sampel yang digunakan
untuk menaksir garis regresi, maka variansi dari Yhbaru terdiri dari variansi distribusi
sampling Yˆh dan variansi distribusi Y pada X X h , yaitu:
2 Yh (baru ) 2 Yˆh Y 2 Yˆh 2 Y
Penaksir tak bias dari 2 Yh baru adalah:
1 X X
2
2
s Yhbaru ˆ 2
s Yh KRS KRS 1
n
n
h
2
i 1
Xi X
Contoh 1.13
Dari data pada Contoh 1.6 diperoleh:
n
X X
2
X 3,3667 ; i 13,1 ; KRS 0, 289 ; n = 9; b0 0, 2568 ; b1 2,93
i 1
Sehingga untuk X h 2 diperoleh Yˆh 0, 2568 2,93 2 6,117 , t0,025; 7 2,365 ; dan
1 2 3,3667 2
2 ˆ
s Y2 0, 289 1
9 13,1
0,362 .
Selang peramalan 95% untuk Yhbaru adalah:
6,117 2,365 0,362 Yhbaru 6,117 2,365 0,362 atau 4,693 Yhbaru 7,541
Yˆh t
; n 2
s Yhbaru
2
dengan
s 2 Yhbaru s 2 Yˆh KRS
m
1.31
Model Linear Terapan
Xh X 2
2
1 1
s Yh baru KRS
m n n
X i X 2
i 1
Dari rumus diketahui bahwa s 2 Yhbaru mempunyai dua komponen yaitu variansi
distribusi sampling dari Yh dan variansi mean m pengamatan dari distribusi probabilitas Y
pada X X h .
Contoh 1.14
Kita tinjau kembali Contoh 1.6. Jika m 3 , untuk X h 2 akan dihitung selang
ramalan 90% untuk Yhbaru . Dari data yang ada telah dihitung:
Yˆh 6,117 ;
s 2 Yˆh 0,362 ; KRS 0, 289 ; s 2 Yhbaru 0,362
0, 289
3
0, 458 atau
s Yh baru 0, 677 dan t0,05; 7 1,895 .
Sehingga selang ramalan 90% untuk Yhbaru adalah:
6,117 1,895 0,677 Yhbaru 6,117 1,895 0,677 atau 4,834 Yhbaru 7,399
Selang ramalan Yhbaru lebih sempit dibandingkan dengan selang ramalan untuk Yhbaru
karena selang ramalan untuk Yhbaru memuat Yhbaru .
Yi Yˆi
Yi Y
Yˆi Y
Y
Ŷ b0 b1 X
Gambar 1.4.
1.32
SATS4312/MODUL 1
Pemecahan simpangan:
Yi Y Yˆi Y Yi Yˆi
simpangan total simpangan nilai regresi simpangan sekitar
taksiran sekitar mean garis regresi taksiran
Y Yˆ
n n n
Y Y
2 2
Yˆi Y
2
i i i
i 1 i 1 i 1
jumlah kuadrat jumlah kuadrat jumlah kuadrat
sekitar mean karena regresi sekitar regresi
atau
JK = JKR + JKS
JK adalah jumlah kuadrat total, JK 0 berarti semua pengamatan sama. Makin besar
nilai JK makin besar variasi (keragaman) nilai-nilai Yi . JKR adalah jumlah kuadrat
regresi merupakan ukuran keragaman pengamatan yang diterangkan oleh garis regresi.
JKS adalah jumlah kuadrat sesatan merupakan ukuran keragaman pengamatan terhadap
garis regresinya. Jika JKS = 0, semua pengamatan jatuh pada garis regresi. Rumus-rumus
untuk menghitung jumlah kuadrat adalah:
2
n
n Yi n
JK i 1
Yi
2 i 1
n
Y i 1
i
2
nY 2 SYY
n n
n Y
Xi i
JKR b1
X Y
i 1
i i
i 1
n
i 1
b1 S XY
n
X X b12 S XX
2
b12 i
i 1
2
n
n
2
n
X i Yi
n Yi
X i Yi i 1
n
S S XY
2
JKS
Yi 2 i 1
n
i 1
n
2 YY
S XX
i 1
Xi
n
i 1
X i2 i 1
n
1.33
Model Linear Terapan
Pemecahan derajat bebas sesuai dengan pemecahan jumlah kuadrat total. Derajat
bebas untuk JK sama dengan n 1 . Satu derajat bebas hilang karena simpangan Yi Y
n
tidak independen, yakni Y Y 0 atau ekuivalen satu derajat bebas hilang karena
i 1
i
mean sampel Y digunakan untuk menaksir mean pupolasi . JKS mempunyai derajat
bebas n 2 atau dua derajat bebas hilang karena dalam menghitung nilai Yˆ digunakan i
taksiran untuk parameter 0 dan 1 . JKR mempunyai derajat bebas satu. Ada dua
parameter dalam persamaan regresi, tetapi simpangan Yi Y tidak bebas, yakni
Yˆ Y 0
n
i sehingga satu derajat bebas hilang. Secara singkat, derajat bebas dari
i 1
Total n 1 JK
E KRS 2
n
E KRR X X
2 2 2
1 i
i 1
Bukti:
JKS
Untuk model regresi dengan sesatan normal 2n 2 , maka
2
JKS
E 2 n2
atau
JKS
E KRS
2
E
n2
1.34
SATS4312/MODUL 1
Untuk mendapatkan E KRR , kita tulis JKR dalam bentuk sebagai berikut.
X X
2
JKR b12 i
i 1
Karena
2 b1 E b1 E b1
2
E b12 E b1
2
E b12 12
atau
2
E b12 2 b1 12 n
12
X X
2
i
i 1
maka
n
2
E JKR E b12
X
i 1
i X
n
E b X X
2 2
1 i
i 1
2 n
X X
2
n
12 i
X X
2 i 1
i 1
i
n
X X
2
2
1
2
i
i 1
Jadi
JKR
n
E KRR E X X
2
1
2 2
i
1 i 1
Uji Hipotesis
Pendekatan analisis variansi dengan uji F dapat dilakukan untuk menguji hipotesis:
H 0 : 1 0 terhadap H1 : 1 0
KRR
F
KRS
1.35
Model Linear Terapan
Jika 1 0 maka semua Yi mempunyai mean sama yaitu 0 dan variansi sama yaitu
JKS JKR
2 . Variabel 2 dan 2 adalah independen dan berdistribusi 2 sehingga, statistik
*
uji F dapat ditulis dalam bentuk:
JKR
1
F 2
KRR
JKS KRS
n2
2
Jika H 0 benar, maka
21 1
F
2n 2 n2
Karena 21 dan 2n2 independen sehingga F F1, n2 . Kesimpulan yang diperoleh
yakni menerima H 0 jika F F ; 1; n2 dan menolak H 0 jika F F ; 1; n2 dengan
F ; 1; n2 adalah persentase 1 100 dari distribusi F.
Contoh 1.15
Diketahui data sebagai berikut:
X 1 1 2 3 4 4 5 6 6 7
Y 2,1 2,5 3,1 3 3,8 3,2 4,3 3,9 4,4 4,8
i 1
Xi
2 i 1
n 10
2
n
n Yi
130, 05 35,1 6,85
2
i 1
Yi
2 i 1
n 10
n n
n Y Xi i
39 35,1
X Y
i 1
i i
i 1
n
i 1
152, 7
10
15,81
1.36
SATS4312/MODUL 1
sehingga
2
n
n Yi
JK SYY i 1
Yi
2 i 1
n
6,85
n n
n Y Xi i
S
X Y i i
i 1
n
i 1
15,81
b1 XY i 1
2
0,387
S XX n
40,9
n X i
i 1
Xi
2 i 1
n
n
2
n
Xi
JKR b1 S XX b1 Xi
i 1
0,387 40,9 6,13
2 2 2 2
i 1 n
JKS JK JKR 6,85 6,13 0,72
Selanjutnya hasil hitungan, kita susun dalam tabel ANAVA sebagai berikut.
Sumber Variasi db JK KR F
1 6,13 6,13 6,13
Regresi F 68,1
Sesatan 8 0,72 0,09 0, 09
Total 9 6,85
Untuk 0,05 , dari tabel distribusi F diperoleh nilai F0,05; 1,8 5,32 , sehingga
diperoleh kesimpulan menolak H 0 karena F 5,32 , artinya ada hubungan linear antara
Y dan X atau garis regresi nyata.
X X
2 2
b 1 i
JKR 1
F i 1
JKS n 2 KRS
1.37
Model Linear Terapan
2
KRS b2 b
Karena diketahui s b1 2
, maka kita peroleh F 2 1 1
n
s b1 s b1
X X
2
i
i 1
b1
t
s b1
atau
2
b
t 2
1 F
s b1
Dari hubungan antara t dan F , kita peroleh hubungan antara persentil distribusi t dan F
sebagai
F
2
t ; 1; n 2
; n2
2
Contoh 1.16
Kita tinjau kembali Contoh 1.15. Dari data yang ada diperoleh F 68,1; b1 0,387 ;
2
0,387
s b1
2 0,09
0,0022 ; s b1 0,047 sehingga t
2
68, 06 68,1 dan
40,9 0, 047
t 2,306 5,32 F 0,05; 1;8 .
2 2
0,025; 8
Yi 0 1 X i i
Penaksir parameter dihitung dengan metode kuadrat terkecil. Kemudian kita hitung
jumlah kuadrat sesatan untuk model lengkap, yang ditulis dengan notasi JKS L
sebagai:
1.38
SATS4312/MODUL 1
Y Yˆ
n n
JKS L Y b 0 b1 X i
2 2
i i i
i 1 i 1
F
JKS R JKS L dbR dbL
JKS L dbL
Diperoleh kesimpulan menerima H 0 jika F * F ; dbR dbL , dbL dan menolak H 0 jika
F * F ; dbR dbL , dbL .
F*
JK JKS n 1 n 2 JKR 1
KRR
JKS n 2 JKS n 2 KRS
Jadi F sama dengan statistik uji analisis variansi.
1.39
Model Linear Terapan
Y
Y
Ŷ Y
Yˆ b0 b1 X
X X
2
(a) r 1 0
2
(b) r
Gambar 1.5.
Apabila semua observasi terletak pada garis regresinya, maka JKS 0 sehingga
n
0 ˆ
2
didapat r 1
2
1 . Apabila b1 0 berarti Yi Y dan JKR Yˆi Y 0 atau
JK i 1
X X Y Y
i i
r i 1
n n
12
X i X Y Y
2 2
i
i 1 i 1
n n
n Y Xi i
XY
i 1
i i
i 1
n
i 1
1
2
n 2 n 2
n X i
n Yi
i 1
X
2
i
i 1
n
i 1
Yi i 1
n
1.40
SATS4312/MODUL 1
1
n
2
Yi Y
2
b1 i 1 r
n
2
i 1
Xi X
Jika r 0 maka b1 0 dan sebaliknya jika nilai r dan r 2 mendekati 1 maka dapat
dilakukan inferensi yang cukup tepat terhadap Y.
Contoh 1.17
Diketahui data pengamatan sampel sebagai berikut.
X 1,5 1,8 2,4 3,0 3,5 3,9 4,4 4,8 5,0
Y 4,8 5,7 7,0 8,3 10,9 12,4 13,1 13,6 15,3
Akan dihitung nilai r 2 dan r dari data tersebut dan diperoleh:
2
n
n Xi
115,11 30,3 13,10
2
i 1
X
2
i
i 1
n 9
2
n
n Yi
1036, 65 91,1 114,52
2
i 1
Y
i
2 i 1
n 9
n n
n X Y i i
30,3 91,1 38,39
X Y
i 1
i i
i 1
n
i 1
345, 09
9
X Y Y X
i i
38,39
b1 i 1
n
2,9303
X X
2 13,10
i
i 1
JK 114,52
JKS 114,52 (2,9303)(38,39) 2,026
JK JKS 114,52 2,026
r2 0,9823
JK 114,52
Hal ini berarti 98,23 persen variasi-variasi variabel Y disebabkan oleh hubungannya
dengan variabel X. Sedangkan koefisien korelasi r r 2 0,9823 0,99 (tanda +
1.41
Model Linear Terapan
sesuai dengan tanda b1 ) atau dengan menggunakan rumus untuk koefisien korelasi
n
X X Y Y
i i
38,39
didapat r i 1
0,99 .
n n
1
X X Y Y 13,10 114,52
2 2 1
2
2
i i
i 1 i 1
LATIHAN
n n
k Y 1 dan k
1
Tunjukkan bahwa i i i
2
n
X X
2
i 1 i 1
i
i 1
2) Data dalam tabel berikut menunjukkan periode waktu yang digunakan dalam suatu
percobaan pengeringan bahan X dalam jam dan berkurangnya berat bahan Y
dalam gram.
X 4,4 4,5 4,8 5,5 5,7 5,9 6,3 6,9 7,5 7,8
Y 13,1 11,5 10,8 13,8 15,1 12,7 12,7 13,8 17,6 18,8
Jika digunakan model regresi linear dengan sesatan normal,
a) carilah persamaan regresi taksiran
b) carilah selang kepercayaan 90% untuk 1
c) ujilah H 0 : 1 0 terhadap H1 : 1 0 pada tingkat signifikansi 10%
d) carilah selang kepercayaan 95% untuk E Y7
e) untuk X h 8 , carilah selang ramalan 90% untuk Y8
f) untuk X h 8 , m = 5, carilah selang ramalan 90% mean dari m observasi baru,
yakni Y8baru
g) hitunglah koefisien determinasi r 2
1.42
SATS4312/MODUL 1
Total 51 240
a) Lengkapilah tabel ANAVA tersebut.
b) Uji H 0 : 1 0 terhadap H1 : 1 0 pada tingkat signifikansi 0,05
c) Hitunglah nilai koefisien determinasi dan kesimpulan apa yang diperoleh dari
hasil perhitungan tersebut.
a) b1 i 1
2
1, 7304 dan b0 Y b1 X 3, 7288
i 1 i 1
n n
n
i 1
X i2
i 1
Xi
Persamaan regresi taksiran Yˆi 3,7288 1,7304 X i
n n n
b) JKS Yi 1
i
2
b0 Y b X Y 19, 2203
i 1
i 1
i 1
i i
i 1
t
t 0,05;8 1,860
; n2
2
0,929 1 2,532
1.43
Model Linear Terapan
ˆ 2 1
s Y7 s n
2
n
2, 4025
2
0, 4528 ;
10 12,941
(Xi X )
i 1
ˆ
s Y7 0, 6729 dan t0,025;8 2,306
Selang kepercayaan 95% untuk E Y7 adalah:
15,8415 2,306 0, 6729 E Y7 15,8415 2,306 0, 6729
14, 29 E Y7 17,39
1 8 X 8 5,93
2 2
2
s Y8baru s 1
2
n n
2, 4025 1 1
2 10 12,941
3, 4382
i 1
(Xi X )
s Y8baru 1,8542
Selang ramalan 90% untuk Y8baru adalah:
17,5719 1,86 1,8542 Y8 baru 17,5719 1,86 1,8542
14,123 Y8 baru 21, 021
1 1 8 X 8 5,93 1,5162
2 2
f) 2
s Y8baru s
2
m n
n
2, 4025 1 1
2
5 10 12,941
(Xi X )
i 1
s Y8baru 1, 2314
Selang ramalan 90% untuk Y8baru adalah:
17,5719 1,86 1, 2314 Y8baru 17,5719 1,86 1, 2314 atau
15, 2816 Y8baru 19,8622
1.44
SATS4312/MODUL 1
(X i X )2
g) Koefisien determinasi r 2 b12 i 1
n
0, 668
Y Y
2
i
i 1
3) a) Tabel ANAVA
Sumber Variasi db JK KR
Regresi 1 40 40
Sesatan 50 200 4
Total 51 240
KRR 40
b) Statistik Uji: F 10
KRS 4
Dari tabel diperoleh F1;50;0,05 4,04 , karena F 4, 04 maka diperoleh
kesimpulan tolak H 0 .
JKR 40
c) Koefisien determinasi r 2 0,167
JK 240
Artinya 16,7% variasi variabel Y disebabkan oleh hubungannya dengan
variabel X.
RANGKUMAN
1. Untuk dapat melakukan inferensi dalam analisis regresi, terutama jika sampel
yang digunakan kecil diperlukan asumsi i N 0, 2 .
b0 t
s b0 0 b0 t
s b0
; n2 ; n2
2 2
1.45
Model Linear Terapan
dengan
KRS s2
s b1 n
n
(X
i 1
i X)
2
(X
i 1
i X )2
1 X2
s b0 KRS n
n ( X i X )2
i 1
Yˆh t
; n2
s Yˆh E Yh Yˆh t
; n2
s Yˆh
2 2
dengan
1 Xh X
2
Yˆh t
; n2
s Yhbaru Yˆhbaru Yh t
; n 2
s Yhbaru
2 2
dengan
1 Xh X
2
Yˆh b0 b1 X h dan s 2
Y
h baru
KRS 1 n
n
2
i 1
(Xi X )
1.46
SATS4312/MODUL 1
dengan
1 1 Xh X
2
s 2
Y
h baru
KRS n
m n
2
i 1
(Xi X )
n n
n X i Yi
XY i i
i 1
n
i 1
r i 1
; 1 r 1
n
2
n
2
n i
X n i
Y
X 2 i 1 Y 2 i 1
i 1
i
n
i 1
i
n
TES FORMATIF 2
Pilih satu jawaban yang paling tepat dari beberapa alternatif jawaban yang disediakan!
1) Dari pasangan data X (variabel independen) dan Y (variabel respons), dihitung nilai
sebagai berikut.
n n n n n
X
i 1
i
2
121, X i 20; X iYi 82; Yi 2 516; Yi 40; n 40
i 1 i 1 i 1 i 1
Jika digunakan model regresi linear sederhana, maka nilai variansi s 2 sama
dengan ….
A. 4,48
B. 4,00
C. 4,49
D. 3,89
1.47
Model Linear Terapan
4) Data berikut menunjukkan jumlah senyawa kimia yang larut dalam 100 gram air (Y)
pada berbagai temperatur (X) dalam 0 C .
X 0 15 30 45 50 75
Y 8 12 24 33 39 44
Dari data dapat dihitung nilai s 2 sama dengan ….
A. 4,38
B. 5,48
C. 3,64
D. 4,84
1.48
SATS4312/MODUL 1
8) Lihat soal nomor 4, selang kepercayaan 95% untuk E Yk yang bersesuai dengan
X k 35 adalah ….
A. 23, 46 E Yk 27,30
B. 23,71 E Yk 27,05
C. 23,55 E Yk 27, 21
D. 23,33 E Yk 27, 43
Cocokkanlah jawaban Anda dengan Kunci Jawaban Tes Formatif 2 yang terdapat di
bagian akhir modul ini. Hitunglah jawaban Anda yang benar. Kemudian gunakan rumus
di bawah ini untuk mengetahui tingkat penguasaan Anda terhadap materi Kegiatan
Belajar 2.
Rumus:
Bila Anda mencapai tingkat penguasaan 80% atau lebih, Anda dapat meneruskan
dengan modul selanjutnya. Bagus! Tetapi bila tingkat penguasaan Anda masih di bawah
80%, Anda harus mengulangi Kegiatan Belajar 2, terutama bagian yang belum Anda
kuasai.
1.49
Kunci Jawaban Tes Formatif
Tes Formatif 1
1) A
2) C
3) B untuk X k 175, Yˆk b0 b1 X k
2
n
X i X Yi Y
JKS (Yi Y ) 2 i 1 n
n
JKS
4) D dan s 2 KRS
n2
i 1
( X i X )2 i 1
5) B
6) A
7) C
8) B
X
n
i X Yi Y
9) B b1 i 1
n
(X
i 1
i X )2
10) D
Tes Formatif 2
JKS
1) B hitung dengan rumus s 2
n2
s2
2) A gunakan rumus s 2 b1 n
(X
i 1
i X )2
3) B
4) B
5) C
1.50
SATS4312/MODUL 1
b1
6) B statistik penguji t
s b1
KRR
7) B statistik penguji F
KRS
8) D
JK JKS JKR
9) A gunakan rumus r 2
JK JK
1.51
Daftar Pustaka
Draper, N. & Smith, H. (1998). Applied Regression Analysis. New York: Wiley.
Neter, J., Wasserman, W. & Kutner, M. H. (1990). Applied Linear Statistical Models.
Irwin.
1.52