Regresi Linier Sederhana

Analisis regresi adalah analisis statistika yang mempelajari hubungan antara dua atau lebih
peubah kuantitatif sehingga salah satu peubah dapat diramalkan (predicted) oleh peubah
lainnya (peubah bebas)
Hubungan antara dua peubah dapat dibedakan menjadi dua yaitu:
1. Hubungan fungsional (deterministik) antara dua variabel dapat dinyatakan secara
matematis. Hubungan fungsional dapat ditulis ke dalam bentuk: Y = f(X); misalnya Y =
0,1X

2. Hubungan statistik (stokastik) antara dua peubah tidak sempurna, pada umumnya
dalam hubungan statistik pengamatan tidak jatuh pas di kurva hubungan. Misalnya
hubungan antara X yang menyatakan usia (dalam tahun) dan Y yang menyatakan tingkat
steroid dinyatakan dalam gambar berikut.

Model regresi secara formal menyatakan dua hal tentang hubungan statistik, yaitu
kecenderungan peubah tak bebas (Y) berubah terhadap peubah bebas (X) dalam bentuk
sistematis dan tersebarnya titik titik di sekitar kurva hubungan statistik.

Model Regresi Linier Sederhana

Model regresi linier sederhana adalah model yang menggambarkan hubungan antara peubah X
dan Y yang linier (ordo 1) dengan jumlah peubah bebas/penjelas hanya satu. Perubahan pada Y
diasumsikan disebabkan karena adanya perubahan pada X. Model populasi regresi linier
sederhana yang hubungannya linier adalah :

Y = β0 + β 1 X +ε
dengan β 0 dan β 1 adalah parameter regresi, ε adalah galat/error (peubah acak), X adalah
peubah bebas yang nilainya diketahui dan presisinya sangat tinggi (bukan peubah acak) dan Y
adalah peubah tak bebas (peubah acak).
Asumsi dalam model regresi linier adalah :
 Bentuk hubungannya linier, Y merupakan fungsi linier dari X dan galat yang acak
 Galat ε i adalah peubah acak yang bebas terhadap nilai X
 Galat adalah peubah acak yang menyebar normal dengan rataan 0 dan memiliki ragam
yang konstan. Sifat ragam galat yang konstan/homogen disebut homoskedastisitas
E ( ε i )=0 dan E ( ε 2i )=σ 2, untuk i =1, 2, …, n
 Galat ε i saling bebas atau tidak saling berkorelasi satu sama lain sehingga E ( ε i ε j ) =0 ,i ≠ j
atau cov ( ε i ε j ) =0 ,i ≠ j

Interpretasi model regresi linier sederhana (populasi):

 Y adalah peubah tak bebas/respon yang merupakan peubah acak dengan pusat atau nilai
harapannya di β 0 + β 1 X dan ragam σ 2.
 β 0 adalah intersep Y populasi yang artinya adalah nilai Y ketika X =0 sedangkan
 β 1 adalah koefisien kemiringan populasi yang artinya perubahan nilai Y untuk setiap
perubahan 1 satuan X
Dugaan untuk persamaan garis regresi linier sederhana adalah
^
y i=b 0 +b1 xi
dengan ^ y i adalah nilai dugaan y pada pengamatan ke-i, b 0 adalah dugaan bagi intersep β 0, b 1
adalah dugaan bagi kemiringan garis regresi β 1 dan x i adalah nilai x pada pengamatan ke-i.
Sisaan e i=( y i −^y i )= y i−(b 0+ b1 x i ).
Interpretasi koefisien kemiringan untuk dugaan persamaan garis regresi linier sederhana
adalah
 b 0 merupakan nilai dugaan rataan y ketika x bernilai 0 sedangkan
 b 1 merupakan nilai dugaan perubahan rataan y (nilai harapan Y) jika x berubah satu satuan

Metode Kuadrat Terkecil (MKT) digunakan untuk menghitung dugaan bagi parameter regresi.
 Penduga bagi koefisien kemiringan garis β 1
n

S S
∑ (x i−x )( y i− y )
b 1= XY =r XY Y = i=1
S XX SX n

∑ (x i−x )2
i=1

 Penduga bagi intersep β 0

b 0= y−b1 x
 Garis regresi selalu melalui titik ( x , y ¿

Asumsi Metode Kuadrat Terkecil (MKT)

Agar penduga bagi parameter regresi yang didapatkan dengan menggunakan MKT merupakan
penduga yang baik maka sisaan atau galat harus memenuhi kondisi Gauss-Markov berikut ini :
1. E [ ε i ] =0 , nilai harapan/rataan sisaan sama dengan nol
2. E [ ε 2i ]=σ 2 , ragam sisaan homogen untuk setiap nilai x (homoskedastisitas)
3. E [ ε i , ε j ]=0 , untuk i ≠ j dengan ε i dan ε j saling bebas
Contoh
Sebuah agen real-estate ingin mengetahui hubungan antara harga jual sebuah rumah dengan
luas lantai rumahnya. 10 buah rumah diambil secara acak sebagai contoh. Peubah tak bebas (Y)
adalah harga rumah dalam juta rupiah, sedangkan peubah bebas (X) adalah luas lantai rumah
yang diukur dalam m2.
Y = Harga
X = Luas Lantai (
No Rumah (Rp. 2
juta) m)
1 245 1400
2 312 1600
3 279 1700
4 308 1875
5 199 1100
6 219 1550
7 405 2350
8 324 2450
9 319 1425
10 255 1700

Pembahasan
Grafik hubungan harga jual rumah dengan luas lantai rumahnya digambarkan oleh grafik
dibawah ini.

Y = Harga X = Luas Lantai

No y i− y x i−x
Rumah (Rp. (m2)
 juta)
1 y 1 = 245
2 y 2 = 312
3 y 3 = 279
4 y 4 = 308
5 y 5 = 199
6 y 6 = 219
7 y 7 = 405
8 y 8 = 324
9 y 9 = 319
10 y 10 = 255
10
x 1 = 1400 (245−286,5¿ = -41,5 ( 1400−1715 )=¿-315
x 2 = 1600 (312−286,5 ¿ = 25,5 (1600−1715)=¿ -115
x 3 = 1700 (279−286,5) = -7,5 (1700−1715)=¿ -15
x 4 = 1875 (308−286,5) = 21,5 ( 1875−1715 )=¿160
x 5 = 1100 (199−286,5) = -87,5 ( 1100−1715 )=¿-615
x 6 = 1550 (219−286,5) = -67,5 ( 1550−1715 )=¿-165
x 7 = 2350 ( 405−286,5) = 118,5 ( 2350−1715 )=¿ 635
x 8 = 2450 (324−286,5) = 37,5 ( 2450−1715 )=¿ 735
x 9 = 1425 (319−286,5¿ = 32,5 ( 1425−1715 )=¿-290
x 10 = 1700 ( 255−286,5 )= -31,5 ( 1700−1715 )=¿-15
10

Total
∑ yi =¿2865 ∑ x i=¿17150    
i=1 i=1
Mea
n y = 286,5 x = 1715    

2
No ( y i− y ) ( x i−x ) (x i−x )
1 (-41,5)(-315) = 13072,50 (−315)2=¿ 99225,00
2
2 (25,5)(-115) = -2932,50 (−115) =¿ 13225,00
2
3 (-7,5)(-15) = 112,50 (−15) =¿ 225,00
2
4 (21,5)(160) = 3.440,00 (160) =¿25600,00
5 (-87,5)(-615) = 53.812,50 (−615)2=¿ 378225,00
2
6 (-67,5)(-165) = 11.137,50 (−165) =¿ 27225,00
2
7 (118,5)(635) = 75.247,50 (635) =¿ 403225,00
8 (37,5)(735) = 27.562,50 (735)2=¿540225,00
9 (32,5)(-290) = -9.425,00 (−290)2=¿ 84100,00
10 (−31,5 )( -15) = 472,50 (−15)2=¿ 225,00
10 10

Total
∑ (x i−x)( yi − y) = 172500,00 ∑ (x i−x)2= 1571500,00
i=1 i=1
Rata-Rata    

 Penduga bagi koefisien kemiringan garis regresi β 1 adalah :

n

S XY S Y i=1
∑ (x i−x )( y i− y ) 172500
b 1= =r XY = = =0,11
S XX SX n
1571500
∑ (x i−x )2
i=1

yang artinya setiap penambahan satu m2 luas lantai menyebabkan harga rumah naik
sebesar 0,11 juta rupiah atau Rp 110.000.
 Penduga bagi intersep β 0 adalah:
b 0=¿ y−b1 x = (286,5)-(0,11)(1715)=98,25
 b 0 adalah nilai dugaan bagi nilai rata-rata Y ketika X bernilai nol. Dalam kasus ini, tidak ada
rumah yang memiliki luas lantai sama dengan 0m2 sehingga b 0=¿98,25 hanya
mengindikasikan untuk luas lantai yang berada dalam selang pengamatan.
 Dugaan persamaan regresi linier sederhananya adalah :
Harga Rumah = 98,25 + 0,11 Luas Lantai
Pertanyaannya, apakah galat/sisaan yang dihasilkan oleh dugaan persamaan garis regresi
menghasilkan galat yang memenuhi kondisi Gauss-Markov? Jawabannya dijelaskan dalam
bahasan Diagnosa Model Melalui Pemeriksaan Sisaan.

Nilai pengamatan y i yang dihasilkan beragam, keragaman pengamatan y i dapat dijelaskan

dalam gambar berikut. Keragaman total terdiri dari keragaman yang mampu dijelaskan dan
keragaman yang tidak dapat dijelaskan.

Untuk suatu nilai x i, keragaman nilai pengamatan y i disebabkan oleh:

 Menyimpangnya nilai pengamatan y i terhadap dugaan nilai harapannya
^
E [ Y |x i ]=^ y i=¿ b 0+ b1 x i
Sisaan/galat/error ke-i adalah selisih antara nilai pengamatan y i dengan nilai dugaan ^
y i ditulis
dengan notasi e i. Sisaan digunakan untuk mempelajari ketepatan model regresi.
e i= y i−¿ ^ y i = y i−(b0 + b1 x i)
 b 0 dan b 1 beragam menghasilkan dugaan garis regresi yang beragam yang memiliki rataan
y . Menyimpangnya suatu dugaan garis regresi terhadap rataannya menyebabkan
beragamnya data.
^
y i− y =b0 +b 1 x i− ^
y i , y= ^ y i karena model regresi

Keragaman yang mampu dijelaskan dapat dihitung dengan menghitung Jumlah Kuadrat Regresi
(JKR) sedangkan keragaman yang tidak mampu dijelaskan dapat dihitung dengan menghitung
Jumlah Kuadrat Galat (JKG). Jumlah Kuadrat Total (JKT) dapat dihitung dengan persamaan
sebagai berikut :
JKT =JKR +JKG
Jumlah Kuadrat Total = Jumlah Kuadrat Regresi + Jumlah Kuadrat Galat
n

∑ ¿¿
i=1

dengan nilai y adalah nilai rata-rata peubah tak bebas Y, y i adalah nilai pengamatan ke-i
peubah tak bebas Y dan ^
y i adalah nilai dugaan y untuk suatu nilai x i.

Jumlah Kuadrat Total (JKT) mengukur keragaman nilai y i disekitar nilai rataannya ( y ), Jumlah
Kuadrat Regresi (JKR) menjelaskan keragaman karena adanya hubungan linier antara x dan y
sedangkan Jumlah Kuadrat Galat (JKG) menggambarkan keragaman yang disebabkan oleh
faktor-faktor selain faktor hubungan linier x dan y.

Ukuran keragaman adalah ragam

Jumlah Kuadrat (JK )
Ragam =
Derajat Bebas(db)
dengan derajat bebas untuk galat (db Galat) adalah n-2 dan derajat bebas untuk regresi linier
sederhana (db Regresi) adalah satu.
Perhitungan sumber keragaman untuk contoh Harga Rumah vs Luas Lantai Rumah
No Y ^
yi (^
2
y i− y)
1 245 ^
y 1 = 98,25 + 0,11 (1400 ¿ = 251,92 (251,92−286,5)2=¿ 1195,56
2 312 ^
y 2 = 98,25 + 0,11 (1600 ¿ = 273,88 2
(273,88−286,5) =¿ 159,35
3 279 ^
y 3 = 98,25 + 0,11 (1700 ¿ = 284,85 (284,85−286,5)2 =¿2,71
4 308 ^y 4 = 98,25 + 0,11 (1875 ¿ = 304,06 (304,06−286,5)2=¿308,45
5 199 ^
y 5 = 98,25 + 0,11 (1100 ¿ = 218,99 2
(218,99−286,5) =¿4557,22
6 219 ^
y 6 = 98,25 + 0,11 (1550 ¿ = 268,39 2
(268,39−286,5) =¿328,03
7 405 ^
y 7 = 98,25 + 0,11 (2350 ¿ = 356,20 (356,20−286,5)2 =¿4858,44
8 324 ^
y 8 = 98,25 + 0,11 (2450 ¿ = 367,18 (367,18−286,5)2 =¿6509,15
9 319 ^
y 9 = 98,25 + 0,11 (1425 ¿ = 254,67 2
(254,67−286,5) =¿1013,32
10 255 ^
y 10 = 98,25 + 0,11 (1700 ¿ = 284,85 (284,85−286,5)2 =¿2,71
10 10

Total
∑ yi =¿2865  
∑ (^y i− y )2=¿18934,93
i=1 i=1
Mean y = 286,5    
 No ¿ ¿
1 ¿ = 47,93 ¿ = 1722,25
2 ¿ = 1453,39 ¿ = 650,25
3 ¿ = 34,26 ¿ = 56,25
4 ¿ = 15,50 ¿ = 462,25
5 ¿ = 399,71 ¿ = 7656,25
6 ¿ = 2439,21 ¿ = 4556,25
7 ¿ = 2381,19 ¿ = 14042,25
8 ¿ = 1864,45 ¿ = 1406,25
9 ¿ = 4138,69 ¿ = 1056,25
10 ¿ = 891,23 ¿ = 992,25
10 10

Total
∑ ( y ¿ ¿ i−^y i ) =¿ ¿13665,57
2
∑ ( y i− y )2=¿32600,50
i=1 i=1
Rata-Rata    

Tabel Sidik Ragam untuk Harga Rumah vs Luas Lantai Rumah

Sumber
No Db JK KT F-Hitung
Keragaman
10

1 Regresi 1
∑ (^y i− y )2=¿18934,93 (18934,93/1) = 18934,93 KTR/KTG =11,08
i=1
10

∑ ( y ¿ ¿ i−^y i )2=¿ ¿13665

i=1
2 Galat (10-2) = 8 ,57 (13665,57/8) = 1708,20  
10

3 Total (10-1) = 9
∑ ( y i− y )2=¿32600,50    
i=1

Uji F untuk parameter regresi dapat diperoleh dari Tabel Sidik Ragam. Hipotesis untuk Uji F ini
adalah :

H 0 : β 1=0, koefisien regresinya sama dengan nol, tidak ada pengaruh luas lantai terhadap harga
rumah
H 1 : β1 ≠ 0, koefisien regresinya tidak sama dengan nol, ada pengaruh luas lantai terhadap harga
rumah

F Hitung diperoleh dengan membandingkan KTR terhadap KTG, diperoleh nilai F Hitung sebesar
11.08. Kemudian bandingkan nilai F Hitung dengan nilai F Tabel pada ∝=0.05 dengan F(dbR ,dbG) =
F(1,8)= 5,32. Nilai F Hitung lebih besar dari nilai F tabel tolak H 0 artinya luas lantai
mempengaruhi harga rumah secara nyata.
Uji Koefisien Regresi

1. H0 (Hipotesis nol) : β 1=0 artinya luas lantai tidak mempengaruhi harga jual rumah
H1 (Hipotesis satu) : β 1 ≠ 0 artinya luas lantai mempengaruhi harga jual rumah
2. Statistik Uji

√
n

∑ ( y i− ^y i )2
i =1
sb =
1 n
( n−2) ∑ (x i−x)2
i=1

b1
t hitung =
sb1

^
y i adalah nilai dugaan y pada pengamatan ke-i
3. Daerah kritis
Tolak H0 jika t hitung > t ( α ,(n−k)) atau −( t¿¿ hitung)<t ( α ,(n−k)) ¿ dengan k adalah jumlah peubah
2 2

bebas
Jika α tidak diketahui, gunakan α=0,05, n adalah jumlah sampel

Pembahasan

1. H0 (Hipotesis nol) : β 1=0 artinya peubah bebas X tidak mempengaruhi peubah respon Y
H1 (Hipotesis satu) : β 1 ≠ 0 artinya peubah bebas X mempengaruhi peubah respon Y
2. Statistik Uji
b1
t hitung =
sb

√
1

∑ ( y i− ^y i )2
sb = 1
i =1
n
( n−2) ∑ ( x i−x)
i=1
2
=
√ 13665,57
(10−2 ) (1571500,00)
=0,03

b1 0,11
t hitung = = =3,33
s b 0,03
1

t α =t 0,05 =2,262
( ,(n−k)) ( ,(10−1))
2 2
3. Pengambilan keputusan
Karena nilai t hitung > t tabel dimana 3,33 > 2,262 maka tolak H0
4. Kesimpulan luas lantai mempengaruhi harga jual rumah