1

Signifikansi parameter Model Regresi Linier Sederhana

Model formal regresi linier sederhana dalam teori dinyatakan sebagai

(1)
dengan fungsi rgresi
()

(2)
fungsi dugaan regresi
()

atau

(3)
Dekomposisi Deviasi (Error)
Galat/error pengamatan ke-i

(4)
Jumlah Kuadrat Galat disingkat JKG dan dinyatakan sebagai

(5)
(

JKG atau SSE (error sum of squares)
Ukuran total deviasi atau Jumlah Kuadrat Total (JKT) didefinisikan sebagai
(

(6)
dimana JKT atau SSTO (total sum of squares)
Jumlah Kuadrat Regresi (JKR) atau SSR (regression sum of squares) adalah
selisih antara dua jumlah kuadrat , yaitu

dimana (

(7)
2



Dekomposisi deviasi total secara formal didefinisikan sebagai,

(8)
dimana

: deviasi total (variasi /penyimpangan total), Gambar 1

: penyimpangan akibat regresi (yang terjelaskan)

: galat , bagian yang tidak dapat dijelaskan oleh regresi

Bila kedua ruas dikuadratkan kemudian di jumlahkan, dapat ditunjukkan bahwa
(

(9)
atau
Bukti
(

[(

) (

)]

[(

)(

)]
(

)(

)
Gambar 1

( )

X
Y
(

3



(

()
(

dimana (

)(

) (

Hal didasarkan pada sifat garis regresi bahwa:
(i)

, jumlah galat = 0
(ii)

Jumlah galat dengan pembobot

sama dengan nol

Interpretasi
Perhatikan kesamaan



Deviasi total bersifat tetap (fixed), sedangkan sisa bersifat acak (tidak tetap).
Diharapkan bagian deviasi yang dapat dijlaskan oleh regresi proporsinya lebih
besar dari proporsi sisa (bagian yang tidak terjelaskan). Bagian yang tidak
terjelaskan ini bisa muncul akibat, misalnya masih terdapat beberapa variabel
berpengaruh yang belum dimasukkan dalam model, ataupun instrument
pengukuran yang tidak valid, dan sebagainya.
Tabel Anava
Total penyimpangan dapat di dekomposisi atas dua bagian yaitu

(

) (

) (

)
deviasi total deviasi akibat regresi sisa (bagian yang tidak
(bagian yang dapat dapat dijelaskan oleh
dijelaskan oleh regresi) regrsi)

4



Tetapi Jumlah Kuadrat Total dapat pula dituliskan dalam dua komponen :
(

dimana

: Jumlah kuadrat tidak terkoreksi (the total uncorrected sum of

squares)

: Jumlah kuadarat terkoreksi (the correction for the mean sum of

squares)
Tabel 1 : Anava untuk regresi sederhana
Sours of
variation
SS df
atau
dk
MS E(MS)
Regression


Error

Total
(

1

n-2

n-1

nilai ini dibandingkan dengan

()
dimana dk

1 dan

n-2

Tolak

bila

Untuk persoalan diatas, dapat pula digunakan uji t, yaitu

5



Jika p menyatakan banyaknya parameter dalam model, maka dk SSE adalah n-p,
sedangkan dk SSR adalah p-1, dan dk SSTO (JKT) tidak tergantung model,
sehingga dk SSTO tetap n-1

Contoh 1 mencari persamaan regresi linier sederhana
Data

1 3 4 6 8 9 11 14

1 2 4 4 5 7 8 9

Plot data, menunjukkan bahwa data mengikuti pola linier (garis lurus), sehingga
model regresi yang diasumsikan sebagai

Selanjutnya koefisien-koefisien regresi di taksir dengan metode kuadrat terkecil,
sehingga dipeoleh model regresi

6




Perhitungan
Buat tabel bantu

1
3
4
6
8
9
11
14
1
2
4
4
5
7
8
9
1
9
16
36
64
81
121
196
1
6
16
24
40
63
88
126

Rumus untuk koefisien regresi
7

()(

) ()()
(

) ()

() ()()
(

) ()

Jadi

() ()()
() ()

() ()()
() ()

Jadi persamaan regresinya

Perhitungan error/galat

, untuk
Buat tabel bantu

1
3
4
6
8
9
11
14
1
2
4
4
5
7
8
9
1.1818
2.4545
3.0909
4.3636
5.6363
6.2727
7.5454
9.4545
-0.1818
-0.4545
0.9091
-0.3636
-0.6363
0.7273
0.4545
-0.4545
0.0330
0.2066
0.8264
0.1322
0.4050
0.5289
0.2066
0.2066

2.5454
SSE (JKS)

Lihat Gambar dekomposisi error
()

8



Tabel bantu regresi

1
3
4
6
8
9
11
14
1
2
4
4
5
7
8
9
1.1818
2.4545
3.0909
4.3636
5.6363
6.2727
7.5454
9.4545
5
5
5
5
5
5
5
5
-0,181
-0,453
0,032761
0,205209

-3,819
-2,547
14,584761
6,487209
-4
-3
-1
-1
0
2
3
4
16
9
1
1
0
4
9
16

40

2,545544
SSE
dk=1
MSE
2,545544

53,393544
SSR
dk=8-2
MSR
8,898924

56
SST
dk=8-1


Tabel Anava
Sumber variasi JK dk RK (rataan kuadrat E(RK)
Regresi
(

Sisa
(

n-2 ( )

Total
(

n-1

Tabel Anava
Sumber variasi JK dk RK (rataan kuadrat

Regresi

1

Sisa 8-2=6

Total 8-1=7

()

()

Karena F hit > F tabel, 125,839 > 5,99 maka Tolak Ho, artinya

, dengan kata lain

variabel x berpengaruh signifikans terhadap variabel y
Bandingkan dengan uji t,

()

()


9



Perhatikan bahwa

) (

)

()

Periksa Interval nilai

)
(

)
(

)
()

()

(tidak memuat angka nol) artinya

Uji

)
,

Karena |

|
(

)
, maka terima

, yang
berarti

Uji signifikansi

Model regresi linier sederhana

Model taksiran

Uji signifikansi

Hipotesis :

(a). Tolak

bila

dimana

()

(b). Uji t dengan

10



(c). Periksa interval nilai

)
(

)
(

)
apakah tidak memuat bilangan nol
(d). Uji

)
, dimana

Jika |

|
(

)
terima

|
(

)
terima

Contoh 2
Tinggi badan ayah
(X) inci
65 63 67 64 68 62 70 66 68 67 69 71
Tinggi badan anak laki
(Y) inci
68 66 68 65 69 66 68 65 71 67 68 70

Tabel 1b
X Y XY

Residu

Kuadrat residu

65
63
67
64
68
62
70
66
68
67
69
71
68
66
68
65
69
66
68
65
71
67
68
70
4420
4158
4556
4160
4692
4092
4760
4290
4828
4489
4692
4970
4225
3669
4489
4096
4624
3844
4900
4356
4624
4489
4761
5041
4624
4356
4624
4225
4761
4356
4624
4225
5041
4489
4624
4900
66.79
65.84
67.74
66.31
68.22
65.36
69.17
67.27
68.22
67.74
68.69
69.65
1.211
0.163
0.258
-1.313
0.782
0.639
-1.171
-2.266
2.781
-0.742
-0.695
0.352
1.46
0.03
0.07
1.72
0.61
0.41
1.37
5.13
7.74
0.55
0.48
0.12
800 811 54107 53418 54849 0 19.69

Tabel 1c
X Y

65
63
67
64
68
62
70
66
68
68
66
68
65
69
66
68
65
71
66.79
65.84
67.74
66.31
68.22
65.36
69.17
67.27
68.22
0.1739
2.5059
0.1739
6.6719
2.0079
2.5059
0.1739
0.6719
11.6759
1.46562
0.02669
0.06650
1.72395
0.61074
0.40930
1.37185
5.13361
7.73672
0.62985
3.04986
0.02532
1.61292
0.40387
4.94068
2.52257
0.10065
0.40387
11



67
69
71
67
68
70
67.74
68.69
69.65
0.3399
0.1739
5.8419
0.55075
0.48286
0.12416
0.02532
1.23628
4.26273
38.917 19.703 19.214

,
.
Multiple R 0.7026516

R Square 0.4937193
Adjusted R
Square 0.4430913
Standard
Error 1.4036651

Observations 12


ANOVA

df SS MS F
Significance
F

Regression 1 19.21391 19.21391 9.75189 0.010822

Residual 10 19.70276 1.970276

Total 11 38.91667


Coefficients
Standard
Error t Stat P-value Lower 95%
Upper
95%
Lower
95.0%
Upper
95.0%
Intercept 35.824803 10.17795 3.519844 0.00554 13.14691 58.5027 13.14691 58.5027
X Variable 1 0.476378 0.152548 3.122802 0.010822 0.136479 0.816277 0.136479 0.816277
RESIDUAL OUTPUT

Observation Predicted Y Residuals
Standard
Residuals

1 66.78937 1.21063 0.904574

2 65.836614 0.163386 0.122081

3 67.742126 0.257874 0.192682

4 66.312992 -1.31299 -0.98106

5 68.218504 0.781496 0.583928

6 65.360236 0.639764 0.478027

7 69.17126 -1.17126 -0.87516

8 67.265748 -2.26575 -1.69295

9 68.218504 2.781496 2.078315

12



10 67.742126 -0.74213 -0.55451

11 68.694882 -0.69488 -0.51921

12 69.647638 0.352362 0.263283


Perhitungan manual

()(

)()()
(

)()

()()
()

()()()
(

)()

()()
()

(
)

(standar error untuk estimasi regresi

(
)

(
)

()
??
()
()()

()()

Koefisien korelasi produk moment

()()
[

()

][

()

]


()()
()

()

()()

(kesamaan ini berlaku khusus untuk regresi linier sederhana)

13








Asumsi yang mendasari Regresi linier bergnda adalah
1. Kelinieran (linearity), artinya model berbentuk linier terhadap parameter
(koefisien) regresi, dan ini berkaitan secara langsung dengan
pengembangan statitik uji-F dan uji-t. Jika asumsi ini dilanggar atau
diabaikan, maka uji-F dan uji-t tidak lagi sahih bagi model yang
dipostulatkan

2. Kebebasan nilai galat /sisa (independence of residuals), secara langsung
juga berkaitan dengan kesahihan uji-F dan uji-t. Jika nilai galat tidak
independen, berarti terjadi autokorelasi pada galat, sehingga penggunaan
uji-F dan uji-t tidak lagi sahih bagi model yang dipostulatkan.
Independensi nilai galat ekivalen dengan istilah keacakan nilai galat (galat
bersifat acak), mendekati karena galat akan bersifat acak bila korelasi
(

) mendekati atau sama dengan nol.

3. Homoskedastisitas (homoscedasticity), adalah asumsi tentang kesamaan
variansi (equal variance) atau varians konstan, yaitu (

)
(

) (

. Dampak pelanggaran asumsi ini adalah

terhadap kesahihan uji-uji statistic F dan t yang berkaitan dengan model
regresi linier yang telah dipostulatkan.

4. Kenormalan nilai galat (normality of residuals). Umumnya model regresi
linier diasumsikan bahwa galat (term error) berdistribusi normal. Tetapi
14



asumsi ini tidak terlalu ketat, karena dalam praktek, tidak ada distribusi
yang benar-benar normal. (Markidarkis at all 1999)
Perlu dicatat bahwa uji stattistik F dan t bersifat kekar (Robust), ini berarti
anggapan kenormalan dan kesamaan variansi tidak perlu dipenuhi secara ketat,
tapi cukup agak kasar, (RK Sembiring, 1995).