Regresi polinomial

TUJUAN
Menjelaskan tentang regresi
polinomial didasarkan sebaran
data dan uji hipotesis
Kita sudah diskusikan ‘Straight Line Model
(SLM)’  harus perhatikan sebaran IV dan
DV utk melihat kemungkinan SLM kurang
‘ROBUST’. Bila sebaran mirip parabola
lakukan polimonial regresion artinya
me(+) satu IV yg berasal dr IV yg sudah
ada. Tehnik ini dikenal dgn ‘second order
polynomial’ yaitu me(+) term X2 setelah ada
X. Bila memungkinkan (lihat sebaran) bisa
me(+) satu lagi X3 ’high order-term’
Model dasar: Y = b0 + b1X + E
dgn me(+) ‘second order polynomial’ didapat
Y = b0 + b1X + b2X2 + E 
disederhanakan
Y = b0 + b1X1 + b2X2 + E  X2 = X12
Least Squares Estimates dr parameter b0, b1, dan b2 di
model parabolik dipilih agar diperoleh SS of Deviation
yg minimal dr masing2 titik dr grs parabolik

Maka model prediksinya adalah

    Y  bˆ 
n 2 n 2

SSE   Yi  Yˆi i 0  bˆ1 X i  bˆ 2 X i2

i 1 i 1
Data Table TEMU 3 (n=30), setelah outlier dibuang 
the least squares estimates utk koefisien parabolik:
bˆ0  113.41; bˆ1  0.088; bˆ2  0.10
Maka modelnya

ˆ
Y  113.41  0.088 X  0.1X 2

Sedangkan tanpa second order polinomial atau

straight line, modelnya

Yˆ  97.08  0.95 X
Ada perbedaan estimasi pada b0 & b1 antara kedua
model, ini menunjukkan estimasi b2 mempengaruhi
estimasi b0 & b1
ANOVA Tabel  data SBP tabel

Source df SS MS F

X 1 6110.1 6110.1 68.89

Regresi X2lX 1 163.30 163.30 1.84

Residual 26 2306.05 88.69

28 8579.54
Dari tabel tersebut muncul pertanyaan
1.Apakah koefisien regresi model
keseluruhan (full model) bermakna secara
statistik, apakah second order model
menjelaskan keragaman (variation);
2.Apakah second order model memberikan
prediksi yg lebih kuat/baik dibanding
hanya model garis lurus
3.Apakah kita harus me(+) higher order term
(X3 atau X4 dst)
Uji hipotesis
Untuk menentukan tingkat kemaknaan
Null Hipothesis ‘tidak ada kemaknaan
seluruh koefisien regresi (b1 = b2 = 0),
prosedur pengujian hipotesis adalah
menggunakan uji F yaitu:

MS .regression
F
MS .residual
Untuk mendapatkan ukuran kuantitatif
besaran ‘second order model’ untuk
memprediksi DV, kita menggunakan

SSY  SSE SecondOrderModel 

r 
2

SSY
Uji penambahan X2 dalam model
Untuk menjawab pertanyaan itu, kita harus
melakukan terlebih dahulu uji parsial F untuk
H0: penambahan variabel X2 pada persamaan
garis lurus tidak bermakna utk meningkatkan
prediksi DV (b2 = 0), ujinya

 2 SSpenambahanX 2 1 
F  X X  
 MSresidual  SecondOrde rModel  

ANOVA Table memperlihatkan bahwa
SS X2lX = 163.30,
Maka uji F = 163.3 / 88.69 = 1.84
Karena Uji F1, 29, 0.9 = 2.91  kita gagal
menolak H0 pada tingkat (level) a = 0.1 dan
disimpulkan bahwa pe(+) term X2 dalam
model garis lurus tidak meningkatkan
prediksi DV (Y), meskipun ada kenaikan r2
dari 0.712 menjadi 0.731
Andaikan kita mempelajari pengaruh dosis obat (X)
terhadap kenaikan berat badan tikus (Y), datanya:

Dosis (X) 1 2 3 4 5 6 7 8

Kenaikan BB (Y) 1 1.2 1.8 2.5 3.6 4.7 6.6 9.1

Source df SS MS F

Regresi X 1 52.04 52.04 260.2

X2lX 1 4.83 4.83 24.15

Residual 5 0.20

Total 7 57.07
Scatter plot Pertambahan Berat Badan dan Dosis
 Dari data yang ada dan ANOVA tabel diperoleh:
Y = 1.13 – 0.41X + 0.17X2 dan nilai r2 = 0.997
Perhatikan bila dalam model hanya ada X saja.

Source df SS MS F

Regresi ( X) 1 52.04 52.04 61.95

Residual 6 5.03 0.84

Total 7 57.07

Persamaan garis: Y = 1.20 + 1.11X dan nilai r2 = 0.912

Nilai Fhitung = 61.95 > F 1,6,0.975=8.81  H0 ditolak
Kembali ke ANOVA tabel sebelumnya, kita akan uji
apakah pe(+)an IV X2 secara bermakna akan
memprediksi Y setelah ada IV X didalam model.
DPL kita bertanya apakah pe(+)an r2 sebesar 0.085
(0.997 - 0.912) berperan dalam memprediksi DV
kita gunakan:
F = (ekstra SS karena pe(+)an X2)/MS residual =
4.83/0.04 = 120.75 > F1,5,0.975 = 10.0 
disimpulkan pe(+)an IV X2 bermakna meningkatkan
prediksi Y.

Mungkinkan kita me(+)kan third order atau me(+) X3

dalam model.
Perhatikan ANOVA tabel berikut.
 Source df SS MS F
Regresi X 1 52.04 52.04
X2lX 1 4.83 4.83
X3lX, X2 1 0.14 .14 10.0
Residual 4 0.056 0.014
Total 7 57.066

Nilai F utk pe(+)an DV X3 = 10.0 < F1,4,0.975 = 12.2 

H0: b3 = 0 diterima  pe(+) third order (X3) tidak
memprediksi Y. Kita berkeseimpulan bahwa a) pe(+)an
second order sangat fit dgn nilai r2=0.997, b) pe(+)an
nilai r2 menjadi 0.999 pada third order hanya sebesar
0.002  kecil, c) kurva yang ada cukup diterangkan dgn
‘second order’
Perhatikan scatter diagram berikut