Materi Analisis Regresi (S1)

(Oleh : Wiwiek Setya Winahju)

Yth. Para Peserta kuliah Analisis Regresi (S1),

Anda telah mendapatkan materi Analisis Regresi pada kuliah PMS. Pada kali ini saya mengajak Anda
untuk mengingat kembali yang telah Anda dapatkan. Saya menghimbau Anda mengulang pengolahan
data berikut ini menggunakan program paket MINITAB. Apabila mendapatkan kesulitan tentunya An-
da dapat berdiskusi dengan kakak kelas.
Selamat mencoba !.
Analisis regresi terdiri dari 3 kegiatan, yaitu : pembentukan model, evaluasi kebaikan model, dan per-
baikan model. Agar dapat mengevaluasi dan memperbaiki model diperlukan pemahaman teori yang
memadai. Pada awal kuliah analisis regresi, akan dititikberatkan pada pembentukan model dan eveluasi
kebaikan model yang disertai interpretasi. Berikutnya akan dibahas teori untuk menunjang perbaikan
model.

I. Pembentukan Dan Evaluasi Model

Model regresi yang dibentuk adalah model linier dalam parameter. Evaluasi kebaikan model minimal
menggunakan kriteria : kemaknaan variabel bebas, R2, kemaknaan lack of fit, dan terpenuhinya asumsi
residual. Kegiatan ini akan dinyatakan dengan berbagai contoh atau kasus.

Contoh 1
Berikut ini adalah data variabel prediktor atau variabel bebas (X) dan variabel respon atau variabel tak
bebas (Y), dicantumkan pada kolom 1 dan kolom 2. Model yang terbentuk ini merupakan model baik
C1 C2 C3 C4 C5 C6 C7 C8 C9 C10
X Y RESI1 SRES1 TRES1 HI1 COOK1 DFIT1 COEF1 FITS1
210 4215,42 6,10327 1,74965 1,85305 0,079438 0,132083 0,544346 10,1015 4209,32
20 409,99 -0,03516 -0,01043 -0,01016 0,139373 0,000009 -0,00409 19,9963 410,03
160 3214,39 4,88225 1,37667 1,4103 0,0485 0,048302 0,318403   3209,51
40 811,47 1,51464 0,44169 0,43262 0,110376 0,012103 0,152386   809,95
290 5812,65 3,62889 1,11479 1,12198 0,198338 0,153734 0,558074   5809,02
180 3606,48 -2,95498 -0,83692 -0,8304 0,056872 0,021118 -0,20392   3609,43
10 210,46 0,40067 0,11995 0,11695 0,155874 0,001328 0,050257   210,06
250 5005,65 -3,5244 -1,03823 -1,04037 0,128211 0,079264 -0,39897   5009,17
230 4603,67 -5,57541 -1,61752 -1,69105 0,101156 0,147222 -0,56729   4609,24
50 1014,73 4,81597 1,39465 1,43069 0,09788 0,105519 0,471258   1009,92
30 604,04 -5,95137 -1,74917 -1,85245 0,124208 0,21696 -0,69762   609,99
100 2005,19 -4,5402 -1,2849 -1,30749 0,055416 0,048428 -0,31669   2009,73
190 3812,61 3,21663 0,91403 0,91009 0,063059 0,028114 0,236105   3809,39
60 1210,27 0,39184 0,11278 0,10996 0,086718 0,000604 0,033882   1209,88
90 1812,15 2,38581 0,67729 0,66784 0,061239 0,014962 0,170573   1809,77
110 2209,48 -0,21453 -0,06057 -0,05904 0,050927 0,000098 -0,01368   2209,69
220 4403,89 -5,39112 -1,55412 -1,61545 0,08963 0,118897 -0,50689   4409,28
80 1611,04 1,23226 0,35116 0,34333 0,068398 0,004527 0,093028   1609,8
120 2408,2 -1,45205 -0,40928 -0,4006 0,047772 0,004202 -0,08973   2409,65
170 3408,38 -1,08658 -0,30696 -0,29989 0,052019 0,002585 -0,07025   3409,47
240 4811,66 2,44775 0,71527 0,70625 0,114016 0,032919 0,253354   4809,21
200 4009,06 -0,29416 -0,08393 -0,08181 0,070581 0,000267 -0,02255   4009,36

1
sesuai kriteria yang telah diuraikan di awal materi. Tahapan pengolahan data terdiri dari : plot, operasi
command regresi, dan evaluasi residual.

a. Plot Y terhadap X
Plot didapatkan melalui klik : Stat, Regression, dan Fited Line Plot. Muncul tampilan berikut :

Fitted Line Plot

Y = 10,10 + 20,00 X
6000 S 3,63523
R-Sq 100,0%
R-Sq(adj) 100,0%
5000

4000

3000
Y

2000

1000

0
0 50 100 150 200 250 300
X

Gambar 1. Plot Y terhadap X

Pada plot tampak semua titik menempel pada garis regresi, ini menunjukkan model baik. Kebaikan
model juga ditunjukkan oleh koefisien determinasi, dinotasikan R-Sq dan R-Sq (adj), bernilai 100%.

b. Pengoperasian Command Regresi

Sebaiknya mengaktifkan Enable Command agar dapat ditelusuri bentuk command yang menyebabkan
keluarnya hasil. Dengan meng klik semua fasilitas menu Regression yang tersedia akan terbentuk rang-
kaian command berikut :
MTB > Name c4 "RESI1" c5 "SRES1" c6 "HI1" c7 "COOK1" c8 "DFIT1" c9 "COEF1" &
CONT> c10 "FITS1" K7 "MSE1" m11 "XPXI1" m12 "RMAT1"
MTB > Regress 'Y' 1 'X';
SUBC> Residuals 'RESI1';
SUBC> SResiduals 'SRES1';
SUBC> Hi 'HI1';
SUBC> Cookd 'COOK1';
SUBC> DFits 'DFIT1';
SUBC> Coefficients 'COEF1';
SUBC> Fits 'FITS1';
SUBC> MSE 'MSE1';
SUBC> XPXInverse 'XPXI1';
SUBC> RMatrix 'RMAT1';
SUBC> GFourpack;
SUBC> GVars 'Y' 'X';
SUBC> RType 2;
SUBC> Constant;

2
SUBC> Brief 2.
Pengoperasian command menghasilkan keluaran : model regresi, nilai penaksir koefisien regresi, stan-
dart error penaksir koefisien regresi, nilai statistik uji T dan nilai P. Hasilnya tertulis sebagai berikut :

Regression Analysis: Y versus X

The regression equation is

Y = 10,1 + 20,0 X

Predictor Coef SE Coef T P

Constant 10,102 1,515 6,67 0,000
X 19,9963 0,0094 2129,14 0,000

S = 3,63568 R-Sq = 100,0% R-Sq(adj) = 100,0%

Analysis of Variance

Source DF SS MS F P
Regression 1 59921307 59921307 4533252,07 0,000
Residual Error 20 264 13
Total 21 59921572

Ini berarti, model regresi yang mewakili hasil pengamatan yang dicantumkan pada kolom 1 dan 2 ialah
2
Ŷ = 10,1 + 20 X; R sebesar 100%; variabel bebas, yaitu X, bermakna, ditunjukkan oleh nilai P
sebesar 0; garis regresi tidak melalui pusat koordinat atau titik (0,0) ditandai ole nilai P sebesar 0; lack
of fit ti-dak teridentifikasi karena tidak ada nilai X yang berulang. Semua kriteria menunjukkan model
baik.

c. Evaluasi Residual
Asumsi residual yang harus dipenuhi oleh model regresi ialah i ~ iidn (0,2). Arti iidn (0,2) ialah : i
yang pertama berarti independen; i kedua berarti identik; dan dn(0,2) berarti berdistribusi normal
dengan mean dan variansi masing-masing bernilai 0 dan 2. Pada contoh ini penaksir 2 adalah S2 =
(3,63568)2, atau nilai MS Residual Error sebesar 13. Kondisi residual digambarkan oleh
Residual Plots for Y, ditampilkan pada Gambar 2. Gambar ini terdiri dari empat plot.

Plot pertama terletak di kiri atas, berjudul Normal Probability Plot of the Residuals, untuk mendeteksi
kenormalan residual. Nilai titik-titik residual yang menempel atau sangat dekat dengan garis biru me-
nunjukkan residual tersebut berdistribusi normal, berarti telah memenuhi asumsi dn(0,2).

Plot kedua pada bagian kiri bawah, merupakan histogram residual. Plot ini berjudul Histogram of Resi-
duals. Secara visual histogram ini kurang menunjukkan residual berdistribusi normal, tetapi kondisi ini
masih dapat dikatakan memenuhi distribusi normal; yang diperkuat pula oleh Gambar 2. Pada gambar
ini ditunjukkan P-value bernilai > 0,150 yang lebih besar dari 0,05.

Plot ketiga, berjudul Residuals Versus the Fitted Values, terletak di kanan atas. Titik-titik residual tak
ada yang bernilai di atas 2 atau di bawah -2, serta tampak random. Ini menunjukkan bertambah besar-
nya nilai Fitted yang merupakan prediksi nilai Y (dinotasikan Ŷ ) tidak diikuti oleh makin kecil atau
makin besarnya nilai residual. Kondisi ini merupakan gambaran residual bersifat identik.

3
Plot keempat untuk membuktikan kondisi residual independen. Plot ini berjudul Residuals Versus the
Order of the Data dan terletak di kanan bawah. Titik-titik residual tampak random, tidak membentuk
pola apapun; ini berarti urutan pelaksanaan eksperimen atau urutan data tidak ada hubungannya dengan

Residual Plots for Y

Normal Probability Plot of the Residuals Residuals Versus the Fitted Values
99 2

Standardized Residual
90 1
Percent

50 0

10 -1

1 -2
-2 -1 0 1 2 0 1500 3000 4500 6000
Standardized Residual Fitted Value

Histogram of the Residuals Residuals Versus the Order of the Data

2

Standardized Residual
4,8
1
3,6
Frequency

0
2,4

1,2 -1

0,0 -2
-1,5 -1,0 -0,5 0,0 0,5 1,0 1,5 2 4 6 8 10 12 14 16 18 20 22
Standardized Residual Observation Order

Gambar 2. Plot Residual Variabel Y

nilai residual. Ini berarti residual independen.

Keempat plot yang telah diuraikan merupakan persyaratan minimal kebaikan model regresi. Plot lain
yang menambah kebaikan model adalah plot yang menggambarkan hubungan yang saling bebas antara

4
 Pengujian Kenormalan Residual
Normal
99
Mean -0,4149
StDev 3,562
95 N 22
KS 0,093
90
P-Value >0,150
80
70
Percent

60
50
40
30
20

10

1
-10 -5 0 5 10
C1

Gambar 3. Plot untuk Pengujian Kenormalan Residual

residual dengan variabel Y dan dengan variabel X. Kedua plot ditampilkan pada Gambar 4. Tampak
bahwa titik-titik residual menyebar secara random. Ini menunjukkan model baik.

Residuals Versus X Residuals Versus Y

(response is Y) (response is Y)
2 2

1 1
Standardized Residual
Standardized Residual

0 0

-1 -1

-2 -2
0 50 100 150 200 250 300 0 1000 2000 3000 4000 5000 6000
X Y

(a) (b)
Gambar 4. Plot Residual Terhadap X (a) dan terhadap Y (b)

Masih ada beberapa indikator yang menunjukkan kebaikan model, yang makin lama makin diperhati-
kan, yaitu diantaranya pencilan (outlyer).

Latihan 1
Jelaskan elemen-elemen yang terdapat pada Storage dengan membuka Help yang terletak pada sisi ki-
ri bawah window Regression – Storage. Hasilnya dicantumkan pada kolom C3 sampai dengan kolom
C10. Hasil yang tidak terdapat pada kolom C3-C10 dapat dilihat dengan cara meng-klik : Data
dan Display Data. Penjelasan meliputi : nama, rumus, kegunaan, dan cara menggunakan.

5
Latihan 2
Pada buku Applied Regression Analysis oleh Draper & Smith, terdapat beberapa soal yang dapat digu-
nakan sebagai latihan pengolahan data dengan MINITAB, dan waktu pengerjaannya tidak terlalu lama.
Apabila seorang mahasiswa mencoba minimal 2 soal dengan mengolah sendiri dan soal-soal yang lain
berlatih bersama, maka sudah menjadikan mahasiswa tersebut cukup mendapatkan bekal awal untuk
mendalami materi regresi lebih lanjut. Soal-soal itu adalah : A, C, F, G, H, I, J, K, L, N, O, R, V, W, X
dan Y.

Latihan 3
Kuliah pertama Analisis Regresi dilakukan di Lab. Setiap mahasiswa akan diberi dua soal secara ran-
dom dari soal-soal: A, C, F, G, H, I, J, K, L, N, O, R, V, W, dan X, untuk dikerjakan menggunakan
program paket MINITAB.