Materi Analisis Regresi (S1)

(Oleh : Wiwiek Setya Winahju)

Yth. Para Peserta kuliah Analisis Regresi (S1),

Anda telah mendapatkan materi Analisis Regresi pada kuliah PMS. Pada kali ini saya mengajak Anda
untuk mengingat kembali yang telah Anda dapatkan. Saya menghimbau Anda mengulang pengolahan
data berikut ini menggunakan program paket MINITAB. Apabila mendapatkan kesulitan tentunya Anda dapat berdiskusi dengan kakak kelas.
Selamat mencoba !.
Analisis regresi terdiri dari 3 kegiatan, yaitu : pembentukan model, evaluasi kebaikan model, dan perbaikan model. Agar dapat mengevaluasi dan memperbaiki model diperlukan pemahaman teori yang
memadai. Pada awal kuliah analisis regresi, akan dititikberatkan pada pembentukan model dan eveluasi
kebaikan model yang disertai interpretasi. Berikutnya akan dibahas teori untuk menunjang perbaikan
model.

I. Pembentukan Dan Evaluasi Model

Model regresi yang dibentuk adalah model linier dalam parameter. Evaluasi kebaikan model minimal
menggunakan kriteria : kemaknaan variabel bebas, R2, kemaknaan lack of fit, dan terpenuhinya asumsi
residual. Kegiatan ini akan dinyatakan dengan berbagai contoh atau kasus.

Contoh 1
Berikut ini adalah data variabel prediktor atau variabel bebas (X) dan variabel respon atau variabel tak
bebas (Y), dicantumkan pada kolom 1 dan kolom 2. Model yang terbentuk ini merupakan model baik
C1

C2

C3

C4

C5

C6

C7

C8

C9

C10

RESI1

SRES1

TRES1

HI1

COOK1

DFIT1

COEF1

FITS1

210

4215,42

6,10327

1,74965

1,85305

0,079438

0,132083

0,544346

10,1015

4209,32

20

409,99

-0,03516

-0,01043

-0,01016

0,139373

0,000009

-0,00409

19,9963

160

3214,39

4,88225

1,37667

1,4103

0,0485

0,048302

0,318403

3209,51

40

811,47

1,51464

0,44169

0,43262

0,110376

0,012103

0,152386

809,95

290

5812,65

3,62889

1,11479

1,12198

0,198338

0,153734

0,558074

5809,02

180

3606,48

-2,95498

-0,83692

-0,8304

0,056872

0,021118

-0,20392

3609,43

10

210,46

0,40067

0,11995

0,11695

0,155874

0,001328

0,050257

210,06

250

5005,65

-3,5244

-1,03823

-1,04037

0,128211

0,079264

-0,39897

5009,17

230

4603,67

-5,57541

-1,61752

-1,69105

0,101156

0,147222

-0,56729

4609,24

50

1014,73

4,81597

1,39465

1,43069

0,09788

0,105519

0,471258

1009,92

30

604,04

-5,95137

-1,74917

-1,85245

0,124208

0,21696

-0,69762

609,99

100

2005,19

-4,5402

-1,2849

-1,30749

0,055416

0,048428

-0,31669

2009,73

190

3812,61

3,21663

0,91403

0,91009

0,063059

0,028114

0,236105

3809,39

60

1210,27

0,39184

0,11278

0,10996

0,086718

0,000604

0,033882

1209,88

410,03

90

1812,15

2,38581

0,67729

0,66784

0,061239

0,014962

0,170573

1809,77

110

2209,48

-0,21453

-0,06057

-0,05904

0,050927

0,000098

-0,01368

2209,69

220

4403,89

-5,39112

-1,55412

-1,61545

0,08963

0,118897

-0,50689

4409,28

80

1611,04

1,23226

0,35116

0,34333

0,068398

0,004527

0,093028

1609,8

120

2408,2

-1,45205

-0,40928

-0,4006

0,047772

0,004202

-0,08973

2409,65

170

3408,38

-1,08658

-0,30696

-0,29989

0,052019

0,002585

-0,07025

3409,47

240

4811,66

2,44775

0,71527

0,70625

0,114016

0,032919

0,253354

4809,21

200

4009,06

-0,29416

-0,08393

-0,08181

0,070581

0,000267

-0,02255

4009,36

sesuai kriteria yang telah diuraikan di awal materi. Tahapan pengolahan data terdiri dari : plot, operasi
command regresi, dan evaluasi residual.
a. Plot Y terhadap X
Plot didapatkan melalui klik : Stat, Regression, dan Fited Line Plot. Muncul tampilan berikut :
Fitted Line Plot
Y = 10,10 + 20,00 X
6000

S
R-Sq
R-Sq(adj)

5000

3,63523
100,0%
100,0%

4000
3000
2000
1000
0
0

50

100

150
X

200

250

300

Gambar 1. Plot Y terhadap X

Pada plot tampak semua titik menempel pada garis regresi, ini menunjukkan model baik. Kebaikan
model juga ditunjukkan oleh koefisien determinasi, dinotasikan R-Sq dan R-Sq (adj), bernilai 100%.
b. Pengoperasian Command Regresi
Sebaiknya mengaktifkan Enable Command agar dapat ditelusuri bentuk command yang menyebabkan
keluarnya hasil. Dengan meng klik semua fasilitas menu Regression yang tersedia akan terbentuk rangkaian command berikut :
MTB > Name c4 "RESI1" c5 "SRES1" c6 "HI1" c7 "COOK1" c8 "DFIT1" c9 "COEF1" &
CONT>
c10 "FITS1" K7 "MSE1" m11 "XPXI1" m12 "RMAT1"
MTB > Regress 'Y' 1 'X';
SUBC>
Residuals 'RESI1';
SUBC>
SResiduals 'SRES1';
SUBC>
Hi 'HI1';
SUBC>
Cookd 'COOK1';
SUBC>
DFits 'DFIT1';
SUBC>
Coefficients 'COEF1';
SUBC>
Fits 'FITS1';
SUBC>
MSE 'MSE1';
SUBC>
XPXInverse 'XPXI1';
SUBC>
RMatrix 'RMAT1';
SUBC>
GFourpack;
SUBC> GVars 'Y' 'X';
SUBC>
RType 2;
SUBC>
Constant;
SUBC>
Brief 2.

Pengoperasian command menghasilkan keluaran : model regresi, nilai penaksir koefisien regresi, standart error penaksir koefisien regresi, nilai statistik uji T dan nilai P. Hasilnya tertulis sebagai berikut :
Regression Analysis: Y versus X
The regression equation is
Y = 10,1 + 20,0 X
Predictor
Constant
X

Coef
10,102
19,9963

S = 3,63568

SE Coef
1,515
0,0094

R-Sq = 100,0%

T
6,67
2129,14

P
0,000
0,000

R-Sq(adj) = 100,0%

Analysis of Variance
Source
Regression
Residual Error
Total

DF
1
20
21

SS
59921307
264
59921572

MS
59921307
13

F
4533252,07

P
0,000

Ini berarti, model regresi yang mewakili hasil pengamatan yang dicantumkan pada kolom 1 dan 2 ialah
= 10,1 + 20 X; R2 sebesar 100%; variabel bebas, yaitu X, bermakna, ditunjukkan oleh nilai P
Y
sebesar 0; garis regresi tidak melalui pusat koordinat atau titik (0,0) ditandai ole nilai P sebesar 0; lack
of fit ti-dak teridentifikasi karena tidak ada nilai X yang berulang. Semua kriteria menunjukkan model
baik.
c. Evaluasi Residual
Asumsi residual yang harus dipenuhi oleh model regresi ialah i ~ iidn (0,2). Arti iidn (0,2) ialah : i
yang pertama berarti independen; i kedua berarti identik; dan dn(0,2) berarti berdistribusi normal
dengan mean dan variansi masing-masing bernilai 0 dan 2. Pada contoh ini penaksir 2 adalah S2 =
(3,63568)2, atau nilai MS Residual Error sebesar 13. Kondisi residual digambarkan oleh
Residual Plots for Y, ditampilkan pada Gambar 2. Gambar ini terdiri dari empat plot.
Plot pertama terletak di kiri atas, berjudul Normal Probability Plot of the Residuals, untuk mendeteksi
kenormalan residual. Nilai titik-titik residual yang menempel atau sangat dekat dengan garis biru menunjukkan residual tersebut berdistribusi normal, berarti telah memenuhi asumsi dn(0,2).
Plot kedua pada bagian kiri bawah, merupakan histogram residual. Plot ini berjudul Histogram of Residuals. Secara visual histogram ini kurang menunjukkan residual berdistribusi normal, tetapi kondisi ini
masih dapat dikatakan memenuhi distribusi normal; yang diperkuat pula oleh Gambar 2. Pada gambar
ini ditunjukkan P-value bernilai > 0,150 yang lebih besar dari 0,05.
Plot ketiga, berjudul Residuals Versus the Fitted Values, terletak di kanan atas. Titik-titik residual tak
ada yang bernilai di atas 2 atau di bawah -2, serta tampak random. Ini menunjukkan bertambah besar ) tidak diikuti oleh makin kecil atau
nya nilai Fitted yang merupakan prediksi nilai Y (dinotasikan Y
makin besarnya nilai residual. Kondisi ini merupakan gambaran residual bersifat identik.

Plot keempat untuk membuktikan kondisi residual independen. Plot ini berjudul Residuals Versus the
Order of the Data dan terletak di kanan bawah. Titik-titik residual tampak random, tidak membentuk
pola apapun; ini berarti urutan pelaksanaan eksperimen atau urutan data tidak ada hubungannya dengan
Residual Plots for Y
Normal Probability Plot of the Residuals

Percent

90
50
10
1

Residuals Versus the Fitted Values

Standardized Residual

99

-2

-1
0
1
Standardized Residual

3,6
2,4
1,2
-1,0 -0,5 0,0
0,5
1,0
Standardized Residual

0
-1
-2
0

1,5

1500

3000
Fitted Value

4500

6000

Residuals Versus the Order of the Data

Standardized Residual

Frequency

4,8

-1,5

Histogram of the Residuals

0,0

2
1
0
-1
-2

8 10 12 14 16
Observation Order

18 20

22

Gambar 2. Plot Residual Variabel Y

nilai residual. Ini berarti residual independen.

Keempat plot yang telah diuraikan merupakan persyaratan minimal kebaikan model regresi. Plot lain
yang menambah kebaikan model adalah plot yang menggambarkan hubungan yang saling bebas antara

Pengujian Kenormalan Residual

Normal
99

Mean
StDev
N
KS
P-Value

95
90

-0,4149
3,562
22
0,093
>0,150

Percent

80
70
60
50
40
30
20
10
5

-10

-5

0
C1

10

Gambar 3. Plot untuk Pengujian Kenormalan Residual

residual dengan variabel Y dan dengan variabel X. Kedua plot ditampilkan pada Gambar 4. Tampak
bahwa titik-titik residual menyebar secara random. Ini menunjukkan model baik.
Residuals Versus X

Residuals Versus Y

(response is Y)

(response is Y)
2

Standardized Residual

Standardized Residual

-1

-1

-2

-2
0

50

100

150
X

200

250

300

1000

2000

3000
Y

4000

5000

6000

(b)

(a)
Gambar 4. Plot Residual Terhadap X (a) dan terhadap Y (b)

Masih ada beberapa indikator yang menunjukkan kebaikan model, yang makin lama makin diperhatikan, yaitu diantaranya pencilan (outlyer).

Latihan 1
Jelaskan elemen-elemen yang terdapat pada Storage dengan membuka Help yang terletak pada sisi kiri bawah window Regression Storage. Hasilnya dicantumkan pada kolom C3 sampai dengan kolom
C10. Hasil yang tidak terdapat pada kolom C3-C10 dapat dilihat dengan cara meng-klik : Data
dan Display Data. Penjelasan meliputi : nama, rumus, kegunaan, dan cara menggunakan.
5

Latihan 2
Pada buku Applied Regression Analysis oleh Draper & Smith, terdapat beberapa soal yang dapat digunakan sebagai latihan pengolahan data dengan MINITAB, dan waktu pengerjaannya tidak terlalu lama.
Apabila seorang mahasiswa mencoba minimal 2 soal dengan mengolah sendiri dan soal-soal yang lain
berlatih bersama, maka sudah menjadikan mahasiswa tersebut cukup mendapatkan bekal awal untuk
mendalami materi regresi lebih lanjut. Soal-soal itu adalah : A, C, F, G, H, I, J, K, L, N, O, R, V, W, X
dan Y.

Latihan 3
Kuliah pertama Analisis Regresi dilakukan di Lab. Setiap mahasiswa akan diberi dua soal secara random dari soal-soal: A, C, F, G, H, I, J, K, L, N, O, R, V, W, dan X, untuk dikerjakan menggunakan
program paket MINITAB.