Analisis Regresi

Pokok Bahasan:

Regresi Kekar (robust

regression)
TUJUAN INSTRUKSIONAL KHUSUS :
Mahasiswa dapat menangani masalah pencilan pada regresi
linier berganda dengan menggunakan metode robust regression

Pendahuluan
Penduga Metode
Kuadrat Terkecil
Sensitif
Pencilan
Salah satu solusi
Regresi
Kekar

Metode MKT sangat

berbahaya digunakan bila
terdapat pencilan. karena
pencilan dapat
mengakibatkan
membesarnya galat, dan
penduga parameter
menjadi bias.

Definisi Pencilan
Pencilan adalah pengamatan yang nilai mutlak
sisaan-nya jauh lebih besar daripada sisaansisaan lainnya
Bisa jadi terletak pada tiga atau empat
simpangan baku atau lebih jauh lagi dari ratarata sisaannya.

Keberadaan pencilan harus diperiksa dengan

seksama, apakah pencilan itu merupakan
kesalahan dalam pencatatan amatan atau
pencilan tersebut muncul dari kombinasi
keadaan yang tidak biasa yang mungkin saja
sangat penting dan perlu diselidiki lebih jauh.

Pendeteksian Pencilan
1. Standardized Residual

ei
s 1 hii
dengan

Keterangan:
2 ei = yi i
s = Standar Deviasi Sisaan

hii

1
n

xi x 2
n

xk x 2
i 1

2. Leverages dengan

hii 2 p / n

3. DFFITS(i), dengan DFFITS(i) > 2

4. Cooks Distance
Menampilkan nilai jarak Cooks

Definisi Robust (Kekar)

Suatu prosedur statistik disebut kekar jika
prosedur tersebut berusaha menemukan
penduga-penduga yang secara kekar tidak
dipengaruhi oleh pencilan

KONSEP BREAKDOWN POINT

Konsep breakdown point diperkenalkan oleh Hodges (P. J. Rousseuw dan A. M.

Leroy;1984) yang mengidentifikasikan breakdownpoint sebagai presentase
terkecil dari banyak data yang terkontaminasi atau banyaknya pencilan,
sehingga persamaan regresi akan terpengaruh secara kuat.
Konsep breakdown point tidak dapat dipisahkan dari penduga robust, karena
dengan melihat breakdown point suatu regresi robust, kita dapat memilih
metode mana yang memungkinkan sehubungan dengan banyaknya pencilan
dalam data.
Suatu prosedur statistik disebut robust bilamana prosedur tersebut berusaha
menemukan penduga-penduga yang tidak secara kuat dipengaruhi oleh
pencilan
Beberapa penduga robust diperkenalkan antara lain Metode Nilai mutlak
terkecil dari Edgeworth(1987), M-estimator Huber (1973). Metode generalized
M-estimator yang menggunakan fungsi penimbang. Untuk regresi sederhana
tidak satupun dari metode di atas yang memiliki breakdown point lebih dari
30%. Sedangkan metode penduga median berulang (repeated median
estimator) dan metode median kuadrat terkecil (least median of square atau
LMS) mempunyai Breakdown point 50 %

Penduga-M

Metode penduga-M pada dasarnya adalah

menggantikan kuadrat sisaan ei2 dalam MKT
dengan suatu fungsi lain dari sisaan.

Perhatikan model linear

y b0 b1 xi1 b 2 xi 2 b3 xi 3 ..... bk xik i

Penduga M meminimumkan fungsi obyektif
n

(e ) ( y
i 1

i 1

x i ' b)

Lanjutan
Adapun sifat dari fungsi objektif

adalah:

(e) 0
(0) = 0
(e) = (-e)
(ei) (ei) untuk ei ei

Differensiansi fungsi objektif sehubungan dengan dugaan koefisien b, dan dengan

menentukan turunan parsial sama dengan nol, menghasilkan suatu sistem
persamaan dugaan koefiesien yaitu

min wi ( yi xit ) xit 0

i 1

Lanjutan
Penduga M

i 1

i 1

min (ei ) min ( yi xij j )

n

min ( yi xij j / ) xik

Dapat
ditulis

misalka
n

i 1

min (ei / e ) xik 0

i 1

Persamaan ini
hanya dapat
diselesaikan
dengan IRLS
(Iterative
Reweight Least
Square)

min w(ei / e ) xik 0

i 1

Algoritma IRLS
1

(0)

dengan MKT
Pemilihan penduga awal
2

Hitung sisaan e j Y XB ( j ) pada setiap dugaan

Ke-j kemudian hitung penimbang/bobot yang
akan digunakan untuk pendugaan selanjutnya
3

Gunakan bobot yang diperoleh pada tahap 2

untuk mendapakan
lakukan langkah di
( j 1)
atas hingga menghasilkan dugaan koefisien
yang konvergen

( j)

( j 1)

W ( j 1) diag wi( j 1)

X tW ( j 1)Y

Fungsi objektif dan

penimbang

Huber
2 / 2

Fungsi Objektif H ( )

2
c c / 2

untuk c
untuk c

( )
dengan fungsi pengaruh
untuk c
c

H ( )
untuk c
c
untuk c
Fungsi Penimbang

1
c/ | |

wH ( )

untuk c
untuk c

Fungsi objektif dan penimbang pada

Huber
w(
)
1

0.5

-3c

3c

Fungsi w() untuk Fungsi

Huber

Lanjutan

Bisquare/Tukey

1 (1
6
c
PBW ( )

c2

Fungsi Objektif

dengan

1 (1
( )
c

Fungsi Penimbang

w( )

untuk c
untuk c

untuk c
untuk c

1 (1

untuk c
untuk c

Fungsi objektif dan

penimbang Bisquare
()

-1

-0.5

0.5

w()

Fungsi () untuk Fungsi

Bisquare

-1

-0.5

0.5

Fungsi w() untuk Fungsi

Bisquare

Penerapan Teori
Gambar disamping
adalah tebaran data
dari populasi yang
persamaan garis
regresinya adalah

y 3 2x

Dengan tiga amatan

yang berpotensi
sebagai pencilan

Dugaan Model Regresi

Metode MKT
Model Dugaan MKT adalah

y=3.91+1.76x
sedangkan model populasi kita adalah

The regression equation is

Y = 3.91 + 1.76 X
Predictor Coef SE Coef
T
P
Constant 3.9089 0.7304 5.35 0.000
X
1.7566 0.2202 7.98 0.000
S = 2.20237

R-Sq = 57.0%

R-Sq(adj) = 56.1%

Analysis of Variance

y 3 2x
Bias yang dihasilkan dari model ini
adalah
Bias(0)=0.91
Bias(1)=0.24

Regression Analysis: Y versus X

R2 =57%
R2(adj)=56.1
%

Source
DF
SS
MS
F
P
Regression
1 308.56 308.56 63.61 0.000
Residual Error 48 232.82 4.85
Total
49 541.38
Unusual Observations
Obs
X
Y
Fit SE Fit Residual St Resid
1 1.00 16.000 5.666 0.539 10.334
4.84R
29 3.00 15.000 9.179 0.311
5.821
2.67R
34 4.00 5.000 10.935 0.381 -5.935
-2.74R

Plot Sisaan..
Plot : Residual vs Order of the
Data

Plot : Residual vs Fitted Value

Dugaan Model Regresi

(Lanjutan)
Metode Penduga-M
(Bisquare)
Model Penduga-M adalah
y=2.70+2.08x

Model populasi kita adalah

y 3 2x

Bias yang dihasilkan dari model

ini adalah
Bias(0)=0.3
Bias(1)=0.08

R2 =71.7%

Parameter Estimates
Model Information

Data Set
WORK.DATA
Dependent Variable
y
Number of Independent Variables
1
Number of Observations
50
Method
M
Estimation

Number of Observations Read

50
Number of Observations Used
50

Standard 95% Confidence

ChiParameter DF Estimate Error
Limits
Square Pr >
ChiSq
Intercept 1 2.6999 0.3457 2.0224 3.3774 61.01
<.0001
x
1 2.0789 0.1042 1.8746 2.2831 397.87
<.0001
Scale
1 0.9682

Observation
Type
Proportion
Outlier
0.0800

Cutof
3.0000

Goodness-of-Fit
Statistic
Value
R-Square
0.7170
AICR
67.2285
BICR
71.9790
Deviance
60.1347

Kesimpulan

Regresi kekar yaitu penduga-M

mampu meminimalisasi nilai bias
yang dihasilkan oleh koefisien
dugaan regresi serta
meningkatkan R-square jika dalam
data mengadung amatan pencilan

Contoh
PENERAPAN
TEORI
Diketahui data ramalan
tanaman padi sawah
populasi Sulawesi
Tenggara

2
NO

TAHU
N

LUAS TANAMAN
AKHIR
AGUSTUS
(HA)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

1975
1976
1977
1978
1979
1980
1981
1982
1983
1984
1985
1986
1987
1988
1989
1990
1991
1992
1993
1994
1995
1996
1997
1998

21354
25069
20912
20020
13552
4353
4727
1820
2552
2389
2171
2118
3514
5553
6551
9819
10141
10023
11587
15936
14053
13761
17548
17710

LUAS PANEN
SEPTEMBERDESEMBER (HA)
9492
17345
9620
1934
7147
3666
2452
3103
3612
3394
2975
2745
2571
5384
6981
10834
12787
12549
12691
18264
15541
15904
26408
20819

Penggunaan Metode IRWLS

Penerapan regresi robust dengan M-estimator pada data di atas
dengan r = 1 dan dilakukan 13 kali iterasi dengan minitab
menghasilkan nilai a, b, R2 dan adj-R2 seperti terlihat pada tabel
berikut
Iterasi

Model

R-Sq

R-Sq (adj)

y = 2545 + 0.657 x

4199

54.00%

y = 2353 + 0.684 x

3854

58.2%

56.3%

y = 2266 + 0.700 x

3716

60.3%

58.5%

y = 2220 + 0.709 x

3659

61.3%

59.6%

y = 2196 + 0.714 x

3634

61.9%

60.1%

y = 2184 + 0.717 x

3623

62.1%

60.4%

y = 2177 + 0.719 x

3618

62.3%

60.6%

y = 2174 + 0.720 x

3616

62.3%

60.6%

y = 2172 + 0.720 x

3615

62.4%

60.7%

10

y = 2171 + 0.720 x

3614

62.4%

60.7%

11

y = 2171 + 0.720 x

3614

62.4%

60.7%

12

y = 2170 + 0.721 x

3614

13

y = 2170 + 0.721 x

3614

62.4%
62.4%

51.90%

60.7%
60.7%