5

Regresi Robust dengan M-Estimation

Regresi robust diperkenalkan Andrews (1972) dalam Ryan
(1997). Metode ini merupakan alat penting untuk menganalisis
data yang dipengaruhi oleh outlier untuk menghasilkan model
yang robust atau resistant terhadap outlier. Suatu estimasi yang
resistant adalah relatif tidak terpengaruh oleh perubahan besar
pada bagian kecil data atau perubahan kecil pada bagian besar
data. Prosedur robust ditujukan untuk mengakomodasi adanya
keanehan data, sekaligus meniadakan identifikasi adanya data
outlier dan juga bersifat otomatis dalam menanggulangi data
outlier (Aunuddin, 1989). Chen (2002) menyebutkan beberapa
prosedur estimasi parameter dalam regresi robust, dua diantaranya
adalah M-Estimation yang diperkenalkan Huber (1973) dan Least
Trimmed Squares (LTS) yang diperkenalkan oleh Rousseeuw
(1984).
M-Estimation merupakan metode regresi robust yang sering
digunakan. M-Estimation dipandang baik untuk mengestimasi
parameter yang disebabkan oleh x-outlier dan memiliki
breakdown point 1/n. M-Estimation meminimumkan fungsi
objektif :
n

(e ) (e / )
i 1

*
i

i 1

(( y
i 1

(2.8)
Nilai diperoleh melalui iterasi (Chen, 2002) :
(l ) med in1 yi x i b (l 1) / 0

x i b) / )

(2.9)

dengan l (l = 1, 2,) adalah iterasi, 0 = (0,75) dan

1 adalah invers fungsi komulatif normal standart.
1

6
(ei* ) adalah fungsi simetris dari residual atau fungsi yang
memberikan kontribusi pada masing-masing residual pada fungsi
objektif.
' dengan
derivatif
dari , maka untuk
meminimumkan persamaan (2.8) :
n

(( y
i 1

x i b) / )x i 0

(2.10)
(.) merupakan fungsi influence yang digunakan dalam mem (ei* )
peroleh bobot (weight). Dengan fungsi pembobot wi
ei*
maka persamaan (2.10) menjadi:
n

w (( y
i 1

x i b) / )x i 0

(2.11)
Persamaan (2.11) dinotasikan ke dalam matrik :
X T WXb X T Wy

(2.12)

Persamaan (2.12) disebut weighted least squares yang meminin

mumkan

w (y
i 1

y i ) 2 . Weighted least squares dapat diguna-

kan untuk mendapatkan M-estimation, sehingga estimasi parameter menjadi :

b ( X T WX) 1 X T Wy
(2.13)
Pembobot dalam M-estimation bergantung pada residual dan
koefisien. Fox (2002) menyatakan untuk menyelesaikan masalah
tersebut perlu dilakukan prosedur iterasi yang disebut iteratively
reweighted least squares (IRLS) seperti pada Gambar 3.4.
Tiga bentuk M-Estimation diantaranya estimasi least square,
Huber dan Tukey bisquare (biweight). Bentuk fungsi objektif,
fungsi influence dan fungsi pembobot untuk ketiga jenis M-

Rokhana DB
dataanalisa@yahoo.com

7
Estimation dapat dilihat di Tabel 2.1. M-estimation Least Square
*
dengan wLS (e ) 1 merupakan metode OLS. M-estimation
Huber melalui fungsi (.) melibatkan pengkuadratan residual
yang kecil seperti pada OLS tetapi memberkan residual yang
besar sedemikian rupa untuk mengurangi pengaruhnya (Myers,
1990).
Nilai r pada fungsi objektif, influence dan pembobot (Tabel
2.1) adalah tunning constant. Kuzmic et.al (2004) menyebutkan
M-estimation Huber efektif digunakan pada = 5% dengan
r=1,345, sedangkan M-estimation Tukey Bisquare dengan
r=4,685. Kelly (2008) menyatakan permasalahan dalam estimasi
regresi robust adalah perlu dilakukan pemilihan tunning constant
agar estimasi yang diperoleh lebih spesifik dan memimimumkan
jumlah kuadrat residual. Menurunkan tunning constant akan
menaikan pembobot terhadap residual yang besar. Menaikkan
tunning constant akan menurunkan pembobot terhadap residual
yang besar. Semakin besar r maka estimasi robust akan mendekati
least square. Grafik perbandingan fungsi objektif, fungsi
influence dan fungsi pembobot pada M-estimation dapat dilihat
pada Gambar 2.1. Grafik tersebut menggunakan r = 1,345 untuk
M-estimation Huber dan r = 4,685 untuk M-estimation Tukey
Bisquare dengan = 1.

11
Tabel 2.1 Fungsi objektif, fungsi influence, dan fungsi pembobot pada M-estimation
Metode

Least Square

Huber

Tukey Bisquare

(ei* ) 2 / 2 , untuk | ei* | r

Fungsi
objektif

LS (e ) (e )
*

* 2
i

H (e )
*

r | e | r / 2 , untuk | e | r
*
i

ei*

Fungsi
Pembobot

LS (e * ) ei*

wLS (e * ) 1

*
i

untuk

ei* r

H e * r untuk e * r
i

*
r untuk ei r

1 untuk

wH e *

Sumber : Fox (2002), Mongomery (1992)

k2
6

B (e )
*

Fungsi
influence

*
r / ei

untuk

ei* r
ei* r

1 1

ei*
r

0 untuk

*
ei 1

ei*
r

0 untuk

ei* r

ei*
r

ei* r

untuk

untuk

wB e *

r / 6 untuk

B e*

ei* r

untuk

ei* r

ei* r

ei* r

12

11

Rokhana DB
dataanalisa@yahoo.com

12

Sumber : Fox (2002)

Gambar 2.1 Fungsi objektif, fungsi influence, dan fungsi pembobot
pada M-estimation.

Algoritma yang digunakan adalah IRLS (Gambar 3.4),

tahapanya :
1) Menaksir parameter dengan menggunakan persamaan
2.5 dan didapatkan residual ei,0.
2) Menentukan ( o ) dan fungsi pembobot wi , 0
3) Mencari estimasi pada iterasi l ( l = 1, 2, ) dengan
weighted least square.

Rokhana DB
dataanalisa@yahoo.com

13
bl ( X T Wl 1 X ) 1 X T Wl 1 y
dengan wl 1 merupakan matrik diagonal dengan
elemen diagonalnya adalah wi ,l 1 . Sehingga
estimasi parameter pada iterasi pertama ( l = 1 )
menggunakan ei,0 dan wi , 0 .
4) Mengulang tahap 2 dan 3 hingga didapatkan
penaksiran parameter yang konvergen.
Fungsi pembobot untuk M-Huber adalah

1 untuk

*
i

1.345 / e
*

wH e

ei* 1,345

untuk

ei* 1,345

dan Tukey Bisquare adalah

wB e*

ei*
4 , 685

untuk

0 untuk

Rokhana DB
dataanalisa@yahoo.com

ei* 4,685

ei* 4,685

14
Berikut adalah diagram alur pembentukan model M - estimation :
Mulai

Estimasi parameter b dengan OLS

Menghitung fungsi pembobot melalui (ei,l-1 )

Mencari estimasi baru dengan weighted least

square.

Paramater
(bl-1 )
konvergen
?

Tidak konvergen

rev
isi

ya

Tidak terpenuhi

Pengujian
signifikansi
parameter

ya
Model M-estimation
(Huber dan Tukey Bisquare)
Bisquare)

selesai

Gambar 3.4 Diagram Alur Permodelan dengan M-Estimation

Rokhana DB
dataanalisa@yahoo.com

15
Pengujian Parameter Model
Pengujian parameter dalam model regresi bertujuan untuk
mengetahui apakah parameter tersebut telah menunjukkan
hubungan yang nyata antara variabel prediktor dan variabel
respon. Disamping itu juga untuk mengetahui kelayakan
parameter dalam menerangkan model. Terdapat dua tahap
pengujian yaitu uji serentak dan uji parsial (individu).
a. Uji Serentak
Uji serentak merupakan pengujian secara bersama semua
parameter dalam model regresi. Hipotesis yang digunakan adalah
sebagai berikut :
H0 : 0 = 1 = ... = j = 0
H1 : paling tidak ada satu j 0, j = 0, 1, ... k
Statistik uji yang digunakan untuk OLS adalah

Fhitung =

y ) 2 /( k )
i 1

( yi y i ) 2 /( n k 1)

i 1

( y

MSR
=
MSE

(3.2)

Sedangkan untuk Weighted least squares (WLS)

MSRweighted
Fhitung(weighted) =
MSE weighted

y ) 2 /( k )
i 1

wi ( yi y i ) 2 /(n k 1)

i 1

w ( y

Ket : MSR : Mean Square Regression

MSE : Mean Square Error

Rokhana DB
dataanalisa@yahoo.com

(3.3)

16
Pengambilan keputusan adalah apabila Fhitung F (k, n-k-1)
dengan k adalah parameter maka H 0 ditolak pada tingkat
signifikansi , artinya paling sedikit ada satu j yang tidak sama
dengan nol. Pengambilan keputusan juga dapat melalui P-value
dimana H0 ditolak jika P-value < .
b. Uji Parsial
Uji parsial merupakan pengujian secara individu parameter
dalam model regresi yang bertujuan untuk mengetahui parameter
model regresi telah signifikan atau tidak. Hipotesis yang
digunakan adalah sebagai berikut :
H0 : j = 0
H1 : j 0, j = 0, 1, 2, ..., k
Statistik uji yang digunakan untuk metode OLS adalah
bj
t hitung
S (b j )
(3.4)
dengan
S 2 (b j ) ( X T X ) 1 MSE
(3.5)
Sedangkan untuk metode Weighted least squares (WLS)

t hitung ( weighted )

b j ( weighted )
S (b j ( weighted ) )

(3.6)
2

dengan S (b j ( weighted ) ) merupakan diagonal matrik kovarian.

Pengambilan keputusannya yaitu apabila |t hitung| t(1-/2, n-k-1)
dengan k adalah parameter maka H 0 ditolak pada tingkat
signifikansi , artinya ada pengaruh xi terhadap model.
Pengambilan keputusan juga dapat melalui P-value, dimana H0
ditolak jika P-value < .

Rokhana DB
dataanalisa@yahoo.com