Pertemuan4 Ada Robust

See discussions, stats, and author profiles for this publication at: https://www.researchgate.
net/publication/336312050
Regresi Robust (Kekar) dengan R
Presentation · December 2016

DOI: 10.13140/RG.2.2.25319.60325
CITATIONS READS
0 66
1 author:
Ezra Putranda Setiawan

Universitas Negeri Yogyakarta
14 PUBLICATIONS 2 CITATIONS
SE E PROFILE
Some of the authors of this publication are also working on these related projects:
Obligasi Bencana Alam View project
Statistika Robust View project
All content following this page was uploaded by Ezra Putranda Setiawan on 07 October 2019.
The user has requested enhancement of the downloaded file.

STATISTIKA KEKAR
Ezra Putranda Setiawan
Mahasiswa PMDSU Matematika Angkatan Kedua

Universitas Gadjah Mada
e2r4.ps@gmail.com
Ezra Putranda Setiawan Statistika Kekar / Robust Statistics 1 / 76

Pendahuluan
Pendahuluan
Analisis Regresi merupakan teknik analisis statistika yang digunakan

untuk menentukan bentuk hubungan antara satu atau lebih variabel
independen (variabel prediktor, variabel bebas) yang seringkali
dilambangkan dengan x, dengan variabel dependen (variabel terikat,
variabel respon) yang biasanya dilambangkan dengan y.
y = f (x1, x2, . . . , xp ) + s
Kecuali didefinisikan lain, variabel dependen pada analisis regresi

umumnya berskala interval atau rasio.
Bentuk paling terkenal dari analisis regresi adalah regresi linear, yakni
bila parameter-parameter dalam model regresinya berhubungan
linear, dengan kata lain x1, x2, . . . , xp bersifat linear dalam
parameter.
Regresi linear dengan satu variabel prediktor dinamakan regresi linear
sederhana.
Penduga Kuadrat Terkecil
Teori
Regresi Linear Sederhana
Perhatikan model regresi linear sederhana berikut:
y = β0 + β1x + s
Apabila dimiliki data (xi , yi ) untuk sejumlah sampel i = 1, 2, ..., n,

parameter model regresi, yakni β0 dan β1, dapat ditentukan dengan
metode kuadrat terkecil (least square method ).
Definition
Penduga kuadrat terkecil pada model regresi linear sederhana di atas
merupakan nilai β0 dan β1 yang meminimumkan jumlah kuadrat dari error
atau galat, yakni:
Σn
min [yi − (β0 + β1xi )]2
i
=1
Teori
Regresi Linear Sederhana
Jumlah kuadrat pada bentuk di atas diminimumkan dengan

menghitung . n Σ
∂ Σ 2
[yi − (β0 + β1xi )]
∂βj i
=1
=0
untuk j = 1, 2.
Dari bentuk tersebut akan diperoleh
penyelesaian Σ n Σ Σ ni
ˆ i xi yi − ( i xi ) =1 yi )
β1= n
Σ
=1 ( n
Σ
=1 n i
i =1xi − (
2 2
=1 xi )
dan
n n
1Σ 1Σ
βˆ0= yi − βˆ ˆ
xi = y¯ − β
n 1
i ni x¯
1
=1 =1

Teori
Regresi Linear Ganda
Lebih umum, perhatikan model regresi linear ganda
y = β0 + β1x1 + β2x2 + . . . + βpxp + s
Untuk memudahkan pendugaan parameter β0, β1, . . . , βp , model

dapat dibuat dalam bentuk matriks, yakni:
Y = Xβ + s
dengan Y vektor n × 1 memuat data variabel dependen, β vektor

(p + 1) × 1 menyatakan koefisien-koefisien model regresi, X matriks
n × (p + 1) menyatakan data variabel independen, dan s vektor n ×
1 menyatakan galat model.

Teori
Regresi Linear Ganda
Dengan notasi matriks di atas, penduga kuadrat terkecil untuk model

regresi linear ganda adalah
. Σ−1 . Σ
b = XT X XT Y
Beberapa sifat penting:

Vektor b merupakan dugaan bagi vektor β, yang meminimumkan
jumlah galat sT s, tidak bergantung pada sifat-sifat sebaran galat
tersebut.
Vektor b merupakan penduga takbias dengan ragam terkecil bagi
vektor β.
. galat-galat tersebut saling bebas dan si berdistribusi normal
Bila
N Σ0, σ2 , maka vektor b juga merupakan penduga kemungkinan
maksimum bagi β.

Penduga Kuadrat Terkecil Contoh Kasus
Misal diamati hubungan antara rata-rata konsentrasi nitrogen per liter (Y)
dan persentase luas kawasan industri (X) di sekitar 20 buah sungai di New
York. Data diambil dari Chatterjee dan Hadi (2006).
Y 1.10 1.01 1.90 1.00 1.99 1.42 2.04 1.65 1.01 1.21
X 0.29 0.09 0.58 1.98 3.11 0.56 1.11 0.24 0.15 0.23
Y 1.33 0.75 0.73 0.80 0.76 0.87 0.80 0.87 0.66 1.25
X 0.18 0.16 0.12 0.35 0.35 0.15 0.22 0.18 0.13 0.13
Model regresi yang diamati adalah
Y = β0 + β1X + s



Dari contoh di atas, terlihat bahwa hasil pendugaan garis regresi

linear dengan metode tidak mengikuti pola sebagian besar data yang
mengumpul di sebelah kiri.
Keberadaan pencilan (outlier ), walaupun hanya satu observasi, dapat
memberikan pengaruh yang besar terhadap hasil pendugaan koefisien
model regresi.
Pencilan juga dapat berpengaruh terhadap besarnya galat model dan
koefisien determinasi, dengan kata lain diperoleh model yang salah
sebagai akibat keberadaan pencilan.


Kurva Pengaruh Regresi (Regression Influence Plot) diperkenalkan

oleh Fox (2008), merupakan suatu diagram gelembung (bubble plot).
) Diameter gelembung proporsional terhadap jarak Cook, yakni selisih
koefisien regresi yang diperoleh dari data lengkap dan yang diperoleh
setelah membuang salah satu observasi.
) Sumbu horizontal merepresentasikan nilai Hat, yang diperoleh dari
. −1 T
matriks H = X ΣX T X X dengan menjumlah kuadrat
setiap baris/kolomnya. Nilai hat merepresentasikan leverage.
elemen
) Sumbu vertikal merepresentasikan nilai studentized residual. Nilai
studentized residual yang sangat besar atau sangat kecil menunjukkan
adanya pencilan.
Model yang diperoleh setelah membuang observasi Hackensack dan
Neversink adalah sebagai berikut.



Regresi Kekar Pendahuluan
Regresi Kekar
Mengacu pada Hampel et al. (1986), sifat kekekaran (robustness) pada

model regresi berkaitan erat dengan dua aspek atau topik, yakni:
Pendugaan Kekar. Menurut pendekatan ini, regresi kekar atau
robust regression berkaitan erat dengan teknik pendugaan parameter
pada model regresi yang bersifat kekar atau tidak mudah dipengaruhi
oleh keberadaan pencilan. Hasil pendugaan pada model regresi kekar
diharapkan sesuai dengan mayoritas atau sebagian besar data.
Penentuan penduga kekar telah dibicarakan sejak penelitian Huber
(1973).
Uji Hipotesis Kekar. Pendekatan ini dipelopori oleh Ronchetti (1982)
terkait dengan pembentukan uji hipotesis umum yang bersifat kekar
pada model regresi. Sebagaimana diketahui, pada model regresi
banyak digunakan uji F, yang didasarkan pada asumsi bahwa data
yang dimiliki berdistribusi normal.

Regresi Kekar
Istilah penduga kekar (robust estimator ) seringkali rancu dengan

penduga tahan (resistant estimator ). Rousseeuw dan Leroy (1987)
menganggap keduanya sama, sedangkan Andersen (2008)
memberikan pembedaan yang cukup jelas: Regresi tahan berkaitan
dengan tidak ada atau minimumnya pengaruh pencilan terhadap
model yang ditentukan, sedangkan regresi kekar berkaitan erat
dengan sifat penduga yang tidak mudah dipengaruhi oleh pencilan
maupun efisiensi dari penduga itu sendiri.
Beberapa model regresi kekar yang akan dibahas antara lain:
1 Regresi nilai mutlak terkecil (least absolute values regression)
2 Regresi M (M-regression)
3 Regresi Pengaruh terbatas (bounded influence regression)
4 Regresi MM (MM-regression)
5 Regresi Peringkat (rank regression)

Breakdown Point
Dalam pemodelan regresi kekar, ukuran kekekaran (robustness) yang

digunakan adalah breakdown point.
Definition
Breakdown point suatu penduga θˆuntuk parameter θ merupakan proporsi
kontaminasi terbesar (hasil observasi tak lazim) yang dapat dimiliki oleh
data sedemikian rupa sehingga θˆmasih memberikan informasi tentang θ
atau distribusi dari hasil observasi yang lazim. Dengan kata lain,
breakdown point merupakan proporsi kontaminasi terkecil yang dapat
dimiliki oleh data sedemikian rupa sehingga nilai penduganya menjadi
sangat besar (large aberrant values).

Breakdown Point
Secara matematis, untuk sebuah estimator T dengan sampel berhingga Z,

breakdown point dapat didefinisikan sebagai
. m
s∗
n (T, Z ) = minΣ ; bias (m; T, Z ) menjadi tak
n
berhingga
Example
Pada regresi dengan penduga kuadrat terkecil, sebuah observasi tak lazim
dapat mempengaruhi nilai dugaan koefisien regresi secara signifikan.
Dengan demikian,
sn∗ (T, Z ) =
n
1

Ekuivariansi
Ekuivariansi (equivariance) merupakan salah satu sifat yang penting

dimiliki oleh penduga regresi.
Definition
Suatu penduga T dikatakan bersifat ekuivarian translasi
apabila
T (xi , yi + a; i = 1, . . . , n) = T (xi , yi ; i =
1, . . . , n) + a
Suatu penduga T dikatakan bersifat ekuivarian skala apabila
T (xi , cyi ; i = 1, . . . , n) = cT (xi , yi ; i = 1, .
. . , n) Suatu penduga T dikatakan bersifat ekuivarian
regresi apabila
T (xi , yi + xiv ; i = 1, . . . , n) = T (xi ,

yi ; i = 1, . . . , n) + v
Regresi Kekar Regresi Nilai Mutlak Terkecil
Regresi Nilai Mutlak Terkecil
Regresi nilai mutlak terkecil (least absolute value regression) atau

dikenal pula sebagai L1-regression merupakan salah satu model regresi
kekar yang muncul paling awal, bahkan diduga lebih awal daripada
model regresi kuadrat terkecil oleh Legendre (1805). Ketunggalan
solusi dan kemudahan perhitungan membuat model regresi kuadrat
terkecil lebih populer dibandingkan regresi nilai mutlak terkecil ini.
Pada model ini, kuadrat galat yang diminimumkan pada model regresi
kuadrat terkecil diganti dengan nilai mutlak dari galat, yakni:
Σn Σ
min n
|ei | = min |Yi − (β 0+ β 1x i)|
i =1 i =1
Nilai ini akan diminimumkan oleh median sampel. Akibatnya, berbeda

dengan fungsi pengaruh dari mean yang tak terbatas, fungsi pengaruh
dari model ini terbatas.


Diperhatikan bahwa dalam model ini hendak diminimumkan
Σn Σ
min n
|ei | = min |Yi − (β 0+ β 1x i)|
i =1 i =1
Bentuk tersebut dapat dinyatakan sebagai masalah program linear

Σn .
+ −
min Σdi + i
d i
=1
dengan kendala
. + −
yˆi − Σ 0b + b + i d − di = 0 untuk i = 1, 2, . . .
, 1n.
Dalam hal ini, d i+ , di− ≥ 0 menyatakan deviasi positif dan negatif pada
masing-masing observasi ke-i. Adapun nilai koefisien regresi b0 dan b1
dapat bernilai sembarang.
Penyelesaian model program linear di atas dapat dilakukan dengan

berbagai cara (Dielman, 2005):
Charnes et al. (1955) pertama kali menggunakan metode simpleks
untuk menyelesaikan masalah program linear pada pemodelan regresi
di atas. Sampai dengan dekade 1990an, terdapat variasi metode
simpleks yang telah dikembangkan.
Barrodale dan Roberts (1973, 1974) memperkenalkan suatu algoritma
penyelesaian yang sangat efisien, bahkan hingga kini masih digunakan
sebagai acuan. Metode ini diketahui lebih efisien untuk jumlah
sampel besar.
Armstrong et al (1979) memperkenalkan metode simpleks yang
diperbarui dan dilengkapi dengan dekomposisi LU pada matriks basis
untuk memperoleh penyelesaian dalam waktu singkat.

Lanjutan (Dielman, 2005) ....

Wagner (1979) membawa bentuk program linear dari model regresi
tersebut ke dalam bentuk dual untuk menemukan penyelesaiannya.
Josvanger dan Sposito (1983) menggunakan pendekatan turun
(descent) pada model regresi linear sederhana. Model ini sangat
efisien untuk jumlah sampel kurang dari 300.
Dalam praktis, pustaka L1pack dalam R menyediakan perintah l a d untuk

menentukan penduga parameter regresi dengan metode nilai mutlak
terkecil. Lebih lanjut, karena median merupakan kuantil ke 0.5, maka
pendugaan parameter model regresi ini juga dapat dilakukan seperti pada
regresi kuantil (quantile regression), misalnya dengan pustaka quantreg.

Contoh Regresi
Pengerjaan kembali regresi pada contoh di muka memberikan hasil sebagai

berikut.

Contoh Regresi

Walaupun regresi nilai mutlak terkecil memiliki fungsi pengaruh yang

terbatas, model ini memiliki beberapa kelemahan:
Metode ini hanya bersifat kekar terhadap nilai Y yang tak lazim,
namun kurang dapat menangani data dengan leverage yang tinggi.
Bila terdapat data dengan leverage tinggi, metode ini justru
memberikan hasil lebih buruk dibandingkan kuadrat terkecil.
Breakdown point penduga ini sebesar 1n, sama dengan penduga
kuadrat terkecil.
Hasil estimasi metode ini kurang efisien dibandingkan metode kuadrat
terkecil. Sebagai contoh bila data berdistribusi normal, variansi
sampel adalah 1,57 kali lebih besar dibandingkan mean.
Inferensi total seperti ANOVA pada model regresi nilai mutlak terkecil
belum dapat dilakukan dengan baik, karena sulitnya menentukan
distribusi statistik uji yang sesuai.

Perluasan Regresi Nilai Mutlak Terkecil
Dalam literatur, metode pendugaan parameter regresi dengan

meminimumkan nilai mutlak terkecil galat sering disebut sebagai
regresi-L1, sedangkan regresi kuadrat terkecil disebut sebagai
regresi-L2.
Lebih umum dari kedua model tersebut, dikenal regresi-Lp , yakni
pendugaan parameter model regresi dengan tujuan
Σn p
min |yi − (β0 + β1 i
i =1 x )|
Berdasarkan simulasi Monte-Carlo sebanyak 400 kali, Forsythe (1972)
dalam Draper dan Smith (1998) menunjukkan bahwa nilai p yang
baik digunakan adalah sebesar 1,5. Efisiensi metode ini dikatakan
sekurang-kurangnya mencapai 95 persen dari metode kuadrat terkecil.

Regresi Kekar Regresi M
Regresi M
Dari pembahasan di muka telah diperoleh dua cara melakukan pendugaan

parameter regresi, yakni:
Meminimumkan jumlah nilai mutlak dari galat, yakni
Σn
min |Yi − (β 0+ β 1x i)|
i =1
Meminimumkan jumlah kuadrat galat,

yakni
Σn
min (Yi − (β0 + β1xi ))2
i =1
Penduga-M merupakan bentuk pendugaan yang lebih umum dari kedua

metode pendugaan parameter yang telah dibahas di muka, yakni dengan
fungsi ρ (u) yang memenuhi syarat tertentu.
Regresi M
Definition
Secara umum, penduga-M pada model regresi linear (sederhana)
merupakan solusi dari
Σn . Σ
yi − (β 0+ β 1x i)
min
s
ρ i
=1
dengan ρ merupakan fungsi yang memiliki sifat
1 ρ (u) = ρ
2 (−u).
ρ (u) naik monoton untuk u ≥
dan, 0.
s menyatakan penduga skala.
Mudah dipahami bahwa bila diambil ρ (u) = u2, akan diperoleh penduga
kuadrat terkecil, sedangkan bila diambil ρ (u) = |u| akan diperoleh
penduga regresi nilai mutlak terkecil.
Perhitungan Penduga Regresi M
Untuk menentukan nilai dugaan parameter regresi linear sederhana di atas,

perlu dihitung turunan parsial:
n
∂ Σn Σ
ρ (yi − (β0 + β1 xi )) = 0 ⇔ ψ (yi − (β0+ β 1xi )) = 0
∂β0 i =1 i
=1
dan
n Σn
∂ Σ
ρ (yi − (β0 + β1 xi )) = 0 ⇔ xi ψ (yi − (β0+ β 1xi )) = 0
∂β1 i i
=1 =1
Bentuk
∂ ψ
ψ (u) =
ρ (u) dan w (u) =
∂u (u)
u
berturut-turut dinamakan fungsi skor dan fungsi pembobot.


Diperhatikan bahwa fungsi skor dan fungsi pembobot merupakan fungsi
dari residual, sehingga untuk n observasi didapat wi, i = 1, 2, . . . ,
n.
Nilai-nilai bobot tersebut kemudian
 disajikan dalammatriks bobot, yakni
matriks diagonal: w1 0 . . . 0
 0 w2 .. . . 0 
W= ..
 .. ... .. 

. .
0 0 . . . wn 
Dapat ditunjukkan bahwa berlaku hubungan
. Σ−1
XTWXβ = XTWY ⇔ βˆ= XTWX XTWY
Bentuk di atas tidak lain adalah penyelesaian dari metode kuadrat terkecil
terboboti (weighted least square), namun penyelesaiannya bergantung
pada matriks bobot W, sedangkan W sendiri bergantung pada residual
model sebelumnya.
Langkah-langkah metode Iteratively Reweighted Least Squares (IRLS)

adalah sebagai berikut.
1 Set pencacah ulangan U = 0, gunakan metode kuadrat terkecil untuk
melakukan pendugaan awal terhadap data, sehingga diperoleh
pendugaan awal koefisien regresi, namakan βˆ(0).
2
Menggunakan βˆ(0), hitung residual awal r (0) dan

(0) penduga skala s
(0).
3 Pilih fungsi bobot w (u), dan terapkan pada r (0)untuk memperoleh
s
unsur-unsur matriks bobot W(0).
4 Set U = 1, hitung koefisien regresi berikut dengan
. −1 T
βˆ(1) = ΣXT W (0)X X W
(0)
5
Y.
Menggunakan βˆ(1), hitung residual r (1) dan penduga skala s(1),
kemudian tentukan matriks bobot W(1).


Langkah-langkah metode IRLS (lanjutan) ...
1 Set U = 1, hitung koefisien regresi berikut dengan
. −1 T
βˆ(1) = ΣXT W (0)X X W
(0)
2 Y.
Lakukan pengulangan (iterasi) sedemikian rupa sehingga untuk I = q
diperoleh
. Σ−1
βˆ(q) = XTW(q−1)X XTW(q−1)Y
3 Iterasi selesai bila nilai dugaan parameter β konvergen, misalnya bila
βˆ (q+1) ˆ
(q) −β
< s untuk suatu s >
ˆ (q+1)
β 0.
4 Nilai parameter pada iterasi terakhir merupakan nilai penduga-M

untuk parameter regresi.
Contoh Penduga M: Penduga Ramsay
Salah satu penduga-M kekar yang cukup sederhana diperkenalkan

oleh Ramsay (1977), sehingga dikenal sebagai Penduga Ramsay.
Penduga Ramsay dengan parameter a > 0 memiliki fungsi rho sebagai
berikut.
1.
ρH (E ) = Σ 1 − eaE [1 + a |E
|] a2
untuk −∞ < E ∞.
Derivatif dari fungsi rho di atas adalah
ψH (E ) = EeaE .
Nilai yang disarankan untuk metode di atas adalah a = 0.3 (Draper

dan Smith, 1998).

Contoh Penduga M: Penduga Andrew
Penduga Andrew (Andrew et al., 1972) dikenal sebagai penduga

gelombang, karena menggunakan suatu fungsi periodik sedemikian
rupa sehingga breakpoint dari penduga ini adalah sebesar aπ > 0.
Fungsi rho untuk penduga Andrew adalah sebagai berikut.
. . .E
a 1 − cos , untuk |E | ≤
ρH (E ) = ΣΣ a
2a aπ
, untuk |E | ≥ aπ
Derivatif dari fungsi rho di atas adalah
. .
Σ sin Ea untuk |E | ≤
ψH (E ) =
,0 aπ
, untuk |E | ≥
Nilai parameter yang disarankan untuk aπ menggunakan penduga di atas
adalah a = 1, 339 (Draper dan Smith, 1998).

Contoh Penduga M: Penduga Huber
Salah satu penduga-M kekar yang dapat digunakan di sini adalah

penduga Huber, yang memasukkan unsur-unsur model kuadrat
terkecil maupun model nilai mutlak terkecil.
Fungsi rho pada penduga Huber dengan breakpoint sebesar k dapat
dituliskan sebagai berikut.
.
22 ,
1E untuk |E | ≤
ρH (E ) =
k |E | −12k2 , k
untuk |E | >
Derivatif dari fungsi rho di atas adalah k

 k, untuk E ≥ k
ψH (E ) = untuk − k < E < k
E,  untuk E ≤ −k
−k,
Contoh Penduga M: Penduga Berbobot Ganda
Penduga berbobot ganda (biweight estimates) memiliki sifat yang

agak berbeda dengan model Huber, namun dapat dihitung dengan
cara yang hampir sama. Penduga ini diperkenalkan oleh Tukey.
Fungsi rho pada model penduga berbobot ganda dapat dituliskan
sebagai berikut.
 Σ
 k . 1 − 1 − . EΣ 23 Σ ≤ k, untuk |E | ≤
6 Σ k
ρH (E ) =
 k2 k
6,
untuk |E | > k
Derivatif dari fungsi di atas
adalah . Σ . 2
E1 ΣΣ+ Ek , untuk |E | ≤
ψH (E ) =
0 k
, untuk |E | > k
Pada umumnya diambil nilai 5 ≤ k ≤ 6 (Draper dan Smith, 1998).
Contoh Penduga M: Penduga Hampel
Hampel memperkenalkan penduga-M kekar yang lebih rumit

dibandingkan empat penduga di atas, yakni dengan tiga macam
breakpoints, namakan a, b, dan c.
Diberikan a, b, c > 0, fungsi rho untuk penduga Hampel
adalah sebagai berikut:

 1E2 , untuk |E | ≤ a

 a2 |E | −1 a2 , untuk a ≤ |E | ≤
ρH(E ) = . 2 Σ 72


a
c |E | −1 2 E − a6 b
 c−b
a (b + c −
2 , untuk b ≤ |E | ≤
a) , c
Nilai-nilai parameter yang disarankan untuk menggunakan
untuk |E | ≥penduga
c di
atas adalah a = 1, 7, b = 3, 4, dan c = 8, 5 (Draper dan Smith,
1998).

Contoh Regresi
Smith, Campbell, dan Lichfield (1984) mengukur kandungan 22 macam
mineral dalam 53 sampel batuan di Australia Barat.

Contoh Regresi

Contoh Regresi

Contoh Regresi

Contoh Regresi
Pendugaan parameter regresi linear sederhana menggunakan penduga-M

dengan fungsi Hampel.

Contoh Regresi

Contoh Regresi

Contoh Regresi

dengan fungsi Huber.

Contoh Regresi

Contoh Regresi

Contoh Regresi

dengan fungsi Tukey Bi-square.

Contoh Regresi

Contoh Regresi

Regresi M
Dapat disimpulkan bahwa penduga M memiliki sifat kekar karena

memberikan bobot yang berbeda-beda berdasarkan nilai residual.
Besar bobot ini bergantung pada fungsi rho yang dipilih, namun
terdapat kesamaan prinsip, yakni residual yang bernilai ekstrem akan
mendapat bobot lebih kecil.
Menurut Draper dan Smith (1998), tidak ada cara untuk memilih
fungsi rho manakah yang cocok untuk masing-masing data.
Pada saat data berdistribusi normal, regresi dengan penduga-M
memiliki efisiensi yang hampir sama dengan penduga kuadrat terkecil,
namun lebih kekar terhadap observasi yang berpengaruh. Walaupun
demikian, sebuah nilai variabel independen yang sangat ekstrem dapat
berpengaruh besar terhadap penduga-M.

Regresi Kekar Regresi Pengaruh Terbatas
Regresi Pengaruh Terbatas
Regresi pengaruh terbatas (bounded-influence regression) memiliki

breakdown point lebih tinggi dibandingkan penduga M. Oleh karena
itu, kelompok model ini juga dikenal sebagai high breakdown point
regression.
Terdapat beberapa contoh regresi pengaruh terbatas yang akan
dibahas, yakni:
1 Least Trimmed Squares
2 Least Median Squares
3 Penduga S
Pada umumnya, regresi pengaruh terbatas tidak cocok digunakan bila
jumlah data atau observasi yang tersedia sangat kecil.

Least Trimmed Squares

Diperhatikan kuadrat residual yang telah diurutkan
, ,mulai dari terkecil,
namakan E(1)2 , E(2)
2 , . . . (n)
,2 E n .
Didefinisikan
tanda kurung = menyatakan
siku
2 m + 1, denganpembulatan ke bawah.
Penduga β pada metode least trimmed squares ditentukan
sedemikian rupa sehingga meminimumkan jumlahan kuadrat dari
separuh residual terkecil, yakni
Σm 2
min (i
E i =1 )
Dari formula di atas, terlihat jelas bahwa metode ini bersifat kekar,
karena hanya separuh data dengan residual terkecil yang digunakan
untuk menghitung nilai penduga parameter. Dengan kata lain, data
pencilan ekstrem diabaikan.
Komputasi dilakukan dengan bantuan pustaka r r c o v pada perangkat
lunak R.
Contoh Regresi

Contoh Regresi

Contoh Regresi

Least Median Squares
Diperhatikan kuadrat residual yang telah diurutkan mulai dari terkecil,

namakan E(1)2 , E 2 , . . . , E 2 . Diperhatikan bahwa median residual
(2)
kuadrat didefinisikan
(n) sebagai
 2
 (n+1) , n ganjil
. Σ

. 2 Σ
2 =
E(m)  1 2 2 , n genap
 2 E( n2 ) + (n2 +1)
E
Penduga β pada metode least median squares ditentukan sedemikian
rupa sehingga meminimumkan nilai median dari kuadrat residual,
yakni:
min E(m) 2
Perhitungan dengan perangkat lunak R dapat dilakukan menggunakan

pustaka MASS.

Contoh Regresi

Contoh Regresi

Contoh Regresi

Penduga S
Penduga S pada analisis regresi merupakan kelas atau kelompok
estimator yang bersifat equivarian affin, skala, dan regresi (Rousseuw
dan Leroy, 1987). Penduga ini meminimumkan dispersi residual
s (E1, E2, . . . , En), yakni
min s (E1, E2, . . . , En)
dengan s (E1, E2, . . . , En) merupakan solusi dari

. Σ
1Σ Ei
n =K
n s
i ρ
=1
Dalam hal ini, terlihat bahwa penduga-S diturunkan dari penduga-M
untuk suatu skala. Adapun fungsi ρ yang digunakan dalam rumus di
atas dapat berupa fungsi biweight Tukey.
Nilai breakdown point penduga ini dapat mencapai 0.5, sehingga
lebih baik dibandingkan penduga-M.
Contoh Regresi

Contoh Regresi

Regresi Kekar Regresi MM
Regresi M M
Penduga-MM dapat dipandang sebagai penyempurnaan dari metode

regresi dengan breakdown tinggi, untuk memperoleh penduga yang juga
memiliki efisiensi tinggi. Mengacu pada Maronna dan Yohai (1986),
terdapat tiga tahap penentuan penduga-MM, yakni:
Langkah 1 Digunakan metode dengan breakdown point tinggi (tidak

harus efisien), misal LTS atau LMS, untuk memperoleh nilai dugaan
. Σ β˜. Selanjutnya, hitung residual dari
parameter regresi, namakan
regresi ini, namakan r β˜ , i = 1, 2, . . .
model i
,Langkah
n. 2 Menggunakan residual yang diperoleh dari langkah pertama,
hitung penduga-M untuk
. . skala
Σ dengan . breakdown
Σ point 0,5 untuk
mendapatkan sn = s r β ˜ , . . . ,nr β . Dalam hal ini, misal fungsi
1 ˜
objektif yang digunakan adalah ρ0.

Regresi M M
Langkah 3 Penduga-MM didefinisikan sebagai penduga-M dengan suatu

fungsi ψ1 (u) = ∂∂uρ1 (u) dan penduga skala sn yang diperoleh dari tahap 2
di atas. Dengan kata lain, βˆmerupakan solusi dari
Σn . Σ
yi − (β0 + β1xij )
= 0, j = 0,
xijψ1 sn
i 1.
=1
Catatan: Fungsi objektif ρ1 tidak harus sama dengan ρ0, namun harus
memenuhi sifat-sifat berikut:
i. ρ bersifat simetrik, terdiferensial kontinu, dan ρ (0) = 0.
ii.Terdapat suatu a > 0 sedemikian rupa sehingga ρ menaik tegas pada
interval [0, a], dan konstan pada [a, ∞).
iii. ρ1 (u) ≤ ρ0 (u).

Contoh Regresi

Contoh Regresi

Contoh Regresi

Regresi Kekar Regresi Theil-Sen
Regresi Theil-Sen
Penduga ini dikemukakan oleh Theil (1950) dan dikembangkan oleh

Sen (1968) untuk regresi dengan prediktor tunggal.
Dari data (xi , yi ) i = 1, 2, . . . , n dengan i < j untuk xi ƒ= xj
didefinisika yi − yj
n Sij = .
xi − xj
Selanjutnya, nilai penduga untuk model y = β0 + β1x adalah:
βˆmedian
= 1 (Sij )
dan
βˆ0 = median (y ) − β1median (x )

Contoh Regresi

Contoh Regresi

Regresi Kekar Berbagai Regresi Kekar Lainnya
Regresi Peringkat Residual
Misal (yi , xi ) menyatakan sampel atau hasil observasi ke-i, untuk

i = 1, 2, . . . , n. Selanjutnya misal β0 dan β1 menyatakan koefisien
regresi model linear yang akan ditentukan, dan ei menyatakan residual
model tersebut, yakni: ei = yi − (β0 + β1xi )
Koefisien regresi peringkat residual ditentukan sedemikian rupa
sehingga meminimumkan
Σn
D (β) = a {R (ei )} i
e i
=1
dengan R (ei ) menyatakan peringkat (rank) residual ke-i dan a (.)
menyatakan suatu fungsi pembobot, misalnya
i 1
a (i ) = −
√ . n+1 2
Σ
12
Penduga M Rampat
Penduga-M rampat (Generalized M-estimates ) muncul untuk

meningkatkan sifat kekar pada penduga-M, yakni dengan memperkecil
bobot observasi yang sangat berpengaruh sedemikian rupa sehingga
tidak mendominasi hasil dugaan.
Penduga M-rampat untuk parameter regresi dapat diperoleh dengan
menyelesaikan
Σn . Σ
ri (β)
ψ xi W (d (xi )) = 0
σ
i
=1 ˆ
dengan W suatu fungsi pembobot, ψ suatu fungsi monoton, σˆ
diperoleh dari suatu penduga=M, dan d(x) suatu ukuran x.
Kelemahan dan kelebihan penduga ini dapat dilihat pada Maronna et
al. (2006).

Regresi Kedalaman Maksimum
Metode pendugaan Regresi Kedalaman Maksimum (maximum depth

regression) diperkenalkan oleh Rousseeuw dan Hubert (1999), dengan
mengklasifikasikan nilai dugaan garis regresi sebagai fit dan nonfit.
.
Suatu penduga regresi linear Σ β ˆ0 , β dikatakan nonfit apabila
ˆ1
terdapat partisi pada variabel independen x sedemikian rupa sehingga
semua residual untuk x kurang dari partisi tersebut berlawanan tanda
dengan semua residual untuk x melebihi partisi tersebut.
.
Selanjutnya, kedalaman regresi untuk suatu penduga fitΣ β ˆ0,
β
merupakan
. jumlah observasi terkecil yang harus dihilangkanˆ1agar
Σβˆ0, β menjadi nonfit. Kedalaman regresi inilah yang akan
ˆ1
dimaksimumkan.
Menurut Bai dan He (1999), breakdown point metode ini mencapai
0,33.
Ezra PutVrei awnppduabcil Sateoi tna

is
Statistika Kekar / Robust Statistics 76 / 76
a
tt s
wa n

Pertemuan4 Ada Robust

Diunggah oleh

Informasi Dokumen

Judul Asli

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Pertemuan4 Ada Robust

Diunggah oleh

Hak Cipta:

Format Tersedia

See discussions, stats, and author profiles for this publication at: https://www.researchgate.

Regresi Robust (Kekar) dengan R

Presentation · December 2016

Ezra Putranda Setiawan

Obligasi Bencana Alam View project

Statistika Robust View project

The user has requested enhancement of the downloaded file.

Ezra Putranda Setiawan

Mahasiswa PMDSU Matematika Angkatan Kedua

Ezra Putranda Setiawan Statistika Kekar / Robust Statistics 1 / 76

Analisis Regresi merupakan teknik analisis statistika yang digunakan

Kecuali didefinisikan lain, variabel dependen pada analisis regresi

Regresi Linear Sederhana

Perhatikan model regresi linear sederhana berikut:

Apabila dimiliki data (xi , yi ) untuk sejumlah sampel i = 1, 2, ..., n,

Regresi Linear Sederhana

Jumlah kuadrat pada bentuk di atas diminimumkan dengan

Ezra Putranda Setiawan Statistika Kekar / Robust Statistics 4 / 76

Regresi Linear Ganda

Lebih umum, perhatikan model regresi linear ganda

y = β0 + β1x1 + β2x2 + . . . + βpxp + s

Untuk memudahkan pendugaan parameter β0, β1, . . . , βp , model

dengan Y vektor n × 1 memuat data variabel dependen, β vektor

Ezra Putranda Setiawan Statistika Kekar / Robust Statistics 5 / 76

Regresi Linear Ganda

Dengan notasi matriks di atas, penduga kuadrat terkecil untuk model

Beberapa sifat penting:

Ezra Putranda Setiawan Statistika Kekar / Robust Statistics 6 / 76

Penduga Kuadrat Terkecil

Model regresi yang diamati adalah

Ezra Putranda Setiawan Statistika Kekar / Robust Statistics 7 / 76

Penduga Kuadrat Terkecil

Ezra Putranda Setiawan Statistika Kekar / Robust Statistics 8 / 76

Penduga Kuadrat Terkecil

Ezra Putranda Setiawan Statistika Kekar / Robust Statistics 9 / 76

Penduga Kuadrat Terkecil

Dari contoh di atas, terlihat bahwa hasil pendugaan garis regresi

Ezra Putranda Setiawan Statistika Kekar / Robust Statistics 10 / 76

Penduga Kuadrat Terkecil

Ezra Putranda Setiawan Statistika Kekar / Robust Statistics 11 / 76

Penduga Kuadrat Terkecil

Kurva Pengaruh Regresi (Regression Influence Plot) diperkenalkan

Ezra Putranda Setiawan Statistika Kekar / Robust Statistics 12 / 76

Penduga Kuadrat Terkecil

Ezra Putranda Setiawan Statistika Kekar / Robust Statistics 13 / 76

Penduga Kuadrat Terkecil

Ezra Putranda Setiawan Statistika Kekar / Robust Statistics 14 / 76

Mengacu pada Hampel et al. (1986), sifat kekekaran (robustness) pada

Ezra Putranda Setiawan Statistika Kekar / Robust Statistics 15 / 76

Istilah penduga kekar (robust estimator ) seringkali rancu dengan

Ezra Putranda Setiawan Statistika Kekar / Robust Statistics 16 / 76

Dalam pemodelan regresi kekar, ukuran kekekaran (robustness) yang

Ezra Putranda Setiawan Statistika Kekar / Robust Statistics 17 / 76

Secara matematis, untuk sebuah estimator T dengan sampel berhingga Z,

Ezra Putranda Setiawan Statistika Kekar / Robust Statistics 18 / 76

Ekuivariansi (equivariance) merupakan salah satu sifat yang penting

Suatu penduga T dikatakan bersifat ekuivarian skala apabila

T (xi , cyi ; i = 1, . . . , n) = cT (xi , yi ; i = 1, .

. . , n) Suatu penduga T dikatakan bersifat ekuivarian

T (xi , yi + xiv ; i = 1, . . . , n) = T (xi ,

Regresi Nilai Mutlak Terkecil

Regresi nilai mutlak terkecil (least absolute value regression) atau

Nilai ini akan diminimumkan oleh median sampel. Akibatnya, berbeda