x
s
x x
.
x
s
x x
dan Z'y=
x
s
x x
y
s
y y
. Sementara itu rumus dari
korelasi r
xx
=
( )
x x
s s
x x x x ) (
. Sehingga persamaan normal kuadrat terkecil (X'X)b=X'y
akan berbentuk (r
xx
)b=r
xy
, dengan r
xx
adalah matrik korelasi variabel x dan r
xy
adalah
vektor korelasi antara y dan masing-masing variabel x. Akibat dari transformasi matrik
X ke Z dan vektor y ke y*, maka akan menjadikan persamaan normal regresi ridge
berbentuk : (r
xx
+kI) *
b =r
xy.
Penduga koefisien regresi ridge menjadi :
*
b =(r
xx
+ k I)
-1
r
xy
(2.2)
dimana : *
b didefinisikan sebagai
diagonal dari matrik (r
xx
+kI)
-1
r
xx
(r
xx
+kI)
-1
. Rumusan ini didapat dengan serangkaian
proses sebagai berikut :
Jika di metode kuadrat terkecil diketahui nilai koefisien penduga b
dan varian( b
):
b
= (X'X)
-1
X'y dengan y=Xb
Varian( b
) =
2
(X'X)
-1
Dalam regresi ridge harga *
b dan varian( *
b ) diketahui sebagai :
*
b = (X'X+kI)
-1
X'y
= (X'X+kI)
-1
X' Xb
Varian( *
b ) =
2
(X'X+kI)
-1
(X'X) (X'X)
-1
(X'X) (X'X+kI)
-1
=
2
(X'X+kI)
-1
(X'X) (X'X+kI)
-1
Sehingga VIF merupakan diagonal matrik (X'X+kI)
-1
(X'X) (X'X+kI)
-1
. Bila x diba-
kukan, maka VIF dari regresi ridge adalah diagonal dari matrik (r
xx
+kI)
-1
r
xx
(r
xx
+k I)
-1
.
Leverage dalam Regresi Ridge
Ketika teknik bias digunakan pada regresi ridge, untuk mengurangi efek dari
multikolinearitas, maka rumus pencilan di dalam data tersebut dapat dimodifikasi.
Seperti halnya di dalam metode regresi kuadrat terkecil, maka pencilan dalam regresi
ridge dapat diukur dengan nilai leverage (h
ii
). Untuk itu nilai h
ii
pada regresi kuadrat
terkecil berubah sebagai fungsi dari k, guna mendapatkan nilai h
ii
pada regresi ridge
(Retnaningsih,2001).
Dengan memakai penduga (2.2), maka nilai-nilai vektor dugaan y adalah :
*
i
y = Z b*
= Z(Z'Z+kI*)
-1
Z'y
Oleh karena itu, matrik H untuk regresi ridge menjadi H*=Z(Z'Z+kI*)
-1
Z', dan unsur
ke-i pada diagonal utama matrik H* adalah h
ii
* = z
i
(Z'Z+kI*)
-1
z
i
'. Matrik H* berperan
sama seperti matrik H pada metode kuadrat terkecil. Sehingga, nilai dugaan ke-i dapat
ditulis dalam bentuk elemen H* sebagai berikut (Walker dan Birch, 1988):
*
i
y =
=
n
j
j ij
y h
1
*
Unsur diagonal matrik topi ridge h
ii
* dapat diinterpretasikan sama sebagai leverage
pada diagonal matrik topi pada metode kuadrat terkecil.
Lichtenstein dan Velleman (1983) dalam Walker dan Birch (1988) mengung-
kapkan beberapa fakta penting dari sifat unsur diagonal matrik H*. Pertama, untuk k>0,
maka nilai h
ii
* < h
ii
dengan i = 1, 2, , n. Dengan demikian, untuk setiap pengamatan,
nilai leverage regresi ridge lebih kecil dari leverage regresi kuadrat terkecil. Kedua,
leverage menurun secara monoton sejalan dengan kenaikan k. Ketiga, laju penurunan
leverage tergantung pada posisi baris tertentu dari Z sepanjang sumbu utama. Artinya,
leverage dari baris yang terletak di sumbu utama yang berpadanan dengan akar
karakteristik besar akan berkurang lebih sedikit dari pada leverage dari baris yang
terletak di sumbu utama yang berpadanan dengan akar karakteristik kecil.
SriHarini
10 Volume1No.1November2009
3. Pembahasan
Penurunan Rumus dari Regresi Ridge
Jika *
)'(Y-X *
)
= (Y-X
)'(Y-X
)+(
- *
)'X'X(
- *
)
=
min
+ ( *
)
dimana
adalah penduga kuadrat terkecil dari . Untuk tetap, maka dipilih nilai
*
' *
dengan kendala (
- *
)'X'X(
- *
)=
0
,
sehingga masalah Lagrange (Hoerl dan Kennard, 1970) menjadi :
= F *
' *
+
k
1
[( *
)'X'X( *
)-
0
]
*
F
= 2 *
+
k
1
[2(X'X) *
-2(X'X)
] = 0
*
[1+
k
1
(X'X)] -
k
1
(X'X)
]
*
= [kI+ (X'X)]
-1
(X'X)
Jadi penduga regresi ridge adalah : *
= [(X'X + kI)]
-1
X'Y
Adapun sifat-sifat Regresi Ridge sebagai berikut (Marquardt, 1970):
1. Penduga *
= [kI+ (X'X)]
-1
X'Y, tetapi X'Y = (X'X)
Maka, *
= [(X'X+kI)]
-1
(X'X)
= Z
k
E( *
) = Z
k
Sehingga *
2. Varian *
adalah :
V( *
) =
2
[kI+ (X'X)]
-1
(X'X) [kI+ (X'X)]
-1
V( *
) =
2
[kI+ (X'X)]
-1
(X'X) [kI+ (X'X)]
-1
3. MSE (Mean Square Error) dari *
: E(L
2
) = Tr[V( *
)]+
'(Z
k
-I)'(Z
k
-I)
= Varian + (bias)
2
E(L
2
) = E[( *
)'( *
)]
=
2
=
+
p
j j
i
k
1
2
) (
+ k
2
'(X'X+kI)
-2
= V( *
)+k
2
'(X'X+kI)
-2
4. Jika k0, dan misal *
memenuhi persamaan *
= [(X'X + kI)]
-1
X'Y, maka *
meminimumkan jumlah kuadrat residual : *)
( *)'
( *)
( X Y X Y = .
5. Jika *
adalah fungsi monoton turun kontinyu dari k, sedemikian hingga pada saat k
, *
0.
PendeteksianOutlierdenganMetodeRegresiRidge
Volume1No.1November2009 11
6. Jika ' terbatas, maka ada tetapan k>0 sedemikian hingga MSE dari *
kurang
dari MSE penduga kuadrat terkecil
7. Dalam persamaan (X'X+kI) *
dan g, maka
k
adalah fungsi monoton turun
kontinyu dari k, sedemikian hingga k . 0 ,
k
Pemilihan nilai tetapan bias k merupakan sesuatu yang tidak dipisahkan dalam
regresi ridge. Untuk itu perlu dirunut dari mana asal nilai tetapan bias k tersebut. Untuk
melihat *
dari sudut pandang MSE, maka Hoerl dan Kennard (1970) meng-
ekspresikan hal tersebut ke dalam bentuk E(L
2
), dimana :
E(L
2
) =
2
=
+
p
j j
i
k
1
2
) (
+ k
2
'(X'X+kI)
-2
= ) ( ) (
2 ) 1 (
k k +
Elemen kedua, yaitu ) (
2
k , adalah jarak kuadrat dari Z ke . Elemen ) (
2
k akan
bernilai nol, jika k=0, sehingga ) (
2
k dapat dipandang sebagai bias kuadrat. Elemen
pertama, yaitu ) (
1
k , merupakan total varian dari dugaan parameter. Total varian dari
semua *
j
adalah jumlah diagonal elemen
2
Z(X'X)
-1
Z'. Total varian turun seiring
dengan kenaikan k, sementara bias kuadrat naik seiring dengan kenaikan k.
Total varian ) (
1
k adalah kontinyu, merupakan fungsi monoton turun dari k.
1 . ) ( 2
3 2 1
+ =
k
dk
d
j j
= -2
+
3
2
) ( k
j
j
Bias kuadrat ) (
2
k adalah kontinyu, merupakan fungsi monoton naik dari k.
=
dk
d
2
+
+ +
4
2 2 2 2
) (
)) ( 2 ( ) ( 2
k
k k k k
j
j j j j
+
+
3
2 2 2 2 2
) (
2 2 2
k
k k k
j
j j j j
+
3
2
) (
2
k
k
j
j j
+
= +
p
j
j
j
j
j j
k k
k
dk
d
dk
d
1
3
2
3
2
2
1
) ( ) (
2
= 0
0
2 2
=
j j j
k
2
2
j
k
=
Sedangkan untuk rumusan C
k
yang digunakan sebagai alternatif pemilihan nilai
tetapan bias k dapat diturunkan sebagai berikut (Myers, 1990):
= =
+
n
i
i
n
i
i
y Bias y Var
1
2 *
1
*
] [
2
2
*
1
] [
k
i
n
i
A tr
y Var
=
SriHarini
12 Volume1No.1November2009
2 2 2 *
1
) ( ) (
k k i
n
i
A I tr JKR y Bias =
=
* 2
2 2
1
2 2
2
2
( )
( )
( )
=
=
=
n
i
i k k
k
k
Biasy
JKR tr I A
JKR
tr I A
Jadi penduga dari
= =
+
n
i
i
n
i
i
y Bias y Var
1
2 *
1
*
] [ diberikan oleh :
C
k
= E
2
)] ( [
i i
y E y
= [ ) ( )] ( ) (
2
i i i
y V y E y E +
C
k
=
2
1
2 *
1
*
] [
= =
+
n
i
i
n
i
i
y Bias y Var
= +
2
) (
k
A tr
2
2
) (
k
k
A I tr
JKR
= ) ( 2
2
k
k
A tr n
JKR
+
Bila *' ) * *' ( *
1
X kI X X X H
k
+ =
dan 1 ) ( ) ( + =
k k
H tr A tr
C
k
= ] 1 ) ( [ 2
2
+ +
k
k
H tr n
JKR
C
k
= ) ( 2 2
2
k
k
H tr n
JKR
+ +
Identifikasi Pencilan
Leverage (h
ii
) adalah elemen-elemen diagonal dari matrik proyeksi least squares
yang disebut matrik topi, H = X(X'X)
-1
X', yang menjelaskan pendugaan atau nilai-nilai
dugaan, karena : Hy Xb y = . Elemen-elemen diagonal H merupakan jarak antara x
i
dan . x Oleh karena H adalah matrik proyeksi, maka dia simetris dan idempoten (H
2
=H).
Elemen-elemen dari matrik topi yang dipusatkan adalah :
) / 1 (
~
n h h
ij ij
= . Hal ini berimplikasi, bahwa 1 ) / 1 (
i
h n . Jumlah akar karakteristik
dari matrik proyeksi tidak nol sama dengan rank dari matrik. Dalam hal ini rank(H) =
rank(X)=p dan trace H=p, atau karena X rank penuh, maka
=
n
i
i
h
1
= p.
Ukuran rata-rata elemen diagonal adalah p/n. Data yang diinginkan adalah yang
jauh dari pengamatan berpengaruh, dimana masing-masing pengamatan mempunyai h
i
dekat dengan rata-rata p/n. Untuk itu perlu beberapa kriteria untuk memutuskan kapan
nilai h
i
cukup besar atau cukup jauh dari rata-ratanya. Jika variabel-variabel bebas
didistribusikan secara independen, maka dapat dicari distribusi eksak dari fungsi-fungsi
tertentu dari h
i
. Belsley, Kuh, dan Welsch (1980) mengambil teori distribusi untuk
mencari batas kritis dari nilai leverage sebagai berikut :
Statistik Wilks untuk dua grup, dimana 1 grup terdiri dari titik tunggal :
) '
~
det(
)
~
'
~
) (
~
) ( '
~
) 1 (
~
'
~
det(
)
~
(
X X
x x i x i x n X X
x
i i
i
=
PendeteksianOutlierdenganMetodeRegresiRidge
Volume1No.1November2009 13
=
)
~
'
~
det(
)
~
'
~
det( ) '
~
)
~
'
~
(
~
1
1
1
X X
X X x X X x
n
n
i i
= 1-
~
1
i
h
n
n
= 1- )
1
(
1 n
h
n
n
i
= ) 1 (
1
i
h
n
n
)
~
(
)
~
( 1
1
i
i
x
x
p
p n
~ F
p-1,n-p
Sehingga dapat ditulis :
) 1 (
)
1
(
1
i
i
h
n
h
p
p n
~ F
p-1,n-p
Untuk p besar (lebih dari 10) dan n-p besar (lebih dari 50), maka pada tabel F
nilai-nilainya kurang dari 2 sehingga nilai 2(p/n) merupakan batas yang cukup bagus.
Selanjutnya, pengamatan ke-i adalah titik leverage ketika h
i
melebihi 2(p/n).
Penurunan Rumus PRESS
Rumus PRESS umumnya adalah
i i i
y y
,
. Rumus ini bisa ditulis sebagai berikut
(Myers, 1990) : e
i,-i
= y
i
- x
i
'b
-i
e
i,-i
=
i i
ii
i i
i i
y X
h
X X x x X X
X X x y
+
'
1 1
1
1
) ' ( ' ) ' (
) ' ( '
=
ii
i i i ii
i i i i
h
y X X X x h
y X X X x y
1
) ' (
) ' (
' 1 '
' 1 '
=
ii
i i i ii i i i ii i ii
h
y X X X x h y X X X x h y h
1
) ' ( ) ' ( ) 1 ( ) 1 (
' 1 ' ' 1 '
=
ii
i i i i ii
h
y X X X x y h
1
) ' ( ) 1 (
' 1 '
=
ii
i i i i ii
h
y x y X X X x y h
1
) ' ( ) ' ( ) 1 (
1 '
= =
ii
i
h
y y
=
ii
i
h
e
1
4. Kesimpulan
Masalah pencilan ini dapat diatasi degan berbagai metode, diantaranya metode
regresi ridge (ridge regression). Hal ini ditinjau dari ketepatan model, dimana metode
regresi ridge memberikan hasil yang relatif lebih baik dibandingkan dengan metode
kuadrat terkecil.
ii
i ii i i ii
h
y h y y h
+
1
) 1 (
SriHarini
14 Volume1No.1November2009
Daftar Pustaka
Belsley, D.A., Kuh, E., dan Welsch, R.E, (1980), Regression Diagnostics. John Wiley.
New York.
Hoerl, A.E dan Kennard, R.W., (1970), Ridge Regression: Biased Estimation for
Nonorthogonal Problems. Technometrics, Vol. 12, no. 1.
Marquardt, D.W., (1970), Generalized Inverses, Ridge Regression, Biased
LinearEstimation, and Nonlinier Estimation. Technometrics, Vol. 12, no. 3.
Mason, R.L. dan Gunst, R.F., (1985), Outlier-Induced Collinearities. Technometrics,
Vol. 2, no. 4.
Myers, R.H, (1990), Classical and Modern Regression with Applications. 2
nd
Edition.
PWS-KENT, Boston.
Neter, J., Wasserman, W. dan Kutner, M.H., (1990), Applied Linear Statistical Models,
Regression, Analysis of Variance & Experimental Design, Richard D. Irwin Inc.
Illinois. Toppan Company. LTD, Tokyo.
Retnaninsih, E., (2001), Studi Perbandingan Metode Regresi Ridge dengan Kuadrat
Trekecil Parsial Pada Struktur Ekonomi dan Tingkat Kesra Penduduk Indonesia.
Tidak Dipublikasikan, Tesis Program Master, ITS, Surabaya.
Walker, E. dan Birch, J.B., (1988). Influence Measure in Ridge Regression.
Technometrics, 25: 221-227.