1.

FARA ARIESTIA 3125080165

2. PUTRI WULANTRI 3125081760
3. PUTRIRINDI M 3125081766

ANALISIS REGRESI

RIDGE REGRESION
 JUDUL SKRIPSI

REGRESI RIDGE UNTUK MENGATASI

MASALAH MULTIKOLINEARITAS
 RUMUSAN MASALAH ???

Bagaimana mengatasi masalah

multikolinearitas dengan Regresi Ridge??
PENDAHULUAN
 Model statistika merupakan suatu model matematis
yang meliputi variabel bebas dan tidak bebas. Salah
satu dari model statistika yang sering digunakan dalam
pemecahan suatu permasalahan adalah Model Regresi
Linier. Model regresi linier adalah suatu model yang
digunakan untuk menganalisis hubungan antar variabel.
 Regresi Linier dibagi menjadi dua, yaitu
Regresi Linier Sederhana (satu variabel bebas)
dan Regresi Linier Berganda (dua atau lebih
variabel bebas).
Satu dari asumsi model regresi linier adalah
bahwa tidak terdapat multikolinearitas
diantara variabel regressor yang termasuk
dalam model. Multikolinearitas terjadi apabila
terdapat hubungan atau korelasi diantara
beberapa atau seluruh variabel regressor.
Salah satu cara untuk mendapatkan koefisien regresi pada
persamaan regresi linier berganda adalah

Metode kuadrat terkecil : menghasilkan penaksir

terbaik (tak bias dan bervarians minimum) jika
saja tidak ada korelasi antar variabel regressor.

Metode ridge regression : nilai variabel

regressornya ditransformasikan dahulu melalui
prosedur centering and rescaling. Kemudian pada
diagonal utama matriks korelasi variabel
regressor ditambahkan Ridge Parameter dimana
nilainya antara 0 dan 1
PEMBAHASAN
Regresi Linear Berganda
Model regresi linear berganda yang melibatkan p buah
variable bebas adalah:

Y 0 1 X1 2 X 2 ... P X P
Asumsi-asumsi dalam analisis regresi linear meliputi:
a. Galat saling bebas dengan E( i ) 0, i 1,2,..., n dan
variansi konstanta dimana i N 0, 2
b. Variabel bebas (X) diasumsikan bersifat tetap
c. cov i , j 0 untuk setiap i j
Model regresi berganda dalam notasi
matriks:

Y X
Dengan :
Y vektor berukuran n x 1 yang elemen - elemennya merupakan nilai - nilai amatan
dari variabel tak bebas

X matriks rancangan yang berukuran n x (p 1)

vektor yang berukuran (p 1) x 1 yang elemen - elemennya berupa

parameter (koefisien ) regresi

vektor acak galat berukuran n x 1

Multikolinearitas pada Regresi Berganda

Multikolinearitas merupakan hubungan linear

yang sempurna diantara beberapa atau semua
variable bebas dari model regresi.

Masalah multikolinearitas akan membuat ragam

dari penduga kofisien regresi menjadi besar,
akibatnya selang kepercayaan dari parameter
yang diduga menjadi lebar sehungga
mengakibatkan pengujian hipotesis memeuhi
signifikansi kofisien regresi cenderun menerima
H0 yang berarti koefisin regresi tidak berbeda
nyata dengan nol.
Beberapa metode untuk mengidentifikasi
adanya maslah multikolinearitas,
diantaranya:

a. Menentukan matriks korelasi dari semua

variabel bebas.
b. VIF
c. Akar ciri dari XX
 Regresi Ridge
Pada dasarnya untuk mendapatkan estimasi parameter
regresi ridge adalah dengan memberikan kendala linear
yang tepat pada metode kuadrat terkecil.

Estimasi Parameter dengan Regresi Ridge

Pada regresi linear berganda diberkan model umum :

Y X
 Nilai Harapan Estimator Ridge

E R Z
Hal ini mengakibatkan bahwa R adalah taksiran
bias dari .
Variansi Estimaor Ridge

Var R
2 tr X' X kI
p
1
X' XX' X kI
1

1 1
2
i 1 i k
i
i k
p
i
2

i 1 k
2
i
 Rata-rata Kuadrat Galat (Mean Square Error) dari
Estimator Ridge

MSE R 1 (k ) 2 (k )

1 (k ) var R
2 (k ) bias dari R atau
kuadrat jarak dar R ke sama dengan 0 jika k 0
 Prosedur Penentuan Nilai k

Ridge Trace
Ridge trace adalah plot antara koefisien regresi Ridge
dengan nilai-nilai k. Untuk nilai k yang berbeda dimana k
[0,1] akan dapat ditentukan nilai R . Ridge trace
merupakan suatu metode untuk menunjukkan pengaruh
dua dimensi dari non orthogonal
Langkah Penentuan Nilai k Dengan Metode Iteratif
Penentuan nilai k yang tepat dengan menggunakan iterasi
yang diperoleh dengan meminimumkan rata-rata kuadrat
galat residual.
STUDI KASUS
ANALISIS REGRESI RIDGE
 Aplikasi Regresi Ridge
Contoh Kasus : Data yang digunakan
adalah data sekunder mengenai tingkat
kepuasan supervisor sebuah perusahaan
yang dipengaruhi oleh beberapa factor.

Akan dicari model regresi ganda untuk

memprediksi keterkaitan hubungan antar
variabelnya. Datanya sebagai berikut :
Dengan menggunakan software NCSS 2000 dapat
dicari koefisien penduga Ridge, nilai k, dan perbandingan
nilai korelasi antara Metode Kuadart Terkecil dan
Regresi Ridge,

Bagaimana outputnya ???

 Tabel statistik deskriptif

Standard
Variable Count Mean Deviation Min Max
X1 35 7.174286 1.781332 3.8 10
X2 35 10.00286 2.482229 5.3 14
X3 35 10.65429 2.532535 5.7 14
X4 35 7.125714 1.636234 4.6 9.9
X5 35 15.06 3.280351 10.2 20
Y 35 16.20572 1.122482 12.6 17.9

menunjukkan bagaimana penyebaran dan pemusatan

variabel bebas dan tak bebas tersebut.
Tabel Matriks Korelasi

X1 X2 X3 X4 X5 Y
X1 1.000000 0.999306 0.995470 -0.080998 -0.048048 0.598604
X2 0.999306 1.000000 0.995646 -0.073159 -0.040838 0.599047
X3 0.995470 0.995646 1.000000 -0.085307 -0.052128 0.591077
X4 -0.080998 -0.073159 -0.085307 1.000000 0.995582 -0.043960
X5 -0.048048 -0.040838 -0.052128 0.995582 1.000000 -0.009761
Y 0.598604 0.599047 0.591077 -0.043960 -0.009761 1.000000

menunjukkan korelasi antar variabel satu dengan yang

lain. Korelasi yang tinggi diihat dari nilai |r|semakin
besar.
terdapat korelasi yang tinggi antara variabel X1 dan
X2, X1 dan X3, X2 dan X3, serta X4 dan X5.
 Tabel Multikolinearitas kuadrat Terkecil

Indpnden Variance R-Squared

Variabel Inflation Vs Other X's Tolerance
X1 793.9328 0.9987 0.0013
X2 844.0058 0.9988 0.0012
X3 120.1540 0.9917 0.0083
X4 136.7096 0.9927 0.0073
X5 134.9242 0.9926 0.0074

Pada tabel diatas nilai VIF > 10, maka dapat

dikategorikan kelima variabel bebas terkait
multikolinearitas.
Tabel Nilai Eigen dan Korelasi

Incremental Cumulative Condition

No. Eigen value Percent Percent Number
1 3.017755 60.36 60.36 1.00
2 1.972057 39.44 99.80 1.53
3 0.005714 0.11 99.91 528.15
4 0.003847 0.08 99.99 784.38
5 0.000627 0.01 100.00 4810.15

Pada tabel diatas, nilai eigen merupakan variansi sebenarnya

dari variabel bebas.
Nilai eigen yang mendekati 0 menunjukkan adanya masalah
multikolinearitas.
Angka kondisi antara 100 dan 1000 juga menunjukkan masalah
serupa
Angka kondisi yang melebih 1000 menunjukkan masalah
mulikolinearitas yang serius.
No.Eigenvalue X1 X2 X3 X4 X5
1 3.017755 -0.571046 -0.570547 -0.570649 0.115548 0.096901
2 1.972057 0.085984 0.091327 0.082834 0.696901 0.701238
3 0.005714 -0.412749 -0.391752 0.801633 -0.126410 0.132566
4 0.003847 -0.141833 0.009820 0.155088 0.692316 -0.690242
5 0.000627 -0.689953 0.715939 -0.028814 -0.075481 0.069776

menunjukkan vector eigen yang bersesuaian dengan nilai

eigen dari korelasi antara variabel-variabel bebasnya.
Tabel diatas menampilkan nilai koefisien regresi Ridge
dalam k yang presisinya dibandingkan dengan nilai k yang
diiterasikan

sehingga diperoleh nilai k = 0.361093

dapat dilihat nilai VIF yang dihasilkan menjadi lebih
kecil atau VIF < 10

sehingga dengan menggunakan nilai k yang sesuai

dapat menghilangkan pengaruh multikolinearitas yang
ada.
 Regular Regular Stand'zed Stand'zed Ridge L.S.
Indep. Ridge L.S. Ridge L.S. Standard Standard
Var. Coeff's Coeff's Coeff's Coeff's Error Error
Intercept 13.72804 13.49537
X1 0.1156222 -0.4759508 0.1835 -0.7553 3.039132E-02 2.56655
X2 8.345649E-02 0.9542688 0.1846 2.1102 2 .170739E-02 1.899038
X3 7.304389E-02 -0.3669116 0.1648 -0.8278 2 .319735E-02 0.7022901
X4 -1.370527E-02 -1.428679 -0.0200 -2.0826 0.0463255 1.159463
X5 8.817396E-03 0.7084383 0.0258 2.0703 2 .317429E-02 0.5745493

R-Squared 0.31840.3940
Sigma 1.00340.9461

menunjukkan perbandingan antara penyelesaian regresi

dengan regresi Ridge dan OLS ( Metode Kuadrat Terkecil).
 Stand'zed
Independent Regression Standard Regression
Variable Coefficient Error Coefficient VIF
Intercept 13.72804
X1 0.1156222 3.039132E-02 0.1835 0.0990
X2 8.345649E-02 2.170739E-02 0.1846 0.0980
X3 7.304389E-02 2.319735E-02 0.1648 0.1166
X4 -1.370527E-02 0.0463255 -0.0200 0.1940
X5 8.817396E-03 2.317429E-02 0.0258 0.1952

Hasil diatas adalah penyelesaian regresi Ridge secara

terperinci,
sehingga didapat persamaan regresi :
Y 13.72804 0.1156222 X 1 8.345647.102 X 2 7.304388.102 X 3
1.370525 X 4 8.817386.103 X 5
 Tabel ANOVA untuk k = 0.361093
Sum of Mean Prob
Source DF Squares Square F-Ratio Level
Intercept 1 9191.881 9191.881
Model 5 13.64115 2.728231 2.7098 0.039709
Error 29 29.1977 1.006817
Total(Adjusted) 34 42.83886 1.259966

Mean of Dependent 16.20572

Root Mean Square Error 1.003403
R-Squared 0.3184
Coefficient of Variation 6.191661E-02

Tabel ANOVA untuk menguji keberartian koefisien

regresi Ridge yang telah diperoleh. Pengujian akan
dilakukan dengan taraf kepercayaan 95%.
1. Perumusan Hipotesis
H0 = koefisien regresi Ridge yang diperoleh tidak
berarti.
Hi = koefisien regresi Ridge yang diperoleh berarti.
2. F hitung = 2.7089
3. Kriteria pengujian Tolak H0 jika F hitung > F tabel
Karena F hitung (2.7089) > F tabel (F0.05(5,29) = 2.55)
4.Kesimpulan yang didapat : dengan taraf kepercayaan
95% maka tolak H0 artinya koefisien reresi
Ridge yang diperoleh berarti, sehingga signifikan.
KESIMPULAN

Langkah-langkah dalam menyelesaikan masalah

multikolinearitas dengan Regresi Ridge :
Menentukan estimasi dari regresi ridge dengan menambah
kendala k untuk mengatasi besarnya keragaman.
Menentukan nilai k dengan dua prosedur yaitu Ridge Trace
dan iterasi.

Penduga regresi Ridge dipakai sebagai kriteria yang lebih

baik dari penduga kuadrat terkecil (OLS).
 SELESAI

Terima Kasih