BAB 9

MULTICOLLINEARITY
Presentation by group 5
Gregorius Vidy Prasetyo (1506735414)
Muhammad Irfan Rokhib (1506735484)
Mukhammad Rekza Mufti (1506735603)
Taufik Anwar (1506735566)
9.1 INTRODUCTION

 Jika tidak terdapat hubungan linier antar

regressor, maka dikatakan orthogonal. Dalam
beberapa keadaan regressornya hampir sangat
terkait secara linier, dan dalam kasus serupa
kesimpulannya berdasarkan model regresi dapat
menyesatkan atau salah. Ketika terdapat near-
linear dependencies antar regressor, maka
terdapat masalah multikolinier.
 9.2 PENYEBAB MULTIKOLINIERITAS
 Model multiple regresi:
Y=X𝜷 + 𝜺
Y= vektor respon dengan ukuran n x 1
X= matriks variable regressor dengan ukuran n x p
𝜷= vektor konstanta yang tidak diketahui dengan
ukuran p x 1
𝜺= vektor random error dengan ukuran n x 1
𝜺𝑖 ~𝑁𝐼𝐷 0, 𝜎 2
X’X matriks korelasi antara regressor dengan
ukuran p x p
X’y adalah vector korelasi antara regressor dan
respon dengan ukuran p x 1.
𝑿𝒋 = kolom ke j dari matriks X
X = [𝑿𝟏 , 𝑿𝟐 , … , 𝑿𝒑 ]
vektor 𝑿𝟏 , 𝑿𝟐 , … , 𝑿𝒑 dependen linier jika terdapat
himpunan konstanta 𝑡1 , 𝑡2 , … , 𝑡𝑝 semua tidak nol,
sedemikian sehingga
σ𝑝𝑗=1 𝑡𝑗 𝑿𝒋 = 𝟎 (9.1)
 jika persamaan (9.1) digunakan untuk subset dari
kolom X, maka rank dari matriks X’X kurang dari
p dan (𝑿′𝑿)−1 tidak ada. misalkan persamaan 9.1
kira-kira benar untuk semua subset dari kolom X.
maka akan terdapat sebuah near linear dependency
dalam X’X dan dapat dikatakan adanya masalah
multikolinieritas. Adanya multikolinieritas dapat
membuat analisis least square biasa dari model
regresi berkurang secara dramatis.
EMPAT PENYEBAB UTAMA
MULTIKOLINIERITAS
1. Metode pengumpulan data
Metode pengumpulan data dapat
menyebabkan masalah multikolinieritas ketika
sampel analis nya hanya sebuah subspace dari
region regressor yang didefinisikan menggunakan
persamaan (9.1). Secara umum, jika terdapat lebih
dari dua regressor, data nya kira-kira akan
terletak sepanjang sebuah hyperplace yang
didefinisikan dari persamaan (9.1).
Multikolinieritas disebabkan oleh teknik sampling
yang tidak melekat dalam model atau populasi
yang dijadikan sampel.
2. Batasan pada model atau di populasi
Levels dari dua variable regressor diperoleh di
data sampel yang ditunjukkan dalam Figure 9.1.
perhatikan datanya terletak mendekati garis lurus ,
maka berpotensi multikolinieritas. Batasan terkadang
terjadi dalam masalah yang melibatkan produksi
proses kimiawi, dimana regressornya merupakan
komponen hasil, dan komponen ini menambah
konstan.
3. Spesifikasi model
Multikolinieritas mungkin juga akibat dari
pemilihan model. Kita terkadang menemui keadaan
dimana dua atau lebih regressor secara dekat linierly
dependent dan menahan semua regressor ini dapat
menyebabkan multikolinieritas. Dalam kasus ini
bebrapa subset dari regressor biasanya lebih baik dari
sudut multikolinieritas.
4. OVERDEFINED MODEL
Sebuah overdefined model memiliki variable
regressor lebih banyak dari observasi. Model nya
terkadang ditemui dalam medis dan behavioral
research, dimana mungkin hanya terdapat sedikit
subjek (sampel unit) yang tersedia, dan informasi
yang dikumpulkan untuk jumlah yang besar dari
regressor pada setiap subjek. Pendekatan biasa
untuk mengatasi multikolinieritas dalam konteks
ini adalah menghapus beberapa variable
regresssor dari perhatian.
4. OVERDEFINED MODEL
Mason, Gunst, and Webster [1975] memberikan
tiga rekomendasi spesifik:
1. Definisikan ulang model dengan himpunan
regressor yang lebih sedikit,
2. Tunjukkan studi dasar hanya menggunakan
subset dari regressor awal, dan
3. Gunakan metode regresi principal-
componenttype untuk memutuskan regressor
mana yang dihilangkan dari model.
9.3 PENGARUH DARI MULTIKOLINIERITAS
Misal 𝑦 = 𝛽1 𝑥1 + 𝛽2 𝑥2 + 𝜀
Persamaan normal least-square

Dimana r12 simple correlation antara x1 dan x2 dan rjy

simple correlation antara xj dan y, j=1,2.

Dan estimasi koefisien regresinya adalah

Dari persamaan (9.2) kita lihat 𝑟12 → 1, Var (𝛽መ𝑗 ) =
𝐶𝑗𝑗 𝜎 2 →∞ dan Cov ( 𝛽መ1 , 𝛽መ2 ) = 𝐶12 𝜎 2 →±∞ bergantung
pada 𝑟12 → +1 atau 𝑟12 → −1 .Ketika terdapat lebih
dari dua variable regresor, multikolinieritas
menghasilkan pengaruh yang sama. Ini dapat
ditunjukkan dari elemen diagonal C = (X’X)-1
1
(9.3) 𝐶𝑗𝑗 = j = 1,2,..,p
1−𝑅𝑗2

𝑅𝑗2 = koefisien dari multiple determinasi dari regresi 𝑥𝑗

sisa nya p - 1 variabel regressor.
Multikolinieritas juga menghasilkan taksiran least
square 𝛽መ𝑗 yang besar dalam nilai absolut. Untuk
melihat ini, misalkan jarak kuadrat dari 𝛽መ ke vector
parameter β yang sebenarnya,
Fitted model terkadang menghasilkan prediksi yang
memuaskan. Ini dapat terjadi karena kombinasi linier
mungkin menaksir cukup baik, walaupun individual
parameter β𝑗 diestimasi dengan kurang baik.
Sehingga, jika data awal terletak kira-kira sepanjang
hyperplane yang didefinisikan dari persamaan (9.1),
maka observasi selanjutnya yang juga terletak dekat
hyperplane ini terkadang dapat diprediksi walaupun
taksiran tidak cukup baik dari individual model
parameter.
9.4 MULTICOLLINEARITY
DIAGNOSTICS
9.4.1 Examination of the Correlation Matrix
9.4.2 Variance Inflation Factors
9.4.3 Eigensystem Analysis of X′X
9.4.1 EXAMINATION OF THE
CORRELATION MATRIX

If regressors xi and xj are nearly linearly

dependent, then |rij| will be near unity.
Figure 9.3 Predictions of percentage of conversion within the
range of the data and extrapolation for the least-squares
acetylene model. (Adapted from Marquardt and Snee [1975],
with permission of the publisher.)
 Reactor temperature (x1)
dan contact time (x3)
memiliki korelasai tinggi,
yang telah ditunjukan
pada matrik korelasi r13 =
- 0.958 (gambar 9.2)
 Memeriksa korelasi sederhana rij antara regresor
sangat membantu dalam mendeteksi
near-linear dependence antara pairs of
regressors saja. Sayangnya, bila lebih dari dua
regresor yang terlibat dalam near-linear
dependence , tidak ada jaminan bahwa
salah satu korelasi berpasangan rij akan besar.
Sebagai ilustrasi, perhatikan datanya di Table
9.4.
 Standardized Acetylene Dataa

Tidak ada korelasi berpasangan rij yang curiga besar, dan

akibatnya kita memiliki tidak ada indikasi ketergantungan
yang hampir linier di antara regresor. Umumnya, inspeksi
rij tidak cukup untuk mendeteksi sesuatu yang lebih
kompleks daripada pairwise multicollinearity.
.
9.4.2 VARIANCE INFLATION FACTORS
 Elemen diagonal matrik C = (X’X)-1 sangat
berguna untuk mendeteksi multikolinearitas.
9.4.3 EIGENSYSTEM ANALYSIS OF X′X
 Akar karakteristik atau nilai eigen dari X'X,
katakanlah λ1, λ2, ..., λp, dapat digunakan untuk
mengukur tingkat multikolinearitas dalam data.
Jika ada satu atau lebih mendekati linier
Ketergantungan pada data, maka satu atau lebih
dari akar karakteristiknya akan kecil. Satu atau
Nilai eigen yang lebih kecil menyiratkan bahwa
ada depenensi di dekat kolom di antara kolom
dari X. Beberapa analis lebih memilih untuk
memeriksa kondisi jumlah X'X, yang
didefinisikan sebagai
 Ini hanyalah ukuran penyebaran spektrum eigenvalue
X'X. Umumnya, κ kurang dari 100, tidak ada masalah
serius dengan multikolinearitas.
 κ antara 100 dan 1000 menyiratkan multikolinearitas
sedang sampai kuat,
 dan jika κ melebihi 1000, menunjukan
multikolinearitas berat
 condition indices dari matriks X'X adalah
EIGENSYSTEM ANALYSIS

 Λ : matrik diagonal p x p yang elemen diagonal

utamanya adalah nilai eigen λj (j = 1, 2,…, p) X′X .
 T : matrik ortogonal p x p yang kolomnya adalah
vektor eigen dari X'X.

 U : matriks yang kolomnya adalah vektor eigen yang

terkait dengan nilai eigen p taknol dari XX '.
 ෡
Covariance matrix of 𝜷

 VIF
9.4.4 OTHER DIAGNOSTICS
 X’X determinan indeks
multikolinearitas.
0 ≤ |X’X|≤ 1.
 Jika |X’X| = 1, regressor orthogonal. Jika
|X’X|= 0, terdapat hubungan linear yang
tepat diantara regressor.
 Tingkat multikolinearitas semakin parah
ketika |X’X| mendekati nol.
MENGIDENTIFIKASI
MULTIKOLINEARITAS
 Ketika uji serentak (uji-F) pada regressor
signifikan, namun saat uji parsial (uji-t) tidak
signifikan. Mengindikasikan adanya
multikolinearitas pada model.
 Ketika menambah atau mengurangi regressor
terjadi perubahan besar pada keofisen regresi,
memungkinkan adanya multikolinearitas.
 Penghapusan satu atau beberapa nilai oobservasi
yang menghasilkan perubahan besar dalam
koefisien regresi juga harus diwaspadai
kemungkinan multikolinearitas.
9.5 METODE MENGHADAPI
MULTIKOLINEARITAS
 Collecting additional data
 Model respecification

 The use of estimation methods other than least

squares
COLLECTING ADDITIONAL DATA
 Hal ini dapat dihindari dengan mengumpulkan
beberapa data tambahan pada titik-titik yang
dirancang untuk memecah potensi
multikolinieritas, yaitu pada titik di mana kasus
berukuran kecil dan jaraknya besar dan titik di
mana kasus berukuran besar dan jaraknya kecil.
MODEL RESPECIFICATION
 Melakukan spesifikasi/eliminasi variabel yang
tepat.
 Jika x1, x2, x3, hampir memiliki hubungan
linear, ada kemungkinan membuat fungsi x =
(x1+x2)/x3 untuk menghindarkan terjadi
multikolinearitas dan informasi regressor asli
masih ada.
RIDGE REGRESSION

OLS  estimator kuadrat-terkecil memiliki varians minimum di

kelas yang estimasi linear tidak bias. Tapi, distribusi sampling
(gambar kiri), estimator tak bias β, ditunjukkan. Variansnya
besar, menyiratkan bahwa interval kepercayaan pada β akan
melebar dan perkiraan titik sangat tidak stabil.
Solusi:
 Salah satu prosedur untuk mendapatkan estimator
bias koefisien regresi adalah ridge regression.

k ≥ 0 (konstan/parameter bias).

(estimator bias β)
 Mean Square Error

λ1 , λ2 , …, λp adalah eigenvalue X’X.

 Sum Square of residual
RELATIONSHIP TO OTHER ESTIMATE

 Ridge regression mirip dengan Bayesian

Estimation.
 Secara umum informasi tentang 𝜷dapat di
deskripsikan melalui p-variate normal distribution
dengan mean vector 𝜷𝟎 dan covariance matrix 𝑽𝟎 ,
maka Bayes estimator untuk 𝜷 adalah
 Jika kita memilih mean 𝜷𝟎 = 0 dan 𝑽𝟎 = 𝝈𝟐𝟎 𝑰 maka
kita akan dapatkan:

• Metode least square dapat kita lihat sebagai

Bayes estimator menggunakan unbounded
uniform prior distribution untuk 𝜷
METHODS FOR CHOOSING K
 Kontroversi dalam pemilihan metode Ridge
Regression terletak pada pemilihan bias
parameter k. Memilih k dengan menginspeksi
ridge trace merupakan prosedur subjective yang
murni menggunakan judgement dari data
analyst.
 Hoerl, Kennard, dan Baldwin menyarankan
pemilihan k yang tepat adalah sbb:
 Dimana 𝜷 ෡ dan 𝝈
ෝ𝟐 dicari menggunakan least square
solution. Mereka menunjukkan dengan simulasi
bahwa hasil dari ridge estimator memiliki
improvement yang signifikan terhadap MSE
dibanding least square.
 McDonald dan Galarneau menyarankan pemilihan
k sbb:

 Ada banyak kemungkinan dalam pemilihan k.

Masing-masing ahli memiliki beberapa metodenya
sendiri.
9.5.4 PRINCIPAL COMPONENT
REGRESSION
 Biased estimator dari koefisien regresi dapat
didapatkan menggunakan prosedur yang dikenal
sebagai principal-component regression.
Misalkan bentuk canonical dari model:

 Dimana

 Perhatikan bahwa Λ = 𝑑𝑖𝑎𝑔(𝜆1 , 𝜆2 , … , 𝜆𝑝 ) adalah

𝑝 × 𝑝 diagonal matrix eigenvalues dari X’X dan T
adalah 𝑝 × 𝑝 matrix orthogonal dengan kolom
yang merupakan eigenvector 𝜆1 , 𝜆2 , … , 𝜆𝑝
 Kolom matrix Z, mendefeinisikan sebuah
orthogonal regressors, yaitu:

 Dan dapat disebut sebagai principal components.

 Least square estimator dari 𝜶
ෝ adalah

 Dan covariance dari matrix 𝜶

ෝ adalah
 Nilai eigenvalue yang kecil dari X’X berarti bahwa
variance dari corresponding orthogonal regression
coefficient akan menjadi besar. Karena

 Kita terkadang merujuk nilai eigenvalue 𝜆𝑗 sebagai

variance dari principal component ke-j. Jika semua
nilai 𝜆𝑗 sama, maka original regressors.
 Perhatikan juga bahwa covariance matrix of
෡ adalah
standardized regression coefficients 𝜷
 Hal ini menunjukkan bahwa variance dari 𝛽መ𝑗 adalah
𝑝
𝜎ො 2 (σ𝑗=1 𝑡𝑗𝑖2 /𝜆𝑖 ) . Variance dari 𝛽መ𝑗 adalah kombinasi
linear dari reciprocal of the eigenvalues.
 Kita telah melihat sebelumnya bagaimana
eigenvalues dan eigenvector dari X’X memberikan
informasi spesifik dalam multikoliniearitas. Karena
Z = XT, kita bisa mendapatkan

 Dimana Xj adalah kolom ke j dari matrix X dan 𝑡𝑗𝑖

adalah element ke i kolom dari T
 Dalam principal component regression, principal
components correspondence yang eigenvaluesnya
mendekati nol dikeluarkan dari analysis dan least
square digunakan pada komponen yang masih ada.
Yakni dapat kita tulis:

 Dimana 𝑏1 = 𝑏2 = ⋯ = 𝑏𝑝−𝑠 = 1 dan 𝑏𝑝−𝑠+1 = ⋯ =

𝑏𝑝 = 0. Maka principal component estimatornya