Pengertian collinearity

Collinearity melibatkan hubungan variabel independen (prediktor) satu sama lain. Penskalaan
berkaitan dengan unit di mana variabel yang diteliti dan artinya diukur. Beberapa jenis
masalah kolinearitas (misalnya, yang melibatkan istilah regresi polinom) dapat dinyatakan
sebagai masalah penskalaan dan, oleh karena itu, dapat dengan mudah diselesaikan.
Kolinearitas dua predictor
Masalah yang berkaitan dengan kolinearitas dapat diilustrasikan dengan contoh
regresi dua variabel sederhana. Pertimbangkan untuk menyesuaikan modelnya
Y i=β 0 + β 1 X i 1+ β 2 X i 2 + Ei

menghasilkan ^
β 0, ^
β 1, dan ^β 2. Secara umum, kita dapat menunjukkan bahwa

^β =C
j J
[ 1
2
1−r ( X 1 , X 2 ) ]
untuk j = 1 atau j = 2. Di sini cj adalah nilai yang bergantung pada data, dan r²(X₁,
X₂) adalah korelasi kuadrat antara X₁ dan X₂. Pada gilirannya,
^β =Y − ^
β1 X1− ^
β2 X 2
0

jadi

Y − ^β0 = ^β 1 X 1 + β^ 2 X 2=
[ 1
1−r ( X 1 , X 2 )]( C 1 X 1 +C 2 X 2 )

Di sini, X 1 dan X 2 , masing-masing adalah rata-rata dari X₁ dan X₂. Ekspresi ini
memberitahu kita bahwa dan Y − ^β0 semuanya sebanding dengan 1/1[1-r 2 (X₁, X₂)].
Lebih khusus lagi, ini informatif pertimbangkan untuk menyesuaikan model
Y i=θ 0+ θ1 X i 1+ 02 X i1 + E i

Dalam hal ini, a satu variabel, X₁, dimasukkan ke dalam model sebanyak dua kali.
Apa perkiraan koefisien regresi? Karena r²(X₁, X₂) = r²(X₁, X₁) = 1, maka 1-
r²(X₁X₂) = 0 dan

θ^ j=c ∫
1
0
=? ()
Dari sini kami menyimpulkan bahwa perkiraan koefisien regresi tidak tentu.
Karena perkiraan varians dari koefisien regresi sebanding dengan "faktor inflasi" 1/[1-
r²(X₁, X₂)], mereka juga tak tentu. Pada gilirannya, nilai-P untuk pengujian tentang
koefisien adalah juga tak tentu, karena melibatkan estimasi yang baru saja dibahas.
Model sebelumnya dapat ditulis ulang dalam bentuk
Y i=θ 0+ ( θ1 +θ2 ) X i 1 + Ei

yang menetapkan bahwa jumlah pasanganθ1, dan θ2 , yang tak terbatas jumlahnya
berjumlah nilai efisien yang sama; sehingga perkiraan koefisien X₁-katakanlah, θ^
1 +θ2
tidak memungkinkan penentuan unik dari perkiraan individu θ1, dan θ2 . Akibatnyaθ1
dan θ2tidak dapat diestimasi secara terpisah. Misalnya, jika taksiran sebenarnya untuk
kemiringan X 1 adalah 12,5 maka θ^ 1=12,5, θ^ 2 =0 adalah komponen-komponennya,
seperti halnya θ1=¿0, θ2=¿ 12,5 dan θ1=¿6, θ2 =6,5, dan seterusnya. Dalam contoh
ekstrim ini, salah satu variabel prediktor adalah kombinasi linier sempurna yang lain
yaitu,
X 1 =∝+ β X 2=0+ ( 1 ) X 2=X 2

Secara geometris titik-titik ( X i 1 , X i 2) semuanya jatuh pada garis lurus X 1 X₂; oleh
karena itu, istilah collined dapat diterapkan.
Data berikut memberikan contoh yang sedikit lebih umum:
X1 X2
0 3
1 5
3 9
4 11
7 17

Memplot X₂ terhadap X₁ menghasilkan gambaran yang sangat sederhana, seperti

yang ditunjukkan pada Gambar 12-16. Plot tersebut menggambarkan bahwa semua
titik data ( X i 1 , X i 2)) jatuh tepat pada garis lurus X 2 = 3 + 2X , yang menunjukkan
2
bahwa X 1 & X₂ tepat kolinear. Selain itu, r ( X 1 , X 2) =1secara langsung mengukur
kolinearitas sempurna. Masalah kolinearitas hanya melibatkan variabel prediktor dan
tidak bergantung pada hubungan antara respons dan salah satu prediktor. Ketika
r 2 ( X 1 , X 2) menurun, masalah kolinearitas antara X 1 dan X 2 menjadi kurang parah,
dengan situasi ideal terjadi jika X 1 dan X 2 , tidak berkorelasi.

GAMBAR 12-16 Himpunan pasangan nilai variabel yang kolinear sempurna: X 2

=3+2X
 Sebagai contoh lain, pertimbangkan untuk memasang model kuadrat

Y i=β 0 + β 1 X i+ β 2 X i2 + Ei

ke data kalibrasi teknik yang diberikan dalam output komputer di bagian 12-2.
Dalam hal ini, ukuran r ( X 1 , X 2) = r ( X , X ) adalah ukuran derajat kolinearitas antara
2 2 2

X dan X². rata-rata nilai X (tercantum dalam keluaran komputer sebelumnya) adalah
40 Tabel 12-1 menampilkan efek pengurangan berbagai konstanta dari semua nilai-X.
¿
Nilai-nilai baru dihitung sebagai X i =( X i−a)untuk berbagai nilai a antara-4 dan 4.1,
termasuk a = 0 (asli dan Rata-rata X-a digeser dari rata-rata X oleh a, sedangkan
varians X-a adalah sama dengan yang dari X.
TABEL 12-1 Efek pengurangan konstanta pada r ¿]untuk contoh kalibrasi (n=17),
di mana X* = X – a.

Konsep Kolinearitas

Seperti yang kita amati dalam contoh yang baru saja dibahas, kolinearitas melibatkan
hubungan di antara variabel prediktor dan tidak secara langsung melibatkan variabel respons.

Kita memiliki K sebagai model. Contoh F, dengan model empat-prediktor

Y i=β 0 + β 1 X i 1+ β 2 X i 2 + β 3 X i 3 + β 4 X i 4 + Ei

empat model akan dipasang sebagai berikut:

X il =∝01 +∝21 X i 2 +∝31 X i 3 +∝41 X i 4 + Ei
 X i 2=∝02 +∝12 X i 1 +∝32 X i 3 +∝42 X i 4+ Ei

X i 3=¿ ∝03 +∝ 13 X i1 +∝23 Xi 2+∝ 43 X i4 +Ei ¿

X i 3=¿ ∝ 04 +∝ 14 Xi 1+∝24 X i2+∝ 34 Xi 3+ Ei¿

Untuk menilai kolinearitas, kita perlu mengetahui nilai-nilai R² terkait berdasarkan

kecocokan untuk model-model ini-yaitu, R²(X₁|X₂, X 3 , X 4), R²( X 2 | X 1 X 3 , X 4), R²( X 3 | X 1 X 2 ,
X 4) , dan R²( X 4| X 1 X 2 , X 3 ).

Seperti dijelaskan dalam contoh sebelumnya, dalam kasus khusus k=2, kolinearitas sempurna
berarti bahwa X 1 , adalah fungsi garis lurus dari katakanlah X 2 , X₁ = a + β X 2 -sehingga titik (
X I 1 , X I 2) semua jatuh pada garis