Generalized Least Squares (GLS)

Varian lain dari metode least squares adalah Generalized Least Squares (GLS).
Metode ini digunakan ketika asumsi-asumsi yang disyaratkan oleh metode OLS
(homokedastis dan nonautokorelasi) tidak terpenuhi. Sebagaimana telah saya
sebutkan sebelumnnya, penggunaan OLS pada kondisi seperti ini akan
menghasilkan penduga parameter regresi yang tidak lagi efisien dan dapat
memberikan penarikan kesimpulan (inferensi) yang menyesatkan.
Jika semua asumsi yang disyaratkan terkait residual dalam metode OLS terpenuhi,
matriks varian-kovarian residual merupakan matriks diagonal dengan element pada
diagonal utama konstan (2). Dalam notasi matriks dapat dituliskan sebagai berikut:
= 2I ................................(1)
Pada kondisi seperti ini, penduga OLS yang bersifat BLUE bagi parameter regresi
adalah
b = (XX)-1 Xy..................(2)
Jika terjadi pelanggaran asumsi (terjadi heterokedastisitas dan atau autokorelasi),
struktur matriks dari tidak lagi seperti pada persamaan (1), melainkan bervariasi
bergantung pada jenis pelanggaran asumsi yang terjadi, yakni apakah terjadi
heterokedastisitas tanpa autokorelasi, homoskedastis tetapi terjadi autokorelasi,
atau terjadi heterokedastisitas sekaligus autokorelasi. Ketiga kemungkinan ini akan
menghasilkan struktur matriks yang berbeda-beda. Dengan lain perkataan, struktur
matriks lebih umum atau general jika dibandingkan dengan kondisi dimana asumsi
homokedastis dan nonautokorelasi terpenuhi. Penduga GLS bagi parameter regresi
mengakomodasi struktur matriks yang berbeda-beda tersebut ke dalam teknik
estimasi. Dan secara matematis, formula untuk menduga parameter regresi dengan
metode GLS dapat dituliskan sebagai berikut:
b = (X -1 X)-1 X -1y.....................(3)
Penduga parameter yang diperoleh dari persamaan (3) juga bersifat BLUE. Bisa
Anda lihat, pada persamaan (3) matriks hadir dalam formula yang digunakan,
tidak seperti halnya pada persamaan (2). Dan inilah yang saya maksud dengan
mengakomadasi atau berdamai dengan pelanggaran asumsi yang terjadi.
Weighted Least Squares (WLS)
Terkait struktur matriks yang mungkin ketika terjadi pelanggaran asumsi, salah
satu kasus khusus dari GLS adalah kondisi dimana terjadi heterokedastisitas dan
nonautokorelasi. Pada kondisi ini, element pada diogonal utama matriks tidak lagi
konstan seperti
pada
persamaan
(1) (i2).
Disebut weighted least square karena pada metode ini digunakan "weight" atau
pembobot yang proporsional terhadap inverse(kebalikan) dari varians variabel
respon sehingga diperoleh residual baru yang memiliki sifat seperti pada regresi
dengan OLS. Formula yang digunakan untuk mengestimasi parameter regresi
dengan
metode
ini
adalah
sebagai
berikut:
b = (X V-1 X)-1 X V-1y..................(4)

dimana matriks V-1 adalah matriks diagonal dengan element pembobot (wi) pada
diagonal utama. Karena itu,
matriks ini disebut matriks pembobot.
Dalam paraktek, pembobot adalah nilai-nilai populasi yang tidak diketahui secara
langsung sehingga harus diestimasi berdasarkan data sampel. Dan pertanyaan
penting terkait hal ini adalah bagaimana cara memperoleh pembobot yang benarbenar memuaskan. Jawaban akan pertanyaan ini telah dibahas dalam berbagai
buku teks ekonometrika. Software-software statistik telah memberikan fasilitas
kepada kita untuk menentukan pembobot ketika kita bekerja dengan WLS.
Note: Jika terjadi heterokedastisitas, WLS dapat digunakan sebagai solusi.
Feasible Generalized Least Square (FGLS)
Dalam praktek, element-element dari matriks adalah nilai-nilai populasi yang tidak
dapat diketahui secara langsung sehingga perlu diestimasi. Kondisi ini
menyebabkan formula pada persamaan (2) tidak lagi feasible atau tidak dapat
digunakan dalam praktek. Karena itu, element-element dari matriks diestimasi
berdasarkan residual yang diperoleh dari teknik OLS.Terkadang dilakukan iterasi
untuk memperoleh penduga yang benar-benar efisien