4.

Generalized Least Squares

4.1 GLS dan Gauss-Markov Teorema. . . . . . . . . . . . . . . . . . . . . . . . .
4.2 Skedastic Regresi. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3 Estimasi Skedastic Regresi. . . . . . . . . . . . . . . . . . . . . . . . . . .
4.4 Pengujian untuk Heteroskedastisitas. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
.

4,5 GLS Estimasi Kelayakan. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.6 Kovarian Matrix Estimasi. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. 7 Komentar: FGLS dibandingkan OLS. . . . . . . . . . . . . . . . . . . . . . . . . . . .
Bab 4

Generalized Least Squares

4.1 GLS dan Gauss-Markov Teorema

Model regresi linear

y i = x 0 saya β + e saya

E (e i | x i) = 0

membebankan kondisi nol berarti kondisional. Ini adalah lebih kuat dari kondisi orthogonality
E (x saya e i) = 0. Kondisi kuat ini dapat dimanfaatkan untuk meningkatkan estimasi e FFI efisiensi. Ingat definisi de dari varians
¢.
bersyarat σ 2 i = E ¡ e 2 i | x saya
Itu Generalized Least Squares ( GLS) estimator β adalah

β~ = ¡ X 0 D - 1 X ¢ - 1 ¡ X 0 D - 1 Y ¢ (4.1)

dimana • •
σ 21 0 · 0
• 0 σ 22 · 0 •
• •
D = diag {σ 21, ..., σ 2 n} = • .. .. .. .. • .
• . . . . •
0 0 · σ2n

GLS estimator kadang-kadang disebut estimator Aitken.

Sejak Y = Xβ + e, kemudian

β~ = β + ¡ X 0 D - 1 X ¢ - 1 ¡ X 0 D - 1 e ¢.
³~ '
Sejak D adalah fungsi dari X, E β|X = β dan

V ar ( ~β | X) = ¡ X 0 D - 1 X ¢ - 1 X 0 D - 1 DD - 1 X ¡ X 0 D - 1 X ¢ - 1

= ¡ X 0 D - 1 X ¢ - 1.

Kelas estimator linier berisi mengambil bentuk

β~ L = KAPAK) 0 Y, KAPAK) 0 X = I k

40
dimana A (X), n × k, adalah fungsi hanya dari X. Ini disebut linear karena merupakan fungsi linier dari Y, meskipun nonlinear
di X. OLS adalah kasus A (X) = X (X 0 X) - 1 dan GLS ini terjadi
A (X) = D - 1 X ¡ X 0 D - 1 X ¢ - 1. Perhatikan bahwa
³~ '
E βL| X = KAPAK) 0 Xβ = β

β L~ adalah
begitu berisi. Jadi ~ β L = β + A (X) 0 e, dan varians adalah

V ar ( ~β L | X) = A (X) 0 DA (X).

“Terbaik” estimator dalam kelas ini adalah satu dengan varians terkecil.

Teorema 4.1.1 ( Gauss-Markov). Yang terbaik (minimum-variance) berisi estimator linear adalah GLS.

Bukti. Membiarkan SEBUAH * = D - 1 X ¡ X 0 D - 1 X ¢ - 1 dan SEBUAH menjadi lain n × k fungsi dari X seperti yang

SEBUAH 0 X = I k. Kita perlu menunjukkan bahwa SEBUAH 0 DA ≥ SEBUAH * 0 DA *.

Membiarkan C = A - SEBUAH *. Perhatikan bahwa

C 0 X = A 0 X - SEBUAH * 0 X

= saya k - saya k = 0

dan

C 0 DA * = C 0 DD - 1 X ¡ X 0 D - 1 X ¢ - 1

= C 0 X ¡ X 0 D - 1 X ¢ - 1 = 0.

Kemudian

SEBUAH 0 DA = (C + A *) 0 D (C + A *)

= C 0 DC + C 0 DA * + SEBUAH * 0 DC + A * 0 DA *

= C 0 DC + A * 0 DA * ≥ SEBUAH * DA * 0.

The Gauss-Markov teorema memberitahu kita bahwa OLS estimator adalah ine FFI efisien dalam model regresi linear, dan
bahwa dalam kelas estimator linier, GLS adalah e FFI efisien. Namun, pembatasan untuk estimator linier tidak memuaskan,
seperti daun teorema membuka kemungkinan bahwa estimator non-linear bisa lebih rendah berarti kesalahan squared dari
estimator GLS.
Chamberlain (1987) didirikan hasil yang lebih kuat dan umum. Dia menunjukkan bahwa dalam model regresi, tidak ada
estimator yang konsisten teratur dapat memiliki varians asimtotik lebih rendah dari estimator GLS. Menetapkan ini bahwa GLS
estimator adalah asimtotik e FFI efisien. Bukti dari teorema nya cukup mendalam dan kita tidak bisa menutupinya sini.

Dalam Bagian 1.3 kita mengklaim bahwa OLS adalah asimtotik e FFI efisien di kelas model dengan
E (x saya e i) = 0. Sekarang kami telah menunjukkan bahwa OLS adalah ine FFI efisien jika E (e i | x i) = 0. Keuntungan dari e FFI efisiensi
(melalui penggunaan GLS) datang melalui eksploitasi mean asumsi kondisional kuat, yang memiliki biaya berkurang ketahanan.
Jika E (e i | x saya) 6 = 0 maka GLS estimator akan konsisten untuk proyeksi koefisien FFI efisien β, tetapi OLS akan konsisten.

41
4.2 Skedastic Regresi

Kecuali dalam kasus khusus dari kesalahan homoskedastic (di mana D = Iσ 2 dan GLS = OLS), hasil bagian acara
sebelumnya yang di OLS model regresi adalah ine FFI efisien. Namun, GLS estimator tidak layak karena D tidak diketahui.
Beberapa bagian berikutnya mengeksplorasi metode untuk implementasi layak dari GLS estimator perkiraan.

Misalkan varians bersyarat mengambil bentuk parametrik

σ2i= α0+ z0 1 saya α1

= α 0 z saya,

dimana z 1 saya beberapa q × 1 fungsi dari x saya. Khas, z 1 saya adalah kotak (dan mungkin tingkat) dari beberapa (atau semua) unsur x saya. Seringkali bentuk
fungsional disimpan sederhana untuk penghematan.
Membiarkan η i = e 2 i. Kemudian

E (η i | x i) = α 0 + z 0 1 saya α1

dan kami memiliki persamaan regresi

ηi= α0+ z0 1 saya α 1 + ξ saya (4.2)

E (ξ i | x i) = 0.

Hal ini membantu untuk berpikir tentang kesalahan regresi ξ saya. Ini memiliki varians bersyarat
¢
V ar (ξ i | x i) = V ar ¡ e 2 i | x saya
³¡ e 2 saya - E ¡ e 2 i | x saya ¢¢ 2 | x saya '
=E
¢ - ¡ E ¡ e 2 i | x saya ¢¢ 2.
= E ¡ e 4 i | x saya

Jika e saya adalah heteroskedastic, maka V ar (ξ i | x saya) akan tergantung pada x saya. Sebaliknya, ketika e saya independen dari

x saya maka itu adalah konstan

¢ - σ4
V ar (ξ i | x i) = E ¡ e 4 saya

dan di bawah normalitas itu menyederhanakan fi es untuk

V ar (ξ i | x i) = 2 σ 4. (4.3)

4.3 Estimasi Skedastic Regresi

Seharusnya e i ( dan dengan demikian η saya) diamati. Maka kita bisa memperkirakan α oleh OLS:

α̂ = ¡ Z 0 Z ¢ - 1 Z 0 η → p α
α

dan
√n(ˆ
α - α) → d N ( 0, V α)

dimana
¢¢ - 1 E ¡ z saya z 0 ¢ ¡ E ¡ z saya z 0 ¢¢ - 1.
V α = ¡ E ¡ z saya z 0 saya saya ξ 2 saya saya
(4.4)

Sementara e saya tidak diamati, kita memiliki OLS residual ˆ ˆβ = e saya - x 0 saya( ˆ β
e i = y saya - x 0 saya ˆβ - β). Jadi

η̂ - η i = ˆ
η e 2 saya - e 2 saya
³ˆ '
= - 2 e saya x 0 saya β-β +( β - β) 0 x saya x 0 saya(β
β̂ˆ - β)

= φ saya,

42
mengatakan. Perhatikan bahwa

Xn Xn √n ³ˆ ' n
1 1 X
√n z saya φ i = - 2 z saya e saya x 0 sayaβ -β + β ˆ- β) 0 x saya x 0 saya(β
z saya( β̂ˆ - β) √ n
n n
i=1 i=1 i=1
→ p0

Membiarkan

α~ = ¡ Z 0 Z ¢ - 1 Z 0 ˆ η (4.5)

berasal dari regresi OLS dari ˆ η saya di z saya. Kemudian

√n(~
α - α) = √ n ( ˆ α - α) + ¡ n - 1 Z 0 Z ¢ - 1 n - 1/2 Z 0 φ
→ dN ( 0, V α) (4.6)

Jadi fakta bahwa η saya diganti dengan ˆ η saya adalah asimtotik tidak relevan. Kita mungkin menyebutnya (4,5) yang

skedastic regresi, seperti yang memperkirakan varians bersyarat dari regresi y saya di x saya.
Kami telah menunjukkan bahwa α secara konsisten diperkirakan oleh prosedur sederhana, dan karenanya kita dapat memperkirakan σ 2 i = z 0

saya α olehσ~ 2 i = z 0saya

α. Kita
~ sekarang membahas bagaimana menggunakan hasil ini untuk menguji hipotesis tentang α,
dan membangun estimator FGLS untuk β.

4.4 Pengujian untuk Heteroskedastisitas

¢ = σ 2, atau ekuivalen yang
Hipotesis dari homoskedasticity adalah bahwa E ¡ e 2 i | x saya

H 0: α 1 = 0

dalam regresi (4.2). Oleh karena itu kita dapat menguji hipotesis ini dengan estimasi (4,5) dan membangun statistik
Wald.
hipotesis ini tidak berarti bahwa ξ saya independen dari x saya. Biasanya, namun, kami memberlakukan hipotesis kuat dan
menguji hipotesis bahwa e saya independen dari x saya, dalam hal ini ξ saya independen dari x saya dan varians asimtotik (4.4) untuk ~
α menyederhanakan fi es untuk

¢¢ - 1 E ¡ ξ 2 saya ¢.
V α = ¡ E ¡ z saya z 0 saya (4.7)

Oleh karena itu tes standar H 0 adalah klasik F ( atau Wald) tes untuk mengesampingkan semua regressors dari regresi
skedastic (4,5). The asimtotik distribusi (4.6) dan varians asimtotik (4.7) di bawah menunjukkan bahwa kemerdekaan tes ini
memiliki distribusi chi-kuadrat asimtotik.

teorema 4.4.1 Dibawah H 0, dan e saya independen x saya, tes Wald dari H 0 adalah asimtotik χ 2 q.

Kebanyakan tes untuk heteroskedastisitas mengambil bentuk dasar ini. The di utama ff perbedaan-perbedaan antara “tes” populer adalah
yang transformasi dari x saya memasukkan z saya. Termotivasi oleh bentuk varians asimtotik dari estimator OLS ˆ

β, Putih (1980) mengusulkan bahwa tes untuk heteroskedastisitas didasarkan pada

pengaturan z saya untuk sama semua elemen non-berlebihan x saya, kotak, dan semua cross-produk. BreuschPagan (1979) mengusulkan apa yang
mungkin muncul untuk menjadi tes yang berbeda, tapi satu-satunya di ff selisih adalah bahwa mereka memungkinkan untuk pilihan umum z saya, dan
digunakan asumsi normalitas menggunakan penyederhanaan fi kasi (4.3) untuk tes mereka. Jika ini fi penyederhanaan diganti dengan rumus
standar (di bawah kemerdekaan kesalahan), dua tes bertepatan.

43
4,5 Kelayakan GLS Estimasi

Membiarkan

σ
~ 2 i = ~α 0 z saya.

Seandainya ~ σ 2 i> 0 untuk semua saya. kemudian mengatur

D~ = diag { ~ σ 21, ..., ~σ 2 n}

dan ³ '-1X0~
β~ = X 0 ~D - 1 X D - 1 Y.

Ini adalah GLS layak, atau FGLS, estimator β.

Karena tidak ada spesifik kasi unik untuk varians bersyarat FGLS estimator tidak unik, dan akan tergantung pada
model (dan metode estimasi) untuk regresi skedastic.
Satu masalah yang khas dengan pelaksanaan estimasi FGLS adalah bahwa dalam kation linear regresi spesifik, tidak
ada jaminan bahwa ~ σ 2 i> 0 untuk semua saya. Jika ~ σ 2 i < 0 untuk beberapa saya, maka FGLS

estimator tidak baik didefinisikan. Selain itu, jika ~ σ 2 saya ≈ 0 untuk beberapa saya, maka FGLS estimator akan memaksa

persamaan regresi melalui titik ( y saya, x saya), yang biasanya tidak diinginkan. Hal ini menunjukkan bahwa ada kebutuhan
untuk terikat perkiraan varians jauh dari nol. Aturan pemangkasan mungkin masuk akal:

σ 2 i = max [~σ
[~ σ 2 i, σ 2]

untuk beberapa σ 2> 0.

Hal ini dimungkinkan untuk menunjukkan bahwa jika regresi skedastic adalah benar dispesifikasikan, maka FGLS adalah
asimtotik setara dengan GLS, tetapi bukti ini rumit dalam struktur notasi kami. Kami hanya menyatakan hasil tanpa bukti.

teorema 4.5.1 Jika regresi skedastic adalah benar dispesifikasikan,

√n ³~ ' → p 0,
β GLS - ~ β FGLS

√n ³~ ' → d N ( 0, V),
dan dengan demikian

β FGLS - β

dimana
¢¢ - 1.
V = ¡ E ¡ σ - 2 saya x saya x 0 saya

4.6 Kovarian Matrix Estimasi

Memeriksa distribusi asimtotik dari Teorema 4.5.1, estimator alami dari varians asymptotic ˆ
β adalah
SEBUAH !-1 μ1 ¶-1
Xn
1
V~ 0 = σ
~ saya
-2
x saya x 0 saya = D-1 X .
n nX 0 ~
i=1

yang konsisten untuk V sebagai n → ∞. estimator ini ~ V 0 adalah tepat ketika regresi skedastic
(4.2) adalah benar dispesifikasikan.

Mungkin kasus yang α 0 z saya hanya merupakan pendekatan dengan varians bersyarat benar σ 2 i =
E (e 2 i | x saya). Dalam hal ini kita menafsirkan α 0 z saya sebagai proyeksi linear dari e 2 saya di z saya. ~ β mungkin harus menjadi

44
disebut kuasi-FGLS estimator β. varians asymptotic adalah tidak seperti yang diberikan dalam Teorema 4.5.1. Sebagai gantinya,

³ '' - 1 ³
³¡ α 0 z saya¢ - 1 x saya x 0 saya ³¡ α 0 z saya¢ - 2 σ 2 saya x saya ''³
x 0 saya '' - 1.
³¡ α 0 z saya¢ - 1 x saya x 0 saya
V= E E E

V mengambil bentuk roti, mirip dengan matriks kovarians dari OLS estimator. Kecuali kalau σ 2 i = α 0 z i,
V~ 0 tidak konsisten untuk V.
Solusi yang tepat adalah dengan menggunakan White-jenis estimator di tempat ~ V 0. Hal ini dapat ditulis
sebagai

SEBUAH ! - 1 SEBUAH !SEBUAH !-1

Xn
1 1 X
n
1 X
n

V~ = σ
~ saya
-2
x saya x 0 saya σ
~ saya
-4 eê
ˆ 2 saya x saya x 0 saya σ
~ saya
-2
x saya x 0 saya
n n n
i=1 i=1 i=1
³ '-1³ '³ '-1
=n X 0 ~D - 1 X X 0 ~D - 1 ˆ D ~D - 1 X X 0 ~D - 1 X

dimana ˆ D = diag { ˆ e 21, ..., ˆe 2 n}. Ini adalah estimator yang kuat untuk misspeci fi kasi menderita penyakit tersebut
varians tional, dan diusulkan oleh Cragg ( Jurnal Ekonometrika, 1992).

4.7 Komentar: FGLS vs OLS

Dalam model regresi, FGLS adalah asimtotik unggul OLS. Lalu mengapa kita tidak secara eksklusif memperkirakan model regresi
dengan FGLS? Ini adalah pertanyaan yang bagus. Ada tiga alasan.
Pertama, estimasi FGLS tergantung pada spesi fi kasi dan estimasi regresi skedastic. Karena bentuk regresi skedastic tidak
diketahui, dan dapat diperkirakan dengan kesalahan yang cukup besar, varians bersyarat diperkirakan mungkin berisi lebih banyak
suara daripada informasi tentang varians bersyarat benar. Dalam hal ini, FGLS akan melakukan lebih buruk daripada OLS dalam
praktek.
Kedua, individu diperkirakan varians bersyarat mungkin negatif, dan ini membutuhkan pemangkasan untuk memecahkan. Ini
memperkenalkan unsur kesewenang-wenangan yang mengganggu untuk peneliti empiris.
Third, OLS is a more robust estimator of the parameter vector. It is consistent not only in the regression model, but
also under the assumptions of linear projection. The GLS and FGLS estimators, on the other hand, require the
assumption of a correct conditional mean. If the equation of interest is a linear projection, and not a conditional mean,
then the OLS and FGLS estimators will converge in probability to different limits, as they will be estimating two different
projections. And the FGLS probability limit will depend on the particular function selected for the skedastic regression.
The point is that the efficiency gains from FGLS are built on the stronger assumption of a correct conditional mean, and
the cost is a reduction of robustness to misspecification.

45