CAPTULO 9

Mnimos cuadrados generalizados y m

axima verosimilitud
9.1.

Introducci
on

En el marco del modelo cl

asico, los supuestos de homocedasticidad, E(u2i ) = u2 (i =
1, 2, . . . n), y ausencia de autocorrelaci
on, E(ui uj ) = 0 i = j (i, j = 1, 2, . . . n),
implican que la matriz de varianzas y covarianzas de u es escalar

u1


u2

V (u) =E[(u E(u))(u E(u ))] = E . u1 u2 . . . un

..

E(u21 ) E(u1 u2 ) . . .

E(u22 ) . . .
E(u2 u1 )
=
..
..
..

.
.
.

E(un u1 ) E(un u2 ) . . .

un

E(u1 un )
u2 0 . . .

E(u2 un ) 0 u2 . . .
= .
..
.. . .
.
.
.
.
.
E(u2n )
0 0 ...

0
2
..
= u I n
.

u2

El supuesto de homocedasticidad implica que todos los elementos de la diagonal principal

on
de V (u), las varianzas, son iguales a un escalar u2 , mientras que el de autocorrelaci
implica que los elementos situados fuera de la diagonal principal de V (u), las covarianzas,
son iguales a cero. Si relajamos estos dos supuestos, entonces la matriz de varianzas y
covarianzas deja de ser escalar

E(u21 )
12 12 . . . 1n
E(u1 u2 ) . . . E(u1 un )

E(u22 ) . . . E(u1 un ) 21 22 . . . 2n
E(u2 u1 )

V (u) =
..
..
..
..
..
..
..
= ..
=
.
.
.
.
.
.
.
.

E(u2n )
n1 n2 . . . n2
E(un u1 ) E(un u2 ) . . .
n 81. El modelo lineal general con perturbaciones no esfericas es
Definicio
Yi = 1 + 2 X2i + + k Xki + ui ,

i = 1, . . . , n

en donde E(ui ) = 0, E(u2i ) = i2 y E(ui uj ) = ij i = j, que podemos escribir en

notci
on matricial como y = X + u, con E(u) = 0 y E(uu ) = .
Observaci
on 55. Conviene escribir = u2 , para obtener el modelo lineal general
con perturbaciones esfericas como un caso especial del modelo con perturbaciones no
esfericas, = I.
En este captulo vamos a demostrar que en el modelo lineal general con perturbaciones no esfericas, hay un estimador alternativo y superior al estimador de mnimos
cuadrados ordinarios: el estimador de mnimos cuadrados generalizados, que es equivalente al estimador de m
axima verosimilitud cuando el vector de errores sigue una distribucion normal multivariante.
129

130

9.2. El estimador de mnimos cuadrados ordinarios

9.2.

El estimador de mnimos cuadrados ordinarios

n 85. En el modelo lineal general con heterocedasticidad y/o autocorProposicio

relaci
on, el estimador de mnimos cuadrados ordinarios es


M CO = X X 1 X y

n. El metodo de mnimos cuadrados ordinarios no tiene en cuenta la

Demostracio
matriz de varianzas y covarianzas de los errores al minimizar la suma de cuadrados de
los residuos:

(y X)
= (y
X )(y X)

= (y X)
u
Q=u

n 86. En el modelo lineal general con heterocedasticidad y/o autocorProposicio

relaci
on, el estimador MCO es insesgado.
n. Por denici
Demostracio
on

 1 

E(
)
=
E

+
XX
Xu
M CO

Como es un par
ametro y X es una matriz no estoc
astica,
 1

E(
X E(u) =
M CO ) = + X X
porque E(u) = 0.

Observaci
on 56. La proposici
on anterior es l
ogica porque que la propiedad de insesgadez se basa en los supuestos de regresores no estoc
asticos y E(u) = 0, pero no tiene
en cuenta la matriz de varianzas y covarianzas de los errores.
n 87. En el modelo lineal general con heterocedasticidad y/o autocorProposicio

relaci
on, la matriz de varianzas y covarianzas de
M CO es
 



M CO ) = 2 X X 1 X X X X 1
V (
u
n. Por denici
Demostracio
on


 

V ( M CO ) = E M CO E( M CO ) M CO E( M CO )

Como el estimador
es insesgado,
E(
)=
X u, y su
M CO
M CO
M CO = (X X)

traspuesta M CO E( M CO ) = M CO = u X (X X) , de modo que


1  1   1    1

)
=E
X
X uu X X X
X E uu X X X
X
= XX
V (
M CO

1  2   1
1 

1

= X X
X u X X X
= u2 X X
X X X X

n 88. En el modelo lineal general con heterocedasticidad y/o autocorProposicio

relaci
on, el estimador MCO es consistente si


X X
lm
=R
n
n
es una matriz nita.
Prof. Dr. Jos
e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

9. Mnimos cuadrados generalizados y maxima verosimilitud

131

n. Un estimador es consistente si su error cuadr

Demostracio
atico medio tiende a
un vector de ceros cuando n tiende a innito. Como el estimador de mnimos cuadrados
es insesgado, el error cuadr
atico medio es igual a la matriz de varianzas y covarianzas, y

 
  1
XX
2 X X 1 X X

lm V () = lm
= 0Q1 RQ1 = O
n
n n
n
n
n

n 89. Suponiendo u N (0, u2 ), el estimador MCO tiene una disProposicio

tribuci
on normal
 1 

1
2

X X X X )

M CO N (, u X X
n 90. El estimador
u
/(n k) es un estimador sesgado.
Proposicio
u2 = u

n.
Demostracio
) = E(u Mu) = E(tru Mu) = E(trMuu ) = trME(uu ) = u2 trM = u2 (nk)
E(
u u

9.3.

El estimador de mnimos cuadrados generalizados

En esta secci
on nos planteamos la siguiente pregunta: es posible transformar un
modelo lineal general con perturbaciones no esfericas en un modelo lineal general con
perturbaciones esfericas? Si la respuesta es armativa, entonces el modelo transformado
cumplir
a las hip
otesis b
asicas y todos los resultados establecidos en los temas anteriores
seran de aplicaci
on directa. El estimador de mnimos cuadrados ordinarios (MCO) en
el modelo transformado se denomina estimador de mnimos cuadrados generalizados
(MCG). Este estimador ser
a ELIO.
Para encontrar un modelo transformado con las hip
otesis b
asicas, premultiplicamos
el modelo lineal general con perturbaciones no esfericas por una matriz P no estoc
astica
Py = PX + Pu
Este modelo transformado puede escribirse como
y = X + u
en donde y = Py, X = PX y u = Pu.
El termino de error en el modelo transformado u cumple las siguientes propiedades:
1. E(u ) = E(Pu) = PE(u) = 0
2. E(u u ) = E(Puu P ) = PE(uu )P = u2 PP
Si la matriz P es tal que u2 PP = u2 I, entonces el modelo transformado:
1. contiene los par
ametros de interes y u2
2. cumple las hip
otesis b
asicas.
De aqu, el estimador de mnimos cuadrados ordinarios en el modelo transformado proporciona el estimador lineal, insesgado y eciente de y el estimador insesgado de
u2 .
n 91. Existe una matriz P tal que PP = I
Proposicio
Prof. Dr. Jos
e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

132

9.3. El estimador de mnimos cuadrados generalizados

n. De la denicici
Demostracio
on de autovalores y autovectores, podemos escribir
C = C
en donde = diag(1 , . . . , n ) es la matriz diagonal de autovalores y C es la matriz
autovectores. Adem
as, por ser una matriz simetrica, la matriz C es ortogonal o
1

unitaria C = C . De aqu, podemos escribir

= CC

Deniendo 1/2 = diag( 1 , . . . , n ), tenemos que

= C1/2 1/2 C
Premultiplicando por 1/2 C y postmultiplicando por C1/2
1/2 C C1/2 = 1/2 C C1/2 1/2 C C1/2 = I
De aqu, vemos que la matriz buscada es
P = 1/2 C
.

De la demostraci
on anterior, se derivan las dos siguientes relaciones que ser
an de
interes m
as adelante:
1. 1 = P P

2. = P1 P 1
n 92. El estimador lineal, insesgado y o
Proposicio
ptimo de es
 1 1 1
M CG = X X

X y

que se denomina estimador de Mnimos Cuadrados Generalizados o estimador de Aitken.

n. Como el modelo transformado cumple los supuestos del modelo
Demostracio
clasico, el estimador el estimador de mnimos cuadrados ordinarios


= X X 1 X y

sera el estimador lineal, insesgado y optimo, que podemos expresarse en terminos de los
datos originales




= X P PX 1 X P Py = X 1 X 1 X 1 y

n 93. La matriz de varianzas y covarianzas del estimador de MCG es

Proposicio
2
1
1

V ar(
M CG ) = u (X X)

n. La matriz de varianzas y covarianzas del estimador de MCO de

Demostracio
en el modelo transformado es




M CG ) = 2 (X X )1 = 2 X P PX 1 = 2 X 1 X 1
V ar(
u

u
u

Prof. Dr. Jos

e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

9. Mnimos cuadrados generalizados y maxima verosimilitud

133

n 94. El estimador insesgado de u2 es

Proposicio
2

M
CG =

(y X
M CG ) (y X M CG )
nk

n. El estimador insesgado de u2 en el modelo transformado es

Demostracio
M CG ) P P(y X
M CG ) (y X
M CG )
M CG )
u

u
(y X
(y X
=
=
nk
nk
nk

2 =

9.4.

Contraste de hip
otesis

Los contrastes de hip

otesis se realizan en el modelo transformado aplicando los
procedimientos establecidos en los temas anteriores. A modo de resumen, se presentan
las siguientes proposiciones cuya demostraci
on es trivial.
n 95. Bajo el supuesto u N (0, u2 ), el estimador MCG de tiene
Proposicio
una distribuci
on normal




2

N , u2 (X 1 X)1

M CG N , u (X X )

2
2
n 96. Bajo el supuesto u N (0, u2 ), el estadstico (n k)
Proposicio
M
CG /u
tiene una distribuci
on Chi-cuadrado con n k.

n 97. La hip
on
Proposicio
otesis H0 : R r = 0 se rechaza al nivel de signicaci
si
2

M CG R(X X )1 R ]1 [R
F [R
M CG r] [
M CG r]/q > c
o bien
2

F [R
M CG R(X 1 X)1 R ]1 [R
M CG r] [
M CG r]/q > c

en donde c es el valor crtico para el cual P rob(Fq,nk > c) = .

9.5.

Bondad de ajuste

En la estimaci
on M CG podemos denir dos residuos:
1. los calculados en el modelo de interes
M CG
M CG = y X
u
2. los calculados en el modelo transformado
M CG = P
= y X
uM CG
u
derivados de la estimaci
Los residuos u
on MCO del modelo transformado cumplen

la propiedad X u = 0. Cuando el modelo transformado incluye termino constante, la

media de estos residuos es igual cero. Sin embargo, en la mayora de las situaciones el
modelo transformado no incluye termino constante, por lo que la media de los residuos
es distinta de cero. De aqu, en el modelo transformado, la descomposici
on de la suma
u
de cuadrados total en explicada y residual no se cumple siempre
SCT = SCE + SCR
Prof. Dr. Jos
e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

134

9.7. Metodo de maxima verosimilitud

En consecuencia, el coeciente de determinaci

on R2 no est
a acotado entre 0 y 1. Pero,
a
un cuando el modelo transformado incluya termino constante y el R2 este comprendido
entre 0 y 1, no tiene mucho sentido usar este estadstico como medida de bondad de
ajuste, porque no estamos interesados en explicar y sino los datos observados y.
M CG no tienen media
Por otro lado, los residuos calculados en el modelo de interes u
2
a acotado.
cero, y el R basado en estos residuos no est
9.6.

Mnimos cuadrados generalizados factibles

El c
alculo del estimador MCG de requiere conocer la matriz . Como los errores
aleatorios no son observables, la matriz es desconocida y no es posible obtener el
estimador MCG. En la pr
actica, tenemos que estimar la matriz .
n 82. El estimador de mnimos cuadrados generalizados factibles de es
Definicio

1
1 X
1 y
X
M CGF = X
es una estimaci
en donde
on de .
M CGF son
Observaci
on 57. Las propiedades en peque
nas muestras del estimador
desconocidas, por lo que no es claro si es un estimador mejor que el de MCO.
El c
alculo del estimador MCG requiere invertir la matriz de orden n n. La inversion de esta matriz supone una gran coste computacional y puede evitarse cuando la
matriz tiene una determinada estructura. En los temas de heterocedasticidad y autocorrelaci
on, estudiaremos las formas m
as comunes de la matriz y los procedimientos
m
as convenientes para obtener el estimador de mnimos cuadrados generalizados sin
invertir .
9.7.

M
etodo de m
axima verosimilitud

El metodo de mnimos cuadrados no requiere conocer la distribuci

on de las observaciones. En 1921 R.A. Fisher propuso un metodo de estimaci
on basado en la funci
on
de verosimilitud.
n 83. El vector de variables aleatorias y = (y1 y2 . . . yn ) sigue una
Definicio
distribuci
on normal multivariante con vector de medias E(y) = X y matriz de
covarianzas V (y) = u2 , y N (X, u2 ), si tiene una funci
on de densidad conjunta
de la forma


 n/2
1
1
2
1/2
2
1
|u |
exp (y X) (u ) (y X)
(9.1)
p(y) =
2
2
umero e
where |u2 | es el determinante de la matriz de covarianzas y exp() indica el n
elevado a ese argumento.
La funci
on de densidad conjunta nos dice cu
al es la probabilidad de observar una
muestra particular de la variable aleatoria y. Para calcular esta probabilidad necesitamos
conocer los par
ametros (; u2 ). Usando unas estimaciones de estos par
ametros, junto
con los valores conocidos de las matrices X y , podramos estimar la probabilidad de
obtener una muestra observada simplemente evaluando el determinante y el exponente
de la funci
on.
Prof. Dr. Jos
e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

9. Mnimos cuadrados generalizados y maxima verosimilitud

135

n 84. La funci
Definicio
on de densidad conjunta contemplada como una funci
on de
los par
ametros desconocidos
L(, u2 |y, X, ) = p(y)
se denomina funci
on de verosimilitud.
El metodo de estimaci
on de m
axima verosimilitud consiste en encontrar los valores
de los prar
ametros que maximizan la probabilidad de obtener la muestra observada.
n 85. Los estimadores de m
Definicio
axima verosimilitud de los par
ametros de2
2

sconocidos y u son los valores y

u que maximizan la funci
on de verosimilitud
2
L(, u |y, X, ).
Puesto que la probabilidad siempre es positiva y el logaritmo es una transformacion mon
otona, maximinzar L(, u2 |y, X, ) es equivalente a maximizar su logaritmo
neperiano, (, u2 ) = ln(L(, u2 |y, X, )). Tomando logaritmos neperianos en (9.1)
tenemos
n
1
1
n
(, u2 ) = ln(2) ln(u2 ) ln() 2 (y X) 1 (y X)
2
2
2
2
en donde hemos usado los resultados |u2 | = (u2 )n || y ln(ez ) = z.
n 98. Los estimadores de m
Proposicio
axima verosimilitud de y u2 son
=(X 1 X)1 X 1 y

u2 =

1 (y X)

(y X)
n

n. Las derivadas parciales de (, u2 ) respeto de y u2 son

Demostracio
1
(, u2 )
= 2 (X 1 y + X 1 X)

u
n
1
(, u2 )
= 2 + 4 (y X) 1 (y X)
2
u
2u 2u
Igualando estas dos derivadas parciales a cero y resolviendo simultaneamente las ecuaciones resultantes encontramos los estimadores buscados.

Observaci
on 58. En la demostraci
on anterior, al igualar las derivadas parciales a
cero tenemos que reemplazar los par
ametros desconocidos por sus estimaciones. Estas
derivadas no tienen porque anularse cuando se eval
uan para los valores verdaderos de
los par
ametros.
Los estimadores de m
axima verosimilitud son invariantes a transformaciones de los
parametros. Es equivalente maximizar la funci
on de verosimilitud respecto de u2 que
respecto de u2 .
9.8.

Resumen

1. Al relajar los supuestos de homocedasticidad y autocorrelaci

on, el estimador
de mnimos cuadrados de es lineal e insesgado, pero ineciente.
Prof. Dr. Jos
e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons

136

9.9. Ejercicios

2. El estimador lineal, insesgado y optimo de en el modelo lineal general con

perturbaciones no esfericas es el estimador de mnimos cuadrados generalizados


M CG = X 1 X 1 X 1 y

3. El estimador de M CG supone que la matriz es conocida.

4. Las medidas de bondad de ajuste asociadas a la estimaci
on por MCG no son
muy informativas.
5. Bajo el supuesto normalidad, es estimador de mnimos cuadrados generalizados
coincide con el estimador de m
axima verosimilitud.
Palabras clave
Heterocedasticidad
Autocorrelaci
on
Perturbaciones no esfericas
9.9.

Mnimos cuadrados generalizados

MCG factibles
M
axima verosimilitud
Ejercicios

1. Demuestre que el estimador MCG de minimiza la suma de cuadrados generalizada

1

(y X
M CG ) (y X M CG )

2. Demuestre que el estimador

as eciente que el estimador
M CG es m
M CO .
1
1

) y V ar(
) es una
Pista: demuestre que la diferencia entre V ar(
M CG

M CO

matriz semidenida positiva y use la relaci

on 1 = P P.
3. Obtenga los estimadores de m
axima verosimilitud en el marco del modelo
cl
asico con normalidad.

Prof. Dr. Jos

e Luis Gallego G
omez
Departamento de Economa. Universidad de Cantabria

Apuntes de Econometra. LADE y LE. Curso 2008-2009.

Material publicado bajo licencia Creative Commons