El modelo en notación matricial

Los estimadores MCO

Supuestos clásicos y propiedades
Inferencia

Formulación matricial del modelo lineal general

Estimadores MCO, propiedades e inferencia usando matrices

Mariana Marchionni
marchionni.mariana@gmail.com

Mariana Marchionni Formulación matricial del modelo lineal general 1 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Temario de la clase

1 El modelo en notacion matricial

2 Estimadores MCO y propiedades algebraicas
3 Supuestos clásicos y propiedades estadísticas
4 Inferencia

Mariana Marchionni Formulación matricial del modelo lineal general 2 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

El modelo lineal con K variables

Vimos el modelo

Y i = β1 + β2 X2i + β3 X3i + · · · + βK XKi + ui , i = 1, ...n

Como vale para i = 1, ..., n, entonces podemos escribir:

Y1 = β1 + β2 X21 + β3 X31 + · · · + βK XK 1 + u1
Y2 = β1 + β2 X22 + β3 X32 + · · · + βK XK 2 + u2
..
.
Y n = β1 + β2 X2n + β3 X3n + · · · + βK XKn + un

Sistema de n ecuaciones lineales. ¾Lineales en qué?

Todo sistema lineal puede ser expresado en matrices
Mariana Marchionni Formulación matricial del modelo lineal general 3 / 49
 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Formulación matricial del modelo

Notar que el modelo puede escribirse como:

1
       
Y1 X21 K1
X31 ··· X β1 u1
 Y2   1 X22 X32 XK 2 ···   β2   u2

 ..  =  .. .. .. . . ..  ·  ..  +  .. 
       
 .   . . . . .   .   . 
Y n 1 X2n X3n · · · XKn βK un

Y = X β + u

¾Qué dimensiones tiene cada matriz/vector?

Mariana Marchionni Formulación matricial del modelo lineal general 4 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

La matriz y los vectores

1
 
K1
X21 X31 ··· X
 X22 X32 1 XK 2
 ···
X =  .. ..
.. . . .. 
 
 . . . . . 
1 X2n X3n · · · XKn
     
Y1 β1 u1
 Y2   β2   u2 
= .  β = .  u =  . 
     
Y
 ..   ..   .. 
Yn βK un

Las dimensiones: X es (n × K ), Y y u son (n × 1), y β es (K × 1).

Mariana Marchionni Formulación matricial del modelo lineal general 5 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Entonces, el modelo

Y i = β1 + β2 X2i + β3 X3i + · · · + βK XKi + ui , i = 1, ...n

Puede escribirse como

Y = Xβ +u

Este es el modelo lineal general (K variables) expresado en

notación matricial
Ventaja: nos permitirá trabajar expresiones sin el uso de
sumatorias
Desventaja: trabajar con álgebra matricial

Mariana Marchionni Formulación matricial del modelo lineal general 6 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Digresión: deniciones y resultados de álgebra matricial

1 Rango de una matriz.

Número máximo de las y/o columnas linealmente
independientes (li): ρ(X )
2 Máximo nro. de columnas li = máximo nro. de las li
3 Matriz no singular:
Una matriz cuadrada A(K ×K ) es no singular, sii |A| 6= 0
⇒ existe una única matriz no singular A−1 , a la que llamamos
inversa de A, tal que AA−1 = A−1 A = IK
ρ(A) = K =⇒ |A| 6= 0
4 Sea una matriz A(K ×K ) . Entonces:
ρ(A) < K =⇒ |A| = 0
5 Sea una matriz X(n×K ) con ρ(X ) = K (rango columna
completo). Se cumple que ρ(X ) = ρ(X 0 X ) = K

Mariana Marchionni Formulación matricial del modelo lineal general 7 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

¾Qué es X 0X en nuestro modelo?

Supongamos n =3 y K = 2:

X21
 
1
X21 + X22 + X23
 
3
X = 1 X22  ⇒ X 0 X =
X21 + X22 + X23 X21
2 +X2 +X2
1 X23 22 23

Generalizando para cualquier n y K:

n ∑ X2i ∑ X3i ∑ XKi

 
···
 ∑ X2 i ∑ X22i ∑ X2i X3i ··· ∑ X2i XKi 
∑ X3 ∑ X2i X3i ∑ X32i ∑ X3i XKi
 
X 0X =
 i ··· 

. . . .. .
. . . .
 
 . . . . . 
∑ XKi ∑ X2i XKi ∑ X3i XKi ··· ∑ XKi
2

Mariana Marchionni Formulación matricial del modelo lineal general 8 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

¾Qué es X 0X en nuestro modelo?

Supongamos n =3 y K = 2:

X21
 
1
X21 + X22 + X23
 
3
X = 1 X22  ⇒ X 0 X =
X21 + X22 + X23 X21
2 +X2 +X2
1 X23 22 23

Generalizando para cualquier n y K:

n ∑ X2i ∑ X3i ∑ XKi

 
···
 ∑ X2 i ∑ X22i ∑ X2i X3i ··· ∑ X2i XKi 
∑ X3 ∑ X2i X3i ∑ X32i ∑ X3i XKi
 
X 0X =
 i ··· 

. . . .. .
. . . .
 
 . . . . . 
∑ XKi ∑ X2i XKi ∑ X3i XKi ··· ∑ XKi
2

Mariana Marchionni Formulación matricial del modelo lineal general 8 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

¾Qué se requiere para que ρ(X ) = K ?

X21 X31 · · · X
 
1 K 1
 1 X22 X32 · · · X K 2 
X =
 .
.
.
.
.
. .. .
.


 . . . . . 
1 X2 n X3 n ··· X
Kn

Vimos que ρ(X ) = ρ(X 0 X ) (resultado 5)

ρ(X ) = K ⇒ ρ(X 0 X ) = K ⇒ ∃ (X 0 X )−1
Esto es muy importante, ya veremos...

Mariana Marchionni Formulación matricial del modelo lineal general 9 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

¾Qué se requiere para que ρ(X ) = K ?

X21 X31 · · · X
 
1 K 1
 1 X22 X32 · · · X K 2 
X =
 .
.
.
.
.
. .. .
.


 . . . . . 
1 X2 n X3 n ··· X
Kn

Vimos que ρ(X ) = ρ(X 0 X ) (resultado 5)

ρ(X ) = K ⇒ ρ(X 0 X ) = K ⇒ ∃ (X 0 X )−1
Esto es muy importante, ya veremos...

Mariana Marchionni Formulación matricial del modelo lineal general 9 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Digresión: derivando con matrices

Resultado 1: sean a y b dos vectores (K × 1), entonces:

∂ (b 0 a)
∂b = a

Resultado 2: sea A una matriz simétrica (K × K ) y b un

vector (K × 1), entonces:
∂ (b 0 Ab )
∂b = 2Ab

Mariana Marchionni Formulación matricial del modelo lineal general 10 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
∂ (b 0 a )
Chequeamos resultado 1: ∂b =a
a1 b1
   
Supongamos K = 2: a = y b=
a2 b2
Notar que 0
b a = b1 a1 + b2 a2 es un escalar!

∂ (b 0 a)
⇒ ∂b es un escalar derivado por un vector. ¾Y eso?

Derivar por un vector (K × 1) es derivar por cada uno de los K

elementos del vector. Luego, las K derivadas se apilan en un
nuevo vector (vector de derivadas).
Derivamos:
∂ (b 0 a)
" #
∂ (b 0 a )
 
= ∂ b1 =
a1
=a
∂ (b 0 a) a2
∂b ∂ b2
es el vector de derivadas!
Mariana Marchionni Formulación matricial del modelo lineal general 11 / 49
 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
∂ (b 0 Ab )
Chequeamos resultado 2: ∂b = 2Ab

b1 A11 A12
   
Supongamos otra vez K = 2: b = y A=
b2 A12 A22
Notar que b0 Ab = b12 A11 + b22 A22 + 2b1 b2 A12 es una función
cuadrática en b (y es un escalar)

∂ (b 0 Ab )
Entonces, ¾qué es ∂b ?

Derivamos:
∂ (b 0 Ab )
" #
∂ (b0 Ab) 2b1 A11 + 2b2 A12
 
= ∂ b1 = = 2Ab
∂ (b 0 Ab ) 2b2 A22 + 2b1 A12
∂b ∂ b2

Mariana Marchionni Formulación matricial del modelo lineal general 12 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

MCO en matrices
La formulación matricial del modelo lineal general: Y = X β + u
Sea βˆ el vector que apila los estimadores del vector de
parámetros
 ˆ 
β1
 βˆ2 
βˆ =  .
 
 ..


βˆK

Deniciones
1 Vector de estimaciones de Y (n × 1):
Ŷ ≡ X βˆ
2 Vector de residuos o errores de estimación (n × 1):
e ≡ Y − Ŷ = Y − X βˆ
Mariana Marchionni Formulación matricial del modelo lineal general 13 / 49
 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Recordemos la función de pérdida del método de MCO:

 
e1

n 2   e2 
 
SRC ≡ ∑ ei = e1 e2 ··· e n . 
i =1  .. 


e n

Es decir, la suma de residuos cuadráticos se puede reescribir

como:
SRC ≡ 0
e e

Recordando que e ≡ Y − X βˆ es fácil ver que SRC es una

función de βˆ :
SRC (βˆ ) ≡ (Y − X βˆ )0 (Y − X βˆ )

Mariana Marchionni Formulación matricial del modelo lineal general 14 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

El problema de MCO:
Min SRC (βˆ ) ≡ e 0 e = (Y − X βˆ )0 (Y − X βˆ )
βˆ

Notar que la función a minimizar es escalar (1 × 1)

Hay que derivar un escalar respecto del vector βˆ
Las CPO igualan el vector de derivadas al vector cero:

∂ SRC (βˆ )
=0
∂ βˆ

Sistema de K ecuaciones con K incógnitas

Mariana Marchionni Formulación matricial del modelo lineal general 15 / 49
 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Obtención de los estimadores MCO

 0    0  
0
e e = Y − Ŷ Y − Ŷ = Y − X βˆ Y − X βˆ

= Y 0 Y − Y 0 X βˆ − βˆ0 X 0 Y + βˆ0 X 0 X βˆ

= Y 0 Y − 2βˆ0 X 0 Y + βˆ0 X 0 X βˆ

El último paso requiere notar que los términos 2do y 3ro son
escalares iguales
Ahora hay que derivar respecto del vector βˆ
Notar que el 2do término es de la forma b a (recordar
0

resultado 1)
Notar que el 3er término es de la forma b0 Ab (recordar
resultado 2)

Mariana Marchionni Formulación matricial del modelo lineal general 16 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

La función a minimizar:
0
e e = Y 0 Y − 2βˆ0 X 0 Y + βˆ0 X 0 X βˆ

Las CPO:
∂ e 0e
= 0 − 2X 0 Y + 2X 0 X βˆ = 0 ⇒ X 0 X βˆ = X 0 Y
∂βˆ

Si existe (X 0 X )−1 , entonces:

βˆ = (X 0 X )−1 X 0 Y

βˆ es el vector de estimadores MCO

Mariana Marchionni Formulación matricial del modelo lineal general 17 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

¾De qué depende que exista (X 0 X )−1 ?

Vimos antes que si X es (n × K ) con ρ(X ) = K (rango
columna completo), entonces ρ (X ) = ρ (X 0 X ) = K
Entonces:

−1
ρ X 0 X = K ⇒ |X 0 X | 6= 0 ⇒ ∃ X 0 X

El supuesto de no multicolinealidad perfecta justamente dice

que ρ (X ) = K
La ausencia de multicolinealidad perfecta es necesaria para que
exista el vector de estimadores MCO

Mariana Marchionni Formulación matricial del modelo lineal general 18 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Propiedades algebraicas en notación matricial

Propiedad 1: los estimadores de MCO son lineales, es decir tienen

la forma

βˆ = AY

donde A es una matriz (K × n) con elementos no estocásticos (no

aleatorios).
Prueba:
Los estimadores MCO son βˆ = (X 0 X )−1 X 0 Y
Si llamamos A a la matriz (X 0 X )−1 X 0 (de dimensión K × n), βˆ
queda escrito en la forma lineal

Mariana Marchionni Formulación matricial del modelo lineal general 19 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Propiedad 2: X 0 e = 0
Puede obtenerse a partir de la CPO: X 0 X βˆ = X 0 Y
Implica 2 resultados que ya vimos antes:
n
1 ∑ ei = 0
i =1
n
2 ∑ Xki ei = 0 k = 2, ...K
i =1

¾Intuición?

Mariana Marchionni Formulación matricial del modelo lineal general 20 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Propiedad 3: similar a la propiedad anterior:

Ŷ e
0
=0

Propiedad 4: el punto (X̄ , Ȳ ) pertenece al hiperplano estimado por

MCO:
Ȳ = X̄ βˆ

Mariana Marchionni Formulación matricial del modelo lineal general 21 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Bondad del ajuste usando notación matricial

La descomposición de la suma de cuadrados es

N N N
∑ (Yi − Ȳ )2 = ∑ (Ŷi − Ȳ )2 + ∑ ei2
i =1 i =1 i =1
0 2 0 2 0
Y Y − n Ȳ = Ŷ Ŷ − n Ȳ + e e
| {z } | {z } |{z}

STC = SEC + SRC

Entonces, la bondad del ajuste puede escribirse como:

2
0
Ŷ Ŷ − nȲ 2 0
e e
R = = 1 −
0
Y Y − nȲ 2 0
Y Y − n Ȳ
2

Ver R
2 ajustado

Mariana Marchionni Formulación matricial del modelo lineal general 22 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Supuestos clásicos en notación matricial

Modelo lineal:

Y = Xβ +u

Supuestos clásicos:
1 E (u ) = 0
2 V (u ) = σ 2 I n

3 X es una matriz (n × K ) no estocástica (no aleatoria) con

ρ(X ) = K (rango columna completo)

Mariana Marchionni Formulación matricial del modelo lineal general 23 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Esperanza de u
Recordemos que u es un vector aleatorio
E (u ) es el vector de las esperanzas

   
u1 ( ) E u1
 u2
  E (u2 ) 
u =  ..  =⇒ E (u ) =  .. 
   
 .   . 
un E (un )

El supuesto 1 establece que el vector de esperanzas es igual al

vector nulo, es decir:

( i ) = 0 para i = 1, ...n
E u

Mariana Marchionni Formulación matricial del modelo lineal general 24 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Matriz de varianzas y covarianzas de u

La matriz de varianzas y covarianzas de un vector aleatorio u

se dene como:
V u( ) = E [(u − E (u ))(u − E (u ))0 ]
 
[ ] V u1 [ , ] ···
Cov u1 u2 [ , n]
Cov u1 u

··· Cov [u2 , un ]

 Cov [u2 , u1 ] V [u2 ]

=  .. .. .. .
 
 . . . .
.


Cov [un , u1 ] Cov [un , u2 ] ··· V [un ]

Notar que V [u ] es una matriz n × n y simétrica

¾Qué signica entonces suponer que V (u ) = σ 2 In ?
Notar: V (u ) = E (uu 0 )
Mariana Marchionni Formulación matricial del modelo lineal general 25 / 49
 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Propiedades estadísticas de los estimadores MCO

βˆ es un vector que contiene variables aleatorias

K

¾Qué propiedades conocían en el caso de MCO con 2

variables? ¾De qué dependían?
Vamos a demostrar esas mismas propiedades usando notación
matricial

Mariana Marchionni Formulación matricial del modelo lineal general 26 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Insesgadez de βˆ

βˆ = (X 0 X )−1 X 0 Y
= (X 0 X )−1 X 0 (X β + u )
= (X 0 X )−1 X 0 X β + (X 0 X )−1 X 0 u
= β + (X 0 X )−1 X 0 u (∗)

E [βˆ] = β + (X 0 X )−1 X 0 E [u ]
= β

Mariana Marchionni Formulación matricial del modelo lineal general 27 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Varianza de βˆ

Mostraremos que V (βˆ ) = σ 2 (X 0 X )−1

V [βˆ] = E [(βˆ − E (βˆ )) (βˆ − E (βˆ ))0 ]

= ˆ ˆ
E [(β − β ) (β − β ) ]
0

= 0
E [(X X )
−1 0
X u ((X X )
0 −1 X 0 u )0 ]

= 0
E [(X X )
−1 X 0 uu 0 X (X 0 X )−1 ]

= (X X ) X 0 E [uu 0 ] X (X 0 X )−1
0 −1

= (X 0 X )−1 X 0 σ 2 In X (X 0 X )−1
= σ 2 (X 0 X )−1 X 0 X (X 0 X )−1
= σ 2 (X 0 X )−1

Es importante saber qué supuestos fueron utilizados para

obtener esta expresión.

Mariana Marchionni Formulación matricial del modelo lineal general 28 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

¾Qué dimensión tiene V (βˆ ) = σ 2 (X 0 X )−1 ?

[βˆ1 ] [βˆ1 , βˆ2 ] [βˆ1 , βˆK ]

 
V Cov ··· Cov
 Cov [βˆ1 , βˆ2 ] ˆ
V [β2 ]
ˆ ˆ 
Cov [β2 , βK ] 
···
ˆ =  .. .. ..
V [β ]
..
. . . .
 
 
ˆ ˆ
Cov [β1 , βK ]
ˆ ˆ
Cov [β2 , βK ] ··· ˆ
V [βK ]

Notar:
cada elemento de la diagonal es V [βˆ ] = σ 2 A , k = 1, ...K ,
k kk

donde A
kk es el elemento en la la k y columna k de la matriz
(X 0 X )−1
cada elemento fuera de la diagonal es
Cov [βˆ , βˆ ] = σ 2 A , j 6= k , donde A
j k jk jk es el elemento en la la
j y columna k de la matriz (X 0 X )−1

Mariana Marchionni Formulación matricial del modelo lineal general 29 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

V (βˆ) en la práctica

V (βˆ ) depende de σ 2 , un valor desconocido.

En su lugar usaremos un estimador insesgado:

n
2 = n−1K Σ ei2 = ne−eK
0
S
i =1

Luego, el estimador de la matriz de varianzas y covarianzas es:

V̂ (βˆ ) = S 2 (X 0 X )−1

Mariana Marchionni Formulación matricial del modelo lineal general 30 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Teorema de Gauss-Markov

Bajo todos los supuestos clásicos, el estimador de MCO es el más

eciente de todos los estimadores lineales e insesgados (MELI).
Además: sea c un vector de K constantes arbitrarias, c 0 βˆ es el
mejor estimador lineal e insesgado de c 0 β .
Es decir, la combinación lineal de los estimadores MCO es MELI
para estimar la combinación lineal de los parámetros.

Al aplicar el TGM para comparar un estimador con βˆ ,

recuerden los requisitos:
1 Modelo lineal
2 Se deben cumplir los supuestos clásicos (cond. nec. y suf.)
3 El estimador a comparar debe ser lineal e insesgado para β

Mariana Marchionni Formulación matricial del modelo lineal general 31 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Ver demostración del TGM en apéndice

Mariana Marchionni Formulación matricial del modelo lineal general 32 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Inferencia en el modelo lineal general

Supuesto adicional: normalidad

u ∼ N (0, σ 2 In )

Resultado: βˆ tiene distribución normal multivariada

βˆ ∼ N (β , σ 2 (X 0 X )−1 )

¾Por qué?

Mariana Marchionni Formulación matricial del modelo lineal general 33 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Test de hipótesis simples

En forma general, consideremos una prueba con la siguiente
hipótesis nula:

H0 : c 0 β − r = 0

c es algún vector de K constantes y r es algún escalar. Es decir:

H0 : Σ cj βj − r = 0
j =1

Dependiendo de c y r , podemos considerar distintos casos

particulares para H0 :
1 Signicatividad individual: H0 : β =0 j

2 Valores particulares: H0 : β =r j

3 Igualdad de dos coecientes: H0 : β =β j h

4 Otros: sumas y diferencias de coecientes, etc.

Mariana Marchionni Formulación matricial del modelo lineal general 34 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia
 
Dado que βˆ ∼ N β , V (βˆ ) , entonces:
 
c
ˆ−r
0β ∼N E c ( 0 βˆ − r ), V (c 0 βˆ − r )

Calculemos la esperanza y la varianza de esta combinación

lineal:
h i
E c
ˆ−r
0β = c
0β −r
h i h i
V c
ˆ−r
0β = V c
ˆ
0β = c 0 V [βˆ ]c

Luego:
ˆ−r
0β 0β − r , σ 2 c 0 (X 0 X )−1 c


c ∼N c

Mariana Marchionni Formulación matricial del modelo lineal general 35 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Bajo la H0 : c
0β − r el estadístico de prueba es:

c 0 βˆ−r ∼ N (0, 1)
V [c 0 βˆ−r ]
q

Por lo tanto, se pueden utilizar los criterios usuales: valores

críticos y/o p-valor.
En la práctica, se usa S 2 en lugar de σ 2 , entonces:
h i h i
V̂ c
ˆ−r
0β = c 0 V̂ βˆ c = S 2 c 0 (X 0 X )−1 c

Luego,
c 0 βˆ−r ∼ T
n−K
V̂ [c 0 βˆ−r ]
q

Mariana Marchionni Formulación matricial del modelo lineal general 36 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Signicatividad global (Test F)

En el modelo de K variables,

Y i = β1 + β2 X2i + ... + βK XKi + ui

Consideremos las siguientes hipótesis:

H0 : β2 = 0 ∧ β3 = 0 ∧ ... ∧ βK = 0
H1 6 0 ∨ β3 6= 0 ∨ ... ∨ βK 6= 0
: β2 =
Para este caso, el estadístico es:
SCE /(K −1) ∼ F
F = SRC /(n−K ) (K −1,n−K )

¾Qué valores esperarían para F si la H0 fuese verdadera?

Mariana Marchionni Formulación matricial del modelo lineal general 37 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Signicatividad de un grupo de variables

En el modelo de K variables,

Y i = β1 + β2 X2i + ... + βK XKi + ui

Consideremos las siguientes hipótesis:

H0 : β2 = 0 ∧ β3 = 0
H1 : 6 0 ∨ β3 6= 0
β2 =
¾Cuál es la diferencia con el caso anterior?
Pensemos que estamos contrastando dos modelos:
1 Modelo irrestricto : contiene a las K variables explicativas.
2 Modelo restricto : considera como verdadera a la H0 .

Mariana Marchionni Formulación matricial del modelo lineal general 38 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Si la H0 contiene q restricciones de signicativad, llamemos:

1 SRC a la SRC del modelo con K variables.
I

2 SRC a la SRC del modelo que excluye las q variables

R

consideradas en la H0 .

El estadístico de prueba para contrastar H0 es:

F = (SRC −SRC )/q

SRC /(n−K ) ∼ F(q,n−K )
R

I
I

Si la H0 fuese verdadera, ¾qué valores esperarían para F ?

Mariana Marchionni Formulación matricial del modelo lineal general 39 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Ejemplo: materias aprobadas y horas de estudio

Muestra: 1961 estudiantes de la carrera Contador Público de la
UBA encuestados en 1994.

Referencia: Sosa Escudero, Giovagnoli y Porto (2007)  The Eects

of Individual Characteristics on the Distribution of College
Performances .

Mariana Marchionni Formulación matricial del modelo lineal general 40 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Estimación MCO

Mariana Marchionni Formulación matricial del modelo lineal general 41 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Ni la edad ni el género son individualmente signicativas para

explicar a la performance académica (valor-p mayores a 0.10).
Un año adicional en educación de los padres aumenta un 2 %
la cantidad promedio de materias aprobadas, ceteris paribus.
Dado todo lo demás constante, la relación entre el total de
materias aprobadas y las horas de estudio es no lineal (la
variable horas2 es estadísticamente signicativa al 1 %).
¾Cómo evaluarian la hipótesis de que las horas de estudio no
afectan a el total de materias aprobadas?.

Mariana Marchionni Formulación matricial del modelo lineal general 42 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Si escribimos el modelo de la siguiente manera:

ltotmat i= β1 + β2 horasi + β3 horasi2 + β4 edadi + · · ·
· · · + β5 hombrei + β6 educmpi + ui

Podemos utilizar el test de signicatividad para un grupo de

variables:
H0 : β2 = 0 ∧ β3 = 0
H1 : β2 6= 0 ∨ β3 6= 0
En Stata:

Mariana Marchionni Formulación matricial del modelo lineal general 43 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Apéndice: demostración del teorema de Gauss-Markov

(TGM)

El enunciado del teorema formalmente

si βˆ es el vector de estimadores MCO del vector de parámetros β y
β˜ es cualquier otro vector de estimadores lineales e insesgados de
β , entonces bajo los supuestos clásicos V (β˜ ) − V (βˆ ) es una matriz
semidenida positiva

Mariana Marchionni Formulación matricial del modelo lineal general 44 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Denición: matriz semidenida positiva

Sea H una matriz K × K y sea c cualquier vector de K constantes.
Se dice que H es semidenida positiva si y sólo si:
0
c Hc ≥ 0 ∀c ∈ RK

Resultado: varianza de una combinación lineal

Sea βˆ el vector de K estimadores MCO (variables aleatorias) y sea
c cualquier vector de K constantes

V c[ 0 βˆ ] = c 0 V [βˆ ]c ∀c ∈ RK

Mariana Marchionni Formulación matricial del modelo lineal general 45 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Denición: matriz semidenida positiva

Sea H una matriz K × K y sea c cualquier vector de K constantes.
Se dice que H es semidenida positiva si y sólo si:
0
c Hc ≥ 0 ∀c ∈ RK

Resultado: varianza de una combinación lineal

Sea βˆ el vector de K estimadores MCO (variables aleatorias) y sea
c cualquier vector de K constantes

V c[ 0 βˆ ] = c 0 V [βˆ ]c ∀c ∈ RK

Mariana Marchionni Formulación matricial del modelo lineal general 45 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Supongamos el modelo lineal, donde u cumple con todos los

supuestos clásicos.
Consideremos a un estimador β˜ que cumpla con:
1 Lineal: existe A no estcoástica de n × K tal que β˜ = AY .
2 Insesgado: E (β˜ ) = β
En este contexto, el requisito de linealidad hace que:

E (β˜ ) = AX β

¾Qué requisito debe cumplir A para que β˜ además de lineal

también sea insesgado?

Mariana Marchionni Formulación matricial del modelo lineal general 46 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Falta demostrar que V (β˜ ) − V (βˆ ) es semidenida positiva.

Denamos a

γ̂ = β˜ − βˆ

o trivialmente:

β˜ = βˆ + γ̂

Noten que:

V (β˜ ) = V (βˆ ) + V (γ̂) + 2COV (βˆ , γ̂)

Importante: si mostramos que COV (βˆ , γ̂) = 0 probaremos el

teorema (¾por que?).
Mariana Marchionni Formulación matricial del modelo lineal general 47 / 49
 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Computemos la covarianza:
h i
ˆ
COV (β , γ̂) = ˆ ˆ
E (β − E (β ))(γ̂ − E (γ̂))
0
h i
= ˆ
E (β − β )γ̂
0

[¾por qué?]

Noten que:
0 )−1 X 0 Y
γ̂ = AY − (X0 X − 1X 0 Y

=  A − (X X )

= A − (X 0 X )−1 X 0 (X β + u )


= 0
A − (X X )
−1 X 0 u

Mariana Marchionni Formulación matricial del modelo lineal general 48 / 49

 El modelo en notación matricial
Los estimadores MCO
Supuestos clásicos y propiedades
Inferencia

Recordando que βˆ − β = (X 0 X )X 0 u , la covarianza queda:

h i
COV (βˆ , γ̂) = E (βˆ − β )γ̂ 0
 0 −1 0 0 0 −1 0 0

=  0 −1X 0uu 0(A 0− (X X )0 X−1) 
E (X X )

= E (X X ) X uu (A − X (X X ) )
0 −1 0 0 1
 0 0 −
= (X X ) X E (uu ) A − X (X X )
= σ 2 (X 0 X )−1 X 0 A0 − (X 0 X )−1 X 0 X (X 0 X )−1


= 0

Por lo tanto, V (β˜ ) − V (βˆ ) = V (γ̂), que por denición es

semidenida positiva.

Mariana Marchionni Formulación matricial del modelo lineal general 49 / 49