Mariana Marchionni
1 / 49
Temario de la clase
1
2
3
4
Mariana Marchionni
2 / 49
variables
Vimos el modelo
Y
= 1 + 2 X21 + 3 X31 + + K XK 1 + u1
= 1 + 2 X22 + 3 X32 + + K XK 2 + u2
..
.
3 / 49
Y1
Y2
.. =
.
1
1
..
.
K1
X22
X32
XK 2
..
.. . .
..
.
.
.
.
1 X2n X3n XKn
X21
X31
1
2
.. +
.
K
u1
u2
..
.
un
u
Mariana Marchionni
4 / 49
1
1
..
.
K1
X22
X32
XK 2
X =
..
.. . .
..
.
.
.
.
1 X2n X3n XKn
Y1
1
u1
Y2
2
u2
= .
u = .
= .
..
..
..
Yn
K
un
Las dimensiones:
X21
es (n K ),
Mariana Marchionni
X31
5 / 49
Entonces, el modelo
Y
= X +u
Mariana Marchionni
6 / 49
2
3
4
5
Matriz no singular:
7 / 49
Qu es
X 0X
Supongamos
X =
1
1
1
en nuestro modelo?
n
=3 y
= 2:
X21
3
X22 X 0 X =
X21 + X22 + X23
X23
X 0X
n
X2
X3
.
.
.
XKi
y K:
X2i
X22i
X2i X3i
.
.
.
X2i XKi
Mariana Marchionni
X3i
X2i X3i
X32i
.
.
.
X3i XKi
..
XKi
X2i XKi
X3i XKi
.
.
.
2
XKi
8 / 49
Qu es
X 0X
Supongamos
X =
1
1
1
en nuestro modelo?
n
=3 y
= 2:
X21
3
X22 X 0 X =
X21 + X22 + X23
X23
X 0X
n
X2
X3
.
.
.
XKi
y K:
X2i
X22i
X2i X3i
.
.
.
X2i XKi
Mariana Marchionni
X3i
X2i X3i
X32i
.
.
.
X3i XKi
..
XKi
X2i XKi
X3i XKi
.
.
.
2
XKi
8 / 49
.
.
.
X =
X21 X31 X
X22 X32 X
.
.
.
X2
.
.
.
..
X3
.
.
.
Kn
Mariana Marchionni
9 / 49
.
.
.
X =
X21 X31 X
X22 X32 X
.
.
.
X2
.
.
.
..
X3
.
.
.
Kn
Mariana Marchionni
9 / 49
(b 0 Ab )
b
Mariana Marchionni
= 2Ab
Chequeamos resultado 1:
Supongamos
Notar que
(b 0 a)
b
= 2: a =
0
b a
a1
a2
(b 0 a )
b
=a
b1
b2
es un escalar!
y b=
= b1 a1 + b2 a2
"
es el vector de derivadas!
(b 0 a)
b1
(b 0 a)
b2
Mariana Marchionni
=
a1
a2
=a
Chequeamos resultado 2:
Supongamos otra vez
(b 0 Ab )
b
= 2: b =
= 2Ab
b1
b2
y A=
A11 A12
A12 A22
Notar que b0 Ab = b12 A11 + b22 A22 + 2b1 b2 A12 es una funcin
cuadrtica en b (y es un escalar)
Entonces, qu es
Derivamos:
(b0 Ab)
=
b
"
(b 0 Ab )
b ?
(b 0 Ab )
b1
(b 0 Ab )
b2
=
Mariana Marchionni
= 2Ab
MCO en matrices
La formulacin matricial del modelo lineal general: Y = X + u
Sea el vector que apila los estimadores del vector de
parmetros
1
2
= .
..
K
Deniciones
1 Vector de estimaciones de
X
Y
(n 1):
Y Y = Y X
Mariana Marchionni
SRC
n 2
ei =
i =1
e1
e2
e1
e2
.
n
..
e e
( ) (Y X )0 (Y X )
Mariana Marchionni
El problema de MCO:
Min SRC ( ) e 0 e = (Y X )0 (Y X )
SRC ( )
=0
Sistema de
ecuaciones con
Mariana Marchionni
incgnitas
e e
0
0
Y = Y X
Y X
= Y 0 Y Y 0 X 0 X 0 Y + 0 X 0 X
= Y 0 Y 20 X 0 Y + 0 X 0 X
El ltimo paso requiere notar que los trminos 2do y 3ro son
escalares iguales
Ahora hay que derivar respecto del vector
0
Notar que el 2do trmino es de la forma b a (recordar
resultado 1)
Notar que el 3er trmino es de la forma
b0 Ab
(recordar
resultado 2)
Mariana Marchionni
La funcin a minimizar:
0
e e
= Y 0 Y 20 X 0 Y + 0 X 0 X
Las CPO:
e 0e
= 0 2X 0 Y + 2X 0 X = 0 X 0 X = X 0 Y
Si existe (X 0 X )1 , entonces:
= (X 0 X )1 X 0 Y
es el vector de estimadores MCO
Mariana Marchionni
Mariana Marchionni
no estocsticos
(no
Prueba:
Los estimadores MCO son = (X 0 X )1 X 0 Y
Si llamamos A a la matriz (X 0 X )1 X 0 (de dimensin K n),
queda escrito en la forma lineal
Mariana Marchionni
Propiedad 2: X 0 e = 0
Puede obtenerse a partir de la CPO: X 0 X = X 0 Y
Implica 2 resultados que ya vimos antes:
n
ei = 0
1
i
=1
n
Xki ei = 0 k = 2, ...K
2
i
=1
Intuicin?
Mariana Marchionni
Y e
Mariana Marchionni
N
(Yi Y )2 +
N
ei2
i =1
0
2
Y Y nY
| {z }
i =1
0 nY 2
Y
| Y {z
}
i =1
0
e e
|{z}
STC
SEC
SRC
Ver
0
0 nY 2
e e
=
1
0
0
2
2
Y Y nY
Y Y nY
Y Y
ajustado
Mariana Marchionni
Modelo lineal:
Y
= X +u
Supuestos clsicos:
1 E (u ) = 0
2 V (u ) = 2 I
3 X es una matriz (n K ) no estocstica (no aleatoria) con
(X ) = K (rango columna completo)
n
Mariana Marchionni
Esperanza de
u =
( )
E (u2 )
u2
.. = E (u ) = ..
.
.
E (un )
un
u1
E u1
E u
Mariana Marchionni
V u
[ ]
Cov [u2 , u1 ]
=
..
.
Cov [un , u1 ]
V u1
[ , n]
Cov [u2 , un ]
..
.
..
.
.
.
.
Cov [un , u2 ]
V [un ]
[ , ]
V [u2 ]
Cov u1 u2
Cov u1 u
variables aleatorias
Qu propiedades conocan en el caso de MCO con 2
variables? De qu dependan?
Vamos a demostrar esas mismas propiedades usando notacin
matricial
Mariana Marchionni
Insesgadez de
=
=
=
=
(X 0 X )1 X 0 Y
(X 0 X )1 X 0 (X + u )
(X 0 X )1 X 0 X + (X 0 X )1 X 0 u
+ (X 0 X )1 X 0 u
()
[] = + (X 0 X )1 X 0 E [u ]
=
Mariana Marchionni
Varianza de
Mostraremos que
V
( ) = 2 (X 0 X )1
[] =
=
=
=
=
=
=
=
[( E ( )) ( E ( ))0 ]
0
E [( ) ( ) ]
0
1
0
0
1 X 0 u )0 ]
E [(X X )
X u ((X X )
0
1 X 0 uu 0 X (X 0 X )1 ]
E [(X X )
0
1
(X X ) X 0 E [uu 0 ] X (X 0 X )1
(X 0 X )1 X 0 2 In X (X 0 X )1
2 (X 0 X )1 X 0 X (X 0 X )1
2 (X 0 X )1
E
Qu dimensin tiene
[1 ]
Cov [1 , 2 ]
=
V [ ]
..
Cov [1 , K ]
( ) = 2 (X 0 X )1 ?
[1 , 2 ]
V [2 ]
[1 , K ]
Cov [2 , K ]
..
..
..
.
.
.
Cov [2 , K ]
V [K ]
Cov
Cov
Notar:
V [ ] = 2 A , k = 1, ...K ,
es el elemento en la la k y columna k de la matriz
donde
kk
(X 0 X )1
kk
Cov [ , ] = 2 A , j 6= k , donde A
j y columna k de la matriz (X 0 X )1
j
jk
Mariana Marchionni
jk
es el elemento en la la
V () en la prctica
V
n
0
= n1K ei2 = neeK
i =1
Mariana Marchionni
Teorema de Gauss-Markov
Bajo todos los supuestos clsicos, el estimador de MCO es el ms
eciente de todos los estimadores lineales e insesgados (MELI).
Adems: sea c un vector de K constantes arbitrarias, c 0 es el
mejor estimador lineal e insesgado de c 0 .
Es decir, la combinacin lineal de los estimadores MCO es MELI
para estimar la combinacin lineal de los parmetros.
Al aplicar el TGM para comparar un estimador con ,
recuerden los requisitos:
1
Modelo lineal
Mariana Marchionni
Mariana Marchionni
N (0, 2 In )
Por qu?
Mariana Marchionni
H0 : c 0 r = 0
c
es algn vector de
constantes y
H0 :
cj j r = 0
=1
Dependiendo de
particulares para
1
2
3
4
Mariana Marchionni
0
r
( 0 r ), V (c 0 r )
E c
0
r
0
r
= c 0 V [ ]c
Luego:
c
0
r
Mariana Marchionni
r , 2 c 0 (X 0 X )1 c
Bajo la
H0
c 0 r N (0, 1)
V [c 0 r ]
0
r
h i
= c 0 V c = S 2 c 0 (X 0 X )1 c
Luego,
c 0 r T
nK
V [c 0 r ]
Mariana Marchionni
variables,
: 2 = 0 3 = 0 ... K = 0
: 2 =
6 0 3 6= 0 ... K 6= 0
SCE /(K 1) F
= SRC
(K 1,nK )
/(nK )
si la
H0
fuese verdadera?
variables,
Si la
1
2
Si la
H0
H0
es:
SRC )/q
= (SRC
SRC /(nK ) F(q,nK )
R
Mariana Marchionni
Mariana Marchionni
Estimacin MCO
Mariana Marchionni
Mariana Marchionni
ltotmat
Mariana Marchionni
Mariana Marchionni
c Hc
constantes.
0 c RK
V c
Mariana Marchionni
c Hc
constantes.
0 c RK
V c
Mariana Marchionni
Lineal: existe
Insesgado:
A no estcostica de n K
E ( ) =
tal que
= AY .
( ) = AX
Mariana Marchionni
( ) V ( ) es semidenida positiva.
=
o trivialmente:
= +
Noten que:
V
( ) = V ( ) + V () + 2COV ( , )
COV
( , ) = 0 probaremos el
Computemos la covarianza:
h
i
0
E ( E ( ))( E ( ))
h
i
0
=
E ( )
) =
COV ( ,
[por qu?]
Noten que:
0 )1 X 0 Y
=
AY (X0 X
1X 0 Y
=
A (X X )
= A (X 0 X )1 X 0 (X + u )
0
1 X 0 u
=
A (X X )
Mariana Marchionni
( , ) =
h
i
( )0
0 1 0 0
0
1 0 0
=
E (X X )
0 1X 0uu 0(A 0 (X X )0 X1)
=
E (X X )
X uu (A X (X X )
)
0
0
1
0
0
0
1
=
(X X ) X E (uu ) A X (X X )
= 2 (X 0 X )1 X 0 A0 (X 0 X )1 X 0 X (X 0 X )1
=
0
Mariana Marchionni