Likelihood ratio

Contrastes de Wald
LM

La triloga de los contrastes: LR, Wald y LM

Gabriel V. Montes-Rojas

Gabriel Montes-Rojas La triloga de los contrastes: LR, Wald y LM

 Likelihood ratio
Contrastes de Wald
LM

Hipotesis

Supongamos que estamos interesados en contrastar la hipotesis nula

H0 : 0
contra la hipotesis alternativa
H1 : 1 .
Para el caso univariado tenemos
H0 : 0 y H1 : > 0 tal que 0 = (, 0 ] y 1 = (0 , );
H0 : 0 y H1 : < 0 tal que 0 = [0 , ) y 1 = (, 0 );
H0 : = 0 y H1 : 6= 0 tal que 0 = 0 y 1 = R/0 .

= 0 1 .
Un test o contraste es una funcion 7 () (una regla de decision) tal que
() = 0 si no puedo rechazar H0 ;
() = 1 si rechazo H0 .
Dado que noconocemos el verdadero valor del parametro 0 , basamos nuestra
decision en el estimador .

Gabriel Montes-Rojas La triloga de los contrastes: LR, Wald y LM

 Likelihood ratio
Contrastes de Wald
LM

Hipotesis

En general estamos interesados en contrastes que

tienen tamano (size, error tipo I) controlado;
Error de tipo I: P ( () = 1) cuando H0 es verdadera.
Un contraste tiene nivel si P ( () = 1) .
Un contraste tiene nivel asintotico si limN P ( () = 1) .
tienen potencia (poder), maxima si es posible.
Poder: P ( () = 1) cuando H1 es verdadero (1- error tipo II).
Un contraste es consistente si limN P ( () = 1) = 1 cuando H1
es verdadera.

Gabriel Montes-Rojas La triloga de los contrastes: LR, Wald y LM

 Likelihood ratio
Contrastes de Wald
LM

Hipotesis

Consideremos una hipotesis nula de Q restricciones continuamente

diferenciables y linealmente independientes.

H0 : c(0 ) = 0 vs. H1 : c(0 ) 6= 0

Se asume que 0 int0 .
Definamos
como el estimador sin restricciones unrestricted bajo y
como el estimador con restricciones bajo la hipotesis nula 0 .

Gabriel Montes-Rojas La triloga de los contrastes: LR, Wald y LM

 Likelihood ratio
Contrastes de Wald
LM

Likelihood ratio (LR)

Debemos tener que max L() max0 L() porque 0 , donde

L() = N i =1 `i ( ) es la funcion log-likelihood.
El test LR se basa en la comparacion de dos funciones de verosimilitud. Bajo H0 :

d
LR 2(L() L()) 2Q

Esto se puede aplicar a los estimadores M:

N N
QLR 2( q (wi , ) q (wi , )) 2Q
d

i =1 i =1

Este metodo requiere ambos estimadores: y .

Ejercicio:Probar que si y |x N (x, 2 ), 2(L() L()) = N ln(2 /2 ).

Gabriel Montes-Rojas La triloga de los contrastes: LR, Wald y LM

 Likelihood ratio
Contrastes de Wald
LM

Contrastes de Wald

El estadstico de Wald es
0
W = c()0 (CVC )1 c()
donde V es un estimador consistente de la varianza de , C C(), C() es el
Q P jacobiano de c(). Entonces, bajo la hipotesis nula
d
W 2Q .

Gabriel Montes-Rojas La triloga de los contrastes: LR, Wald y LM

 Likelihood ratio
Contrastes de Wald
LM

Contrastes de Wald

La distribucion de este contraste depende de 0 int0 y de una aplicacion del

delta method.
Usando el teorema del valor medio,

N (c() c(0 )) = CN N ( 0 )

= C(0 ) N ( 0 ) + [CN C(0 )] N ( 0 )

= C(0 ) N ( 0 ) + op (1) Op (1)

= C(0 ) N ( 0 ) + op (1)

Entonces,
d
N (c() c(0 )) N (0, C0 A01 B0 A01 C00 ),

where C0 C(0 ).

El principal problema del test de Wald es que no son invariantes a como se

especifican las restricciones no lineales. Los resultados pueden variar mucho en
muestras pequenas.
Este metodo requiere solo la estimacion de .

Gabriel Montes-Rojas La triloga de los contrastes: LR, Wald y LM

 Likelihood ratio
Contrastes de Wald
LM

Contrastes de Wald para restricciones lineales

Consideremos una matriz R no estocastica de dimension Q P, Q P, con

rango (R) = Q (hay Q filas linealmente independientes).
Supongamos

H0 : R0 = r contra R0 6= r
donde r es un vector Q 1 no aleatorio.
El estadstico de Wald es
d
W = (R r)0 (RVR0 )1 (R r) 2Q

Gabriel Montes-Rojas La triloga de los contrastes: LR, Wald y LM

 Likelihood ratio
Contrastes de Wald
LM

Contrastes de Wald: ejercicios

Tomemos el modelo yi = 0 + x1i 1 + x2i 2 + ui . Armar los contrastes de Wald para

las siguientes hipotesis nulas:
H0 : 2 = 0;
H0 : 1 = 0, 2 = 0;
H0 : 1 = 2 ;
H0 : 1 = 1;
H0 : ln( 1 ) = 0.

Gabriel Montes-Rojas La triloga de los contrastes: LR, Wald y LM

 Likelihood ratio
Contrastes de Wald
LM

Raos score o LM

Consideremos un contraste basado en las funciones score. Se llama Raos score

o de multiplicadores de Lagrange (Lagrange multiplier, LM). Entonces usando el
teorema del valor medio
!0 !
N  1 N
si () si ()
d
A01 C00 C0 A01 B0 A01 C00 C0 A01 2Q

LM = N N
i =1 i =1

Este metodo solo requiere , o sea, la estimacion bajo la hipotesis nula. En

general, es mas simple estimar bajo H0 que H1 . Esta es la principal ventaja de
LM.
Para maxima verosimilitud
!0 !
N N
si () si ()
d
LM = N A01 N 2Q
i =1 i =1

Gabriel Montes-Rojas La triloga de los contrastes: LR, Wald y LM

 Likelihood ratio
Contrastes de Wald
LM

Raos score y contrastes de especificacion

Sea g(w, ) un vector Q 1 que mapea W 7 g(w, ) y asumamos que

g(w, 0 ) es diferenciable para 0 . Sea gi () g(wi , ). Asumamos que
E [gi (0 )] = 0.
Igualdad de la matriz de informacion: E [ gi (0 )] = E [gi (0 )si (0 )0 ].
Supongamos que H0 : E [gi (0 )] = 0. Por ejemplo, g() puede ser la funcion
score de los parametros bajo la hipotesis nula, que deberan ser cero.
El estadstico Newey-Tauchen-White (NTW) para testeat por esta condicion de
momento es
!0 " # 1 !
N N N
NTW = N gi () N (gi () si ())(gi () si ())0 N gi ()
i =1 i =1 i =1

donde es un estimador consistente de 0 {E [si (0 )si (0 )0 ]}1 .

Gabriel Montes-Rojas La triloga de los contrastes: LR, Wald y LM

 Likelihood ratio
Contrastes de Wald
LM

Comportamiento bajo alternativas locales

Para analizar el poder de los contrastes se usa una secuencia de alternativas

locales H1N : c(0,N ) = 0 / N donde 0 es una vector Q 1.

Dividir por N asegura que el estadstico esta bien definido en cuanto a su
distribucion asintotica bajo H1 .
Under H1N ,
d
N (c() c(0 )) N (0 , C0 A01 B0 A01 C00 ).
Entonces,
a a d
LR W LM 2Q (0 ),

donde 2Q (0 ) es una chi cuadrado no centrada con parametro de no centralidad

0 = 00 C0 A01 B0 A01 C00 0 .

Gabriel Montes-Rojas La triloga de los contrastes: LR, Wald y LM

 Likelihood ratio
Contrastes de Wald
LM

Referencias

Estas notas se basan en

Captulos 12, 13 and 14 de Wooldridge.
Bera, A.K., Montes-Rojas, G.V., and Sosa-Escudero, W. (2010), General
specification testing with locally misspecified models, Econometric Theory 26,
18381845.
Newey, W.K., y McFadden, D. (1994), Large Sample Estimation and
Hypothesis Testing, en Handbook of Econometrics, Volumen 4, ed. R.F. Engle
y D. McFadden. Amsterdam: North Holland, 21112245.
Van der Vaart, A.W. (1998), Asymptotic Statistics. Cambridge University Press.

Gabriel Montes-Rojas La triloga de los contrastes: LR, Wald y LM