Cantidad de Información de Fisher y

propiedades de los MLE

Programa de doctorado en Estadística,

Análisis de datos y Bioestadística
Fundamentos de Inferencia
Estadística
Jordi Ocaña
Departament Rebull
d’Estadística
Divisió de Ciències Experimentals i
Matemàtiques
 Diapositiva resumen

 Problema regular de estimación

 Información de Fisher observada
 Información de Fisher esperada
 Propiedades de la información de
Fisher
 Desigualdad de Cramér-Rao
 Propiedades asintóticas de los MLE
 MLE e información de Fisher en los
modelos exponenciales
 Problema regular de
estimación
 Modelo estadístico F identificable
 Espacio paramétrico, , es un abierto
de Rk
 Para toda densidad f  F, soporte de
f(y;q) independiente de q
 Derivación respecto de q e integración
respecto de y doblemente
intercambiables:
 Problema regular de
estimación
intercambiabilidad de integración y derivación
 Caso de parámetro escalar:
d d
òY d q f (y ; q )d n (y ) = d q òY f (y ; q )d n (y )
d2 d2
òY d q2 f (y ; q )d n (y ) = d q2 òY f (y ; q )d n (y )
 Para parámetro multidimensional,
igualdad entre matrices
d2 d2
òY d qd q¢
f (y ; q )d n (y ) = ò
d qd q¢ Y
f (y ; q )d n (y )
 Cantidad de información de
Fisher observada
 Definida como:
æ d 2 ö
I (qˆ ) = - l ¢¢(qˆ ) çç = - log f (y ; q ) ÷
÷
çè dq 2
ˆ
÷
ø
q= q

siendo qˆ la est imación MLE

 Medida de la curvatura local de l en la
MLE: indicador del grado de preferencia
del MLE sobre los puntos de alrededor.
qˆ es MLE Û I (qˆ ) > 0
 Cantidad de información de
Fisher esperada
 Definición:
ìï d 2 ü
ï
I (q ) = E í - 2 log f Y ; q ý
( )
ïïî d q ïïþ
 Equivalente a:
ìï d 2ü
ï
I (q ) = E í (
ïïî d q )
log f (Y ; q ) ý
ïïþ
= var (u (q;Y )) = E {(u (q;Y ))2 }
donde u (q ) = l ¢(q ) función "score"
 Cantidad de información de
Fisher esperada
 Parámetro multidimensional:
ìï d 2 ü
ï
I (q ) = - E ïí log f (Y ; q )ïý
ïï d q d q¢ ïï
î þ
ìï d d ¢ü
ïï
ï
= Eí (
ïï d q
î
)(
log f (Y ; q )
dq )
log f (Y ; q ) ý
ïï
þ
= var {u (q;Y )}
mat riz de covarianzas de la función score
 Propiedades de la información
de Fisher. (i)
 Aditividad: siY1,Y2 son (sub)muestras
independientes con información I1(q) e
I2(q) respectivamente, la información
asociada a (Y1;Y2) es I1(q)+I2(q)
 Consecuencia: si i(q) es la información
asociada a un dato yj, ni(q) es la
información asociada a una m.a.s. de
tamaño n, y1,...,yn
 Propiedades de la información
de Fisher. (y ii)
 Sea y = y(q) invertible y diferenciable
– Para parámetros escalares:
æd q (y )ö2
I Y (y ) = çç ÷
÷ I (q )
è dy ø
q = q( y )
– En general:
æ¶ q ö
I Y (y ) = J¢I (q ) J, J = çç i ÷
÷
çè ¶ y j ÷
÷
ø

 Si T(Y) estadístico, IT(q)  IY(q)

– Si suficiente para q, IT(q) = IY(q)
 Desigualdad de Cramér-Rao.
(i)
 T estadístico con momentos de
segundo orden finitos, con
a(q)=Eq{T(Y)}, a(q) derivable y 0 < I(q)2<
: (a ¢(q ))
MSE (T (Y )) ³ var (T (Y )) ³
I (q )
1
– Si T insesgado:
var (T (Y )) ³
I (q )

– Si parámetro
var (T (Y multidimensional
)) ³ I (q )- 1
 Desigualdad de Cramér-Rao.
(y ii)
 No siempre existe (o es único) T(y) que
llegue a varianza mínima de Cramér-
Rao
 Condición necesaria y suficiente para
que exista un tal estimador: que exista
una constante k(q) tal que la igualdad
d
l (q; y ) = k (q )(T (y ) - a (q ))
dq
se cumpla con probabilidad 1
 Consecuencias de la igualdad
anterior
Supongamos que T(y) alcanza la cota
de Cramér-Rao:
 Si q̂ es MLE de q, T(y) función de q̂:
d ˆ
l (q; y ) = 0 Þ T (y ) = a (qˆ )
dq
 Si T estimador insesgado de q, coincide
con el MLE, qˆ = T (y )
 T(y) es suficiente
 Propiedades asintóticas de los
estimadores MLE
 Bajo (complicadas) condiciones de
regularidad (por ejemplo):
– Problema regular de estimación
– Existencia y valor positivo de I(q)
– Existencia y acotación de terceras
derivadas de l
– Muestreo aleatorio simple
 MLE son consistentes, asintóticamente
normales y asintóticamente eficientes
 (Una) expresión concreta de
las propiedades asintóticas de
MLE
Sea q0 el "valor verdadero" de q, ent onces
exist e un MLE, qˆn , t al que:
ˆqn ¾ ¾
P
® q0
æ 1 ö
n (qˆn - q0 ) ¾ ¾® Z : N çç 0,
d ÷
çè i (q0 )÷
÷
ø
var (qˆn )
lim = 1
n® ¥ 1
ni (q0 )
 MLE e información de Fisher
en los modelos exponenciales
 Caso q unidimensional. t(y) es
suficiente
L (q; y ) µ exp {y (q )t (y ) - t (q )}
l ¢(q ) = 0 Û y ¢(q )t (y ) = t ¢(q )
propiedad familia exponencial:
t ¢(q )
E {t (Y )} = Þ E {t (Y ); qˆ } = t (y )
y ¢(q )
 MLE e información de Fisher
en los modelos exponenciales
 Relación con información de Fisher
observada:
l ¢¢(q ) = y ¢¢(q )t (y ) - t ¢¢(q )
I (q ) = E {- l ¢¢(q;Y )}
= y ¢¢(q )E {t (y ); q }- t ¢¢(q )
I (qˆ ) = - l ¢¢(qˆ ) = I ˆ
( )
q