Chapter 10

Estimadores de Bayes
10.1 Enfoque Bayesiano del problema de la estimaci on puntual

Consideremos nuevamente un problema estad stico de estimaci on param etrico. Se observa un vector X = (X1 , ..., Xn ) (que puede ser por ejemplo aunque no necesariamente una muestra aleatoria de cierta destribuci on) con densidad discreta o continua en la familia f (x, ), con = (1 , ..., k ) IRk . El enfoque llamadado frecuentista que hemos estudiado no supone ning un conocimiento previo de . El enfoque bayesiano por lo contrario supone que se tiene alguna informaci on previa sobre . Esta informaci on est a expresada por medio de una distribuci on sobre , denominada distribuci on a priori. Aqui supondremos que esta distribuci on a priori tiene una densidad ( ). Est a distribuci on a priori puede tener distintas interpretaciones seg un el problema. Se pueden dar las siguientes alternatvas La distribuci on a priori est a basadas en experiencias previas similares. La distribuci on a priori expresa una creencia subjetiva. El hecho de que el enfoque bayesiano considere una distribuci on de probabilidades sobre , supone tratar a como una variable aleatoria, y por lo tanto a esta variable la denominaremos para distinguirla del valor que toma . Esta notaci on puede llevar a confusi on dado que tambi en llamamos al conjunto de valores de . Sin embargo por el contexto quedar a claro el signicado de este s mbolo en cada caso. 1

CHAPTER 10. ESTIMADORES DE BAYES

Dada que consideramos ahora el valor del par ametro como el valor de una variable aleatoria, la interpretaci on de la familia de densidades f (x, ) en el enfoque bayesiano tambi en cambia. En el enfoque bayesiano f (x, ) se interpreta como la distribuci on condicional de la muestra X dado que la variable toma el valor . Una vez observada la muestra X se puede calcular la distribuci on condicional de de dada X. Esta distribuci on se denomina distribuci on a posteriori y est a dada por f ( |x) = f (x, ) ( ) . ... f (x, t) (t)dt (10.1)

En efecto el numerador de (10.1) corresponde a la densidad conjunta de X y , y el denominador a la densidad marginal de X. Si la distribuci on de fuese discreta, habr a que reemplazar las integrales del denominador por las correspondientes sumatorias. En lo sucesivo supondremos que es tanto las distribuciones de x y the son continuas, pero el tratamiento en el caso discreto es similar. Una de las ventajas del enfoque bayesiano es que se pueden denir en forma natural estimadores optimos, sin necesidad de restricciones poco naturales como la de estimadores insesgados a la que debimos recurrir en el enfoque frecuentista. Para ver esto supongamos que queremos estimar = q ( ) y consideremos una funci on de p erdida l(, ) que indica el costo de estimar = (x). Luego la en vez de . Supongamos que se tiene un estimador p erdida ser a una variable aleatoria l(q (), (X)), y la p erdida esperada que llamaremos riesgo de Bayes est a dada por r(, ) = E (l(q (), (X))), (10.2)

donde aqui la esperanza se toma con respecto a la distribuci on conjunta de X y . Por lo tanto dado la distribuci on priori , un estimador optimo ser a aquel que minimice r(, ). Este estimador lo llamaremos estimdor de Bayes corrspondiente a la distribuci on a priori y ser a representado por . Llamemos R(, ) = E (l(q (), (X))| = ). (10.3) Luego R(, ) es la funci on de riesgo de la teor a frecuentista, y estar a dada por R(, ) = E (l(q ( ), (X))) = (l(q ( ), (x))f (x, )dx. (10.4)

 PUNTUAL3 10.1. ENFOQUE BAYESIANO DEL PROBLEMA DE LA ESTIMACION Tambi en se tendr a r(, ) = E (E (l(q (), (X))|)) = ... R(, ) ( )d . (10.5)

Consideremos como caso particular la funci on de p erdida cuadr atica, es decir l(, ) = ( )2 . En este caso el estimador de Bayes sera la funcion (X ) minimizando el error cuadr atico medio E (( (X) q ())2 ) y por lo tanto de acuerdo a la teor a de esperanza condicional, este ser au nico y dado por (x) = E (q ()|X = x) = ... q ( ) ( |x)d ,

es decir ser a la esperanza condicional de q () con respecto a la distrbuci on a posteriori de . Ejemplo 1. Sea X = (X1 , ..., Xn ) una muestra independiente de una distribuci on Bi(, 1), y supongamos que la distribuci on a priori de sea una distribuci on beta(a, b), es decir con una densidad () = (a + b) a1 (1 )b1 I[0,1] (). (a)(b) (10.6)

Es conocido que esta distribuci on tiene la siguiente esperanza y varianza E ( ) = var() = a , a+b (10.7) (10.8)

E () (1 E () ab = . (a + b)2 (a + b + 1) a+b+1

Luego si se conoce la media y la varianza de la distribuci on a priori de , se pueden determinar a y b. La f ormula (10.8) muestra que para un dado valor de la esperanza, la varianza depende de a + b, tendiendo a 0 cuando a + b . La distribuci on de la muestra X1 , X, ...Xn dado el valor de est a dada por n n f (x1 , ..xn , ) = i=1 xi (1 )n i=1 xi . (10.9)

CHAPTER 10. ESTIMADORES DE BAYES

Luego usando (10.1) se tiene que la distribuci on a posteriori de est a dada por f (|x1 , ..., xn ) =
1 0 t
n i=1 n i=1

xi +a1

(1 )n (1 t)n

n i=1 n i=1

xi +b1 xi +b1

xi +a1

dt

(10.10)

Podemos observar que esta densidad deere solamente en un factor que depende de x1 , ..., xn de la correspondiente a una distribuci on n beta(a + n x , n + b ). Como se trata de una densidad condicional i i=1 i=1 respecto a x1 , .., xn , podemos tratar a este factor como una constante. Dado que dos densidades que dieren en una constante son iguales, podemos conn cluir que distribuci on a posteriori de es beta(a + n i=1 xi , n i=1 +b). Supongamo que la funci on de p erdida es cuadr atica. Luego el estimador de Bayes,que denominaremos a,b , est a dado por E (|X), y de acuerdo a (10.7) tendremos que a,b = n T a+b a T +a = + , a+b+n n+a+b n a+b+n a+b (10.11)

donde T = n i=1 Xi . Por lo tanto el estimador de Bayes se comporta como un promedio ponderado de dos estimadores: el IMVU 1 = T /n que no usa la informaci on de la distribuci on a priori y 2 = a/(a + b) que corresponde a la esperanza de la distribuci on a priori y que se usar a si no se hubiese observado la muestra. Tambi en vemos que el peso asignado a 2 tiende a 0 cuando el tama no de la muestra n aumenta. De acuerdo a (10.11), el estimador de Bayes correspondiente a una distribuci on a priori beta (a, b) puede interpretarse como el estimador frecuentista correspondiente a una muestra de tama no n + a + b con n i=1 Xi + a exitos. Observaci on 1. En el ejemplo anterior hemos partido de una distribuci on a priori beta(a, b), y hemos obtenido que la distribuci on a posteriori tambi en est a en la misma familia, ya que es beta(a + n x , n n i=1 i i=1 xi + b). Se dice entonces que la familia de distribuciones beta es la conjugada de la familia de distribuciones binomial. Ejemplo 2. Sea X = (X1 , ..., Xn ) una muestra independiente de una distribuci on N(, 2 ), con 2 conocido, y supongamos que la distribuci on a priori de sea N(, 2 ). Luego la densidad de la muestra X = (X1 , ..., Xn ) dado esta dada por f (x, ) = 1 (2 )n/2 exp n 1 2 2
n i=1

(xi )2 ,

(10.12)

 PUNTUAL5 10.1. ENFOQUE BAYESIANO DEL PROBLEMA DE LA ESTIMACION donde exp(x) = ex . La densidad de la distribuci on a priori est a dada por () = 1 ( )2 exp 2 2 (2 )1/2 (10.13)

Luego multiplicando (10.12) y (10.13), desarrollando los cuadrados y haciendo alg un manipuleo algrebaico se obtiene que distribuci on conjunta de X y est a dada por fX, (x, ) = C (x, 2 , , 2 )exp 1 2 n 1 nx + 2 + ( 2 + 2 2 ,

donde C no depende de . Completando cuadrados y luego de un manupuleo algebraico adicional se obtiene fX, (x, ) = C1 (x, 2 , , 2 )exp donde D= (n/ 2 ) 1 nx u D + 2 2 2D 1 . + (1/ 2 )
2

, (10.14)

(10.15)

Completando cuadrados en el exponenente de (10.14) se obtiene fX, (x, ) = C2 (x, 2 , , 2 )exp Finalmente usando (1) obtenemos f (|x) = C3 (x, 2 , 2 , )exp 1 x ( D( 2 + 2 2D
2

1 x ( D ( 2 + 2 2D

(10.16)

(10.17)

Luego esta densidad excepto una funci on que depende solo de x corresponde a una distribuci on N D nx + 2 ,D . 2 (10.18)

Como se trata de una distribuci on condicional X = x, podemos considerar a C3 como constante. Luego la distribuci on a posteriori de debe ser entonces dada por (10.18).

CHAPTER 10. ESTIMADORES DE BAYES

Supongamos nuevamente que consideramos una funci on de p erdida cuadr atica. Luego, el estimador de Bayes estar a dado por la esperanza condicional de dado X, y por lo tanto de acuerdo a (10.18) y (10.15) est a dado por (X) = D donde w= nX + 2 2 + (1 w), = wX (10.19)

n/ 2 . (n/ 2 ) + (1/ 2 )

Por lo tanto el estimador de Bayes es un promedio ponderado del estimador y la media de la distribuci IMVU de la teor a frecuentista X on a priori . Los pesos son inversamente proporcionales a las variancias 2 /n y 2 de ambos estimadores. A medida que el tama no de la muestra n crece, el peso del estimador basado en la informaci on a priori tiende a 0. Es decir a medida que el tama no de la muestra crece, la informaci on a priori tiene menos relevancia para determinar el estimador de Bayes. Observaci on 2. En este ejemplo partimos de una distribuci on a priori 2 en la familia N(, ), y obtenemos que la distribuci on a posteriori est a dada por (10.18), y por lo tanto est a en la misma familia normal. Luego la familia de distribuci ones conjugadas de la familia normal con varianza conocida es la la familia normal.

10.2

Utilizaci on de m etodos bayesiano para resolver problemas frecuentistas

En esta secci on vamos a mostrar como los resultados de la teor a bayesiana pueden ser u tiles, aunque no se comparta ese punto de vista. Es decir veremos que los resultados de esta teor a se pueden usar para resolver problemas que surgen de la teor a frecuentista. Consideremos una muestra X = (X1 , ..., , Xn ) con distribuci on conjunta f (x, ) donde el vector de par ametros . Supongamos que queremos estimar = q ( ) y que tenemos una funci on de p erdida l(, ). En el enfoque frecuentista un estimador (X) de queda caracterizado por su funci on de riesgo R(, ) = E (l(q (), (X)) = ... (x)f (x, )dx. (10.20)

 DE METODOS 10.2. UTILIZACION BAYESIANO PARA RESOLVER PROBLEMAS FRECUENTISTAS7 Como es desconocido, lo ideal ser a encontrar un estimador (X) tal que dado cualquier eotro estimador (x)) se tuviese R( , ) R(, ) . Como ya hemos visto al comienzo del curso estos estimadores no existen excepto en casos muy poco interesantes. Una alternativa es comparar los estimadores por el m aximo riesgo. Dado un estimador (X) de su m aximo riesgo se dene por M R( ) = sup R(, ). (10.21)

El criterio de comparar los estimadores por su m aximo riesgo es pesimista, ya que actua como si el par ametro fuese a tomar el valor m as desfavorable para el estimador. Un estimador optimo de acuerdo a este criterio es un estimador tal que dado cualquier otro estimador se tiene M R( ) M R( ). (10.22)

Denici on. Un estimador satisfaciendo (10.22) se denomina minimax. Vamos ver como la teor a bayesiana nos ayuda a encontrar estimadores minimax. Para eso consideremos una distribuci on a priori (). El correspondiente estimador de Bayes satisfar a que dado cualquier otro estimador se tiene r( , ) r(, ). (10.23) Luego, de acuerdo a (10.5) se tendr a entonces que para cualquier estimador R( , ) ( )d R( , ) ( )d . (10.24)

El siguiente Teorema nos permite usar la teor a bayesiana para encontrar estimadores minimax. Theorem 1. Supongamos que se tiene una distribuci on a priori tal que el estimador de Bayes es u nica y tal que R( , ) es constante en . Luego es el u nico estimador minimax n. Consideremos un estimador = . Vamos a mostrar Demostracio que M R( ) > M R( ). (10.25)

CHAPTER 10. ESTIMADORES DE BAYES

Supongamos por reducci on al absurdo que (10.25) no se cumpla. Por hip othesis existe C tal que R(, ) = C . Luego, como M R( ) = C , si (10.25) no se cumple se tendr a R(, ) C , y por lo tanto R(, ) R( , ) . Integrando ambos miembros de (10.26) se tiene ... R(, ) ( )d ... R( , ) ( )d , (10.27) (10.26)

y de acuerdo a (10.5) se tiene r(, ) r( , ) Como es el estimador de Bayes correspondiente a , esto implica r(, ) = r( , ) y por lo tanto tambi en es estimador de Bayes correspondiente a contradiciendo la hip otesis de que era u nico. Ejemplo 3. Consideremos el Ejemplo 1 de estimacion bayesiana para la familia binomial usando distribuciones a priori en la familia beta(a, b) y como f unci on de p erdida la funci on l(, ) = ( )2 . Luego hemos visto que el u nico estimador de Bayes esta dado por a,b = T +a , n+a+b

con T = n i=1 Xi . Si encontramos a y b tales que R(a,b , ) es constante, ese estimador ser a minimax. Como E (T ) = n y var(T ) = n(1 ) se tiene E (a,b ) = y var (a,b ) = n(1 ) , (n + a + b)2 (10.29) n + a , n+a+b (10.28)

 DE METODOS 10.2. UTILIZACION BAYESIANO PARA RESOLVER PROBLEMAS FRECUENTISTAS9 Luego usando (10.28) y (10.29) se tiene R(a,b , ) = E ((a,b )2 ) = var (a,b ) + ( E (a,b ))2 = = = n + a 2 n(1 ) + (n + a + b)2 n+a+b 2 n(1 ) + (a + b) 2 2a(a + b) + a2 (n + a + b)2 2 (n + (a + b) )2 + (n 2a(a + b)) + a2 . (10.30) (n + a + b)2

Para que (10.30) sea constante en , los coecientes en y 2 del numerador deben ser 0. Por lo tanto se debe cumplir n + (a + b)2 = 0, n 2a(a + b) = 0

La soluci on a este sistema de ecuaciones es a = b = n/2, y por lo tanto el estimador de Bayes correspondiente, que sera minimax, estar a dado por T + ( n/2) mmx = . (10.31) n+ n La correspondiente funci on de riesgo est a dado por R(mmx , ) = n/4 1 . (n + n)2 4( n + 1)2

Vamos ahora a dar un segundo Teorema que nos permitir a encontrar un estimador minimax de la media de una distribuci on normal. Teorema 2. Supongamos que (X) sea un estimador tal que (i) R(, ) = C , (ii) existe una sucesi on de distribuciones a priori k tales que
k

lim r(k , k ) = C.

Luego es minimax. n: Supongamos que no es minimax. Luego existe otro Demostracio estimador tal que R( , ) < sup R(, ) = C . (10.32)

10

CHAPTER 10. ESTIMADORES DE BAYES Integrando ambos miembros de (10.32), se tiene que r( , k ) = ... R( , )k ( )d < C ... k ( )d = C.

Luego de acuerdo (ii), existe n tal que r( , n ) < r(n , n ),

es la soluci contradiciendo el hecho de que k on de Bayes correspondiente a k . Ejemplo 4. Consideremos una muestra aleatoria X = (X1 , ..., Xn ) de una distribuci on N((, 2 ), donde 2 conocida. El estimador (X) = X 2 tiene como funcion de riesgo R(, ) = /n, y por lo tanto se cumple la condici on (i) del Teorema 2. Por otro lado consideremos una sucesi on de 2 2 distribuciones a priori k =N(0, k ) con k . Usando una funci on de p erdida cuadr atica, de acuerdo a lo visto en el ejemplo 2, los estimadores de Bayes son k = wk X,

donde wk = Es f acil ver que y que

k

n/ 2 2) . (n/ 2 ) + (1/k
k

(10.33) (10.34)

lim wk = 1
4 1/k 2 )) = 0 ((n/ 2 ) + (1/k

2 2 lim k (1 wk )2 = lim k k

(10.35)

Por otro lado se tiene

2 R(k , ) = var (k ) + ( E (k ))2 = wk

2 + (1 wk )2 2 . n

Luego 2 2 + (1 wk )2 k . n Luego de acuerdo (10.34) y a (10.35) se tiene que

2 r(k , k ) = E (R(k , )) = wk k

lim r(k , k ) =

2 n

Por lo tanto se cumple la condici on (ii) del Teorema 2, y el estimador (X) = X/n es minimax.