Sesión VII

Muestreo y Poder
Christel Vermeersch

Noviembre 2006
 Introducción

p Objetivo: evaluar programas y/o intervenciones

( ¿Tiene efecto o no?)

p Necesitamos suficientes datos para detectar cambios

debidos a la intervención:
→ parte 1: discusión sobre poder

p Necesitamos datos representativos:

→ parte 2: discusión sobre muestreo

HDN LAC FPSI WBI 2

 PARTE 1: Evaluar el efecto
p Evaluar una intervención es una prueba de significancia
p Ejemplo: y es el resultado de una prueba de logro. Estimamos el
efecto de doblar el presupuesto de la escuela en el resultado
promedio de la prueba de logro.
H0: E(y|Tratamiento) = E(y|Control)
H1: E(y|Tratamiento) > E(y|Control)
Intervención tiene efecto
(en realidad)
No Si

Rechazamos H0 Error tipo I OK

estadística
Prueba

No rechazamos OK Error tipo II

H0 3
HDN LAC FPSI WBI
 Error de tipo I

HDN LAC FPSI WBI 4

 Error de tipo II y poder

HDN LAC FPSI WBI 5

 Errores tipo I y tipo II
p Error tipo I = α
n probabilidad de rechazar la hipótesis nula cuando ésta es verdadera
n probabilidad de concluir que la intervención tiene efecto si no tiene
efecto
n Valores típicos: 0.01, 0.05, 0.1
p Error tipo II = β
n probabilidad de no rechazar la hipótesis nula cuando está falsa
p Poder = 1 - β
n probabilidad de rechazar la hipótesis nula cuando una hipótesis
alternativa es verdadera
n probabilidad de concluir que la intervención tiene efecto si
realmente tiene efecto
p Queremos maximizar el poder de la muestra, dado el nivel α
HDN LAC FPSI WBI 6
 Qué afecta el poder de una prueba?
El poder de la prueba aumenta cuando…
p Aumenta a (el error de tipo I)
p Aumenta el tamaño del efecto esperado
p Disminuye la varianza del indicador… como???
n La varianza del promedio es proporcional a 1/n, donde n es
el tamaño de la muestra à aumentar el tamaño de la
muestra

? Para detectar un cambio de indicador dado con un error de tipo

a dado, hay que aumentar el tamaño de la muestra.
? En la practica, se calcula el tamaño de muestra necesario para
detectar un cambio X en el indicador, con un alpha de 5 % y
un poder de 80/90 %.
HDN LAC FPSI WBI 7
 Algunas simulaciones en Stata
*computar el tamaño de la muestra;
sampsi 130 135, alpha (0.05) power(0.8) sd1(15)
sd2(18) onesided;

*aumentamos el efecto esperado del programa==>

se necesita una muestra mas pequeña;
sampsi 130 145, alpha(0.05) power(0.8) sd1(15)
sd2(18) onesided;

*aumentamos el poder requerido ==> se necesita

una muestra mas grande;
sampsi 130 135, alpha (0.05) power(0.9) sd1(15)
sd2(18) onesided;
HDN LAC FPSI WBI 8
 Algunas simulaciones en Stata
*computar el poder de una prueba;
sampsi 130 135, alpha (0.05) sd1(15) sd2(18)
n1(100) n2(100) onesided;

*aumentamos el efecto esperado del programa==>

poder aumenta;
sampsi 130 145, alpha (0.05) sd1(15) sd2(18)
n1(100) n2(100) onesided;

*aumentamos el tamaño de la muestra => poder

aumenta;
sampsi 130 135, alpha (0.05) sd1(15) sd2(18)
n1(200) n2(200) onesided;
HDN LAC FPSI WBI 9
Parte 2: Muestreo (? Datos representativos)

p Encuestas representativas
n Meta: aprender acerca de la población
p (p.ej. ENCOVI: encuesta nacional)

n Muestra: representativa de toda la población

p Evaluación de impacto
n Meta: medir los cambios de indicadores claves en la
población objetiva/ grupo de interés
n En la práctica: medir la diferencia entre los grupos de
tratamiento y de control
n Concentrar estratégicamente la muestra
n Importancia del presupuesto

HDN LAC FPSI WBI 10

 Definiciones
p Unidad de análisis: El tipo de entidad para la cual
buscamos datos (personas, sitios, escuelas,…)
p Población: El conjunto de todas las unidades de análisis
sobre las cuales queremos inferir conclusiones
p Marco muestral: El listado de unidades de análisis utilizado
para sacar la muestra (?Cual es la situación ideal?)
p Muestra: las unidades de análisis sacadas del marco
muestral, para las cuales intentamos recollectar datos
p Encuestados: las unidades de análisis de la muestra para las
cuales conseguimos datos.
p Fracción muestral: proporción de casos del marco muestral
seleccionada para la muestra (n/N)
p Tasa de respuesta: proporción de unidades de análisis de la
muestra para las cuales recollectamos datos.

HDN LAC FPSI WBI 11

 Gráficamente…
Población

Marco muestral

Muestra

Encuestados

HDN LAC FPSI WBI 12

 Validez interna del experimento

n i.e. dentro del experimento

n Pregunta: ?El grupo control es válido?
n No hay diferencia sistemática entre el grupo control y el
grupo tratamiento en ausencia de la intervención.

HDN LAC FPSI WBI 13

 Validez externa del experimento
p ?Se pueden generalizar los resultados del experimento a beneficiarios fuera
del experimento?
p Eso depende del marco muestral del experimento y del método de muestreo
p Necesitamos representatividad al nivel de la población meta
n Si no vamos a implementar la intervención nunca para personas de tipo
X, no tiene sentido incluirlas en el marco muestral del experimento.
p Representatividad para una población más diversa implica que necesitamos
una muestra más grande
n Por qué? La inclusión de población menos “sensible” a la intervención
diluye el efecto de la intervención
n Ejemplo: efecto de intervenciones de salud en diarrhea – concentrar la
muestra en los hogares con niños de menos de 5 años.
p El presupuesto limita el tamaño de la muestra.
p “Nunca arriesga su hipótesis central”
p Balance entre el poder dentro de la población de interés y la representación
de la población.

HDN LAC FPSI WBI 14

 Métodos de muestreo
p Muestreo aleatorio
n Simple: cada unidad en el marco muestral tiene la misma probabilidad
de ser seleccionada
n Estratificado: el marco muestral se divide en dos o mas estratas, en
dónde se hace un muestreo simple
n de conglomerados (“clusters”): se muestrean conglomerados de
unidades, ej. pueblos
n Multi-etapa – combina dos o más de los métodos anteriores, ej. muestro
aleatorio (estratificado o simple) de pueblos, y muestreo aleatorio
simple de personas dentro de cada pueblo
p Muestreo sistemático
n Ej. Estudio de caso “típico”– no es correcto hacer análisis estadistico
sobre este típo de muestra!!!

HDN LAC FPSI WBI 15

 El muestreo multi-etapa cambia
la varianza del indicador
p Los individuos en un cluster tienden a ser más parecidos entre
ellos que con los de otros clusters:
n 10 hogares del mismo cluster nos dan menos información que 10
hogares de clusters diferentes
p Consecuencia: errores estándar mayores que con un muestreo
aleatorio simple (MAS)
Var = Var * (1 + ρ * (k − 1))
ConCluster MAS
144244 3
deff
n ρ es una medida del grado de homogeneidad entre los sujetos del
cluster para la medida de interés
n k=numero de observaciones dentro de cada cluster
n deff puede ser estimado tanto para medidas de asociación como para
medidas de prevalencia (o medias)
HDN LAC FPSI WBI 16
 Ajuste de la muestra para compensar
el efecto de diseño
p Varianza mas grande à poder de la prueba menor para un
tamaño de muestra fijo !!!
p La pérdida de poder debida al efecto de diseño puede ser
compensada por incrementar el tamaño de muestra
p Por cuanto tenemos que aumentar el tamaño de la muestra
cuando hay conglomerados en la muestra?

HDN LAC FPSI WBI 17

 Tamaño de muestra con efecto de diseño
p Utilizamos métodos estándares para determinar el tamaño
de muestra necesario bajo el método de muestreo aleatorio
simple, n . MAS

p Calculamos el tamaño de muestra necesaria para el

muestreo multi-etapas, con la formula siguiente:

n ConCluster
= n * efdi = n * (1 + ρ * (k − 1))
MAS MAS

p Se necesita el tamaño estimado del cluster y un valor de ρ -

que es una característica de la población estudiada
p Utilizar Stata!

HDN LAC FPSI WBI 18

 Después de que tengamos la muestra… …

Población

Marco muestral

Muestra

Encuestados

HDN LAC FPSI WBI 19

 La tasa de respuesta …
p Idealmente es 100 por ciento
p Cuando es baja, hay un riesgo de sesgo debido a la selección de los
encuestados, p.ej. cuando los “control” no quieren participar en la encuesta
de seguimiento.
p Debe de ser más de 70 por ciento en ambos grupos (control y tratamiento)
p No puede ser significativamente diferente entre grupos control y
tratamiento
p ?Que hacemos cuando la tasa de respuesta es baja?
n Mala solución: aumentar el tamaño de muestra para “compensar”
n Buenas soluciones:
p hacer esfuerzos suplementarios para recolectar información sobre
los non-respondientes.
p Sub-muestrar los non-respondientes para investigar si son
diferentes de los respondientes.
p Comparar las características línea base de los respondientes y non-
respondientes.
p Es imperativo informar sobre la tasa de respuesta en el informe de
evaluación
HDN LAC FPSI WBI 20