Autores
Jonathan Cohen
Miguel Ferrari Boniver
Juan Ignacio Castano
Luis Alberto Irigoytia
Agosto 2008
ABSTRACT
1
El trabajo de tesis se hizo bajo la supervisión del Prof. Pablo Sanguinetti
I. Introducción
2
evaluar de manera robusta los efectos de un programa de microfinanzas, ya sea por falta
de información, recursos, o simplemente por falta de conocimientos técnicos.
Un de los factores más importantes que contribuye al discenso acerca del efecto
de las microfinanzas es que existen diferentes dificultades metodológicas y prácticas a
la hora de realizar evaluaciones de impacto. Por un lado, la realización de estudios de
impacto es una tarea muy difícil y desafiante para los investigadores y practicantes, ya
que medir dicho impacto es muy costoso –tanto en términos del tiempo invertido, como
en términos monetarios-, en particular para instituciones pequeñas con pocos recursos.
Por el otro, dado que la gran mayoría de las instituciones prefieren evaluar el impacto de
sus programas luego de comenzada su implementación (es decir, hacer una evaluación
ex-post), se generan problemas técnicos a la hora de hacer la medición, ya que de esa
manera se pierde el denominado “momento cero”, y se generan otros problemas
también graves, como por ejemplo, la imposibilidad de establecer claramente los grupos
control y tratamiento de manera adecuada. Todos estos obstáculos han llevado a que en
las últimas dos décadas se hayan desarrollado distintos métodos estadísticos dentro del
campo de la microeconometría, que buscan asegurar rigurosidad a la hora de llevar
adelante estudios de impacto, tratando de sobrellevar los obstáculos mencionados
anteriormente.
En este trabajo, nos proponemos estimar el impacto de un programa de
microfinanzas sobre la calidad edilicia de las viviendas, un factor que consideramos
crucial para el bienestar de las familias. El estudio se realizó utilizando el método
estadístico conocido como “Propensity Score Matching”. Los datos utilizados se
obtuvieron a partir del relevamiento de hogares de diferentes zonas del conurbano
bonaerense que realizó la Consultora Poliarquía en conjunto con el Observatorio de
Desarrollo Barrial de la FPVS-UTDT2 en el año 2006.
En siguiente sección presentaremos los canales a través de los cuales las
microfinanzas impactan sobre las condiciones de bienestar de las personas. En la tercer
sección se analizará las problemáticas y soluciones existentes a la hora de encarar
evaluaciones de impacto de programas sociales. En la cuarta sección se presenta en
detalle el método de Propensity Score Matching y sus distintas variantes de
apareamiento (matching). En la quinta sección se describen los datos que se utilizaron
en el estudio, los criterios para el armado del grupo control y tratamiento, así como
2
Proyecto impulsado por la Maestría en Economía Urbana de la Universidad Torcuato Di Tella y la
Fundación Pro-Vivienda Social.
3
también la confección de la variable de impacto. En la sexta sección, se presentan los
resultados obtenidos. Finalmente en la séptima sección, se exponen las conclusiones y
consideraciones finales.
4
intentan conciliar dos mundos que hasta la última década iban por caminos separados, el
de las finanzas y el de los pobres y excluidos.
Las microfinanzas llegan para remover una falla de mercado, y a través de
nuevas tecnologías, intentan hacer que los antes excluidos pueden llegar a un equilibrio
óptimo, mejorando su bienestar, y contribuyendo a su desarrollo. La gran novedad
entonces, es que removiendo la falla de mercado, las microfinanzas permiten a los
pobres generar nueva riqueza económica, brindando una contribución primaria y directa
a la eficiencia y al crecimiento económico global: “la pobreza es aliviada generando
nuevos recursos económicos, en lugar de descansar en pura redistribución”.3
3
Prat Gay, Alfonso, “La lucha contra la pobreza en Argentina: la contribución de las microfinanzas”
4
Maldonado, Jorge, “La influencia de las microfinanzas sobre las decisiones de educación en los hogares
rurales: evidencia de Bolivia”
5
variaciones estaciónales de sus microemprendimientos, y por lo tanto, de sus ingresos5.
Así, este segundo canal, disminuye la incertidumbre, y por lo tanto, la
vulnerabilidad de los hogares, ya que éstos tienen la posibilidad de absorber shocks
adversos de manera menos costosa, y por lo tanto más beneficiosa. De esta manera, los
hogares pueden adoptar estrategias de administración del riesgo que les permitan evitar
decisiones drásticas ante la adversidad.
Este segundo canal esta relacionado muy íntimamente con el tercero: las
microfinanzas, al insertar a los individuos a la sociedad, les permiten tener acceso a un
flujo de información mucho mayor que de otro modo. De esta manera, superar al menos
parcialmente el problema de información asimétrica, les permite modificar preferencias,
cambiar tasas de sustitución intertemporal, o cambiar la percepción acerca de
oportunidades (por ejemplo, cambiar la percepción acerca de la educación, o acerca de
tener un negocio propio, etc.). Este Efecto Informativo, permite a los individuos tomar
mejores decisiones, mirando el mediano y el largo plazo.
En cuarto lugar, y relacionado con todos los canales anteriores, es importante
señalar el Efecto Vivienda. Básicamente, a través de una mejora en la restricción
presupuestaria, una mejora en el nivel de información que perciben los individuos, y
una disminución de su vulnerabilidad, las microfinanzas permiten a las familias realizar
mejoras en su calidad edilicia. De esta manera, al permitir las microfinanzas una
mejora en los hogares de los beneficiarios, permite claramente una mejora en la calidad
y en el nivel de vida de las familias. Existe una extensa literatura escrita acerca de cómo
las mejoras en la vivienda ayudan a mejorar el bienestar de las familias. No solamente
se reduce la probabilidad de contraer enfermedades debido a las malas condiciones de
aislamiento térmico e hídrico, sino que también se reduce el nivel de hacinamiento de
los hogares. Goux y Maurin6 sostienen en su trabajo, que disminuir los niveles de
hacinamiento de los hogares contribuye significativamente al éxito de los niños en los
estudios, y disminuye la deserción a los mismos.
Este último canal, el de las mejoras sobre la calidad edilicia de los hogares, y
sus efectos sobre el bienestar de sus habitantes, es el que trataremos de investigar en
nuestro trabajo. A partir de la muestra obtenida, trataremos de cuantificar el efecto de un
5
En particular, esto sucede cuando las familias tiene la posibilidad de acceder a créditos de emergencia
ante shocks adversos, disminuyendo la probabilidad de salidas más costosas.
6
Goux y Maurin, “Los efectos del hacinamiento en el hogar sobre el rendimiento académico en los
colegios”
6
programa de microcreditos sobre el número de reformas de los tratados, para ver si el
efecto es realmente significativo.
7
que si se asegura un tamaño de la muestra lo suficientemente grande, se puede decir que
ambos grupos son estadísticamente equivalentes.
Este resultado es muy poderoso en la teoría, ya que el grupo control generado
aleatoriamente, puede cumplir el rol del contrafacutal necesario para la comparación, y
está por lo tanto libre de los problemas de sesgo y de auto-correlación mencionados más
arriba.
Por lo tanto, el principal beneficio que tienen los experimentos aleatorios es la
simplicidad para interpretar los resultados del estudio: el impacto del programa puede
ser medido como la diferencia entre las medias de la variable de impacto entre el grupo
tratamiento y el grupo control. Por ejemplo, si se quisiera medir el impacto de un plan
de entrega de libros a escuelas rurales sobre el nivel de alfabetización, en el cual ex –
ante de decidiese aleatoriamente a qué escuelas entregar libros, entonces se podría
medir directamente la media de cada uno de los dos grupos, y la diferencia seria el
efecto del tratamiento.
Sin embargo, este tipo de experimentos tienen por lo general varias dificultades
y limitaciones, que en la mayoría de los casos puede llegar a hacer que sean inaplicables
(en particular, dentro del campo de las Ciencias Sociales).
La primera dificultad que se encuentra al diseñar dichos estudios es una de
carácter ético y moral: no sería justo darle el beneficio del tratamiento a un grupo y
negárselo a otro solo para lograr robustez en los resultados de una evaluación. Por
ejemplo, no seria ético proveerle una vacuna a un determinado grupo y a otro no.
En segundo lugar, la distribución de un tratamiento aleatoriamente seria difícil
de lograr en términos políticos, ya que podría generar reclamos del sector que no recibió
el tratamiento.
En tercer lugar, el alcance y la naturaleza que pueda llegar a tener la política
pueden llegar a implicar que muchas veces no exista un grupo control (como por
ejemplo, una política desarrollada a nivel nacional, con el mismo alcance para todos los
habitantes de un país); en estos casos, el contrafactual que constituye el grupo control se
pierde.
En cuarto lugar, es muy importante señalar que los individuos dentro del grupo
control pueden llegar a cambiar algunas de sus características durante el proceso del
tratamiento, perdiendo así las características que lo convertían en el mejor control para
el experimento. Esto sucede a menudo cuando determinados individuos dentro del
grupo control cambiar de área geográfica, o incluso-lo que seria mucho más grave aun-
8
cuando los individuos del grupo tratamiento intencionalmente cambian algunas de sus
características observables para que de esa manera se les comience a aplicar el
tratamiento. De esta manera, se contaminan los resultados.
También es cierto-y esta es quizás una de las limitaciones mas grande de estos
experimentos- que muchas veces es imposible que la asignación de los individuos
dentro de cada uno de los grupos se genere manera aleatoria, ya que muchas veces, son
los propios individuos los que deciden si recibir o no el tratamiento. Este problema de
endogeneidad es propio de las Ciencias Sociales, y es quizás uno de los mayores
obstáculos a la hora de hacer un es estudio de impacto, por razones que describiremos
mas adelante.
Por ultimo, los estudios experimentales pueden llegar a ser excesivamente
costosos, tanto en términos monetarios como en términos de tiempo invertido y en
términos de los costos transaccionales que implican. Esto es así ya que su diseño puede
ser complejo, y la recolección de los datos puede no estar al alcance de los
investigadores, o puede llevar más tiempo del que se dispone para la investigación.
Todas estas limitaciones presentes en los estudios experimentales hacen que en
la mayoría de los estudios de impacto éste método no se pueda usar. Sin embargo, en
los casos en los que esto sucede, siempre se puede recurrir a los Estudios
Observacionales.
9
Entre las principales desventajas de estos métodos, se pueden identificar tres
grandes grupos. En primer lugar, dada su menor robustez, los resultados a los que se
llega son menos confiables. En segundo lugar, los métodos econométricos que deben
utilizarse para tratar de minimizar las diferencias entre los grupos control y tratamiento
son realmente complejos y avanzados, no estando por lo general al alcance de proyectos
no académicos, que en su mayoría terminan llegando a resultados sesgados.
En tercer lugar, en este tipo de estudios existe lo que se denomina un problema
de endogeneidad, el cual, si no es atacado, termina generando estimadores sesgados.
Este problema se genera cuando los grupos control y tratamiento no se asignan
aleatoriamente ex-ante, sino que son los propios individuos los que deciden
racionalmente (expost) su propia suerte, eligiendo si tomar o no el tratamiento.
Existen dos tipos de sesgos relacionados con el problema de endogeneidad: los
observables, y los no observables.
Los sesgos observables surgen de diferencias entre los individuos resultantes de
sus características observables, ya que muchas veces éstas influyen en los criterios de
selección a través de los cuales se decide beneficiar o no a una persona con el
tratamiento. En el caso particular de los microcréditos, muchas veces se requiere un
nivel mínimo de ingresos para entrar al programa, el cual es una característica
observable de los individuos que determina si entra o no al programa, y que
eventualmente determinara los resultados del mismo. Dado que estas diferencias en las
características observables pueden determinar distintos resultados en las variables de
interés de cada uno de los grupos independientemente de haber recibido o no el
tratamiento, es importante tratar de minimizar dichas diferencias.
Los sesgos no observables, dada su naturaleza, son mucho más difíciles de
corregir o eliminar. Los mismos, surgen de las diferencias en las características no
observables de los individuos que están en cada uno de los grupos, como por ejemplo
pueden ser las ganas de trabajar, la capacidad emprendedora, conexiones familiares, etc.
Por lo tanto, en estos casos, las diferencias entre el grupo control y el grupo tratamiento
son imposibles de observar para los investigadores, y generan sesgos que debilitan los
resultados a los cuales se puede llagar.
En particular, dentro del campo de las microfinanzas, se da el problema de la
auto selección, que consiste en que los individuos eligen si recibir el tratamiento o no.
Al hacerlo, están revelando tener características (no observables para los investigadores)
que los individuos que eligen no recibir los créditos posiblemente no tengan.
10
Típicamente, en la reciente literatura de las microfinanzas, se habla de características no
observables como la sociabilidad, la capacidad emprendedora, las ganas de progresar,
etc., De no ser corregidas, todas estas características no observables terminarán
sesgando los resultados estimados, ya que se le estará atribuyendo todo el efecto en el
cambio de la variable de interés al programa, cuando parte del efecto también se debe a
que ambos grupos poseen características diferentes que los impulsan a resultados
diferentes (independientemente del programa).
Es importante aclarar que en los estudios experimentales, este problema de la
endogeneidad o autoselección no sería de mayor importancia, ya que al generarse los
grupos control y tratamiento aleatoriamente, el sesgo tendería a balancearse entre ambos
grupos, y en promedio, el efecto se compensaría. De todas maneras, es importante
aclarar que no solucionan el problema ni lo hacen desaparecer, sino que simplemente, al
ser experimentos aleatorios, en promedio equilibran el sesgo entre ambos grupos7.
Dentro de los experimentos observacionales, este beneficio no es tan claro, pero
existen métodos estadísticos que pueden llegar a minimizar el sesgo, llegando a buenos
resultados.
7
Greene
11
• Matching Methods (Métodos de Apareamiento): la idea básica de estos
métodos es elegir para cada individuo del grupo tratamiento, un individuo del grupo
control que sea lo mas parecido posible, en base a características observables, y
compararlos. De esta manera, se busca minimizar las diferencias entre los grupos
control y tratamiento que surgen del diseño de contrafactuales imperfectos.
En los últimos años, estos métodos se han difundido y perfeccionado
considerablemente, llegando a ser considerados como la mejor alternativa para la
evaluación de impacto de políticas sociales. En particular, estos métodos son muy
“atrayentes en estudios en los cuales el tiempo apremia y en los cuales no se cuenta con
un momento cero (es decir, se tienen una serie de datos de tipo transversal, y no hay
mediciones antes y después del tratamiento).
Dentro de este grupo, se ha estado trabajando mucho con propensity score
matching, un método de apareamiento en el cual cada individuo control es apareado con
un individuo del tratamiento en base a un propsnsity scrore, es decir, en base a una
probabilidad de recibir el tratamiento, condicionada por las características observables
de los individuos. Cuanto mas parecida sea esa probabilidad entre ambos grupos, mejor
será el apareamiento8. Este tipo de enfoque fue desarrollado en sus principios en
estudios empíricos de economía laboral, siendo sus precursores Rosenbaum, y Rubin.
• Comparaciones Reflexivas: consisten en comparar al grupo que recibió
el tratamiento antes y después de haberlo recibido. De esta manera, se necesita
encuestar al grupo al cual se le va a aplicar el tratamiento antes de que el mismo lo
reciba, y también encuestarlo nuevamente (una o más veces) una vez que ya ha
empezado a recibirlo. Si bien parece simple, es muy inusual contar con este tipo de
información, ya que el diseño de este tipo de estudios es muy complejo y costoso.
• Diferencias en Diferencias: estos métodos consisten en comparar a los
grupos tratamiento y control (primera diferencia) tanto antes como después de
implementado el programa (segunda diferencia). Son los más apropiados para estudios
en los cuales se cuenta con un momento cero. Sin embargo, si el diseño de los grupos
control y tratamiento no es aleatorio, es necesario aplicar algún tipo de apareamiento
para corregir los problemas de sesgo de endogeneidad que pueden llegar a aparecer de
8
Tanto en los métodos aleatorios como en los de apareamiento, en los cuales es necesario formar grupos
tratamiento y control, mejores serán los resultados cuanto más similares sean los ambiente
socioeconómicos de los cuales se extraigan las muestras de ambos grupos. Asimismo, también es muy
importante que ambos grupos hayan sido encuestados por la misma organización, con los mismos
cuestionarios y las mismas personas.
12
otra forma. Dadas sus características, obtener los datos para este tipo de estudios es muy
costoso y consume mucho tiempo; además, su diseño puede llegar a ser muy engorroso
si no se planifica con sumo cuidado y antelación.
• Variables Instrumentales: consisten en utilizar una o más variables
(instrumentos) que estén correlacionadas con el acceso al programa pero no con la
variable dependiente que se desea explicar. De esta manera, este control estadístico
permite eliminar los problemas de endogeneidad de los estimadores de impacto.
Intuitivamente, las variables instrumentales son utilizadas en una primera instancia para
predecir la participación en el programa; de esta forma, en una segunda instancia, se
puede estimar el impacto y ver como varía el resultado del programa cuando varía el
valor predicho por la variable instrumental. Este método es utilizado en el renombrado
y conocido trabajo de Pitt y Khandker (1998), en el cual los autores estiman el impacto
de un programa de microfinanzas en Bangladesh, y en donde usan como instrumentos
las reglas de participación en el programa. Otro ejemplo es el trabajo de Coleman
(1999), realizado sobre catorce aldeas de Tailandia.
La principal dificultad de este método es que, por lo general (y en particular en
el caso de las microfinanzas), encontrar los instrumentos adecuados puede llegar a ser
un ejercicio frustrante para los investigadores. Además, distintas variables
instrumentales pueden poseer distintas correlaciones con el acceso al programa, y una
variable instrumental débil puede dar como resultado un estimador igualmente débil (es
decir, sesgado).
• Efectos Fijos: es otro tipo de control estadístico. En este caso, lo que se
hace es descomponer el error de la regresión en una parte variable (que cumpla con
todos los supuestos tradicionales) y en una parte fija. De esta manera, el efecto fijo
tratará de explicar la parte no observable del impacto, superando así el problema de
endogeneidad. Por lo general, los efectos fijos más usados en la literatura son aquellos
que se relacionan tanto con el tiempo histórico como con las características a nivel del
barrio o aldea. Un ejemplo de aplicación de este método en el campo de las
microfinanzas es el trabajo de McIntosh, Villaran y Wydick (2007), en el cual los
autores investigan el impacto de un programa de microfinanzas sobre la calidad edilicia
de una aldea en Guatemala.
Habiendo dado un panorama introductorio a la literatura de evaluación de
impacto, en las siguientes líneas analizaremos de forma pormenorizada algunos
13
problemas comunes en los análisis de impacto de políticas sociales, en especial los
problemas de endogeneidad y auto-selección.
9
Ver Khandker (2003), Moffitt (1991), Ravallion (2005), Coleman (1999).
10
Estos problemas de “Endogeneidad” y de “Auto selección” son de naturaleza claramente diferente y se
refieren al enfoque econométrico que se utilice. Las problemáticas de endogeneidad son propias del
enfoque de regresión, donde para llegar a estimadores insesgados se imponen restricciones y hacen
supuestos que se ven seriamente afectados por estos problemas. Sin embargo, la endogeneidad no es un
problema crítico (aunque no hay de dejar de tenerlo en cuenta) para un enfoque como el de “matching”
que se utiliza en el presente trabajo.
11
El analisis es extensible a panel data.
14
Yij = Xij βy + Zijγc + Cij δy + εyij (2)
sesgados si εcij y εyij están correlacionados y esta característica no fue tenida en cuenta
15
de micro emprendedores es mayor al resto de las comunidades. A la hora de comparar
los efectos del programa sobre los ingresos de los pobladores en esa comunidad
respecto al los ingresos de los pobladores de otras comunidades (en promedio menos
emprendedores) se llegara a inferencias erróneas sobre el impacto del programa.
Entonces, un primer paso correcto para corregir las causantes de sesgo en la
estimación es la elección cuidadosa del grupo tratamiento y del grupo de control. Si
bien esto se realiza fácilmente cuando se realizan “experimentos sociales” en la
generalidad de los programas sociales no existe un trabajo “ex-ante” que permita aislar
correctamente un grupo control adecuado para realizar comparaciones.
De esta manera, planteado así el problema, el desafío reside en encontrar
caminos de evaluación de programas o políticas sociales que se realicen de manera no
experimental y que den respuesta (con la mayor robustez posible) a la pregunta sobre
cuál hubiera sido el resultado obtenido en un grupo sometido a un determinado
programa (tratamiento) si no se hubiera realizado dicha intervención.
Antes de avanzar en los diferentes métodos analíticos que nos permiten abordar
esta problemática, analizaremos formalmente un modelo de evaluación de tratamiento
en políticas no experimentales.
Siguiendo la notación de Heckman, Ichmura y Todd (1998)12 para evaluaciones
de impacto:
12
“Matching as an Econometric Evaluation Estimator” Review of Economic Studies, vol. 65(2),
Abril 1998.
16
∆i = Y 1i − Y 0i
∆( X ) = E (∆ X , D = 1) = E (Y 1 X , D = 1) − E (Y 0 X , D = 1) 13
E (Y 0 | X , D = 0) = E (Y 1 | X , D = 1)
Este supuesto puede tomarse con cierta seguridad si, como se explico
anteriormente, el experimento social se realiza de forma experimental. Sin embargo,
aunque estemos lidiando con un programa no experimental pueden formarse grupos
13
Notar que sin tener en cuanta este condicional de características observables el ATT se definiría
como E( ∆ | D = 1) = E (Y 1 | D = 1) − E (Y 0 | D = 1) . El primer termino del lado derecho no
representaría un problema de estimación, sin embargo el segundo termino es desconocido y solo puede
ser estimado realizando algunos supuestos fuertes. En efecto, si Y y D son independientes (supuesto
fuerte) entonces E (Y 0 | D = 1) = E (Y 0 | D = 0) = E (Y 0) .
17
comparables para aquellos individuos que se les aplique el tratamiento, cosa que nos
permitiría el cumplimiento de la última ecuación.
Los métodos de matching tienen como objetivo efectuar la identificación de
factores que son comunes en individuos que recibieron el tratamiento y los que no lo
recibieron. Estas características son pre-existentes al tratamiento. A través de esta
identificación es factible la conformación de un grupo control.
Uno de los principales problemas de los métodos tradicionales de matching
consiste en el condicionamiento por las variables X’s. Para la construcción del grupo de
control debemos encontrar individuos no tratados que sean similares a individuos
tratados. Existe gran diversidad de metodologías para esta finalidad. En este trabajo nos
concentraremos en el método denominado Propensity Store Matching
p ( x) ≡ Pr[ D = 1 | X ] = E[ D | X ]
18
Como resultado, para cada individuo i, si el propensity score p (Xi ) es conocido,
entonces es posible estimar el efecto promedio de tratamiento sobre los tratados (ATT)
de la siguiente manera:
Ω ≡ E[Y 1i − Y 0i | Di = 1]
= E{E[Y 1i − Y 0i | Di = 1], p ( Xi )}
= E{E[Y 1i | Di = 1, p ( Xi )} − E[Y 0i | Di = 0, p ( Xi )} | Di = 1}
El lema anterior implica que dado el propensity score las variables observables
pre-tratamiento se encuentran balanceadas entre los beneficiarios y no beneficiarios del
tratamiento.
19
Donde Φ representa la normal c.d.f. y h(Xi )) representa una especificación
de covariables como términos lineales.
Este proceso puede ser restringido imponiendo que se cumpla una propiedad
denominada de soporte común. Esta restricción posibilita que el matching se realice de
manera más efectiva y facilite la estimación del ATT.
20
el de control. Es por esta característica que hemos decidido utilizar estimadores no-
paramétricos para la estimación del efecto promedio del tratamiento.
Nuestro trabajo se centrará en los tres principales estimadores no parametricos
de la literatura, a decir, Nearest Neighbor Matching, Radius Matching y Kernel
Matching.
A continuación se describen las características técnicas de cada uno de ellos.
Este estimador busca (dado el Propensity Score) el individuo de control que mas
“Cercano” se encuentra al individuo tratado.
Sea T el set de unidades tratadas y C el set de unidades de control. Yit es el
resultado observado para la unidad de tratamiento, Yjc es el resultado observado para la
unidad de control.
Denotaremos C(i) al set de unidades de control que fueron efectivamente
apareadas (matched) a la unidad de tratamiento i con un valor estimado de propensity
score de pi .
El “Nearest Neighbor Matching” se realiza de la siguiente manera:
C (i ) = min j pi − pj
21
En ambos métodos, denotaremos el número de controles pareados con
1
observaciones i ∈ T con Nic y definiremos ponderaciones o pesos wij = si j ∈ C(i)
Nt
y wij =0 de otra manera.
Entonces la formula para ambos estimadores de matching puede ser escrita de la
como: (donde m se refiere al tipo de estimador de matching –Radius o NNM- y el
número de unidades en el grupo tratamiento la denotaremos como Nt):
1
τ ∑ ∑ wijYjc
m
= Yit −
Nt i∈T j∈C (i )
1
= ∑ Yit − ∑ ∑ wijYjc
Nt i∈T i∈T j∈C (i )
1 1
=
Nt
∑ Yit -
Nt
∑ wjYjc
i∈T j∈C (i )
Donde wj = ∑i wij
pj − pi )
1
∑ j∈C
YjcG ( )
τ ∑ h
k
= Yit −
n
Nt i∈T pk − pi
∑k∈C G ( hn )
donde G(.) es una función de Kernel y hn es un parámetro de amplitud o
bandwidth.
Bajo condiciones estándar
22
pj − pi )
∑ j∈C YjcG (hn
)
pk − pi
∑k∈C G( hn )
Es un estimador consistente del resultado contrafactual Y 0i .
V. Los datos
14
A partir de los datos sobre los materiales de construcción del hogar, y basándonos en el informe del
Indec, construimos un indicador denominado CALMAT que sintetiza la calidad del hogar en cuatro
categorías.
23
llevadas a cabo en cada hogar en los últimos diez años. En estas preguntas se obtuvo
información tanto sobre qué parte del hogar se había reformado, así como también
cuántas reformas se habían hecho y cual había sido la forma de financiamiento de
dichas reformas.
Finalmente, la encuesta también permite dividir a la muestra en dos grandes
grupos: aquellos que han recibido al menos un microcrédito, y aquellos que no han
recibido ninguno.
De esta manera, obtuvimos un set de variables que utilizamos para nuestro
estudio. Al ser el mismo un corte transversal (es decir, distintas variables, de distintos
individuos pero en un solo momento del tiempo (t=2006)), nos encontramos frente al
mayor problema metodológico de nuestro estudio: el de no contar con un momento cero
en nuestras variables, es decir, un momento en el tiempo t=i tal que si t < i ningún
individuo ha recibido aun el tratamiento, y si t ≥ i el grupo tratamiento ya ha sido
tratado. Este problema, típico en los estudios de impacto de políticas sociales, es el que
nos va a forzar, como comentamos anteriormente, a diseñar el escenario contrafactual
de comparación del grupo tratamiento para estimar el impacto del programa.
Dado que el foco de nuestro estudio va a estar centrado en la calidad edilicia
de los hogares, y en las reformas realizadas en los mismos, nos pareció prudente trabajar
con un panel conformado solamente por hogares, y no por individuos; de otra manera,
de haber trabajado a nivel individual, hubiésemos tenido datos repetidos, ya que en la
mayoría de los casos, más de una persona vive bajo el mismo techo, y computar la
misma reforma mas de una vez para el mismo hogar hubiese sesgado ampliamente
nuestros resultados. Por lo tanto, para limpiar nuestro panel, decidimos trabajar
solamente con los jefes de hogar. Para esto, se generó una variable dummy, la cual tomó
valor igual a uno si la persona respondía ser jefe de hogar, y valor igual a cero de otra
forma. Esta decisión redujo ampliamente el número de observaciones de nuestra
muestra, pero dado el altísimo número de observaciones iniciales, el costo fue menor
que el beneficio, ya que la robustez del estudio no se pierde, y nos aseguramos un
estimador más confiable.
Otra variable que va a ser relevante a los efectos prácticos de nuestro estudio es
la denominada CALMAT, que es un reflejo de la calidad edilicia y estructural de la
vivienda; se gradúa entre 1 y 5 (siendo 1 la mejor calidad posible)15. Esta variable va a
15
Para ver como se construye esta variable ir a la Figura F en el anexo
24
resultar importante a la hora de analizar los resultados ya que la acumulación de
reformas puede lograr un cambio positivo en la calidad de la vivienda.
Dada las dificultades metodologiítas del estudio, fue de vital importancia tratar
de definir grupos control y tratamiento lo mas parecidos posibles, de manera tal de tratar
de minimizar el problemas de auto selección y de diferencias en variables no
observables entre ambos grupos. A continuación, describiremos brevemente cómo fue
que, basándonos en la encuesta y a sus características, armamos estos dos grupos, y el
por qué de dicho diseño.
Inicialmente, los encuestados estaban divididos en dos grandes grupos:
aquellos que ya habían recibido gas natural, y aquellos individuos que no lo habían
recibido. Para trabajar con individuos similares, y minimizar las diferencias, se eligió
trabajar con el grupo que no había recibido gas natural. Dentro de este grupo, existían a
su vez dos subgrupos: aquellos a los que les interesaba recibir gas, y aquellos a los que
no les interesaba recibirlo. Usando el mismo criterio de minimizar las diferencias entre
los grupos tratados, se eligió trabajar solamente con el grupo que no tenía gas, pero que
le interesaba tenerlo. A su vez, dentro de este subgrupo, se dividió a la población,
siguiendo las preguntas de la encuesta, entre los que alguna vez habían recibido un
micreocredito, y aquellos que nunca lo habían recibido. Es importante notar que de esta
manera, se elimina parcialmente el problema de autoseleccion, ya que tanto los
individuos que recibieron tratamiento, como los que no lo recibieron, quieren tener gas,
revelan de esta forma características no observables similares: ambos tienen ganas de
progresar y voluntad de crecer, y posiblemente ambos tengas características
emprendedoras similares.
De esta manera se definió al grupo tratamiento: los individuos sin gas, pero
con intención de tenerlo, que alguna vez habían recibido un microcredito. A su vez,
para definir un grupo control lo mas parecido posible al grupo tratamiento, se aplicó
otro filtro más, que nuevamente buscó controlar por características no observables
ambos grupos, de forma tal de minimizar las diferencias. Dentro del grupo de los que
nunca habían recibido microcreditos, se preguntó la razón de dicho resultado: las
posible respuestas se refirieron a: 1) porque no le había interesado recibirlo en ningún
momento del tiempo; 2) porque la institución de microfinanzas que había otorgado el
25
plan en el barrio no se lo había dado; 3) porque nunca se había enterado del programa
pero que le interesaría recibirlo en el futuro.
Dentro del primer grupo podemos ver claramente que habría una diferencia con
el grupo tratamiento basada en características no observables: por alguna razón, no le
interesa auto seleccionarse a recibir el tratamiento. En el segundo caso, pasa algo
similar, pero la diferencia esta basada en características observables: por alguna razón,
la FPVS no quiso darle el crédito. Claramente, en estos dos primeros casos, las
diferencias con el grupo tratamiento son claras y evidentes (ya sean observables o no
observables); es por eso que se descartan como grupo control, ya que de ser
considerados para el mismo, sesgarían la estimación de impacto.
Finalmente, el tercer grupo posee tanto similitudes como diferencias: por un
lado, comparte la inquietud del grupo que recibió el tratamiento, ya que también tiene
deseos de recibirlo y en este sentido podemos decir que tiene las mismas características
no observables; por otro lado, es cierto que la inquietud del grupo tratamiento por
recibir los créditos es en promedio mayor, ya que se enteraron del programa y los
controles no16, generando así una diferencia muy importante. También es cierto que
algunos de estos individuos que expresan su deseo de recibir el tratamiento no
necesariamente vayan a recibirlo, en particular, por lo mencionado sobre los vínculos
sociales y la capacidad de formar los llamados “grupos solidarios”.
De todas maneras, a pesar de las diferencias reales y potenciales, es evidente
que el tercer grupo es el que presenta mayores similitudes con el grupo tratamiento, y
es, por lo tanto, la mejor opción de grupo control que tenemos, dadas las características
de le encuesta. Es así que definimos el mejor grupo control que minimizará los errores
de estimación como aquellos individuos que no recibieron gas, pero tienen ganas de
recibirlo, y que además no recibieron microcréditos (porque no se enteraron de ellos),
pero que expresaron deseos de recibir alguno en el futuro.
De esta manera, obtuvimos un grupo tratamiento conformado por 116
hogares, y un grupo control conformado por 118 hogares, con una muestra total de 234
hogares. Este número de observaciones es satisfactorio, ya que nos asegura rigurosidad
a la hora de hacer la estimación econométrica17.
16
También es importante notar en este punto, que la fuente de diferencias no observables pueden ser los
vínculos sociales y familiares de los individuos, que les permiten enterarse del programa, y es además,
uno de los requisitos para formar los grupos solidarios que se requieren para recibirlo.
17
Ver Figura A en el anexo para ver con más detalle la conformación del grupo tratamiento y control.
26
V.2 Armado de la variable impacto
Nuestra base de datos cuenta en detalle las reformas realizas entre el año
1995 y el 2006. Los encuestados debieron responder en que periodo y que mejoras
habían realizado a sus hogares, como por ejemplo si habían construido una habitación
nueva o si habían realizado una correcta instalación sanitaria. Dado que ninguna de
estas variables, por si sola, puede considerarse representativa de la mejora estructural de
la vivienda, fue necesario la creación de un indicador. Dicha variable fue denominada
“reformas” y esta definida como:
Ri
ℜi =
P
Donde:
27
hecho por que no le intereso (aunque conocía de la existencia y el mecanismo del
programa de microfinanzas); o bien puede no haber participado programa, pero al
momento de la encuesta puede haber expresado que tiene interés y que lo haría si
tuviera oportunidad18. Por el armado de la encuesta se excluyeron aquellas personas
que no recibieron el microcredito por no haber cumplido con los requerimientos de
aplicación al programa
Por lo anterior, uno podría pensar que el grupo de control tal como se expone
puede presentar serias diferencias en cuanto al grupo tratamiento, en especial en cuanto
a las características no observables que gobiernan la participación (efectiva o potencial)
en el programa de microfinanzas. De no corregir esta situación podríamos estar en
presencia de sesgos en el nivel de reformas.
Para la corrección se reconfiguró la muestra del grupo control y se paso a
observar cual es el nivel de nuestra variable de resultados en cada uno de los grupos. El
histograma correspondiente a la nuevo grupo control es el siguiente:
Se puede notar que la media del nuevo grupo control es menor. Este efecto no
implica que haya un comportamiento que lleve a estos individuos a ser menos
propensos a realizar reformas, sino mas bien es producto de que el número de personas
en el nuevo grupo control es mucho menor
Para la estimación del propensity score, fue necesario seleccionar y armar un con
junto de variables, en lo posible pre-tratadas.
Para realizar el probit elegimos usar de la base de datos (en paréntesis figura el
nombre de la variable en los datos originales): la edad (edad), el nivel de ingreso
mensual (remuneración), personas por vivienda (pers_x_viv) y edad al cuadrado
(edad2). La idea de incluir edad al cuadrado como variable explicativa radiva en una
relación no lineal entre la edad de los jefes de hogar y su participación o no en el
programa.
Por otra parte, fue necesario organizar y transformar otras variables en binarias.
Por ejemplo, para identificar el nivel de educación usamos el nivel máximo de
educación del jefe (maxniveduc) y la transformamos en una variable bivariada que
18
Para más información sobre el armado de la encuesta, en el anexo se encuentran las preguntas
efectuadas
28
tomaba valor 1 si la persona tenia un primario completo y 0 en caso de que el nivel de
instrucción sea menor al mencionado. Un procedimiento similar se utilizo para
caracterizar la nacionalidad del jefe (tomando el valor 1 si el jefe es argentino y 0 sino)
y si formaba parte de algún grupo religioso (nomgru_relig, tomando el valor 1 si el jefe
formaba parte de algún grupo religioso y 0 sino)19.
. Del conjunto de variables utilizadas para la estimación probit, solo resulta
pertinente e interesante explicar por que la religión puede influir en la probabilidad de
ser aceptado en un programa de microcredito. La respuesta a este interrogante es
intuitiva ya que uno de los requisitos para recibir microcréditos, suele ser la formación
de un grupo solidario que minimice los costos de monitoreo, ayude frente la falta de
colaterales y actué como mecanismo para garantizar altos niveles de repago. Así, el
hecho de compartir creencias, frecuentar un mismo sitio y personas facilita la formación
de dichos grupos.
Una vez seleccionadas y en algunos casos transformadas las variables que nos
ayudarían a formar la probabilidad condicional de formar parte de un programa de
microcréditos dadas un set de características pre-tratadas, corrimos en Stata el programa
pscore.do20.
La primer salida simplemente muestra la división entre el grupo control y el
tratamiento. Como refleja la Tabla C del Anexo, en total, contamos con 234
observaciones: 118 son controles (50.4%) y 116 son tratamiento (49.6%).
Luego, el comando realiza una regresión probit entre tratamiento y el conjunto
de covariantes (remuneración, edad, religión, entre otras). Al realizar este procedimiento
lo primero que podemos notar es que el programa a dejado de lado a algunas
observaciones, reduciendo la muestra a 223 observaciones. También observamos que la
probabilidad de rechazar conjuntamente la regresión es menor al 5%, por que
continuamos analizando cada uno de los covariantes.
19
Ver la Tabla A en el Anexo para más detalles
20
Estos resultados pueden ser apreciados en la Tabla E del Anexo
29
La regresión sugiere que la cantidad de personas en la vivienda(pers_x_viv),
pais de origen y si el jefe de hogar pose el primario completo(educprim) no
significativas, es decir que la probabilidad de rechazo es mayor al 15%. Cuando
hablamos de rechazar las variables, queremos decir que estas no contribuyen a aumentar
a probabilidad de obtener un microcredito. Dado que no existe relacion entre estas
variables y haber recibido microcredito, estas variables se rechazan. El análisis de este
rechazo es importante ya que demuestra y reafirma el hecho de no contar con problemas
de auto-selección (por la forma en que se construyó la encuesta). Por ejemplo, una
persona emprendedora podría intentar adquirir educación como sea, estableciendo asi
una diferencia con el resto de una población. De esta forma se hace evidente que existe
en él la característica no observable que lo impulso a realizar esto.
Por otra parte, la constante, edad, si forma parte de alguna religión y el salario,
son variables no rechazadas al 5% (edad al cuadrado no es rechazada al 14%). La salida
no rechaza la existencia de una constante para la estimación de la probabilidad de
recibir un credito.
Como de esperarse la religión puede ayudar a mejorar o establecer la relación
con la gente del barrio. Poseer un interés común, frecuentar los mismos espacios con la
misma gente podría favorecer a formar los grupos solidarios y como estos son requisitos
a la hora de obtener microcréditos esta variables resulta significativa al 5%. Por otra
parte, la regresión encontró una relación mas fuerte a la anterior.
Los niveles de ingresos resultan significativos al 1%. Esto demuestra que a la
hora de armar el Propensity Score este covarienate es importante ya que nos da una idea
de productividad de cada jefe de hogar. A mayor salario, aumentan las probabilidades
de obtener un microcredito
Por ultimo la edad juega un rol importante al estimar el pscore. Esta variable
resulta significativa al 5%. Y a medida que aumenta, la probabilidad de ser aceptado en
un programa de microcredito es más grande.
Una vez concluido que la regresión probit es valida, se usan los coeficientes de
las variables explicativas para estimar la probabilidad de conseguir microcréditos y
siguiendo con el programa la muestra, se parte según la variable estimadas en 5
intervalos igualmente espaciados21. Las características de la probabilidad de formar
21
Se utiliza la opción de soporte común, para asegurar la obtención de observaciones en cada intervalo
del Propensity Score. Esta restricción implica que la propiedad de balanceo (Lema 1) solo es realizada en
30
parte de un programa de microcréditos, que desde ahora llamaremos “pscore”, pueden
ser apreciada en la Tabla F del Anexo. Paso seguido, el programa verifica que el Lema 1
se cumpla: hay que ver para cada intervalo que el promedio del pscore no difiera entre
tratados y control. Dicho proceso se muestra al realizar el comando pscore con la opción
“detail”, y nos dice que las medias en cada segmento son iguales. Finalmente para que
la propiedad de balanceo se cumpla la muestra debe cumplir un último requisito: para
cada característica incluida, las medias no deben variar entre estos intervalos.
Así, obtuvimos 5 bloques que aseguran que: (i)la media del pscore no varia entre
el grupo control y tratamiento, (ii) se satisface la propiedad de balanceo. En la tabla<>
se puede ver como las observaciones se distribuyen a lo largo de los intervalos. Como
es de esperarse, para valore bajos de pscore, hay mas controles que tratamiento. A
medida que se avanza valores mas elevados esta situación se va revirtiendo, hasta llegar
al ultimo bloque donde hay mas observaciones con microcréditos.
Para hacer mas fácil el análisis hemos incluido los histogramas correspondientes
al pscore.22.
Hasta aquí, hemos concluido la demostración que la estimación del pscore es
correcta, pero para estimar de forma correcta el ETT(efecto tratamiento sobre los tratos)
es necesario utilizar distintos métodos de apareamiento. A continuación se muestra
dicha estimación utilizando los procesos mas utilizados en la literatura.
31
se sucede ya que dependiendo del procedimiento que utilicemos para aparear, el
software puede comparar mas o menos observaciones.
Sin mas puntos a tener en cuenta se procede a mostrar los resultados pertinentes.
VII. Conclusión
32
basado en características observables y el Propensity Score como la probabilidad
condicional de recibir el tratamiento dadas ciertas características previas al tratamiento.
Usando este método, nuestro trabajo se propuso analizar cual es el efecto de un
programa de microcréditos sobre las mejoras en la estructura del hogar. Uno de los
aportes de este trabajo es la forma en que construyeron los grupos de tratamiento y
control. Dada la forma en que se realizó la encuesta que formo la base empírica de
nuestro estudio, se pudo corregir el sesgo de auto-selección a la hora de construir un
grupo de control y tratamiento.
Como se vio en el apartado de resultados el covariante religión resulta
significativo, a la hora de estimar el Propensity Score. El uso de esta variable es de
relevante importancia dado que para ser aceptado en un programa de microcréditos se
debe formar un grupo solitario que permita superar de manera eficiente los problemas
de monitoreo y falta de colateral.
Utilizando diferentes tipos de estimadores no paramétricos encontramos que el
programa de microfinanzas tiene un efecto positivo si se analizan el número de reformas
realizadas por año. En efecto, los participantes del programa muestran 0.20 reformas
por años mas que los no-participantes. Si bien este resultado puede parecer marginal,
vale hacer algunas aclaraciones.
Para poder determinar si el resultado encontrado es suficiente para asegurar que
los microcréditos influyen positivamente en la mejora habitacional, debemos recordar
que: (i) la variable que estimamos son reformas por año (ii) el otorgamiento de
microcréditos suele ser en pequeñas cuotas, por lo tanto un participante del programa
suele repartir a lo largo del tiempo diversas mejoras.
Algunos indicios del impacto positivo del programa puede observarse al tomar
las características de las reformas efectuadas. Al desglosar las reformas por su tipo,
tomando cimientos, techo, instalación sanitaria, paredes, etc. Se puede apreciar que el
grupo tratamiento presenta un mayor numero de reformas en todos tipos los campos,
mostrando mayores diferencias en reformas claves par la calidad edilicia de una
vivienda como son contrapiso, paredes, cielorraso, instalación de gas23, e instalación
sanitaria24.
23
La instalación de gas se refiere al tendido de cañerías para gas envasado, dado que los entrevistados no
cuentan con gas natural.
24
Vease los detalles en el anexo, en la fig. G.
33
VIII. Bibliografía
34
IX. ANEXO
Nombre de
variables Descripción
edad Edad
edad2 Edad*Edad
1
si el jefe de hogar pertenece al grupo de tratamiento, se estandariza por la cantidad de años de
tratamiento; sino se divide por la cantidad total de años
35
Tabla B: Estadisticos descriptivos de variables explicativas
Treatment Control
36
Tabla C: Grupos de tratamiento y control
Treatment Control
1
Sum of reformas Mean Mean
(Std. Dev.) (Std. Dev.)
1
suma de reformas por año
37
Tabla E: Test de medias de reformas para control y tratamiento
diff = mean(Control) -
mean(Treatment) -0.1942249 -0.2487796 -0.1396701
(0.0276894)
38
Tabla F: Probit regression
39
Tabla G: Estimated Propensity Score
1
Description of the estimated propensity score in region of common support
obs 212
Sum of
Wgt. 212
Mean 0.5213595
(Std. Dev.) (0.2031334)
Variance 0.0412632
Skewness 0.1368743
Kurtosis 2.294251
1% 0.1460361 0.1309626
5% 0.1957648 0.1455542
1
The region of common support is: [.13096265,
.98038316]
40
Tabla H: Numero de personas de cada grupo por bloque
0.1309626 11 1 12
0.2 33 16 49
0.4 34 42 76
0.6 19 34 53
0.8 3 19 22
41
Tabla I: ATT estimation with Nearest Neighbor Matching method
Nota: el nro. de personas en tratamiento y control se refiere al metodo "nearest neighbour matches"
Nota: el nro. de personas en tratamiento y control se refiere metodo "actual matches within radius"
42
Tabla L: Rango de montos recibidos en microcréditos
43
Figura A: Definiciones de grupos de tratamiento y control
44
Figura B: Calmats por grupos
2
1.5
Density
1 .5
0
1 2 3 4
Calmat por grupos
Treatment Control
Treatment Control
45
Figura D: Suma de reformas por grupos
Control Treatment
.4
.3
Density
.2
.1
0
0 5 10 15 0 5 10 15
Suma de reformas
Graphs by treatment
0 .2 .4 .6 .8 1
Estimated propensity score
Treatment Control
46
Figura E-B: Distribucion PSCORE por grupo
Control Treatment
3
2
Density
1
0
0 .5 1 0 .5 1
Estimated propensity score
Density
normal pscore
Graphs by treatment
47
Figura G: Reformas por tipos
3
otras
rejas 9
9
2
cerc y ver
10
20
pintura 4
26
habitacion 23
14
cocina 35
bano 21
31
0
inst. Gas
43
9
inst. Electr. 3
6
inst.sanitaria Controles
17
7 Tratados
inst. Agua 14
17
pisos 20
14
cielorraso
43
22
aberturas
40
31
techo
31
27
paredes 52
19
contrapiso
45
23
cimientos
27
0 10 20 30 40 50 60
Cantidad de reformas
48
Figura H: Distribución de reformas
400
350
131
300
Cantidad de reformas realizadas
250
Control
200
Tratados
150
61
239
100
22 34
109
50
22
54 46
31
0
aberturas Relevantes para calmat Instalaciones Mejoras en espacios otras
49