Universidad Autónoma del Estado de Hidalgo

Instituto de Ciencias Sociales y Humanidades

Maestría en Gobierno y Gestión Local

“Metaevaluación de la evaluación de impacto al Programa de Estancias

Infantiles para apoyar a madres trabajadoras”

Presentan:
Alfredo Pastén Hernández
Omar Olvera Cruz
Mauro Abraham Ordaz Vázquez
2. Encargos de la evaluación especificados en los términos de referencia

De acuerdo con Coneval una evaluación de impacto busca medir los efectos
que tiene un programa en sus beneficiarios con respecto a individuos que tienen
características similares pero que no reciben los beneficios del mismo. Para realizar
evaluaciones de impacto de tipo cuantitativo existen diferentes métodos estadísticos
que se pueden utilizar. Éstos requieren información en al menos dos momentos del
tiempo sobre dos grupos de individuos (beneficiarios y no beneficiarios): antes de la
aplicación del programa y después de la misma, en algún momento determinado por
las características del indicador sujeto a la medición. Es importante mencionar que no
siempre es indispensable hacer levantamientos de encuestas. Esta información puede
obtenerse de registros administrativos del programa, dependencias y entidades, o de
bases de datos de encuestas existentes realizadas por el programa u otras
instituciones, siempre y cuando estos datos permitan medir el impacto de los
indicadores (SF).

En otras palabras lo que una evaluación de impacto pretende es exponer la

incidencia del programa a evaluar en la población objetivo, esto mediante la
comparación de variables, en las cuales el programa busca cambiar el status quo de la
población objetivo antes y después de la implementación, así como de un grupo de
control (personas con las mismas características de los beneficiarios pero que no son
beneficiarios del programa). El contraste de estos dos grupos permitirá observar el
impacto del programa en los beneficiarios a través de los cambios en las variables a
través del tiempo, y a su vez las variaciones en el grupo de control no atribuibles a la
implementación del programa.

De acuerdo con la legislación antes citada para la administraciónn pública

federal: las dependencias y entidades de la administración pública federal deben de
orientar sus programas y el gasto al cumplimiento de objetivos y metas siendo estos
resultados medibles objetivamente en relación con la eficiciencia, calidad, economía e
impacto social.
 La evaluación de la ejecución de los programas y presupuestos de las
dependencias y entidades se lleva a cabo con base en el Sistema de Evaluación del
Desempeño, el cual plantea una valoración objetiva del desempeño de los programas.
Que los programas sujetos a reglas de operación y otros programas que determine en
Consejo Nacional de Evaluación de la Política de Desarrollo Social, deben ser
evaluados y monitoreados. Todo lo anterior con el fin de se prevea el presupuesto de
egresos de la Federación siguiendo una serie de lineamientos para la Evaluación de
Programas Federales de la Administración Pública Federal, teniendo como una de sus
finalidades regular la evaluación de los programas federales, teniendo dichos
lineamientos la obligatoriedad por parte de las dependencias y entidades de la
Administración Publica Federal responsables de dichos programas.

Dentro de los lineamientos se define a la evaluación de impacto como aquella

que identifica con metodologías rigurosas el cambio en los indicadores a nivel de
resultados atribuible a la ejecución del programa federal. Dicha evaluación deberá ser
llevada a cabo por parte de evaluadores externos con cargo al presupuesto de la
dependencia o entidad responsable del programa federal, o por el Coneval en el ámbito
de su competencia. La metodología y los términos de referencia de la evaluación de
impacto deberán ser revisados y, en su caso, aprobados por la Secretaria de la
Función Pública, y por el Coneval en el ámbito de sus atribuciones, de forma previa al
procedimiento de contratación de los evaluadores externos, cuando sea el caso.

Las dependencias y entidades deberán dar seguimiento a los aspectos

susceptibles de mejora derivado de las evaluaciones realizadas, conforme al convenio
de compromisos de mejoramiento de la gestión para resultados que celebren. Los
resultados de las evaluaciones deberán darse a conocer de forma permanente a través
de sus respectivas páginas de internet en un lugar visible y de fácil acceso. Para que
una evaluación de impacto sea viable, el programa debe cumplir una serie de requisitos
del monitoreo de información necesaria para llevarla a cabo. El Coneval requiere que
antes de planear la evaluación de impacto de un programa, se plasme en un
documento la existencia de estos elementos. Este documento debe ser presentado por
la dependencia o institución a cargo del programa y será analizado por el Coneval, a
partir del análisis de este documento se emitirá una opinión sobre la factibilidad de
llevar a cabo la evaluación de impacto, o en su defecto realizar otro tipo de
evaluación de seguimiento de resultados.

El documento está estructurado con el propósito de que las dependencias sigan

el mismo orden de los apartados, los contenidos mínimos con los que debe contar el
análisis de factibilidad para realizar una evaluación de impacto son:

1. Antecedentes del programa

2. Diseño de la intervención

3. Objetivos de la evaluación

4. Información disponible y fuentes

5. Metodología aplicable.

Si es factible la puesta en marcha de una evaluación de impacto de acuerdo con

estos criterios el Coneval deberá dar su visto bueno.
5. Suficiencia y calidad del contenido del informe final

El informe final cuenta con 315 páginas en total, las cuales se distribuyen en un
resumen ejecutivo, cuatro capítulos, referencias y anexos. El resumen ejecutivo, el cual
consta de 18 páginas, hace una descripción acertada de forma general de la
evaluación realizada, que permite a los lectores poder conocer de manera breve el
proceso, los hallazgos y las conclusiones resultantes de la evaluación, dicho resumen
es indispensable dentro del informe final, por lo que esta evaluación cumple con ese
rubro de muy buena forma.

En el primer capítulo del informe el cual es una introducción detallada al

programa y a la evaluación por realizar se comienza por describir al programa, de
manera más detallada y precisa este apartado expone la creación del programa,
basado en las reglas de operación del programa realiza una recapitulación de algunas
modificaciones que ha sufrido el programa en cuanto a los criterios para determinar los
montos de apoyo, definición de hogares elegibles para ser beneficiarios, entre otros.

De igual manera se describe cómo es que se impulsó y sufrieron cambios los

lineamientos para la incorporación a la red de estancias infantiles, o sea para la
creación de estancias, se realiza de igual manera la descripción de la población
potencial y objetivo. Por medio de una manera muy digerible y precisa en este apartado
se va exponiendo algunos de los cambios que ha sufrido el programa así como las
bases que los sustentan.

Por último y de manera muy pertinente dentro de este primer capítulo, el informe
expone las condiciones económicas en las que se realizó la evaluación, si bien el
programa busca incidir en el empleo de las madres o padres encargados de cuidar a
los menores, es necesario por los años en los que se realizo la evaluación presentar
las condiciones económicas, ya que los impactos encontrados pueden ser también
explicados por dicho contexto. De tal manera que dicho contexto es pertinente en el
apartado introductorio del informe.
En el segundo capítulo se aborda el diseño metodológico de la evaluación,
comenzando por una revisión de la literatura, que bien podría llamarse “estado del arte”
ya que es la revisión de experiencias documentadas de programas similares
implementados en algunos países y de algunos autores que hicieron revisión de
algunos de estos en algún país, esto justificado en la poca literatura existente
correspondiente a la evaluación de impacto en programas similares al PEI. A través de
esta revisión se pretende generar un marco conceptual que permita la identificación de
mecanismos a través de los cuales la implementación de un programa encargado del
cuidado infantil puede tener efectos relacionados con la participación laboral (Ángeles,
2011).

Se incluye un marco conceptual basado en un marco conceptual generado por

Leroy et al (2009) por medio de una revisión sistemática de literatura sobre el impacto
de programas de cuidado infantil en la salud, nutrición y desarrollo de los menores. Se
expone una relación causal que sustenta la razón de ser del programa ya que se
argumenta que al tener un sustituto estable de cuidado a las madres, estas pueden ver
facilitado su participación laboral y así incrementar los ingresos del hogar y con esto la
adquisición de más y mejores alimentos que mejoren la alimentación de los niños.

En este marco conceptual, si bien no hay como tal una descripción de conceptos
existe el planteamiento causal que da sustento a la hipótesis del programa y una
dirección del origen de las variaciones de la población objetivo, que se buscan explicar
en la evaluación de impacto.

A partir de lo anterior en el siguiente apartado denominado objetivos y preguntas

de investigación presenta los objetivos específicos del trabajo y las principales
hipótesis:

Objetivos específicos:
  Estimar el impacto del Programa en el empleo, el ingreso y la distribución del
uso de tiempo de las madres beneficiarias.

 Estimar el impacto del Programa en el desarrollo de los(as) niños(as)

beneficiarios.

 Estimar el impacto sobre el estado de salud y nutrición de los(as) niños(as)

beneficiarios.

Principales hipótesis del estudio:

 El PEI tiene un impacto positivo en la participación laboral de las beneficiarias,

tanto en la permanencia como en la incorporación al mercado laboral.

 El PEI tiene un impacto positivo en el ingreso de los hogares beneficiarios.

 El PEI tiene un impacto en las decisiones del uso del tiempo de las beneficiarias.

 El PEI tiene un impacto en el desarrollo de los niños.

 El PEI tiene impacto en el estado de salud y nutrición de los niños beneficiarios.

Estos objetivos a si como la contrastación de las hipótesis presentadas se

convertirán en lo mínimo alcanzable por parte de la evaluación y expuesto en el informe
final.

En relación al diseño metodológico de la evaluación el cual es el siguiente apartado,

el informe final nos presenta de manera detallada como fue el proceso para poder
elegir la metodología, lo cual es pertinente debido a que dentro de una evaluación de
este tipo se requiere información que permita visualizar el impacto del programa a
través de la contrastación de los beneficiarios con un grupo de control por ejemplo así
como de una metodología rigurosa para llevar a cabo dicha comparación.

Se expone en orden cronológico las posibilidades de la aplicación de diferente

metodologías tales como el diseño de pareamiento y Diferencias en Diferencias, el uso
de un grupo de control y llevar así a exponer las causa del por qué se eligió una
metodología complementaria como lo es el pipeline y la comparación de niños inscritos
con diferentes niveles de exposición al programa.
Este apartado resulta de suma importancia para entender el por qué se eligió la
metodología más pertinente para la evaluación de impacto, esta justificación no solo
abona a la literatura existente en cuanto a la metodología aplicable a una evaluación de
impacto de acuerdo a los factores e información disponible por parte del programa si no
que lleva a una comprensión de las decisiones fundamentadas por parte del equipo
evaluador para resolver circunstancias que no permitirían un análisis riguroso como se
estipula para una evaluación de impacto.

En las siguientes páginas del segundo capítulo se pasa a exponer el modelo de

regresión implementado, la formación de los grupos de estudio, entre otros. Dicha
exposición si bien es pertinente, hace notar la participación de personas con formación
económica en el equipo evaluador, esto por la tecnificación del lenguaje y los
conocimientos necesarios para la comprensión del lenguaje técnico así como de la
interpretación de algunos cuadros y gráficos.

En lo referente al tercer capítulo viene a ser la interpretación de los resultados

arrojados por la evaluación, en el que se hace uso de la estadística descriptiva la cual
perite una comprensión mayor, de la dimensión de los resultados, comenzando con las
características de la muestra estudiada, el mercado laboral y el uso del tiempo, así
como los efectos en ambos, las condiciones de empleo de las madres beneficiarias
antes y después del programa. En este capitulo se viene a hacer una exposición
detallada de los impactos encontrados atribuibles al programa en las distintas variables
propuestas.

En estos dos últimos capítulos se vienen a cumplir los objetivos específicos

planteados por la evaluación, ya que por un lado se estimaron los impactos por medio
de una metodología rigurosa y se llega a conclusiones de las hipótesis propuestas en
cuanto el impacto del PEI en la participación laboral, incremento del ingreso en los
hogares, decisiones en el uso del tiempo, así como en el desarrollo salud y nutrición de
los niños.

Por último si bien no son muy extensas, las conclusiones y las recomendaciones del
informe final, si hacen alusión a los hallazgos contextualizándoles y contrastándolos
con la revisión de la literatura previamente realizada siendo también realistas en las
limitaciones y alcances que se tuvo en la evaluación y por medio de las cuales se
pudieron generar recomendaciones no solo en relación del programa si no también en
una futuro análisis del mismo para el hallazgo de resultados precisos. Por lo que
respecta a la suficiencia y pertinencia del informe final, si bien puede mejorar en mucho
este cumple con los mínimos requerimientos que este debe contener por lo que se
puede concluir que técnicamente es correcto.

En esencia son dos las recomendaciones que haría:

Por un lado para ser una evaluación de impacto es necesaria una mayor profundización
en las recomendaciones ya que aun dentro de estas se propone otro tipo de análisis o
metodología, reconociendo la insuficiencia de la evaluación para verificar el impacto del
programa así como algunos aspectos del mismo.
Una mayor multidisciplinariedad de los miembros del equipo evaluador, seria pertinente
ya que tanto el análisis como la interpretación de algunos resultados son muy
tecnificados, esto debido a la formación económica de la mayoría de los miembros del
equipo, enfocando el análisis desde una óptica mas económica.

Referencias
Ángeles, G. (2011). Evaluación de Impacto del Programa Estancias Infantiles para
apoyar a madres trabajadoras. México: CIEE.

Coneval (2011). (SF). Guion de analisis de factibilidad para llevar a cabo una evalución
de impacto. Obtenido de
https://www.coneval.org.mx/rw/resource/coneval/EVALUACIONES/EVALUACIO
NES_PROGRAMAS_POLITICAS_DS/Evaluaciones%20de%20Impacto/guion_a
nalisis_de_factibilidad.pdf
Myriam Cardozo, T. O. (2015). Institucionalización de procesos de evaluación. Calidad
y utilización de sus resultados.Mexico: Universidad Autónoma Metropolitana.