Evaluacin de Proyectos Sociales

Mdulo 2 del Curso

Evaluacin de Programas y Proyectos de Desarrollo Humano Autor: Ricardo Villanueva Valverde

El objetivo del presente mdulo es presentar y/o refrescar en los participantes nociones bsicas de la investigacin social que se emplean comnmente en el diseo de estudios de lnea de base y evaluacin de programas y proyectos y que sern aplicados en el diseo de sus propios trabajos integradores en la tercera parte del curso.
2

CONTENIDO
Lneas de Base y Evaluacin de proyectos. Elementos de la Investigacin Social usados en estudios de lneas de base.

Evaluacin:
cmo valorar los cambios sociales
En todo proceso de cambio social existe un margen de incertidumbre y de aleatoriedad. Las intervenciones apuntan a provocar ciertos resultados esperados, pero a su vez el entorno posee un dinamismo y las relaciones humanas estn en constante cambio... Entonces una pregunta resulta pertinente: cuando y cmo podemos atribuir determinado cambio como efecto directo de un proyecto?
4

Veamos el ejemplo de una problemtica compleja en un entorno dinmico de cambio

Debilitamiento de capacidades protectivas de la familia nuclear en poblacin vulnerable de reas urbanas

Aumento de inseguridad econmica en la poblacin vulnerable

Valor de canasta de bienes y servicios bsicos en constante aumento

Ausencia de polticas para mitigacin de los estresores sociales y debilitamiento de redes sociales Incipiente nivel de estrategias de generacin de ingreso familiar basadas en capital educativo

Insercin en mercado laboral en condiciones de precariedad persistente

Las flechas rojas indican las interacciones que se producen entre las variables, relaciones de causa-efecto o relaciones de influencia. Cambios en las variables del entorno ocasionarn cambios significativos. Mediante el uso del Marco Lgico hemos visto el procedimiento para identificar y aislar las variables que no son controlables por el proyecto. De tal manera que se puedan disear resultados realistas y viables. Como parte de la identificacin del problema central -factores causales necesitamos recurrir a la investigacin.
6

La evaluacin tambin debe asegurarse de que la medicin mantenga aisladas las variables del entorno. Aisladas en el sentido de asegurarse que los cambios puedan ser atribuidos eficazmente a la intervencin del programa o proyecto.
Una vez que se ha cumplido con identificar y formular los indicadores de todos los niveles de la cadena de cambios, es necesario levantar informacin acerca del estado inicial del problema, es decir el valor actual de la variable clave delimitada en el propsito u objetivo especfico del proyecto y de la situacin en los indicadores del nivel de resultado. 7

La Lnea de Base
La lnea de base de la intervencin, llamada tambin lnea basal, es el procedimiento dentro del ciclo de la gestin del proyecto, por el cual se establece cuales son los valores de la situacin que se pretende cambiar antes del inicio del proyecto, de tal manera que se pueda comparar con la situacin al final del mismo.

Los proyectos sociales, o proyectos de desarrollo humano, se orientan hacia poblaciones objetivo, beneficiarios. Es decir los cambios se aprecian en los niveles de vida o bienestar de las personas. Es importante anotar que la observacin de los cambios en las personas puede ocurrir en varios niveles y dimensiones, las cuales pueden tener diversos enfoques e instrumentos de anlisis. Percepciones, conocimientos, actitudes, habilidades, comportamientos y estilos de vida son todos dimensiones con diferentes niveles de profundidad y formas de abordar.
9

La Lnea de Base, Def.

La lnea basal consiste en determinar la
situacin de la poblacin objetivo en relacin con las dimensiones o problemas que se desea afrontar al inicio de la intervencin
Carlos Aramburu (E. Vasquez et al. 2000) Tal como lo propone Carlos Arambur, la lnea de base es la mejor oportunidad para recoger informacin precisa tanto para establecer el punto de partida como para reconocer en detalle cmo se revela el problema en la vida y la percepcin de la poblacin y los actores participantes. 10

A diferencia de una investigacin diagnstica, la lnea de base tiene definido de antemano cuales son los aspectos que debe medir y valorar, el margen para la exploracin es mucho menor que aquella. Por consiguiente, el punto de partida del diseo de la lnea son los indicadores. No se necesita elaborar hiptesis, aunque desde luego si existir un marco conceptual que nos permita dar definiciones especficas a los indicadores y sus mtodos de medicin.
11

Elementos de Investigacin Social usados en las lneas de base

El diseo de la lnea de base debera seguir los pasos tpicos de una investigacin social, especialmente de la investigacin orientada al diagnstico. Es de vital importancia reconocer el tipo de informacin que ser necesario analizar en la lnea de base. El tipo de variables a investigar definir si la investigacin ser enteramente cuantitativa, cuanti-cualitativa o principalmente cualitativa. Cada una de ellas definir un tipo predominante de instrumentos.
12

Tipos de Diseo
Podemos diferenciar a los estudios en funcin del tipo de informacin a ser manejada, que a su vez implica el tipo de mtodos a emplear.
Un estudio cuantitativo, incidir en variables que se expresan numricamente: nivel de ingreso, gasto mensual, cantidad de comidas al da, nivel de desnutricin, carga familiar, ingesta calrica, etc. Un estudio cualitativo incidir en mtodos que manejarn categoras usadas para indagar en las explicaciones que da el sujeto, sus actitudes, sus representaciones. Sus mtodos son de tipo interpretativo. 13

Es importante no confundir el estudio de tipo cualitativo con las variables cualitativas. En la terminologa de investigacin clsica se suele hablar de variables cualitativas para referirse a cualidades o caractersticas de los sujetos. Estas se clasificaran en:
1.

Variable cualitativa ordinal: la variable puede tomar distintos valores ordenados siguiendo una escala establecida, aunque no es necesario que los intervalos que dividen la escala sean uniformes, por ejemplo, leve, moderado, grave. Variable cualitativa nominal: en esta variable los valores no pueden ser sometidos a un criterio de orden como por ejemplo los colores o el lugar de residencia, o las preferencias en el uso de mtodos contraconceptivos. 14

2.

Como vemos de la anterior definicin pueden existir estudios de tipo cuantitativo que puedan involucrar variables cuantitativas as como cualitativas. Lo que marca la diferencia es los mtodos que emplearemos para manejar, analizar e interpretar la informacin. Sin duda en la investigacin cualitativa predominar los mtodos interpretativos: necesarios para construir y validar las escalas de medicin, por ejemplo. A continuacin observaremos diferentes tipos de variables.
15

Variable Nmero de miembros del hogar dependientes del jefe de hogar Participacin de miembros de la comunidad en la elaboracin del Plan de Desarrollo Concertado Participacin de la mujer en la toma de decisiones del hogar Valoracin de la autonoma personal en la crianza de los nios/ nias Capacidades para la enseanza de la lecto-escritura en aula

Unidad de anlisis

Tipo de variable Variable ordinal

Hogar

Comunidad

Variable nominal

Hogar Hogar Sujeto

Variable nominal V. cualitativa ordinal V. cualitativa ordinal

Los estudios cualitativos suelen tener como objetivo hacer una aproximacin descriptiva y exploratoria a aspectos difcilmente accesibles mediante mtodos cuantitativos, por ello se les denomina estudios exploratorios. Una lnea de base en cambio debe tener definidos de antemano los criterios de anlisis-evaluacin, pues su punto de partida son los indicadores, por definicin cuantificables. La investigacin podra indagar aspectos poco conocidos, pero sin duda no puede aplicarse un diseo exclusivamente cualitativo.
17

En los estudios de evaluacin de proyectos sociales y desarrollo humano es comn encontrar objetivos amplios e integradores. Ello implica el manejo y anlisis de informacin de corte cuantitativo y cualitativo.
Generalmente la mejor opcin es asumir un estudio cuanticualitativo, pues aunque predominen las variables expresables numricamente siempre habrn criterios de evaluacin que exigirn el uso de mtodos interpretativos. 18

Antes de pasar a las siguientes pginas lea el material titulado:

La Lnea Basal de Carlos E. Arambur (en E. Vasquez et al. 2000: pags.90- 94)
Explica brevemente las estrategias de diseo de los procesos de evaluacin: estudio de corte final y estudios comparativos con grupo control.

Fuentes de informacin complementaria:

Pgina web del Grupo de Evaluacin Independiente del Banco Mundial sobre Herramientas de Evaluacin.

19

Diseo de Lnea de Base:

Esquema metodolgico
Un esquema de diseo de lnea de base debera cubrir los siguientes pasos:
Definicin operacional de los indicadores. Definicin de las unidades de anlisis. Definicin de la muestra Identificacin de los mtodos de recojo de informacin. Diseo de los temes de los instrumentos. Diseo del plan de recojo de informacin.
20

10

La definicin de los indicadores

La elaboracin de los indicadores constituye el primer paso y como tal su importancia es primordial, la calidad de todo el diseo y en conjunto del estudio, depende de la calidad de la formulacin y el grado en que representan adecuadamente los objetivos y resultados esperados de la intervencin. Veamos algunos ejemplos.
21

OBJETIVO DEL ESTUDIO

Determinar las condiciones iniciales del proyecto en relacin a los indicadores objetivamente verificables del objetivo y resultados indicados formulados en la matriz de marco lgico del proyecto.

Objetivo del Proyecto

Mejorar los niveles de produccin agropecuaria de manera sostenible para contribuir a mejorar la seguridad alimentaria y nutricional de las familias.

Variables del Estudio

Caractersticas sociales Grado de escolaridad del jefe de familia Ocupacin del padre, madre de familia, e hijos Caractersticas de la produccin agropecuaria Manejo de Cultivos: Cultivos que siembran en cada parcela Rendimientos de los cultivos Tcnicas de fertilidad de Suelo Tcnicas de control de enfermedades y plagas Tcnicas de cosecha Costos de Produccin Caractersticas de la organizacin para el riego.

11

OBJETIVO DEL ESTUDIO

Establecer un anlisis situacional de riesgo ante una posible pandemia a influenza en el nivel nacional, regional, provincial y local con prioridad en las regiones seleccionadas.

Objetivo del Proyecto

Apoyar el desarrollo de planes y protocolos de preparacin del sector para una pandemia de influenza en las reas de salud con el propsito de reducir los riesgos presentes en las zonas seleccionadas con mayor vunerabilidad.

Variables del Estudio

Condiciones del acceso a los servicios de salud de la poblacin en mayor riesgo. Prcticas de control y monitoreo sanitario de la poblacin aviar Disponibilidad de informacin sobre el tratamiento y acceso al tratamiento. Capacidades de gestin de programas intersectoriales de respuesta y gestin del riesgo de los actores locales. Capacidades de gestin coordinada de programas de respuesta de las instituciones regionales. Recursos humanos existentes y movilizables en las instituciones.

OBJETIVO DEL ESTUDIO

Identificar los niveles de conocimientos y capacidades relevantes entre las mujeres emprendedoras que sern necesarios para el logro de los resultados respecto a sus emprendimientos personales y productivos y de su relacin con los actores relevantes institucionales y del mercado de acuerdo con el marco lgico del proyecto

Objetivo del Proyecto

Promover del desarrollo de las competencias tcnicas y empresariales de las mujeres de las comunidades en situacin de pobreza de Carabayllo y Puente Piedra, para contribuir a una mejor calidad de vida de las familias.

Variables del Estudio

Socio-tcnico-productivo: Capacidades de mujeres emprendedoras en la gestin de emprendimientos con valor agregado Habilidades sociales de las mujeres para su desarrollo personal y el ejercicio de sus derechos. Asociatividad y Cultura Crediticia: Nivel de confianza mutua en grupo de pares con fines de emprendimiento. Hbitos de manejo responsable de crdito. Nivel de ahorro generado por las participantes como proporcin del capital de trabajo. Participacin en mecanismos comerciales para el desarrollo de valor agregado de sus productos.

12

Como podemos observar cada uno de los casos aborda variables especficas en funcin del objetivo y resultados esperados de la intervencin. La diferencia mas visibles es la unidad de anlisis. En el primer caso se enfatiza en la unidad familiar-productiva, en el segundo caso, en los sujetos y redes de salud en la medida que se requiere analizar los sistemas de respuesta, y en el tercero, se enfoca en las participantes, pues el proyecto apunta a conocimientos y prcticas sobre microemprendimientos y el tercero. Esta relacin entre variables y unidades de anlisis tiene su correlato en la eleccin de los mtodos de recojo de informacin. 25

Ahora veamos esta relacin en un proyecto que tiene como variable clave el nivel de participacin de actores sociales en la elaboracin de polticas de salud.
(el estudio) contempl la recoleccin de informacin de fuentes primarias y secundarias. Mientras estas ltimas se basaron en el anlisis documentario, las primeras incluyeron entrevistas y discusiones de grupo a informantes clave de instituciones del Estado y de las Organizaciones de la Sociedad Civil (OSC) relacionadas a la formulacin de polticas vinculadas a mejorar el acceso y la calidad de los servicios en salud
Fuente: CIES: http://observatorio.cies.org.pe/estudios/politicas-salud-seimerescobedo
26

13

Relacin entre los indicadores y los medios de verificacin

Los medios de verificacin son bsicamente las fuentes de donde se extraer los datos para determinar o valorar los indicadores. La naturaleza de la variable y la unidad de anlisis define la fuente de informacin y por supuesto el mtodo de recojo de informacin. Recordemos siempre que la clave para encontrar el adecuado mtodo de recojo de informacin es la definicin operacional del indicador. Hablamos sobre este tema en el primer mdulo.
27

Si comparamos las variables:

Nivel de ahorro generado como proporcin del capital de trabajo Nivel de participacin de actores sociales en la elaboracin de polticas

Encontramos informacin de distinta naturaleza. Sin duda, el mas fcilmente accesible es el nivel de ahorro, una encuesta con preguntas directas a los participantes nos entregar el dato. En el caso del nivel de participacin... es una variable compleja y que exige analizar percepciones y opiniones. Como hemos visto el investigador ha tenido que recurrir a entrevistas y grupos focales con distintos informantes.

14

Seleccin de los mtodos de recojo de informacin

Los mtodos de recojo de informacin se seleccionan en funcin de tres criterios: a) la naturaleza de los criterios de evaluacin; b) las unidades de anlisis del estudio; c) los recursos y tiempo disponible. Idealmente los estudios de lnea de base y las evaluaciones deberan disearse fundamentalmente en funcin de los dos primeros pero a veces dadas las limitaciones habr de incorporar el tercer elemento.
29

De acuerdo a la naturaleza de la variable y/o criterio de evaluacin. Esta es la principal determinante de eleccin del mtodo de recojo. Es evidente que una variable que aporta datos numricos es fcilmente accesible a travs de los mtodos de recojo cuantitativos; estos son aquellas tcnicas que permiten acumulan las observaciones de las unidades de informacin en forma numrica. Por ejemplo las encuestas, en las que los temes pueden ser tabulados y sumados, y luego se pueden procesar usando los tpicos estadgrafos.
30

15

Los mtodos o tcnicas cuantitativas incluyen: Las encuestas Las listas de verificacin o chequeo. Las escalas de diferencial semntico. Los cuestionarios autoadministrados.
Tomemos por ejemplo:
Criterio de evaluacin Mtodo de recojo Nivel de ahorro generado como proporcin del capital Encuesta administrada de trabajo
31

Variables cualitativas complejas. Veamos ahora el caso de criterios de evaluacin mas dificiles de abordar. Generalmente exigen recoger actitudes o comportamientos que pertenecen al mbito privado y no son observable a simple vista o se presentan en espacios pblicos especialmente configurados.
Un ejemplo:
Nivel de participacin de actores sociales en la elaboracin de polticas locales. En este caso para definir la tcnica de recojo de informacin, es necesario llegar hasta el indicador, pues es el referente mas cercano a la realidad.
32

16

Criterio de evaluacin Nivel de participacin de actores sociales en la elaboracin de polticas locales.

Indicador Nmero de ocasiones en que los/las dirigentes comunales participan en talleres o sesiones de trabajo sobre Presupuesto Participativo. Mtodo de recojo Entrevista estructurada a informante clave.

Ahora bien, este indicador aporta solo informacin limitada.

Criterio de evaluacin Nivel de participacin de actores sociales en la elaboracin de polticas locales.

Indicador Nmero de propuestas presentadas a talleres de elaboracin del PDC1 que fueron discutidas por los miembros del comit de promotoras de salud y del Comit de Vaso de Leche. Mtodo de recojo Entrevista semiestructurada a informantes clave.

Este indicador aborda una dimensin mas profunda del criterio, y exige un procesamiento mas complejo de la informacin.
1

Plan de Desarrollo Local Concertado

17

En funcin de las unidades de anlisis En muchas ocasiones debemos ajustar la seleccin de los mtodos a los tipos de unidades de anlisis. Por ejemplo, es diferente recoger la informacin de un individuo, que obtenerla de un grupo de personas, tal como la familia. Un tpico caso puede ser la composicin del ingreso familiar. En este caso lo ideal ser preguntar a los miembros del hogar en edad de trabajar su aporte especfico mediante una encuesta de hogares- o por lo menos al padre y la madre.
35

Otro ejemplo distinto, podra ser, la capacidad de ahorro del grupo solidario de mujeres emprendedoras. En este caso aunque se trata de una unidad de anlisis colectiva, el recojo se podra realizar en forma individual, para luego agregarse la informacin de tal manera que la sumatoria represente al grupo. Siempre habr que determinar cuidadosamente la tcnica en funcin de cmo acceder mejor a la informacin que represente.

36

18

En funcin de los recursos disponibles.

A veces un estudio de LB o evaluacin puede tener un marco de tiempo ajustado o recursos limitados. Por ejemplo, podemos disponer de pocos entrevistadores o el recojo debe hacerse en un distrito con dispersin poblacional y en poco tiempo. Entonces debemos reconocer estas limitaciones y estar dispuestos a hacer concesiones a la realidad con cierto desmedro de la rigurosidad. Realizar entrevistas grupales en vez de las entrevistas individuales puede ser una salida pertinente, o elegir encuestas de menor consumo de tiempoen vez de las entrevistas.
37

Diseo de la muestra
El diseo del marco muestral y en particular del tamao muestral exige un manejo tcnico de elementos tcnicos de la investigacin social. En la siguiente lectura podr encontrar informacin valiosa para realizar este diseo:
FAO. Manual DPCR: El estudio de lnea de base en un Diagnstico Participativo.
http://www.estrategiasdesarrollohumano.community.officelive.com/Documents /muestreo-%20en-diseo-de-la-lnea-de-base.pdf

38

19

Ejercicio
En el documento Gua de Evaluacin del Desarrollo Institucional se encuentran formulados una serie de indicadores aplicables para la autoevaluacin de organizaciones orientadas al manejo de carteras de proyectos desarrollo. Elija cuatro indicadores de la seccin Modelo de Gestin verifique que cumplan las condiciones de viabilidad (ver segunda parte del mdulo 1). Elabore una tabla definiendo para cada indicador un mtodo de recojo de informacin aplicable en la organizacin en la que actualmente trabaja. Use los criterios analizados en este mdulo.

20