Descargate nuestras anteriores publicaciones en PDF:

www.shell.com.ar

Seccin Shell y la Comunidad dentro de Concurso de Proyectos.

NDICE

A) Nota de Presentacin Institucional B) Introduccin C) La lgica de la evaluacin 1. QU SENTIDO TIENE EVALUAR...? 2. QU SIGNIFICA EVALUAR UN PROYECTO SOCIAL...? D) Pasos para el diseo de un sistema de monitoreo y evaluacin 1. ORGANIZACIN DE LOS MOMENTOS DE EVALUACIN 1.1. Evaluacin diagnstica 1.2. Evaluacin ex-ante 1.3. Monitoreo del proceso 1.4. Evaluacin intermedia 1.5. Evaluacin de impacto 2. PERSONAS, GRUPOS Y ORGANIZACIONES INVOLUCRADAS 3. VARIABLES E INDICADORES A REVISAR 4. TCNICAS E INSTRUMENTOS DE RECOLECCIN DE INFORMACIN 4.1. Instrumentos 4.2. Tcnicas de recoleccin 4.3. Fuentes de informacin 4.4. Universo y muestra 5. RECURSOS NECESARIOS 6. CRONOGRAMA O PLAN DE TRABAJO 7. DIFUSIN Y USO DE LOS RESULTADOS E) Bibliografa de consulta F) Concurso de Proyectos y Programa de Formacin Tcnica de Shell G) Anexos Planilla de monitoreo

5 7 11

15 17

23 25 29

37 38 39 41 43 47

P R E S E N TAC I N

INSTITUCIONAL

En Shell CAPSA estamos convencidos que las empresas desempean un papel vital en la construccin de un futuro mejor para nuestra sociedad. Adems de invertir en el pas, generar empleo, proveer de productos y servicios de alta calidad con precios competitivos, creemos adecuado identificar nuevos caminos que integren la labor que la empresa desarrolla da a da con los intereses de la comunidad toda. Comprometerse en este camino compartido es involucrarse en la accin de trabajar con y para los otros en todos los aspectos: ambiental, social y econmico. La orientacin de Shell al desarrollo sostenible sigue lneas de accin claras en este aspecto: priorizar los principios por sobre los beneficios, integrando en cada decisin de negocio su impacto en el corto y largo plazo, consultando para ello la opinin de toda la comunidad. Shell le da importancia al desarrollo de las comunidades donde lleva a cabo sus actividades, colaborando con la resolucin de los problemas que las afectan y generando las condiciones para una mejor calidad de vida. Desde Shell queremos apoyar, una vez ms, el accionar de las organizaciones sociales compartiendo competencias tecnolgicas y

gerenciales para fortalecer los beneficios directos que stas ofrecen a la comunidad. Ser una empresa responsable se demuestra en acciones, en este caso sumndonos a iniciativas que alimentan el espritu solidario de la comunidad. Para nosotros lo ms importante es sumar y a ello debemos orientarnos todos, desde el lugar que cada uno ocupa en la sociedad. A principio de ao llegamos a ustedes con nuestra "Gua para la Formulacin de Proyectos Sociales"; en esta oportunidad restablecemos el contacto para presentarles la "Gua para el Monitoreo y Evaluacin de Proyectos Sociales", la cual esperamos sea una herramienta til en su organizacin. Creemos en el trabajo en red como medio propicio para optimizar los recursos tanto humanos como materiales. De esta forma queremos colaborar directamente con quienes a diario trabajan por el prjimo: ustedes.

Ing. Juan Jos Aranguren Presidente Shell Compaia de Petrleo S.A.

I N T R O D U C C I N

INTRODUCCIN

Cul es la situacin social que da marco a esta Gua....?

La Argentina ha vivido en los ltimos aos una compleja crisis poltica, social y econmica con serias consecuencias para la enorme mayora de sus ciudadanas y ciudadanos. Da tras da vemos y sentimos la crisis, caracterizada por decrecimiento econmico, aumento de los niveles de desocupacin, pobreza, exclusin social, deterioro del medioambiente y tambin signada por la desconfianza en las instituciones, cierta desilusin e incluso falta de expectativas sobre el futuro.

Cmo es la posicin de Shell ante este panorama...?

Shell no ha sido ajena a este proceso, sin embargo, ha seguido participando activamente de la vida productiva del pas y realizando diversas acciones junto a la comunidad, intentando aportar a la construccin de un desarrollo ms equitativo y sostenible. La empresa quiso estar a la altura de las circunstancias, aumentando sus niveles de transparencia y su compromiso junto a la comunidad en la que opera. En ese marco, Shell realiz en estos aos mltiples actividades junto a diversas organizaciones sociales de todo el pas, y especialmente del Partido de Avellaneda (en la provincia de Buenos Aires) donde se encuentra su Refinera.

Qu acciones realiz la empresa en los ltimos aos para promover un desarrollo sostenible...?
Adems de las mejoras propias de sus sistemas de produccin y distribucin, el abanico de iniciativas sociales promovidas por Shell es muy amplio, abarca: actividades culturales, educativas, deportivas, de preservacin del medio ambiente y otros programas de ayuda social. Algunos ejemplos de estas actividades son: 1. Desafo Joven. Programa destinado a fomentar en los jvenes el espritu emprendedor. Se ha implementado y ejecutado por primera vez en el ao 2001 en colaboracin con la Asociacin Cristiana de Dirigentes de Empresa (ACDE). Slohasta el ltimo ao el programa capacit en temas y metodologas de diseo y gestin empresarial, aproximadamente a 1000 jvenes (entre 18 y 25 aos) de diversa condicin social, durante el 2001, 170 emprendedores lograron formular su plan de negocios muchos de los cuales estn hoy en ejecucin. 2. Bienales Juveniles de Msica Clsica, realizadas desde 1990 junto con la Asociacin Festivales Musicales de Buenos Aires, busca fomentar el surgimiento y desarrollo de talentos artsticos de todo el pas en las categoras de canto, msica de cmara y piano.

3.

Semillas de la vida. Proyecto desarrollado en la provincia de Tucumn. Se orienta a capacitar a 20 comunidades de escasos recursos en el diseo y gestin de huertas orgnicas; es realizado junto a la Asociacin de Tcnicos en Programas y Proyectos Sociales, una ONG tucumana de larga trayectoria en la ejecucin de Proyectos de desarrollo similares provenientes del INTA.

4. Desarrollo comunitario en Dock Sud. Programa de accin conformado por ms de 20 actividades de apoyo a organizaciones barriales de la zona aledaa a la Refinera, realizadas desde mediados de los 90. La empresa trabaja junto a las organizaciones sociales de la zona apoyando diversas acciones:
Sociedad de Fomento Crucesita Este: apoyo a la Biblioteca Popular Bartolom Mitre: donacin de 1200 libros; Escuelas de Dock Sud (especialmente las N 505, 506, 67 y Jardn de Infantes 931): donaciones varias, como estufas elctricas, matafuegos, juguetes, libros y 150 computadoras personales; Hospital Fiorito: donacin de equipamiento para el Laboratorio de Seguridad Biolgica; Hospital Eva Pern (Ex-Finochietto): donacin de equipamiento para la Sala de Cardiociruga; Unidad Sanitaria N 2- Dock Sud: donacin de equipamiento para la Sala de Odontologa; Bomberos Voluntarios de Dock Sud: donacin de cuatro autobombas, un grupo electrgeno, diez equipos personales de lucha contra incendio y dos equipos de lucha contra productos qumicos; Club Sportivo Dock Sud: otorgamiento de becas y diversos elementos para la promocin deportiva.

Qu se propone Shell para mejorar su accin social en los prximos aos...?

Con el objetivo de hacer an ms efectiva su labor junto a la comunidad, la empresa realiz hacia fines de 2002 un proceso de revisin y rediseo de los objetivos y metodologas aplicadas en su trabajo de apoyo a iniciativas sociales. Los principales resultados de esta tarea indicaron que esta mayor efectividad podr lograrse si se mejoran algunos aspectos crticos, especialmente: 1. focalizacin de la tarea en reas especficas de accin. 2. ordenamiento y sistematizacin de las actividades apoyadas. 3. inclusin de estrategias de capacitacin a las organizaciones, para hacer ms sostenible el apoyo brindado. Para mejorar estas reas de trabajo, Shell impulsa desde inicios de 2003 una serie de acciones, entre ellas, la formacin de una "Cartera de Proyectos" a apoyar anualmente en todo el pas y, vinculado con esta, el lanzamiento de un "Concurso de Proyectos". Adems de este nuevo sistema de trabajo, Shell promover, a travs de los proyectos que apoye, un "Programa de Formacin Tcnica" de las organizaciones con las que trabaje, vinculndolas en un proceso de enseanza-aprendizaje sobre formulacin y evaluacin de proyectos sociales.

Por qu y para qu un Concurso de Proyectos...?

Shell pretende que todas sus acciones tengan un alto nivel de transparencia y efectividad, esto se promueve en sus acciones comerciales y se intenta aplicar tambin en sus actividades sociales. El Concurso de Proyectos persigue, precisamente, estos dos objetivos. A partir de su puesta en marcha, las organizaciones sociales del pas, y particularmente las del partido de Avellaneda, conocern los criterios y mecanismos
8

con los cuales la empresa seleccionar las propuestas que apoyar ao a ao. Los concursos se realizarn ao a ao en fechas a definir en cada momento; ese ser el espacio para organizar la labor, con mtodos claros de presentacin, seleccin, ejecucin, administracin, evaluacin, sistematizacin y difusin de la tarea realizada. Los proyectos seleccionados formarn parte de la "Cartera de Proyectos" sociales de Shell (en el ltimo captulo del presente documento, aparecen ms detalles sobre el sentido y metodologa de trabajo a implementar en el Concurso de Proyectos).

Por qu y para qu un Programa de Formacin Tcnica para las organizaciones...?

Es reconocido en la actualidad que los procesos de desarrollo econmico y social exitosos se sostienen, en buena medida, en acciones de capacitacin y sistemas de educacin e informacin slidos. Los programas sociales cada vez ms consideran esta premisa. A partir de ella, Shell ha decidido realizar un aporte complementario al apoyo econmico que habitualmente ha venido realizando a diversas organizaciones sociales en los ltimos aos, aportando a la formacin de los miembros de tales organizaciones, en diseo, implementacin y evaluacin de proyectos. La formacin permitir a las organizaciones conocer ms sobre las tcnicas utilizadas para el diseo de proyectos y su evaluacin. Adquirirn tambin conocimientos e informacin sobre posibles fuentes de financiamiento para canalizar las propuestas realizadas. Incrementarn as su autonoma y generarn mayores vnculos interinstitucionales, incrementando su capital social. Esta formacin se realizar con la lgica del aprender haciendo, es decir, el proceso de enseanza - aprendizaje se ir materializando mientras se desarrollan las iniciativas que Shell apoya ao a ao, seleccionadas a partir del Concurso de Proyectos (en el captulo F del presente documento, aparecen ms detalles sobre el sentido y metodologa de trabajo del Programa de Formacin Tcnica).

Para qu entonces la Gua de Monitoreo y Evaluacin de Proyectos Sociales...?

La Gua que usted tiene en sus manos servir para orientar a las organizaciones que decidan presentar propuestas en el Concurso de Proyectos de Shell cada ao y, adems, ser una herramienta pedaggica de utilidad para el desarrollo del Programa de Formacin Tcnica. Esta Gua es complementaria de la editada por Shell a mediados del 2003 sobre Formulacin de Proyectos Sociales. En las pginas siguientes se presentan algunas ideas y sugerencias sobre cmo entender los procesos de evaluacin de proyectos y cmo formular propuestas de monitoreo y evaluacin. Se trata de un documento simple, introductorio de los diversos temas y mtodos que existen para evaluar proyectos y que es posible profundizar en algunos de los trabajos citados en la bibliografa de consulta (pg. 41).

Esperamos que la gua sea de utilidad para las organizaciones y contribuya a hacer ms efectivo el trabajo social de los que colaboran en la construccin de una sociedad ms equitativa y sostenible.

L A LG I C A D E L A E V A L U A C I N

11

LA LGICA DE LA EVALUACIN
Qu sentido tiene evaluar...?
La accin de evaluar constituye una actividad vital cotidiana, forma parte de nuestra manera de entender y enfrentar la vida. Como seres racionales que somos, analizamos cada una de las acciones que realizamos; revisamos cada situacin, miramos hacia atrs y tratamos de entender lo que ha pasado. Adems imaginamos el futuro analizando nuestras capacidades y posibilidades para llevar adelante nuestros proyectos vitales. Cada uno de estos pensamientos y anlisis no son ms que momentos de evaluacin y no podemos dejar de realizarlos permanentemente. Estos momentos nos permiten comprender muchas de las cosas que pasan a nuestro alrededor, nos abren la puerta para conocer mejor nuestras potencialidades y limitaciones encarando as de mejor manera nuestras actividades. No obstante la importancia y naturalidad del papel de la evaluacin en nuestras vidas, por algn motivo, la sociedad contempornea ha asignado a la evaluacin un papel, a veces, conflictivo. En nuestro imaginario, asociamos casi inmediatamente la palabra evaluacin con control y penalizacin; nos vienen a la memoria los exmenes escolares, o nos surge la imagen de nuestro jefe evaluando nuestro trabajo y decidiendo a partir de all nuestro futuro laboral. La evaluacin aparece as como trauma, como instancia de fiscalizacin externa, de alguien que nos dir, a manera de juez, qu tan buenos o malos somos y cul ser nuestro premio o nuestro castigo por nuestros comportamientos. De all que la palabra y accin de evaluar nos resulten muchas veces tensionantes, desagradables, y la evitaramos, incluso, si fuera posible. Pues esta manera de ver y hacer una evaluacin, predominante en nuestra cultura, en realidad nos inhibe habitualmente de disfrutar del sentido ms profundo y enriquecedor de aquel acto. Y es que en verdad, como veamos al iniciar estas lneas, evaluar implica un modo natural de aprender para mejorar, un modo que utilizamos cotidianamente para saber ms de nosotros mismos y del mundo que nos rodea, una accin que nos abre puertas para la creatividad. Es este el sentido ltimo que intentaremos sostener en el presente documento, el cual se propone brindar elementos para que quienes llevan adelante proyectos colectivos de beneficio social, puedan utilizar y disfrutar de herramientas que mejoren su accionar en dichos emprendimientos entendiendo la evaluacin como proceso de aprendizaje.

Qu significa evaluar un proyecto social...?

As como la lgica de evaluacin est en cada uno de nuestros actos individuales, tambin se encuentra presente cuando emprendemos actividades colectivas. En la vida de pareja, de familia, en los emprendimientos econmicos o en las actividades sociales compartidas con amigos, solemos tener momentos de evaluacin comunes.

La necesidad de conocer, poner en comn y acordar nuestras intensiones, reparos y deseos, resulta imprescindible para que cualquier accin colectiva funcione. Para ello,necesitamos evaluar la situacin del grupo y del medio que lo rodea. Tal necesidad de revisin se hace an ms evidente cuando como grupo (organizacin), emprendemos acciones que afectan la vida de personas o colectivos de personas, como es el caso de los denominados proyectos sociales. La importancia que toma la evaluacin en estos casos es enorme. Ya no se trata slo de revisar y aprender para mejorar nuestras propias acciones en la vida, se trata de analizar que haremos o estamos haciendo para mejorar las condiciones de vida de otras personas, a las que intentamos apoyar en algn aspecto vital (salud, educacin, etc.). Numerosas organizaciones pblicas y privadas que llevan adelante polticas y proyectos sociales, han adquirido en los ltimos aos una verdadera conciencia de la responsabilidad que les ocupa, e intentan a partir de all utilizar metodologas de evaluacin para aprender y mejorar su accin social. Al acercarse una determinada organizacin a una comunidad o barrio para realizar alguna tarea de apoyo, rpida y naturalmente realiza un diagnstico de situacin, que resulta la primera instancia de evaluacin que llevamos adelante en dicho proceso de trabajo. Nos preguntamos: quines son las personas con las que colaboraremos...?, en qu medio habitan...?, qu pautas culturales las guan....?, cules son sus principales deseos, capacidades y problemas...?, de qu manera mi organizacin puede colaborar para mejorar sus posibilidades a acceder a una mejor calidad de vida...?, qu otras acciones o proyectos se han realizado con la poblacin y cmo han funcionado...?. Estas y muchas otras preguntas constituyen una evaluacin inicial necesaria de la situacin en la que trabajaremos y sern complementadas con muchos otros interrogantes que nos formularemos, junto con las personas destinatarias de la accin del proyecto, a la hora de disearlo e implementarlo. Nos interrogaremos, por ejemplo cmo est funcionando el proyecto...?, hemos gastado bien el dinero...?, hemos alcanzado lo que nos proponamos...?, si as no fuera, cules han sido las causas del fracaso...?, cmo ha funcionado el sistema de trabajo que habamos pensado...?, cules han sido los aciertos y errores...?, cules son los mejores caminos para subsanar errores, potenciar aciertos y cubrir vacos que hayan quedado sin atender durante la marcha del proyecto...? Nos proponemos as profundizar nuestro conocimiento de la realidad, identificamos problemas y actores sociales, sus necesidades e intereses e implementamos proyectos con el propsito de mejorar esa realidad, de obtener cambios concretos, evidentes, que nos den seales sobre la contribucin realizada por las acciones proyectadas. Es decir, implementamos acciones para que parte de la realidad se modifique; esto lleva implcito la idea de que esperamos obtener resultados a partir de lo que hagamos. La evaluacin nos induce a interrogantes tales como qu resultados o impactos queremos obtener y cmo nos daremos cuenta de que los hemos alcanzado?

12

Desde una perspectiva tcnica (desarrollada habitualmente por los organismos que promueven y/o financian proyectos sociales) evaluar implica la aplicacin de metodologas para determinar el progreso de un proyecto en su proceso para alcanzarun objetivo. Se trata de la indagacin y valoracin continua de los procesos, los resultados y los impactos de una accin. Desarrollar e implementar estrategias de evaluacin nos abre las puertas, adems, a la posibilidad de sistematizar y difundir los aprendizajes obtenidos, tarea no siempre valorada por las organizaciones que trabajan en actividades sociales.

Evaluar un proyecto social consiste, entonces, en formularnos y tratar de respondernos preguntas precisas sobre diversos aspectos del proyecto, relativos a su planificacin, ejecucin y tambin sus resultados. Esto supone la seleccin de indicadores, de mtodos e instrumentos de recoleccin de datos y de la definicin del universo de situaciones que revisaremos. Implica entonces el diseo de un sistema organizado que nos permita recoger informacin, analizarla, sistematizarla y difundirla. En sntesis, la evaluacin de proyectos nos permite: producir informacin y aprendizajes para mejorar nuestra tarea (aprender de lo que hacemos y mejorar los proyectos en marcha...),

generar procesos de intercambio de visiones e ideales para fortalecer procesos colectivos de desarrollo social (mirar y compartir opiniones y propuestas...), comunicar los resultados y aprendizajes derivados de la tarea, para contribuir a reorientar las acciones y fortalecer la capacidad de gestin de las propias organizaciones y de otros grupos que pueden mejorar su labor a partir de nuestra experiencia.

A continuacin, nos dedicaremos a analizar los diferentes aspectos que debemos considerar y definir para llevar adelante un proceso de monitoreo y evaluacin de proyectos sociales.

PA S OS PAR A E L D I S E O DE U N S I S T E M A D E M O N I T O R E O Y E VA L U A C I N

14

PASOS PARA EL DISEO DE UN SISTEMA DE MONITOREO Y EVALUACIN

l diseo del sistema para monitorear y evaluar un proyecto social, se realiza habitualmente en el mismo momento de formulacin del proyecto, aunque a veces la prctica nos muestre evaluaciones generadas durante la ejecucin del proyecto o una vez concluido el mismo.

Lo ideal es incluir un captulo de Monitoreo y evaluacin en el cuerpo principal del proyecto, y definir all los principales temas a considerar (ver Gua de Formulacin de Proyectos Sociales de Shell). Los temas a definir para el armado del sistema de revisin de lo actuado, son: momentos de evaluacin, personas grupos y organizaciones involucradas; indicadores; tcnicas de evaluacin; recursos necesarios; cronograma o plan de trabajo; difusin y uso de los resultados. Cmo en el caso de la formulacin de proyectos, el diseo del sistema de monitoreo y evaluacin NO responde a un proceso lineal donde seguimos una secuencia de pasos, uno tras otro. Cada uno de los pasos o cuestiones a definir deber estar en correspondencia con los otros (coherencia); se trata pues de un proceso iterativo, donde vamos considerando casi a la vez todos los momentos a definir, desde los ms operativos (personas involucradas, tiempos, costos...), hasta los ms sustantivos (indicadores, instrumentos de recoleccin...). La presentacin secuencial de este proceso slo nos sirve para ordenar aquellos pasos y presentarlos de una manera acorde a nuestra capacidad para comprender las cosas. Ser entonces normal que, a medida que vayamos diseando cada uno de estos pasos, necesitemos modificar el resto, ajustando momento a momento cada aspecto del sistema hasta lograr un sistema armnico y coherente. Detallamos a continuacin aquellas cuestiones a definir en el diseo de un sistema de monitoreo y evaluacin; al igual que en la Gua de Formulacin de Proyectos, trabajaremos en las prximas pginas sobre la conceptualizacin de cada momento del diseo y utilizaremos como ejemplo ilustrativo el Proyecto "Desarrollo Integral y Equidad en Buenaventura"1, cuyo Resumen Ejecutivo incluimos a continuacin:

1 El caso se encuentra detallado en la Gua de Formulacin de Proyectos Sociales de Shell.

EJEMPLO
Proyecto: "Desarrollo integral y equidad en buenaventura" Resumen ejecutivo: Nombre de la organizacin que presenta el proyecto: Fundacin Juventud y Desarrollo (FJD). Nombre del proyecto: Desarrollo Integral y Equidad en Buenaventura. Direccin, telfono e e.mail de la organizacin: Simn Bolvar 4938, Buenaventura, te: (3948) 584030, fjd@fjd.org Instituciones asociadas: Red de Organizaciones Barriales de Buenaventura (ROBB). Municipalidad de Buenaventura. Ubicacin: El proyecto se sita en el municipio de Buenaventura, que tiene una poblacin de 354.983 personas, de las cuales el 68% vive por debajo de la lnea de pobreza. Buenaventura es uno de los 34 municipios pertenecientes a la provincia de Santa Mara, una de las 23 que integran la Repblica de Argentaria. Argentaria posee un total de 923 municipios, de los cuales cerca de un tercio posee caractersticas similares a Buenaventura. El problema: Existen en la regin variados recursos y posibilidades de que la poblacin tenga una vida digna, pero esos recursos no siempre se distribuyen de manera equitativa, generando problemas de pobreza y exclusin social, especialmente en la poblacin jven. Necesidades: Es necesario que toda la poblacin de Buenaventura tome conciencia de esta realidad y que las personas excluidas, accedan a mayores y mejores oportunidades de educacin, empleo y participacin en las decisiones ciudadanas, especialmente los jvenes. Destinatarios del proyecto: Los destinatarios directos del proyecto, sern 5.938 personas de entre 14 y 24 aos, habitantes de 5 barrios marginales de Buenaventura. Del total de la poblacin destinataria del proyecto, el 50% no logra concluir el colegio secundario, 45% se encuentra desempleada o sub-empleada, y solo el 24,5% participa de organizaciones sociales o en los espacios de toma de decisiones del municipio. Las organizaciones barriales estn representadas por la Red de Organizaciones Barriales de Buenaventura (ROBB), que posee un grupo de representantes juveniles interbarrial. Tratndose de un tema vital para el municipio todo, se considera que indirectamente el proyecto beneficiar a toda la poblacin de la localidad, 354.983 personas, que disfrutaran de un mejor clima de convivencia e integracin social. Objetivos: El proyecto se propone mejorar la calidad de vida de los pobladores jvenes pobres y excluidos de Buenaventura, mejorando a su vez, los niveles de equidad de la localidad. Para llevar adelante esta idea nos proponemos los siguientes objetivos especficos: incrementar el porcentaje de jvenes pobres que culminan su educacin secundaria, mejorar el nivel de empleo e ingresos de jefes de familia jvenes, incrementar el nivel de participacin ciudadana de las organizaciones barriales juveniles. Tiempos y etapas de implementacin: El proyecto se realizar en dos aos, divididos en tres etapas, las dos primeras de nueve meses cada una y la ltima de seis meses. Presupuesto: El costo total del proyecto asciende a 19.790 $, de los cules, 9.790 $ sern aportados por las organizaciones asociadas en la realizacin del proyecto y 10.000 $ se solicitarn a diversos organismos financiadores. Monitoreo y evaluacin: El monitoreo del proyecto se realizar a travs de una mesa intersectorial conformada por instituciones dedicadas a temas de juventud de Buenaventura; esta mesa se reunir una vez al mes para revisar los avances del proyecto, principalmente la rendicin de cuentas y en manejo financiero. Habr adems una evaluacin de resultados, efectos e impactos; una vez finalizada cada una de las tres etapas del proyecto1.

1 El sistema de monitoreo y evaluacin se desarrolla en la presente gua.El sistema de monitoreo y evaluacin se desarrolla en la presente gua.

16

1. ORGANIZACIN DE LOS MOMENTOS DE EVALUACIN

Como se mencion en el punto anterior, es ideal que la evaluacin de un proyecto sea un proceso permanente. Desde el mismo instante en que las personas y organizaciones involucradas comienzan a pensar la idea original del proyecto, suceden instancias de evaluacin. Los principales momentos que habr que definir en este proceso continuo son los siguientes:

1.1. EVALUACIN DIAGNSTICA / ANLISIS DE FACTIBILIDAD

Se trata del momento en el que an no hemos pensado el proyecto en sus detalles, slo tenemos algunas ideas de lo que queremos realizar, pero an no sabemos si existen condiciones para hacerlo. Es la etapa del primer diagnstico, aquel que nos proporciona las primeras seales y nos ayuda a responder preguntas cmo: a) Es pertinente aquella primera idea de proyecto para las condiciones generales del lugar y de las personas destinatarias de la accin futura...? b) Estn de acuerdo las personas a las que est destinado el proyecto, que la iniciativa se lleve adelante...? c) Existen condiciones sociales, polticas, institucionales y econmicas para llevar adelante la iniciativa...? Resulta de vital importancia para todo proyecto, la realizacin de un buen anlisis de factibilidad, cuyas caractersticas y duracin dependern de la magnitud y complejidad del proyecto (ser diferente segn su cobertura geogrfica, la cantidad de personas a las que se pretende prestar servicios, el tipo de accin a realizar, el monto de inversin, etc.). Un estudio de factibilidad mal realizado, puede llevar al fracaso del proyecto, por ms que ste haya sido formulado correctamente. En esta primera etapa o momento de la evaluacin, deberemos cotejar con las organizaciones que llevarn adelante el proyecto, si existen condiciones favorables para hacerlo. En algunos casos, suelen realizarse en esta instancia anlisis del tipo rbol de problemas o FODA (fortalezas, oportunidades, debilidades y amenazas) para analizar la situacin inicial del proyecto y de las organizaciones que participan en l.

1.2. EVALUACIN EX-ANTE

Una vez que asumimos que es factible y pertinente la realizacin del proyecto, y que definimos los objetivos, metas y actividades, deberemos realizar una evaluacin de las condiciones en que se encuentran las personas, organizaciones o espacios que pretendemos modificar, ello antes de iniciar las tareas que implica la marcha del proyecto.

En este preciso instante del proceso de diseo del proyecto es cuando debemos sacar una foto de la situacin existente previa al inicio del proyecto; debemos establecer aqu la llamada lnea de base, conformada por aquellos datos que indican desde dnde partimos. Algunos ejemplos pueden ayudarnos a conocer con claridad este tema:. CASO 1: AGUA POTABLE El presente ejemplo plantea la situacin hipottica de un proyecto que tiene como objetivo principal mejorar las condiciones de salud de una determinada comunidad, y como objetivo especfico, mejorar las condiciones de potabilizacin del agua que las personas ingieren. Para ello, se propone realizar una serie de actividades de limpieza de caeras, instalacin de plantas depuradoras y un programa de formacin para los vecinos. Para saber si realmente nuestro proyecto ha alcanzado o no su objetivo especfico y si el agua que la poblacin bebe luego de implementado el proyecto es de mejor calidad, deberemos conocer cul era el grado de potabilizacin del agua antes de tal implementacin. A tal fin deberemos hacer estudios tcnicos especiales que nos permitan conocer este estado previo (lnea de base), y luego cotejarlo con el resultado de los anlisis qumicos realizados luego de la ejecucin del proyecto. CASO 2: FORMACION EN DERECHOS CIUDADANOS Aqu un proyecto cuyo objetivo principal es la formacin de jvenes en derechos ciudadanos, y uno de cuyos objetivos especficos es que los jvenes conozcan los derechos ciudadanos, dirigidos a la poblacin joven, incluidos en la Constitucin Nacional. Pues en este caso para avanzar con el desarrollo del proyecto y verificar luego su efectividad, necesitaremos conocer al inicio del proyecto que y cunto saben los jvenes sobre sus derechos incluidos en la constitucin (lnea de base), y comparar luego esta calidad y cantidad de conocimientos previos, con los adquiridos a partir de la realizacin del proyecto. CASO 3: MEJORA NUTRICIONAL En este caso es un proyecto dirigido a mejorar el estado nutricional de nias y nios menores de cinco aos de una determinada comunidad; uno de los objetivos especficos del proyecto es mejorar la relacin peso / talla de los nios a partir de las acciones del proyecto. Nuevamente, para saber si el proyecto ha alcanzado su objetivo especfico, necesitaremos medir el peso y la talla de los nios al inicio del proyecto (lnea de base) y luego cotejarlos con las mediciones realizadas al finalizar nuestra accin.

Ser importante entonces relevar y establecer a la hora de la definicin del proyecto, una lnea de base para cada uno de los objetivos especficos planteados, asi como para el objetivo general. Los resultados de la evaluacin ex-ante pueden obtenerse y explicitarse en el documento del proyecto, donde se describe la situacin general del contexto en el
18

que este se desarrolla (habitualmente en la seccin de antecedentes o contexto...), se analiza la situacin de las personas a las que est destinado el proyecto (en la seccin destinatarios o beneficiarios...) y establecen las respectivas lneas de base de cada uno de los objetivos (comnmente en la seccin de evaluacin...). Tambin puede establecerse ese tiempo cero inicial en el que se construye este mapa de situacin o foto del contexto y de los destinatarios de la accin, como una de las primeras actividades del proyecto; previa a la implementacin de las acciones. Cuando por algn motivo resulta imposible obtener la lnea de base de un proyecto, y se necesita conocer los cambios producidos a partir de su implementacin, es posible utilizar la tcnica denominada de Grupos de Control o Referencia. Sintticamente, esta tcnica se basa en comparar los cambios producidos en el grupo destinatario del proyecto, en relacin a otros grupos de personas que viven en condiciones similares y que no han participado del mismo.

1.3. MONITOREO DEL PROCESO

La revisin de la marcha de un proyecto, implica medir en forma permanente el grado de cumplimiento de la ejecucin de las actividades previstas (eficacia) as como tambin el grado de cumplimiento de la ejecucin de los recursos disponibles en funcin del presupuesto asignado (eficiencia). Este seguimiento sobre lo que se est haciendo y su comparacin con lo programado es el objetivo bsico del monitoreo, que se convierte as en una herramienta que produce informacin sobre el estado de avance de la gestin del proyecto, informacin sumamente til para la toma de decisiones cotidianas. El sistema de monitoreo deber tambin ser definido a la hora del diseo del proyecto, definiremos qu informacin se revisar, cada cunto tiempo y a travs de qu medios y mtodos. Para recoger la informacin parcial del avance del proyecto, suelen utilizarse las llamadas Planillas de Monitoreo, formatos simples en los que se va acumulando la informacin parcial de los avances producidos durante la marcha de las actividades(ver Planilla tipo adjunta a esta Gua). Adems de relevar los avances y obstculos encontrados en el camino, el proceso de monitoreo suele resultar de utilidad para consolidar los equipos de trabajo que participan del mismo. Cada vez ms, los proyectos sociales concitan el inters e involucramiento de diversas instituciones de financiamiento, apoyo tcnico, organizaciones vecinales, organismos pblicos; en este marco de accin multisectorial, las reuniones de monitoreo suelen servir como espacios de puesta en comn de necesidades, visiones y posiciones en pugna alrededor de las actividades del proyecto. En cuanto al lapso de tiempo en que resulta necesario revisar lo actuado, ste variar segn el tipo de proyecto; existen proyectos de actividad concentrada en pocos meses, en los que quizs sea necesario realizar revisiones semanales, otros, ms dilatados en el tiempo (uno, dos o tres aos, por ejemplo), donde quizs sea suficiente realizar el monitoreo mensual o bimensualmente.ase) y luego cotejarlos con las mediciones realizadas al finalizar nuestra accin.

1.4. EVALUACIN INTERMEDIA

Tambin denominada evaluacin operativa, se implementa habitualmente al promediar la ejecucin de proyectos cuyo perodo de implementacin supera el ao. El sentido de este tipo de evaluacin es generar informacin para reorientar la marcha del proyecto, las acciones inicialmente propuestas y sus formas de gestin. Intenta responder a preguntas tales como: se estn cumpliendo los objetivos, metas y actividades del proyecto?, en qu medida se estn cumpliendo?, se estn cumpliendo en los tiempos previstos y con los costos previstos?, qu cambios necesitamos realizar para ajustar la ejecucin al cumplimiento de los objetivos?. La evaluacin intermedia se diferencia de las acciones de monitoreo por la intensidad y profundidad de la revisin realizada; suelen utilizarse tcnicas ms estrictas para revisar los procedimientos administrativos y el efecto (cumplimiento de metas) e impacto (cumplimiento de objetivos) del proyecto. No resulta particularmente recomendable plantear una evaluacin de estas caractersticas cuando los proyectos son de corto plazo (menos de un ao de ejecucin).

1.5. EVALUACIN DE IMPACTO O EVALUACIN EX-POST

Es la evaluacin que se realiza a la finalizacin de la ejecucin de un proyecto. Incluye tanto la evaluacin de resultados como la evaluacin de efectos e impactos finales. Esta evaluacin se realiza habitualmente al terminar la fase de operaciones de un proyecto, aunque tambin se suele implementar luego de determinado tiempo de la finalizacin del mismo (dos o ms aos, segn los casos). El concepto impacto alude a transformar una determinada situacin social, es decir, supone implementar una accin a travs de la cual se disminuye significativamente un dao, se repara una situacin de privacin, se modifican conductas y relaciones, o se facilita el acceso a algn bien, servicio o derecho que fuera enajenado. Naturalmente asociamos impacto social a los cambios visibles o tangibles de un proyecto o accin. Imaginamos comnmente el producto de un proyecto en trminos concretos: una casa, alimentos, agua potable, vacunas, dinero, etc.. Sin embargo, las organizaciones que promueven proyectos sociales asumen habitualmente el desafo de modificar no slo las condiciones materiales de vida de las personas o grupos sociales, sino tambin las formas de vida, actitudes y aptitudes personales y grupales, las relaciones interpersonales, etc.. Este conjunto de objetivos son llamados habitualmente intangibles y resultan particularmente importantes de revisar a la hora de realizar la evaluacin de impacto de un proyecto. Preguntas como cmo se han modificado las relaciones sociales en determinada localidad a partir de la implementacin del proyecto...?, cmo ha variado el capital social y simblico de los grupos destinatarios...?, cmo se modific la autoestima de los destinatarios de la accin a partir de las actividades realizadas...?, qu capacidades sociales han quedado instaladas una vez implementado el proyecto...?, son habitualmente realizadas para analizar estos aspectos intangibles de los que hablamos.
20

Un aspecto importante a considerar, es que un mismo proyecto puede definir en forma simultnea distintos tipos de destinatarios de su accin: las personas / familias destinatarias directas de las acciones del proyecto el conjunto de organizaciones de la comunidad donde se implementa, poblaciones vecinas, la sociedad en su conjunto.

Definitivamente, la implementacin de un proyecto social tendr consecuencias directas en todas las personas y organizaciones que formen parte de l. Solemos suponer que las modificaciones se producen slo en los destinatarios de la accin (aquellos que reciben los alimentos, o la vivienda, o participan de los cursos, o se benefician con algn servicios prestado a partir del proyecto). Sin embargo, las personas y organizaciones que promueven el proyecto, aquellas que lo financian y las que se ven envueltas de una u otra manera en sus actividades, tambin cambian. Cambian su visin de la situacin, su forma de pensar, su posicin tcnica, su actitud frente a un determinado tema o cuestin, su relacin con otras personas o grupos involucrados, etc., etc... Resulta entonces importante relevar durante la evaluacin de impacto estos cambios, ms all que estn o no explicitados como objetivos del proyecto. En sntesis, la evaluacin de impacto implica comparar una situacin o estado posterior a la realizacin de un proyecto, con una situacin o estado previo, es decir, identificar los cambios producidos a partir de nuestra intervencin y si estos cambios respondieron a lo que habamos planificado o significaron impactos no previstos por el proyecto. Ser de gran valor aqu contar con la evaluacin ex-ante y especficamente con la lnea de base del proyecto, que nos permitir cotejar lo realizado con la situacin inicial.

EJEMPLO Momentos del proceso de monitoreo y evaluacin Evaluacin diagnstica / anlisis de factibilidad: Para el anlisis de factibilidad y la realizacin del primer diagnstico de situacin de la juventud en Buenaventura, se realizarn reuniones del equipo tcnico de FJD con representantes del gobierno local de Buenaventura, con las autoridades y docentes de las escuelas secundarias, con las organizaciones barriales y empresas de la localidad, con el propsito de presentar las primeras ideas del proyecto y analizar el grado de inters en su desarrollo, su factibilidad y la necesidad de realizar ajustes. Se prevee realizar en esta instancia, la identificacin de las poblaciones con las cuales se trabajar y la realizacin de un taller de diagnstico participativo donde se realizar un rbol de problemas sobre la situacin de la juventud de Buenaventura. Evaluacin ex-ante: Para obtener una lnea de base, se recolectarn durante las primeras semanas de ejecucin del proyecto, datos para caracterizar la situacin de los jvenes de Buenaventura en relacin a: el acceso y permanencia en el sistema educativo, la insercin en el mercado de trabajo y la participacin ciudadana y defensa de sus derechos sociales. Estos datos complementarn a los identificados a partir de fuentes secundarias en la etapa de diagnstico inicial, que indican que del total de la poblacin objeto directo del proyecto (los jvenes viviendo en situacin de pobreza en Buenaventura):

a) el 50% no logra concluir el colegio secundario, b) 45% se encuentra desempleada o sub-empleada, c) y slo el 24,5% participa de organizaciones sociales o en los espacios de toma de decisiones del municipio. Monitoreo del proceso:
El seguimiento de las acciones del proyecto a lo largo del tiempo de ejecucin del mismo, estar a cargo del equipo tcnico de la FJD con la participacin peridica de los actores involucrados, reunidos en el Comit Intersectorial de Monitoreo y Evaluacin. El Comit se reunir bimensualmente con el objetivo de:

Evaluacin de impacto o evaluacin ex-post: Al finalizar el segundo ao de operaciones, se contratar una evaluacin externa para coordinar el anlisis final de los logros y aprendizajes del proyecto en Buenaventura. Los trminos de referencia para la contratacin sern elaborados por el Comit Intersectorial de Seguimiento del proyecto. La evaluacin se nutrir de informacin surgida de: informes de monitoreo. las indicaciones y propuestas surgidas de la Evaluacin Intermedia. nuevos estudios realizados con la participacin de las personas involucradas. La evaluacin final estar orientada principalmente a detectar las modificaciones producidas en la sociedad de Buenaventura, especialmente en los destinatarios de la accin del proyecto. En relacin a los destinatarios, se revisarn las modificaciones en relacin a la lnea de base del proyecto, observando: la tasa de retencin escolar y de rendimiento acadmico entre los jvenes de Buenaventura, las mejoras en la empleabilidad de lo jvenes y la participacin ciudadana y el ejercicio de sus derechos entre los jvenes destinatarios de la accin del proyecto. Adicionalmente, la evaluacin deber relevar otras modificaciones no previstas que se hayan producido a partir del proyecto, los cambios en las organizaciones participantes y en la sociedad de Buenaventura toda.

a) revisar los informes de avance del proyecto, b) cotejar los resultados producidos con los planificados (cumplimiento de actividades), c) analizar las relaciones entre las diversas organizaciones y personas participantes en el proyecto, d) revisar la marcha de la ejecucin presupuestaria, e) y elaborar un Informe de Avance que ser circulado entre las instituciones involucradas. El lugar de reunin ser la sede de la Red de Organizaciones Barriales de Buenaventura (ROBB). El coordinador del proyecto convocar a cada reunin de monitoreo una semana antes, anunciando la agenda de trabajo. Evaluacin intermedia: Al finalizar el primer ao de ejecucin del proyecto, se contratar la realizacin de una evaluacin externa para revisar el cumplimiento de las actividades y metas propuestas para el perodo. Los trminos de referencia para la contratacin sern elaborados por el Comit Intersectorial de Seguimiento del proyecto. La evaluacin intermedia se nutrir de la recoleccin de informacin sobre el desarrollo de las actividades (Informes de Monitoreo) y la opinin de los destinatarios y participantes en el proyecto, expresados a travs de registros e informes, observacin en talleres y realizacin de grupos de reflexin.

22

2. PERSONAS, GRUPOS Y ORGANIZACIONES INVOLUCRADAS EN EL PROCESO DE MONITOREO Y EVALUACION

Durante la fase de diseo de un sistema de monitoreo y evaluacin, que realizaremos en el momento mismo de la formulacin del proyecto, una de las cuestiones ms relevantes que deberemos definir es quines y de qu manera participarn del proceso de revisin de lo actuado. Sobre esta definicin ser necesario considerar separadamente el proceso de monitoreo del de evaluacin. Con respecto al monitoreo, la tarea puede ser realizada por el equipo tcnico que lleva adelante la gestin, o puede implementarse con la participacin de las organizaciones sociales y/o los destinatarios directos del proyecto. Es decir, puede plantearse una modalidad centralizada de monitoreo a cargo del equipo responsable de la implementacin del proyecto o bien modalidades participativas de monitoreo involucrando a los actores sociales que participan con diferentes roles en la ejecucin. Las formas participativas contribuyen al fortalecimiento de las organizaciones sociales, y de los equipos tcnicos de los gobiernos locales y organizaciones participantes, aportando conocimiento y herramientas de monitoreo. Tambin enriquecen la visin sobre lo actuado al incorporar la opinin y valoracin de todos los actores. En relacin con los momentos de evaluacin, aparecen aqu nuevamente dos visiones diferenciadas: la de quienes sostienen que la revisin de lo producido por el proyecto debe ser realizada por sus propios protagonistas (destinatarios y organizaciones promotoras), y la de quienes argumentan que tal revisin debe ser hecha por personas u organizaciones externas al proyecto (expertos, consultoras, organismos de fiscalizacin, etc.). Ambas posturas tienen argumentos interesantes a considerar. Quienes pugnan por la participacin activa de los actores involucrados en todo el proceso de evaluacin, sostienen que esa es la mejor manera de que las personas que ejecutan el proyecto aprendan de las lecciones que arroja el da a da y logren a partir de all mejorar su capacidad para llevar adelante ese y otros proyectos de desarrollo social (la evaluacin como proceso de aprendizaje...). Desde la otra mirada, se argumenta sobre la necesidad de que personas de afuera, no involucradas directamente en el quehacer del proyecto, den su opinin despojados de posibles condicionantes generados por las relaciones cotidianas con las personas y con el proyecto mismo (la evaluacin como aporte externo al proceso...). La experiencia parece demostrar que una combinacin de ambas estrategias pareciera ser lo ms adecuado a la hora de pensar en quin evala.... Esta combinacin no siempre es posible, al menos por dos razones: a) no siempre es factible contratar evaluadores externos (limitaciones econmicas y/o tcnicas); b) no siempre todas las organizaciones y personas involucradas en los proyectos

tienen disponibilidad y decisin de participar activamente en los procesos de monitoreo y evaluacin. Como se mencion en el captulo anterior, los proyectos sociales nunca son bidireccionales (unos que dan otros que reciben...); siempre estn compuestos por mltiples actores con diversos intereses, culturas y expectativas en relacin al proyecto. La constitucin de consejos o comisiones o mesas interinstitucionales de monitoreo y evaluacin, han dado cierto resultado a la hora de conformar el equipo de seguimiento. Se trata de grupos de representantes de las organizaciones participantes del proyecto que se renen sistemticamente durante la ejecucin del proyecto a revisar lo actuado (semanal, quincenal o mensualmente, segn los casos y tipo de proyecto). La comisin estara conformada, al menos, por representantes de: 1) 2) 3) 4) 5) 6) la organizacin responsable de la implementacin del proyecto las personas destinatarias del proyecto las organizaciones promotoras las organizaciones financiadoras (si fueran diferentes a las anteriores) representantes del gobierno local otras organizaciones vinculadas al proyecto

Es importante tener en cuenta aqu: la sistematicidad de las reuniones de este equipo de seguimiento (tcnicas claras y coordinacin precisa para identificar lo que queremos revisar), la representatividad de las personas que acuden a la cita y su vnculo y transmisin de aprendizajes y visiones a los colectivos que representan, el vnculo entre lo que se produce en las reuniones de seguimiento y la posibilidad de realizar cambios en la marcha del proyecto (relacin con la conduccin del proyecto).

EJEMPLO Personas, grupos y organizaciones involucradas en Iel proceso de monitoreo y evaluacin Durante el proceso de monitoreo y evaluacin del proyecto existirn tres instancias organizacionales que debern articularse: las acciones de seguimiento del Equipo Tcnico de la FJD. las reuniones de monitoreo del Comit Intersectorial de Seguimiento. las evaluaciones externas (intermedia y final). En este marco, participarn activamente del proceso de revisin y aprendizaje, principalmente, las siguientes personas y organizaciones: Fundacin Juventud y Desarrollo FJD: organizacin responsable de la ejecucin del proyecto. Red de Organizaciones Barriales de Buenaventura (ROBB) organizacin Inter. -barrial que representa a las organizaciones comunitarias de Buenaventura y posee un grupo de representantes juveniles. Tcnicos del Municipio de Buenaventura

24

 Representantes de las tres escuelas secundarias seleccionadas por el proyecto. Los facilitadores y docentes que participan en el apoyo escolar, en la capacitacin laboral y en la sensibilizacin y concientizacin en derechos.

Representante de las organizaciones barriales juveniles. Los jvenes beneficiados directamente por el proyecto. Equipo de evaluadores externos.

3. VARIABLES E INDICADORES A REVISAR

LAS VARIABLES COMO EXPRESIN DE LOS DIFERENTES NIVELES DE OBJETIVOS DEL PROYECTO Como vimos en otras partes de este documento, los sistemas de monitoreo y evaluacin nos permiten revisar, analizar, aprender y emitir juicios sobre los cambios producidos a partir de la implementacin de un proyecto. Tales cambios son producidos por las acciones destinadas a cumplir con diversas metas y objetivos fijados en el proyecto. Cada uno de aquellos niveles de objetivos (expresados en actividades, metas, objetivos, fines o propsitos del proyecto, segn sea su alcance), pretende alterar una parte de aquella realidad objeto de la accin (alterar una conducta, un espacio fsico, una relacin grupal, cierto nivel de ingreso, etc...). A cada una de aquellas situaciones que intentamos alterar con nuestras acciones, le llamaremos variable, precisamente, porque ser una dimensin de la realidad modificable, sobre la que orientamos nuestro trabajo. En los procesos de investigacin cientfica, las variables se corresponden con las diversas dimensiones del objeto o problema que pretendemos investigar; pues en los procesos de evaluacin de proyectos sociales, el objeto de estudio es el conjunto de variaciones provocadas por la implementacin del proyecto (sean estas internas -eficiencia-, o externas -eficacia-). De all que las variables se asocian habitualmente en los procesos de evaluacin, a los niveles de objetivos, es decir, intentamos observar qu variaciones se producen en una determinada realidad social, a partir de la realizacin de las actividades, el logro las metas propuestas y la obtencin de los objetivos definidos. Buscamos entonces analizar si aquellas variaciones se produjeron en la direccin deseada (la conducta vari como estaba previsto...?, el espacio se modific de acuerdo a lo planeado...?, las relaciones grupales se alteraron tal cual lo proyectado...?), y si as no fuera, pretendemos conocer los por qu para modificar nuestra accin, si fuera necesario. INDICADORES SEGN EL MOMENTO DEL PROCESO DE EVALUACIN Reconocidas entonces aquellas situaciones que necesitamos mirar y definir como variables observables de la realidad objeto de la accin del proyecto, necesitamos ahora establecer algunos aspectos de aquella realidad que nos permitan registrar con certeza aquella variacin esperada. Estos aspectos son los llamados indicadores,

cuestiones o situaciones medibles y registrables (tangibles o intangibles), que nos indican cmo ha afectado el proyecto a aquella realidad. Son los marcadores que vamos observando, midiendo, registrando y analizando en los distintos momentos de monitoreo y evaluacin del proyecto. Los indicadores pueden ser operativos , es decir propios de la gestin del proyecto (internos), o sustantivos, es decir, aquellos que reflejan los cambios producidos a partir de la ejecucin del proyecto. Tendremos entonces aspectos indicativos que nos muestren cmo marcha el proceso de gestin del proyecto, y que utilizaremos durante el monitoreo del mismo, y otros que nos servirn para analizar las variaciones producidas a partir del cumplimiento de las actividades, metas y objetivos. En el caso del monitoreo, algunos de los indicadores operativos que tradicionalmente se analizan en los proyectos sociales son: Cantidad y calidad de actividades programadas para un determinado perodo de tiempo Vs. cantidad de actividades efectivamente realizadas en ese perodo de tiempo. Cantidad de destinatarios previsto participando de las actividades Vs. cantidad de destinatarios que efectivamente participan de las actividades. Presupuesto programado para un determinado perodo de tiempo Vs.presupuesto efectivamente ejecutado en ese tiempo. Durante el monitoreo suelen ser los indicadores de produccin los ms relevantes, porque son los que nos muestran qu y cunto de las actividades programadas hemos efectivamente realizado (resultados). Habitualmente valoramos el cumplimiento de lo programado, utilizando algunos parmetros operativos de cumplimiento medidos en porcentajes (realizamos el 34% de las actividades, han participado el 89% de los destinatarios, o hemos ejecutado el 90% del presupuesto en el tiempo previsto). En la evaluacin se incorporan diversos tipos de indicadores que nos permiten formular juicios evaluativos a partir de valorar lo realizado, las actividades programadas, la calidad de esas acciones y la valoracin que los actores participantes del proyecto tienen de ellas (efecto e impacto). Prevalecen aqu los indicadores sustantivos. Habr diversos indicadores para cada objetivo, meta y actividad, y tambin segn el momento del ciclo del proyecto en el que realizamos la evaluacin. Por ejemplo, revisemos el siguiente caso:

CASO 4: PARTICIPACIN CIUDADANA Imaginemos un proyecto que intenta mejorar las formas y calidad participacin ciudadana de un determinado grupo de personas en una localidad (objetivo) promoviendo la participacin de los ciudadanos en organizaciones sociales locales, la generacin de normativas que fomenten la participacin ciudadana en la definicin de los asuntos pblicos y sensibilizando a la poblacin en relacin a la importacia de su participacin activa para mejorar la
26

calidad de la democracia. Algunos indicadores posibles de relevar en cada momento del proceso de monitoreo y evaluacin, podran ser: Grado o nivel de participacin de las personas en organizaciones comunitarias antes de la implementacin del proyecto. Variacin en la participacin de las personas destinatarias del proyecto en organizaciones comunitarias. Valoracin de la participacin en organizaciones comunitarias, entre las personas destinatarias del proyecto. Incremento del nmero de organizaciones sociales en la localidad. Cambio en las normas de orden pblico en relacin a la participacin ciudadana. Cambios en la concepcin de la participacin ciudadana en la toma de decisiones del estado local. Tenemos asi definido qu miraremos para conocer si la situacin sobre la que decidimos trabajar con nuestro proyecto, ha variado en la direccin deseada. Una vez tomada esta decisin, ser necesario establecer algn parmetro que nos permita distinguir apreciaciones sobre el tenor, magnitud o calidad de aquella alteracin del indicador utilizado. Para fijar esta distincin, utilizaremos parmetros sustantivos, que definiremos como aquellas marcas o referencias necesarias para orientar las apreciaciones valorativas sobre las variaciones producidas. Cunto ha mejorado la calidad de vida de la poblacin destinataria del proyecto...?, esta mejora era la prevista...?, mayor...?, menor...?, suficiente...?. Si retomamos algunos indicadores del ejemplo recientemente analizado, podramos establecer el siguiente cuadro de indicadores y parmetros:

OBJETIVO:

Mejorar las formas y calidad de la participacin ciudadana INDICADOR SUSTANTIVO Variacin en la participacin de las personas destinatarias del proyecto en organizaciones comunitarias. Cambio en las normas de orden pblico en relacin a la participacin ciudadana. PARAMETROS Incremento mnimo previsto durante el tiempo del proyecto = 50%. Se establecen y ponen en marcha al menos tres nuevas normas municipales para la apertura de espacios de participacin ciudadana en las decisiones de poltica pblica. Al menos el 70% de los miembros del ejecutivo y legislativo municipal, asumen como necesario el incremento de la participacin ciudadana, medio para fortalecer la democracia local.

Cambios en la concepcin de la participacin ciudadana en la toma de decisiones del estado local.

Los parmetros nos ayudan a conocer si hemos alcanzado lo que nos proponamos o si lo realizado ha estado por debajo de lo esperable y necesitamos variar nuestra estrategia de trabajo; suelen estar incorporados en la definicin de las actividades, metas y objetivos del proyecto. Tambin nos permiten comparar el efecto e impacto que tienen diferentes estrategias para alcanzar las metas y objetivos que nos propusimos conseguir en el proyecto, permitindonos optar por la ms adecuada. INDICADORES SEGN NIVEL DE OBJETIVO PERSEGUIDO Ser tambin particularmente importante a la hora de la definicin de indicadores, diferenciar con mucha precisin entre aquellos destinados a relevar el cumplimiento de los objetivos, metas y actividades propuestas. Es decir, dirimir con claridad los que utilizaremos para relevar el cumplimiento de cada uno de aquellos niveles de anlisis, diferenciando la consecucin de resultados, de efectos y de impactos: a) en el caso de la revisin de resultados, miraremos especialmente si las actividades programadas se cumplieron en calidad, cantidad, tiempo y forma (nivel de acciones ms inmediatas y operativas); b) en el caso del anlisis de efectos, si los beneficiarios de los proyectos pudieron hacer uso de los beneficios inmediatos derivados de aquellas actividades (mediano plazo); c) en el caso de la medicin del impacto, analizaremos si estos beneficios inmediatos contribuyen y en qu medida a cumplir con el objetivo de largo plazo propuesto (cambio de actitudes, aptitudes, relaciones sociales y situaciones vitales concretas). Para aclarar un poco ms esta "mirada tridimensional" del trabajo realizado, pondremos un par de ejemplos:

CASO 5: TALLERES PARA PREVENCIN DE DENGUE Y MALARIA a) EL CASO: Supongamos que tenemos un proyecto que tiene como objetivo principal, mejorar las condiciones de salud de una determinada poblacin, disminuyendo su vulnerabilidad a contraer enfermedades como el dengue y la malaria, reduciendo al menos en un 50% los casos anuales de tales enfermedades. Para el logro de este objetivo de mediano plazo, se propone como meta que 100 familias de esa comunidad adquieran hbitos de cocina y limpieza que favorezcan la prevencin de aquellas enfermedades. Para que estos hbitos se generen, se propone, entre otras actividades, impartir cuatro talleres de reflexin y capacitacin para las familias seleccionadas. b) LA EVALUACION TRIDIMENSIONAL: Se trata aqu de tener una mirada que vaya desde "lo particular y de corto plazo" hasta "lo ms general y de mediano y largo plazo". Siendo as, analizaremos en primer lugarsi los cuatro talleres de capacitacin se realizaron en tiempo y forma, si el nmero de familias asistentes fue el esperado y si el programa de contenidos

28

se cumpli tal como se previ (resultado).En segundo momento de la evaluacin, revisaremos si realmente las 100 familias adquirieron los hbitos de cocina y limpieza que se promovieron en los talleres (efecto). Y por ltimo, un tiempo despus, miraremos si realmente la adquisicin de los nuevos hbitos propuestos a las 100 familias,contribuyen para que los ndices de dengue y malaria disminuyan en la comunidad en un 50%, como indicaba el proyecto (impacto). CASO 6: MEJORA DE SISTEMA PRODUCTIVO DE FINQUEROS a) EL CASO: Se trata de un proyecto que tiene como objetivo mejorar los ingresos de las familias de una comunidad semirural, colaborando para que stas obtengan mensualmente un ingreso mnimo que cubra las necesidades bsicas, estipulado en esta comunidad, en 300 $. Para el logro de este objetivo, el proyecto propone como meta, que 10 familias mejoren en un ao los cultivos que realizan en sus parcelas e incrementen sus ventas en un 40%. Para que esto ocurra, se realizarn en los primeros 3 meses del proyecto varias actividades, como la conformacin de una cooperativa de produccin, la entrega a los finqueros de nuevos granos y herramientas, y la realizacin de dos talleres de capacitacin sobre tcnicas de cultivo, comercializacin y manejo financiero de proyectos productivos. b) LA EVALUACION TRIDIMENSIONAL: Nuevamente, de lo particular a lo general, debemos analizar en primer lugar si los finqueros conformaron la cooperativa de produccin, si los granos y herramientas se entregaron en tiempo y forma y si los talleres de capacitacin se realizaron oportunamente con la asistencia de los 10 finqueros (resultados). Seguidamente, es necesario revisar si las familias utilizaron correctamente los enseres y capacidades adquiridas en los talleres y si ubicaron su produccin tal lo establecido (efecto). Por ltimo, una vez puesto en marcha el emprendimiento, habr que verificar si las familias concluyen percibiendo, por lo menos, los 300 $ necesarios para elevar sus ingresos mensuales a niveles aceptables, segn lo programado en los objetivos del proyecto (impacto). Los ejemplos 5 y 6 debern servirnos de gua a la hora de "mirar integralmente" los proyectos, evitando conformarnos con el cumplimiento de las actividades (resultados) e incluso con el de las metas (efectos). Es importante as tomar conciencia que los proyectos habrn sido realmente efectivos una vez que hayamos comprobado que sus objetivos sociales (especficos y generales) se han cumplido (impacto). Para plantear de manera clara la relacin entre estos tres niveles de anlisis, se adjunta una "Matriz de relevamiento de resultados, efectos e impactos" que puede resultar de utilidad a la hora de elaborar los sistemas de seguimiento de los programas.

4. TCNICAS E INSTRUMENTOS DE RECOLECCIN DE INFORMACION

Para relevar los datos que nos proporciona la realidad en la que operamos y poder analizar las variaciones de los indicadores establecidos, necesitaremos

instrumentos y tcnicas de recoleccin de datos -comnmente llamados medios de verificacin-. Tambin resultar imprescindible identificar las fuentes de informacin donde acudiremos a recoger los datos que nos permita analizar el desempeo o variacin de nuestros indicadores. INSTRUMENTOS Los Instrumentos de recoleccin de datos se disean y utilizan para recoger la informacin que emana de las situaciones indicativas identificadas. Estos instrumentos pueden ser informes de rutina, planillas de registro de actividades, de asistencia de los destinatarios a actividades del proyecto, cuestionarios, guas de entrevistas, encuestas, etc. TCNICAS DE RECOLECCIN DE INFORMACIN Las tcnicas de recoleccin de datos son las que nos permiten organizar la tarea de relevamiento y sistematizacin de la informacin que necesitamos relevar. Algunas de las tcnicas ms utilizadas son las siguientes: anlisis en gabinete de informacin estadstica, anlisis de documentos, realizacin de grupos focales, entrevistas en profundidad, talleres, observacin participativa, etc. Disear las tcnicas de recoleccin implica organizar las acciones que ser necesario realizar para aplicar los instrumentos y recoger los datos que precisamos (como vimos, encuestas, guas de entrevistas, etc.). Las tcnicas de recoleccin pueden orientarse a recoger informacin preferentemente cuantitativa (registros estadsticos) o especialmente cualitativa (grupos de reflexin, opinin de los destinatarios, etc.). Suele existir una falsa disputa entre quienes sostienen y promueven tcnicas cuanti y aquellos que se embanderan tras las evaluaciones cuali. Es importante en este punto desmitificar tal antinomia. En verdad, es posible y deseable relevar aspectos cuantificables de un determinado objeto o proceso social y, al mismo tiempo, analizar la cualidad de tal objeto. Necesitamos conocer cuntos chicos culminaron el colegio primario y, a la vez, qu calidad de educacin han recibido...; necesitamos saber cuntos litros de agua potable reciben los destinatarios de un plan de instalacin de una red, y tambin conocer la calidad, componentes y propiedades del agua...; necesitamos obtener datos sobre el incremento de los ingresos de una determinada poblacin objeto de un proyecto de generacin de microemprendimientos productivos, y tambin conocer si esos microemprendimientos producen bienes y servicios de calidad y si las personas se sienten a gusto llevndolos adelante... En buena medida, la adopcin de tcnicas ms o menos cuantitativas o cualitativas, depender de cmo estn formulados los diversos niveles de objetivos del proyecto. Muchas veces las evaluaciones se ven condicionadas por estilos de formulacin que destacan slo o principalmente aspectos numricos del objeto a construir o la situacin a modificar (construir 43 casas..., capacitar a 4945 jvenes...; brindar alimentacin a 3098 familias...). Esta situacin podr ser enriquecidaa travs del evaluacin, observando y aprendiendo tambin de otros aspectos o

30

cambios producidos a partir del proyecto, aunque estos no hayan estado explicitados en l. FUENTES DE INFORMACIN Al mismo tiempo que pensamos en los instrumentos y tcnicas de recoleccin de la informacin, debemos identificar el lugar y la fuente de donde emanarn tales datos. Estas fuentes de informacin podrn ser de dos tipos: primarias y secundarias. a. Se consideran fuentes primarias aquellas que nos contactan directamente con la realidad en la que estamos trabajando; son personas o situaciones que nos permiten construir informacin fresca sobre la realidad en la que nos movemos, por ejemplo: observacin directa sobre las personas destinatarias del proyecto, el medio fsico que pretendemos transformar, las caractersticas institucionales de las organizaciones que forman parte del proyecto; etc. b. Las fuentes secundarias son aquellas que nos proveen datos ya elaborados y procesados por otras personas u organizaciones a partir de la observacin y anlisis de la realidad en la que operamos; son por ejemplo: los documentos estadsticos, censos realizados con anterioridad a nuestra intervencin, trabajos histricos o anlisis acadmicos realizados sobre la cuestin u objeto central de trabajo de nuestro proyecto. La seleccin de las fuentes de informacin resultan de suma importancia para una evaluacin, una fuente mal elegida puede alterar sensiblemente el resultado de una observacin. Para aquella eleccin, es posible considerar al menos 5 criterios: calidad de los datos que proporciona (si reflejan realmente la variacin del indicador). cobertura de la informacin (si nos brinda datos de una cantidad suficiente de personas o situaciones afectadas por el proyecto). oportunidad (si podemos obtener la informacin en el tiempo adecuado segn lo planificado en el proyecto y ms precisamente, en el sistema de monitoreo y evaluacin). economa (si la fuente es accesible a los recursos disponibles en el proyecto). fiabilidad (si la informacin que brinda la fuente es plenamente confiable). vigencia (si se trata de informacin actualizada y vigente a la hora de revisar nuestro indicador). UNIVERSO Y MUESTRA Hemos definido hasta aqu una serie de cuestiones sobre las que realizaremos la observacin a la hora de monitorear el proyecto (indicadores), las herramientas que usaremos para recoger la informacin de lo que observamos (instrumentos), la forma en que nos organizaremos para usar tales herramientas (tcnicas de recoleccin) y, por ltimo los lugares o sitios donde acudiremos para buscar los datos que precisamos (fuentes). Nos queda ahora definir con precisin el conjunto de situaciones, objetos o personas que han sido infludas por la accin del proyecto y que sern nuestro universo de observacin.

Los universos observables podrn ser: aquellas personas directamente definidas como destinatarias de la accin del proyecto social de que se trate (favorecer el acceso a una vivienda digna a 43 familias..., capacitar a 4.945 jvenes..., o brindar alimentacin a 3.098 familias...); aquellas personas que figuran como destinatarias indirectas de la accin del proyecto (habitantes del vecindario lindero al barrio de viviendas construido...; familiares directos de los jvenes capacitados..., vecinos de los comedores comunitarios donde se brinda asistencia alimentaria...); organizaciones involucradas directamente en la implementacin del proyecto (organizaciones vecinales, ONGs u organismos pblicos promotores y financiadores, instituciones asociadas); personas e instituciones vinculadas indirectamente y afectadas por el proyecto (estado local, empresas proveedoras del sector de servicio de que se trate construccin, educacin, alimentacin-, organizaciones locales varias). La definicin del universo a observar variar segn la intencin de quienes promueven tal proceso de anlisis; lo que habitualmente sucede es que las evaluaciones concentran su mirada slo en la poblacin definida como destinatarios directos, revisando slo el cumplimiento de los objetivos previstos. Esta mirada queda habitualmente corta en relacin a los universos de personas y organizaciones que son realmente afectados por la accin del proyecto. Tambin ser necesario, en los casos en que el universo sea demasiado amplio para que podamos observarlo completo, establecer muestras de aquel conjunto, que nos permitan, mirando slo un sub-conjunto, inferir un anlisis sobre la totalidad. Existen diversos caminos para definir una muestra, caminos aleatorios (azar) y no aleatorios (por algn criterio definido tcnicamente). En la siguiente pgina retomamos el caso de Buenaventura para mostrar en una Matriz la sntesis de indicadores por nivel de objetivo. Presentamos a continuacin tres cuadros con una descripcin pormenorizada de variables, indicadores, fuentes de informacin y medios de verificacin para momentos diferentes de la evaluacin de nuestro proyecto ejemplo (ex-ante, intermedia e impacto).

32

34

36

5. RECURSOS NECESARIOS

Llevar adelante un proceso continuo de monitoreo y evaluacin implica necesariamente destinar recursos para ello. Ser importante entonces considerar durante la formulacin del proyecto, qu recursos necesitaremos para hacer efectiva esta tarea: recursos humanos (perfiles de profesionales, voluntarios, personasrepresentantes de las organizaciones intervinientes...). recursos tecnolgicos (bases de datos, sistemas de informatizacin y procesamiento de datos...). infraestructura (lugares de reunin, transporte...). recursos econmicos (cuantificacin econmica de los recursos que disponemos y de los que tendremos que conseguir para cubrir los costos del proceso de monitoreo, evaluacin y difusin de resultados).

PRESUPUESTO Como en el caso de la elaboracin de proyectos, existen diversas maneras de presentar el anlisis financiero del proyecto, pero bsicamente son cuatro las frmulas habitualmente requeridas: costos por actividad (segn momento de la evaluacin). costos por actividad y fuente de recursos (incluyendo diversos aportes de contrapartidas). costos por rubro (materiales, recursos humanos, equipos, administracin). detalle de costos e inversin por perodo de tiempo -"flujo de caja"-, (movimiento de fondos por etapas, segn cronograma propuesto). Al solicitar un determinado aporte financiero a una institucin, es importante cuantificar econmicamente todos los aportes de tiempo de trabajo humano y otros recursos aportados localmente e incluirlos en el presupuesto como contrapartida local (de gobierno, de ONGs y de organizaciones vecinales).

EJEMPLO Presupuesto para el monitoreo, evaluacin y difusin del proyecto El proceso de monitoreo, evaluacin y difusin del proyecto tendr un costo de 5200 $, a cubrir en los dos aos de ejecucin del proyecto, ms los dos meses anteriores y posteriores a su inicio y final. De ese total, 2200 sern aportados por las organizaciones intervinientes en el proyecto, y otros 3000 sern solicitados a diversas fuentes de financiamiento, segn se indica en el siguiente cuadro presupuestario:

COSTOS POR ACTIVIDAD Y FUENTE DE RECURSOS DEL PROCESO DE MONITOREO, EVALUACIN Y DIFUSIN

ACTIVIDAD DE MONITOREO Y EVALUACIN

DIAGNOSTICO DE FACTIBILIDAD EVALUACIN EX-ANTE MONITOREO DE PROCESO EVALUACION INTERMEDIA EVALUACION EX-POST O DE IMPACTO SISTEMATIZACION Y DIFUSIN

COSTOS EN PESOS APORTE LOCAL 300 500 1000 ----400 2200 APORTE SOLICITADO --500 500 800 800 400 3000 COSTO TOTAL 300 1000 1500 800 800 800 5200

El 'Aporte Local' se compone de: aporte de infraestructura de la ROBB; tiempo de voluntarios de FJD; equipos tcnicos del Municipio de Buenaventura

6. CRONOGRAMA O PLAN DE TRABAJO

Otro aspecto a considerar a la hora de organizar la ejecucin del proceso de monitoreo, evaluacin y difusin, es el tiempo en el que realizaremos las tareas necesarias. Como vimos en puntos anteriores, el proceso de evaluacin permanente est compuesto de varios momentos especficos que deberemos organizar a travs de un cronograma de tareas que estar estrechamente vinculado al cronograma general del proyecto, donde fijaremos los tiempos para el cumplimiento de las actividades, metas y objetivos.

EJEMPLO Plan de trabajo para el monitoreo y la evaluacin Segn lo expresado en el punto en el que se describieron los momentos del proceso de monitoreo y evaluacin, se seguir durante proyecto el siguiente cronograma de actividades: el

CRONOGRAMA DE ACTIVIDADES DEL PROCESO DE MONITOREO, EVALUACIN Y DIFUSIN

ACTIVIDAD DE MONITOREO Y EVALUACIN -2 -1 1

DIAGNOSTICO DE FACTIBILIDAD EVALUACIN EX-ANTE MONITOREO DE PROCESO EVALUACION INTERMEDIA EVALUACION EX-POST O DE IMPACTO SISTEMATIZACION Y DIFUSIN
38

COSTOS EN PESOS
PERODO DE EJECUCIN

9 10 11 12 13 14

7. USO Y DIFUSIN DE LOS RESULTADOS Resulta de suma importancia prever cmo se utilizarn los aprendizajes surgidos del proceso de evaluacin; necesitamos asegurarnos que las personas que toman las decisiones estn involucradas en el proceso y acuerden el uso de las recomendaciones surgidas del anlisis evaluativo. Se deber prever entonces los mecanismos a travs de los cules se realizarn los cambios necesarios identificados para mejorar la gestin del proyecto. Tambin tendremos que prever cmo se van a comunicar los logros, avances y sucesos producidos durante el transcurso y al concluir el proyecto. Hay que considerar aqu 4 tipos de necesidades segn sean los destinatarios de esta comunicacin: para que todas las personas que trabajan en el proyecto o programa sepan como est funcionando en todos sus niveles, para mantener informada a toda la comunidad afectada por el proyecto, para que las personas e instituciones que han hecho aportes al proyecto sepan en qu se han invertido sus recursos y para que otras personas e instituciones puedan aprender de la experiencia realizada. Con estos objetivos a la vista, cada proyecto debera contener una estrategia comunicacional, que variar de dimensin, claro est, segn la complejidad del emprendimiento. Ser necesario prever aqu tambin, algn mecanismo de sistematizacin de la experiencia, de modo de poder transmitir de manera ordenada las lecciones aprendidas al interior de las organizaciones que participan del proyecto y a otras que trabajan en la misma direccin.

EJEMPLO Uso y difusin de los resultados El proyecto tendr 3 formas concretas decomunicacin en las que se difundirn los resultados del proceso de monitoreo y evaluacin: Difusin Interna: informes quincenales de cada rea o grupo acerca de los ltimos avances y logros obtenidos, conteniendo las propuestas de cambio en las actividades del proyecto, surgidas del proceso de monitoreo. Cada director de rea deber considerar el resultado obtenido en las reuniones de monitoreo y proponer los cambios necesarios para ajustar el proyecto a la luz de las enseanzas surgidas del proceso de evaluacin permanente. Difusin a las organizaciones que apoyan el proyecto: trimestralmente se escribir una carta informativa a los donantes y asociados, a la que se adjuntarn 2 hojas con los logros obtenidos hasta el momento y los pasos y objetivos a seguir en el prximo trimestre (informacin surgida del proceso de monitoreo del programa). Al finalizar el primer ao de trabajo se realizar una reunin de evaluacin intermedia y de presentacin de resultados parciales, donde estarn invitados todos los que apoyan el proyecto para poder informarse y colaborar en las innovaciones y cambios necesarios. Una vez finalizado el proyecto se har una reunin general con todos los participantes en la que se mostrarn los resultados obtenidos y se resumir la gestin realizada mediante una exposicin del coordinador general y un boletn informativo.

 Difusin a la comunidad de Buenaventura: se crear una pgina web donde habr informacin sobre el proyecto y sus objetivos, sobre el proceso llevado adelante, de los logros obtenidos, y de todas aquellas informaciones que permitan a las personas colaborar y apoyar el proyecto. Adems se designar un responsable de difusin que tendr como responsabilidad relacionar a la

organizacin con los medios locales de la zona donde se ejecuta el proyecto, con el fin de mantener informada a la comunidad vecina. Se espera adems editar un libro de lecciones aprendidas al finalizar el proyecto. El libro ser enviado a las universidades de argentaria y aparecer tambin en la pgina web de la FJD.

Aqu concluye la revisin de los diversos aspectos que resulta necesario conocer para la formulacin de un sistema de monitoreo y evaluacin de un proyecto social. Esperamos que sea de utilidad para quienes desde el estado y la sociedad civil trabajan da a da intentando caminar nuevos caminos hacia la construccin de un mundo mejor.

B I B L I O G R A F I A D E C O N S U LTA

40

BIBLIOGRAFIA DE CONSULTA

ANDRADE, SHEDLIN Y BONILLA, (1987), "Mtodos cualitativos para la evaluacin de programas", The Pathfinder Fund, Watertown, MA, USA ANZOLA LIBARDO, (1995), "Seguimiento a la gestin institucional y evaluacin de resultados sociales de los planes de inversin municipal", documento de trabajo, ILPES / CEPAL, Santiago de Chile. BID, (1995), "Evaluacin: una herramienta de gestin para mejorar el desempeo de los proyectos", documento de trabajo, Washington, USA. BOMBAROLO, FELIX (2001), "Variables e Indicadores para evaluar el impacto de programas sociales", documento de trabajo, Ministerio de Desarrollo Social, Buenos Aires, Argentina. BRIONES GUILLERMO, (1991), "Evaluacin de programas sociales", editorial Trillas, ciudad de Mxico. CEVE (1998), "Mtodo de evaluacin de programas sociohabitacionales", documento de trabajo, Centro Experimental de la Vivienda Econmica, Crdoba, Argentina. GUDIO, FLORENCIO (1997), "La evaluacin de la cooperacin al desarrollo en Espaa", Serie de Avances de Investigacin N 1, Instituto Universitario de Desarrollo y Cooperacin, Universidad Complutense de Madrid, Madrid, Espaa. IAF, (1995), "El marco del desarrollo de base", Inter-American Foundation, Arlington, Virginia, USA. MUIZ, ARLETTE (1997), "Evaluacin del impacto social. El valor de lo humano ante la crisis y el ajuste", Editorial Lumen-Humanitas, Buenos Aires, Argentina NIREMBERG, BRAWERMAN Y RUIZ, (2000),Evaluar para la transformacin, Piados, Buenos Aires, Argentina. PEREZ COSCIO & WALKER, (1998), "Evaluacin de efecto e impacto social", Cuaderno de Trabajo N5, Ediciones FICONG, Buenos Aires, Argentina. SIEMPRO, (1999), "Manuel Metodolgico para la Planificacin y Evaluacin de Programas Sociales", Fondo de Cultura Econmica, Buenos Aires, Argentina. SAMAJA, (1995), "Epistemologa y metodologa. Elementos para una teora de la investigacin cientfica", EUDEBA, Buenos Aires, Argentina. TAMARGO, MARIA DEL CARMEN, (2003), El impacto en el afuera: los indicadores del contexto, en Cambiar por dentro para impactar en el afuera, publicacin de las ponencias de la IX Jornada Argentina del Sector Social, Fundacin Compromiso, Buenos Aires, Argentina. UD-NORAD, (1997), "Evaluacin de proyectos de ayuda al desarrollo", edicin del Instituto Universitario de Desarrollo y Cooperacin, Madrid, Espaa. ZAFFARONI, CECILIA (1997),El Marco de Desarrollo de Base. La construccin de un sistema participativo para analizar resultados de proyectos sociales, Ediciones Trilce- Fundacin Interamericana, Montevideo, Uruguay.

CONCURSO DE PROYECTOS Y PROGRAMAS DE FORMACIN TCNICA

42

CONCURSO DE PROYECTOS Y PROGRAMA FORMACION TECNICA

e presenta a continuacin las caractersticas operativas generales que tendrn tanto el Concurso de Proyectos como el proceso de Formacin Tcnica puesto en marcha por Shell en el ao 2003.

Quines pueden presentarse al Concurso de Proyectos...?

Todas las organizaciones sociales que cumplan en tiempo y forma con las condiciones del concurso.

Cuntos proyectos sern apoyados...?

Esta definicin variar de ao a ao, segn las circunstancias especficas al momento del lanzamiento del concurso.

Qu requisitos deben cumplir las organizaciones que se presenten...?

Debern ser reconocidas organizaciones sociales que atiendan algunas de las problemticas priorizadas por Shell (explicitadas ms adelante). Se tendr especial consideracin si la organizacin posee personera jurdica.

Qu debern presentar para concursar y acceder al apoyo de Shell...?

Debern presentar, un perfil de proyecto en el formato y en los tiempos indicados por la empresa para cada Concurso.

En qu reas o temas se focalizar el apoyo...?

Se considerarn aquellos proyectos que focalizan su accin en poblaciones con serios problemas de pobreza y exclusin social y cuyos objetivos coincidan con las siguientes reas y objetivos:

EJEMPLO reas de accin priorizadas por Shell en el 2003 REA PRIORITARIA

MEDIOAMBIENTE (capital ambiental) SALUD EDUCACIN SEGURIDAD (Capital humano y capital social)

OBJETIVOS DE LA ACCIN 1. Mejorar el manejo ambiental.

2. Apoyar acciones de prevencin y atencin en salud. 3. Promover e informar sobre opciones educativas, laborales y de insercin social de nios y jvenes. 4. Formar, sensibilizar e informar sobre mejores herramientas de gestin en emprendimientos productivos o de servicios. 5. Apoyar la implementacin de sistemas o redes locales de prevencin social del delito.

Para qu rubros se puede solicitar apoyo...?

Para compra de materiales y equipos y/o contratacin de actividades de formacin y sensibilizacin.

Qu poblacin deber ser principalmente la destinataria de las acciones de los proyectos...?

Nios, nias y jvenes de 0 a 24 aos, que habiten comunidades en riesgo social.

Qu rubros no sern financiados por Shell...?

Sueldos de personal de las organizaciones, y slo se considerar financiamiento de hasta un 15% del total del proyecto para rubros relacionados con administracin y gastos de infraestructura de la organizacin solicitante.

Qu tipo de apoyo es posible solicitar a la empresa...?

Como se mencion, hasta un mximo de dinero por proyecto pero tambin ser posible solicitar apoyo tcnico del personal de la empresa en algn rubro especfico o materiales que la empresa posea y est en condiciones de donar en el marco de los proyectos (especialmente en la zona de Refinera).

En qu tiempo debe ejecutarse el proyecto...?

El tiempo para la ejecucin de los proyectos variar ao a ao y ser especificado en las bases de cada concurso.

44

Qu aspectos sern valorados a la hora de la evaluacin de los proyectos...?

A la hora de la seleccin se priorizarn especialmente a aquellos proyectos que: a) sean presentados por organizaciones reconocidas e incuestionables socialmente; b) presenten al menos 2 organizaciones locales (pblicas y privadas) asociadas para su elaboracin y ejecucin; c) presenten al menos una fuente adicional de recursos econmicos para el emprendimiento, adems del solicitado a Shell; d) se hayan realizado con una amplia participacin de la poblacin destinataria de la accin del proyecto; e) que demuestren tener un importante impacto social en la mejora de las condiciones de vida de la poblacin destinataria; f) que sean presentados por organizaciones que hayan tenido experiencias de trabajo anteriores con la empresa.

Quines evaluarn los proyectos..?

Un "Comit de Seleccin" formado por personal de la empresa y referentes tcnicos de reconocidas organizaciones sociales argentinas.

Quines participarn del Programa de Formacin Tcnica...?

Participarn miembros de las organizaciones sociales con las que Shell trabajar cada ao.

Cmo estar organizado el Programa...?

Se trabajar durante tres jornadas a lo largo del ao; en la primera (al inicio del proceso), se analizarn herramientas para la formulacin de proyectos sociales; en la segunda (al promediar la ejecucin), cuestiones relativas a la gestin y monitoreo de los proyectos, y en la tercera (al finalizar la tarea), se trabajar la temtica evaluacin, sistematizacin y difusin. A cada jornada de trabajo asistirn dos representantes de las organizaciones ejecutoras, que presentarn los avances del proyecto sobre el cual trabajarn durante el ao. En cada taller se trabajarn cuestiones generales sobre la temtica a abordar en cada mdulo y recibirn asesoramiento tcnico sobre sus propios proyectos; podrn tambin intercambiar sus experiencias con el resto de las instituciones que estarn trabajando junto a Shell. En esas jornadas tambin, presentarn sus informes de avance de la propuesta implementada.

Cmo ser el cronograma de presentacin, seleccin, ejecucin y evaluacin de las propuestas...?

Los pasos a seguir en el proceso de presentacin, seleccin, ejecucin y cierre de los

proyectos, son los siguientes: 1. Difusin / llamado a concurso: se realizar a travs de diversos medios de difusin y transmisin personalizada hacia las organizaciones con las que Shell ha venido trabajando en los ltimos aos. 2. Formacin de organizaciones pre-seleccionadas: se brindar a las organizaciones de la zona de Refinera, un taller de formacin enFormulacin de proyectos, que les servir para definir y/o ajustar sus propuestas y fortalecer su capacidad en la elaboracin y presentacin de proyectos en otras instituciones. 3. Presentacin de perfiles de proyectos: las organizaciones presentarn un perfil de proyecto (mximo, dos propuestas por organizacin), que deber respetar los tem solicitados en la gua de presentacin difundida por la empresa. 4. Seleccin de propuestas: la realizar el Comit de Seleccin en base a los criterios ya mencionados y se comunicar el resultado a todas las organizaciones concursantes; 5. Primer desembolso e inicio de ejecucin: segn el tipo de proyecto, se podr hacer uno o dos desembolsos, al inicio y al promediar la ejecucin del proyecto. 6. Jornada de formacin en gestin y monitoreo de proyectos: al promediar la ejecucin de los proyectos, se realizar una jornada de evaluacin e intercambio entre todas las organizaciones que llevan adelante las iniciativas seleccionadas; durante la jornada se brindar tambin formacin especfica sobre algunos temas vinculados al monitoreo de proyectos. 7. Jornada de evaluacin y cierre de proyectos: cada ao, al finalizar la ejecucin de la cartera de proyectos, se realizar un evento de evaluacin final e intercambio entre las organizaciones de Avellaneda y las del resto del pas que ejecutaron proyectos durante el perodo, juntamente con personal de la empresa y otros actores sociales.

Dnde y en qu fechas hay que presentar las propuestas...?

La informacin ser brindada cada ao por el personal responsable de la empresa junto al llamado a concursos por la pgina web: www.shell.com.ar

46

ANEXOS
ANEXO I Concurso de proyectos Shell

Planilla de Monitoreo del Proyecto INFORMACIN BSICA

Nombre de la institucin que implementa el proyecto:

Nombre del proyecto:

Direccin, telfono e e.mail de la organizacin ejecutora:

Nombre de la persona responsable del proyecto:

Fecha de inicio del proyecto / fecha de presentacin de la Planilla de monitoreo:

RELEVAMIENTO DE CUMPLIMIENTO DE ACTIVIDADES (resultados) Y METAS (efecto) 4 PERODO INFORMADO: DEL.............................., AL...........................

Qu actividades, de las planificadas en el proyecto se realizaron durante el perodo informado en esta Planilla...? (Indique las actividades que se prevea ejecutar en este perodo y comprelas con las actividades efectivamente ejecutadas. A partir de esa comparacin calcule el porcentaje ejecutado).

4 Se recomienda completar los siguientes puntos de la Planilla, conjuntamente con las organizaciones y personas involucradas en el proyecto, incluyendo especialmente a los destinatarios del mismo.

Qu resultados se alcanzaron y qu efecto han tenido las actividades en la poblacin destinataria del proyecto...?, cuntas personas ya se han beneficiado con las acciones del proyecto y de qu manera...? (Indique la cantidad de destinatarios que se prevea alcanzar con las actividades del proyecto en el periodo informado. Comprelo con la cantidad de destinatarios que efectivamente asistieron a las actividades. Calcule el porcentaje de cobertura alcanzada).

RELEVAMIENTO SOBRE LA UTILIZACION DE LOS RECURSOS

Qu tipo y cantidad de recursos se han invertido en el proyecto y cmo se han utilizado...? (Indique tambin el presupuesto que se prevea ejecutar en este perodo y comprelo con el presupuesto efectivamente ejecutado. A partir de esa comparacin calcule el porcentaje ejecutado).

48

Cmo se ha utilizado especficamente el aporte financiero de Shell...? (descripcin de gastos / adjuntar comprobantes)

RELEVAMIENTO DE LOGROS Y OBSTCULOS DEL PROYECTO

Qu aspectos positivos surgen de la implementacin del proyecto y cmo se potenciarn en el futuro...?

Qu dificultades obstaculizaron el cumplimiento de los objetivos planteados y cmo se espera solucionarlos...?

PROPUESTA PARA LA CONTINUIDAD DEL PROYECTO

Qu actividades de las previstas en el proyecto, restan an realizar y cmo ser el cronograma de tareas para realizarlas...?

50

SHELL COMPAIA ARGENTINA DE PETRLEO S.A. AGRADECE A TODAS LAS INSTITUCIONES Y PERSONAS INVOLUCRADAS EN EL PROGRAMA CREANDO VNCULOS. ALGUNAS DE LAS IMGENES QUE ILUSTRAN LA PRESENTE GUA CORRESPONDEN A EX PARTICIPANTES DE DESAFO JOVEN Y A GANADORES DE LA BIENAL JUVENIL; OTRAS MUESTRAN A LOS COORDINADORES DE LOS PROYECTOS SOCIALES JUNTO CON LOS BENEFICIARIOS DIRECTOS DE CREANDO VNCULOS. TODOS ELLOS SON LOS VERDADEROS PROTAGONISTAS DE ESTE OBRAR COMPARTIDO RUMBO AL BIEN COMN.

Directora de la Publicacin Vernica Staniscia, Asuntos Pblicos Shell Compaa Argentina de Petrleo S.A. Asesora y Apoyo Tcnico Flix Bombarolo asociado a Organizacin Poleas www.organizacionpoleas.net

Diseo y Produccin IGV Soluciones de Marketing www.igv.com.ar

Para mayor informacin escriba a veronica.staniscia@shell.com

GUIA PARA EL MONITOREO Y EVALUACIN DE PROYECTOS SOCIALES Editado por SHELL COMPAIA ARGENTINA DE PETRLEO SOCIEDAD ANNIMA Hecho el depsito que marca la ley 11723I.S.B.N. N 987-95166-2-1 Se termin de imprimir en Proietto & Lamarque S.A. con domicilio en Jos Mrmol 2131, C1255 ABW, Buenos Aires, Argentina, Agosto de 2007 Segunda edicin con una tirada de 3000 ejemplares.