Anda di halaman 1dari 112

PlataformadeONGdeAccinSocial

GUA

GUA
GuadeEvaluacindeProgramasyProyectosSociales

PlanEstratgico

delTercerSector

deaccinsocial

Avda.DoctorFedericoRubioyGal,4.Local
28039Madrid
Telfono915351026Fax915350582
Gua de Evaluacin
de Programas y
www.plataformaong.org

Guade Evaluacinde ProgramasyProyectos Sociales


Proyectos Sociales
PlanEstratgico
delTercerSectorde

Accin

Social

Gua de
Evaluacin
deProgramas y

Proyectos
Sociales
Este documento ha sido elaborado

>
por el equipo de tcnico de:

Coordinacin: scarD.PereaArias
PlataformadeONGdeAccinSocial

Edita PlataformadeONGdeAccinSocial
Avda. Dr. Federico Rubio y Gal, 4. Local
28039 Madrid
Tel. 91 535 10 26 Fax 91 535 05 82
Correoelectrnico:info@plataformaong.org

DepsitoLegal

Diseo ms!grfica

Preimpresineimpresin AdvantiaComunicacinGrfica
Formacin,16.Pol.Ind.LosOlivos.
28906Getafe(Madrid)

delaEdicin PlataformadeONGdeAccinSocial
NDICE

6
PRESENTACIN

9
BLOQUE1.
CONSIDERACIONESBSICASDELAEVALUACIN
1.Introduccinalaevaluacindeprogramasyproyectossociales.
1.1.AlgunosAspectosclave.
1.2.tica,polticaycalidaddelaevaluacin.
2.TiposdeEvaluacin.
2.1. Porsuubicacintemporal.
2.2. Segnsuobjeto.
2.3. Porquienlahace.
2.4. Porsusinstrumentos.

31
BLOQUE2.
ANLISISESTRATGICO
1.ProcesodelaEvaluacin.
1.1.LaprogramacinenevaluacinylosTrminosde
Referencia.
1.2.Momentosenlaejecucindelaevaluacin
1.3.Agentesenevaluacin.Losstakeholders
2.EldiseodelaEvaluacin.
3.CriteriosdelaEvaluacin.
3.1.Losprincipalescomponentesdelasevaluacionesdelos
proyectosdeaccinsocial.
3.2.FuentesdeVerificacin
3.3.Laoperacionalizacin:Decriteriosaindicadoresdeeva
luacin
3.4.Instrumentosdeseguimiento:losindicadores

79
BLOQUE3.

TCNICASDEEVALUACIN

1.TcnicasyherramientasparalaEvaluacin
1.1.TcnicasCuantitativas
1.2.TcnicasCualitativas
1.3.TcnicasParticipativas

103
BLOQUE4.

INFORMEDEEVALUACIN

106

BIBLIOGRAFA

YWEBGRAFA

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 5


PRESENTACIN

LaPlataformadeONGdeAccinSocialpresentalaGuadeEvaluacindeProgramasy
Proyectos Sociales dentro de las acciones de operativizacin del Plan Estratgico del
Tercer Sector de Accin Social, documento creado con una metodologa participativa en
elao2003porelGrupodeTrabajodelPlanEstratgicodelTercerSector,apartirdeuna
iniciativadelConsejoEstataldeONGdeAccinSocial.

La Plataforma lidera la ejecucin de las acciones de operativizacin del Plan Estratgico


de Accin Social, a travs del programa del Plan Estratgico con cargo al Rgimen
General del Ministerio de Sanidad y Poltica Social que cuenta adems con la colabora
cindelaComisindeDesarrolloOperativodelPlanEstratgicodeONGdeAccinSocial.
Las ONG que en la actualidad forman parte de la Comisin de Desarrollo Operativo del
Plan Estratgico del Tercer Sector de Accin Social coordinada por Cruz Roja Espaola,
en el que tambin est representada la Administracin General del estado, son:
Fundacin Secretariado Gitano; Comisin Espaola de Ayuda al Refugiado; Hermandad
de Veteranos de las Fuerzas Armadas; Red Espaola de Desarrollo Rural; Confederacin
Espaola de Organizaciones a favor de las personas con Discapacidad Intelectual;
Federacin de Mujeres y Familias de mbito Rural; Federacin de Mujeres Progresistas;
Unin Roman; DIDANIA Federacin de Entidades Cristianas de Ocio y Tiempo Libre;
Coordinadora Estatal VIHSIDA; Critas Espaola; Plataforma de Voluntariado de Espaa;
Confederacin Espaola de Personas con Discapacidad Fsica y Orgnica; Plataforma de
ONG de Accin Social; Unin de Asociaciones Familiares; Confederacin Estatal de
Personas Sordas; Unin de Asociaciones y Entidades de Atencin al Drogodependiente;
Red Europea de Lucha contra la Pobreza y la Exclusin Social; Plataforma de
OrganizacionesdeInfancia;FundacinONCEyFederacindeAsociacionesdeScoutsde
Espaa.

La Plataforma de ONG de Accin Social es una entidad de mbito estatal, privada, acon
fesional y sin nimo de lucro, constituida formalmente en el ao 2000, formada en la
actualidad por 28 organizaciones1 no gubernamentales y no lucrativas de mbito estatal.
Las Organizaciones que representa, luchan contra la exclusin social y la discriminacin
yrepresentanacolectivosmuydiversoscomoinfanciayfamilia,jvenes,mujeres,perso
nas mayores, personas con discapacidad, personas con problemas de drogodependen
cia, personas afectadas por el VIHSIDA, pueblo gitano, personas reclusas y exreclusas,
personas migrantes y solicitantes de asilo y desarrollo rural. Para concluir esta presenta

6 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


PRESENTACIN

cin,comentarqueestaguapretendefacilitarelcaminoalasorganizacionesdelasocie
dad civil y a las ONG de accin social cuando decidan iniciar su acercamiento a los sis
temasdedireccinestratgica,enespecialenlasprimerasfasesdeanlisis,diagnstico
yplanificacin.Parasudesarrollosehacontadoconlaexperienciadelequipotcnicode
Anlisis y Desarrollo Social Consultores, su experiencia prctica y las lecciones aprendi
dasennumerososproyectosdeconsultora,asistenciatcnicayformacinespecializada
en el mbito social durante aos ha facilitado la elaboracin de la gua.

1.LaPlataformadeONGdeAccinSocialestintegradaenlaactualidadpor:Aecc,ATIME,CritasEspaola,CEAR,CEPAIM,CNSE,
COCEDER,COCEMFE,CEPSS,CruzRojaEspaola,EAPNES,FEAPS,FEMUR,FederacindeMujeresProgresistas,FundacinEsplai,
FundacinJuanCiudad,FundacinSecretariadoGitano,LEECP,MdicosdelMundo,MPDL,ONCE,UDP,UNAD,UNAF,UninRoma
n,ASDE,CERMI,FederacinDidania.

GUA DE EVALUACIN DE PROGRAMAS Y PROYECTOS SOCIALES 7


BLOQUE1
BLOQUE1
Consideraciones
Introduccinala

GUA
Bsicas dela
PlanificacinEstratgica
Evaluacin
1 CONSIDERACIONES BSICAS DE LA EVALUACIN

1. INTRODUCCIN A LA EVALUACINDE
PROGRAMAS Y PROYECTOS SOCIALES

1.1. Algunos aspectos clave

Unproyectosocial eslaunidadmnimadeasignacinderecursos,queatravsdeun
conjuntointegradodeprocesosyactividadespretendetransformarunaparceladela
realidad,disminuyendooeliminandoundficit,osolucionandounproblema.
Losproyectossocialesproduceny/odistribuyenbienesoservicios(productos),para
satisfacerlasnecesidadesdeaquellosgruposquenoposeenrecursosparasolven
tarlasautnomamente,conunacaracterizacinylocalizacinespaciotemporalpre
cisayacotada.
Unprogramasocial esunconjuntodeproyectosquepersiguenlosmismosobjetivos,
quepuedendiferenciarseportrabajarconpoblacionesdiferentesy/outilizardistintas
estrategiasdeintervencin.

Lapolticasocial esunconjuntodeprogramasquepretendenalcanzarlosmismosfines.
Dalasorientacionessobrequproblemassocialespriorizarydefinelasprincipalesvasy/o
lmitesparalaintervencinquelapolticaplantea.

Losprogramasyproyectossociales,seenmarcanenunapoltica,delaqueconstituyensu
traduccinoperacional,vaasignacinderecursosquepermitesuimplementacin.

Laevaluacin permitetomardecisionesatravsdelacomparacindedistintasalternati
vas.Tantoenlavidacotidianacomoenlosproyectos,engeneral,seanestossocialesopro
ductivos,pblicosoprivados,serequieredelaevaluacinparaadoptardecisionesracio
nales.

Elsignificadodelaevaluacindifieresegnlaetapadelciclodevidadelproyectoenlaque
selautilice.Siesdurantelaformulacin,proporcionaloscriteriosdedecisinparaacep
tarunproyectoespecficouordenarlasalternativasconsideradasenfuncindelasrela
cionesexistentesentresuscostoseimpacto(obeneficio).Siselaaplicadurantelaopera
cino,inclusive,habiendostaconcluido,permitedeterminarelgradodealcancedelos
objetivosperseguidos,ascomoelcostoenquesehaincurrido.

10 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

As,formulacinyevaluacinsondoscarasdeunamismamoneda.Unproyectonose
puedeformularamenosquesesepacmoselovaaevaluar,porquesloapartirdela
metodologadelaevaluacinesposibledeterminarculeslainformacinquesedebereco
gerparasuformulacin.

Porotrolado,laevaluacinexpost(duranteodespusdelaimplementacindelproyec
to)permitereorientarlaoperacin,adecuandoeldiseorealizadooadaptndolaalascon
dicionescambiantesdelcontexto.Asimismoposibilitaaprenderdelaexperiencia.

Laevaluacin,entonces,sirvedemarcodereferenciaparalaformulacindeunprograma
oproyecto,permitiendomedirloscostosyelimpacto(olosbeneficios)delmismo,ascomo
lasrelacionesexistentesentreambos.

1.1.1. Definicin de Evaluacin

Unafuncinqueconsisteenhacerunaapreciacintansistemticayobjetivacomosea
posiblesobreunproyecto[porrealizarse]encursooacabado,unprogramaounconjun
todelneasdeaccin,suconcepcin,surealizacinysusresultados.Setratadedetermi
narlapertinenciadesusobjetivosysugradoderealizacin,laeficienciaencuantoala
accinsocial,laeficacia,elimpactoylaviabilidad.Unaevaluacindebeproporcionarunas
informacionescreblesytiles,quepermitanintegrarlasenseanzassacadasenlosmeca
nismosdeelaboracindelasdecisiones.

1.1.2. Caractersticas y Funciones de la Evaluacin

Engeneral,laevaluacinpuededefinirsecomounaherramientasistemticaque,conbase
enunoscriteriosyatravsdeunastcnicas,mide,analizayvaloraunosdiseos,proce
sosyresultadosconelfindegenerarconocimientotilparalatomadedecisiones,laretro
alimentacin,lamejoradelagestinyelcumplimientodeunosobjetivos.

Lasprincipalescaractersticasdelaevaluacinson:

Carctertilyprctico:Laevaluacinhadeservirparalamejoradelaintervenciny
debeserconcebidahacialaaccin.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 11


1 CONSIDERACIONES BSICAS DE LA EVALUACIN

Sistematicidaddurantetodoelprocesodeevaluacin:Todaevaluacinhaderecoger
demodosistemticolainformacinpertinenteparalavaloracindeloscriteriosdeeva
luacin.
Necesidaddeflexibilidad:Juntoconelcarizsistemticodelaevaluacin,hadeprimar
selaflexibilidadmetodolgicaalolargodetodoelprocesodeevaluacin.
Ajustealosplazostemporales:Laevaluacintienequeresponderalosplazostempora
lesacordadosconelfindequepuedacontribuiralaprendizajeylamejoradelainter
vencin.
Laevaluacinsecentraenelanlisisdepolticas,planes,programasyproyectos;nun
cadepersonas.
Emisindejuiciosdevalor:Laevaluacinexigeelanlisisvalorativodeloscomponen
tesestudiados.
Realizacinantes,duranteoconposterioridadalaejecucin:Setratadeunaactividad
quepuedellevarseacaboenlasdistintasfasesdelciclodelasintervenciones.
Variabilidaddelobjetodeevaluacin:Laevaluacinpuedeestarreferidaaldiseode
unaactividad,alosprocesosdeejecucinoasusresultadosyefectos,previstosono
previstos,priorizandounouotroenfoquesegnlafinalidaddeltrabajo.
Criteriosdeevaluacin:Enlaevaluacinserevisarnlaeficacia,laeficiencia,laperti
nencia,elimpactoylaviabilidadentreotroscomponentes.

Porotraparte,todoslosquetomandecisionesyaseanpersonasoentidadestienenla
preocupacinyporlotantolanecesidadpermanentedeasegurarsequesusdecisio
nessonlasadecuadasencadamomentoylugar;ascomo,queunaveztomadaslas
decisiones,stasdanlosfrutosesperados/necesarios.Enelmomentoenqueestapre
ocupacinseexpresayseinstrumenta,loqueocurrenormalmentecuandolasentida
desalcanzanunciertogradodecomplejidad,nosencontramosantelaevaluacino,
expresndolodemaneramsprecisa,antelosprocedimientosdeevaluacindeunaenti
daddeterminada.

Comoconsecuenciadeloanterior,laevaluacindebellevarsealaprcticacomoherra
mientaimprescindibledecualquierciclodelproyectodeaccinsocialquesepuedacon
cebir;yaquenopuedeimaginarseunciclodegestinquenoconsidereeltomarlasmejo
resdecisionesposibles,paradeestamaneraasignaradecuadamentelosrecursosdispo
niblesyutilizarlosdelaformamsadecuadaunavezasignados.

12 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

Enestesentido,tressonlasprincipalesfuncionesdelaevaluacin:
I. Laretroalimentacinomejora(improvement)delosproyectosoaccionesejecuta
dasoenejecucin,
II.Elaprovechamientodelasexperienciasdelpasadoparaactividadesfuturas(enligh
tenment),y
III.Larendicindecuentas(accountability)hacialosfinanciadores,laopininpblica
ytodosaquellosimplicadosenlosprocesosdeaccinsocial.

CONCEPTODEEVALUACIN
RECOPILACINYANLISISSISTEMTICODEINFORMACINQUEPERMITELAEMISINDEJUICIOS
TAMBINSISTEMTICOSSOBREELMRITOYELVALORDELPROGRAMAEVALUADO

Perfeccionamientoomejoradelprogramaopoltica.
Permitelaretroalimentacinyelaprendizajesobrelapropiaprctica.
I.IMPROVEMENT Garantizalacalidaddelprograma.
Refuerzalaatencinenelcontextodelprograma,lasnecesidades
ynaturalezadelosdestinatariosydetodoslosagentescrticos.

Rendimientodecuentasoresponsabilidadsobrelagestinyresul
tadosdeunprograma.
Prcticaqueformapartedelsistemademocrticocomoresultado
FUNCIONES 1

delderechoasaberenquycmoseutilizanlosfondospblicos
(idoneidad,eficacia,eficiencia).
II.ACCOUNTABILITY
Perspectivasdelaccountability2
Perspectivapoltica.
Perspectivatcnicoorganizativa.
Perspectivadelosciudadanos.
Perspectivadelcliente.

Ejemplificacinoiluminacinparaaccionesfuturas
Laevaluacincontribuyeaconstruirconocimientodesdelosapor
III.ENLIGTENMENT
testericos,tcnicosymetodolgicos.
Orientasobreunmododeafrontarlosproblemassociales
PROPSITOS

Facilitarelprocesodetomadedecisiones
Solucindeproblemas
Facilitarelaprendizajeorganizativoelcambioinstitucional
CARACTERSTICAS

CARCTERPOLTICO Contextualizada
Continuidad
Capacidadderespuesta
Flexibilidadmetodolgica
Sensibilidadsocialypoltica
CARCTER Imparcialidad
Oportunidadeneltiempo
PRCTICO Participacin
realismoyrentabilidad
Fuente:Elaboracinpropia

1.STTUFFEBEAMYSHINKFILED(1987).EvaluacinSistemtica.Guatericayprctica.Madrid.
2.VEDUNG,E.(1997).PublicPolicyandProgramEvaluation.NewJersey.

GUA DE EVALUACIN DE PROGRAMAS Y PROYECTOSSOCIALES 13


1 CONSIDERACIONES BSICAS DE LA EVALUACIN

Estastresfuncionespuedenserresumidasenuncriteriogeneral: todaslasevaluaciones
debenserdeutilidadparalaorganizacin,enalgunodesusnivelesascomocontribuiral
aprendizaje sobreprogramasyproyectosdentrodelaorganizacin.

Deigualmodo,comohemossealadounadelasfuncionesdelaevaluacinoelproceso
delaevaluacinesladeservirparatomarmejoresdecisionesdeloqueseharasinoexis
tieraesaevaluacinsingularoeseprocedimiento.Paraqueseaefectivamentetilyutiliza
da,unaevaluacindebe:

I.Poseerundiseoflexiblequepermitaintroducirmodificacionesenlosinstrumen
tosderecopilacinyanlisisdelainformacinencasodequelasituacinaslo
aconseje.
II.Noserconsideradaslocomounapartedelciclodelproyecto,sinocomounaacti
vidadquegualaidentificacin,laformulacin,laejecucinyelseguimiento.En
resumidascuentas,todaslasactividadesdebenserdiseadasyllevadasacabo
suponiendoquesernevaluadas.
III.Teneruncarcterexplicativo,estableciendorelacionesdecausalidad,sinquedar
seenmerasdescripcionesdelarealidad.
IV.Satisfacerlasnecesidadesdeinformacindetodoslosimplicados,loquesupone
unatotaltransparenciaencuantoalaccesoalosdatosnecesarios.
V.Teneruncostequeestenconsonanciaconeldelproyectoolaaccinevaluada.
VI.Proporcionarresultadosatiempoyoportunamente,detalmaneraquesusconclu
sionessepuedanaplicardentrodeunespaciorazonabledetiempoyenelciclovital
delproyectoodelaplanificacin.

Comocriteriosfundamentalesdelaevaluacin,juntoalautilidadylaaplicabilidadesnece
sarioaadirelrigor,yaqueestodeterminalacredibilidaddelasconclusiones.Sedeben
elegirmuycuidadosamentelosprocedimientosderecopilacindelainformacin,lasmeto
dologasutilizadasyelpersonalencargadodesurealizacin,ysedebeserexplcitoentodo
momentoacercadelacalidadyfiabilidaddelosdatosempleados.Sinembargo,estono
quieredecirqueseanecesariobuscarunavalidezestadsticaintachableentodosloscasos,
sinoqueesconvenientequeexistaunconsensoentrelosimplicadosprincipalesacercade
lacalidaddelainformacinconseguida.

14 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

Paraqueunaevaluacinpuedacumpliresacondicinsinequanon razonablementeseha
desuponerquesedebendaralmenoslassiguientescircunstancias:

I.Queenlosprocedimientosdegestindelaspartesimplicadasenelproyectoycon
capacidaddedecisinenl,ascomoenlapropiagestindelproyecto,existanlos
procedimientosoperativosparaintroducirloseventualescambiosyasimilarlasense
anzasquelaevaluacinrecomiende,enelprimercaso,y,enelsegundo,sehaga
patente.Parececlaroquesinoexistelaposibilidaddeintroducircambioseneldise
oy/oenlaejecucindelproyectoosecarecedelacapacidadparainteriorizarlos
aprendizajes,noseradeningunautilidadlosresultadosdeunaevaluacin.
II.Elprocedimientodeevaluacinprevistodebeformarpartedelprocedimientodeges
tinhabitualdelproyecto;nodebindosecontemplarcomounaintervencinfor
neaoextraordinaria.Todoproyecto,salvorazonesmuypoderosasencontrayque
sedebenexplicitar,debeserobjetodeunanlisisevaluativo.Lascaractersticasde
estaevaluacindebernobedeceranuestrasnecesidadesyposibilidades.
III.Debeproducirresultadossignificativos.Esdecir,debeesforzarseenmostrarcausa
lidades,superandoelniveldelameradescripcindeunestadodecosasodelacorre
lacin.Unaevaluacindebesercapazdeidentificarporqudeterminadosaconte
cimientoshansucedido,sucedernoestnsucediendo3.Obviamenteesteesunejer
cicioarriesgado,peroelcomponenteinterpretativo/predictivoesimprescindible.Simul
tneamente,debeinformarseenlamismaevaluacindelosnivelesdecertidumbre
ydeloscriteriosinterpretativosconlosquesehaconstruidolaevaluacin.
IV.Querespondaalasnecesidadesdetodoslosimplicados,especialmentedeaquellas
personaseinstitucionesquedirectaoindirectamenteparticipanenlaevaluacin;ya
seafacilitandoinformacin,procesndola,analizndola...Todoaqulqueparticipe
activamenteenunaevaluacin,discutayfaciliteinformacinyjuiciosenelmarcode
unaevaluacindebeobtenerunadecuadoretorno,puesesaeslamejormanerade
asegurarlacalidaddelasfuentesutilizadas.Lanecesidaddequelaevaluacinpro
duzcaresultadostilesparatodoslosimplicados,lgicamente,entreellosdebenestar
laspersonasbeneficiarias,exigequeloshallazgosdeevaluacinsepresentenycubran

3. Losdatosqueserecogenparaevaluacintienentrespropsitos:describir,explicarypredecir.Estospropsitosnoseexcluyenmutua
mente,porelcontrario,hayunaprogresinlgicadesdeelprimerohastaelltimo.Ladescripcindeunfenmenooprocesoeselpri
merpasoorientadoaexplicarsundole,causassubyacentes,relacionesycontexto.Ylaprediccinrequiereusualmente,aunqueno
siempre,describiryexplicar...LasprediccionessefundamentaenlacomprensindelascausasdelosacontecimientosEnCASLEY,
DENNIS;KUMARKRISHNA(1990).Recopilacin,anlisisyusodelosdatosdeseguimientoyevaluacin,Madridpp.2y3.

GUA DEEVALUACINDEPROGRAMASYPROYECTOSSOCIALES 15
1 CONSIDERACIONES BSICAS DE LA EVALUACIN

distintosaspectosdeacuerdoconlautilizacinquelevayanadarlosreceptoresdela
evaluacin;enresumidascuentas,lesdebedeservirparatomarsuspropiasdecisio
nesdentrodelmarcodelproyecto.Enestesentidocarecedesentidohablardeeva
luacinparticipativasinqueexistaunagestindelproyectoparticipada.
V.Loscostesmonetariosynomonetariosasociadosalaevaluacin,dentrodelosque
esprecisoincluirlosdelseguimiento,debenestarenconsonanciaconloscostes
delproyectoevaluado.Nopareceraadecuadoqueunproyectoconsumieralamitad
desusrecursosenelseguimientoylaevaluacin4.
VI.Laevaluacindebesuministrarsusresultadosatiempo,cuandosushallazgospue
danutilizarse,cuandoanesposiblehacerlo,paratomarlasdecisionessobrelos
temasqueilumina.

Conrelacinalospuntosanterioresreferidosalascaractersticasligadasalautilidadde
unaevaluacin5,consideraqueelenfoqueestndar,esdecir,unenfoquergidoyuniver
salapropiadoparatodaslasevaluaciones,hasido(msbiendeberadecirsequedebeser)
reemplazadoporlautilizacindediversastcnicasyfuentesparasatisfaceralavariedad
decuestionesrelacionadasconlagestin.

Abundandoenesostemas,indicademaneraespecficaquelasencuestaspormuestreo
representativo,tradicionalmenteconsideradaselmximoejemploderigorenlarecogida
deinformacin,debensersustituidasocompletadasportcnicasmenosrepresentativas,
demenorcosteymsrpidas;subrayandoespecficamentelautilizacinde:

I.Documentacinadministrativa.Medianteunsimpleperocuidadosodiseoesta
documentacinpuedeserusadaparaapreciarlosprogresosycostesdelproyecto;
ascomo,tambinpuedeutilizarse,enelcasodeproyectosquesuministranservi
cios,pararecogerinformacinbsicaysocioeconmicasobrelosusuarios.
II.Encuestasconpequeasmuestras.Muestrasdemenosde100sujetos,msbara
tas,puedenproporcionarinformacinsobreelaccesoaserviciosysuaceptacin.
III.Indicadoresindirectos.Suficienteinformacinpuedereunirsemediantelautiliza
cindeestetipodeindicadoresconuncostemenor.

4.Lasexcepcionesaestareglasonlosproyectospiloto;denominndoseasaqullosqueserealizanconelpropsitoprincipaldeeva
luarlos.
5. BINNENDIJK,A.L.(1989).Donoragencyexperiencewiththemonitoringandevaluationofdevelopmentprojects.EvaluationReview,
13(3).pp.216y217.

16 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

IV.Informacinprocedentedelestudioenprofundidaddelaspersonasbeneficiarias.
Laexperienciaextradadelosproyectosmuestrademanerareiteradaquesusfra
casossondebidosconfrecuenciaalanocomprensindelaspercepcionesdelas
personasbeneficiarias.Parasuperarestasincomprensioneslautilizacindelaobser
vacinparticipante,informadoresclaves,reunionescomunales...sonprocedimien
tosbaratosyqueproducenunarpidaretroalimentacin.

1.2. tica, Poltica y Calidad en Evaluacin

Enlosltimosaosselehaprestadomuchaatencinalascuestionesticasrelacionadas
conlaevaluacin.Estapreocupacin,comoeslgico,hasidoparalelaalreconocimiento
delcarcterpolticodelaevaluaciny,porlotanto,alpoderquestapuedeteneryala
necesidaddequeelequipoevaluadorinteracteenelcontextoenelquedebeintervenir.
Muchosdelosmsrecientesmanualesenevaluacindeprogramasypolticascontienen
uncaptuloespecficoencuestionesticas6.

Otroindicadordeestapreocupacinticaeslaexistenciadecdigosdeontolgicos,elabora
dosporlasasociacionesprofesionales,queenalgunoscasos,tieneneseobjetivoimplcitoinclu
soenelttuloqueleshandadoOrientacionesparaunaactuacintica,enelcasodelasaso
ciacionescanadienseyaustralasitica.Comoyasehasealadoanteriormente,es,alavez,un
indicadoryunelementogeneradordeunamayorconsolidacininstitucionalyprofesionalde
unadisciplina.Profesionesfuertementeconsolidadasdesdehacetiempo(comosonlamedi
cina,laabogacaolaarquitectura)omsrecientemente(psicologa)handesarrolladoestetipo
decdigos.Ademsdefomentarunsentidodepertenenciaeidentificacinentrelos/asprofe
sionales,acotanyregulanlaprcticaprofesionalentresusrespectivoscampos.

Unaspectodeenormetrascendenciayespecialmentecaractersticodeloscdigosdeon
tolgicosesquepermitenlaintroduccinydesarrollodelostemasticos,queresultancla
veenlaprcticadelaevaluacin.

6.PATTON,Q.M.(1997)UtilizationfocusedEvaluation:Thenewcenturytext.Londres.
WEISS,C.H.(1998)DonorAgencyexperiencewiththemonitoringandevaluationofdevelopmentprojetsEvaluationReview13(3).
NORAD.AGENCIANORUEGAECOOPERACINALDESARROLLO(1997)Elenfoquedelmarcolgico:Manualparalaplanificacin
deproyectosorientadaporobjetivos,InstitutoUniversitariodeDesarrolloyCooperacinFundacinCentroEspaoldeEstudiosde
AmricaLatina,Madrid.

GUA DEEVALUACINDEPROGRAMASYPROYECTOSSOCIALES 17
1 CONSIDERACIONES BSICAS DE LA EVALUACIN

Ensumanualdeevaluacin,CarolWeiss7,incluyeuncaptulodedicadoacuestionesti
cas,Evaluarconintegridadysealaseisideasfundamentalessobrecmosedeberea
lizarunaevaluacinticaenunasociedaddemocrtica.Sonlassiguientes:

Conocerelprogramaopolticaquesevaaevaluarysucontexto.
Mantenerlaaltacalidadtcnicaylarelevanciadelestudiodeevaluacin:lacalidaden
investigacinsedefineentrminosmetodolgicos.Enevaluacin,adems,sedebe
asegurarqueelestudioesrelevanteparalasituacinyelcontextoconcreto.
Laseleccionesdequienevaladebentenerencuenta:eltipodeinformacinquequie
reelcliente,losdeseosypuntosdevistadeotrosagentescrticos,lanaturalezadelas
premisasdelprograma,lasposibilidadesdexitodelaevaluacinylasoportunidades
dequeseincorporenlosresultadosalconocimientoprofesionalyalaopininpblica.
Tambintienequesersensiblealoscambiosqueseproduzcanenelcontextoalolar
godelprocesodeevaluacin.
Considerarlaposibilidaddeusodesdeelprincipio:lasconclusionesdebenserescu
chadas,respetadasyaceptadas,yaquesernlabaseparalaaccin.
Comportarsedeformaticaalolargodelestudio.Aveces,lasobligacionesticaspue
denllegarasercontradictoriasoentrarenconflicto;hayqueprocurar,sobretodo,no
distorsionarynodaarsensibilidades.
Sobrevivirycosecharrecompensas:Conestamxima,Weiss8 pretendedemostrar
que,apesardetodaslasdemandasqueserequierendelevaluador/a,laevaluacin
merecelapenayaquepretendemejorarlaformadeabordarproblemaspblicos;es
untrabajoquegeneracomprensinymayorcalidaddevida.

Patton9 vinculalascuestionesticasalanaturalezapolticadelaevaluacinyasupoder.
Esteautorplanteacuatromximaspolticasquedebenseguirlosequiposdeevaluacin,
considerandodeformaprioritariasuutilizacin:

Notodalainformacinestil;
Notodalagenteesusuariadeinformacin;
Esmsprobablequelainformacindirigidaalusoalcanceelobjetivo;
Slolainformacincrebleespoderosaenltimainstancia.

7.WEISS,C.H.(1998).op.cit.pp320yss.
8.WEISS,C.H.(1998).op.cit.pp320yss.
9.PATTON,Q.M.(1997).op.cit.

18 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

Esevidentequeestascuatromximastienenclarasimplicacionesticas.

Finalmente,ycomoejemplodelaimportanciadelascuestionesticasenlaevaluacin
mencionamoselmanualparaevaluarproyectosdeayudaaldesarrolloelaboradoporla
AgenciaNoruegadeCooperacin10.EnelcaptulodedicadoaLaticadelaevaluacin
exponelosrequisitosticosyprofesionalesquedebecumplirelequipoevaluador:

Sensibilidadcultural:estarfamiliarizadosconlascaractersticasculturalesdelcolecti
voozonadeintervencin.
Anonimatoyconfidencialidad:sedeberespetarelderechodelos/asinformantes.
Responsabilidadenlasevaluaciones:elequipoevaluadornodeberealizarningunaafir
macinamenosquetodossusmiembroshayantenidolaoportunidaddeaprobarlao
manifestarsudesacuerdoconella.
Consideracinconlosinformantes:avisarcontiempoyhacerunusoeficientedesu
disponibilidad.
Integridadyomisiones:quienevalatienelaresponsabilidaddesacaralaluzcuestio
nesquenohubieransidoreflejadasenlostrminosdereferencia.
Evaluacindepersonas:laevaluacindeproyectosnoincluyenormalmentelaevalua
cindepersonas;entodocaso,lafuncindelaspersonasynoellasmismas.
Erroreseinfracciones:cuandosedescubranerroreshabrqueevitarcitarpersonas
concretasenelinforme.
Convalidarlainformacinconparticipantesypersonasoentidadesimplicadas.
Compartirlosresultados:Sepodrnhacersesionesinformativasyresmenesdecarc
ternooficial,manteniendoladiscrecinrespectoaloscontenidosfinales.

2. TIPOS DE EVALUACIN

Laaccindeevaluarnosiempretienelasmismascaractersticas.Podemosencontrardis
tintasclasesdeevaluacionesquedefinenunaampliatipologacuyosperfilessenutrende
diversasdisciplinas,bsicamentedelmbitoeconmicoysocial,quehanaportadosupun
todevistaalosprocedimientosdegestindelosproyectos.

10.NORAD.AGENCIANORUEGAECOOPERACINALDESARROLLO(1997)op.cit.pp12y13.

GUA DE EVALUACIN DE PROGRAMAS Y PROYECTOSSOCIALES 19


1 CONSIDERACIONES BSICAS DE LA EVALUACIN

Enlaaccinsocialsehanvenidoconstruyendodiversastipologasdeevaluacinqueatien
denalosmomentosenlosquesellevaacabo;asunaturalezayalascaractersticasde
aquelloquesepersigueanalizar;alosactoressocialesquelasrealizanyalosprocedimien
tosprioritariosqueseutilizan.

Laclasificacinqueacontinuacinsepresentanoagotalasposibilidadesdemanejarotro
tipodecriterios;porelcontrario,elquehacerinstitucionalespecficoenestecampopuede
complementaryrevisarlasdefinicionesqueseincluyen.Noobstante,pareceoportuno
ordenaresquemticamenteeluniversodelaevaluacin,enelentendidoquenoexisten
definicionespurassinoquetodasellastiendenaentremezclarseconfrecuencia.Encual
quiercaso,resultaconvenienteconocerlasprincipalescaractersticasdelostiposms
comunesdeevaluacin,teniendoencuentaqueelprocesodedefinicindelmodelode
evaluacinmsadecuadoparacadaorganizacinconstituyeunprocesooriginalqueno
puedesermecnicamentereplicado

2.1. Por su Ubicacin Temporal

Delavisintradicionalqueconsiderabaalaevaluacincomounafasefinalderendicin
decuentas,hemospasadoaunaconcepcinmscomplejaquetiendeavisualizarlospro
yectosdeaccinsocialcomoprocesosdeevaluacincontinua.

Atendiendoalatemporalidaddelasevaluacionespueden,portanto,distinguirsecuatro
grandesmomentosevaluativos:antesdecomenzarlaejecucin,durantelaejecucin,en
elmomentodeconclusindelostrabajosotranscurridounperiododespusdelaejecu
cin,quedanlugaraotrostantostiposdeevaluaciones.Brevementevanasealarsesus
principalescaractersticas.

2.1.1.EvaluacinPrevia

Laevaluacinpreviaesllamadatambinevaluacinexante,apriori,apreciacin,valora
cinpreviaoestudiodeviabilidad.Tieneporfinalidadesencialladeproporcionarinforma
cinsignificativaparatomarlacorrespondientedecisinentornoasielproyectodebeono
ejecutarse;obienculeselproyectomsadecuadoparaelapoyoyfinanciacin(elegir
racionalmenteentreproyectosalternativos);obienqumodificacionesdebenintroducirse
endeterminadaformulacinantesdesuejecucin.

20 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

Laevaluacinpreviatienedistintasmodalidadesderealizacin.Confrecuenciaconsisteen
unmsomenossistemticotrabajodegabinete,atravsdelcualunequipodeanalistas
valoralacalidadyaplicabilidaddeldocumentodelproyecto,construyendoparaellolistasde
comprobacinadhocquepermitirnevaluarlaconsistenciadesuformulacinysuposi
bleviabilidad.Siseconsideraqueeldocumentonorenelosmnimosexigiblesdecalidad
sepuedesolicitarinformacinadicionalo,msdrsticamente,serecomendarsurechazo.

2.1.2.EvaluacinSimultnea

Laevaluacinsimultneaestambindenominadaintermedia,concurrente,media,formativa,
concomitanteuongoing. Tieneporfinalidadextraerinformacin,reflexionesyconclusiones
sobrelamarchaydesempeodelproyecto.Setratadeexaminarconjuiciocrticolavalidezcon
tinuadadelashiptesisenquesefundamentaronlasproyeccionesrealizadaseneldiseo.

Laevaluacinsimultneaofreceapreciacionessobrelacontinuidaddelproyectoconbase
enlosresultadosdelmismo.Siladecisinescontinuar,habrdevalorarsesiprocedeman
tenerlaformulacinoriginalodebenintroducirsemodificacionesparamejorarlacalidad
delaintervencin.

Estetipodeevaluacindeberealizarsesobrelaaccinsocial,aplicandoparaellolosproce
dimientostcnicosmsadecuadosalascaractersticasdelproyecto.Siemprequeseaposible,
esasevaluacionesdebenhacersecontandoconlamsampliaparticipacindelosdistintos
agentesimplicadosenlaintervencinymuyespecialmenteconlapoblacinbeneficiaria.

Laevaluacinsimultneatenderaexaminarlosprogresosyproblemasquesedetectan
durantelaejecucin,permitiendoasquelaspersonasbeneficiariasincrementensuscapa
cidadesyreduzcansuvulnerabilidadyquelaorganizacinqueoperasobreelproyectode
accinsocialpuedarectificarsuspuntosdbilesyconsolidarlosfuertes.

2.1.3.EvaluacinFinal

Estetipodeevaluacinestambindenominadofinalizacinoevaluacinafindeproyec
to,sumativaodecierre.Tieneporfinalidadvalorareldesempeoglobaldeunproyecto
cuyaejecucinhafinalizadoyextraerlascorrespondientesenseanzas.Lametodologade

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 21


1 CONSIDERACIONES BSICAS DE LA EVALUACIN

trabajoapuntaraanalizarloscomponentesclsicosdelaevaluacin(eficacia,eficien
cia,pertinencia,impactos,viabilidad,replicabilidad)ascomoaquellosefectosnoprevis
tosyqueenelcursodelprocesodeejecucinsehandesencadenado.

Estetipodeevaluacin,portanto,estudiarelfuncionamientodelproyectoyemitiruninfor
mefinalcuyoscontenidospermitirnconocerlacalidaddelaintervencinefectuadaas
comomejorarlaplanificacindefuturosproyectossimilaresoconcomponentesparecidos.
Enestesentido,laevaluacindeunproyectofinalizadodebecontribuirareforzarlatomade
decisionesutilizandoloscorrespondientesaprendizajesenexperienciasposteriores.

Laevaluacinfinal,comosehasealadoconanterioridad,apareceenalgunosmanuales
denominadaevaluacinsumativa,atendiendoasucarcterterminalendondepresumible
menteserecogenlasconclusionesdetodoelprocesodeintervencin.

2.1.4.EvaluacinPosterior

Muyligadaalaanterior,encuantoasunaturalezayprocedimientos,estetipodeevalua
cinserealizauntiempodespusdehaberconcluidolaejecucindelproyectoytratade
estudiarenprofundidadsusrepercusionesenelcontextodelaintervencin.Estaevalua
cinesllamadatambin aposteriori,expost odeimpacto.

Lavaloracindelosefectosdeungrannmerodeproyectos,elcumplimientoefectivode
susobjetivos,ascomolacapacidadlocalparamantenerlosbeneficioseneltiempo,slo
podrseranalizadaconrigorenunmomentoposteriorasufinalizacin.Elloresultaan
msciertoenelcasodelosproyectosdecarctersocialyenaquellosquecomportanun
elevadogradodetransferenciadeconocimientos.

As,laevaluacinposteriortienecomofinalidadestimarlaverdaderadimensindelasinter
venciones,conunaatencinparticularasusimpactosyasusnivelesdesostenibilidad.Tie
ne,asimismo,unaespecialimportanciaalahoradeextraerconclusionesquerefuercenlos
aprendizajesypermitan,enelfuturo,fundamentardemejormodolatomadedecisiones.

Comoresultaobvio,tantolaevaluacinfinalcomolaposteriorconstituyenmodalidadesa
realizarsesobrelaaccinsocial.

22 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

2.2. Segn su objeto

Elalcancedecadaevaluacintambinpermiteestablecerunaclasificacinqueacotael
objetodeestudioylascaractersticasespecficasdesumbitodeaplicacin.Entalsenti
doseincluyenalgunostiposque,unavezms,puedenpresentarseeneltrabajorealde
formacombinada.

2.2.1.PorelPropsito

Segnsupropsito sepuedehablardeevaluacinderesultados,deevaluacindeobjeti
vosydeevaluacindeprocesos.Losdosprimerostipossondifcilmentedistinguiblesentre
syaparecenhabitualmentecombinados,perovamosaintentarestableceralgunasmati
zacionesquepermitandiferenciarlos.

Evaluarenbasearesultadossignificaatenderalosproductosconcretosqueelproyecto
entrega;suponevalorar,portanto,laadecuacinycalidaddelosbienesyserviciosquegene
raelproyecto.Esteanlisisimplicauncorrectodiseoendondelosresultadoshayansido
definidosdemodooperacionalatravsdeindicadores,paraevaluarlaeficacia,yendonde
losrecursostenganunaclaraexpresinenelpresupuesto,paraevaluarlaeficiencia.

Evaluarenbaseaobjetivos,porsuparte,suponevalorarlashiptesisdelaaccinsocial
queorientanlaintervencin.Esdecir,sieldesempeodelproyectohacontribuidoefecti
vamenteaalcanzar,yenqugrado,losestadospredeterminadosquemejoranlasituacin
delaspersonasbeneficiarias;silalgicainternadelproyecto(recursos,actividades,resul
tados,objetivos)sehanverificadoenlaprctica.

Esteanlisisimplicauncorrectodiseoendondelosobjetivoshayansidodefinidosdemodo
operacionalatravsdeindicadores,paraevaluarlaeficacia,yendondeotroscomponentesdel
proyectohayansidoclaramentedescritos,paraevaluarlapertinencia,impactosyviabilidad.

Unaevaluacin,efectuadaencualquiermomentodelavidadeunproyecto,debemirar
permanentementehaciadentroyhaciafueradeesaintervencin,puesesprecisamen
teesacombinacindelosaspectosinternosyexternoslaquepuedepermitirnosestable
cerundiagnsticofiablesobreloslogrosyefectosalcanzados.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 23


1 CONSIDERACIONES BSICAS DE LA EVALUACIN

Unavaloracinexclusivadelosresultados,delosobjetivosydesusrespectivosindicado
respuedellevarnosaolvidarelcontextoenelqueseefectaelproyectoylosefectosde
stesobrelarealidad.Porcontra,unnfasisexcesivoenlaapreciacindelosprocesos
desencadenadosporelproyectoencuestin,apartedesudificultadintrnseca,puedecon
ducirnosadespreciarlalgicainternadelaintervencinytodalafasedeejecucin,loque,
enelfondo,suponeunrechazoalprocesogeneraldeplanificacin.

2.2.2.PorsuNaturaleza,suEscalaysusNiveles

Segnsunaturaleza,laevaluacinpuedeserdescriptiva,atravsdeldesarrollonarrativo
declasificacionesytaxonomasquedetallenfenmenos,procesosysituacionesoexplica
tiva,mediantelaconstruccindemodeloscausalesquepermitanextraerconclusionesy
proyectarpredicciones(recomendacionesysugerencias).

Segnlaescalaycaractersticasdelosproyectos,puedehablarsedeproyectosgrandes,
enlosqueresultamsadecuadaunaevaluacinbasadaenlautilizacindetcnicascuan
titativasasociadasalascienciasnaturales,ydeproyectospequeos, cuyosformatosse
adaptanmejoraprocedimientoscualitativosydebajocoste.Evidentementeladistincin
establecidaenfuncindelamagnituddelosproyectosesespecficaparacadainstitucin,
puesnopuedeestablecerseunafronteraabsolutaentreunosyotros.Encualquiercaso
esaclasificacinresultapertinenteparaasignarprocedimientosdegestin,ydentrodeella,
deevaluacin,diferenciadosparacadacaso.Noparecerealistapensar,porejemplo,que
esposibleevaluardelamismamaneraaunamodestaintervencinconplazostemporales
muylimitadosqueaunambiciosoprogramaqueseprolongadurantebastantesaos.

Otradiferenciacinesquemticaquehabitualmentesemanejaparaasignardistintospro
cedimientosdeevaluacineslaquepuedeestablecerseentreproyectosdirectamentepro
ductivos,queaconsejanelusodeinstrumentosevaluatoriosprximosalascienciaseco
nmicas(anlisiscostebeneficioyotros)paraconoceryevaluarflujosfinancieros,ypro
yectosnodirectamenteproductivos,proyectossociales,endondesetiendealaaplica
cincombinadadetcnicassimplificadas,tantocualitativascomocuantitativas.

Finalmenteysegnlosnivelesdelaplanificacin,laevaluacinpuedesernormativa,cuan
doafectaalasgrandesorientacionespolticasyprincipiosrectoresdecadainstitucin;

24 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

estratgica,asociadaalosplanesdedesarrolloqueconcretan,enprioridadesyalternati
vasdeintervencin,losejesnormativos;tctica,enfuncindelosprogramasqueestruc
turanaccionesconcretasparasatisfacerlasprioridadesestratgicas;yoperativa,abocada
alanlisisdelosproyectosespecficosenelmarcodedeterminadosprogramas.

Lasecuenciaanteriorconstituyeunitinerariometodolgicoadecuadoparadesarrollarpro
cesosdeevaluacinintegralesyarticulados,demodoquelaevaluacindeloselementos
decadanivelinformeyfundamentealnivelmsprximo.

2.3. Por su Quin la Hace

Unaterceratipologaimplicareconocerculeselagenteevaluador.Talcomosehasea
ladoenlosanterioresepgrafes,tambinestaclasificacinnoesmsqueunesquemade
anlisistodavezqueenlaprcticalascombinacionesquesepresentansonnumerosas.

Convencionalmente,sedistinguentrestiposdeevaluacionesenfuncindelsujetoquelas
realiza:externa,internaymixta,alasquehayqueaadirlasevaluacionesparticipativas
quehanadquiridoenlosltimostiemposunagranimportancia.

2.3.1.EvaluacinExterna

Setratadelasevaluacionesrealizadasporespecialistasajenosalagestin(yespecfica
mentealaejecucin)delproyecto.Tambinestaevaluacintiendeaasociarseconlaeva
luacinfinalodeimpactos.

Lasprincipalesventajasquehabitualmentesesealanenestamodalidaddeevaluacinde
losproyectossocialessonsupresumibleobjetividad,sumenorcomplacenciaysucarc
terindependiente.Deigualmodo,seconsideraquelosexpertosexternospuedenposeer
unamayorcapacidadtcnicaenelmanejodelosinstrumentosevaluatoriosyunconoci
mientomsampliodeotrasintervencionesdecaractersticasrelativamenteparecidasala
considerada.

Enmuchasocasiones,losresponsablesdelaejecucindelosproyectossealanquelasreco
mendacionesdelosequiposexternosdeevaluacinresultaninaplicablesparalasinstitucio

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 25


1 CONSIDERACIONES BSICAS DE LA EVALUACIN

nesypersonasimplicadasenlagestindirectadelasintervencionesyaque,sibienformal
mentesuspropuestaspuedenresultarirreprochables,estndictadasdesdeundesconoci
mientodelosmecanismosyprocesosconcretosqueseestnsiguiendoenlaprctica.

Igualmenteestaevaluacinescriticadaporelaltocostequeconlleva.

2.3.2.EvaluacinInterna

Laevaluacininternaesaquellarealizadaporlosresponsablesdelagestin(yejecucin)
delproyecto.Atalfin,lainstanciaejecutoraeslaencargadaderecolectaryanalizarlainfor
macin.Sueleasociarseconlaevaluacinsimultneay,comoyasedijo,suponeunasuer
tedecontinuidadconlafasedeseguimiento.

Loqueenlaevaluacinexternasuponanventajaseinconvenientes,enestecasoimplica
uncambiodesigno.As,laevaluacininternatiendeaconstituirunprocesodeanlisis
muchomsapegadoalarealidadyvinculadoalasdebilidadesyfortalezasdetectadasen
losdistintoscolectivossociales,sibiensecorreelriesgodeunaexcesivaautoafirmacin
positivaquebloqueelaidentificacindelosverdaderosobstculosyproblemas.Tambin
sueleargumentarselaausenciadesuficientecapacidadinternaparalacorrectaaplicacin
delosinstrumentosdeevaluacin.Porelcontrario,losprocesosdeevaluacininternaresul
tanmuchomsbaratos

Elproblemafundamentalenmuchasocasionesqueimpideabordardeformaconsecuen
teunprocesodeevaluacininternaesprecisamentelafaltadevoluntaddelasinstitucio
nesimplicadas.Puedeaqusealarsequepocasvecesestmsjustificadoelprincipioque
afirmaquesisequiere,sepuede.Paraevaluarunproyectosocialelrequisitoimprescin
dibleesquererhacerlo.Siexisteesavoluntad,larelativaausenciademediosodeconoci
mientosnoresultandificultadesinsuperables.

2.3.3. Evaluacin Mixta

Esunacombinacindelasdosanteriores.Setratadearticular,enbaseaunostrminosde
referenciacomunes,ambasperspectivas,optimizandolasventajasdecadaunadeellasy
minimizandoloseventualesinconvenientes.

26 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

Suaplicacinprctica,endeterminadoscasos,serealizasituandolaresponsabilidaddela
evaluacinsimultneaenlainstanciaejecutora(responsableasimismodelseguimiento)
paracompletarelprocesoconunaevaluacinfinalacargodeunequipoexternoquebasa
susapreciaciones,ademsdeensuspropiosanlisis,enlostrabajosdecarcterinterno.
Existen,noobstante,otrasposibilidadesalternativas.

2.3.4.EvaluacinParticipativa

Setrata,dehecho,deunamodalidaddeevaluacininternapero,enestecaso,larespon
sabilidaddelamismanorecaetanto(otanslo)enlainstanciaejecutorasinoquelaspro
piaspersonasbeneficiariasconstituyenelagenteprincipalenlarecogidadedatos,ensu
interpretacine,incluso,enlaproyeccinderecomendacionesparaelfuturo.

Laevaluacinparticipativasueleestarasociadaametodologasdeltipoinvestigacinaccin,
endondelosbeneficiosdelproyectonoestnconstituidossloporlaconsecucindesus
resultadosyporellogrodesusobjetivossino,tambinybsicamente,porloselementos
decontinuoaprendizajequesedesencadenanduranteelmismoprocesodeejecucin.Es
decir,separtedelabasedequeeldesarrollodelproyectoylaparticipacinactivadelas
personasbeneficiariasentodassusfases,constituyenperseunadelasprincipalesfina
lidadesdelaintervencin.

Porltimo,puedeafirmarse,quelaevaluacinparticipativa,auncuandoenocasionespue
daapoyarseenasesorastcnicasexternas,pretendereduciralmnimoladistanciaexis
tenteentreelevaluadorylaspersonasbeneficiarias.Elevaluadortiendeaserconcebido
enestetipodeenfoquesmscomounanimadorquecomounjuezysufuncinconsiste
esencialmenteendinamizar,facilitarlasdiscusionesyrecogersusresultados.

2.4. Por los Instrumentos

Parafinalizarconlastipologasdeevaluacinesoportunoincluirunaclasificacindecarc
termsinstrumentalqueafectaalosprocedimientosytcnicasconcretassusceptiblesde
serutilizadosencadaunadelasmodalidadesexpresadasenlosapartadosanteriores.Nue
vamentecabesealarqueestastcnicassepresentan,enlaprctica,habitualmenteaso
ciadasentres.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 27


1 CONSIDERACIONES BSICAS DE LA EVALUACIN

Deformainicialpuederealizarseunadistincinentreprocedimientoscualitativosycuantita
tivos.Sibienlacalidadylacantidadsuelenserdosdimensionesdeunamismasecuencia,
cadaprocedimientodeevaluacinseorienta,enmayoromenormedida,haciaunadeellas.

Estaorientacinseconcretasegneltipodedatosquecadainstrumentorecogeyproce
sadeformapreferente.Losdatoscualitativossederivannormalmentedeactitudes,per
cepciones,opiniones,perspectivas,comportamientos,creencias,etc.Sucarcteriterativo
lespermiteunarevisinyadecuacinconstanteenelcursodelarecogidadeinformacin.
Losdatoscuantitativosconsistenencifras,tasas,variables,etc.Laformadesuobtencin
tiendeaestarrgidamentepredeterminadadeantemanoysucapacidaddeserflexiblees
escasa.stosltimos,noobstante,suelenserpreferidosporsupresumiblecarcterde
mayorobjetividadyfiabilidad.

Losinstrumentos,comoresultalgico,constituyenunmedioparalaevaluacinynosufina
lidad.Enesamedidapuedesealarsequenoexisteunprocedimientotipoparacadapro
yectoyquesucombinacinadhocsueleresultarelcaminomsacertado.Paratomaresa
decisinhabrquevalorar,entreotrascosas,laaplicabilidaddelinstrumentoalascaracte
rsticasdelproyecto,lascapacidadesdequieneshandeaplicarlastcnicasseleccionadas,
sucalidadintrnseca,sufiabilidadyvalidez,sudisponibilidad,surelevanciaysucoste.

2.4.1.InstrumentosCuantitativos

Encuantoalosinstrumentosesencialmentecuantitativoshaydosfamiliasdetcnicasde
usohabitualalasquesumamoslaevaluacinporindicadores:

I.Laprimera,ligadaalmundodelascienciaseconmicas,pretendedeterminarcri
teriosderentabilidaddelosproyectosparaconocerlaconvenienciaderealizaruna
accinsocialo,ensucaso,examinarlarentabilidadeconmicadeunproyectofutu
ro,encursoofinalizado.ElmtodotipoeselAnlisisCosteBeneficio(ACB)que
comparalosflujosdebienesyserviciosproducidosporelproyectoconsusrespec
tivoscostes,expresandotodoelloenunidadesmonetarias.Unamodalidadderiva
da,entreotrasposibles,eselAnlisisCosteEfectividad(ACE)endondelaanterior
comparacinserealizasinqueambasdimensiones,costesybeneficios,estnexpre
sadasenlamismaunidad.

28 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

Estastcnicastiendenautilizarseenproyectosdirectamenteproductivosan
cuando,enocasiones,ciertosdogmatismosmetodolgicosintentanforzarlalgi
cadelascosasparasuaplicacinaproyectosendondelosefectosobeneficios
resultan difcilmente cuantificables en trminos monetarios, nios escolariza
dos,etc.
II.Lasegundafamiliadeprocedimientoscuantitativostienequeverconelmbitode
lasencuestasformales,querecogeninformacinprecisayestandarizadaatravsde
cuestionariosaplicadosadeterminadasmuestrasrepresentativas.Suutilidadesincon
testableparaeltratamientodedatoscuandosenecesitarealizargeneralizacioneso
bienverificarhiptesis.Sinembargo,sualtocosteygradodesofisticacinenlareco
gidadeinformacinaconsejansuusoslocuandolascondicionesdelproyectoas
loexijany/olopermitan.
Existenotrosmtodos,tradicionalesenestembito,talescomoelampliocampode
lasmedicionesdirectas,apropiadasparacomparardimensionesfsicas,quepueden
aplicarseasociadasaotrastcnicas.
III.Finalmente,laevaluacinporindicadoresconstituyelaestrategiaevaluatoriacentral
delenfoquedelmarcolgico(EML),endondedichosindicadoresdebensercuanti
ficablesyverificables,atravsdetcnicascuantitativascomolassealadasy/opro
cedimientoscualitativoscomolosquevienenacontinuacin.

2.4.2. Instrumentos Cualitativos

Encuantoalosinstrumentosmscualitativoslatipologaesdeunaextensinimposiblede
resumirenestemanualysusposiblescombinacionesenlaprcticaresultanprcticamen
teinacabables.Noobstante,seguidamenteseenuncianalgunosprocedimientosgenricos
deusocomnenlosproyectosdedesarrolloquetambinpuedenseragrupadosendos
tiposdefamilias:laobservacinylaentrevista.

A.Laobservacin esunatcnicatradicionalquenoexigedemasiadoscomentarios.Su
carcterdeapreciacinsubjetivaesevidente,ascomosuutilidadparainterpretardatos
recogidosporotrasvas.Sueledistinguirseentreobservacinparticipante,endondeel
evaluadorestpresenteduranteelprocesodeejecucin,yobservacindirecta,cuando
serealizaenmomentospuntualesdelavidadelproyecto.Ambastiendenasercomple
mentadasconotrastcnicasysoportes,listasdecomprobacin,cuestionarios,etc.,que

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 29


1 CONSIDERACIONES BSICAS DE LA EVALUACIN

reducenlosinevitablessesgosdelosobservadoresyrefuerzanlasposibilidadesdeesta
blecercomparaciones.
B.LaEntrevistaesuninstrumentobsicoentodaevaluacinypermite,adiferenciadela
encuestaformal,introducirunaltogradodeflexibilidadenlarecogidadeinformacine
incorporar,enelcursodelostrabajos,elementossobrevenidosquenoseprevieronini
cialmenteyqueenocasionesconstituyendatosesencialesparadeterminadasinterpre
taciones.Algunasmodalidadesson,porejemplo,laentrevistaainformantesclave,en
dondeungrupodeindividuosrelevantesyconunimportanteconocimientodelasitua
cinopinan,deformaseparada,sobretemasquenolesimplicandirectamente;una
varianteeslatcnicaDelphiqueutilizaunasecuenciadecuestionariosenviadosyreci
bidosporcorreo.
Laentrevistaagruposfocales aplicacolectivamente,deformaflexibleyconundesglo
setemtico,uncuestionariocomnaunpequeogrupohomogneo.Elforumcomuni
tarioesunareuninabiertaapersonasrepresentativasdelacomunidad,endondese
estableceunadiscusinordenadabasadaenunguindetrabajodesagregadoporcompo
nentes;estemecanismoresultamuytilcomomomentoltimodeunprocesodeeva
luacinendondesecontrastalainformacinrecabadaporotrasvasconlaopininde
losparticipantesenuntallerdeevaluacin.

30 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


BLOQUE1
BLOQUE2
Anlisis
Introduccin ala

GUA
Estratgico
PlanificacinEstratgica
2 ANLISIS ESTRATGICO

1. EL PROCESO DE LA EVALUACIN
Nuestrapropuestadeprocesodeevaluacin,yenlacualnosapoyaremosalolargodeeste
material,eselsiguiente:

Motivacinparaevaluar
Definicindeunidad,qu,quienesycuando
Necesidadesinformativas
Criteriosdevalor,preguntasrelevantes
Operacionalizarcriteriosaindicadores/diseometodolgico
Bsquedaydiseodefuentesdeverificacinprimariasysecundarias
Trabajodecampo
Recopilacinysistematizacindedatos
Anlisiseinterpretaciones
Juicios
Recomendaciones
Comunicacinderesultados

1.1. Laprogramacindelaevaluacinylostrminosdereferencia

Laprogramacindelaevaluacinincluyeelconjuntodetrabajospreviosalejerciciocon
cretodeevaluar.Setratadeestablecersuscontenidospreliminaresentrminosdequse
vaaevaluaryporqu;quinlovaahaceryparaqu;cmo,cundoydndeserealizar.
Resultaalgoequivalentealaformulacindelproyectopero,enestaocasin,lafinalidad
consisteendisearunprocesoconcretodeevaluacin.

ESQUEMADEPROGRAMACINDEUNAEVALUACIN
CONTENIDOS PASOS RESPONSABLE

Tomarladecisindeevaluar
Porquevaluar Organizacin
segncriteriosestablecidos

Preparacindelostrminos
Paraqu,quycmoevaluar Organizacin
dereferencia

Elaboracindelprograma Equipoevaluador,apartir
Quin,cundoydndeevaluar
oproyectodetrabajo delostrminosdereferencia
Fuente:elaboracinpropia

32 PLANESTRATGICODELTERCERSECTORDEACCINSOCIAL
ANLISIS ESTRATGICO 2

Porquseevala,correspondealmomentoinicialdeestaprimerafaseyconstituyeel
punto de partida. Significa, en definitiva, tomar la decisin de evaluar. El por qu de
estadecisindebequedar suficientementeclaro y argumentadoenelsenodelains
titucinresponsabledelproyecto,entrelapoblacinbeneficiariaytambinparaelequi
poevaluador.

Enocasionesseevalaporqueexisteunaexigenciaadministrativadequeasseaporpar
tedelfinanciador.Desdeunpuntodevistaestrictamentetcnico,elmotivopuedeser,entre
otrosmuchos,ladeteccindealgunainsuficienciauobstculodurantelaejecucindelpro
yecto;laampliacindelaaccinsocialaotrasreasoaotroscomponentesadicionales;o
bien,simplemente,lanecesidaddeincrementarelconocimientosobreeldesempeoy
efectosdelaintervencin.

Losresultadosexplcitosdeestareflexinfacilitarnlaconcrecindelosmomentosposte
riores.

ElpasosiguienteconsisteenelaborarlosTrminosdeReferencia (TdR)delaevaluacin,
quesonelsoportedocumentalapartirdelcualseconstruirnloscimientosdelaevalua
cin.LosTrminosdeReferenciadebenincluirlaspreguntasalasquelaevaluacindebe
darrespuesta,temticamuyrelacionadoconloscomponentesocriteriosdeevaluacin,
queserntratadosmsadelante.Engeneral,sernelaboradosporlainstitucinqueencar
galaevaluacin,yaqueesaellaaquienlecorrespondeestablecerlosperfilesdelproce
soysusreassustantivas.

Enunsegundomomento,ytrasseranalizadosporelequipoevaluador,seconfeccionar
unProgramaoProyectodeTrabajoconlasaportacionestcnicasqueprocedan,comple
tandoydescribiendoalgunoscaptulostalescomoelmbitodeaplicacinylosprocedi
mientosmetodolgicos,profundizandoenellosyconcretndolosenproblemasypropues
tasespecficas.

Laseleccindecuestionesaexponerenlostrminosdereferenciadelaevaluacinesde
extremaimportanciaparalosresultadosdeevaluacin.Dehecho,algunasevaluacionesno
resultanexitosasporquelosTdRsehancentradoendetalles,sinningunaespecificacin
deconjuntoenrelacinalpropsitoconelqueserealizalaevaluacin.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 33


2 ANLISIS ESTRATGICO

AlahoradeformularlosTdResimportante,portanto,tomarcomopuntodepartidaelobje
tivodelaevaluacinyconcentrarseencuestionesypropuestaglobales,evitandounnivel
elevadodedetalle.Msbien,deberacorresponderalequipodeevaluacinelrealizaruna
formulacinmsdetallada,sujetaaloscomentariosylaaprobacindelcliente.

Esimportanteestablecerclaramentecualeselpropsitodelaevaluacinyquclasedeeva
luacinseprev;porejemplo,evaluacindeunafaseoevaluacinexpostdeunproyecto.

Esimportanteimplicaratodaslaspartesinteresadas,tantodelapartedonantecomorecep
tora,enlapreparacinylaaprobacinfinaldelosTdR.

Sepresentaacontinuacinunresumendelospuntosprincipalesquedeberanincluirse
enlosTrminosdeReferencia.

ELEMENTOSPRINCIPALESENLOSTERMINOSDEREFERENCIA

1.1.ANTECEDENTESDELPROYECTO
Contextoyrazndeserdelproyecto
Descripcindelproyecto:principaleselementosdelamatrizdelproyecto
1.2.OBJETIVODELAEVALUACIN
Razonesrelativasalasdecisionesformales
Razonesrelativasaldesempeodelproyecto
Usoquesedaralosresultados
1.3.MBITODEAPLICACINYMTODOS
mbitodeaplicacindelaevaluacin
Tipodeanlisis,mtodosautilizar,gradodedetalle
1.4.CUESTIONESATRATAR
Enqumedidasetratarntodasoseseleccionarnsloalgunascuestionesyreasdean
lisis(eficiencia,eficacia,impactos,pertinencia,viabilidad)
Gradodeespecializacin
1.5.EQUIPOEVALUADOR
Nmerodemiembrosdelequipoysusfunciones
Cualificacionesrequeridas(perfilprofesional,experiencia)
1.6.CALENDARIO
Fechasaproximadasyasignacindetiempos(antes,duranteydespusdeltrabajodecampo)
1.7.CONSULTASSOBREELTERRENO
Autoridades,institucionesygruposalosqueconsultarduranteyalfinaldeltrabajodecampo
1.8.ELABORACINDEINFORMES
Plazospararealizarlaversinpreliminaryelinformefinal
Especificacindelmodelotcnicoparaelinformefinal

Fuente:elaboracinpropia

34 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

1.2. Momentos en la ejecucin de la Evaluacin

Estasegundafasesuponelapuestaenmarchaefectivadelostrabajosderecogida,trata
mientoyanlisisdelainformacin.Eslapartevisibledelaevaluacin,dondeelequipoa
cargodelamismadesarrollaloscontenidosdelosTrminosdeReferencia.

Sepuedenestablecer,agrandesrasgos,tresmomentosenlaejecucindelaevaluacin:
antes,duranteydespusdeltrabajodecampo.

1.2.1. Antes: el Estudio

Enelprimerodeellos,antes,elequipoevaluadortienecomotareaprincipalrealizarlos
preparativosnecesariosparaeldesarrollodelostrabajossobrelaaccinsocialemprendi
da.Estafasesedenominahabitualmenteestudiodegabinete.As,unitinerariotipocon
templara,larevisinyactualizacindelProgramaoProyectodeTrabajoporpartedelequi
poevaluadorteniendoencuentaloscambiosquehayanpodidoproducirsedesdesuapro
bacin,ascomoenfuncindereajustesmetodolgicosqueseestimenoportunos.

Deformaparalela,elequipoevaluadordeberprocederalarevisindeladocumentacincomple
mentarianecesariay,siprocede,arealizaralgunosestudiospreviosquefacilitenunavisin
msglobalycomprensivadelascaractersticasdelproyectoydelcontextodondesesita,as
comolaconstruccindeindicadoresquehaganoperativosloscomponentesdelaevaluacin.

1.2.2. Durante: Trabajo de Campo

Trasloanteriorseestarencondicionesdeabordarelsegundomomentodelaejecucin
delaevaluacin,durantelacualsepondrenmarchaelprocesoderecopilacindeinfor
macinsobrelaaccinsocialotrabajodecampo.Lasmodalidadesparaellosonmltiples
y,unavezms,stasdependernestrechamentedelanaturalezadecadaintervencin,si
bienlasecuenciasuelecomenzarconelestablecimientodecontactosyconversaciones
preliminares,tantoconlasautoridadeslocalescomoconlosprincipalesrepresentantesde
losgruposdestinatarios,paraintercambiarpuntosdevistaydesbloquearposiblesdificul
tadesyobstculosenlarealizacindelostrabajos.Seguidamente,seprocederalareco
pilacindedatosatravsdelastcnicasoportunas.

Lacalidaddeestaetapaescrucialparaelconjuntodelproceso,yaqueesenellaendon
deseextraelainformacinquepermitenencadacasounamejorcomprensindelarea
lidad.Enestaetapaserealizatambinunprimeranlisisdelainformacin.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 35


2 ANLISIS ESTRATGICO

1.2.3.Despus:elAnlisisdelaInformacinylaRedaccindelInformefinal

Finalizadoeltrabajodecampo,elequipoevaluadorabordaelltimomomentodelaejecu
cin(despus)quetienecomofinalidadelprocesamiento,contrasteypresentacindelos
datosrecogidos.Paraelloseproceder,inicialmente,aorganizar,estructuraryanalizarla
informacinobtenidaenfuncindelacualseprepararuninformepreliminarquedebe
contenerloselementoscentralesdelaevaluacin.Seradeseablequeesteprimerdocu
mentoborradorsercontrastadoyanalizadoconlainstitucinejecutoray,sobretodo,con
elcolectivodelaspersonasbeneficiariasyotrosactoressociales.Comoconclusindetodo
elproceso,elequipoevaluadorprocederaconfeccionaryredactarelinformefinal.

Lafasedeutilizacindelaevaluacinserresponsabilidadtantodelaorganizacinque
desarrollaelproyectodeaccinsocialcomodelequipodeevaluacin.Estetemaesdefun
damentalimportanciaparagarantizarlautilidaddelejercicio.

ESQUEMADEEJECUCINYUTILIZACINDEUNAEVALUACIN
MOMENTOS CONTENIDOS

RevisinyactualizacindelProgramaoProyecto
Antesdeltrabajodecampo detrabajo
(estudiodegabinete) Revisindedocumentos
Estudiosprevios

Contactosyconversacionespreliminares
Trabajodecampo Recopilacindelainformacin
Primeranlisisdelainformacin

Anlisisdelainformacinobtenida
Preparacindelinformepreliminar
Despusdeltrabajodecampo(anlisis
Discusindeconclusiones
delosdatosypreparacindelinforme)
Informefinal
Retroalimentacindeenseanzasylecciones
Fuente:elaboracinpropia

1.2.4.RecomendacionesPrcticas

Presentamosaquunaseriedeindicacionesdecarctergeneralparallevaradelanteun
procesodeevaluacin,quehabrqueadaptaracadacasoindividual,dependiendodel
proyectoencuestin,sualcance,elmomentoenelquesehagalaevaluacin.

36 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

Lasentidadesproveedorasdefondosestablecenrequisitosestrictosenrelacinconlacali
daddelosinformesdeevaluacin;prepararunmandatodetalladoyprecisorequiereun
conocimientoprofundodeloquehadeserevaluado.Deigualforma,unacuidadaplanifi
cacinyejecucindeltrabajodeevaluacinesesencialparalograrunbuenresultado.

Acontinuacinsepresentaunesquemadelprocesodeevaluacinydelasprincipaleseta
pasqueconlleva:

ESQUEMADELPROCESODEEVALUACIN
Seleccionarproyectosotemasaevaluar
DECISINDEEVALUAR: Darrazonesparaevaluar
Alcanzarunacuerdoentrefinanciadoryorganizacinreceptora

Determinarelobjetivodelaevaluacin
PREPARARLOS Decidirelmbitodeaplicacinyelmomentoparallevarlaacabo
TRMINOSDE Prepararunborradordelostrminosdereferencia
REFERENCIA: Solicitarcomentariossobreelborrador
Prepararlaversinfinaldelostrminosdereferenciadelaevaluacin

SELECCIONAR Decidirsobrelacomposicinycualificacionesdelequipo
YCONTRATARAL Identificarcandidatosapropiados
EQUIPOEVALUADOR: Negociarcontratosconlosmiembrosdelequipo

Prepararelprogramaoproyectodetrabajo
TRABAJOPREPARATORIO Revisarladocumentacinnecesaria
YDEPLANIFICACIN: Iniciarestudiosprevios
Prepararelprogramaoproyectodetrabajodelaevaluacin

Prepararelviajeyeltrabajodecampo
Recogerdatos
LLEVARACABO
Estructurarlosdatosylainformacinobtenida
LAEVALUACIN:
Analizarlosdatos
Presentarconclusionespreliminares

Coordinarlosinformesdelosmiembrosdelequipo
PREPARARELINFORME:
Redactaryeditarlaversinpreliminardelinforme

Distribuirelinformepreliminarpararecibircomentarios
Incorporarloscomentariosrecibidos
Prepararlaversinfinal
Formularlaexperienciaaprendidaparalostomadoresdedecisiones
FASEFINAL:
Seguirlasrecomendaciones
Publicarydistribuirelinforme
Incorporarunresumendelaevaluacinenlossistemasdememo
ria,archivosdelaentidad
Fuente:elaboracinpropia

GUA DEEVALUACINDEPROGRAMASYPROYECTOSSOCIALES 37
2 ANLISIS ESTRATGICO

1.3. Agentes en Evaluacin. Los Stakeholders

Todocontextoevaluativoimplicalapresenciadediferentespersonas,colectivosyentida
desque,deunaformauotra,participaneneldesarrollodelproyecto,programaopoltica
y,portanto,tienenalgodequedecirenelprocesoevaluativodelmismo.Estaspersonas
implicadasenelprogramaopolticaaevaluarrecibenelnombredestakeholder,trmi
nodedifciltraduccinalcastellanoyquevendraaseralgoascomoelquetienealgo
quedecirotienealgnintersen.

SegnelJointCommittee11 ladefinicindestakeholderenevaluacinseralosindividuos
ogruposquepuedenestarimplicadosenoafectadosporunaevaluacinyparaGreene12
seranlosgruposdepersonasquepuedenverseafectadosporelprogramayaquelloscuyas
decisionespuedenafectarelfuturodelmismo.

Desdeelpuntodevistadelequipoevaluador,todosellossonpotencialesinformantescla
veenlamedidaquenospuedenfacilitarinformacinsignificativaparanuestrotrabajo.A
suvez,sirecordamoslafuncindeaprendizajeyretroalimentacinquedebetenerlaeva
luacin,todosellostienenderechoarecibirlainformacinquepuedaserlesdeutilidaden
relacinaldesarrollodelproyecto/programa/polticaqueestamosevaluando.

Portanto,laspersonasoentidadesquepuedenteneralgnintersenlaevaluacin,como
afectadasy/oimplicadas,alasquevadirigidalaevaluacinyquepuedenserusuariasde
lamismaseranlosagentescrticosdelaevaluacin(stakeholders).

1.3.1. Quines son o pueden ser estos agentes crticos?

Sepuedenestablecercuatrograndescategoras:

Entidadespatrocinadoras,formuladoresdepolticasyresponsablespolticos.
Equiposdirectivosdelosprogramas,gestorespblicosypersonaltcnicoasignadoal
desarrollo
delprograma/proyectoevaluado.
Personasdestinatarias,directaeindirectamente,delaactuacindelproyecto;usuarias
potencialesdelservicio,programaopolticaevaluada;poblacinocomunidadengeneral.

11.THEJOINTCOMMITTEEONSTANDARDSFOREDUCATIONALEVALUATION(1994).TheProgramEvaluationStandards.Thousand
Oaks,California
12.GREENE,M.(1988).Thedialecticoffreedom.NuevaYork.

38 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

Otros:equipostcnicosy/oresponsablespolticosdeprogramassimilares,expertos/as
delsectoropolticaqueseevala,profesionalesdelaaccinsocialengeneral.

GubayLincoln13 vanmsallyhacenunadefinicinampliadelosposiblesagentescrticos
ostakeholdersdeunprograma:distinguenentreagentes,laspersonasbeneficiariasyvc
timasdelosprogramasopolticasevaluadas.Enlatablasiguienteseexponesulistado.

LISTADODEPOSIBLESAGENTESCRTICOS(STAKEHOLDERS)

1.agentes,sonaquellaspersonasinvolucradasenlaproduccin,usoypuestaenprcticadel
programaopoltica aevaluar(elevaluando).
incluyen:
Quienesformulanlaevaluacin.
Quienesfinancian(niveleslocal,regionalynacional).
Quienesidentificanlanecesidadqueelevaluandovaaintentarmitigaroremover(asesores/as
denecesidadeslocales).
Quienestomanlasdecisionesydecidenutilizarodesarrollarlaevaluacindeformalocal.
Proveedoresdemateriales,instrumentaleinstalacionesnecesarias
Elclientedelaevaluacin(quiencontrata).
Elpersonaltcnicoadscritoalaejecucindelaevaluacin.
Otroscolectivostcnicosyprofesionales.

2.poblacinbeneficiaria,dealgunaforma,delusodelevaluando.
incluyen:
Beneficiariasdirectasogrupodiana:personasparalasquefuediseadoelevaluando.
Beneficiariasindirectas:personascuyarelacinconlaspersonasbeneficiariasdirectasseve
mediatizada,facilitada,fomentadaopositivamenteinfluida.
Las personas que ganan algo por el hecho de que el evaluando est en uso, como por
ejemplo,laseditorialesdematerialesotextos,lasempresasproveedorasdeservicios,etc.

3.vctimas,personasogruposafectadosnegativamenteporelusodelevaluando(yquepueden
incluir,debidoalosfallosdelevaluando,agrupossupuestamentebeneficiarios).
incluyen:
Losgrupossistemticamenteexcluidosdelusodelevaluando,comoporejemplo,losjvenes
normalesexcluidosdeprogramasparasuperdotados.
Colectivosquesufrenefectoscolateralesnegativos,comoporejemplo,estudiantesysusfami
lias,quesontrasladadosauncolegiodistantedeformaquealumnadoconnecesidadesespe
cialesocupasuspuestosenelcolegiocercano.
Laspersonasquesevenendesventajapoltica,conprdidasdepoder,influenciaoprestigio
porelusodelevaluando.
Laspersonasoentidadesquesufrencostesdeoportunidad:personasquehubieranpreferido
dedicaresedineroaotrascuestiones,empresasdeserviciosrivales

Fuente:guba,e.ylincoln,y.(1989).

13.GUBA,E.YLINCOLN,Y.(1989).FourthGenerationEvaluation.BeverlyHills,California

GUA DEEVALUACINDEPROGRAMASYPROYECTOSSOCIALES 39
2 ANLISIS ESTRATGICO

Garantizarunaampliaypluralparticipacindeagentescrticosenelprocesoevaluadornos
aseguraunamayorriquezadelainformacinrecabaday,portanto,unamayorlegitimidad
delasconclusiones.

Deigualforma,laparticipacindediferentesactoresenlaevaluacinfavorecesuimplica
ciny,portanto,unposteriorusodelamismaportodosellos.

1.3.2.Laimportanciade la participacin

Laincorporacindelaparticipacincomocriteriodecalidadenlaevaluacindeproyec
tosformapartedeunprocesoqueseiniciaenlosaossetentaconelmodelodeinterven
cinsocialdenominadodesarrolloparticipativoyconelconjuntodemetodologasbasa
dasenlaInvestigacinAccinmsconocidocomomodelodedesarrollocentradoen
laspersonas14.

Frentealosmodelostradicionalesdepolticasdeaccinsocial,elmodelodedesarrollopar
ticipativoinvierteelordenclsicodelaplanificacinyotorgaprotagonismoalagente
comodestinatarialtimadelasacciones.

Losobjetivosquepodemosconseguiratravsdelaevaluacinparticipativason:

Minimizarladistanciaentreelevaluadorylaspersonasbeneficiarias.

Reducirsesgosmetodolgicos.

Enriquecerperspectivas.

Cobrarmayorlegitimidadparalosactoressociales.

Incrementarlasposibilidadesdesuutilizacin.

Estapropuestaexigeadaptareldiseo,laejecucinylaevaluacindelosproyectosalas
necesidadespreviamenteidentificadasporlapoblacin.Comoconsecuenciadeestecambio
deperspectiva,sehaelaboradotodounconjuntodetcnicaseinstrumentosespecficos

14.CERNEA,M.M.(1995).Socialintegrationandpopulationdisplacement.ThecontributionofsocialscienceEnInternationalSocial
ScienceJournal143.(pp.941112)Paris.

40 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

dirigidosaotorgaralaciudadanalaposibilidadnoslodeanalizar,sinotambindepla
nificar,disear,actuaryevaluarsuscondicionesdevida.

Enelmbitodelaaccinsocial,lasevaluacionesdelosproyectosbasadasenpropuestas
participativas,pretendenasegurarelaprendizajeylaconstruccindecapacidades.Para
conseguirlo,serequiereintegrarysatisfacerlasnecesidadesdeinformacindetodoslos
implicadosostakeholders,tantoexternoscomolocales,mediantesuincorporacinentodas
lasfasesdelproceso.Suparticipacinasegurarlasignificacinylegitimidaddelpropio
procesoevaluador.

As,osofrecemosdosesquemasquesintetizaneilustranlosdiferentesnivelesdepartici
pacinquepuedeofrecerunprocesodeevaluacin:

I.ESCALERADEPARTICIPACIN

Proyectoiniciado,desarrolladoygestionadoporelcolectivo.

8
Decisionesasumidasporotrasinstituciones.

Proyectoiniciado,desarrolladoygestionadoporelcolectivo.

7
Losagentesexternosintroducenmodificacionesenelproyecto.

6 Proyectoiniciadoporagentesexternosydecisionescompartidasporelcolectivo.

5 Elcolectivoestinformadoyconsultado.

4 Seinformaalcolectivodelasdecisionesquesetomanfuera.

3 Participacinsimblica,apariencia.

2 Participacindecorativaodeescaparate.

1 Manipulacindelcolectivo

Fuente:adaptadodearnstein(1969)15

15.ARNSTEIN,S.R.(1969).)EightrungsontheladderofcitizenparticipationenCahnCitizenparticipation:effecting,community
changes.NewYork.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 41


2 ANLISIS ESTRATGICO

II.CARACTERSTICASDELENFOQUEPARTICIPATIVO

IgnacioGallego16 sealaalgunosdelosaspectoscaractersticosdelosmodelosparticipati
vosdeevaluacin:

ESPECIFICIDAD. Laparticipacinrequierecontextualizarlosprocedimientosymetodo
logasalascaractersticasespecficasdelentornoenelquesedesarrollalaevaluacin;
noexistiranmodelosdeevaluacinestndarysuaplicacinrequiere,apriori,deuna
adaptacinalascaractersticasdelentornosocialenelquesedeseaintervenir.
EMPIRISMO.Setratadeunenfoqueeminentementeprctico;hayquerecordarque
esteenfoquesurgeapartirdelasistematizacindeexperienciasyaexistentesenel
terreno,conelobjetivoderentabilizarlosconocimientosyaexistentes.
CONTINIUM delaparticipacindelosagentesimplicados,asumiendounpapelde
dobledireccin:ofreceninformacinsignificativaydebenrecibirunadevolucindela
evaluacin,entodaslasfasesdelprocesoevaluador.Mencinespecialmerecelaincor
poracindelapoblacindestinataria,tradicionalmenteutilizadoscomomerosprovee
doresdeinformacin.
APRENDIZAJE basadoenlosconocimientosyrecursoslocales,dirigidoalfortalecimien
todelascapacidadeslocales,comunitariaseinstitucionales(empoderamiento)ycon
lametadetransformarsupropiarealidad.
NEGOCIACIN entrelasdiversaspercepcionesdelosagentesimplicados;requierela
revisindelasrelacionesdepoderexistentesparaasegurarelreconocimientomutuo
enladefinicindelasdiferentesfasesdelaevaluacin.
FLEXIBILIDADYDINAMISMO delprocesoevaluador,determinadoporlanecesidadde
adecuarsealascaractersticasdelcontextosocialdondesedesarrollolaevaluacin.

Aadimosaestelistadoalgunasreflexionesms:

Elenfoqueparticipativoesunplanteamientotericoymetodolgicodeaccinytrans
formacindelarealidaddesdeabajo,enelquelaspersonasqueintegranelequipo
tcniconosonanalistas,sinofacilitadores,nosonmaestros/as,sinoaprendices,no

16.GALLEGO,I.Elenfoquedelmonitoreoylaevaluacinparticipativa(MEP):bateradeherramientasmetodolgicas,enRevista
EspaoladeDesarrolloyCooperacin,n4,1999.pp.103135.Madrid.

42 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

sonponentes,sinooyentesdelasrealidadeslocales,delaspersonas,actuandocomo
intermediarios/asantelasinstanciaspolticas,ponindosedemanifiestodesdeesta
perspectivalapotencialidadtransformadoraquelasmetodologasparticipativaspue
denaportar.
Requiereaceptarelgradodecomplejidaddelascomunidadesenquenoshalla
mosinmersos,lavariedaddeinteresesenconflicto,losdiferentesprocesosquese
dansimultneamenteylasdiferentesnecesidadesquelosdiversosactorespresen
tesplantean.

Parafinalizar,osofrecemosuncuadrocomparativoquepermiteobservarlascaractersti
casquediferencianlosmodelostradicionalesyparticipativosenrelacinalaevaluacinde
proyectosdeintervencinsocial:

EVALUACINTRADICIONALVERSUSEVALUACINPARTICIPATIVA
CARACTERSTICAS Evaluacintradicional Evaluacinparticipativa

Aprendizajedelaorganizacin Empoderamientoyaprendizaje
PROPSITO
ymejoradelagestin detodoslosimplicados

AGENTEEVALUADOR Evaluadoresasumenroltcnico Evaluadoresasumenrolfacilitador

ACTITUDDELEVALUADOR Evaluadordistanciado Evaluadorapegado,comprometido

OBJETODEMEDICIN Indicadorespredeterminados Indicadoresnegociados

MTODOSDE Mtodosformales,complejos, Mtodosinformalesycualitativos.


EVALUACIN cuantitativos triangulacinconotrosmtodos

MOMENTODELA
Momentopreestablecido Evaluacinperidica
EVALUACIN

Apropiacinporpartedela
PARAQUINSEEVALA Propiedaddelagenteexterno
poblacinimplicada

Perspectivaestratgicade
Perspectivainmediatade
IMPLICADOS fortalecimientodederechos
satisfaccindenecesidades
(empoderamiento)

Aprendizajedelprocesoydelas
RESULTADOS Informefinaldeevaluacin
prcticasdeevaluacin
Fuente:adaptadodegallego,i.(1999)elenfoquedelmonitoreoylaevaluacinparticipativa(mep):bateradeherramientas
metodolgicasenrevistaespaoladedesarrolloycooperacin,n4.

GUA DE EVALUACIN DE PROGRAMAS Y PROYECTOS SOCIALES 43


Fuente:elaboracinpropia
2 ANLISIS ESTRATGICO

III.LIMITACIONESDELOSENFOQUESPARTICIPATIVOS

Comoyahemosmencionado,laevaluacinparticipativadavozalosagentescrticosenel
programayfomentalacooperacinconelequipoevaluador;facilitaatodaslaspersonas
implicadaslacomprensindelprogramayfomentaelaprendizajesobreevaluacin.Enel
sentidodelajusticiaylaigualdad,lasevaluacionesparticipativastiendenacompensarla
balanzayafavorecercondicionesdemayorequilibrioentrelaspartesimplicadas.

Sinembargo,esconvenientenopecardeingenuidadrespectoalaefectividaddelastc
nicasparticipativas:sentarsejuntosenunamesadetrabajo,enunaatmsferaigualita
ria,noeliminalasdistincionesquehaypuertasafuera.Todavasonimportanteslasdis
tincionesdeclase,edad,raza,nacionalidad,ocupacin,gneroyotras(...)Lasupera
cindelasdiferenciasdepoderydeconocimientoentrelosdiferentesagentescrticos
noesfcil17.

SiguiendoelanlisisdeWeiss18,podemosenumerarunaseriedelimitacionesdeestetipo
deenfoques:

Notodoslosagentescrticossuelenestarinteresadosenlaevaluacin,yaquelamayora
deellosvanaestarmsinteresadosenlaejecucindelprogramaqueensuevaluacin.
Estopuedereducirlaparticipacinyquehayaausenciasenlasreunionesdetrabajo.
Aunquelosprocedimientosparticipativosparecequeaumentanlarelevanciaylafac
tibilidaddelestudio,noestclaroquelohaganrespectoalacalidadtcnica,quesue
leversecomosecundaria.
Lapresenciadealgunosagentescrticosenlaevaluacinnoaseguratotalmentesupar
ticipacinenlatomaefectivadedecisiones,nisiquierasuinfluenciaenrelacinalfutu
rodelprograma.
Lamovilidaddelos/asprofesionalesresponsablesdelosprogramasdificultalaasun
cinylacontinuidaddecompromisosensuinterlocucin.

2. EL DISEO DE LA EVALUACIN

ConformelasnecesidadesinformativasmanifestadasylosTrminosdeReferenciasdefini
dospreviamente,deberealizarseeldiseodelaevaluacindecaraasuejecucin.

17.WEISS,C.H.(1998)op.cit.
18.WEISS,C.H.(1998)op.cit.

44 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

Elprimerpasoesrealizareldiseometodolgicodelaevaluacin,esdecir,seleccionarel
procedimientometodolgicoqueutilizaremosparapoderevaluarelproyectoconcreto.

Acontinuacinospresentamosalgunosdiseosmetodolgicosposiblesascomolosele
mentosbsicosquedebenincorporar:criteriosdeevaluacin,fuentesdeverificacineindi
cadoresdeevaluacin.

2.1.Diseosmetodolgicos:cuantitativo,cualitativoyparticipativo
Eldiseometodolgicoconstituyeunpuntocentraldelprocesodeevaluacin.Altiempo
quesedefinenlasdiferentesnecesidadesinformativasyseseleccionanlosdiferentescri
teriosdeevaluacinylosindicadores,hayquedefinircmosehaderecopilaryanalizarla
informacinrequerida.

Setratanoslodeseleccionarunaseriedetcnicasderecogidadeinformacinysuscorres
pondientestiposdeanlisis,sinodedefinirelenfoquemetodolgicodelaevaluacin.

Enelsiguientecuadroserecogenlasprincipalescaractersticasdelosenfoquesmencionados.

PRINCIPALESCARACTERSTICASDELOSENFOQUESMETODOLGICOS
EVALUACINCUANTITATIVA EVALUACINCUALITATIVA ENFOQUEPARTICIPATIVO
Perspectivadesdefuera: Perspectivadesdedentro: Perspectivaconstruidaporelequipo
puntodevistadel puntodevistadelos evaluadordeformaconjuntaconlos/as
evaluador actores principalesimplicados/as(stakeholders)
Lenguajeverbalynumrico.noestan
importanteeltipodelenguajesinocmose
Lenguajenumrico Lenguajeverbal construyeste.ellenguajehadeserfruto
deunafuerteimplicacindelapoblacin
implicada
nfasisenlosaspectos
nfasisenlosaspectos subjetivos:captaciny nfasisenlosaspectossubjetivos,pero
objetivos,observablesy comprensindeactitudes, noslosecaptansinoquesevan
cuantificables conductas,valores, configurandoentretodoelgrupo
motivacionesinternas
Anlisisdecontenidoporpartetantodel
Anlisisdecontenidopor
Anlisisestadstico equipoevaluadorcomodelos/asimplica
partedelequipoevaluador
dos/as

Resultadoslimitadosen Resultadosconcretos,aplicablesala
Resultadosgeneralizables
sugeneralizacin realidaddondesehanconstruido
Fuente:elaboracinpropiatomandocomobasedesdenirenberg,brawermanyruiz,200319:pg.82

19.NIRENBERG,O.,BRAWERMAN,J.YRUIZ,V.(2003)ProgramacinyEvaluacindeProyectosSociales.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 45


2 ANLISIS ESTRATGICO

Estaevolucinenlosdiseosmetodolgicoshaprovocadoquelametodologadeevalua
cindeimpactoshayaevolucionadohaciaunconceptomsamplio,enelquelosaspec
toscualitativoscobrancadavezmayorrelevanciaylastcnicascuantitativastiendenainte
grarsecomounelementomsdelprocesoevaluador.Lociertoesquepareceaconsejable
combinarlautilizacindemtodoscuantitativosconcualitativos,yaqueestosltimosapor
tandinamismoyvariedaddeperspectivas,carentesenlosprimeros.

Setratadeunaconsideracingeneralizada:noexisteunprocedimientotipoparacadapro
yectoyquesucombinacinadhocsueleresultarelcaminomsacertado.Paratomaresa
decisinhabrquevalorar,entreotrascosas,laaplicabilidaddelinstrumentoalascaracte
rsticasdelproyecto,lascapacidadesdequieneshandeaplicarlastcnicasseleccionadas,
sucalidadintrnseca,sufiabilidadyvalidez,sudisponibilidad,surelevanciaysucoste.

Laventajadelaevaluacindecarctercuantitativoesquepermitemedirreaccionesocues
tionesenungrupodevariables(individuos,empresas,etc.)y,adems,posibilitalaagre
gacinytratamientoestadstico.

Porsuparte,laevaluacincualitativatienelaventajadeproducirunamayorriquezade
detallessobrelosgruposovariables,aunqueseadedifcilagregacinyestandarizacin.

Enestesentido,laaplicacindelenfoquemetodolgicorecomendadoporlaComisinde
laUninEuropeaparalaevaluacincombinaelenfoquedearribaaabajo(topdown),
queposibilitaevaluarelimpactototalyefectonetodelaintervencin,conestudiosdeaba
joaarriba(bottomup),paraanalizarlasrelacionesdecausalidadydeterminarelimpac
todecadamedidaespecfica,atravsdelainformacinrecogidadelaspersonaspartici
pantesylaspersonasbeneficiariasdelproyecto.

ENFOQUEDEARRIBAABAJO(TOPDOWN)
TOPDOWN BOTTOMUP

Mideladiferenciaentrelasituacinde Proporcionaindiciossobrelasrelacionescausaefecto.
partidaylafinaltraslaaplicacindelplan. Analizaelvaloraadidonetoanalizandoinforma
Comparalosresultadosconaquellosque cindelaspersonasbeneficiariasycomparndolo
sehabranproducidoencasodenoapli conotrasactividadesquenorecibenayuda,para
carseelplan. analizarlaadicionalidadylosefectosindirectos.
Analizaelimpactoglobalperonoidentifica Identificalacontribucindecadaaccin,perono
lacontribucindecadaaccinconcreta. seanalizanlosimpactosmsglobalesdelplan.
Fuente:osunaymrquez20

20.OSUNAJ.L.YMARQUEZ,C.(DIR)(2000)Guaparalaevaluacindepolticaspblicas.Sevilla

46 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

Tambinsuelehacerseladistincinentreenfoquesinductivosydeductivos:

Elenfoqueinductivosebasa,principalmente,enmtodoscualitativosdeanlisisorien
tadosaexplorarydescubrirlalgicadelasrelacionescausales,partiendodelocon
cretoparaderivarencomportamientosgenerales.Estetipodeevaluacinseasocianor
malmenteconlaevaluacinlibredeobjetivos,puestoquenopartedehiptesisdecau
salidadpreconcebidas.
Elenfoquehipotticodeductivoseidentificaconlaevaluacincentradaenobjetivos.
Sufundamentoestenelempleodetcnicascuantitativas(mtodoexperimentalfun
damentalmente)paraladeterminacindelasprincipalesvariables,yelestablecimien
todehiptesisespecficasdecomportamientoantesdeiniciarlarecogidadedatos.

Enlaprctica,aligualqueconlosmodeloscuantitativoycualitativo,sesuelencombinar
ambasperspectivas.Atravsdelainduccinseidentificanlascuestionesyvariablesaestu
diar,yluegosecontrastanlosresultadosdeformadeductiva.

Portanto,noexisteunmtododeevaluacinnicoycomolosProgramasoProyectosno
soniguales,cadaevaluacinesdistinta.ElalcancedelaevaluacindeimpactosdeunPro
gramaoProyectopuedeirdesdeladescripcindelosimpactoshastalabsquedaemp
ricadeunacausalidadentreaccioneseimpactos.Enestesentido,lacalidaddelaevalua
cindeimpactonodependetantodelusodeunmtododeterminadocomodelautilidad
delainformacingeneradaparacadacasoparticular.

Haexistido,ytodavacontinaexistiendo,unaciertamistificacindelasmetodologasuti
lizadasenlasevaluaciones.Elerrordeanteponerlosmtodosaotrascuestionesmsimpor
tantesdentrodelosprocesosdeevaluacin,comopuedenserlaparticipacin,elempode
ramientodelaspersonasbeneficiariaso,mssencillamente,lapropiaaplicabilidaddelos
resultadosobtenidosconstituyeundefectomuygraveenmuchasevaluaciones.

Intentandohuirdeestospeligros,sehaconsideradomsadecuadonocentrardemanera
excesivanuestraatencinenlosmtodosdelaevaluacin.Laprincipalconsideracinque
puedelibrarnosdelasmetodologassucias,seanstasrpidasolentas,esunacons
tantereflexinsobrelaaplicabilidaddelosprocedimientosutilizadosysobrelasfinalida
desesperadasdelaevaluacin,entrelasquesiempreresultaresenciallamejoradela
calidaddenuestrasintervenciones.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 47


2 ANLISIS ESTRATGICO

3. CRITERIOS DE EVALUACIN
Loscriteriosdeevaluacinsonlospuntoscrticosparalavaloracindeproyectos.Eneste
caso,esprecisodestacarqueestoscriteriosestnntimamenteligadosconelEnfoquedel
MarcoLgico,lametodologautilizadahabitualmenteenlaformulacindeintervenciones
enlaaccinsocial.

CRITERIOSDEEVALUACINYCOMPONENTESDELA
MATRIZDEPLANIFICACINDEUNPROYECTO
EFICIENCIA EFICACIA IMPACTO PERTINENCIA VIABILIDAD COBERTURA

OBJETIVO
GENERAL

OBJETIVO
ESPECFICO

RESULTADOS

ACTIVIDADES

RECURSOS

Fuente:Elaboracinpropia

Estoscriteriosdebenproporcionarconocimientostilesparatomardecisionessobrelas
intervencionesconsideradas.Nosetratadecategorasexclusivasoexhaustivas,sinoms
biendeindicacionesopistasparaenfocarlasevaluaciones.

3.1. Los Principales ComponentesdelasEvaluaciones


delosProyectosdeAccinSocial

Unacaractersticarelativamenterecienteeslaprogresivahomogeneizacindeloscompo
nentesocriteriosmanejadosenlosprocesosdeevaluacindelosproyectosdeaccinsocial.
Elestablecimientodeunmarcoconceptualcomnalahoradeabordarlaevaluacinde
estetipodeintervencionesesclaramentepositivo,yaquefavorecelacomparacinentre
losresultadosdediferentesevaluacionesyfacilitaelaprendizaje.

48 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

3.1.1.Eficiencia

A.CONCEPTO
Laeficienciaserefierealacapacidaddelproyectoparatransformarlosinsumosfinancie
ros,humanosymaterialesenresultados;esdecir,estableceelrendimientooproductividad
conqueserealizaestatransformacin.

Parapoderemitirunjuiciosobrelaeficienciadeunproyectoesnecesariodisponerdelos
elementosreferencialesprecisos.Alcompararlaeficiencia
previstaoalcanzadaconestasreferencias,serposibledeterminarenqumedidaser,es
ohasidoeficienteunproyectodeterminado.

Lainformacinparaobtenerlosvaloresreferencialestipopuedenprocederde:

Proyectossimilaresoconcomponentesparecidosquesehayanllevadoacabodonde
sesitaelproyectoevaluado.
Devaloresespecficosparaelproyectoobtenidosmedianterazonamientosbasadosen
lascircunstanciasdelpropioproyecto.

Parapoderrealizarlaevaluacindelaeficienciadeunproyectoesimprescindibledisponer
delpresupuestodesagregado,paralaevaluacinprevia, odeloscostesrealesporactividad,
paralasevaluacionessimultnea,finalyposterior,ascomodeladeterminacindelosinsu
mosprecisosoutilizadosenlarealizacindecadaunadeesasactividades.Sinosedispo
nedeestasinformacionesestotalmenteimposible,talcomosedesprendedeladefinicin
delaeficiencia,analizarlaproductividadconquesetransformanlosinsumosenresultados.

B.SITUACINENLAMATRIZDEPLANIFICACINDELPROYECTO
Sepuededecir,parapresentardemaneragrficalarelacinexistenteentrelaeficienciay
lamatrizdeplanificacindelproyecto,queparaanalizarlaeficienciadeunproyecto,la
atencinprimordialsedeberdirigiralascasillasqueenlamatriznosmuestranlasactivi
dadesysusinsumos,juntoalasdelosresultadosysusindicadores.

C.CONSIDERACIONESENLAEVALUACINDELAEFICIENCIA
Algunasdelasmsusualesinterrogacionesquehayqueresponder,naturalmente,conmati

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 49


2 ANLISIS ESTRATGICO

cesynivelesdeprediccin/certezadiferentes,atendiendoalmomentodelaevaluacin,a
lahoradevalorarlaeficienciadeunproyectoestnenrelacincon:

Elniveldecalidadenlaadministracindelosrecursosadisposicindelproyecto.
Laadecuacindelasactividadesalaconsecucinresultados.
Laeventualexistenciadelneasdeactuacinquecondujeranconmenorcosteoen
menortiempoalosresultados.
Laexistenciadeposiblessolapamientosconotrasintervencionespropiasoajenas,lo
queredundaraendificultadesdegestinycostesredundantes.

3.1.2.Eficacia

A.CONCEPTO
Laeficaciareflejaenqumedidaseesperaalcanzarosehaalcanzadoelobjetivoespec
ficodelproyecto;tenindoseparaelloencuentatantoelniveldelogro,ascomolosper
odostemporalesparahacerlo.

Parapoderanalizaradecuadamentelaeficaciasernecesarioqueeneldiseodelproyec

toelobjetivoespecficoestdefinidoadecuadamente;esdecirqueel

indicadorolosindicadoresobjetivamenteverificablesrespondancabalmentealascuestio

nesdequ?,conqucalidad?,paraquin?,cundo?,ycmo?

Enelcasodelaevaluacinprevia,siseestimaraqueelobjetivoespecfico,yaseaenla
lgicadelaintervencinoensusindicadoresobjetivamenteverificables,noestdefini
dodemaneraprecisa,sereelaborardemaneraquesucomprensinyapreciacinsea
inequvoca.Cuandolassealadasdeficienciasseidentificandurantelaevaluacinsimul
tnea,finaloposterior,elequipoevaluadordeberllamarlaatencinsobreestacircuns
tancia;debiendoprocederareconstruirlosbasndoseenladocumentacindisponible.Esa
reconstruccinseefectaparaquelosindicadorespuedanseroperativosyresultendeuti
lidadalahoradevalorarsulogro.

B.SITUACINENLAMATRIZDEPLANIFICACINDELPROYECTO
Loselementosdelamatrizdeplanificacinquedebensermscuidadosamenteobserva
dosparaevaluarlaeficaciasonlosrelacionadosconlosresultadosyelobjetivoespecfico.

50 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

Esesencial,portanto,valorarlalgicaverticalyversilasactividadesconducenalosresul
tadosystossoncondicionesnecesariasysuficientesparaellogrodelobjetivoespecfico.

C.CONSIDERACIONESENLAEVALUACINDELAEFICACIA
Laevaluacindelaeficaciatratadehacervisiblelarelacinqueexistir,existeohaexisti
doentreelproyectoplaneadoyelniveldelogroquesepuedeesperarosehaalcanzado
delobjetivoespecfico.Esdecir,tratadeestablecerunarelacincausalentreloqueseva
ahacerosehahecho,bsicamentelatransformacindelosinsumosenactividades,yel
logrodelobjetivoespecfico.

Paraloanteriornobastaapreciaromedirellogrodelobjetivoespecfico,sinoenqumedi
dalastransformacionespositivasdellogrodeesteobjetivoespecficoobedecenaloreali
zadoporelproyecto;individualizandoyseparandoeseprocesodelasinfluenciasdeotros
factoresque,ajenosalasactuacionesdelproyecto,tambininfluyenenlastransformacio
nesapreciables.Esdecir,nobastamostrarfehacientementequeenelsenodedetermina
doproyectosehaalcanzadoendeterminadogradoelobjetivoespecficoprevisto,sinoque
setrataadems,siendoestapartelamassustantivadelaevaluacindelaeficacia,deiden
tificarrazonablementeenqumedidahasidoelpropioproyectoelquehacontribuidoa
esastransformaciones.Naturalmenteesteesunejerciciodereconstruccinideal,quese
debebasartantoenelconocimientodelpropioproyectoysucontexto,comoenloshallaz
gosdeotrasevaluaciones.

Entrelosfactoresexternosmsrelevantesyportantomscuidadosamenteanalizadosse
encuentranlashiptesisrecogidasenlamatrizdeplanificacin;asmismo,enlasevalua
cionessimultneas,finalyposterior,debenestudiarsetodosaquellosfactoresexternosque
pasarondesapercibidosensumomentooquehanadquiridoespecialimportanciaduran
telaejecucindelproyecto.

3.1.3. Impacto

A.CONCEPTO
Elimpactoserefiere,encontraposicinalaeficaciarestringidaalosefectospositivossobre
laspersonasbeneficiarias,alasconsecuenciaspositivasynegativas,queunproyectogene
ra.Esporlotantounconceptomsamplioqueeldeeficacia,cuyoanlisisseiniciaapar

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 51


2 ANLISIS ESTRATGICO

tirdeldelaeficacia;interrogndosesobrelasconsecuenciaseconmicas,sociales,cultu
rales,tcnicasambientales...queseregistranenelplanolocalogeneral,tantoenelcorto
como,especialmente,enelmedioyenellargoplazo.

Elimpactodebeserobservadoyprevistoentodoslosmomentosdelaevaluacin,demane
raquelosimpactosnegativospuedanserevitadosodisminuidos;peroespecialmente,son
apreciablesenlaevaluacinfinaloenlaposterior.Porestemotivo,endeterminadasenti
dades,porunasincdoque,denominanaestasevaluacionesevaluacionesdeimpacto;
sibiensehadeconvenirque,aunquelaapreciacindelimpactoesunapartesumamen
tesignificativadelaevaluacinfinaloposterior,esprecisocontemplarenestetipodeeva
luacionestodosloscriteriosqueenestecaptulosedescriben.

B.SITUACINENLAMATRIZDEPLANIFICACINDELPROYECTO
Laconsideracindelimpactodeunproyectoseiniciaapartirdelobjetivogeneralyespe
cficodelmismo,quepuedenserconsideradoscomolosefectospositivosyesperadosde
unproyecto.Encualquiercaso,talcomosehapuestodemanifiesto,unapartesignificati
vadelosimpactosdeunproyectonoaparecernrecogidosenlamatrizdeplanificacin.

C.CONSIDERACIONESENLAEVALUACINDELIMPACTO
Siguiendoloexpuestoenlosapartadosanteriores,enlaevaluacindelosimpactosdeun
proyectosedebeprestarespecialatencinalavaloracinde:

Losefectosnegativos,esperadoseinesperados;
Losefectospositivosrecogidosenlosobjetivosgeneralesyespecficos.

3.1.4.Pertinencia

A.CONCEPTO
Lapertinenciaanalizasielpropsitodelproyectoescoherenteconlasprioridades.Esdecir,
setratadeapreciarsilaintervencinanalizadavasuponerunaaportacinsignificativaa
losprocesosdedesarrollodelosquesonactoreslaspersonasbeneficiariastantoenelinte
riordelpropioproyecto,comoensucontexto.

Unaconsideracinoperativaesencialparaqueunproyectoseapertinenteesquesuobje

52 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

tivoespecficorepresenteporsmismounainnovacininmediatamenteconsumible,es
decir,quemejoresusituacinenellugaryenelmomento,porlaspersonasbeneficiarias.

Deestemodo,laconstruccindeunasaulasescolaresnodebeserelobjetivoespecfico
deunproyectodeaccinsocialyaquelaexistenciadeestasaulasnorepresentaunamejo
radelascondicionesdevidadelaspersonasbeneficiarias;sipodraserpertinenteunpro
yectocuyoobjetivoespecficofueraelextenderlaescolarizacinacolectivosinfantileshas
taesemomentonoatendidosporelsistemaeducativo.Enesteltimoproyecto,lacons
truccindeaulaspodraserunresultadocoherenteque,juntoconotrosresultadosylas
correspondienteshiptesis,condujeraallogrodelobjetivoespecfico:laampliacindela
escolarizacin.

Naturalmente,lacuestindequerepresentaunamejorasignificativadelascondicionesde
vidadelaspersonasbeneficiariasesuntemacontrovertibleyquedependedelasconcepcio
nesglobaleseideolgicasdelosimplicados,porloqueundilogoentretodosellossehace
imprescindibleparaconsensuarencadacasolaconcrecinoperativadelapertinencia.

B.SITUACINENLAMATRIZDEPLANIFICACINDELPROYECTO
Laapreciacindelapertinenciadeunproyectodebeiniciarseconunatentoestudiodelas
filascorrespondientesalosresultados,objetivosespecficosyobjetivosgenerales,compro
bandoquestosrespondenaprioridadesclaramenteidentificadosporcadaunodelos
colectivoseinstitucionesimplicadosenlaintervencin.

C.CONSIDERACIONESENLAEVALUACINDELAPERTINENCIA
Lapertinenciadebeserconsideradacomoelelementobsicodecualquierevaluacin.No
parecerazonableconsiderarlaejecucindeunproyectosienlaevaluacinpreviadelmis
moseestablecelanopertinenciadelmismo;independientementedeloeficiente,eficaz,
viablequepuedaser.Dichodeotramanera,siunproyectonocontribuyesignificativamen
tealdesarrollodeungruposocialodeunasociedadningnotroelementolodebeypue
decualificarcomounproyectodedesarrollo;yentantoquenoesunproyectodedesarro
llonodebeconsiderarsesuejecucin.

Enlaevaluacinsimultnea,lavaloracindelapertinenciadelproyectodebeserunacues
tinalaqueseleprestelamximaatencin.Coherentementeconlodichoenelprrafo

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 53


2 ANLISIS ESTRATGICO

anterior,cuandoseapreciequeunproyectohadisminuidooperdidolapertinenciaexigi
dayexigiblealmismo,yaseaporcausassobrevenidasdurantesuejecucinonobienvalo
radasenelmomentodesuformulacinyevaluacinprevia,debesercuidadosamentecon
sideradalaconvenienciaynecesidaddeintroducircambios,inclusosustanciales,queafec
tenasusobjetivos,ensudiseo.

Asimismo,eljuiciobsico,peroprobablementemscomplejoycontrovertido,quedebe
emitirunaevaluacinfinaloposterioresenqumedidaelproyectohacontribuidoaldesa
rrollodelaspersonasbeneficiarias;enqumedidayaspectossignificativosestaspersonas
beneficiariashanvistomejoradasusituacin.

Laspreguntasesencialesquedebenserrespondidasparalaevaluacindelapertinencia
son:

Sonlosobjetivoslosuficientementevlidos(olosontodava,olohansido)parajusti
ficarelproyecto?
Qucambiosdebenhacerseyenqusentidoparamejorarlapertinenciadelproyec
to?,oquhemosaprendidoparaposterioresproyectos?

Losnivelesalosquesedeberealizarestaspreguntasson:

Cmoencajaelproyectoconotrosproyectosqueeventualmentepuedensolaparsecon
l,oconrelacinalplanoprogramaenelquesehayainscrito.
Enqumedidasehaalcanzadoalaspersonasbeneficiariasatravsdelproyectoyen
lastemticasquelosimplicadosconsideranprioritarias.
Enqumedidasoncoherenteslajerarquadelosobjetivosylalgicainternadelproyec
to;ascomosisehanvaloradoadecuadamentelashiptesisuotrosfactoresexternos.

3.1.5.Viabilidad

A.CONCEPTO
Seentiendeporviabilidadlacapacidaddeunproyectoparaproporcionarunnivelacep
tabledebeneficiosalgrupodestinatario[personasbeneficiarias]duranteunperiodosufi

54 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

cientementelargounavezinterrumpidalaasistenciafinancieraytcnicadelproveedorde
fondos21.Porlotantoelanlisisdeviabilidadsignificainterrogarsesobrealgomsalldesi
elproyectohaalcanzadolosobjetivosquetenaprevistos;sedeberesponderalacuestin
deenqumedidalosresultadospositivosalcanzadospermaneceneneltiempo.

Enestesentido,mientrasqueloscomponentesdelaevaluacinanteriormentedescritosse
basanesencialmenteenlallamadaevaluacindeobjetivos,laevaluacindelaviabilidad
seplanteauninterrogantequeafectaalosprocesosque,aunquedesencadenadosporel
proyecto,vanmsalldelmismo;esdecir,seplanteasobrelacapacidaddelproyectode
generardesarrollo:transformacionescuantitativasycualitativasquepermaneceneneltiempo
yseramificanafectandoatodoslosnivelesdelavidasocial.

Sepuededecirque,silavaloracindelapertinenciarepresentaelprimermomentoanal
ticodecualquierevaluacin(eselproyectosignificativoentrminosdedesarrollo?),elan
lisisdeviabilidadvieneaserelconclusivo(enqumedidalastransformacionespositivas
previstas/alcanzadasporelproyectoperduranysetransformaenelementosgeneradores
deundesarrolloglobal?).

Comoconsecuenciadeloanterior,laviabilidadesunaspectosumamentecrticodelospro
yectosy,probablemente,eselaspectoqueafectamsgravementealxitogeneraldelos
proyectos;yaquecondemasiadafrecuencialaspersonasoentidadesqueasumenelpro
yectotraslafinalizacindelafasedeapoyoexterno(laejecucin)noestnsuficientemen
teimplicadasy/ocarecendelosrecursoshumanos,tcnicosomaterialesparacontinuar
elprocesoiniciadoporelproyecto.

Porotrolado,lavoluntadylaposibilidaddequeunaintervencinlimitadaeneltiempo,que
tieneunafechadeinicioyotradefinalizacin,seaviableesunanotadistintivaeidentifica
tivadelosproyectosdeaccinsocial.As,haciendounadivisinmetdica,nosiemprefac
tibleoclaraenlarealidad,sernproyectosdedesarrollolosqueseproponganalcanzarla
viabilidad,nosindoloaquellasintervenciones,queporsuurgencia,porejemplocatstro
fesnaturales,noseplanteaneltemadelaviabilidad.

21.COMISINDELASCOMUNIDADESEUROPEAS(1993).Manual:Gestindelciclodeunproyecto:Enfoqueintegradoymarcolgi
co,Seriedemtodoseinstrumentosparalagestindelciclodeunproyecto,Ayudaaldesarrollo,Bruselas.P.65.

GUA DE EVALUACIN DE PROGRAMAS Y PROYECTOS SOCIALES 55


2 ANLISIS ESTRATGICO

Dadoquelaviabilidadslosepuedeapreciardespusdetranscurridounperiododetiempo
traslafinalizacindelaejecucindelproyecto,slosedispondrdepruebastangiblessobre
ellaenlaevaluacinposterior.Peroestonosignificaquenoseledebaprestaratencinen
elrestodelasevaluaciones;esms,apreciarmedianterazonamientosbasadosenelpro
pioproyectooenlaexperienciaacumuladalaprobableviabilidaddelaintervencincons
tituyesiempreunelementoclavedelejerciciodeevaluacin.

Enestesentido,sehacomprobadoque,comoesfcildesuponer,elprincipalriesgopara
laviabilidadprovienedeloscondicionamientosquesuponenlosfactoresexternos;losno
controladosporlosgestoresdelproyecto.Paratratardeminimizaresteriesgosiemprese
debenexaminarcuidadosamentelashiptesisqueacompaanalaejecucindelproyec
to,siendoelprimerpasodeesteexamenelapreciarquelashiptesisnosonexcesivamen
teoptimistas.Dehecho,unaactitudadecuadaantelashiptesisessiempreenunciarlas
conunavisinpesimista;yaqueexisteunaabundanteexperienciademultituddeproyec
tofracasadosporhabersidodiseadosyejecutadossuponiendounashiptesisdemasia
dofavorablesalaresolucinfavorabledelaintervencin.

B.SITUACINENLAMATRIZDEPLANIFICACINDELPROYECTO
Dadoelcarcterconclusivoyacumulativodelaviabilidad,alahoradeexaminarlasedeben
observartodoslosnivelesdelamatrizdeplanificacindelproyecto.Laviabilidadsecons
tituyecomoelproductofinaldelalgicaverticaldelamatrizdeplanificacin.

C.CONSIDERACIONESENLAEVALUACINDELAVIABILIDAD:LOSFACTORES
DEDESARROLLO
Laextraordinariaimportanciaasignadaalaviabilidadhahechoquesehayaprestadoaeste
componenteunaespecialatencin,habindoseestablecidounconsensobsicoentretodas
lasentidadesimplicadasenlaaccinsocialsobreloscriterios,llamadosusualmentefacto
resdedesarrollo,quedebencondicionarsuanlisis.

Deestemodoseconsideranindispensablequelosproyectosrenanlossiguientesrequisitos:

Contextopropiciodesdeelpuntodevistadelapolticallevadaacabo.Loscambiosde
orientacinnecesariosdebenserdecididosantesdequecomiencelafasederealizacin.
Objetivosprecisosyrealistas.
Concepcinadaptadaalacapacidadadministrativaytcnicadelaspersonasbene
ficiarias
Racionalidadyviabilidadeconmicadelproyecto.

56 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

Capacidaddefinanciarloscostesiniciales,ascomolosgastosdefuncionamientoyde
mantenimiento.
Participacinactivadelasautoridadeslocalesydelosgruposobjetivo,incluidaslasmujeres.
Eleccindetecnologasadaptadasalascondicioneseconmicasysocialesdelasper
sonasbeneficiarias.
Calendariosrealistas.
Sistemasdemantenimientoydeapoyoadecuadoycapacidaddeadministrarlosuna
vezquelaayudaexteriorhayallegadoasufin.
Compatibilidadconlascondicionessocioculturaleslocales.
Viabilidaddesdeelpuntodevistadelmedioambiente.

FACTORESDEDESARROLLOBSICOSPARALAVIABILIDADDELPROYECTO

I. POLTICASDEAPOYO
Prioridades,compromisosespecficos.

Iniciativasqueapoyanlasposibilidadesdexitodelproyecto.

II. ASPECTOSINSTITUCIONALES
Capacidadinstitucionalquecontribuyaalosobjetivosdelproyectoyenelgradoesperado.

Personalestable,adecuadamentecualificadoymotivado.

Apoyoyparticipacindirectosporpartedelaspersonasbeneficiarias.

III. ASPECTOSFINANCIEROSYECONMICOS
Financiacinadecuadadisponibleparacubrirfuncionamiento,mantenimientoydepreciacin.
Anlisisdecostesyrentabilidad.

IV. FACTORESTECNOLGICOS
Eleccinyadaptacindetecnologaapropiadaalascondicionesexistentes.

V. ASPECTOSSOCIOCULTURALES
Integracindelproyectoenlacomunidadlocal.

Impactodelproyectosobredistintosgruposysuaccesoalusoderecursos.

VI. DIMENSINDEGNERO
Muyamenudo,losproyectossehanidentificadoydiseadosintenerencuentalasrelaciones
establecidasentrehombresymujeresdentrodelgrupodepersonasbeneficiarias,loquehapro
vocadoque,enocasiones,losefectosparaunosyotrashayansidoradicalmentediferentes.

VII. MEDIOAMBIENTE/ECOLOGA
Explotacin,gestinydesarrollodeladotacinderecursosdeacuerdoconlacapacidaddel
medioambientelocal.

Fuente:UDNORAD22 (1997,p.51)

22.UDNORAD(1997)Evaluacindeproyectosdeayudaaldesarrollo:Manualparaevaluadoresygestores,InstitutoUniversitariode
DesarrolloyCooperacinFundacinCentroEspaoldeEstudiosdeAmricaLatina,Madrid.p.51.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 57


2 ANLISIS ESTRATGICO

I.POLTICASDEAPOYO
UnproyectosiempreestsituadodentrodeunmarcodefinidoporlasAdministraciones
Pblicasyporlasprioridadesdelasentidadesypersonasimplicadas.

Asimismo,esposiblequeladisposicindelaspersonasyentidadesimplicadaspueda
cambiardurantelaejecucindelproyecto,porloqueesnecesariorealizarunseguimien
todelamisma

II.ASPECTOSINSTITUCIONALES
Unodelosmsfrecuentespuntoscrticosdelagestindelosproyectosdedesarrolloesla
capacidaddelaentidadanfitrionaparallevaradelanteelproyecto.Laideabsicaeneste
sentidoesqueelproyectodebeajustarseaesacapacidadyno,comopareceocurriren
muchasocasiones,alcontrario.

III.ASPECTOSFINANCIEROSYECONMICOS
Losfactoreseconmicosyfinancierossonesencialesnosloparalaejecucindelproyec
tosinoparasuviabilidad.Paraestoltimosedeberconsiderarcuidadosamentesiloscos
tesdefuncionamientoymantenimientodelproyectotraslafinalizacindelapoyoexterno
sepuedenmantenereneltiempo.

IV.FACTORESTECNOLGICOS
Losfactorestecnolgicosnoselimitanalequipamientoqueelproyectocontiene.Debecon
templarsetambinlacapacidaddeutilizacinalargoplazodelosequipamientosyproce
dimientosqueelproyectoponeenfuncionamiento,ascomolasinevitablestransformacio
nesculturales,sociales,econmicasyambientalesquetodaincorporacintecnolgicacon
lleva.

Sedebenpreverlasconsecuenciasrealesypotencialesqueparalasociedadylasentida
desparticipantestienenlaeleccintecnolgicayasegurarsequetaleleccinesadecua
daparalascondicionesdelpasreceptor.

Elanlisisdelatecnologaaincorporarnodebeserrealizadoexclusivamentedesdeelpun
todevistadelexperto,sinotambinconsiderandolaperspectivadelaspersonasbenefi
ciariasylaspersonasgestorasfuturas.

58 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

V.ASPECTOSSOCIOCULTURALES
Losfrutosdeunproyectonopuedensobrevivirsinquelaspersonasbeneficiariasylasper
sonasgestorasestablezcanunarelacindepropiedadconl.Estoslopuedeserposible
silosgruposimplicadosvenreflejadoenelproyectosusprioridadesyvalores.

Peroestosvaloresnopuedenversecomoinamovibles;dadasucondicindeproductoshis
tricossonsusceptiblesdecambioyevolucin,debindosetenerencuenta,asimismo,que
elpropioproyectoretroalimentarlosprocesossocialesquegeneranlasprioridadesyvalores.

Almismotiempo,sehadeconsiderarquelasprioridadesyvaloresnosonigualesparatodos
lossectoressocialese,incluso,paratodoslaspersonasbeneficiariasdelproyecto.As,un
detalladoanlisisydebateconlospropiaspersonasbeneficiariasdevieneunrequisitoinelu
dibleparalaadecuadaapreciacindelosaspectosculturales.

VI.DIMENSINDEGNERO
Laigualdaddederechosyoportunidadesentrehombresymujeresconstituyeunelemen
toexplcitodetodaslasestrategiasdeaccinsocial.Portantotodoslosproyectosdeaccin
socialdebencontenerelementosquefomentenestaigualdad.

Parapoderllevaralaprcticaestepropsitodebeanalizarselasituacinqueocupanlas
mujeresentodaslasesferassociales,ascomolasinterrelacionesque,colectivaeindivi
dualmente,tienenconlosvarones.

Enlaesferaconcretadeunproyectodebecomprobarsequelasmujeresseencuentran
presentesenunasituacindeigualdadencuantoalaconsideracindesusnecesidades
yaspiraciones,previndoseelementosespecficosquerespondanaestasdemandas.Esto
significaquedebenanalizarsetodoslosaspectosdeaportacinsocial,nodetenindoseen
lasmsevidentes,comnmentelasactividadesligadasalaproduccin,generadorasde
rentasmonetariasoexcedentes,yprofundizandoenaspectosmenosevidentesoaparen
tementemsindirectos.

VII.MEDIOAMBIENTEECOLOGA
Almismotiempo,sehadeconsiderarlasexplotacin,gestinydesarrollodeladotacin
derecursosdeacuerdoconlacapacidaddelmedioambientelocal.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 59


2 ANLISIS ESTRATGICO

3.1.6.Cobertura

A.CONCEPTO
Lacoberturaconsisteenevaluarhastaqupuntounprogramallegaalapoblacinobjetodel
mismo.Setratadecalcularnoslolatasadecoberturasinotambindeanalizarsiexisteses
goenlacoberturayefectuarunanlisisdelasposiblesbarrerasdeaccesoalprograma23.

Lacoberturaespropuestacomocriteriodeunaformagenricaparatodoslos proyectosde
intervencinsocial.SonCohenyFrancoquienesargumentansunecesidad delasiguien
teforma:dadoquebuenapartedelosproyectossocialestienencomo objetivoproveerser
viciosaungrupofocal,unconceptoesencialparadeterminarsu alcanceeslacobertura24.

Enelcampomsespecficodelaprevencinyatencindedrogodependencias,lacoberturaest
incluidaenlosestudiosdelEuropeanmonitoringCentreforDrugsandDrugAddiction25,definin
dolacomolamagnitudconlaqueunaintervencinalcanzaasusgruposmetasdeseados.

Lacoberturanoslohasidoconsideradacomouncriterioqueacompaaycomplementa
aotros,sinoquesehatenidoencuentaconpesoyautonomasuficientescomoparaser
untipodeevaluacinensmisma.Laevaluacindelacoberturatienelamismacategora
queunaevaluacineconmica,dediseo,denecesidadesodeimplementacin26.

Endefinitiva,lacoberturaesampliamenteutilizadayreconocidacomoconceptoclavepara
laevaluacindeintervencionessociales(trabajosocial,drogodependencia,ayudahuma
nitaria,etc.).

Parailustrarlanecesidaddelautilizacindelcriteriodecoberturapuedeservlidoun
ejemplodeunproyectodedesarrolloruralclsicoenunacomunidad.

Imaginemosqueelproyectotienecomoobjetivomejorarlascondicionesdevidadeloshabi
tantesdelacomunidadimplementandoinfraestructurasocialyproductiva.Paraellose

23.ALVIRA,F.(1991)MetodologadelaEvaluacindeProgramas.CSIC.Madrid.p.39.
24.COHEN,ALBERTO;FRANCO,ROLANDO(1993).Laevaluacindeproyectossociales,Madrid.p.96.
25.EMCDDA.EUROPEANMONITORINGCENTREFORDRUGSANDDRUGADDICTION.(1998).Therecomendationsfordrugsand
drusaddictionevaluation.
26.ALVIRA,F.(1991).Op.cit.

60 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

habadiseadounaseriederesultadoscomoladotacindeunareddeelectrificacinde
viviendaspormediodeenergasolar,laextraccinyalmacenamientodeaguapormedio
deunabombasolar,lainstalacindeunareddesuministrodeagua,laconstruccinde
unabateradebaosylaconstruccindecarpassolares(invernaderos)paracadafamilia.

Sehaestablecidounacuerdodecolaboracinentrelainstitucinylacomunidadenelque
sedefinaquelaspersonasbeneficiariastendranqueproveerdemanodeobra,delos
materialeslocalesdeconstruccinydeunapequeacantidaddedinerodestinadoaun
fondocomnquesirvieraparamantenimientodelasinfraestructuras.Lainstitucinejecu
toraseharacargodelrestodeinsumosycostes.

Aunquelamayorpartedelacomunidadcumplasupartedelcompromisohubopersonas
quenoaportabanlamanodeobraosucuotaalfondo.Siestoocurra,lomsnormalera
quequedasenfueradelapartedelproyectoparaelquenohabancolaborado,siendolo
mshabitualquedarsesinelinvernadero(queimplicabainvertirungrannmerodehoras
detrabajoyesfuerzo).

Aparentementeloscompromisospedidosaloscomunitarioseranaccesiblesatodossus
miembrospero,porquhubogentequepudindosebeneficiardelatotalidaddelproyec
tonolohizo?Tantolostcnicoscomogranpartedelacomunidadbuscabanrespuestasa
estapreguntaencausasdendolepsicolgicaopersonal:estossonunosflojos,oesos
sonunpocovagos.Peropuedeserqueexistieranrazonesdemspesoqueexplicasen
estareaccindefaltadecompromisodealgunosyquetuvieraqueverconeldiseodel
proyecto.

Simantenemosunavisinsobrelacomunidadbeneficiariahomognea,esfcilpensarque
todoslosimplicadostienenlasmismasoportunidades,porloquelanoparticipacinenel
proyectoesunadecisinpersonalyaquesilosdemspueden,porqutno?.

Perolascomunidadesopueblosnotienenporquserhomogneas.Puedehaberdiferen
tessituacionespersonalesenrelacinconlatierra,eldinero,eltrabajo,elestatus,elgne
ro,laetnia,etc.Estasdiferentessituacionesqueformanunespectroheterogneodela
poblacinpuedenimplicarquelosindividuostengandiferentesoportunidadesconrelacin
aunproyectodeAccinSocial.Esdecir,dentrodeunacomunidaddeterminadapuede

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 61


2 ANLISIS ESTRATGICO

haberpersonasmsabocadasaunaeconomadesubsistenciaquelesrestecapacidadde
maniobraparaemplearsutiempoenotrastareasquenoseanlasestrictamentenecesa
rias.Ypuedehaberpersonasconeconomasmsestablesquepuedendedicarsutiempo
alaformacinoatrabajosextras.

Estaseraunaposibleinterpretacindequehubieragentefueradelproyectopeseaque
ibaaredundarenunamejora(conscienteyverbalizadaporloscomunitarios)desusopor
tunidadesycalidaddevida.

Loqueseestilustrandoconelejemploeslaexistenciadeunsesgoenlacoberturadel
proyectoqueperjudicaraalosquemenostienen,ybeneficiaraalosquemstienen(den
trodelacomunidad).Sepodrahaberdejadosininfraestructurasproductivasalosms
necesitadosdeellasyhaberpotenciadoalosmenosnecesitadosporpartirdeunsupues
tofalsodequetodoslosmiembrosdelacomunidadtienenigualdaddeoportunidadesde
concurriralosbeneficiosdelproyecto.

B.ASPECTOSBSICOSDELACOBERTURA
SegnladefinicindeAlvira27 recogidaanteriormentesepodradisgregarlacoberturaen
tresaspectosbsicos:

I.Tasadecobertura
II.Sesgodelacobertura.
III.Accesibilidad.

I.TASADECOBERTURA
LosautoresCohenyFrancoladefinencomolaproporcinqueformapartedelgrupometa,
tienelanecesidadyrecibelosservicios,divididaporlapoblacintotaldelgrupometaque
tienelanecesidadqueelproyectopretendeatender28.

Enelejemploquenosocupa,latasadecoberturaseraelnmerodepersonasquehan
accedidoatenercarpassolaresdivididoporelnmerodepersonasqueestabannecesita
dasdelascarpassolares(indistintamentedequelastenganono).

27.ALVIRA,F.(1991).Op.cit.
28.COHEN,ALBERTO;FRANCO,ROLANDO(1993).op.cit..p.96.

62 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

II.SESGOENLACOBERTURA
Existesesgoenlacoberturacuandoelproyectollegaaunapoblacinparalacualnoesta
badefinidoocuandointervienesloenundeterminadosubgrupodelapoblacindefini
da,conunascaractersticasespecficas.

Elprimerpasoparaanalizarelsesgoenlacoberturaesobservarsutasadecobertura,una
tasabajapuedeincrementarelsesgo.29Si,porejemplo,slosehabeneficiadoun10%
delapoblacindestinataria,esmuyprobablequeexistanvariablesestructuralesqueestn
discriminandoal90%delapoblacin.Delamismamanerapasaconelmuestreoestads
tico:cuantomspequeaeslamuestramsprobabilidadhaydequeestsesgada,ycuan
tomsgrandeseaymsseparezcaalapoblacin,menosprobabilidadhay.

Elevaluadordebeobservarlosdiferentesgruposbeneficiariosqueparticipanonoenelpro
yectoycompararentreellosunaseriedecaractersticassociales,culturaleseconmicasy
polticasparapoderversiexistesesgoenlaintervencinydequtipoes.

Ladeteccindelsesgotienequecentrarseenelestudiodelgradodeinfluenciadelasmis
masvariablesenlosdiferentessubgruposquepuedenconstituirlapoblacin.Puedehaber
diferenciassignificativasdeimpactoendiferentessubgruposdepoblacin30.Elmismoautor
proponediferentesmecanismos,aportadosporlaexperiencia,paradetectarlaposibleexis
tenciadesesgos.Elprocesoconsisteeninquirirsiexistensubgruposdentrodelapobla
cindefinidosentrminosdeetnicidad,gnero,estatussocioeconmico,ocupacin,loca
lizacin(urbanaorural)ocircunstanciasfamiliares(madressolasuorfandad).Sedebe
valorarculesdeestossubgruposestnincluidosenlosprogramasyculeselimpacto
diferencialentreellos.

III.ACCESIBILIDAD
Endefinitiva,lacoberturanohacemsquecomprobarenlaevaluacinloqueyaseha
pedidoeneldiseodelproyecto:queseasegurequelosgruposbeneficiariosestnbien
escogidosdeacuerdoaunoomsdelossiguientespuntos:

reageogrfica,dondelamayoradelapoblacinpertenecealgrupobeneficiario.

29.EMCDDA.EUROPEANMONITORINGCENTREFORDRUGSANDDRUGADDICTION.(1998).p.79.
30.Hallam,A.(1998).EvaluatingHumanitarianAssistanceProgrammesinComplexEmergencies.London.p.54.

GUA DE EVALUACIN DE PROGRAMAS Y PROYECTOSSOCIALES 63


2 ANLISIS ESTRATGICO

Campodeactividad(p.ej.familiasconciertoniveldeingresos,personasinmigradassin
regularizar).
Situacineconmica,condicionesdevida.
Accesoaserviciossociales(salud,educacin,etc.)
Sexoyedad.
Clase,casta,etniaystatus,etc.

3.1.7.Replicabilidad

A.CONCEPTO
Seentiendeporreplicabilidadlacapacidaddeunproyectoparagenerarconocimientos
capacesdeserutilizadosprovechosamenteenotrosproyectos,actuacionesoprocesos
autnomosdedesarrollo.Estecriteriopuedeserconsideradocomoadicionalalosseisante
riores,quesonlosmsgeneralmenteaceptados.

Todoslosproyectos,enmayoromenormedida,producenestetipodeconocimientosgenerali
zablesaotrosproyectossimilaresoaplicablesengeneral;aunconsiderandoquecadaproyec
todebeserproductodeunareflexinsingularquecontemplelaspeculiaridadesdelmarcoen
elqueseejecutar,laexperienciayelsaberhaceracumulado,sonydebensertransmisibles.

Estatransmisinadquiereunaimportanciafundamentalalgenerarprocesosdedesarro
llo,elefectodemostrativo,quedebensuperarelmarcodelpropioproyecto,propiciando
unaculturadeldesarrollo,queeselfinltimodetodoproyecto;pasandoasdeunatrans
formacindiscretaaunadifusa,conefectosespacialesytemporalesmuchomsamplios
queloscircunscritosalpropioproyecto.

Deestemodo,unproyectodebepreveryproponerseelgenerarlosmximosefectoscola
teralesposibles,estudiandoyfomentandolosprocesosdedesarrolloque,incluso,nocon
duzcanallogrodelosobjetivospredeterminados.

B.SITUACINENLAMATRIZDEPLANIFICACINDELPROYECTO
Comoltimoefectodelproyecto,lareplicabilidadsedebeanalizarbasndoseentodala
matrizdeplanificacin.Esnecesarioconsiderar,asimismo,consumaatencinlosproce
sosespontneosinducidosporelproyectoyloscanalesdedifusindelosmismos.

64 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

C.CONSIDERACIONESENLAEVALUACINDELAREPLICABILIDAD

Alahoradeevaluarlareplicabilidad,sepuedenplantearlassiguientespreguntas:

Elproyectoformapartedeunalneaestratgicadentrodelacualsepuedaninter
cambiarexperiencias?
Existenlosprocedimientosparafavorecerlacirculacindelasexperienciasyapren
dizajes?
Enqumedidaessuficientementeflexibleparapermitirsureplicacinnomimtica?
Enqumedidaelproyectoesreproduciblesinrequerirapoyoexterno?
Seprestaatencinalosflujosformaleseinformalesquefacilitanladifusinyfacilitan
aleventualreplicacin?
Facilitaprocesosdedesarrolloparalelos?

3.1.8.Equilibrioentreloscriterios

Loscriteriosexpuestosenestecaptulosonenciertamedidaexcluyentes;esdecir,quela
bsquedatendenteamaximizaralgunodeellosprobablementeconduciralaminimiza
cindeotrouotros.

Porejemplo,unproyectoquepusieraenmarchaunaentidadcrediticiaconelpropsitode
lograrlamximaviabilidaddelamisma,lacapacidaddeperdurarautnomamentesinreque
rirapoyosexternosenelfuturo,sacrificarasupertinencia.Dadoquelaviabilidaddeunaenti
dadcrediticiasebasa,entreotrosfactores,enreduciralmximolosimpagosdelospresta
tarios,unamaneradeconseguirloesreducirelriesgodelosprstamos,porloquetendera
aprestarapersonascongarantaseconmicasquepermitieranresarcirsedelimpago;elimi
nandoasapartedelaseventualespersonasbeneficiariasquenotieneaccesoaloscrditos
comerciales.Estecomportamientoerosionaralosfundamentosdelpropioproyecto.

Delmismomodounproyectoquepersiguieramaximizarlaeficienciapondraenriesgola
eficacia;yaquestaslosealcanzaacostadeunaciertaredundanciaenlasactividades.

Asimismounproyectoquepersiguieraatodacostalaeficacia,podemosdecirquesitua
daenelinteriordelpropioproyectooensupermetro,actuarareduciendolosflujoscon

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 65


2 ANLISIS ESTRATGICO

elambienteexternoalproyecto,yaqueestosflujossonloscausantesfundamentalesdela
incertidumbreenellogrodelosobjetivosalponerenpeligro,porsucarcterincontrolable,
lacausalidadenqueseapoyalalgicainternadelproyecto.Pero,lareduccindeestosflu
josafectaragrandementealosimpactospositivosdelproyecto,ascomoasureplicabilidad.

Deloanteriorsededucequelagestindeunproyecto,yporendelaevaluacin,tratade
asegurarunequilibrioentreloscriteriosdemanera,queanadmitiendoquesecondicio
nannegativamente,todospuedanserrazonableysatisfactoriamentealcanzados,sibien
noenelmximogradotericamenteposibleparacadauno.

3.1.9.Otroscriteriosdevalor

A.VISIBILIDAD
Eslaapreciacindelproyecto,lainstitucinysusaccionesenelrolsocialqueestdesempe
andotantoenlapoblacinbeneficiaria,enlapoblacinengeneralascomoenotrasins
titucionesdesucampodeaccin.

Afectaalascuestionesdevisibilidadinstitucionalysocialdelprograma,elconocimientode
lainstitucinysusproyectos,lafiabilidaddesuactuacin,larelevanciadesusacciones
ascomoasuestrategiainformativa.

Convienerevisar:

Correctadifusindelproyectoeinstitucin.
Adecuacindeloscanalesdeinformacinalaspersonasbeneficiarias.
Sielproyectoylainstitucinhansidoreferentesenelsectordeintervencin.

B.PARTICIPACIN
Laevaluacinparticipadatiendeaincluireneldiseo,laejecucinyelaboracinfinal,alos
diferentesactoressocialesqueafectanohansidoafectados/asporlaintervencin.Valora
yrecogeelgradodeimplicacindelosactoresdirectosdelaaccin.Esunfactorclaveque
facilitaypuedegarantizarlaviabilidaddeunaaccinoproyecto,debemostenerencuenta:

Silaparticipacinsehaincluidoentodaslasfasesdelproyecto.

66 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

Sisehandispuestoloscanalesdeparticipacinparahombresymujeres,niosynias.
Diferentesnivelesdeparticipacinencadaunadelasfasesdelproyecto:
Nivel1:Participacinsimblica:laspersonasbeneficiariastienenlaposibilidadde
expresarsuopininconrespectoalproyectoperoenrealidadstatienepocaonin
gunaincidenciasobreelproyecto.Suelenserproyectosdiseadosendespacho.
Nivel2:Asignadosperoinformados:laspersonasbeneficiariasconocenlasintencio
nesdelproyectoytienenunpapelsignificativo,nodecorativo.
Nivel3:Consultadoseninformados:Elproyectoestdiseadoydirigidodeformaexterna
perolaspersonasbeneficiariasconocenelprocesoysusopinionessetienenencuenta.
Nivel4:Concapacidaddedecisin.Losproyectossurgenapropuestadelapobla
cinbeneficiariaylasdecisionessetomandeformacompartidaconlasentidades
financiadorasolaONGqueejecutaelproyecto.

C.PERSPECTIVADEGNERO
Sirveparamedirlosefectos,consecuenciasybeneficiosdiferenciadosqueunprograma
hatenido,opuedetener,parahombresymujeres,niosynias.

Evalasilasnecesidadesprcticaseinteresesestratgicosdelasmujeresyhombresse
reflejanenelproyectooprogramadeformadiferenciada,ascomosucontrolysuacceso
alosrecursos,debemostenerencuenta:

Sisehaincluidolaperspectivadegneroentodaslasfasesdelproyecto.
Lacontribucindelosdistintosagentesalproyecto,surolenlosprocesosdetomade
decisionesyladistribucindeltiempo.
Elaccesoycontrolalosrecursosdistinguiendoentrehombresymujeres.
Elgradodeorganizacindelgrupobeneficiarioysucapacidadadquiridaparabuscar
nuevassolucionesasusnecesidadesyproblemas.
Sisehandispuestoloscanalesdeparticipacinparahombresymujeres,niosynias.
Sisehancontempladomedidasdeaccinpositivacompensadorasdelosdesequili
briospreexistentes.

D.OTROSCRITERIOS
Otroscriteriosdevaloratenerencuentaseranlaequidad,legeneracin,lalogsticayla
transparencia.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 67


2 ANLISIS ESTRATGICO

3.2. Fuentes de verificacin

Lasfuentesdeverificacinseran:elconjuntodemediosoprocedimientosquenospermi
tenanalizarhastaqupuntosehancumplidolosindicadores.

Unindicadorquecarezcadefuentedeverificacinresultaunindicadorintil,puesser
imposiblecomprobarsucumplimiento.Deigualforma,elaccesoalainformacinsensi
blealosprogramasyproyectosdeAccinSocialyotrosdocumentosesesencialparael
desempeodelasfuncionesdeevaluacin.

Lasfuentesdeinformacinseconstituirnenherramientasqueapoyanalosprocesosinvolu
cradosenlosmodelosdegestin:diseo,formulacin,planificacin,ejecucinyevaluacin.

Elalcancedelaactividadevaluadoraestconformadoporelconjuntodeprocesosyacto
resqueintervienenparaqueelconocimientoseproduzca,circuleyseutiliceenlatoma
dedecisiones.Laverificacinymanejodefuentesdeinformacintiene,portanto,adems
deloespecficamentecorrespondientealaevaluacin,elobjetivodepromoverlaproduc
cin,diseminacinyutilizacindeconocimientosquecontribuyanalbuendesarrollodel
procesodeevaluacin.

Elequipoevaluadordelproyectodeberidentificarlasfuentesexistentesdeinformacino
realizarprevisionespararecogerinformacin,comounaactividadntimamenteligadaalas
diferentesfasesdelproyecto.

Esimportanteconsiderarlabsquedadeunasfuentesdeverificacinnomuycostosas,de
fcilobtencinymoderadamentefiables;estatareadebeserrealizadayajustadaacada
casoconcreto.

Podemosclasificarestasfuentesdeverificacinen:

Internas;soncreadasporelpropioproyecto,
Externas;seencuentrandisponiblesalmargendeste.

Acontinuacinenumeramosalgunasposiblesfuentesdeverificacin:
I. Publicacionesperidicas:Artculosenrevistasdecalidadcientficayacadmicaque
analicenalgnaspectodelapolticadeevaluacin.

68 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

II. Monografas:Engenerallosdocumentosproducidospororganismosoficialessonde
carctermonogrficoeincluyenunaampliagamadetemas,desdeplanesnaciona
les,hastaanlisisyevaluacindeprogramaseinstrumentos.

III. Estadsticasgenerales dediferentesreasquesirvandebaseparalaspolticasdeinvesti


gacinenelsector.Documentosquetratendelametodologapararecopilarestadsticas
eindicadoresespecializados.Documentosndicesdevariastipologasdeindicadores.

IV. Legislacin:referentealacreacindeorganismos,aprobacindeplanesyprogramas
deinvestigacinysistemasdefinanciamiento,creacindeunidadesdeinvestigacin
especializadas,polticasdeinvestigacinendiferentesreasdeconocimientorelacio
nadoconevaluacin.

V. Directoriosdeinstitucionesydocumentosenlosquesedescribenlasinstituciones,sus
funcionesyactividades.OrganismosdePoltica,Organismosejecutores,Institucionesaca
dmicas,Institutosdeinvestigacinpblicos,Organismosprivadossinfinesdelucro,
Empresasyorganizacionesdeservicio,Organismosdefinanciacin,pblicosyprivados.

VI. Descripcindelossistemasdeevaluacindeproyectos:sistemasdeevaluacin,ins
truccionesalosevaluadores,informesderesultadosdetipogeneral,documentosde
fundacionesfinanciadoras.

VII. Recursoshumanos:Incluyenestudiosacercadelosrecursoshumanos.Censospobla
cionales.Sistemasdeformacinyevaluacinderecursoshumanos.

Puntosclaveparaidentificaradecuadamentelasfuentesdedatosdisponiblesynecesarios
paralaevaluacin:

I. Conocerbienelprograma.Esarriesgadoiniciarunaevaluacinsinconocerconpre
cisinlosdetallesadministrativoseinstitucionalesdelprograma;estainformacinen
generalprovienedelaadministracindelprograma.
II. Recopilarinformacinsobreloshechospertinentesalentorno;podranincluirelmapa
depobreza,laformaenquefuncionaelmercadolaboral,lasprincipalesdivisionestni
casyotrosprogramaspblicosdeintersyconpotencialincidenciaenelproyecto.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 69


2 ANLISIS ESTRATGICO

III. Sereclcticoconrespectoalosdatos.Lasfuentespuedenabarcarentrevistasinfor
malesnoestructuradasconparticipantesenelprogramaydatoscuantitativosdemues
trasrepresentativas.

IV. Asegurarsedequeexistendatossobrelosindicadoresderesultadosyvariablesexpli
cativaspertinentes.Estasltimasdebenabordarlaheterogeneidadenlosresulta
dosbasadaenlaparticipacinenelprograma.Dependiendo,porejemplo,sise
cuentaconciertoniveldeinstruccin,losresultadospuedenserdiferentes.Podra
serimposibleobservarelefectodelprogramaamenosquesecontroleporesahete
rogeneidad.

V. Dependiendodelosmtodosusados,tambinsepodrannecesitardatossobrevaria
blesqueinfluyenenlaparticipacin,peronoinfluyenenlosresultadosdadalaparti
cipacin.Estasvariablesinstrumentalespuedenservaliosasparasepararlosefectos
probablementecausalesdelosprogramasnoaleatorios

VI. Losdatossobreresultadosyotrasvariablesexplicativaspertinentespuedenser
cuantitativosocualitativos.Perodebeserposibleorganizarlainformacinencier
totipodeestructurasistemticadedatos.Unejemplosimpleycomnesquese
tienenvaloresdediversasvariables,incluidounoomsindicadoresderesultados
paradiversasunidadesdeobservacin(individuos,hogares,empresas,comuni
dades).Frecuentementelasvariablessobrelasquesetienendatosylasunidades
deobservacinqueseusanseseleccionancomopartedelmtododeevaluacin.
Estaseleccionesdebenestarvinculadasalconocimientopreviosobreelprograma
(desdeluego,susobjetivos,perotambincmosemaneja)yelescenarioenque
seintrodujo.

VII. Lafuenteespecficadelosdatossobrelosresultadosysusdeterminantes,incluidala
participacinenelprograma,engeneralprovienededatosdeencuestasdealgntipo.
Launidaddeobservacinpodraserelhogar,empresaoreageogrfica,dependien
dodeltipodeprogramaqueseestestudiando.

VIII. Losdatosdelasencuestasconfrecuenciasepuedencomplementarconotrosdatos
tilessobreelprograma.

70 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

3.3.LaOperacionalizacin:deCriteriosaIndicadoresdeEvaluacin

Laoperacionalizacinconstituyeunafaseintermediaenelprocesodeevaluacin.Espos
terioraladefinicindeloscriteriosdeevaluacinysedesarrolladeformaparalelaaldise
ometodolgico.

Laoperacionalizacinesunprocesodeductivoque,desdeloscriterios,vaestableciendo
lossubcriterios(preguntas),losindicadoresysuscorrespondientesfuentesdeverificacin.
Deformasecuencialycoherentesevapasandopordiferentesfasesque,desdeelconcep
tomsgeneralyabstracto,vanaportandounmayorgradodeconcrecin.

Lafinalidaddelaoperacionalizacinesobtenerunainformacinque,deformasistematizada
ylgica,permitaestablecerencadaunodeloscriteriosunenjuiciamientosobreelproyecto.

Laoperacionalizacinserealizaenbaseadosejercicioslgicos:

Eltrabajoverticalconsisteenlaexplicitacindeloscriteriosatravsdeladefinicinde
preguntas.
Yeltrabajohorizontalsecentraenlaconstruccindeindicadoresylabsquedade
extraccindeinformacin.

Esmuyimportantequeexistaunaclararelacinlgicatantoensentidoverticalcomohori
zontalenlamatrizdeldiseodeevaluacin.

MATRIZDELDISEODEEVALUACIN
CRITERIO:(IMPACTO,EFICACIA,PERTINENCIA)
ASPECTOSQUE FUENTESDE
PREGUNTAS DEFINENLAPREGUNTA INDICADORES EXTRACCINDELA
(OPCIONAL) INFORMACIN
....... ....... ....... .......
....... ....... ....... .......
TRABAJO TRABAJOHORIZONTAL
....... VERTICAL ....... .......
INDICADORESPARACADAPREGUNTA .......
DEFINICIN FUENTESDEEXTRACCINDEINFORMACIN
....... ....... ....... .......
DE
....... CRITERIOS ....... ....... .......
Y
....... PREGUNTAS ....... ....... .......
....... ....... ....... .......
....... ....... ....... .......
Fuente:busteloruesta,m.yligerolasa,j.(2002)31

31BUSTELORUESTA,M.YLIGEROLASA,J.(2002)DocumentosdetrabajodelMsterenEvaluacindeProgramasyPolticasPblicas.

GUA DEEVALUACINDEPROGRAMASYPROYECTOSSOCIALES 71
2 ANLISIS ESTRATGICO

Unavezdefinidosloscriteriosseprosiguedesglosndolosensubcriteriosopreguntasde
evaluacin.Estossubcriteriosconfiguranladefinicinoperativadecadaunodeloscrite
riosyprocedendevariasentradas:

Delasnecesidadesdelosstakeholderssisonrelevantesypertinentes.
Delamatrizdeplanificacindelproyecto.
Delabibliografa,laexperienciayelestudiodelproyecto.

Pararealizarlarecoleccindedatosesnecesariapreviamentelaconstruccindeindica
doresparacadaunodelossubcriteriosseleccionados.

3.4. instrumentos de seguimiento:losindicadores

Losindicadorestienencomoobjetivodescribir,cuantitativaocualitativamente,elcompor
tamientodealgunavariable.Unindicadoresunamedidaobservableparademostrarque
algohacambiado. Cumplen,portanto,unafuncindescriptiva.Deigualmodopueden
cumplirunafuncinnormativa,cuandomuestranloquedeberaser(seutilizaneneste
casocomoparmetrosdereferencia).

Porejemplo,sisehanconcedido3becasdeformacinparadesempleadasmenoresde
25aosenunproyectosobreempleabilidaddemujeresyenelplandedesarrolloseesta
blecicomoresultadoprevistolaconcesinde4,elnmerodebecasrealmenteconcedi
dasactacomodescriptor,mientrasqueelresultadoprevistofuncionacomoparmetrode
referencia.

Unindicadordaunaideadelresultadoqueseintentaalcanzarodelefectoqueseespera
obtener.Elindicadorproduceuntipodeinformacinqueayudaralosprogramadoresa
tomarmejoresdecisionesrespectodelaaccinqueestnadministrando.

Losindicadorespuedenserdirectosoindirectos.Porejemplo,sielobjetivoespecficoes
aumentarlaformacindelapoblacin:

Unindicadordirectopodrasermatriculacinenestudiosdesegundociclo.
Unindicadorindirectopodrasernmerodehorasdedicadasalalectura.

72 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

Alahoradedefinirunindicadorhayqueespecificar:

Elgrupobeneficiario:enelejemploanterior,seraelalumnadomatriculadoenestudios
desegundociclo.
Lacantidad:nmerodealumnos/as.
Lacalidad:personasmatriculadasporprimeravez.
Tiempo:entreeneroydiciembrede2003.
Ubicacin:FuenlabradaMadrid.

Siguiendoconelejemplo,elindicadorsera:elnmerodealumnasyalumnosmatriculados
porprimeravezenestudiosdesegundociclo,enFuenlabradaMadrid),duranteelao2003.

LASCARACTERSTICASDEUNINDICADORDEBENSER
SUSTANTIVO Reflejaunaspectoesencialdeunobjetivoentrminosconcretos

Todoobjetivoyresultadodebetenerasociadoalmenosunindicadorynodebe
INDEPENDIENTE
utilizarseelmismoindicadorparamsdeunobjetivo

OBJETIVO Debereflejarhechosynoimpresionessubjetivas

Los cambios registrados pueden atribuirse directamente a los efectos del


VEROSMIL
programaoactuacin

FCILDE Basadoendatosfcilmentedisponiblesocuyaobtencinnosupongaungran
OBTENER esfuerzoocoste

VERIFICABLE Cualquierpersona,utilizandoelmismoprocedimientodemedicinde
OBJETIVAMENTE maneraindependiente,obtienelamismamedicin
Fuente:Elaboracinpropia

LOSINDICADORESPUEDENCLASIFICARSEEN:

I. INDICADORESDEBASEOELEMENTALES: seapoyanenlosprocesosqueestnocu
rriendo,enlasaccionesqueelProgramaoProyectoestllevandoacabo.Sesubdivi
den,asuvez,en:

Indicadoresderealizacin:midenlaejecucinfsicayfinanciera.Porejemplo,elnme
rodetalleresdecapacitacinrealizadosenelmarcodeunProgramaoProyectode
formacinagrcolaesunindicadordesurealizacin.
Indicadoresderesultado:midenlosefectosdirectosquepuedenserfsicosomoneta
rios.Elnmerodeparticipantescapacitadosseraunindicadordeestetipo.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 73


2 ANLISIS ESTRATGICO

II. INDICADORESDEIMPACTO: midenlosefectosmsglobaleseindirectos.Sepuede


distinguirentre:

Indicadoresdeimpactoespecfico.
Indicadoresdeimpactoglobal.Elnmerodealumnosformadosquehanencontrado
empleograciasalcursodeformacinseraunindicadordeimpacto.

III. INDICADORESCOMPLEMENTOSODERIVADOS: sebasanenlostresanterioresyse


dividenendos:

Deeficacia:midenhastaqupuntosehanalcanzadoloslogrosestablecidosdeante
mano.Siguiendoconelejemploanterior,elnmerodetalleresrealizadosenfuncin
deloprevistoesunindicadordeeficacia.
Deeficiencia:relacionanelresultadoconseguidoconelcosteenqueseincurre.El
costeporparticipantecapacitadoesunindicadordeeficiencia.

Unimpactoespecficoeselefectoproducidodespusdetranscurrirunciertolapsodetiempo,
directamenterelacionadoconlaaccinrealizada.Porejemplo,elimpactoespecficodela
construccindeunacarreteraes:elaumentodelaseguridadoelincrementoenelflujode
personasyvehculos.

Losimpactosglobalessonlosefectosamslargoplazoqueinfluyenenunapoblacinms
ampliadelapoblacinobjetivo.

Tambinpuedenconstruirseindicadorescompuestos,quesonlasumaponderadadealgu
nosindicadoresderivados.Suponderacin,esdecir,supeso,serelreflejodesuimpor
tanciarelativaenelndicecompuesto.

Hayotrasclasificaciones.Porejemplo,segneltipodeinformacinquerecojan:

Indicadoresdeactividades
Indicadoresdeproductos
Indicadoresdegestin
Indicadoresdecontexto

74 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

Laseleccindeindicadoresesunpasocrucial,puesunexcesodeindicadorespuederetra
sarcualquierintentodesistematizacinoperativadelainformacinrelevante.Generalmen
teunindicadornovaareflejarmsdeun20%detodalainformacinqueunaactuacin
puedeimplicar.Portanto,comonoesposiblerecogertodalainformacinrelevantesobre
eldesarrollodeunaactuacindefiniendoslounindicador,esnecesariodefinirunabate
raoconjuntodeindicadores.

LascaractersticasdealgunosplanesoprogramasdeAccinSocialpermitenqueelsegui
mientodesupuestaenmarcharequieraslounsencillosistemadeinformacin,mientras
queotros,denaturalezacompleja,porlaparticipacindemltiplesagentesydiversidad
deactuaciones,exigendestinarmayornmeroderecursosasusistemadeseguimiento.
Encualquiercaso,elsistemadeseguimientodebeserlobastantesimpleparaquenoresul
teunacargaexcesivadetrabajoalequipotcnicoydegestinylobastantecompletopara
satisfacerlasnecesidadesdeinformacinyevaluacin.

Laexperienciademuestraqueparaqueelsistemadeseguimientofuncioneyseaoperati
vodebeestarintegradoenlagestindelProgramaoProyecto,esdecir,losgestoresytc
nicosdebenestarimplicadosensudesarrollo.

Esimportantequeelpersonalimplicadoenlastareasdeseguimientorecibaunaformacin
adecuadayespecficasobrelastareasytcnicasrelacionadasconelusodelsistemade
seguimientoysuutilidad.Adems,esnecesarioqueestninformadosdelosdesarrollosy
modificacionesqueafectenalosregistros,porejemplo,cambiosenlosobjetivosdelPro
gramaoProyecto,ensuestrategia,enlapoblacinalaquevadirigidalaintervencin,etc.

Paraposibilitarlaagregacin,cuandoseanecesaria,yeltratamientodelosdatos,elsiste
madeseguimientodebetenerunsoporteinformtico(basededatosuhojadeclculo)que
permitadetectarlasrelacionescausalesquehandadolugaraundeterminadoresultadoy
facilitesuanlisisestadstico.

Unbuensistemadeindicadoresdebereunirlassiguientescaractersticas:

nosernexcesivosennmero,estarnclaramentedefinidos,sernespecficoseinde
pendientesunosdeotrosysernsignificativos;

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 75


2 ANLISIS ESTRATGICO

Susvaloresdebernserconstantesentantoserecopilenencondicionesidnticasy
tendrnquesersensiblesaloscambiosenlasituacindelproyecto;
Debernmedircondicionesespecficasqueelproyectoaspiraacambiar,reflejarlos
objetivosdelproyectoyserrelevantesenrelacinconlosobjetivosdedesarrollo;es
convenientetambinquelosreceptoresparticipenensudiseo;
Silarecopilacindedatosrequiereesfuerzosimportantes,estodeberserprevistoen
elmomentodelaformulacindelaintervencineincluirsuscosteseneldiseo.

Elusodeunindicadoruotroenlaevaluacindeberserdecididoporelequipoenfuncin
deaquelloquesequiereobservar,delosdatosdisponiblesy,finalmente,deacuerdocon
lacapacidadylosrecursosparaconseguirlainformacinnecesaria.

EJEMPLOS:

CRITERIO:EFICACIA
ASPECTOSQUE FUENTESDE
PREGUNTAS DEFINENLAPREGUNTA INDICADORES EXTRACCINDELA
(OPCIONAL) INFORMACIN
Cuestionario semestral
Incrementocon
Existenciadecierta a los alumnos de 10
relacinalsemestre
Disminucindel correlacinnegativaentre curso.
pasadoenalgoms
consumodealcohol lapercepcindelriesgo Pregunta n 8: valora
deun5%de la
entrelosjvenesde paralasaludquesupone del1al 10 el riesgo
percepcindelriesgo
10curso elconsumodealcoholyel parala salud que crees
enelconsumode
consumodelmismo quesuponeel
alcohol
consumode alcohol

CRITERIO:EFICIENCIA
ASPECTOSQUE FUENTESDE
PREGUNTAS DEFINENLAPREGUNTA INDICADORES EXTRACCINDELA
(OPCIONAL) INFORMACIN

Qurelacinexisteen Contrasteentreel
Entrevistas
cadaunadelasfases Recursosfinancieros programaoproyecto
semiestructuradas a
entreloscostesy (segnpartidas)/ identificadoylo
otras ong actuantes en
recursosdel poblacin(objetivo) ejecutadosobrenivel
la zona.
programaoproyectos ocomponentesdel degasto,entiempoy
Documentacin
identificadosylos proyecto recursos,en cada
interna
ejecutados? fase

76 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


ANLISIS ESTRATGICO 2

CRITERIO:PARTICIPACIN
ASPECTOSQUE FUENTESDE
PREGUNTAS DEFINENLAPREGUNTA INDICADORES EXTRACCINDELA
(OPCIONAL) INFORMACIN

Coherenciaenla
Informes de
Culfueelgradode participacin
Definicindeparticipacin seguimiento: asistencia
participacinenlas manifestaday
conformesepresenta a reuniones y jornales,
distintasfasesde diferenciasde
enelproyecto:jornales, recaudacinde fondos.
ejecucinporparte gnero.
actividadesde Entrevistas
delapoblacin (Igualdad en la
recaudacinde fondos semiestructuradas y
beneficiaria,hombres retribucin).
yasistenciaareuniones gruposde discusina
ymujeres? (Desarrollo de otras
personasbeneficiarias
actividades paralelas)

Unavezdefinidoslossubcriterios(laspreguntasquedeberesponderlaevaluacin)ylos
indicadores(lassealesquedefinencmointerpretarlapreguntaydndebuscarlares
puesta),lospasossiguientesconsistenenrecopilarlainformacinyanalizarla,conelobje
todeemitirjuiciosdevalorsobreaquelloqueestsiendovaloradoyemitirlasrecomenda
cionespertinentes.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 77


BLOQUE1
BLOQUE3
Tcnicasala
Introduccin de

GUA
Evaluacin
PlanificacinEstratgica
3 TCNICASDEEVALUACIN

1. TCNICAS Y HERRAMIENTASPARALA
EVALUACIN

Lamayoradelastcnicasdelaevaluacindelosproyectosdeaccinsocialprovienende
otrasreasdelconocimientoyhansidoadaptadas,conmayoromenorfortuna,alcampo
delasocial.Aunas,nodebeconfundirselaevaluacinconunprocesodeinvestigacin
cientfica,puessufinalidadltimanoesladeasentarconocimientos,sinoladepermitir
nostomardecisionesquemejorennuestrasintervencionesactualesyfuturas.

Laevaluacindelasintervencionesdeaccinsocialdebeservistaascomounaindaga
cinaplicadaquerecogelosavancesefectuadosenotroscamposdeconocimientoconel
propsitodevalorarloslogrosdenuestrasaccionesdedesarrolloydeaumentarsucalidad
ysusefectospositivos.

TRIANGULACINMETODOLGICA.Unavezdesarrolladosloscriteriosdeevaluacinylas
diferentespreguntasoelementosdecadaunodeellos,procedemosalaseleccindelas
tcnicasderecopilacindeinformacin.Estastcnicassonmuchasydediversotipopero
puedenresumirseconformelatablaqueacontinuacinpresentamos.

TCNICAS TCNICAS TCNICAS


CUANTITATIVAS CUALITATIVAS PARTICIPATIVAS32
Anlisisde
Encuesta Observacinestructurada
acontecimientoscrticos

Entrevistaenprofundidad Rankingderiqueza
Medicindirecta
osemiestructuradas obienestar

Matricesdeclasificacin
Censo Gruposdediscusin
ypuntacin

Anlisis
Anlisisdocumental Diagramasde Venn
econmicofinanciero

Tantolastcnicascuantitativasycualitativascomolasdecarcterparticipativopresentan
distintascaractersticas.Mientrasquelasprimerasponenelnfasisenlamedicinobjeti
va,lademostracindelacausalidadylageneralizacindelosresultados;lastcnicascua

32.Serecogenenestatablasloalgunasdelastcnicasparticipativas.PuedeconsultarotrostiposenGEILFUS,F.F(1997)80herra
mientasparaeldesarrolloparticipativo:diagnstico,planificacinymonitoreo.SanSalvador.Prochalate.

80 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


TCNICASDEEVALUACIN 3

litativassecentranenladescripcinycomprensininterpretativasdelaconductahuma
naenelmarcodereferenciadelindividuoodelgruposocialenelqueacta.

Porsuparte,lastcnicasparticipativasseencuentranentrelascuantitativasylascualita
tivas.Comoyamencionamoseneltemaanterioralhablardelenfoqueparticipativo,su
caractersticafundamentalespartirdelaimplicacindelapoblacineneldesarrollodelas
tcnicas.Ahorabien,dependiendodeltipodetcnicaparticipativaqueusemos,stapue
deproporcionardatosobjetivosobienotrosdecarcterinterpretativo.Sinduda,lastcni
casparticipativassonlasmsnovedosasysuusonoparadeincrementarsedentrodelas
intervencionesenlaaccinsocial.

Enlaseleccindelastcnicashemosdetenerpresenteestascualidadeseintentarnolimi
tarnosatcnicasdeunslotipo.Paraquelosdatosrecopiladosseandemayorriquezay
fiabilidadesmuyimportanteoptarporlatriangulacinmetodolgica.

Latriangulacinconsisteenlautilizacindedistintostiposdetcnicasparadarcuentade
unarealidaddeterminada.Deestemodoconseguimoscontrastarlainformacinaseguran
dolafiabilidaddelamisma.Igualmenteesimportantetriangularenlaeleccindefuentes
buscandofuentesdiversas,inclusocontradictorias,paraobtenerunavisinmsobjetiva
delarealidadsocialanalizada.

Unapropuestaevaluadoraquecombinetcnicascuantitativasycualitativaspuedeserel
mejorvehculoparasatisfacerlasnecesidadesdeunproyecto:

Losmtodoscualitativossepuedenusarparainformarlaspreguntasclavesobrelaeva
luacindelimpacto,examinarelcuestionarioolaestratificacindelamuestracuanti
tativayanalizarelmarcosocial,econmicoypolticodentrodelcualsellevaacaboun
proyecto.
Losmtodoscuantitativos,puedeninformarlasestrategiasderecopilacindedatos
cualitativos,disearlamuestraparainformarlamedidaenquelosresultadosobserva
doseneltrabajocualitativosonaplicablesaunapoblacindemayortamaoalusar
unamuestraestadsticamenterepresentativa33.

33.BANCOMUNDIAL(1996),TheWorldBankParticipationSourcebook).

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 81


3 TCNICASDEEVALUACIN

Existenvariasventajasenusarlatriangulacindetcnicascuantitativas,cualitativasypar
ticipativas34,entreellas:

Sepuedenincorporarcontrolesdecoherenciaconlaayudadeprocedimientosdetrian
gulacinquepermitenrealizardosomsestimacionesindependientesdelasvariables
clave(comoingreso,opinionessobrelosproyectos,motivosparausaronolosservi
ciospblicosyefectoespecficodeunproyecto).
Se pueden obtener diferentes perspectivas. Por ejemplo, aunque el equipo
investigador considere elingreso oelconsumo comoindicadores clave delbien
estar de un hogar, los estudios de casos podran revelar que las mujeres estn
ms preocupadas por la vulnerabilidad (definida como la falta de acceso a sis
temas de apoyo social en tiempos de crisis), impotencia o exposicin a la vio
lencia.
Losanlisissepuedenconducirendiferentesniveles.Losmtodosdeencuestaspue
denproporcionarbuenasestimacionesdelbienestarindividual,familiaryaniveldela
comunidad,perosonmuchomenoseficacesparaanalizarlosprocesossociales(con
flictosocial,motivosparausaronousarlosservicios,etc.)oparaelanlisisinstitucio
nal(eleficazfuncionamientodelosserviciosdesalud,educacin,crditoyotrosycmo
sonpercibidosporlacomunidad).
Sepuedenproporcionaroportunidadesderetroalimentacinparainterpretardefor
mamsajustadalosresultados.Losinformesdeencuestasamenudoincluyenrefe
renciasaaparentesincoherenciasenlosresultadosoadiferenciasinteresantesentre
lascomunidadesogruposquenosepuedenexplicarconlosdatos.Lamayorflexibi
lidaddelainvestigacincualitativapermiteregresaralterrenoparareunirdatosadi
cionales.

1.1. Tcnicas cuantitativas

Comohemossealadolastcnicascuantitativasseapoyanenlamedicinobjetiva.Persi
guenobtenerresultadosextrapolablesaungrupoespecficodelapoblacin,bienmedian
telaseleccindeunamuestradelmismo,unnmeroestadsticamentesignificativode
dichapoblacin,obienmedianteelestudiodetodoelgrupo.

34.BAMBERGER,M.(ED)(2000).IntegratingQuantitativeandQualitativeResearchinDevelopmentProjects.Washington,DC:WorldBank.

82 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


TCNICASDEEVALUACIN 3

Lasprincipalestcnicascuantitativas,enelcampodelaevaluacin,son:

Laencuesta.
Lamedicindirecta.
Censo.

1.1.1.Laencuesta

Laencuestaesunodelosinstrumentosmspopulares,aunqueenlaevaluacindepro
yectosdeaccinsocialsuusoesmsrestringidoyaquerequiererecursosdelosquegene
ralmentenosedispone.Susprincipalesventajaseinconvenientesserecogenenlasiguien
tetabla:

VENTAJASEINCONVENIENTESDELAENCUESTA
VENTAJAS INCONVENIENTES

Permiteabarcarunamplioabanicode Noresultaadecuadaparapoblacionescon
cuestionesenunmismoestudio dificultadesparalacomunicacinverbal

Facilitalacomparacinderesultadosal basarse
La informacin se restringe a la proporcionada
en la estandarizacin y cuantificacin de las
por el individuo
respuestas

Los resultados pueden generalizarse, dentro de


Lapresenciadelentrevistadorprovocaefectos
loslmitesmarcadosporel diseo muestral
reactivosenlasrespuestas
efectuado

Posibilitalaobtencindeunainformacin Lacarenciadereferenciascontextualesyvitales
significativa,cuandonoacontezcangraves delosindividuoslimitalainterpretacindelos
erroresensurealizacin datosdeencuesta

Puedeobtenerseunvolumenimportantede Eldesarrollodeunaencuestaampliaresulta
informacinconuncostetemporalmnimo complejoycostoso
Fuente:adaptacindecead ancona(1998)35

Laencuestaesgeneralmenterealizadasobreunamuestra36desujetosrepresentativade
uncolectivomsamplioysellevaacaboenelcontextodelavidacotidiana,utilizandopro
cedimientosestandarizadosdeinterrogacin,conelfindeobtenermedicionescuantitati
vasdegranvariedaddecaractersticasobjetivasdelapoblacin.

35.CEADANCONA(1998)Metodologacuantitativa.Estrategiasytcnicasdeinvestigacinsocial.Madrid.
36.SobrelaseleccindelamuestrasepuedeconsultarelmanualdeSIERRABRAVO,R.(1995)Tcnicasdeinvestigacinsocial.Teo
rayejercicios.Madrid.

GUA DEEVALUACINDEPROGRAMASYPROYECTOSSOCIALES 83
3 TCNICASDEEVALUACIN

Laencuestadescansasobredospilares:

Laestadsticamatemtica.
Lasociopsicologadelacomunicacin(laconversacinentredosinterlocutores/as,
entrevistador/ayentrevistado/a).

As,laencuestaposeedoselementosbsicos:laentrevista(entendidaensentidoamplio)
yelcuestionario:

Laentrevistaesunaconversacinconunpropsitoentredosinterlocutores/as,orien
tadaalaobtencindeunobjetivo.Elproblemaconsisteensituaralentrevistado/ade
talmaneraquepuedatransmitirsumensajesinlimitaciones,ydequeelentrevistador/a
puedacomprenderlosinsesgarlodeacuerdoconsusprejuiciosointereses.
Elcuestionariopermitealentrevistado/aungradomenordeespontaneidadqueuna
charlanoestructurada,yaquetienequeresponderapreguntasperfectamenteformu
ladasy,confrecuencia,escogiendoentrealternativaspreviamentedefinidas.Acam
bio,estetipodeentrevistapermitecompararlasrespuestasdadasalamismapregun
tapordiferentesentrevistados/as,ascomopermitircuantificarlosresultados.

Lapreparacindeestaherramientaocupaunlugarprecisoenelprocesoglobaldelaeva
luacin.Sedebeconstruirdespusdehaberformuladoloscriteriosypreguntasdeevalua
cin.Igualmente,sisetienenclaroslosobjetivosdelaevaluacinsermsfcildecidiry
escogerlaspreguntasqueconvienerealizar.Sepuedendistinguirochofasesfundamenta
lesdeunaencuesta:

I. Formulacindelobjetivodelaevaluacin.
II. Revisindeladocumentacindelproyectoytrabajoconelequipotcnico.
III. Delimitacindelasunidadesmedianteeldiseodelamuestrayespecificacindel
mododeaplicacindelcuestionario.
IV. Diseoypretestdelcuestionario.
V. Administracindelcuestionario.
VI. Codificacinydepuracindeloscuestionarios.
VII. Procesamientoyanlisisdedatos.
VIII. Redaccindelasconclusiones.

84 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


TCNICASDEEVALUACIN 3

Encuantoaldiseodelcuestionario,handeconsiderarselostiposdepreguntasylasreglas
bsicasparasuformulacin.Engeneral,laformulacindepreguntasdeberealizarseen
unlenguajeclaroycompartidoporlosdosinterlocutores.Esaconsejableadaptarelvoca
bulariodelentrevistadorparaunamejorcomunicacinconlapoblacin.

Loprincipal,porencimadecualquieraspectotcnicodeaplicacindelaentrevista,escre
arunambientecmodoenelqueelentrevistadosesientacomprendido,yqueresaltela
importanciadesusaportaciones.Dentrodeunaperspectivamstcnica,esimportante
elaborarpreguntasclarasysencillasquesoliciteninformacinsobreunnicoaspecto,es
decirnopreguntarenunamismacuestinvariascosas.

OTRASREGLASBSICASPARALAFORMULACINDEPREGUNTAS
Eltemadecadapreguntadebeserrelevanteparaelobjetivode la evaluacin.

Laspreguntasdebenestarformuladasdemodoquelarespuestaseaclaraeinequvoca.

Evitarlaspalabrasabstractasdeltipoclase,tipo,especie.

Cadapreguntadebecontenerslounaidea.nohacerpreguntasqueincluyanunasolaidea.

Laspreguntashandeserconcisasycortas.

Laredaccindelaspreguntassehacedeformapersonalydirecta.

Convieneevitarpreguntasindiscretasodemasiadosensiblessinnecesidad.

Nousarpalabrastcnicas,abreviaturasosiglas.

Norealizarpreguntasqueobliguenaclculosoesfuerzosdememoria.

Nopresuponerdeterminadaconductaoconocimientoporpartedelentrevistado.
Fuente:Azofra,M.J.(1999)37

Porotraparte,hacerpreguntasabiertasocerradasesunadelasprincipalesdecisionesque
sehandetomar.Estoestrelacionadoconlaformadelasrespuestas:sisedeseaqueel
entrevistadorespondaconsuspropiaspalabrasseseleccionarnpreguntasabiertas;siinte
resamssituarlaopinindelentrevistadoenunaseriepreasignadadecategorasderes
puestasseutilizarnpreguntascerradas.

Engeneral,latendenciadelamayorpartedeloscuestionariosesutilizarpreguntascerra
dasydejarlaspreguntasabiertasparaindagarsobreaspectosmspuntualesosobrelos

37.AZOFRA,M.J.(1999)Cuestionarios.Madrid

GUA DEEVALUACINDEPROGRAMASYPROYECTOSSOCIALES 85
3 TCNICASDEEVALUACIN

quesetienemenosinformacin.Laspreguntascerradaspuedenserdicotmicas,esdecir
condosalternativas,odeeleccinmltiple.

VENTAJASEINCONVENIENTESDELASPREGUNTASABIERTASYCERRADAS
PREGUNTAABIERTA PREGUNTACERRADA

Proporcionaunainformacin Fcilderesponderycodificar.
msampliayexacta,expresada Reducelaambigedaddelas
enlospropiostrminosdel respuestas.
VENTAJAS encuestado. Favorecelacomparacinentre
Fcildeformular. lasrespuestas.
Sueleprecisardemenosespa Requieremenosesfuerzopor
cioenelcuestionario. partedelencuestado.

Suredaccinexigemayor
La codificacin es ms
esfuerzoyconocimientodel
compleja y laboriosa.
temaporelevaluador.
Ms expuesta a errores en el
Limitalasrepuestasa
registro de las respuestas y en
INCONVENIENTES opciones(ocategoras)
su codificacin.
previamenteacotadas.
Su contestacin exige ms
Lasrespuestaspuedentener
tiempo y esfuerzo por parte del
diversasinterpretacionesen los
encuestado.
encuestados.
Fuente:adaptacindeCeadAncona(1998)38

Respectoalascategorasderespuestas,stashandeserexhaustivasyexcluyentes.Con
vieneevitarlascategorasambiguasdeltipodependeoambas.Lascategorasinterme
dias,aquellasquenoimplicanunposicionamientoporpartedelentrevistadotalescomo
regularoniunacosanilaotra,nosuelenleerseparaevitarelquepuedaelegirla.Las
categorasnosabeynocontestadebenserseriamentepensadaseigualmentenodeben
leerse.

Laorganizacindelcuestionarioesfundamentalparalograrlosobjetivosdelaevaluacin.
Haydosposibilidades:delomsgeneralalomsconcreto(sistemadeembudo)odeloms
concretoalomsgeneral(embudoinvertido).Laprimeraimpidequeunarespuestaopre
guntaanteriorcondicionealassiguientesysuelefacilitarlarelacinentreelentrevistadory
elentrevistadoporquepermiteunaaproximacinprogresivahaciatemascadavezmscon

38.CEADANCONA(1998)op.cit.

86 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


TCNICASDEEVALUACIN 3

cretosycomprometidosdelcuestionario.Lasegundafacilitalareflexindelentrevistado
sobresuspropiasactitudesenunaseriedereasrelacionadasconelobjetoprincipal.

Entrminosgenerales, pararecopilardatosdecalidadmedianteencuestassehandetener
encuentalassiguientesconsideraciones:

Compensaralaspersonasencuestadasquepuedanquedarfuera(muestrearenexceso)
Observarlosproblemasquepuedensesgarlosresultadosdurantelarecopilacindela
informacin
Centrarelcuestionarioenlosasuntosclave
Incluirpreguntasquepermitacompararcuestionesclaveantesydespusdelproyecto
Seleccionarcuidadosamentelacantidadyeltipodeentrevistados
Probarpreviamentelosresultados
Asegurarsedequehayaunabuenacorroboracinyretroalimentacin

Porltimo,puedenresultardeutilidadlaaplicacindepequeasencuestas. stasse
realizanapequeaescala,analizandopocasvariablesyusandomuestrasacotadasyobte
nidas,muchoscasos,pormtodosinformales,noestadsticamentesignificativos.Noobs
tante,permiteobtenerinformacincuantitativaenpocotiempolacualpuedecorroborarse
triangulndolaconotrastcnicas.

1.1.2. La medicin directa

Lamedicindirectauobservacincuantitativaconsisteenrecopilardatosdeacuerdoa
unesquemadeterminadoyesmuyutilizadaescontextosdeproyectosdedesarrollo.Para
quelamedicinseasignificativaesmuyimportantedeterminardemanerapreviaqupro
piedadesocaractersticasvanaconsiderarseyculessonlasdimensionesquesemane
jan.Lamedicindirecta,portanto,vadirectamenterelacionadaconelestablecimientode
indicadores.

Confrecuencia,lamedicindirectaserelacionaconlacomprobacindelosindicadores
objetivamenteverificablesqueserecogenenlamatrizdeplanificacindelproyecto.Un
problemacomnseproducecuandolosindicadoresseencuentranmalenunciadosoresul
tanimposiblesdemedir.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 87


3 TCNICASDEEVALUACIN

Lospasosaseguirenlamedicindirectasonlossiguientes:

A.Definicindelobjetivoamedirmedianteestatcnica.
B.Delimitacindelaspropiedadesarecopilar.
C.Construccindeindicadoresyrevisindelosindicadoresdelamatrizdeplanifica
cindelproyecto.
D.Contrasteysistematizacindelainformacin.
E.Anlisisdelosdatos.

Elusodeestatcnicafacilitalaobtencindedatosmuyfiablessobrefenmenosoproce
sosfsicosperonolograprofundizarenlascausasqueprovocandeterminadasituacin.Por
ello,lamedicindirectadebeiracompaadaporotrosmodosdeanlisismsvalorativos.

1.1.3. El Censo

Elcensoconstituyeunaherramientacrucialparaunestudiocuantitativodelarealidadsocial.
Esmuytilhaberrealizadoelcensoenlafasedeidentificacindelproyectoyhaberido
incorporandosuscambios.Laexistenciadeestedocumentodondeserecogenlosdatos
demogrficosactualizadoses,sinduda,degranayudaeneltrabajodeevaluacin.

Elcensoesunproyectoquepermiteconocer,enunafechadada,elefectivodelapobla
cinenunterritorioconalgunasdesuscaractersticas:

Distribucinporedad.
Sexo.
Edad.
Estadocivil.
Situacinfamiliar.

Suejecucinsebasageneralmenteencumplimentarcuestionarios,porpartedelasper
sonasafectadasoalgunasdeellasoinclusoelagentedelcenso.

1.1.4.TcnicasdeAnlisisEconmicoFinancieroyMedicindeImpacto

Existendiversastcnicaspararealizaranlisiseconmicosofinancieros.Unadeellas,alre
dedordelacualgirarestecaptulo,eselanlisiscosteefectividad(ACE),adecuadopara
proyectoshabitualesenlaAccinSocial,quenosloproducenbienesyserviciostangibles

88 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


TCNICASDEEVALUACIN 3

yexpresablesenunidadesmonetarias,sinoqueademsproducenotrotipodebeneficios,
intangiblesydemsdifcilcuantificacin.

LautilizacindelACEpretendedeterminar,enlaevaluacin,hastaqupuntoelempleode
losrecursoshasidocosteefectivo,entendiendoquelarelacindeseableenunacircuns
tanciaderecursosescasosygrandesnecesidadesesalcanzarlamayorefectividadposi
ble,entendidacomoellogroderesultadosyobjetivosdeseables,conelmenorcoste.El
ACEpuedeserutilizadoantesdelaejecucindeunproyectoparadeterminarhipottica
mentelosresultadosesperadosconuncostedeterminado,perotambinpuedesertilen
laevaluacinintermediaofinalparasaberquesloquesehaconseguidoenrealidad.

Elidealdelacomparacinesanalizarlasituacinconproyectoconlasituacinsinproyec
to.Oenotraspalabras,lasituacinrealmenteexistenteconloquehabrasucedidosilas
actividadesdelproyectonohubieransidorealizadas.Estoimplicalaconstruccindeun
contrafactualhistrico(unasituacinhipottica),paralocualexistenvariastcnicas.

EstoplanteaunadiferenciafundamentalconelAnlisisCosteBeneficio(ACB):conelACE
noesposiblevalorarsiloscostessonsuperioresalosbeneficios,yaquelajustificacindel
gasto,enestecaso,remitealosresultadosyobjetivosquesepretendanalcanzarconel
proyecto.Laevaluacindeberdecir,porlotanto,silosobjetivosconseguidosjustificanel
empleodelosrecursosconsumidos,osihabrasidoposibleobtenerlosconmenos,osicon
lomismosepodrahaberalcanzadoms.

Estastcnicassonespecialmenteaplicadasenlaevaluacindelosresultadoseimpactos,
identificandosusventajaseinconvenientes.Losconceptosclaveson:resultados,impac
tos,efectosestructuralesysinergias.

Frentealosresultados,quesonlosefectosmsdirectoseinmediatosdelasactuaciones,losimpac
toshacenreferenciaalosobjetivosglobales,alosefectosmsindirectosymenosinmediatos.
Losefectosestructuralespuedendefinirsecomolosimpactosquesemantienenenel
tiempoyquesetraducenencambiosenlaestructuraeconmicaysocialdelterritorio
sobreelqueseinterviene.Sonloscambioscualitativosycuantitativosdeinterrelaciones
largamentefraguadas,esdecir,muyestableseneltiempo.Portodoesto,losefectos
estructuralesdeunapolticarebasanloeconmico,entrandoenlosocialycultural.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 89


3 TCNICASDEEVALUACIN

Lassinergiassonlosefectosqueseproducencuandoelconjuntodeaccionesodeun
ProgramaoProyectoprovocaunimpactomayor(sinergiapositiva)omenor(sinergia
negativa)quelasumadelosimpactosdecadaaccin.Sepuedeconsiderarlasiner
giacomoelvaloraadidodeunconjuntodeacciones.

Losimpactos,sinergiasyefectosestructuralesnosemanifiestaninmediatamente,espre
cisodejartranscurriruntiempoentrelaejecucindelProgramaoProyectoylamanifesta
cindesusprimerosefectos.Duranteestetiempo,alosefectosprovocadostericamente
porelProgramaoProyectoselesumanlosprovocadosporfactoresexgenos(delcontex
tosocioeconmicoodeotrasactuacionespblicas),queseencuentranfueradecontrolde
losgestores.Cuantomayoreseltiempoquehayquedejartranscurrirparaquesemani
fiestenestosefectos,mayoreslacontaminacindeloselementosexgenossobrelospro
ducidosrealmenteporelProgramaoProyecto.

Laprimeradelasaccionesaejecutarserdeterminar,cuantificarycualificarloscambios
quesehanproducidoenlapoblacinobjetivo,midiendosuscaractersticasantes,duran
teydespusdelaintervencin.Unavezdeterminadalamagnituddelcambio,hayquedes
lindarenqumedidastesedebealProgramaoProyectollevadoacaboynoaotrosfac
tores.Esdecir,sonlosefectosdetectadosimputablesalProgramaoProyecto?

SetratadedeslindarelefectoprovocadoporelProgramaoProyectodeotrasinfluencias
exgenas.

Elloimplica:

Conocerlosefectosqueenlapoblacinobjetivoestnteniendootrosprogramasyotros
procesosparaleloseindependientes.
Conocerlosefectosdeldiseodelametodologaseleccionadaparalaevaluacin.

Demaneraque:

EFECTOSDEL EFECTOS
EFECTOS
IMPACTO = PROGRAMAO +/ +/ DEL
EXTERNOS
PROYECTO DISEO

90 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


TCNICASDEEVALUACIN 3

Lavaloracindelaeficienciaesunaherramientadetrabajoquepermiteevidenciarlospun
tosdbilesexistentes,entrminosderecursos,sobrelosquesehacenecesariotomardeci
sionesparasumejora.

Lacondicinnecesariaparallevarlaacaboeslaexistenciadeunsistemapresupuestario
poracciones,conlafinalidaddeconocerelgradodeoptimizacindelosrecursosutiliza
dosenlaconsecucindelosobjetivospropuestos.

Hemosseleccionadocomotcnicasparaevaluarlaeficiencia:

Elanlisiscostebeneficio.
Elanlisiscosteeficacia.
Lacomparacinentrelospreciosdelicitacin,adjudicacinyejecucin.
Elanlisisfrontera.

Ycomotcnicasparaevaluarlaeficacia:

Estudiodecaso
Mtodoexperimental
Elanlisisderegresinylosmodeloseconomtricos

A.ANLISISCOSTEBENEFICIO(ACB)

ElanlisisACBpuedeaplicarseexante,conlocualayudaraalatomadedecisineficien
tesobrealternativasdeactuacin,oexpost,deformaquepermitedeterminarelgradode
eficienciaalcanzada.

B.ANLISISCOSTEEFICACIA

Elanlisisdecosteeficaciaesunaalternativaalanlisiscostebeneficio,intentaencontrar
laeficienciaenlasinversionespblicas,especialmenteensectoresenlosqueloscostesy
losbeneficiossondifcilesdemedirentrminosmonetarios.Noesmuyeficazcuandose
aplicaaProgramaoProyectoesconmuchosobjetivos.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 91


3 TCNICASDEEVALUACIN

C.COMPARACINENTRELOSPRECIOSDELICITACIN,ADJUDICACINYEJECUCIN.

Unavaalternativaparamedirlaeficiencia,escompararlospreciosdelicitacin(PL)de
cadaproyectoconlospreciosdeadjudicacin(PA)yejecucin(PE)

D.TCNICASDEANLISISFRONTERA(DEA)

Elanlisisfronteraesunadelastcnicasdeanlisisdelaeficienciapblica.Permitecompa
rarunidadesdegestinquedesarrollanserviciosanlogos,demaneraquemuestralaeficien
ciarelativadedichasunidadesenrelacinconlafronteraeficiente,biendeformaindivi
dualparacadaunidadevaluada,bienatravsdeunamedidadelnivelmediodeeficiencia.

E.ESTUDIODELCASO

ImplicaelestudiodelProgramaoProyectoodealgunadesusactuacionesensumbito
natural,ensucontexto,analizadodesdemltiplesperspectivasyagentes.Elobjetivoes
contrastarunaseriedehiptesis,establecidasconcarcterprevio,sobreelProgramaoPro
yecto,fundamentalmenteatravsdeentrevistasyencuestas.Esjustamenteelcontexto
elconceptofundamentaldelanlisis.

Lospasosaseguirsonlossiguientes:

Seleccindelcasoenfuncindelaconveniencia,accesibilidadalainformacinyrepre
sentatividad.
EstablecimientodelashiptesissobreelProgramaoProyectoacontrastar.
Recopilacinyprocesamientodelainformacin.
Redaccinypresentacindelinforme.Eselpasocrucial,exigeunfiltrodetodalainfor
macin,detalformaqueseafcildeconsultar,tantocronolgicacomotemticamen
te,ysirvaparafuturasinvestigacionessobreeltema.Paraaumentarlafiabilidaddel
estudiosepuedeinvolucraradosevaluadoresenelmismocaso,oaagentesexternos
alProgramaoProyecto.

EnocasioneseslamejormetodologaparaevaluarProgramasoProyectoscomplejos,yper
miteextraerconclusionesgeneralizablesdecarcternoestadstico(porelloseutilizaenla

92 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


TCNICASDEEVALUACIN 3

bsquedadelasmejoresprcticas).Sinembargo,escostosa,porloquenosepuedenele
girmuestrasdecasosmuynumerosas.

Lavalidezinternatienequeverconlacausalidad.Lavalidezexternatienequevercon
la generalizacin de las conclusiones de un Programa o Proyecto a otro de similar
naturaleza39.

F.MTODOEXPERIMENTAL

Consisteenestablecerdosgrupos:unocompuestoporsujetosqueparticiparnenel
ProgramaoProyecto(grupoexperimental),yelsegundoporsujetosnoparticipantes
(grupodecontrol).Losdosgruposdebenserrepresentativosdelapoblacinobjetivo,
ylaprobabilidadquetieneunapersona(ounidaddeanlisiscualquiera)deformarpar
tedelosdosgruposdebeseridntica.steeselconocidocomodiseoexperimental
clsico.

Pormediodeunaencuesta,anterioralaaplicacindelProgramaoProyecto,losdosgru
possonpreguntadosacercadecuestionesrelativasalostemasenlosqueelProgramao
Proyectoimpactar.Acontinuacin,seaplicaelProgramaoProyectoalgrupoexperimen
tal,ysevuelvenatomarlosvaloresdeaquellosaspectosaevaluarunavezfinalizadoelPro
gramaoProyecto.

Ladiferenciaenlaspercepcionesentrelosgruposexperimentalydecontrolserlaestima
cindelosimpactosdelProgramaoProyectosobrelapoblacinobjetivo.Paraello,ningu
naotracircunstancia,distintaalhechodequeelgrupoexperimentalsehayavistoexpues
toalProgramaoProyecto,puedehaberprovocadoloscambiosobservados.

Sinembargo,esdesobraconocidoquepersonasimplicadasenexperimentospuedenmodi
ficarsuconductacuandosabenquesonconejillosdeindias;eselllamadoefectoHaw
thorne.Setratadeunaformadecontaminacindelexperimento,yesdetalimportan
ciaquesupresenciaafectadecisivamentealresultadodelamedicindeimpactosquese
hadescritoantes:sonproblemasenlavalidezinternadelexperimento.

39.ParalarelacinentrevalidezinternayexternadeunexperimentopuedeverseaWEISs,C.H.(1998).op.cit.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 93


3 TCNICASDEEVALUACIN

G.ANLISISDEREGRESINYLOSMODELOSECONOMTRICOS

Consistenenlaconstruccindecoeficientesqueayudarnalequipoevaluadoraestimar
(noacalcular)elalcancedelosimpactosdelProgramaoProyecto.Porejemplo,conlaapli
cacindeestastcnicassepuedeestimarlacantidaddeempleocreadopormillndeeuros
gastadosenelProgramaoProyecto.

H.PROGRAMASPSS+

Esunprogramainformticoqueseutilizapararealizarunagranvariedaddeanlisisesta
dsticosyofreceunsistemaeficiente,integrado,potenteyfcildeusarparaorganizaryana
lizardatos40.

I.Puntosfuertesdelatcnicaeconmicofinanciera:

IncorporaenelprocesodeevaluacinelpuntodevistadelosimplicadosenelProgra

maoProyecto.
Seproponenimpactos,esperadosynoprevistos,positivosynegativos,quelosevalua

doresnopropondran.
Laparticipacindelosgestoresenestaprimerafaselosinvolucraenelposteriorpro

cesodeevaluacin.
Lacombinacindetcnicasestadsticasmultivariantesconlastradicionalesdinmicas

degrupofacilitalainterpretacindelosresultadosobtenidos.
Secombinalaopininindividualizadaconelconsensoentrelosparticipantes.

Puntosdbilesdelatcnicaeconmicofinanciera:

Silassesionesnosedirigencorrectamentesepuedefocalizarladiscusin,resultando

unavisinparcialdelosimpactosesperados.
Debevelarseporevitarunnmerodistintodeparticipantesporaccin.

40.CAMACHOROSALES,J.(2002).EstadsticaconSPSS.Madrid.

94 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


TCNICASDEEVALUACIN 3

1.2. Tcnicas Cualitativas

Lastcnicascualitativaspermitenobtenerinformacinsignificativaeinmediatasobrelas
percepcionesyprioridadesdelaspartesinteresadasylascondicionesyprocesosquepue
denhaberafectadoeldesarrollodeunprogramaoproyecto41.Setratadeunametodologa
relativamenteflexibleyadaptablealasnecesidadesdelaevaluacineneldiseo,recopi
lacindedatosyanlisisderesultadosyposibilitanunamejorretroalimentacin.

Sedebetenerencuentalaexistenciadelimitacionesensuutilidad,talescomolamenorinci
denciaenlarepresentatividadestadsticarigurosa,lasubjetividadimplcitaenlarecopilacin
dedatos,lafaltadeungrupodecomparacinquepermitaestableceranlisiscausales,loque
hacedifcilgeneralizarlosresultadosparaunapoblacinrepresentativaymsnumerosa.

Comocualquierpropuestametodolgica,lavalidezyconfiabilidaddelosdatoscualitativos
dependeengranmedidadelahabilidadtcnica,sensibilidadycapacitacindelequipo
evaluador.

Acontinuacin,describimosbrevementelastcnicascualitativasmsutilizadasenevalua
cindeproyectos:

Observacinestructurada.
Entrevistas.
GruposdeDiscusin.
Anlisisdocumental.

1.2.1.LaObservacinEstructurada

Laobservacindirectadeunentornopermiteelregistrodeacontecimientoseimpresiones
porel/laanalistadeacuerdoconpatronesexplcitosdecomportamientosyaccionessocia
lespreviamenteespecificados.Tantolaobservacinens,comoelregistrodeloshechos
observados,debenadaptarseaunasreglasdeprocedimientos,quealseguirlaspermiten
elusodelalgicadelainferenciacientfica.

41.VALADEZ,J.YBAMBERGER,M.(1994)MonitoringandEvaluatingSocialProgramasinDevelopingCountries:AHandbookforPolicy
makers,ManagersandResearchers,EDIDevelopmentStudies,WorldBank,WashingtonDC.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 95


3 TCNICASDEEVALUACIN

Losdiversosmodelosderegistroexistentesparaestefinsuelenmedir,porlogeneral,lafor
ma,duracin,frecuencia,antecedenteyconsecuenciasdecomportamientosindividuales
yestructurassociales,ytambinlasrelacionesqueseestablecenentrecomportamientos,
actitudesyestructuras.

Algunosinstrumentosutilizadospararegistrarlasobservacionessonlossiguientes:

Cuadrosdetrabajo:setratadefichasdivididasenfilasycolumnassemejantesaplanillas
enlasque,porlogeneral,cadacolumnacorrespondeadiferentesgradacionesdelfen
menoqueobservamos.Algunasdeestasinformacionespuedensertratadasestadstica
mente.Eselregistroquemejorencajadentrodelatipologadetcnicascuantitativas.
Diario:relatoescritocotidianamentesobrelasexperienciasvividasyloshechosobser
vados.Puedenserredactadosalfinaldeunajornadaoaltrminodeunatareaimpor
tante.Setratadeunaredaccinlibreaunquedebeidentificarlosdatosidentificativos
bsicos(fecha,autora,referencias,)
Cuadernodenotas:herramientasemejantealaanterior,peromsestructuradoydon
delasanotacionesserealizansobreelterrenoyenelmomentoqueseproducenlos
hechosreseados.Seapuntalainformacin,losdatos,lasfuentesocroquisexplicati
vosquepuedenserinteresantesparalainvestigacin.
Mapasydispositivostcnicoscomovdeocmaras,grabadorasocmarasfotogrficas.

1.2.2.LasEntrevistas

Elprocesodelaentrevistaseparecebastanteaunaconversacincotidiana.Endefinitiva,
setratadeunencuentroentredospersonasquedebenrespetarunasreglasbsicaspara
comunicarse.Enlneasgeneralesquienentrevistaserelresponsabledeorganizaryman
tenerlaconversacin,animandoalapersonaentrevistadaparaquehable.

Enlaentrevistaabiertayenprofundidad, quienevalaconversalibreyespontneamente
conlapersonaentrevistada,yslointervienerealizandoprecisiones,ordenandomnima
menteeldilogo.Seutilizapreferentementeparaobtenerunaperspectivageneraldeun
temapococonocido.Estetipodeentrevistaproducemsinformacincuandoexisteuncli
madeconfianzaohayunamotivacinpreviaporambaspartes.Anas,lapreparacinde
unguinpreviodetemasporpartedelequipoevaluadorpuederesultarmuytilparaque

96 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


TCNICASDEEVALUACIN 3

elflujodelaconversacinnolleveaqueseolvidealgunodelostemasclavesquesedesean
tratar.

Sisedesea,laentrevistapuedeseguirunesquemasemiestructuradodecuestiones,enel
quelaspreguntaspuedenestarformuladasconanterioridad.Sinembargo,elentrevistador
tienelalibertaddemodificarestaformulacin,hacerpreguntasadicionalesoalterarelorden.
Laentrevistasemiestructurada,dadaslascaractersticasdelaevaluacindeproyectosy
programasdeAccinSocial,esutilizadamuyfrecuentemente.

Alahoradeprepararunaentrevistahayquetenerencuentalaeleccindellugaryel
momentoapropiados.Asimismo,lamaneradedirigirsealentrevistado,ellenguajeemplea

do einclusolaformadevestirpuedenactuarcomounobstculoounestmuloparalacon
versacin.Esimposiblerealizarunarecomendacingeneralsobretodosestostemas,por
quesiempredebeexistirunaadecuacinalcontextosituacional.

EJEMPLODEDISEODELASESINDELAENTREVISA
Sidiseamosunaentrevistadeunahoradeduracin,puedendefinirsedosmodelosdeorganiza
cindesudesarrollo:

Distribucintemporalequilibrada,apartirdecuatropreguntastipo,conunaprevisindequince
minutosdededicacinacadaunayhaciendounseguimientodelarespuestainicialacadauna.

Inicioconunapreguntamuygeneral,quepermitaunaentrevistaabiertadurantemediahora,
seguidadeunamediahoracompletamenteestructuradaconpreguntaspreparadasenunasecuen
ciadada.

Fuente:elaboracinpropiaapartirdevalles,m.s.(2002)42

Lainformacinrecabadaenunasolaentrevistanonospermitetenerunadescripcintotal
mentefiabledelarealidad.Lapresenciademotivacioneseinteresesexplcitoseimplcitos
debeserconsideradaentodomomentocomounaposiblefuentedesesgosenlaconver
sacin.Desdeestepuntodevista,resultamuyrecomendabletriangularlainformacincon
seguidaconotrasfuentes.

Lasventajasdeutilizarentrevistasenlaevaluacinsonmltiples.Alariquezainformativa,
flexibilidadyeconoma,sesumanelaccesoainformacindiferentedelaobservada,as

42.VALLES,M.S(2002)Entrevistascualitativas.Madrid.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 97


3 TCNICASDEEVALUACIN

comolacomodidadimplcita.Sinembargo,suelenrequerirbastantetiempoypresentan
problemasrelativosalafiabilidadyvalidezdelainformacin.

1.2.3.GruposdeDiscusin

Estatcnicaesmuyutilizadaenlainvestigacinsocial,ysueleseraplicadaenlaevalua
cindeunamaneramenosformalizadaque,porejemplo,enlosestudiosdemercado.

Elgrupodediscusinocupaunlugaracaballoentrelaobservacinparticipanteylaentre
vistaindividual.Representaunaformapeculiarderecopilarinformacinpuestoquesupo
neestablecerunadinmicadeconversacingrupal.Eldiscursoqueseobtienees,ensn
tesis,producidoenuncontextosocialmsparecidoalquesedaenlavidarealquelainter
accincaraacaradeunaentrevista.

Laespecialsignificacindelainformacinrecabadasedebeasuefectosumativo:noslo
interesaloquesedice,sinolaobservacindelasinteraccionesqueseproducenenel
senodelgrupo(conflictos,debates,aclaraciones,etc).

Laventajadelosgruposdediscusinesqueexigenmenostiempoydineroquelasentre
vistasindividuales,sinperderflexibilidadyaportandolasventajasdelainteraccingrupal.
Elinconvenienteesquesecreaunasituacinartificialparalaobservacin,planteandoade
msproblemasdegeneralizacinysesgos.

Eldiseodeungrupodediscusintienetresfases:

Laelaboracindelguindecontenidosaabordar.Elguindebeposeer,agrandesras
gos,lasmismascaractersticasqueeldelasentrevistas,aunqueesposibleenrique
cerloconelementospropiosdelosguionesdelaobservacin.As,nosolamenteten
drquesealarlostemassobrelosquesedeseaescucharunadiscusin,sinoade
mslostiposdeinteraccinpersonalquehabrqueobservar(porejemplo,elpapelde
lasmujeresolosjvenesdentrodelgrupo,lacapacidaddelosdistintosmiembrospara
mantenerunaopininoparavariarla,etc.).
Laseleccindelperfil delaspersonasintegrantes.Laeleccindesusmiembrosdebe
conseguirunequilibrioentreunasuficienteheterogeneidad,paraasegurarquesurja

98 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


TCNICASDEEVALUACIN 3

undebateinteresante,yunamnimahomogeneidad,paraevitarsituacionesdedesigual
dad quepuedanllevaralpredominiodeunapersonasobrelasdems.
Laconvocatoriafinaldelasparticipantes.Elnmerodemiembrosdeungrupodedis
cusinsueleestarsituadoentreseisydiezpersonas.Estacantidadpermiteuncontrol
aceptabledelasinteracciones.

Encuantoalproceso,esrecomendablequeelgruposeadirigidoporunapersonadelequi
poevaluador,yqueotraactecomorelator/adelasdiscusiones.Comoapoyo,esaconse
jableutilizartambinunagrabadora.

Lapersonaquedirigeelgrupodebeintroducirlostemaseneldebate,interviniendopuntualmen
tecomomoderadorperosininfluirenlasopinionesdelaspersonas.Debecrearseunasituacin
enlaquelagentesesientaagustoparahablaryopinarlibremente.Laduracindelgrupodedis
cusindebeserlimitada(doshorascomomximo)paranoagotaralaspersonasparticipantes.

1.2.4.AnlisisDocumental

Elanlisisdocumentalconsisteenlabsquedadeinformacinatravsdelarevisinde
documentosdiversos:bibliografa,estadsticaspreviamenteelaboradas,informesvarioso
cualquiertipodematerialnoproducidodirectamenteporlaevaluacin.

TIPOSDEDOCUMENTOS
Documentodeformulacindelproyecto/programaascomotodaladocumentacinquesepueda
obtenerdelproyecto

Datosnopublicados,elaboradospororganismospblicosyprivados,relativosalaintervencin

Datospublicadospororganismospblicosyprivados:estadsticaseinformes

Librosyrevistas relacionadosconel tema en cuestin

Elanlisisdocumentalserealizadurantetodaslasfasesdelaevaluacin,desdesuprepa
racinhastaelmomentoderedaccindelinformefinal.Susventajassonevidentes:

Elbajocoste.
Lainexistenciadereaccionesadversas(nohayinteraccinconlosactores).
Elaccesoainformacinadicionalquenopuedeobtenerseatravsdeotrastcnicas.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 99


3 TCNICASDEEVALUACIN

Laposibilidaddeemplearlostextoscomopruebasdocumentalesdelasconclusiones
alasquesellegue.

Sinembargo,lapropianaturalezadelmaterialsecundarioplanteaalgunosinconvenientes:

Labsquedadelainformacinnecesariasueleexigirimportantesesfuerzos.
Esprecisotomarconcienciadelosposiblessesgoseintencionesdelosautoresdelos
documentosparavalorarsufiabilidad.
Elhechodetratarsedematerialplasmadoporescritoodemaneragrficanoanulalaposi
bilidaddeinterpretacinmltipleycambiantedependiendodelcontextoyelmomento.

Algunasrecomendacionesgeneralesparafacilitarelanlisisdocumentalseran:

Encasodeconflicto,darprioridadaldocumentomsreciente,alqueindiquelafuenteo
elmtodocomosehaobtenidooalosprovenientesdefuentesoficialesointernacionales.
Realizarunalecturacompletaparaconocerlossesgosgeneralesdelautorolainstitu
cinresponsabledelapublicacin.
Ensituacindedebilidadnotabledelossistemasnacionalesdeestadsticaodeintere
sespolticosmuyacentuadosenlaevaluacin,buscarfuentesalternativasdedatos.

1.3. Tcnicas Participativas

Elusodemetodologaparticipativaseaplicinicialmenteeneldiagnsticoeinvestigacin
delasrealidadessobrelasquesequeraintervenir;enlaactualidad,suempleosehaexten
didoalrestodefasesquecomponenelciclodeunprocesodedesarrollo,enparticularel
seguimientoylaevaluacin.

TalycomosealaBlumberg43,laparticipacinpuedeserutilizadaalolargodelciclodel
proyecto,conobjetivosmuydiferentes(recogidadeinformacin,tomadedecisiones,revi
sindeconclusiones,etc.)yconmuydiferentesnivelesdeimplicacindelapoblacinlocal.

Paraevitarposiblesconfusiones,debemosaclararqueenelpresentedocumentoutilizare
moseltrminodetcnicasparticipativasparadefiniraquellametodologadirigidaafavo

43.BLUMBERG,R.L.MetodologasdeDiagnosticoRpidoparaevaluarelimpacto.Mayo1999

100 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


TCNICASDEEVALUACIN 3

recerlaparticipacininteractiva;secaracterizanporrequerirlainteraccinactivaycon
tinuaentreelequipoevaluadorylosagentescrticosalolargodeltodoelprocesodelpro
yecto/programaqueseestevaluando.Laeleccindeestemtododetrabajosuponeen
reconocimientodelosagentescrticoseneldoblepapeldeinformantesclaveeinterlocu
toresparaladevolucindeinformacin,revisindevaloracionesytomadedecisiones.

Deacuerdoaesteplanteamiento,suusodebecaracterizarsepor:

Larelacinentrelapoblacinlocalyelequipoevaluadorestbasadaenelintercambio
deinformacinyexperienciasparaunaprendizajemutuo.
Laspersonasprofesionalesdebenadecuarsulenguaje,actitudesycomportamientos
alcontextoenelquesedesarrollalaintervencin.
Elpersonaltcnicopasaadesempearelpapeldefacilitadordeunprocesomediante
elcuallaspersonasbeneficiariasexpresenculessuvisindelarealidad.
Lametodologautilizadaesabierta,grupal,visualycomparativa.

Elmarcofsicomshabitualentornoalcualsedesarrollangranpartedelastcnicasparti
cipativassedenominatallerysueledesarrollarseenunespaciocerrado,amplio,queper
mitaelmovimientoyeltrabajocolectivo,ascomoeldesarrollodeactividadesdedinamiza
cingrupal.Eltrminoaludealaideadetrabajocolectivo,cuyosresultadosrequierendela
participacininteractivadetodasytodosycuyosobjetivosytareassemantieneeneltiempo
deformaparalelaalprocesodeempoderamientodelgrupo.Eltallerpuededurarhoras,das
oaos,enlamedidaquelasactividadesqueseproponentienenaspectosformativos,de
dinamizacingrupaly/odetomadedecisionesqueafectanalavidadelacomunidad.

Comoresultadodeldesarrollodeprocesosparticipativos,seequilibranlasrelacionesde
poderysepotencianlascapacidadesdelapoblacinlocal,tradicionalmenteexcluidadelos
espaciosdetomadedecisiones.Esteprocesodeadquisicindecapacidadesestambin
conocidocomoempoderamiento.

Slocitarlaexistenciadevariastcnicasparticipativas:Anlisisdeacontecimientoscrti
cos,Rankingdebienestar,Matricesdeclasificacinopuntuacin,DiagramasdeVenn,Dia
gramasdeflujos,Diagramasdesistemas,Diagramasderedes,Mapas,Transectos,Moni
toreofotogrfico

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 101


BLOQUE1
BLOQUE4
El Informeala
Introduccin de

GUA
Evaluacin
PlanificacinEstratgica
4 INFORME DE EVALUACIN

ElInformedeEvaluacineselproductodocumentalfinaldelostrabajosdeevaluacinen
dondeserecogenlosresultadosdetodoelproceso.Suformatoestarrelacionadoconlos
TrminosdeReferenciaysuelaboracincorreracargodelequipoevaluador.

ElInformedeEvaluacindebecontener,cuandomenos,untextodescriptivoquedetallela
informacinrecogida,unapartadoexplicativoqueestablezcalascorrespondientesrelacio
nesdecausayefectoyuncomponenteproyectivoqueincluyaunconjuntodeconclusio
nes,recomendacionesysugerencias.Todoellodebertenerunanaturalezaeminentemen
teoperativaorientadahacialaaccinyhaciaelfortalecimientodelatomadedecisiones.

Seguidamente se presenta un esquema tipo simplificado a ttulo de posible gua de


actuacin.

I.PORTADA

Ttuloycdigodelproyecto.
Tipodeevaluacin:externa,interna,mixta,participativa;simultnea,final,deimpacto;
etc.
SituacindelInforme:borrador,preliminar,final.
Fecha.
Equipoevaluador.

II.RESUMEN

Se detallarn, en un espacio reducido, las caractersticas y elementos centrales del


Informe.

III.INTRODUCCIN

Brevedescripcindelproyecto.

Objetivosdelaevaluacin.

Enfoquemetodolgico.mbitodeaplicacin.Limitacionesyobstculosdetectados.Prin

cipalestcnicasutilizadasparalarecogidayprocesamientodelainformacin.

EstructuradelInforme.

104 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


INFORME DE EVALUACIN 4

IV.PARTEI.DESCRIPCINDELAINFORMACIN

Setratadepresentar,deformaagrupadaysistematizada,lainformacinrecogida.Enesta
faseelequipoevaluadorselimitaadescribiryordenarlosdatosmssobresalientespor
componentes,resultadosoestrategias.

V.PARTEII.VALORACINDELAINFORMACIN

Setratadeincorporarlasexplicacionesnecesariasencuantoalainformacindescrita,esta
bleciendolasrelacionesdecausasyefectosqueprocedan.Estasexplicacionesdebenser
presentadas,deseablemente,atendiendoaloscriteriosycomponentesclsicosdelaeva
luacin:eficiencia,eficacia,impacto,pertinencia,viabilidad,consuscorrespondientesfac
toresdedesarrolloyreplicabilidad.

VI.PARTEIII.CONCLUSIONESYRECOMENDACIONES

Setrata,porunlado,deplantearlasprincipalesconclusionesdelprocesodeevaluacin.
Porotro,deestablecerrecomendacionesysugerenciasparamejorarlacalidaddelaeje
cucindelproyectoensussiguientesfases,absorberdeterminadosobstculosdetectados
oextraeraprendizajesparaintervencionesfuturas.

VII.ANEXOS

Seadjuntartodaaquelladocumentacindeintersqueilustreeldesarrollodelproceso
deevaluacin(encuestas,cuestionarios,referenciasdocumentales,etc)yquecomplemen
teloscontenidosdelInforme.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 105


BIBLIOGRAFA WEBGRAFA

1. REFERENCIAS BIBLIOGRFICAS

ALVIRA,F.(1991) MetodologadelaevaluacindeProgramas.CSIC.Madrid.

AGUILAR,M.YANDEREGG,E.(1994).Evaluacindeserviciosyprogramassociales.Bue

nosAires,Argentina.EditorialLumen.

ARNSTEIN,S.R.(1969)EightrungsontheladderofcitizenparticipationEnCahnCitizen

participation:effecting,communitychanges.NuevaYork.

AZOFRA,M.J.(1999)Cuestionarios.Madrid

BALLART,X.(1992).Cmoevaluarprogramasyserviciospblicos?Aproximacinsiste

mticayestudiosdecaso.Madrid,Espaa.MinisterioparalasAdministracionesPblicas.

SerieAdministracindelEstado.

BAMBERGER,M.(ED)(2000)Integratingquantitativeandqualitativeresearchindevelop

mentprojects.Washington.

BANCOINTERAMERICANODEDESARROLLO(1997).Evaluacin:Unaherramientade

gestinparamejorareldesempeodelosproyectos,OficinadeEvaluacin(EVO),Banco

InteramericanodeDesarrollo,marzo,WashingtonDC.

BANCOMUNDIAL(1996)TheWorldBankParticipation.SourceBook.

BAUM,W.C.(1982)Theprojectcycle,WorldBank,WashingtonDC.

BEAUDOUX,E;CROMBRUGGHE,G.YOTROS(1992). Guametodolgicadeapoyoapro

yectosyaccionesparaeldesarrollo:Delaidentificacinalaevaluacin,InstitutodeEstu

diosPolticosparaAmricaLatinayfrica,Madrid.

BINENDISK,A.L.(1989).DonorAgencyexperiencewiththemonitoringandevaluationof

developmentprojects.EnEvaluationReview.13(3).

BLUMBERG,R.L.(1999)Metodologasdediagnsticorpidoparaevaluarelimpacto.

BUSTELO,M.YLIGERO,J.(2002)DocumentosdetrabajodelMsterdeEvaluacinde

ProgramasyPolticasPblicas.Madrid.

CAMACHO,J.(2002)EstadsticasconSPSS.

CASLEY,D.YKUMARK.(1990).Recopilacin,anlisisyusodelosdatosdeseguimiento

yevaluacin,EdicionesMundiPrensaBancoMundial,Madrid.

CEADANCONA(1998).Metodologacuantitativa,estrategiasytcnicasdeinvestigacin

social.Madrid.

CERNEA,M.M.(1995)Socialintegrationandpopulationdisplacement:Thecontribution

ofsocialScienceEnIntenationalSocialScienceJournal.143.P.91113.Paris.

106 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


BIBLIOGRAFA WEBGRAFA

CHAMBERS,R.(1994A).TheoriginsandpracticeofParticipatoryRuralAppraisalen

WorldDevelopment,volumen22,nmero7,pp.953969.

CHAMBERS,R.(1994B).ParticipatoryRuralAppraisal:AnalysisofExperienceenWorld

Development,volumen22,nmero9,pp.12531268.

CHAMBERS,R.(1994C).ParticipatoryRuralAppraisal:Challenges,PotentialsandPara

digmenWorldDevelopment,volumen22,nmero10,pp.14371454

CHAMBERS,R.(1995).Mtodosabreviadosyparticipativosafindeobtenerinformacin

socialparalosproyectosenCernea,MichaelM.(Coordinador)Primerolagente:Variables

sociolgicaseneldesarrollorural,FondodeCulturaEconmica,Mxico,pp.587611.

COHEN,A.YFRANCO,R.(1993).Laevaluacindeproyectossociales,SigloVeintiunode

EspaaEditores,S.A.,Madrid.

COMISINDELASCOMUNIDADESEUROPEAS(1993).Manual:Gestindelciclodeun

proyecto:Enfoqueintegradoymarcolgico,Seriemtodoseinstrumentosparalagestin

delciclodeunproyecto,Ayudaaldesarrollo,Unidaddeevaluacin,Bruselas.

CRUZROJAINTERNACIONAL(1994A). Cooperacininternacional:Delegados/asdepro

yectosdecooperacininternacional:FormacinespecializadaparaelvoluntarioCRE:Manual

delalumno/a,CruzRojaEspaola,Madrid.

EUROPEANCOMMISSION(1997).EuropeanCommission(1997)Manual:Financialand

EconomicAnalysisofDevelopmentProjects,Methodsandinstrumentforprojectcyclemana

gement,OfficeforOfficialPublicationsoftheEuropeanCommunities,Luxemburgo

EUROPEANMONITORINGCENTREFORDRUGSANDDRUGADDICTION.(EMCDDA)

(1998).Therecomendationfordrugsanddrugaddictionevaluation.

FEDERACININTERNACIONALDESOCIEDADESDELACRUZROJAYLAMEDIALUNA

ROJA(1993).Evaluacindelavulnerabilidadylacapacidad:GuadelaFederacin.

FEDERACININTERNACIONALDESOCIEDADESDELACRUZROJAYLAMEDIALUNA

ROJA(1994A). ManualdeDesarrolloInstitucional:Metodologa.

FEDERACININTERNACIONALDESOCIEDADESDELACRUZROJAYLAMEDIALUNA

ROJA(1994B). Proyectos:cmoplanificarlosyadministrarlos.

FEDERACININTERNACIONALDESOCIEDADESDELACRUZROJAYLAMEDIALUNA

ROJA(1994?).Desarrolloinstitucional:Guadeaplicacin3:Aspectosinstitucionalesdel

desarrollodeprogramas.

FEDERACININTERNACIONALDESOCIEDADESDELACRUZROJAYLAMEDIALUNA

ROJA(1996). DirectricesrelativasalaPolticadeDesarrollodelaCruzRojayMediaLuna

Roja.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 107


BIBLIOGRAFA WEBGRAFA

FEUERSTEIN,M.T,(1990). PartnersinEvaluation:EvaluatingDevelopmentandCommu

nityprogrammesWithParticipants,Macmillan,LondresBasingtoke.Unclsicodelaeva

luacinparticipativa;suprimeraedicinesde1986.Secentraprincipalmenteenlosaspec

tosoperativosdeestetipodeevaluacin.

FORSS,K.(1996)HowtoDesignOrganisationswithaCapacitytoLearnwithSpecial

ReferencetoAidAdministrationenStokke,Olav(Editor)ForeignAidTowardstheYear

2000:ExperiencesandChallenges,FrankKass&Co.Ltd.,Londres,pp.286308.

FORSS,K.YCARLSSON,J.(1997). TheQuestforQualityOrcanEvaluationFindingsBe

Trusted?enEvaluation,volumen3,nmero4,octubre,pp.481501.

FORSS,K.YGOURNAY,B.(1984)Sciencesadministratives:Lespolitiquespubliques,Pres

sesdelaFondationNationaletdesSciencesPolitiques,Pars;reproducidoparcialmente

enProblmespolitiquesetsociaux,nmero599,6deenerode1989.

GEILFUS,F.(1997) 80herramientasparaeldesarrolloparticipativo:diagnstico,planifica

cinymonitoreo.SanSalvador.

GREEN,M.(1988)Thedialecticoffreedom.NuevaYork.

GUBA,F.YLINCOLN,Y.(1989).FourthGenerationEvaluation.BeberlyHills.

HALLAM,A.(1998)EvaluatingHumanitarianAssistance.Programmesincomplexemer

gencies.Londrs.

JOINTCOMMITIEEONSTANDARDSFOREDUCATIONALEVALUATION(1994).Thepro

gramEvaluationStandards.ThousandOaks.

MAINGN,T.(1992). LapolticasocialyelnuevoroldelEstado.Espacioabierto,N3.

Maracaibo,Venezuela.(pp.71107).

MINISTERIODEASUNTOSEXTERIORES.SECRETARIADEESTADOPARALACOOPERA

CININTERNACIONALYPARAIBEROAMRICA(1998A) Directricesyguadeconceptos

delCADsobrelaigualdadentremujeresyhombres,Cyan,ProyectosyProduccionesEdi

toriales,S.A.,Madrid.RecogelasDirectricesdelCAD[ComitdeAyudaalDesarrollo]para

laigualdadentremujeresyhombresyelempoderamientodelamujerenlacooperacin

paraeldesarrolloylaGuadelCADdeconceptosyenfoquesrelativosalaigualdadentre

mujeresyhombres.

MINISTERIODEASUNTOSEXTERIORES.SECRETARIADEESTADOPARALACOOPERA

CININTERNACIONALYPARAIBEROAMRICA(1998B). Metodologadeevaluacinde

laCooperacinespaola,Cyan,ProyectosyProduccionesEditoriales,S.A.,Madrid.

MOSER,CARLYN(1989). GenderPlanningintheThirdWorld:MeetingPracticalandStra

tegicGenderneedsenWorldDevelopment,volumen17,nmero11.

108 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


BIBLIOGRAFA WEBGRAFA

MOSSE,R.YSONTHEIMER,L.E.(1986).PerformanceMonitoringIndicatorsHandbook,

WorldBankTechnicalPaperNo.334,TheWorldBank,WashingtonDC.

NIRENBERG,O,BRAWERMAN,JYRUIZ,V.(2003).ProgramacinyevaluacindeProyec

tosSociales.

NORAD.(1997) Elenfoquedelmarcolgico:Manualparalaplanificacindeproyectos

orientadaporobjetivos,InstitutoUniversitariodeDesarrolloyCooperacinFundacinCen

troEspaoldeEstudiosdeAmricaLatina,Madrid.

ORGANISATIONDECOOPRATIONETDEDVELOPPEMENTCONOMIQUES(1989).L

valuationdanslespaysendveloppement:Unetapedudialoque,OrganisationdeCoo

prationetdeDveloppementconomiques,Pars.

OSUNA,J.L.YMARQUZ,C.(DIR)(2000)GuaparalaevaluacindePolticasPblicas.

Sevilla.

OVERSEASDEVELOPMENTADMINISTRACIN(1992).TheProcessApproachtoProjects,

OverseasDevelopmentAdministration,Lenders.

PATTON,Q.M.(1999).UtilizationfocusedEvaluation:Thenewcenturytext.Londrs.

PICHARDO,A.(1993).EvaluacindelimpactoSocial.Elvalordelohumanoantelacrisis

yelajuste.BuenosAires,Argentina.EditorialHVMANITAS.

SIEMPRO(1999).GestinIntegraldeProgramasSocialesOrientadaaResultados.Manual

MetodolgicoparalaPlanificacinyEvaluacindeProgramasSociales.Brasil.UNESCO,

SIERRABRAVO,R.(1995).TcnicasdeInvestigacinSocial:Teorayejercicios.Madrid.

STIFFEEBEAMYSHINKFIELD.(1987)EvaluacinSistemtica.Guatericayprctica.

Madrid.

UDNORAD(1997)Evaluacindeproyectosdeayudaaldesarrollo:Manualparaevalua

doresygestores,InstitutoUniversitariodeDesarrolloyCooperacinFundacinCentroEspa

oldeEstudiosdeAmricaLatina,Madrid.

VALADEZ,JOSEPH;BAMBERGER,MICHAEL(1994)MonitoringandEvaluatingSocialPro

gramasinDevelopingCountries:AHandbookforPolicymakers,ManagersandResearchers,

EDIDevelopmentStudies,WorldBank,WashingtonDC.

VALLES,M.S.(2002)EntrevistasCualitativas.Madrid.

VEDUNG,E.(1997).Publicpolicyandprogramevaluation.NewJersey.

WEISS,C.H.(1998)Evaluation:Methodsforstuddingprogramsandpolicies.PrenticeHall.

GUA DE EVALUACIN DE PROGRAMASYPROYECTOSSOCIALES 109


PlataformadeONGdeAccinSocial
GUA

GUA
GuadeEvaluacindeProgramasyProyectosSociales

PlanEstratgico
delTercerSector
deaccinsocial

Avda.DoctorFedericoRubioyGal,4.Local
28039Madrid
Telfono915351026Fax915350582
Gua de Evaluacin
de Programas y
www.plataformaong.org

Guade Evaluacinde ProgramasyProyectos Sociales


Proyectos Sociales

Anda mungkin juga menyukai