GUA
GUA
GuadeEvaluacindeProgramasyProyectosSociales
PlanEstratgico
delTercerSector
deaccinsocial
Avda.DoctorFedericoRubioyGal,4.Local
28039Madrid
Telfono915351026Fax915350582
Gua de Evaluacin
de Programas y
www.plataformaong.org
Accin
Social
Gua de
Evaluacin
deProgramas y
Proyectos
Sociales
Este documento ha sido elaborado
>
por el equipo de tcnico de:
Coordinacin: scarD.PereaArias
PlataformadeONGdeAccinSocial
Edita PlataformadeONGdeAccinSocial
Avda. Dr. Federico Rubio y Gal, 4. Local
28039 Madrid
Tel. 91 535 10 26 Fax 91 535 05 82
Correoelectrnico:info@plataformaong.org
DepsitoLegal
Diseo ms!grfica
Preimpresineimpresin AdvantiaComunicacinGrfica
Formacin,16.Pol.Ind.LosOlivos.
28906Getafe(Madrid)
delaEdicin PlataformadeONGdeAccinSocial
NDICE
6
PRESENTACIN
9
BLOQUE1.
CONSIDERACIONESBSICASDELAEVALUACIN
1.Introduccinalaevaluacindeprogramasyproyectossociales.
1.1.AlgunosAspectosclave.
1.2.tica,polticaycalidaddelaevaluacin.
2.TiposdeEvaluacin.
2.1. Porsuubicacintemporal.
2.2. Segnsuobjeto.
2.3. Porquienlahace.
2.4. Porsusinstrumentos.
31
BLOQUE2.
ANLISISESTRATGICO
1.ProcesodelaEvaluacin.
1.1.LaprogramacinenevaluacinylosTrminosde
Referencia.
1.2.Momentosenlaejecucindelaevaluacin
1.3.Agentesenevaluacin.Losstakeholders
2.EldiseodelaEvaluacin.
3.CriteriosdelaEvaluacin.
3.1.Losprincipalescomponentesdelasevaluacionesdelos
proyectosdeaccinsocial.
3.2.FuentesdeVerificacin
3.3.Laoperacionalizacin:Decriteriosaindicadoresdeeva
luacin
3.4.Instrumentosdeseguimiento:losindicadores
79
BLOQUE3.
TCNICASDEEVALUACIN
1.TcnicasyherramientasparalaEvaluacin
1.1.TcnicasCuantitativas
1.2.TcnicasCualitativas
1.3.TcnicasParticipativas
103
BLOQUE4.
INFORMEDEEVALUACIN
106
BIBLIOGRAFA
YWEBGRAFA
LaPlataformadeONGdeAccinSocialpresentalaGuadeEvaluacindeProgramasy
Proyectos Sociales dentro de las acciones de operativizacin del Plan Estratgico del
Tercer Sector de Accin Social, documento creado con una metodologa participativa en
elao2003porelGrupodeTrabajodelPlanEstratgicodelTercerSector,apartirdeuna
iniciativadelConsejoEstataldeONGdeAccinSocial.
La Plataforma de ONG de Accin Social es una entidad de mbito estatal, privada, acon
fesional y sin nimo de lucro, constituida formalmente en el ao 2000, formada en la
actualidad por 28 organizaciones1 no gubernamentales y no lucrativas de mbito estatal.
Las Organizaciones que representa, luchan contra la exclusin social y la discriminacin
yrepresentanacolectivosmuydiversoscomoinfanciayfamilia,jvenes,mujeres,perso
nas mayores, personas con discapacidad, personas con problemas de drogodependen
cia, personas afectadas por el VIHSIDA, pueblo gitano, personas reclusas y exreclusas,
personas migrantes y solicitantes de asilo y desarrollo rural. Para concluir esta presenta
cin,comentarqueestaguapretendefacilitarelcaminoalasorganizacionesdelasocie
dad civil y a las ONG de accin social cuando decidan iniciar su acercamiento a los sis
temasdedireccinestratgica,enespecialenlasprimerasfasesdeanlisis,diagnstico
yplanificacin.Parasudesarrollosehacontadoconlaexperienciadelequipotcnicode
Anlisis y Desarrollo Social Consultores, su experiencia prctica y las lecciones aprendi
dasennumerososproyectosdeconsultora,asistenciatcnicayformacinespecializada
en el mbito social durante aos ha facilitado la elaboracin de la gua.
1.LaPlataformadeONGdeAccinSocialestintegradaenlaactualidadpor:Aecc,ATIME,CritasEspaola,CEAR,CEPAIM,CNSE,
COCEDER,COCEMFE,CEPSS,CruzRojaEspaola,EAPNES,FEAPS,FEMUR,FederacindeMujeresProgresistas,FundacinEsplai,
FundacinJuanCiudad,FundacinSecretariadoGitano,LEECP,MdicosdelMundo,MPDL,ONCE,UDP,UNAD,UNAF,UninRoma
n,ASDE,CERMI,FederacinDidania.
GUA
Bsicas dela
PlanificacinEstratgica
Evaluacin
1 CONSIDERACIONES BSICAS DE LA EVALUACIN
1. INTRODUCCIN A LA EVALUACINDE
PROGRAMAS Y PROYECTOS SOCIALES
Unproyectosocial eslaunidadmnimadeasignacinderecursos,queatravsdeun
conjuntointegradodeprocesosyactividadespretendetransformarunaparceladela
realidad,disminuyendooeliminandoundficit,osolucionandounproblema.
Losproyectossocialesproduceny/odistribuyenbienesoservicios(productos),para
satisfacerlasnecesidadesdeaquellosgruposquenoposeenrecursosparasolven
tarlasautnomamente,conunacaracterizacinylocalizacinespaciotemporalpre
cisayacotada.
Unprogramasocial esunconjuntodeproyectosquepersiguenlosmismosobjetivos,
quepuedendiferenciarseportrabajarconpoblacionesdiferentesy/outilizardistintas
estrategiasdeintervencin.
Lapolticasocial esunconjuntodeprogramasquepretendenalcanzarlosmismosfines.
Dalasorientacionessobrequproblemassocialespriorizarydefinelasprincipalesvasy/o
lmitesparalaintervencinquelapolticaplantea.
Losprogramasyproyectossociales,seenmarcanenunapoltica,delaqueconstituyensu
traduccinoperacional,vaasignacinderecursosquepermitesuimplementacin.
Laevaluacin permitetomardecisionesatravsdelacomparacindedistintasalternati
vas.Tantoenlavidacotidianacomoenlosproyectos,engeneral,seanestossocialesopro
ductivos,pblicosoprivados,serequieredelaevaluacinparaadoptardecisionesracio
nales.
Elsignificadodelaevaluacindifieresegnlaetapadelciclodevidadelproyectoenlaque
selautilice.Siesdurantelaformulacin,proporcionaloscriteriosdedecisinparaacep
tarunproyectoespecficouordenarlasalternativasconsideradasenfuncindelasrela
cionesexistentesentresuscostoseimpacto(obeneficio).Siselaaplicadurantelaopera
cino,inclusive,habiendostaconcluido,permitedeterminarelgradodealcancedelos
objetivosperseguidos,ascomoelcostoenquesehaincurrido.
As,formulacinyevaluacinsondoscarasdeunamismamoneda.Unproyectonose
puedeformularamenosquesesepacmoselovaaevaluar,porquesloapartirdela
metodologadelaevaluacinesposibledeterminarculeslainformacinquesedebereco
gerparasuformulacin.
Porotrolado,laevaluacinexpost(duranteodespusdelaimplementacindelproyec
to)permitereorientarlaoperacin,adecuandoeldiseorealizadooadaptndolaalascon
dicionescambiantesdelcontexto.Asimismoposibilitaaprenderdelaexperiencia.
Laevaluacin,entonces,sirvedemarcodereferenciaparalaformulacindeunprograma
oproyecto,permitiendomedirloscostosyelimpacto(olosbeneficios)delmismo,ascomo
lasrelacionesexistentesentreambos.
Unafuncinqueconsisteenhacerunaapreciacintansistemticayobjetivacomosea
posiblesobreunproyecto[porrealizarse]encursooacabado,unprogramaounconjun
todelneasdeaccin,suconcepcin,surealizacinysusresultados.Setratadedetermi
narlapertinenciadesusobjetivosysugradoderealizacin,laeficienciaencuantoala
accinsocial,laeficacia,elimpactoylaviabilidad.Unaevaluacindebeproporcionarunas
informacionescreblesytiles,quepermitanintegrarlasenseanzassacadasenlosmeca
nismosdeelaboracindelasdecisiones.
Engeneral,laevaluacinpuededefinirsecomounaherramientasistemticaque,conbase
enunoscriteriosyatravsdeunastcnicas,mide,analizayvaloraunosdiseos,proce
sosyresultadosconelfindegenerarconocimientotilparalatomadedecisiones,laretro
alimentacin,lamejoradelagestinyelcumplimientodeunosobjetivos.
Lasprincipalescaractersticasdelaevaluacinson:
Carctertilyprctico:Laevaluacinhadeservirparalamejoradelaintervenciny
debeserconcebidahacialaaccin.
Sistematicidaddurantetodoelprocesodeevaluacin:Todaevaluacinhaderecoger
demodosistemticolainformacinpertinenteparalavaloracindeloscriteriosdeeva
luacin.
Necesidaddeflexibilidad:Juntoconelcarizsistemticodelaevaluacin,hadeprimar
selaflexibilidadmetodolgicaalolargodetodoelprocesodeevaluacin.
Ajustealosplazostemporales:Laevaluacintienequeresponderalosplazostempora
lesacordadosconelfindequepuedacontribuiralaprendizajeylamejoradelainter
vencin.
Laevaluacinsecentraenelanlisisdepolticas,planes,programasyproyectos;nun
cadepersonas.
Emisindejuiciosdevalor:Laevaluacinexigeelanlisisvalorativodeloscomponen
tesestudiados.
Realizacinantes,duranteoconposterioridadalaejecucin:Setratadeunaactividad
quepuedellevarseacaboenlasdistintasfasesdelciclodelasintervenciones.
Variabilidaddelobjetodeevaluacin:Laevaluacinpuedeestarreferidaaldiseode
unaactividad,alosprocesosdeejecucinoasusresultadosyefectos,previstosono
previstos,priorizandounouotroenfoquesegnlafinalidaddeltrabajo.
Criteriosdeevaluacin:Enlaevaluacinserevisarnlaeficacia,laeficiencia,laperti
nencia,elimpactoylaviabilidadentreotroscomponentes.
Porotraparte,todoslosquetomandecisionesyaseanpersonasoentidadestienenla
preocupacinyporlotantolanecesidadpermanentedeasegurarsequesusdecisio
nessonlasadecuadasencadamomentoylugar;ascomo,queunaveztomadaslas
decisiones,stasdanlosfrutosesperados/necesarios.Enelmomentoenqueestapre
ocupacinseexpresayseinstrumenta,loqueocurrenormalmentecuandolasentida
desalcanzanunciertogradodecomplejidad,nosencontramosantelaevaluacino,
expresndolodemaneramsprecisa,antelosprocedimientosdeevaluacindeunaenti
daddeterminada.
Comoconsecuenciadeloanterior,laevaluacindebellevarsealaprcticacomoherra
mientaimprescindibledecualquierciclodelproyectodeaccinsocialquesepuedacon
cebir;yaquenopuedeimaginarseunciclodegestinquenoconsidereeltomarlasmejo
resdecisionesposibles,paradeestamaneraasignaradecuadamentelosrecursosdispo
niblesyutilizarlosdelaformamsadecuadaunavezasignados.
Enestesentido,tressonlasprincipalesfuncionesdelaevaluacin:
I. Laretroalimentacinomejora(improvement)delosproyectosoaccionesejecuta
dasoenejecucin,
II.Elaprovechamientodelasexperienciasdelpasadoparaactividadesfuturas(enligh
tenment),y
III.Larendicindecuentas(accountability)hacialosfinanciadores,laopininpblica
ytodosaquellosimplicadosenlosprocesosdeaccinsocial.
CONCEPTODEEVALUACIN
RECOPILACINYANLISISSISTEMTICODEINFORMACINQUEPERMITELAEMISINDEJUICIOS
TAMBINSISTEMTICOSSOBREELMRITOYELVALORDELPROGRAMAEVALUADO
Perfeccionamientoomejoradelprogramaopoltica.
Permitelaretroalimentacinyelaprendizajesobrelapropiaprctica.
I.IMPROVEMENT Garantizalacalidaddelprograma.
Refuerzalaatencinenelcontextodelprograma,lasnecesidades
ynaturalezadelosdestinatariosydetodoslosagentescrticos.
Rendimientodecuentasoresponsabilidadsobrelagestinyresul
tadosdeunprograma.
Prcticaqueformapartedelsistemademocrticocomoresultado
FUNCIONES 1
delderechoasaberenquycmoseutilizanlosfondospblicos
(idoneidad,eficacia,eficiencia).
II.ACCOUNTABILITY
Perspectivasdelaccountability2
Perspectivapoltica.
Perspectivatcnicoorganizativa.
Perspectivadelosciudadanos.
Perspectivadelcliente.
Ejemplificacinoiluminacinparaaccionesfuturas
Laevaluacincontribuyeaconstruirconocimientodesdelosapor
III.ENLIGTENMENT
testericos,tcnicosymetodolgicos.
Orientasobreunmododeafrontarlosproblemassociales
PROPSITOS
Facilitarelprocesodetomadedecisiones
Solucindeproblemas
Facilitarelaprendizajeorganizativoelcambioinstitucional
CARACTERSTICAS
CARCTERPOLTICO Contextualizada
Continuidad
Capacidadderespuesta
Flexibilidadmetodolgica
Sensibilidadsocialypoltica
CARCTER Imparcialidad
Oportunidadeneltiempo
PRCTICO Participacin
realismoyrentabilidad
Fuente:Elaboracinpropia
1.STTUFFEBEAMYSHINKFILED(1987).EvaluacinSistemtica.Guatericayprctica.Madrid.
2.VEDUNG,E.(1997).PublicPolicyandProgramEvaluation.NewJersey.
Estastresfuncionespuedenserresumidasenuncriteriogeneral: todaslasevaluaciones
debenserdeutilidadparalaorganizacin,enalgunodesusnivelesascomocontribuiral
aprendizaje sobreprogramasyproyectosdentrodelaorganizacin.
Deigualmodo,comohemossealadounadelasfuncionesdelaevaluacinoelproceso
delaevaluacinesladeservirparatomarmejoresdecisionesdeloqueseharasinoexis
tieraesaevaluacinsingularoeseprocedimiento.Paraqueseaefectivamentetilyutiliza
da,unaevaluacindebe:
I.Poseerundiseoflexiblequepermitaintroducirmodificacionesenlosinstrumen
tosderecopilacinyanlisisdelainformacinencasodequelasituacinaslo
aconseje.
II.Noserconsideradaslocomounapartedelciclodelproyecto,sinocomounaacti
vidadquegualaidentificacin,laformulacin,laejecucinyelseguimiento.En
resumidascuentas,todaslasactividadesdebenserdiseadasyllevadasacabo
suponiendoquesernevaluadas.
III.Teneruncarcterexplicativo,estableciendorelacionesdecausalidad,sinquedar
seenmerasdescripcionesdelarealidad.
IV.Satisfacerlasnecesidadesdeinformacindetodoslosimplicados,loquesupone
unatotaltransparenciaencuantoalaccesoalosdatosnecesarios.
V.Teneruncostequeestenconsonanciaconeldelproyectoolaaccinevaluada.
VI.Proporcionarresultadosatiempoyoportunamente,detalmaneraquesusconclu
sionessepuedanaplicardentrodeunespaciorazonabledetiempoyenelciclovital
delproyectoodelaplanificacin.
Comocriteriosfundamentalesdelaevaluacin,juntoalautilidadylaaplicabilidadesnece
sarioaadirelrigor,yaqueestodeterminalacredibilidaddelasconclusiones.Sedeben
elegirmuycuidadosamentelosprocedimientosderecopilacindelainformacin,lasmeto
dologasutilizadasyelpersonalencargadodesurealizacin,ysedebeserexplcitoentodo
momentoacercadelacalidadyfiabilidaddelosdatosempleados.Sinembargo,estono
quieredecirqueseanecesariobuscarunavalidezestadsticaintachableentodosloscasos,
sinoqueesconvenientequeexistaunconsensoentrelosimplicadosprincipalesacercade
lacalidaddelainformacinconseguida.
Paraqueunaevaluacinpuedacumpliresacondicinsinequanon razonablementeseha
desuponerquesedebendaralmenoslassiguientescircunstancias:
I.Queenlosprocedimientosdegestindelaspartesimplicadasenelproyectoycon
capacidaddedecisinenl,ascomoenlapropiagestindelproyecto,existanlos
procedimientosoperativosparaintroducirloseventualescambiosyasimilarlasense
anzasquelaevaluacinrecomiende,enelprimercaso,y,enelsegundo,sehaga
patente.Parececlaroquesinoexistelaposibilidaddeintroducircambioseneldise
oy/oenlaejecucindelproyectoosecarecedelacapacidadparainteriorizarlos
aprendizajes,noseradeningunautilidadlosresultadosdeunaevaluacin.
II.Elprocedimientodeevaluacinprevistodebeformarpartedelprocedimientodeges
tinhabitualdelproyecto;nodebindosecontemplarcomounaintervencinfor
neaoextraordinaria.Todoproyecto,salvorazonesmuypoderosasencontrayque
sedebenexplicitar,debeserobjetodeunanlisisevaluativo.Lascaractersticasde
estaevaluacindebernobedeceranuestrasnecesidadesyposibilidades.
III.Debeproducirresultadossignificativos.Esdecir,debeesforzarseenmostrarcausa
lidades,superandoelniveldelameradescripcindeunestadodecosasodelacorre
lacin.Unaevaluacindebesercapazdeidentificarporqudeterminadosaconte
cimientoshansucedido,sucedernoestnsucediendo3.Obviamenteesteesunejer
cicioarriesgado,peroelcomponenteinterpretativo/predictivoesimprescindible.Simul
tneamente,debeinformarseenlamismaevaluacindelosnivelesdecertidumbre
ydeloscriteriosinterpretativosconlosquesehaconstruidolaevaluacin.
IV.Querespondaalasnecesidadesdetodoslosimplicados,especialmentedeaquellas
personaseinstitucionesquedirectaoindirectamenteparticipanenlaevaluacin;ya
seafacilitandoinformacin,procesndola,analizndola...Todoaqulqueparticipe
activamenteenunaevaluacin,discutayfaciliteinformacinyjuiciosenelmarcode
unaevaluacindebeobtenerunadecuadoretorno,puesesaeslamejormanerade
asegurarlacalidaddelasfuentesutilizadas.Lanecesidaddequelaevaluacinpro
duzcaresultadostilesparatodoslosimplicados,lgicamente,entreellosdebenestar
laspersonasbeneficiarias,exigequeloshallazgosdeevaluacinsepresentenycubran
3. Losdatosqueserecogenparaevaluacintienentrespropsitos:describir,explicarypredecir.Estospropsitosnoseexcluyenmutua
mente,porelcontrario,hayunaprogresinlgicadesdeelprimerohastaelltimo.Ladescripcindeunfenmenooprocesoeselpri
merpasoorientadoaexplicarsundole,causassubyacentes,relacionesycontexto.Ylaprediccinrequiereusualmente,aunqueno
siempre,describiryexplicar...LasprediccionessefundamentaenlacomprensindelascausasdelosacontecimientosEnCASLEY,
DENNIS;KUMARKRISHNA(1990).Recopilacin,anlisisyusodelosdatosdeseguimientoyevaluacin,Madridpp.2y3.
GUA DEEVALUACINDEPROGRAMASYPROYECTOSSOCIALES 15
1 CONSIDERACIONES BSICAS DE LA EVALUACIN
distintosaspectosdeacuerdoconlautilizacinquelevayanadarlosreceptoresdela
evaluacin;enresumidascuentas,lesdebedeservirparatomarsuspropiasdecisio
nesdentrodelmarcodelproyecto.Enestesentidocarecedesentidohablardeeva
luacinparticipativasinqueexistaunagestindelproyectoparticipada.
V.Loscostesmonetariosynomonetariosasociadosalaevaluacin,dentrodelosque
esprecisoincluirlosdelseguimiento,debenestarenconsonanciaconloscostes
delproyectoevaluado.Nopareceraadecuadoqueunproyectoconsumieralamitad
desusrecursosenelseguimientoylaevaluacin4.
VI.Laevaluacindebesuministrarsusresultadosatiempo,cuandosushallazgospue
danutilizarse,cuandoanesposiblehacerlo,paratomarlasdecisionessobrelos
temasqueilumina.
Conrelacinalospuntosanterioresreferidosalascaractersticasligadasalautilidadde
unaevaluacin5,consideraqueelenfoqueestndar,esdecir,unenfoquergidoyuniver
salapropiadoparatodaslasevaluaciones,hasido(msbiendeberadecirsequedebeser)
reemplazadoporlautilizacindediversastcnicasyfuentesparasatisfaceralavariedad
decuestionesrelacionadasconlagestin.
Abundandoenesostemas,indicademaneraespecficaquelasencuestaspormuestreo
representativo,tradicionalmenteconsideradaselmximoejemploderigorenlarecogida
deinformacin,debensersustituidasocompletadasportcnicasmenosrepresentativas,
demenorcosteymsrpidas;subrayandoespecficamentelautilizacinde:
I.Documentacinadministrativa.Medianteunsimpleperocuidadosodiseoesta
documentacinpuedeserusadaparaapreciarlosprogresosycostesdelproyecto;
ascomo,tambinpuedeutilizarse,enelcasodeproyectosquesuministranservi
cios,pararecogerinformacinbsicaysocioeconmicasobrelosusuarios.
II.Encuestasconpequeasmuestras.Muestrasdemenosde100sujetos,msbara
tas,puedenproporcionarinformacinsobreelaccesoaserviciosysuaceptacin.
III.Indicadoresindirectos.Suficienteinformacinpuedereunirsemediantelautiliza
cindeestetipodeindicadoresconuncostemenor.
4.Lasexcepcionesaestareglasonlosproyectospiloto;denominndoseasaqullosqueserealizanconelpropsitoprincipaldeeva
luarlos.
5. BINNENDIJK,A.L.(1989).Donoragencyexperiencewiththemonitoringandevaluationofdevelopmentprojects.EvaluationReview,
13(3).pp.216y217.
IV.Informacinprocedentedelestudioenprofundidaddelaspersonasbeneficiarias.
Laexperienciaextradadelosproyectosmuestrademanerareiteradaquesusfra
casossondebidosconfrecuenciaalanocomprensindelaspercepcionesdelas
personasbeneficiarias.Parasuperarestasincomprensioneslautilizacindelaobser
vacinparticipante,informadoresclaves,reunionescomunales...sonprocedimien
tosbaratosyqueproducenunarpidaretroalimentacin.
Enlosltimosaosselehaprestadomuchaatencinalascuestionesticasrelacionadas
conlaevaluacin.Estapreocupacin,comoeslgico,hasidoparalelaalreconocimiento
delcarcterpolticodelaevaluaciny,porlotanto,alpoderquestapuedeteneryala
necesidaddequeelequipoevaluadorinteracteenelcontextoenelquedebeintervenir.
Muchosdelosmsrecientesmanualesenevaluacindeprogramasypolticascontienen
uncaptuloespecficoencuestionesticas6.
Otroindicadordeestapreocupacinticaeslaexistenciadecdigosdeontolgicos,elabora
dosporlasasociacionesprofesionales,queenalgunoscasos,tieneneseobjetivoimplcitoinclu
soenelttuloqueleshandadoOrientacionesparaunaactuacintica,enelcasodelasaso
ciacionescanadienseyaustralasitica.Comoyasehasealadoanteriormente,es,alavez,un
indicadoryunelementogeneradordeunamayorconsolidacininstitucionalyprofesionalde
unadisciplina.Profesionesfuertementeconsolidadasdesdehacetiempo(comosonlamedi
cina,laabogacaolaarquitectura)omsrecientemente(psicologa)handesarrolladoestetipo
decdigos.Ademsdefomentarunsentidodepertenenciaeidentificacinentrelos/asprofe
sionales,acotanyregulanlaprcticaprofesionalentresusrespectivoscampos.
Unaspectodeenormetrascendenciayespecialmentecaractersticodeloscdigosdeon
tolgicosesquepermitenlaintroduccinydesarrollodelostemasticos,queresultancla
veenlaprcticadelaevaluacin.
6.PATTON,Q.M.(1997)UtilizationfocusedEvaluation:Thenewcenturytext.Londres.
WEISS,C.H.(1998)DonorAgencyexperiencewiththemonitoringandevaluationofdevelopmentprojetsEvaluationReview13(3).
NORAD.AGENCIANORUEGAECOOPERACINALDESARROLLO(1997)Elenfoquedelmarcolgico:Manualparalaplanificacin
deproyectosorientadaporobjetivos,InstitutoUniversitariodeDesarrolloyCooperacinFundacinCentroEspaoldeEstudiosde
AmricaLatina,Madrid.
GUA DEEVALUACINDEPROGRAMASYPROYECTOSSOCIALES 17
1 CONSIDERACIONES BSICAS DE LA EVALUACIN
Ensumanualdeevaluacin,CarolWeiss7,incluyeuncaptulodedicadoacuestionesti
cas,Evaluarconintegridadysealaseisideasfundamentalessobrecmosedeberea
lizarunaevaluacinticaenunasociedaddemocrtica.Sonlassiguientes:
Conocerelprogramaopolticaquesevaaevaluarysucontexto.
Mantenerlaaltacalidadtcnicaylarelevanciadelestudiodeevaluacin:lacalidaden
investigacinsedefineentrminosmetodolgicos.Enevaluacin,adems,sedebe
asegurarqueelestudioesrelevanteparalasituacinyelcontextoconcreto.
Laseleccionesdequienevaladebentenerencuenta:eltipodeinformacinquequie
reelcliente,losdeseosypuntosdevistadeotrosagentescrticos,lanaturalezadelas
premisasdelprograma,lasposibilidadesdexitodelaevaluacinylasoportunidades
dequeseincorporenlosresultadosalconocimientoprofesionalyalaopininpblica.
Tambintienequesersensiblealoscambiosqueseproduzcanenelcontextoalolar
godelprocesodeevaluacin.
Considerarlaposibilidaddeusodesdeelprincipio:lasconclusionesdebenserescu
chadas,respetadasyaceptadas,yaquesernlabaseparalaaccin.
Comportarsedeformaticaalolargodelestudio.Aveces,lasobligacionesticaspue
denllegarasercontradictoriasoentrarenconflicto;hayqueprocurar,sobretodo,no
distorsionarynodaarsensibilidades.
Sobrevivirycosecharrecompensas:Conestamxima,Weiss8 pretendedemostrar
que,apesardetodaslasdemandasqueserequierendelevaluador/a,laevaluacin
merecelapenayaquepretendemejorarlaformadeabordarproblemaspblicos;es
untrabajoquegeneracomprensinymayorcalidaddevida.
Patton9 vinculalascuestionesticasalanaturalezapolticadelaevaluacinyasupoder.
Esteautorplanteacuatromximaspolticasquedebenseguirlosequiposdeevaluacin,
considerandodeformaprioritariasuutilizacin:
Notodalainformacinestil;
Notodalagenteesusuariadeinformacin;
Esmsprobablequelainformacindirigidaalusoalcanceelobjetivo;
Slolainformacincrebleespoderosaenltimainstancia.
7.WEISS,C.H.(1998).op.cit.pp320yss.
8.WEISS,C.H.(1998).op.cit.pp320yss.
9.PATTON,Q.M.(1997).op.cit.
Esevidentequeestascuatromximastienenclarasimplicacionesticas.
Finalmente,ycomoejemplodelaimportanciadelascuestionesticasenlaevaluacin
mencionamoselmanualparaevaluarproyectosdeayudaaldesarrolloelaboradoporla
AgenciaNoruegadeCooperacin10.EnelcaptulodedicadoaLaticadelaevaluacin
exponelosrequisitosticosyprofesionalesquedebecumplirelequipoevaluador:
Sensibilidadcultural:estarfamiliarizadosconlascaractersticasculturalesdelcolecti
voozonadeintervencin.
Anonimatoyconfidencialidad:sedeberespetarelderechodelos/asinformantes.
Responsabilidadenlasevaluaciones:elequipoevaluadornodeberealizarningunaafir
macinamenosquetodossusmiembroshayantenidolaoportunidaddeaprobarlao
manifestarsudesacuerdoconella.
Consideracinconlosinformantes:avisarcontiempoyhacerunusoeficientedesu
disponibilidad.
Integridadyomisiones:quienevalatienelaresponsabilidaddesacaralaluzcuestio
nesquenohubieransidoreflejadasenlostrminosdereferencia.
Evaluacindepersonas:laevaluacindeproyectosnoincluyenormalmentelaevalua
cindepersonas;entodocaso,lafuncindelaspersonasynoellasmismas.
Erroreseinfracciones:cuandosedescubranerroreshabrqueevitarcitarpersonas
concretasenelinforme.
Convalidarlainformacinconparticipantesypersonasoentidadesimplicadas.
Compartirlosresultados:Sepodrnhacersesionesinformativasyresmenesdecarc
ternooficial,manteniendoladiscrecinrespectoaloscontenidosfinales.
2. TIPOS DE EVALUACIN
Laaccindeevaluarnosiempretienelasmismascaractersticas.Podemosencontrardis
tintasclasesdeevaluacionesquedefinenunaampliatipologacuyosperfilessenutrende
diversasdisciplinas,bsicamentedelmbitoeconmicoysocial,quehanaportadosupun
todevistaalosprocedimientosdegestindelosproyectos.
10.NORAD.AGENCIANORUEGAECOOPERACINALDESARROLLO(1997)op.cit.pp12y13.
Enlaaccinsocialsehanvenidoconstruyendodiversastipologasdeevaluacinqueatien
denalosmomentosenlosquesellevaacabo;asunaturalezayalascaractersticasde
aquelloquesepersigueanalizar;alosactoressocialesquelasrealizanyalosprocedimien
tosprioritariosqueseutilizan.
Laclasificacinqueacontinuacinsepresentanoagotalasposibilidadesdemanejarotro
tipodecriterios;porelcontrario,elquehacerinstitucionalespecficoenestecampopuede
complementaryrevisarlasdefinicionesqueseincluyen.Noobstante,pareceoportuno
ordenaresquemticamenteeluniversodelaevaluacin,enelentendidoquenoexisten
definicionespurassinoquetodasellastiendenaentremezclarseconfrecuencia.Encual
quiercaso,resultaconvenienteconocerlasprincipalescaractersticasdelostiposms
comunesdeevaluacin,teniendoencuentaqueelprocesodedefinicindelmodelode
evaluacinmsadecuadoparacadaorganizacinconstituyeunprocesooriginalqueno
puedesermecnicamentereplicado
Delavisintradicionalqueconsiderabaalaevaluacincomounafasefinalderendicin
decuentas,hemospasadoaunaconcepcinmscomplejaquetiendeavisualizarlospro
yectosdeaccinsocialcomoprocesosdeevaluacincontinua.
Atendiendoalatemporalidaddelasevaluacionespueden,portanto,distinguirsecuatro
grandesmomentosevaluativos:antesdecomenzarlaejecucin,durantelaejecucin,en
elmomentodeconclusindelostrabajosotranscurridounperiododespusdelaejecu
cin,quedanlugaraotrostantostiposdeevaluaciones.Brevementevanasealarsesus
principalescaractersticas.
2.1.1.EvaluacinPrevia
Laevaluacinpreviaesllamadatambinevaluacinexante,apriori,apreciacin,valora
cinpreviaoestudiodeviabilidad.Tieneporfinalidadesencialladeproporcionarinforma
cinsignificativaparatomarlacorrespondientedecisinentornoasielproyectodebeono
ejecutarse;obienculeselproyectomsadecuadoparaelapoyoyfinanciacin(elegir
racionalmenteentreproyectosalternativos);obienqumodificacionesdebenintroducirse
endeterminadaformulacinantesdesuejecucin.
Laevaluacinpreviatienedistintasmodalidadesderealizacin.Confrecuenciaconsisteen
unmsomenossistemticotrabajodegabinete,atravsdelcualunequipodeanalistas
valoralacalidadyaplicabilidaddeldocumentodelproyecto,construyendoparaellolistasde
comprobacinadhocquepermitirnevaluarlaconsistenciadesuformulacinysuposi
bleviabilidad.Siseconsideraqueeldocumentonorenelosmnimosexigiblesdecalidad
sepuedesolicitarinformacinadicionalo,msdrsticamente,serecomendarsurechazo.
2.1.2.EvaluacinSimultnea
Laevaluacinsimultneaestambindenominadaintermedia,concurrente,media,formativa,
concomitanteuongoing. Tieneporfinalidadextraerinformacin,reflexionesyconclusiones
sobrelamarchaydesempeodelproyecto.Setratadeexaminarconjuiciocrticolavalidezcon
tinuadadelashiptesisenquesefundamentaronlasproyeccionesrealizadaseneldiseo.
Laevaluacinsimultneaofreceapreciacionessobrelacontinuidaddelproyectoconbase
enlosresultadosdelmismo.Siladecisinescontinuar,habrdevalorarsesiprocedeman
tenerlaformulacinoriginalodebenintroducirsemodificacionesparamejorarlacalidad
delaintervencin.
Estetipodeevaluacindeberealizarsesobrelaaccinsocial,aplicandoparaellolosproce
dimientostcnicosmsadecuadosalascaractersticasdelproyecto.Siemprequeseaposible,
esasevaluacionesdebenhacersecontandoconlamsampliaparticipacindelosdistintos
agentesimplicadosenlaintervencinymuyespecialmenteconlapoblacinbeneficiaria.
Laevaluacinsimultneatenderaexaminarlosprogresosyproblemasquesedetectan
durantelaejecucin,permitiendoasquelaspersonasbeneficiariasincrementensuscapa
cidadesyreduzcansuvulnerabilidadyquelaorganizacinqueoperasobreelproyectode
accinsocialpuedarectificarsuspuntosdbilesyconsolidarlosfuertes.
2.1.3.EvaluacinFinal
Estetipodeevaluacinestambindenominadofinalizacinoevaluacinafindeproyec
to,sumativaodecierre.Tieneporfinalidadvalorareldesempeoglobaldeunproyecto
cuyaejecucinhafinalizadoyextraerlascorrespondientesenseanzas.Lametodologade
trabajoapuntaraanalizarloscomponentesclsicosdelaevaluacin(eficacia,eficien
cia,pertinencia,impactos,viabilidad,replicabilidad)ascomoaquellosefectosnoprevis
tosyqueenelcursodelprocesodeejecucinsehandesencadenado.
Estetipodeevaluacin,portanto,estudiarelfuncionamientodelproyectoyemitiruninfor
mefinalcuyoscontenidospermitirnconocerlacalidaddelaintervencinefectuadaas
comomejorarlaplanificacindefuturosproyectossimilaresoconcomponentesparecidos.
Enestesentido,laevaluacindeunproyectofinalizadodebecontribuirareforzarlatomade
decisionesutilizandoloscorrespondientesaprendizajesenexperienciasposteriores.
Laevaluacinfinal,comosehasealadoconanterioridad,apareceenalgunosmanuales
denominadaevaluacinsumativa,atendiendoasucarcterterminalendondepresumible
menteserecogenlasconclusionesdetodoelprocesodeintervencin.
2.1.4.EvaluacinPosterior
Muyligadaalaanterior,encuantoasunaturalezayprocedimientos,estetipodeevalua
cinserealizauntiempodespusdehaberconcluidolaejecucindelproyectoytratade
estudiarenprofundidadsusrepercusionesenelcontextodelaintervencin.Estaevalua
cinesllamadatambin aposteriori,expost odeimpacto.
Lavaloracindelosefectosdeungrannmerodeproyectos,elcumplimientoefectivode
susobjetivos,ascomolacapacidadlocalparamantenerlosbeneficioseneltiempo,slo
podrseranalizadaconrigorenunmomentoposteriorasufinalizacin.Elloresultaan
msciertoenelcasodelosproyectosdecarctersocialyenaquellosquecomportanun
elevadogradodetransferenciadeconocimientos.
As,laevaluacinposteriortienecomofinalidadestimarlaverdaderadimensindelasinter
venciones,conunaatencinparticularasusimpactosyasusnivelesdesostenibilidad.Tie
ne,asimismo,unaespecialimportanciaalahoradeextraerconclusionesquerefuercenlos
aprendizajesypermitan,enelfuturo,fundamentardemejormodolatomadedecisiones.
Comoresultaobvio,tantolaevaluacinfinalcomolaposteriorconstituyenmodalidadesa
realizarsesobrelaaccinsocial.
Elalcancedecadaevaluacintambinpermiteestablecerunaclasificacinqueacotael
objetodeestudioylascaractersticasespecficasdesumbitodeaplicacin.Entalsenti
doseincluyenalgunostiposque,unavezms,puedenpresentarseeneltrabajorealde
formacombinada.
2.2.1.PorelPropsito
Segnsupropsito sepuedehablardeevaluacinderesultados,deevaluacindeobjeti
vosydeevaluacindeprocesos.Losdosprimerostipossondifcilmentedistinguiblesentre
syaparecenhabitualmentecombinados,perovamosaintentarestableceralgunasmati
zacionesquepermitandiferenciarlos.
Evaluarenbasearesultadossignificaatenderalosproductosconcretosqueelproyecto
entrega;suponevalorar,portanto,laadecuacinycalidaddelosbienesyserviciosquegene
raelproyecto.Esteanlisisimplicauncorrectodiseoendondelosresultadoshayansido
definidosdemodooperacionalatravsdeindicadores,paraevaluarlaeficacia,yendonde
losrecursostenganunaclaraexpresinenelpresupuesto,paraevaluarlaeficiencia.
Evaluarenbaseaobjetivos,porsuparte,suponevalorarlashiptesisdelaaccinsocial
queorientanlaintervencin.Esdecir,sieldesempeodelproyectohacontribuidoefecti
vamenteaalcanzar,yenqugrado,losestadospredeterminadosquemejoranlasituacin
delaspersonasbeneficiarias;silalgicainternadelproyecto(recursos,actividades,resul
tados,objetivos)sehanverificadoenlaprctica.
Esteanlisisimplicauncorrectodiseoendondelosobjetivoshayansidodefinidosdemodo
operacionalatravsdeindicadores,paraevaluarlaeficacia,yendondeotroscomponentesdel
proyectohayansidoclaramentedescritos,paraevaluarlapertinencia,impactosyviabilidad.
Unaevaluacin,efectuadaencualquiermomentodelavidadeunproyecto,debemirar
permanentementehaciadentroyhaciafueradeesaintervencin,puesesprecisamen
teesacombinacindelosaspectosinternosyexternoslaquepuedepermitirnosestable
cerundiagnsticofiablesobreloslogrosyefectosalcanzados.
Unavaloracinexclusivadelosresultados,delosobjetivosydesusrespectivosindicado
respuedellevarnosaolvidarelcontextoenelqueseefectaelproyectoylosefectosde
stesobrelarealidad.Porcontra,unnfasisexcesivoenlaapreciacindelosprocesos
desencadenadosporelproyectoencuestin,apartedesudificultadintrnseca,puedecon
ducirnosadespreciarlalgicainternadelaintervencinytodalafasedeejecucin,loque,
enelfondo,suponeunrechazoalprocesogeneraldeplanificacin.
2.2.2.PorsuNaturaleza,suEscalaysusNiveles
Segnsunaturaleza,laevaluacinpuedeserdescriptiva,atravsdeldesarrollonarrativo
declasificacionesytaxonomasquedetallenfenmenos,procesosysituacionesoexplica
tiva,mediantelaconstruccindemodeloscausalesquepermitanextraerconclusionesy
proyectarpredicciones(recomendacionesysugerencias).
Segnlaescalaycaractersticasdelosproyectos,puedehablarsedeproyectosgrandes,
enlosqueresultamsadecuadaunaevaluacinbasadaenlautilizacindetcnicascuan
titativasasociadasalascienciasnaturales,ydeproyectospequeos, cuyosformatosse
adaptanmejoraprocedimientoscualitativosydebajocoste.Evidentementeladistincin
establecidaenfuncindelamagnituddelosproyectosesespecficaparacadainstitucin,
puesnopuedeestablecerseunafronteraabsolutaentreunosyotros.Encualquiercaso
esaclasificacinresultapertinenteparaasignarprocedimientosdegestin,ydentrodeella,
deevaluacin,diferenciadosparacadacaso.Noparecerealistapensar,porejemplo,que
esposibleevaluardelamismamaneraaunamodestaintervencinconplazostemporales
muylimitadosqueaunambiciosoprogramaqueseprolongadurantebastantesaos.
Otradiferenciacinesquemticaquehabitualmentesemanejaparaasignardistintospro
cedimientosdeevaluacineslaquepuedeestablecerseentreproyectosdirectamentepro
ductivos,queaconsejanelusodeinstrumentosevaluatoriosprximosalascienciaseco
nmicas(anlisiscostebeneficioyotros)paraconoceryevaluarflujosfinancieros,ypro
yectosnodirectamenteproductivos,proyectossociales,endondesetiendealaaplica
cincombinadadetcnicassimplificadas,tantocualitativascomocuantitativas.
Finalmenteysegnlosnivelesdelaplanificacin,laevaluacinpuedesernormativa,cuan
doafectaalasgrandesorientacionespolticasyprincipiosrectoresdecadainstitucin;
estratgica,asociadaalosplanesdedesarrolloqueconcretan,enprioridadesyalternati
vasdeintervencin,losejesnormativos;tctica,enfuncindelosprogramasqueestruc
turanaccionesconcretasparasatisfacerlasprioridadesestratgicas;yoperativa,abocada
alanlisisdelosproyectosespecficosenelmarcodedeterminadosprogramas.
Lasecuenciaanteriorconstituyeunitinerariometodolgicoadecuadoparadesarrollarpro
cesosdeevaluacinintegralesyarticulados,demodoquelaevaluacindeloselementos
decadanivelinformeyfundamentealnivelmsprximo.
Unaterceratipologaimplicareconocerculeselagenteevaluador.Talcomosehasea
ladoenlosanterioresepgrafes,tambinestaclasificacinnoesmsqueunesquemade
anlisistodavezqueenlaprcticalascombinacionesquesepresentansonnumerosas.
Convencionalmente,sedistinguentrestiposdeevaluacionesenfuncindelsujetoquelas
realiza:externa,internaymixta,alasquehayqueaadirlasevaluacionesparticipativas
quehanadquiridoenlosltimostiemposunagranimportancia.
2.3.1.EvaluacinExterna
Setratadelasevaluacionesrealizadasporespecialistasajenosalagestin(yespecfica
mentealaejecucin)delproyecto.Tambinestaevaluacintiendeaasociarseconlaeva
luacinfinalodeimpactos.
Lasprincipalesventajasquehabitualmentesesealanenestamodalidaddeevaluacinde
losproyectossocialessonsupresumibleobjetividad,sumenorcomplacenciaysucarc
terindependiente.Deigualmodo,seconsideraquelosexpertosexternospuedenposeer
unamayorcapacidadtcnicaenelmanejodelosinstrumentosevaluatoriosyunconoci
mientomsampliodeotrasintervencionesdecaractersticasrelativamenteparecidasala
considerada.
Enmuchasocasiones,losresponsablesdelaejecucindelosproyectossealanquelasreco
mendacionesdelosequiposexternosdeevaluacinresultaninaplicablesparalasinstitucio
nesypersonasimplicadasenlagestindirectadelasintervencionesyaque,sibienformal
mentesuspropuestaspuedenresultarirreprochables,estndictadasdesdeundesconoci
mientodelosmecanismosyprocesosconcretosqueseestnsiguiendoenlaprctica.
Igualmenteestaevaluacinescriticadaporelaltocostequeconlleva.
2.3.2.EvaluacinInterna
Laevaluacininternaesaquellarealizadaporlosresponsablesdelagestin(yejecucin)
delproyecto.Atalfin,lainstanciaejecutoraeslaencargadaderecolectaryanalizarlainfor
macin.Sueleasociarseconlaevaluacinsimultneay,comoyasedijo,suponeunasuer
tedecontinuidadconlafasedeseguimiento.
Loqueenlaevaluacinexternasuponanventajaseinconvenientes,enestecasoimplica
uncambiodesigno.As,laevaluacininternatiendeaconstituirunprocesodeanlisis
muchomsapegadoalarealidadyvinculadoalasdebilidadesyfortalezasdetectadasen
losdistintoscolectivossociales,sibiensecorreelriesgodeunaexcesivaautoafirmacin
positivaquebloqueelaidentificacindelosverdaderosobstculosyproblemas.Tambin
sueleargumentarselaausenciadesuficientecapacidadinternaparalacorrectaaplicacin
delosinstrumentosdeevaluacin.Porelcontrario,losprocesosdeevaluacininternaresul
tanmuchomsbaratos
Elproblemafundamentalenmuchasocasionesqueimpideabordardeformaconsecuen
teunprocesodeevaluacininternaesprecisamentelafaltadevoluntaddelasinstitucio
nesimplicadas.Puedeaqusealarsequepocasvecesestmsjustificadoelprincipioque
afirmaquesisequiere,sepuede.Paraevaluarunproyectosocialelrequisitoimprescin
dibleesquererhacerlo.Siexisteesavoluntad,larelativaausenciademediosodeconoci
mientosnoresultandificultadesinsuperables.
Esunacombinacindelasdosanteriores.Setratadearticular,enbaseaunostrminosde
referenciacomunes,ambasperspectivas,optimizandolasventajasdecadaunadeellasy
minimizandoloseventualesinconvenientes.
Suaplicacinprctica,endeterminadoscasos,serealizasituandolaresponsabilidaddela
evaluacinsimultneaenlainstanciaejecutora(responsableasimismodelseguimiento)
paracompletarelprocesoconunaevaluacinfinalacargodeunequipoexternoquebasa
susapreciaciones,ademsdeensuspropiosanlisis,enlostrabajosdecarcterinterno.
Existen,noobstante,otrasposibilidadesalternativas.
2.3.4.EvaluacinParticipativa
Setrata,dehecho,deunamodalidaddeevaluacininternapero,enestecaso,larespon
sabilidaddelamismanorecaetanto(otanslo)enlainstanciaejecutorasinoquelaspro
piaspersonasbeneficiariasconstituyenelagenteprincipalenlarecogidadedatos,ensu
interpretacine,incluso,enlaproyeccinderecomendacionesparaelfuturo.
Laevaluacinparticipativasueleestarasociadaametodologasdeltipoinvestigacinaccin,
endondelosbeneficiosdelproyectonoestnconstituidossloporlaconsecucindesus
resultadosyporellogrodesusobjetivossino,tambinybsicamente,porloselementos
decontinuoaprendizajequesedesencadenanduranteelmismoprocesodeejecucin.Es
decir,separtedelabasedequeeldesarrollodelproyectoylaparticipacinactivadelas
personasbeneficiariasentodassusfases,constituyenperseunadelasprincipalesfina
lidadesdelaintervencin.
Porltimo,puedeafirmarse,quelaevaluacinparticipativa,auncuandoenocasionespue
daapoyarseenasesorastcnicasexternas,pretendereduciralmnimoladistanciaexis
tenteentreelevaluadorylaspersonasbeneficiarias.Elevaluadortiendeaserconcebido
enestetipodeenfoquesmscomounanimadorquecomounjuezysufuncinconsiste
esencialmenteendinamizar,facilitarlasdiscusionesyrecogersusresultados.
Parafinalizarconlastipologasdeevaluacinesoportunoincluirunaclasificacindecarc
termsinstrumentalqueafectaalosprocedimientosytcnicasconcretassusceptiblesde
serutilizadosencadaunadelasmodalidadesexpresadasenlosapartadosanteriores.Nue
vamentecabesealarqueestastcnicassepresentan,enlaprctica,habitualmenteaso
ciadasentres.
Deformainicialpuederealizarseunadistincinentreprocedimientoscualitativosycuantita
tivos.Sibienlacalidadylacantidadsuelenserdosdimensionesdeunamismasecuencia,
cadaprocedimientodeevaluacinseorienta,enmayoromenormedida,haciaunadeellas.
Estaorientacinseconcretasegneltipodedatosquecadainstrumentorecogeyproce
sadeformapreferente.Losdatoscualitativossederivannormalmentedeactitudes,per
cepciones,opiniones,perspectivas,comportamientos,creencias,etc.Sucarcteriterativo
lespermiteunarevisinyadecuacinconstanteenelcursodelarecogidadeinformacin.
Losdatoscuantitativosconsistenencifras,tasas,variables,etc.Laformadesuobtencin
tiendeaestarrgidamentepredeterminadadeantemanoysucapacidaddeserflexiblees
escasa.stosltimos,noobstante,suelenserpreferidosporsupresumiblecarcterde
mayorobjetividadyfiabilidad.
Losinstrumentos,comoresultalgico,constituyenunmedioparalaevaluacinynosufina
lidad.Enesamedidapuedesealarsequenoexisteunprocedimientotipoparacadapro
yectoyquesucombinacinadhocsueleresultarelcaminomsacertado.Paratomaresa
decisinhabrquevalorar,entreotrascosas,laaplicabilidaddelinstrumentoalascaracte
rsticasdelproyecto,lascapacidadesdequieneshandeaplicarlastcnicasseleccionadas,
sucalidadintrnseca,sufiabilidadyvalidez,sudisponibilidad,surelevanciaysucoste.
2.4.1.InstrumentosCuantitativos
Encuantoalosinstrumentosesencialmentecuantitativoshaydosfamiliasdetcnicasde
usohabitualalasquesumamoslaevaluacinporindicadores:
I.Laprimera,ligadaalmundodelascienciaseconmicas,pretendedeterminarcri
teriosderentabilidaddelosproyectosparaconocerlaconvenienciaderealizaruna
accinsocialo,ensucaso,examinarlarentabilidadeconmicadeunproyectofutu
ro,encursoofinalizado.ElmtodotipoeselAnlisisCosteBeneficio(ACB)que
comparalosflujosdebienesyserviciosproducidosporelproyectoconsusrespec
tivoscostes,expresandotodoelloenunidadesmonetarias.Unamodalidadderiva
da,entreotrasposibles,eselAnlisisCosteEfectividad(ACE)endondelaanterior
comparacinserealizasinqueambasdimensiones,costesybeneficios,estnexpre
sadasenlamismaunidad.
Estastcnicastiendenautilizarseenproyectosdirectamenteproductivosan
cuando,enocasiones,ciertosdogmatismosmetodolgicosintentanforzarlalgi
cadelascosasparasuaplicacinaproyectosendondelosefectosobeneficios
resultan difcilmente cuantificables en trminos monetarios, nios escolariza
dos,etc.
II.Lasegundafamiliadeprocedimientoscuantitativostienequeverconelmbitode
lasencuestasformales,querecogeninformacinprecisayestandarizadaatravsde
cuestionariosaplicadosadeterminadasmuestrasrepresentativas.Suutilidadesincon
testableparaeltratamientodedatoscuandosenecesitarealizargeneralizacioneso
bienverificarhiptesis.Sinembargo,sualtocosteygradodesofisticacinenlareco
gidadeinformacinaconsejansuusoslocuandolascondicionesdelproyectoas
loexijany/olopermitan.
Existenotrosmtodos,tradicionalesenestembito,talescomoelampliocampode
lasmedicionesdirectas,apropiadasparacomparardimensionesfsicas,quepueden
aplicarseasociadasaotrastcnicas.
III.Finalmente,laevaluacinporindicadoresconstituyelaestrategiaevaluatoriacentral
delenfoquedelmarcolgico(EML),endondedichosindicadoresdebensercuanti
ficablesyverificables,atravsdetcnicascuantitativascomolassealadasy/opro
cedimientoscualitativoscomolosquevienenacontinuacin.
Encuantoalosinstrumentosmscualitativoslatipologaesdeunaextensinimposiblede
resumirenestemanualysusposiblescombinacionesenlaprcticaresultanprcticamen
teinacabables.Noobstante,seguidamenteseenuncianalgunosprocedimientosgenricos
deusocomnenlosproyectosdedesarrolloquetambinpuedenseragrupadosendos
tiposdefamilias:laobservacinylaentrevista.
A.Laobservacin esunatcnicatradicionalquenoexigedemasiadoscomentarios.Su
carcterdeapreciacinsubjetivaesevidente,ascomosuutilidadparainterpretardatos
recogidosporotrasvas.Sueledistinguirseentreobservacinparticipante,endondeel
evaluadorestpresenteduranteelprocesodeejecucin,yobservacindirecta,cuando
serealizaenmomentospuntualesdelavidadelproyecto.Ambastiendenasercomple
mentadasconotrastcnicasysoportes,listasdecomprobacin,cuestionarios,etc.,que
reducenlosinevitablessesgosdelosobservadoresyrefuerzanlasposibilidadesdeesta
blecercomparaciones.
B.LaEntrevistaesuninstrumentobsicoentodaevaluacinypermite,adiferenciadela
encuestaformal,introducirunaltogradodeflexibilidadenlarecogidadeinformacine
incorporar,enelcursodelostrabajos,elementossobrevenidosquenoseprevieronini
cialmenteyqueenocasionesconstituyendatosesencialesparadeterminadasinterpre
taciones.Algunasmodalidadesson,porejemplo,laentrevistaainformantesclave,en
dondeungrupodeindividuosrelevantesyconunimportanteconocimientodelasitua
cinopinan,deformaseparada,sobretemasquenolesimplicandirectamente;una
varianteeslatcnicaDelphiqueutilizaunasecuenciadecuestionariosenviadosyreci
bidosporcorreo.
Laentrevistaagruposfocales aplicacolectivamente,deformaflexibleyconundesglo
setemtico,uncuestionariocomnaunpequeogrupohomogneo.Elforumcomuni
tarioesunareuninabiertaapersonasrepresentativasdelacomunidad,endondese
estableceunadiscusinordenadabasadaenunguindetrabajodesagregadoporcompo
nentes;estemecanismoresultamuytilcomomomentoltimodeunprocesodeeva
luacinendondesecontrastalainformacinrecabadaporotrasvasconlaopininde
losparticipantesenuntallerdeevaluacin.
GUA
Estratgico
PlanificacinEstratgica
2 ANLISIS ESTRATGICO
1. EL PROCESO DE LA EVALUACIN
Nuestrapropuestadeprocesodeevaluacin,yenlacualnosapoyaremosalolargodeeste
material,eselsiguiente:
Motivacinparaevaluar
Definicindeunidad,qu,quienesycuando
Necesidadesinformativas
Criteriosdevalor,preguntasrelevantes
Operacionalizarcriteriosaindicadores/diseometodolgico
Bsquedaydiseodefuentesdeverificacinprimariasysecundarias
Trabajodecampo
Recopilacinysistematizacindedatos
Anlisiseinterpretaciones
Juicios
Recomendaciones
Comunicacinderesultados
1.1. Laprogramacindelaevaluacinylostrminosdereferencia
Laprogramacindelaevaluacinincluyeelconjuntodetrabajospreviosalejerciciocon
cretodeevaluar.Setratadeestablecersuscontenidospreliminaresentrminosdequse
vaaevaluaryporqu;quinlovaahaceryparaqu;cmo,cundoydndeserealizar.
Resultaalgoequivalentealaformulacindelproyectopero,enestaocasin,lafinalidad
consisteendisearunprocesoconcretodeevaluacin.
ESQUEMADEPROGRAMACINDEUNAEVALUACIN
CONTENIDOS PASOS RESPONSABLE
Tomarladecisindeevaluar
Porquevaluar Organizacin
segncriteriosestablecidos
Preparacindelostrminos
Paraqu,quycmoevaluar Organizacin
dereferencia
Elaboracindelprograma Equipoevaluador,apartir
Quin,cundoydndeevaluar
oproyectodetrabajo delostrminosdereferencia
Fuente:elaboracinpropia
32 PLANESTRATGICODELTERCERSECTORDEACCINSOCIAL
ANLISIS ESTRATGICO 2
Porquseevala,correspondealmomentoinicialdeestaprimerafaseyconstituyeel
punto de partida. Significa, en definitiva, tomar la decisin de evaluar. El por qu de
estadecisindebequedar suficientementeclaro y argumentadoenelsenodelains
titucinresponsabledelproyecto,entrelapoblacinbeneficiariaytambinparaelequi
poevaluador.
Enocasionesseevalaporqueexisteunaexigenciaadministrativadequeasseaporpar
tedelfinanciador.Desdeunpuntodevistaestrictamentetcnico,elmotivopuedeser,entre
otrosmuchos,ladeteccindealgunainsuficienciauobstculodurantelaejecucindelpro
yecto;laampliacindelaaccinsocialaotrasreasoaotroscomponentesadicionales;o
bien,simplemente,lanecesidaddeincrementarelconocimientosobreeldesempeoy
efectosdelaintervencin.
Losresultadosexplcitosdeestareflexinfacilitarnlaconcrecindelosmomentosposte
riores.
ElpasosiguienteconsisteenelaborarlosTrminosdeReferencia (TdR)delaevaluacin,
quesonelsoportedocumentalapartirdelcualseconstruirnloscimientosdelaevalua
cin.LosTrminosdeReferenciadebenincluirlaspreguntasalasquelaevaluacindebe
darrespuesta,temticamuyrelacionadoconloscomponentesocriteriosdeevaluacin,
queserntratadosmsadelante.Engeneral,sernelaboradosporlainstitucinqueencar
galaevaluacin,yaqueesaellaaquienlecorrespondeestablecerlosperfilesdelproce
soysusreassustantivas.
Enunsegundomomento,ytrasseranalizadosporelequipoevaluador,seconfeccionar
unProgramaoProyectodeTrabajoconlasaportacionestcnicasqueprocedan,comple
tandoydescribiendoalgunoscaptulostalescomoelmbitodeaplicacinylosprocedi
mientosmetodolgicos,profundizandoenellosyconcretndolosenproblemasypropues
tasespecficas.
Laseleccindecuestionesaexponerenlostrminosdereferenciadelaevaluacinesde
extremaimportanciaparalosresultadosdeevaluacin.Dehecho,algunasevaluacionesno
resultanexitosasporquelosTdRsehancentradoendetalles,sinningunaespecificacin
deconjuntoenrelacinalpropsitoconelqueserealizalaevaluacin.
AlahoradeformularlosTdResimportante,portanto,tomarcomopuntodepartidaelobje
tivodelaevaluacinyconcentrarseencuestionesypropuestaglobales,evitandounnivel
elevadodedetalle.Msbien,deberacorresponderalequipodeevaluacinelrealizaruna
formulacinmsdetallada,sujetaaloscomentariosylaaprobacindelcliente.
Esimportanteestablecerclaramentecualeselpropsitodelaevaluacinyquclasedeeva
luacinseprev;porejemplo,evaluacindeunafaseoevaluacinexpostdeunproyecto.
Esimportanteimplicaratodaslaspartesinteresadas,tantodelapartedonantecomorecep
tora,enlapreparacinylaaprobacinfinaldelosTdR.
Sepresentaacontinuacinunresumendelospuntosprincipalesquedeberanincluirse
enlosTrminosdeReferencia.
ELEMENTOSPRINCIPALESENLOSTERMINOSDEREFERENCIA
1.1.ANTECEDENTESDELPROYECTO
Contextoyrazndeserdelproyecto
Descripcindelproyecto:principaleselementosdelamatrizdelproyecto
1.2.OBJETIVODELAEVALUACIN
Razonesrelativasalasdecisionesformales
Razonesrelativasaldesempeodelproyecto
Usoquesedaralosresultados
1.3.MBITODEAPLICACINYMTODOS
mbitodeaplicacindelaevaluacin
Tipodeanlisis,mtodosautilizar,gradodedetalle
1.4.CUESTIONESATRATAR
Enqumedidasetratarntodasoseseleccionarnsloalgunascuestionesyreasdean
lisis(eficiencia,eficacia,impactos,pertinencia,viabilidad)
Gradodeespecializacin
1.5.EQUIPOEVALUADOR
Nmerodemiembrosdelequipoysusfunciones
Cualificacionesrequeridas(perfilprofesional,experiencia)
1.6.CALENDARIO
Fechasaproximadasyasignacindetiempos(antes,duranteydespusdeltrabajodecampo)
1.7.CONSULTASSOBREELTERRENO
Autoridades,institucionesygruposalosqueconsultarduranteyalfinaldeltrabajodecampo
1.8.ELABORACINDEINFORMES
Plazospararealizarlaversinpreliminaryelinformefinal
Especificacindelmodelotcnicoparaelinformefinal
Fuente:elaboracinpropia
Estasegundafasesuponelapuestaenmarchaefectivadelostrabajosderecogida,trata
mientoyanlisisdelainformacin.Eslapartevisibledelaevaluacin,dondeelequipoa
cargodelamismadesarrollaloscontenidosdelosTrminosdeReferencia.
Sepuedenestablecer,agrandesrasgos,tresmomentosenlaejecucindelaevaluacin:
antes,duranteydespusdeltrabajodecampo.
Enelprimerodeellos,antes,elequipoevaluadortienecomotareaprincipalrealizarlos
preparativosnecesariosparaeldesarrollodelostrabajossobrelaaccinsocialemprendi
da.Estafasesedenominahabitualmenteestudiodegabinete.As,unitinerariotipocon
templara,larevisinyactualizacindelProgramaoProyectodeTrabajoporpartedelequi
poevaluadorteniendoencuentaloscambiosquehayanpodidoproducirsedesdesuapro
bacin,ascomoenfuncindereajustesmetodolgicosqueseestimenoportunos.
Deformaparalela,elequipoevaluadordeberprocederalarevisindeladocumentacincomple
mentarianecesariay,siprocede,arealizaralgunosestudiospreviosquefacilitenunavisin
msglobalycomprensivadelascaractersticasdelproyectoydelcontextodondesesita,as
comolaconstruccindeindicadoresquehaganoperativosloscomponentesdelaevaluacin.
Trasloanteriorseestarencondicionesdeabordarelsegundomomentodelaejecucin
delaevaluacin,durantelacualsepondrenmarchaelprocesoderecopilacindeinfor
macinsobrelaaccinsocialotrabajodecampo.Lasmodalidadesparaellosonmltiples
y,unavezms,stasdependernestrechamentedelanaturalezadecadaintervencin,si
bienlasecuenciasuelecomenzarconelestablecimientodecontactosyconversaciones
preliminares,tantoconlasautoridadeslocalescomoconlosprincipalesrepresentantesde
losgruposdestinatarios,paraintercambiarpuntosdevistaydesbloquearposiblesdificul
tadesyobstculosenlarealizacindelostrabajos.Seguidamente,seprocederalareco
pilacindedatosatravsdelastcnicasoportunas.
Lacalidaddeestaetapaescrucialparaelconjuntodelproceso,yaqueesenellaendon
deseextraelainformacinquepermitenencadacasounamejorcomprensindelarea
lidad.Enestaetapaserealizatambinunprimeranlisisdelainformacin.
1.2.3.Despus:elAnlisisdelaInformacinylaRedaccindelInformefinal
Finalizadoeltrabajodecampo,elequipoevaluadorabordaelltimomomentodelaejecu
cin(despus)quetienecomofinalidadelprocesamiento,contrasteypresentacindelos
datosrecogidos.Paraelloseproceder,inicialmente,aorganizar,estructuraryanalizarla
informacinobtenidaenfuncindelacualseprepararuninformepreliminarquedebe
contenerloselementoscentralesdelaevaluacin.Seradeseablequeesteprimerdocu
mentoborradorsercontrastadoyanalizadoconlainstitucinejecutoray,sobretodo,con
elcolectivodelaspersonasbeneficiariasyotrosactoressociales.Comoconclusindetodo
elproceso,elequipoevaluadorprocederaconfeccionaryredactarelinformefinal.
Lafasedeutilizacindelaevaluacinserresponsabilidadtantodelaorganizacinque
desarrollaelproyectodeaccinsocialcomodelequipodeevaluacin.Estetemaesdefun
damentalimportanciaparagarantizarlautilidaddelejercicio.
ESQUEMADEEJECUCINYUTILIZACINDEUNAEVALUACIN
MOMENTOS CONTENIDOS
RevisinyactualizacindelProgramaoProyecto
Antesdeltrabajodecampo detrabajo
(estudiodegabinete) Revisindedocumentos
Estudiosprevios
Contactosyconversacionespreliminares
Trabajodecampo Recopilacindelainformacin
Primeranlisisdelainformacin
Anlisisdelainformacinobtenida
Preparacindelinformepreliminar
Despusdeltrabajodecampo(anlisis
Discusindeconclusiones
delosdatosypreparacindelinforme)
Informefinal
Retroalimentacindeenseanzasylecciones
Fuente:elaboracinpropia
1.2.4.RecomendacionesPrcticas
Presentamosaquunaseriedeindicacionesdecarctergeneralparallevaradelanteun
procesodeevaluacin,quehabrqueadaptaracadacasoindividual,dependiendodel
proyectoencuestin,sualcance,elmomentoenelquesehagalaevaluacin.
Lasentidadesproveedorasdefondosestablecenrequisitosestrictosenrelacinconlacali
daddelosinformesdeevaluacin;prepararunmandatodetalladoyprecisorequiereun
conocimientoprofundodeloquehadeserevaluado.Deigualforma,unacuidadaplanifi
cacinyejecucindeltrabajodeevaluacinesesencialparalograrunbuenresultado.
Acontinuacinsepresentaunesquemadelprocesodeevaluacinydelasprincipaleseta
pasqueconlleva:
ESQUEMADELPROCESODEEVALUACIN
Seleccionarproyectosotemasaevaluar
DECISINDEEVALUAR: Darrazonesparaevaluar
Alcanzarunacuerdoentrefinanciadoryorganizacinreceptora
Determinarelobjetivodelaevaluacin
PREPARARLOS Decidirelmbitodeaplicacinyelmomentoparallevarlaacabo
TRMINOSDE Prepararunborradordelostrminosdereferencia
REFERENCIA: Solicitarcomentariossobreelborrador
Prepararlaversinfinaldelostrminosdereferenciadelaevaluacin
SELECCIONAR Decidirsobrelacomposicinycualificacionesdelequipo
YCONTRATARAL Identificarcandidatosapropiados
EQUIPOEVALUADOR: Negociarcontratosconlosmiembrosdelequipo
Prepararelprogramaoproyectodetrabajo
TRABAJOPREPARATORIO Revisarladocumentacinnecesaria
YDEPLANIFICACIN: Iniciarestudiosprevios
Prepararelprogramaoproyectodetrabajodelaevaluacin
Prepararelviajeyeltrabajodecampo
Recogerdatos
LLEVARACABO
Estructurarlosdatosylainformacinobtenida
LAEVALUACIN:
Analizarlosdatos
Presentarconclusionespreliminares
Coordinarlosinformesdelosmiembrosdelequipo
PREPARARELINFORME:
Redactaryeditarlaversinpreliminardelinforme
Distribuirelinformepreliminarpararecibircomentarios
Incorporarloscomentariosrecibidos
Prepararlaversinfinal
Formularlaexperienciaaprendidaparalostomadoresdedecisiones
FASEFINAL:
Seguirlasrecomendaciones
Publicarydistribuirelinforme
Incorporarunresumendelaevaluacinenlossistemasdememo
ria,archivosdelaentidad
Fuente:elaboracinpropia
GUA DEEVALUACINDEPROGRAMASYPROYECTOSSOCIALES 37
2 ANLISIS ESTRATGICO
Todocontextoevaluativoimplicalapresenciadediferentespersonas,colectivosyentida
desque,deunaformauotra,participaneneldesarrollodelproyecto,programaopoltica
y,portanto,tienenalgodequedecirenelprocesoevaluativodelmismo.Estaspersonas
implicadasenelprogramaopolticaaevaluarrecibenelnombredestakeholder,trmi
nodedifciltraduccinalcastellanoyquevendraaseralgoascomoelquetienealgo
quedecirotienealgnintersen.
SegnelJointCommittee11 ladefinicindestakeholderenevaluacinseralosindividuos
ogruposquepuedenestarimplicadosenoafectadosporunaevaluacinyparaGreene12
seranlosgruposdepersonasquepuedenverseafectadosporelprogramayaquelloscuyas
decisionespuedenafectarelfuturodelmismo.
Desdeelpuntodevistadelequipoevaluador,todosellossonpotencialesinformantescla
veenlamedidaquenospuedenfacilitarinformacinsignificativaparanuestrotrabajo.A
suvez,sirecordamoslafuncindeaprendizajeyretroalimentacinquedebetenerlaeva
luacin,todosellostienenderechoarecibirlainformacinquepuedaserlesdeutilidaden
relacinaldesarrollodelproyecto/programa/polticaqueestamosevaluando.
Portanto,laspersonasoentidadesquepuedenteneralgnintersenlaevaluacin,como
afectadasy/oimplicadas,alasquevadirigidalaevaluacinyquepuedenserusuariasde
lamismaseranlosagentescrticosdelaevaluacin(stakeholders).
Sepuedenestablecercuatrograndescategoras:
Entidadespatrocinadoras,formuladoresdepolticasyresponsablespolticos.
Equiposdirectivosdelosprogramas,gestorespblicosypersonaltcnicoasignadoal
desarrollo
delprograma/proyectoevaluado.
Personasdestinatarias,directaeindirectamente,delaactuacindelproyecto;usuarias
potencialesdelservicio,programaopolticaevaluada;poblacinocomunidadengeneral.
11.THEJOINTCOMMITTEEONSTANDARDSFOREDUCATIONALEVALUATION(1994).TheProgramEvaluationStandards.Thousand
Oaks,California
12.GREENE,M.(1988).Thedialecticoffreedom.NuevaYork.
Otros:equipostcnicosy/oresponsablespolticosdeprogramassimilares,expertos/as
delsectoropolticaqueseevala,profesionalesdelaaccinsocialengeneral.
GubayLincoln13 vanmsallyhacenunadefinicinampliadelosposiblesagentescrticos
ostakeholdersdeunprograma:distinguenentreagentes,laspersonasbeneficiariasyvc
timasdelosprogramasopolticasevaluadas.Enlatablasiguienteseexponesulistado.
LISTADODEPOSIBLESAGENTESCRTICOS(STAKEHOLDERS)
1.agentes,sonaquellaspersonasinvolucradasenlaproduccin,usoypuestaenprcticadel
programaopoltica aevaluar(elevaluando).
incluyen:
Quienesformulanlaevaluacin.
Quienesfinancian(niveleslocal,regionalynacional).
Quienesidentificanlanecesidadqueelevaluandovaaintentarmitigaroremover(asesores/as
denecesidadeslocales).
Quienestomanlasdecisionesydecidenutilizarodesarrollarlaevaluacindeformalocal.
Proveedoresdemateriales,instrumentaleinstalacionesnecesarias
Elclientedelaevaluacin(quiencontrata).
Elpersonaltcnicoadscritoalaejecucindelaevaluacin.
Otroscolectivostcnicosyprofesionales.
2.poblacinbeneficiaria,dealgunaforma,delusodelevaluando.
incluyen:
Beneficiariasdirectasogrupodiana:personasparalasquefuediseadoelevaluando.
Beneficiariasindirectas:personascuyarelacinconlaspersonasbeneficiariasdirectasseve
mediatizada,facilitada,fomentadaopositivamenteinfluida.
Las personas que ganan algo por el hecho de que el evaluando est en uso, como por
ejemplo,laseditorialesdematerialesotextos,lasempresasproveedorasdeservicios,etc.
3.vctimas,personasogruposafectadosnegativamenteporelusodelevaluando(yquepueden
incluir,debidoalosfallosdelevaluando,agrupossupuestamentebeneficiarios).
incluyen:
Losgrupossistemticamenteexcluidosdelusodelevaluando,comoporejemplo,losjvenes
normalesexcluidosdeprogramasparasuperdotados.
Colectivosquesufrenefectoscolateralesnegativos,comoporejemplo,estudiantesysusfami
lias,quesontrasladadosauncolegiodistantedeformaquealumnadoconnecesidadesespe
cialesocupasuspuestosenelcolegiocercano.
Laspersonasquesevenendesventajapoltica,conprdidasdepoder,influenciaoprestigio
porelusodelevaluando.
Laspersonasoentidadesquesufrencostesdeoportunidad:personasquehubieranpreferido
dedicaresedineroaotrascuestiones,empresasdeserviciosrivales
Fuente:guba,e.ylincoln,y.(1989).
13.GUBA,E.YLINCOLN,Y.(1989).FourthGenerationEvaluation.BeverlyHills,California
GUA DEEVALUACINDEPROGRAMASYPROYECTOSSOCIALES 39
2 ANLISIS ESTRATGICO
Garantizarunaampliaypluralparticipacindeagentescrticosenelprocesoevaluadornos
aseguraunamayorriquezadelainformacinrecabaday,portanto,unamayorlegitimidad
delasconclusiones.
Deigualforma,laparticipacindediferentesactoresenlaevaluacinfavorecesuimplica
ciny,portanto,unposteriorusodelamismaportodosellos.
1.3.2.Laimportanciade la participacin
Laincorporacindelaparticipacincomocriteriodecalidadenlaevaluacindeproyec
tosformapartedeunprocesoqueseiniciaenlosaossetentaconelmodelodeinterven
cinsocialdenominadodesarrolloparticipativoyconelconjuntodemetodologasbasa
dasenlaInvestigacinAccinmsconocidocomomodelodedesarrollocentradoen
laspersonas14.
Frentealosmodelostradicionalesdepolticasdeaccinsocial,elmodelodedesarrollopar
ticipativoinvierteelordenclsicodelaplanificacinyotorgaprotagonismoalagente
comodestinatarialtimadelasacciones.
Losobjetivosquepodemosconseguiratravsdelaevaluacinparticipativason:
Minimizarladistanciaentreelevaluadorylaspersonasbeneficiarias.
Reducirsesgosmetodolgicos.
Enriquecerperspectivas.
Cobrarmayorlegitimidadparalosactoressociales.
Incrementarlasposibilidadesdesuutilizacin.
Estapropuestaexigeadaptareldiseo,laejecucinylaevaluacindelosproyectosalas
necesidadespreviamenteidentificadasporlapoblacin.Comoconsecuenciadeestecambio
deperspectiva,sehaelaboradotodounconjuntodetcnicaseinstrumentosespecficos
14.CERNEA,M.M.(1995).Socialintegrationandpopulationdisplacement.ThecontributionofsocialscienceEnInternationalSocial
ScienceJournal143.(pp.941112)Paris.
dirigidosaotorgaralaciudadanalaposibilidadnoslodeanalizar,sinotambindepla
nificar,disear,actuaryevaluarsuscondicionesdevida.
Enelmbitodelaaccinsocial,lasevaluacionesdelosproyectosbasadasenpropuestas
participativas,pretendenasegurarelaprendizajeylaconstruccindecapacidades.Para
conseguirlo,serequiereintegrarysatisfacerlasnecesidadesdeinformacindetodoslos
implicadosostakeholders,tantoexternoscomolocales,mediantesuincorporacinentodas
lasfasesdelproceso.Suparticipacinasegurarlasignificacinylegitimidaddelpropio
procesoevaluador.
As,osofrecemosdosesquemasquesintetizaneilustranlosdiferentesnivelesdepartici
pacinquepuedeofrecerunprocesodeevaluacin:
I.ESCALERADEPARTICIPACIN
Proyectoiniciado,desarrolladoygestionadoporelcolectivo.
8
Decisionesasumidasporotrasinstituciones.
Proyectoiniciado,desarrolladoygestionadoporelcolectivo.
7
Losagentesexternosintroducenmodificacionesenelproyecto.
6 Proyectoiniciadoporagentesexternosydecisionescompartidasporelcolectivo.
5 Elcolectivoestinformadoyconsultado.
4 Seinformaalcolectivodelasdecisionesquesetomanfuera.
3 Participacinsimblica,apariencia.
2 Participacindecorativaodeescaparate.
1 Manipulacindelcolectivo
Fuente:adaptadodearnstein(1969)15
15.ARNSTEIN,S.R.(1969).)EightrungsontheladderofcitizenparticipationenCahnCitizenparticipation:effecting,community
changes.NewYork.
II.CARACTERSTICASDELENFOQUEPARTICIPATIVO
IgnacioGallego16 sealaalgunosdelosaspectoscaractersticosdelosmodelosparticipati
vosdeevaluacin:
ESPECIFICIDAD. Laparticipacinrequierecontextualizarlosprocedimientosymetodo
logasalascaractersticasespecficasdelentornoenelquesedesarrollalaevaluacin;
noexistiranmodelosdeevaluacinestndarysuaplicacinrequiere,apriori,deuna
adaptacinalascaractersticasdelentornosocialenelquesedeseaintervenir.
EMPIRISMO.Setratadeunenfoqueeminentementeprctico;hayquerecordarque
esteenfoquesurgeapartirdelasistematizacindeexperienciasyaexistentesenel
terreno,conelobjetivoderentabilizarlosconocimientosyaexistentes.
CONTINIUM delaparticipacindelosagentesimplicados,asumiendounpapelde
dobledireccin:ofreceninformacinsignificativaydebenrecibirunadevolucindela
evaluacin,entodaslasfasesdelprocesoevaluador.Mencinespecialmerecelaincor
poracindelapoblacindestinataria,tradicionalmenteutilizadoscomomerosprovee
doresdeinformacin.
APRENDIZAJE basadoenlosconocimientosyrecursoslocales,dirigidoalfortalecimien
todelascapacidadeslocales,comunitariaseinstitucionales(empoderamiento)ycon
lametadetransformarsupropiarealidad.
NEGOCIACIN entrelasdiversaspercepcionesdelosagentesimplicados;requierela
revisindelasrelacionesdepoderexistentesparaasegurarelreconocimientomutuo
enladefinicindelasdiferentesfasesdelaevaluacin.
FLEXIBILIDADYDINAMISMO delprocesoevaluador,determinadoporlanecesidadde
adecuarsealascaractersticasdelcontextosocialdondesedesarrollolaevaluacin.
Aadimosaestelistadoalgunasreflexionesms:
Elenfoqueparticipativoesunplanteamientotericoymetodolgicodeaccinytrans
formacindelarealidaddesdeabajo,enelquelaspersonasqueintegranelequipo
tcniconosonanalistas,sinofacilitadores,nosonmaestros/as,sinoaprendices,no
16.GALLEGO,I.Elenfoquedelmonitoreoylaevaluacinparticipativa(MEP):bateradeherramientasmetodolgicas,enRevista
EspaoladeDesarrolloyCooperacin,n4,1999.pp.103135.Madrid.
sonponentes,sinooyentesdelasrealidadeslocales,delaspersonas,actuandocomo
intermediarios/asantelasinstanciaspolticas,ponindosedemanifiestodesdeesta
perspectivalapotencialidadtransformadoraquelasmetodologasparticipativaspue
denaportar.
Requiereaceptarelgradodecomplejidaddelascomunidadesenquenoshalla
mosinmersos,lavariedaddeinteresesenconflicto,losdiferentesprocesosquese
dansimultneamenteylasdiferentesnecesidadesquelosdiversosactorespresen
tesplantean.
Parafinalizar,osofrecemosuncuadrocomparativoquepermiteobservarlascaractersti
casquediferencianlosmodelostradicionalesyparticipativosenrelacinalaevaluacinde
proyectosdeintervencinsocial:
EVALUACINTRADICIONALVERSUSEVALUACINPARTICIPATIVA
CARACTERSTICAS Evaluacintradicional Evaluacinparticipativa
Aprendizajedelaorganizacin Empoderamientoyaprendizaje
PROPSITO
ymejoradelagestin detodoslosimplicados
MOMENTODELA
Momentopreestablecido Evaluacinperidica
EVALUACIN
Apropiacinporpartedela
PARAQUINSEEVALA Propiedaddelagenteexterno
poblacinimplicada
Perspectivaestratgicade
Perspectivainmediatade
IMPLICADOS fortalecimientodederechos
satisfaccindenecesidades
(empoderamiento)
Aprendizajedelprocesoydelas
RESULTADOS Informefinaldeevaluacin
prcticasdeevaluacin
Fuente:adaptadodegallego,i.(1999)elenfoquedelmonitoreoylaevaluacinparticipativa(mep):bateradeherramientas
metodolgicasenrevistaespaoladedesarrolloycooperacin,n4.
III.LIMITACIONESDELOSENFOQUESPARTICIPATIVOS
Comoyahemosmencionado,laevaluacinparticipativadavozalosagentescrticosenel
programayfomentalacooperacinconelequipoevaluador;facilitaatodaslaspersonas
implicadaslacomprensindelprogramayfomentaelaprendizajesobreevaluacin.Enel
sentidodelajusticiaylaigualdad,lasevaluacionesparticipativastiendenacompensarla
balanzayafavorecercondicionesdemayorequilibrioentrelaspartesimplicadas.
Sinembargo,esconvenientenopecardeingenuidadrespectoalaefectividaddelastc
nicasparticipativas:sentarsejuntosenunamesadetrabajo,enunaatmsferaigualita
ria,noeliminalasdistincionesquehaypuertasafuera.Todavasonimportanteslasdis
tincionesdeclase,edad,raza,nacionalidad,ocupacin,gneroyotras(...)Lasupera
cindelasdiferenciasdepoderydeconocimientoentrelosdiferentesagentescrticos
noesfcil17.
SiguiendoelanlisisdeWeiss18,podemosenumerarunaseriedelimitacionesdeestetipo
deenfoques:
Notodoslosagentescrticossuelenestarinteresadosenlaevaluacin,yaquelamayora
deellosvanaestarmsinteresadosenlaejecucindelprogramaqueensuevaluacin.
Estopuedereducirlaparticipacinyquehayaausenciasenlasreunionesdetrabajo.
Aunquelosprocedimientosparticipativosparecequeaumentanlarelevanciaylafac
tibilidaddelestudio,noestclaroquelohaganrespectoalacalidadtcnica,quesue
leversecomosecundaria.
Lapresenciadealgunosagentescrticosenlaevaluacinnoaseguratotalmentesupar
ticipacinenlatomaefectivadedecisiones,nisiquierasuinfluenciaenrelacinalfutu
rodelprograma.
Lamovilidaddelos/asprofesionalesresponsablesdelosprogramasdificultalaasun
cinylacontinuidaddecompromisosensuinterlocucin.
2. EL DISEO DE LA EVALUACIN
ConformelasnecesidadesinformativasmanifestadasylosTrminosdeReferenciasdefini
dospreviamente,deberealizarseeldiseodelaevaluacindecaraasuejecucin.
17.WEISS,C.H.(1998)op.cit.
18.WEISS,C.H.(1998)op.cit.
Elprimerpasoesrealizareldiseometodolgicodelaevaluacin,esdecir,seleccionarel
procedimientometodolgicoqueutilizaremosparapoderevaluarelproyectoconcreto.
Acontinuacinospresentamosalgunosdiseosmetodolgicosposiblesascomolosele
mentosbsicosquedebenincorporar:criteriosdeevaluacin,fuentesdeverificacineindi
cadoresdeevaluacin.
2.1.Diseosmetodolgicos:cuantitativo,cualitativoyparticipativo
Eldiseometodolgicoconstituyeunpuntocentraldelprocesodeevaluacin.Altiempo
quesedefinenlasdiferentesnecesidadesinformativasyseseleccionanlosdiferentescri
teriosdeevaluacinylosindicadores,hayquedefinircmosehaderecopilaryanalizarla
informacinrequerida.
Setratanoslodeseleccionarunaseriedetcnicasderecogidadeinformacinysuscorres
pondientestiposdeanlisis,sinodedefinirelenfoquemetodolgicodelaevaluacin.
Enelsiguientecuadroserecogenlasprincipalescaractersticasdelosenfoquesmencionados.
PRINCIPALESCARACTERSTICASDELOSENFOQUESMETODOLGICOS
EVALUACINCUANTITATIVA EVALUACINCUALITATIVA ENFOQUEPARTICIPATIVO
Perspectivadesdefuera: Perspectivadesdedentro: Perspectivaconstruidaporelequipo
puntodevistadel puntodevistadelos evaluadordeformaconjuntaconlos/as
evaluador actores principalesimplicados/as(stakeholders)
Lenguajeverbalynumrico.noestan
importanteeltipodelenguajesinocmose
Lenguajenumrico Lenguajeverbal construyeste.ellenguajehadeserfruto
deunafuerteimplicacindelapoblacin
implicada
nfasisenlosaspectos
nfasisenlosaspectos subjetivos:captaciny nfasisenlosaspectossubjetivos,pero
objetivos,observablesy comprensindeactitudes, noslosecaptansinoquesevan
cuantificables conductas,valores, configurandoentretodoelgrupo
motivacionesinternas
Anlisisdecontenidoporpartetantodel
Anlisisdecontenidopor
Anlisisestadstico equipoevaluadorcomodelos/asimplica
partedelequipoevaluador
dos/as
Resultadoslimitadosen Resultadosconcretos,aplicablesala
Resultadosgeneralizables
sugeneralizacin realidaddondesehanconstruido
Fuente:elaboracinpropiatomandocomobasedesdenirenberg,brawermanyruiz,200319:pg.82
19.NIRENBERG,O.,BRAWERMAN,J.YRUIZ,V.(2003)ProgramacinyEvaluacindeProyectosSociales.
Estaevolucinenlosdiseosmetodolgicoshaprovocadoquelametodologadeevalua
cindeimpactoshayaevolucionadohaciaunconceptomsamplio,enelquelosaspec
toscualitativoscobrancadavezmayorrelevanciaylastcnicascuantitativastiendenainte
grarsecomounelementomsdelprocesoevaluador.Lociertoesquepareceaconsejable
combinarlautilizacindemtodoscuantitativosconcualitativos,yaqueestosltimosapor
tandinamismoyvariedaddeperspectivas,carentesenlosprimeros.
Setratadeunaconsideracingeneralizada:noexisteunprocedimientotipoparacadapro
yectoyquesucombinacinadhocsueleresultarelcaminomsacertado.Paratomaresa
decisinhabrquevalorar,entreotrascosas,laaplicabilidaddelinstrumentoalascaracte
rsticasdelproyecto,lascapacidadesdequieneshandeaplicarlastcnicasseleccionadas,
sucalidadintrnseca,sufiabilidadyvalidez,sudisponibilidad,surelevanciaysucoste.
Laventajadelaevaluacindecarctercuantitativoesquepermitemedirreaccionesocues
tionesenungrupodevariables(individuos,empresas,etc.)y,adems,posibilitalaagre
gacinytratamientoestadstico.
Porsuparte,laevaluacincualitativatienelaventajadeproducirunamayorriquezade
detallessobrelosgruposovariables,aunqueseadedifcilagregacinyestandarizacin.
Enestesentido,laaplicacindelenfoquemetodolgicorecomendadoporlaComisinde
laUninEuropeaparalaevaluacincombinaelenfoquedearribaaabajo(topdown),
queposibilitaevaluarelimpactototalyefectonetodelaintervencin,conestudiosdeaba
joaarriba(bottomup),paraanalizarlasrelacionesdecausalidadydeterminarelimpac
todecadamedidaespecfica,atravsdelainformacinrecogidadelaspersonaspartici
pantesylaspersonasbeneficiariasdelproyecto.
ENFOQUEDEARRIBAABAJO(TOPDOWN)
TOPDOWN BOTTOMUP
Mideladiferenciaentrelasituacinde Proporcionaindiciossobrelasrelacionescausaefecto.
partidaylafinaltraslaaplicacindelplan. Analizaelvaloraadidonetoanalizandoinforma
Comparalosresultadosconaquellosque cindelaspersonasbeneficiariasycomparndolo
sehabranproducidoencasodenoapli conotrasactividadesquenorecibenayuda,para
carseelplan. analizarlaadicionalidadylosefectosindirectos.
Analizaelimpactoglobalperonoidentifica Identificalacontribucindecadaaccin,perono
lacontribucindecadaaccinconcreta. seanalizanlosimpactosmsglobalesdelplan.
Fuente:osunaymrquez20
20.OSUNAJ.L.YMARQUEZ,C.(DIR)(2000)Guaparalaevaluacindepolticaspblicas.Sevilla
Tambinsuelehacerseladistincinentreenfoquesinductivosydeductivos:
Elenfoqueinductivosebasa,principalmente,enmtodoscualitativosdeanlisisorien
tadosaexplorarydescubrirlalgicadelasrelacionescausales,partiendodelocon
cretoparaderivarencomportamientosgenerales.Estetipodeevaluacinseasocianor
malmenteconlaevaluacinlibredeobjetivos,puestoquenopartedehiptesisdecau
salidadpreconcebidas.
Elenfoquehipotticodeductivoseidentificaconlaevaluacincentradaenobjetivos.
Sufundamentoestenelempleodetcnicascuantitativas(mtodoexperimentalfun
damentalmente)paraladeterminacindelasprincipalesvariables,yelestablecimien
todehiptesisespecficasdecomportamientoantesdeiniciarlarecogidadedatos.
Enlaprctica,aligualqueconlosmodeloscuantitativoycualitativo,sesuelencombinar
ambasperspectivas.Atravsdelainduccinseidentificanlascuestionesyvariablesaestu
diar,yluegosecontrastanlosresultadosdeformadeductiva.
Portanto,noexisteunmtododeevaluacinnicoycomolosProgramasoProyectosno
soniguales,cadaevaluacinesdistinta.ElalcancedelaevaluacindeimpactosdeunPro
gramaoProyectopuedeirdesdeladescripcindelosimpactoshastalabsquedaemp
ricadeunacausalidadentreaccioneseimpactos.Enestesentido,lacalidaddelaevalua
cindeimpactonodependetantodelusodeunmtododeterminadocomodelautilidad
delainformacingeneradaparacadacasoparticular.
Haexistido,ytodavacontinaexistiendo,unaciertamistificacindelasmetodologasuti
lizadasenlasevaluaciones.Elerrordeanteponerlosmtodosaotrascuestionesmsimpor
tantesdentrodelosprocesosdeevaluacin,comopuedenserlaparticipacin,elempode
ramientodelaspersonasbeneficiariaso,mssencillamente,lapropiaaplicabilidaddelos
resultadosobtenidosconstituyeundefectomuygraveenmuchasevaluaciones.
Intentandohuirdeestospeligros,sehaconsideradomsadecuadonocentrardemanera
excesivanuestraatencinenlosmtodosdelaevaluacin.Laprincipalconsideracinque
puedelibrarnosdelasmetodologassucias,seanstasrpidasolentas,esunacons
tantereflexinsobrelaaplicabilidaddelosprocedimientosutilizadosysobrelasfinalida
desesperadasdelaevaluacin,entrelasquesiempreresultaresenciallamejoradela
calidaddenuestrasintervenciones.
3. CRITERIOS DE EVALUACIN
Loscriteriosdeevaluacinsonlospuntoscrticosparalavaloracindeproyectos.Eneste
caso,esprecisodestacarqueestoscriteriosestnntimamenteligadosconelEnfoquedel
MarcoLgico,lametodologautilizadahabitualmenteenlaformulacindeintervenciones
enlaaccinsocial.
CRITERIOSDEEVALUACINYCOMPONENTESDELA
MATRIZDEPLANIFICACINDEUNPROYECTO
EFICIENCIA EFICACIA IMPACTO PERTINENCIA VIABILIDAD COBERTURA
OBJETIVO
GENERAL
OBJETIVO
ESPECFICO
RESULTADOS
ACTIVIDADES
RECURSOS
Fuente:Elaboracinpropia
Estoscriteriosdebenproporcionarconocimientostilesparatomardecisionessobrelas
intervencionesconsideradas.Nosetratadecategorasexclusivasoexhaustivas,sinoms
biendeindicacionesopistasparaenfocarlasevaluaciones.
Unacaractersticarelativamenterecienteeslaprogresivahomogeneizacindeloscompo
nentesocriteriosmanejadosenlosprocesosdeevaluacindelosproyectosdeaccinsocial.
Elestablecimientodeunmarcoconceptualcomnalahoradeabordarlaevaluacinde
estetipodeintervencionesesclaramentepositivo,yaquefavorecelacomparacinentre
losresultadosdediferentesevaluacionesyfacilitaelaprendizaje.
3.1.1.Eficiencia
A.CONCEPTO
Laeficienciaserefierealacapacidaddelproyectoparatransformarlosinsumosfinancie
ros,humanosymaterialesenresultados;esdecir,estableceelrendimientooproductividad
conqueserealizaestatransformacin.
Parapoderemitirunjuiciosobrelaeficienciadeunproyectoesnecesariodisponerdelos
elementosreferencialesprecisos.Alcompararlaeficiencia
previstaoalcanzadaconestasreferencias,serposibledeterminarenqumedidaser,es
ohasidoeficienteunproyectodeterminado.
Lainformacinparaobtenerlosvaloresreferencialestipopuedenprocederde:
Proyectossimilaresoconcomponentesparecidosquesehayanllevadoacabodonde
sesitaelproyectoevaluado.
Devaloresespecficosparaelproyectoobtenidosmedianterazonamientosbasadosen
lascircunstanciasdelpropioproyecto.
Parapoderrealizarlaevaluacindelaeficienciadeunproyectoesimprescindibledisponer
delpresupuestodesagregado,paralaevaluacinprevia, odeloscostesrealesporactividad,
paralasevaluacionessimultnea,finalyposterior,ascomodeladeterminacindelosinsu
mosprecisosoutilizadosenlarealizacindecadaunadeesasactividades.Sinosedispo
nedeestasinformacionesestotalmenteimposible,talcomosedesprendedeladefinicin
delaeficiencia,analizarlaproductividadconquesetransformanlosinsumosenresultados.
B.SITUACINENLAMATRIZDEPLANIFICACINDELPROYECTO
Sepuededecir,parapresentardemaneragrficalarelacinexistenteentrelaeficienciay
lamatrizdeplanificacindelproyecto,queparaanalizarlaeficienciadeunproyecto,la
atencinprimordialsedeberdirigiralascasillasqueenlamatriznosmuestranlasactivi
dadesysusinsumos,juntoalasdelosresultadosysusindicadores.
C.CONSIDERACIONESENLAEVALUACINDELAEFICIENCIA
Algunasdelasmsusualesinterrogacionesquehayqueresponder,naturalmente,conmati
cesynivelesdeprediccin/certezadiferentes,atendiendoalmomentodelaevaluacin,a
lahoradevalorarlaeficienciadeunproyectoestnenrelacincon:
Elniveldecalidadenlaadministracindelosrecursosadisposicindelproyecto.
Laadecuacindelasactividadesalaconsecucinresultados.
Laeventualexistenciadelneasdeactuacinquecondujeranconmenorcosteoen
menortiempoalosresultados.
Laexistenciadeposiblessolapamientosconotrasintervencionespropiasoajenas,lo
queredundaraendificultadesdegestinycostesredundantes.
3.1.2.Eficacia
A.CONCEPTO
Laeficaciareflejaenqumedidaseesperaalcanzarosehaalcanzadoelobjetivoespec
ficodelproyecto;tenindoseparaelloencuentatantoelniveldelogro,ascomolosper
odostemporalesparahacerlo.
Parapoderanalizaradecuadamentelaeficaciasernecesarioqueeneldiseodelproyec
toelobjetivoespecficoestdefinidoadecuadamente;esdecirqueel
indicadorolosindicadoresobjetivamenteverificablesrespondancabalmentealascuestio
nesdequ?,conqucalidad?,paraquin?,cundo?,ycmo?
Enelcasodelaevaluacinprevia,siseestimaraqueelobjetivoespecfico,yaseaenla
lgicadelaintervencinoensusindicadoresobjetivamenteverificables,noestdefini
dodemaneraprecisa,sereelaborardemaneraquesucomprensinyapreciacinsea
inequvoca.Cuandolassealadasdeficienciasseidentificandurantelaevaluacinsimul
tnea,finaloposterior,elequipoevaluadordeberllamarlaatencinsobreestacircuns
tancia;debiendoprocederareconstruirlosbasndoseenladocumentacindisponible.Esa
reconstruccinseefectaparaquelosindicadorespuedanseroperativosyresultendeuti
lidadalahoradevalorarsulogro.
B.SITUACINENLAMATRIZDEPLANIFICACINDELPROYECTO
Loselementosdelamatrizdeplanificacinquedebensermscuidadosamenteobserva
dosparaevaluarlaeficaciasonlosrelacionadosconlosresultadosyelobjetivoespecfico.
Esesencial,portanto,valorarlalgicaverticalyversilasactividadesconducenalosresul
tadosystossoncondicionesnecesariasysuficientesparaellogrodelobjetivoespecfico.
C.CONSIDERACIONESENLAEVALUACINDELAEFICACIA
Laevaluacindelaeficaciatratadehacervisiblelarelacinqueexistir,existeohaexisti
doentreelproyectoplaneadoyelniveldelogroquesepuedeesperarosehaalcanzado
delobjetivoespecfico.Esdecir,tratadeestablecerunarelacincausalentreloqueseva
ahacerosehahecho,bsicamentelatransformacindelosinsumosenactividades,yel
logrodelobjetivoespecfico.
Paraloanteriornobastaapreciaromedirellogrodelobjetivoespecfico,sinoenqumedi
dalastransformacionespositivasdellogrodeesteobjetivoespecficoobedecenaloreali
zadoporelproyecto;individualizandoyseparandoeseprocesodelasinfluenciasdeotros
factoresque,ajenosalasactuacionesdelproyecto,tambininfluyenenlastransformacio
nesapreciables.Esdecir,nobastamostrarfehacientementequeenelsenodedetermina
doproyectosehaalcanzadoendeterminadogradoelobjetivoespecficoprevisto,sinoque
setrataadems,siendoestapartelamassustantivadelaevaluacindelaeficacia,deiden
tificarrazonablementeenqumedidahasidoelpropioproyectoelquehacontribuidoa
esastransformaciones.Naturalmenteesteesunejerciciodereconstruccinideal,quese
debebasartantoenelconocimientodelpropioproyectoysucontexto,comoenloshallaz
gosdeotrasevaluaciones.
Entrelosfactoresexternosmsrelevantesyportantomscuidadosamenteanalizadosse
encuentranlashiptesisrecogidasenlamatrizdeplanificacin;asmismo,enlasevalua
cionessimultneas,finalyposterior,debenestudiarsetodosaquellosfactoresexternosque
pasarondesapercibidosensumomentooquehanadquiridoespecialimportanciaduran
telaejecucindelproyecto.
3.1.3. Impacto
A.CONCEPTO
Elimpactoserefiere,encontraposicinalaeficaciarestringidaalosefectospositivossobre
laspersonasbeneficiarias,alasconsecuenciaspositivasynegativas,queunproyectogene
ra.Esporlotantounconceptomsamplioqueeldeeficacia,cuyoanlisisseiniciaapar
tirdeldelaeficacia;interrogndosesobrelasconsecuenciaseconmicas,sociales,cultu
rales,tcnicasambientales...queseregistranenelplanolocalogeneral,tantoenelcorto
como,especialmente,enelmedioyenellargoplazo.
Elimpactodebeserobservadoyprevistoentodoslosmomentosdelaevaluacin,demane
raquelosimpactosnegativospuedanserevitadosodisminuidos;peroespecialmente,son
apreciablesenlaevaluacinfinaloenlaposterior.Porestemotivo,endeterminadasenti
dades,porunasincdoque,denominanaestasevaluacionesevaluacionesdeimpacto;
sibiensehadeconvenirque,aunquelaapreciacindelimpactoesunapartesumamen
tesignificativadelaevaluacinfinaloposterior,esprecisocontemplarenestetipodeeva
luacionestodosloscriteriosqueenestecaptulosedescriben.
B.SITUACINENLAMATRIZDEPLANIFICACINDELPROYECTO
Laconsideracindelimpactodeunproyectoseiniciaapartirdelobjetivogeneralyespe
cficodelmismo,quepuedenserconsideradoscomolosefectospositivosyesperadosde
unproyecto.Encualquiercaso,talcomosehapuestodemanifiesto,unapartesignificati
vadelosimpactosdeunproyectonoaparecernrecogidosenlamatrizdeplanificacin.
C.CONSIDERACIONESENLAEVALUACINDELIMPACTO
Siguiendoloexpuestoenlosapartadosanteriores,enlaevaluacindelosimpactosdeun
proyectosedebeprestarespecialatencinalavaloracinde:
Losefectosnegativos,esperadoseinesperados;
Losefectospositivosrecogidosenlosobjetivosgeneralesyespecficos.
3.1.4.Pertinencia
A.CONCEPTO
Lapertinenciaanalizasielpropsitodelproyectoescoherenteconlasprioridades.Esdecir,
setratadeapreciarsilaintervencinanalizadavasuponerunaaportacinsignificativaa
losprocesosdedesarrollodelosquesonactoreslaspersonasbeneficiariastantoenelinte
riordelpropioproyecto,comoensucontexto.
Unaconsideracinoperativaesencialparaqueunproyectoseapertinenteesquesuobje
tivoespecficorepresenteporsmismounainnovacininmediatamenteconsumible,es
decir,quemejoresusituacinenellugaryenelmomento,porlaspersonasbeneficiarias.
Deestemodo,laconstruccindeunasaulasescolaresnodebeserelobjetivoespecfico
deunproyectodeaccinsocialyaquelaexistenciadeestasaulasnorepresentaunamejo
radelascondicionesdevidadelaspersonasbeneficiarias;sipodraserpertinenteunpro
yectocuyoobjetivoespecficofueraelextenderlaescolarizacinacolectivosinfantileshas
taesemomentonoatendidosporelsistemaeducativo.Enesteltimoproyecto,lacons
truccindeaulaspodraserunresultadocoherenteque,juntoconotrosresultadosylas
correspondienteshiptesis,condujeraallogrodelobjetivoespecfico:laampliacindela
escolarizacin.
Naturalmente,lacuestindequerepresentaunamejorasignificativadelascondicionesde
vidadelaspersonasbeneficiariasesuntemacontrovertibleyquedependedelasconcepcio
nesglobaleseideolgicasdelosimplicados,porloqueundilogoentretodosellossehace
imprescindibleparaconsensuarencadacasolaconcrecinoperativadelapertinencia.
B.SITUACINENLAMATRIZDEPLANIFICACINDELPROYECTO
Laapreciacindelapertinenciadeunproyectodebeiniciarseconunatentoestudiodelas
filascorrespondientesalosresultados,objetivosespecficosyobjetivosgenerales,compro
bandoquestosrespondenaprioridadesclaramenteidentificadosporcadaunodelos
colectivoseinstitucionesimplicadosenlaintervencin.
C.CONSIDERACIONESENLAEVALUACINDELAPERTINENCIA
Lapertinenciadebeserconsideradacomoelelementobsicodecualquierevaluacin.No
parecerazonableconsiderarlaejecucindeunproyectosienlaevaluacinpreviadelmis
moseestablecelanopertinenciadelmismo;independientementedeloeficiente,eficaz,
viablequepuedaser.Dichodeotramanera,siunproyectonocontribuyesignificativamen
tealdesarrollodeungruposocialodeunasociedadningnotroelementolodebeypue
decualificarcomounproyectodedesarrollo;yentantoquenoesunproyectodedesarro
llonodebeconsiderarsesuejecucin.
Enlaevaluacinsimultnea,lavaloracindelapertinenciadelproyectodebeserunacues
tinalaqueseleprestelamximaatencin.Coherentementeconlodichoenelprrafo
anterior,cuandoseapreciequeunproyectohadisminuidooperdidolapertinenciaexigi
dayexigiblealmismo,yaseaporcausassobrevenidasdurantesuejecucinonobienvalo
radasenelmomentodesuformulacinyevaluacinprevia,debesercuidadosamentecon
sideradalaconvenienciaynecesidaddeintroducircambios,inclusosustanciales,queafec
tenasusobjetivos,ensudiseo.
Asimismo,eljuiciobsico,peroprobablementemscomplejoycontrovertido,quedebe
emitirunaevaluacinfinaloposterioresenqumedidaelproyectohacontribuidoaldesa
rrollodelaspersonasbeneficiarias;enqumedidayaspectossignificativosestaspersonas
beneficiariashanvistomejoradasusituacin.
Laspreguntasesencialesquedebenserrespondidasparalaevaluacindelapertinencia
son:
Sonlosobjetivoslosuficientementevlidos(olosontodava,olohansido)parajusti
ficarelproyecto?
Qucambiosdebenhacerseyenqusentidoparamejorarlapertinenciadelproyec
to?,oquhemosaprendidoparaposterioresproyectos?
Losnivelesalosquesedeberealizarestaspreguntasson:
Cmoencajaelproyectoconotrosproyectosqueeventualmentepuedensolaparsecon
l,oconrelacinalplanoprogramaenelquesehayainscrito.
Enqumedidasehaalcanzadoalaspersonasbeneficiariasatravsdelproyectoyen
lastemticasquelosimplicadosconsideranprioritarias.
Enqumedidasoncoherenteslajerarquadelosobjetivosylalgicainternadelproyec
to;ascomosisehanvaloradoadecuadamentelashiptesisuotrosfactoresexternos.
3.1.5.Viabilidad
A.CONCEPTO
Seentiendeporviabilidadlacapacidaddeunproyectoparaproporcionarunnivelacep
tabledebeneficiosalgrupodestinatario[personasbeneficiarias]duranteunperiodosufi
cientementelargounavezinterrumpidalaasistenciafinancieraytcnicadelproveedorde
fondos21.Porlotantoelanlisisdeviabilidadsignificainterrogarsesobrealgomsalldesi
elproyectohaalcanzadolosobjetivosquetenaprevistos;sedeberesponderalacuestin
deenqumedidalosresultadospositivosalcanzadospermaneceneneltiempo.
Enestesentido,mientrasqueloscomponentesdelaevaluacinanteriormentedescritosse
basanesencialmenteenlallamadaevaluacindeobjetivos,laevaluacindelaviabilidad
seplanteauninterrogantequeafectaalosprocesosque,aunquedesencadenadosporel
proyecto,vanmsalldelmismo;esdecir,seplanteasobrelacapacidaddelproyectode
generardesarrollo:transformacionescuantitativasycualitativasquepermaneceneneltiempo
yseramificanafectandoatodoslosnivelesdelavidasocial.
Sepuededecirque,silavaloracindelapertinenciarepresentaelprimermomentoanal
ticodecualquierevaluacin(eselproyectosignificativoentrminosdedesarrollo?),elan
lisisdeviabilidadvieneaserelconclusivo(enqumedidalastransformacionespositivas
previstas/alcanzadasporelproyectoperduranysetransformaenelementosgeneradores
deundesarrolloglobal?).
Comoconsecuenciadeloanterior,laviabilidadesunaspectosumamentecrticodelospro
yectosy,probablemente,eselaspectoqueafectamsgravementealxitogeneraldelos
proyectos;yaquecondemasiadafrecuencialaspersonasoentidadesqueasumenelpro
yectotraslafinalizacindelafasedeapoyoexterno(laejecucin)noestnsuficientemen
teimplicadasy/ocarecendelosrecursoshumanos,tcnicosomaterialesparacontinuar
elprocesoiniciadoporelproyecto.
Porotrolado,lavoluntadylaposibilidaddequeunaintervencinlimitadaeneltiempo,que
tieneunafechadeinicioyotradefinalizacin,seaviableesunanotadistintivaeidentifica
tivadelosproyectosdeaccinsocial.As,haciendounadivisinmetdica,nosiemprefac
tibleoclaraenlarealidad,sernproyectosdedesarrollolosqueseproponganalcanzarla
viabilidad,nosindoloaquellasintervenciones,queporsuurgencia,porejemplocatstro
fesnaturales,noseplanteaneltemadelaviabilidad.
21.COMISINDELASCOMUNIDADESEUROPEAS(1993).Manual:Gestindelciclodeunproyecto:Enfoqueintegradoymarcolgi
co,Seriedemtodoseinstrumentosparalagestindelciclodeunproyecto,Ayudaaldesarrollo,Bruselas.P.65.
Dadoquelaviabilidadslosepuedeapreciardespusdetranscurridounperiododetiempo
traslafinalizacindelaejecucindelproyecto,slosedispondrdepruebastangiblessobre
ellaenlaevaluacinposterior.Peroestonosignificaquenoseledebaprestaratencinen
elrestodelasevaluaciones;esms,apreciarmedianterazonamientosbasadosenelpro
pioproyectooenlaexperienciaacumuladalaprobableviabilidaddelaintervencincons
tituyesiempreunelementoclavedelejerciciodeevaluacin.
Enestesentido,sehacomprobadoque,comoesfcildesuponer,elprincipalriesgopara
laviabilidadprovienedeloscondicionamientosquesuponenlosfactoresexternos;losno
controladosporlosgestoresdelproyecto.Paratratardeminimizaresteriesgosiemprese
debenexaminarcuidadosamentelashiptesisqueacompaanalaejecucindelproyec
to,siendoelprimerpasodeesteexamenelapreciarquelashiptesisnosonexcesivamen
teoptimistas.Dehecho,unaactitudadecuadaantelashiptesisessiempreenunciarlas
conunavisinpesimista;yaqueexisteunaabundanteexperienciademultituddeproyec
tofracasadosporhabersidodiseadosyejecutadossuponiendounashiptesisdemasia
dofavorablesalaresolucinfavorabledelaintervencin.
B.SITUACINENLAMATRIZDEPLANIFICACINDELPROYECTO
Dadoelcarcterconclusivoyacumulativodelaviabilidad,alahoradeexaminarlasedeben
observartodoslosnivelesdelamatrizdeplanificacindelproyecto.Laviabilidadsecons
tituyecomoelproductofinaldelalgicaverticaldelamatrizdeplanificacin.
C.CONSIDERACIONESENLAEVALUACINDELAVIABILIDAD:LOSFACTORES
DEDESARROLLO
Laextraordinariaimportanciaasignadaalaviabilidadhahechoquesehayaprestadoaeste
componenteunaespecialatencin,habindoseestablecidounconsensobsicoentretodas
lasentidadesimplicadasenlaaccinsocialsobreloscriterios,llamadosusualmentefacto
resdedesarrollo,quedebencondicionarsuanlisis.
Deestemodoseconsideranindispensablequelosproyectosrenanlossiguientesrequisitos:
Contextopropiciodesdeelpuntodevistadelapolticallevadaacabo.Loscambiosde
orientacinnecesariosdebenserdecididosantesdequecomiencelafasederealizacin.
Objetivosprecisosyrealistas.
Concepcinadaptadaalacapacidadadministrativaytcnicadelaspersonasbene
ficiarias
Racionalidadyviabilidadeconmicadelproyecto.
Capacidaddefinanciarloscostesiniciales,ascomolosgastosdefuncionamientoyde
mantenimiento.
Participacinactivadelasautoridadeslocalesydelosgruposobjetivo,incluidaslasmujeres.
Eleccindetecnologasadaptadasalascondicioneseconmicasysocialesdelasper
sonasbeneficiarias.
Calendariosrealistas.
Sistemasdemantenimientoydeapoyoadecuadoycapacidaddeadministrarlosuna
vezquelaayudaexteriorhayallegadoasufin.
Compatibilidadconlascondicionessocioculturaleslocales.
Viabilidaddesdeelpuntodevistadelmedioambiente.
FACTORESDEDESARROLLOBSICOSPARALAVIABILIDADDELPROYECTO
I. POLTICASDEAPOYO
Prioridades,compromisosespecficos.
Iniciativasqueapoyanlasposibilidadesdexitodelproyecto.
II. ASPECTOSINSTITUCIONALES
Capacidadinstitucionalquecontribuyaalosobjetivosdelproyectoyenelgradoesperado.
Personalestable,adecuadamentecualificadoymotivado.
Apoyoyparticipacindirectosporpartedelaspersonasbeneficiarias.
III. ASPECTOSFINANCIEROSYECONMICOS
Financiacinadecuadadisponibleparacubrirfuncionamiento,mantenimientoydepreciacin.
Anlisisdecostesyrentabilidad.
IV. FACTORESTECNOLGICOS
Eleccinyadaptacindetecnologaapropiadaalascondicionesexistentes.
V. ASPECTOSSOCIOCULTURALES
Integracindelproyectoenlacomunidadlocal.
Impactodelproyectosobredistintosgruposysuaccesoalusoderecursos.
VI. DIMENSINDEGNERO
Muyamenudo,losproyectossehanidentificadoydiseadosintenerencuentalasrelaciones
establecidasentrehombresymujeresdentrodelgrupodepersonasbeneficiarias,loquehapro
vocadoque,enocasiones,losefectosparaunosyotrashayansidoradicalmentediferentes.
VII. MEDIOAMBIENTE/ECOLOGA
Explotacin,gestinydesarrollodeladotacinderecursosdeacuerdoconlacapacidaddel
medioambientelocal.
Fuente:UDNORAD22 (1997,p.51)
22.UDNORAD(1997)Evaluacindeproyectosdeayudaaldesarrollo:Manualparaevaluadoresygestores,InstitutoUniversitariode
DesarrolloyCooperacinFundacinCentroEspaoldeEstudiosdeAmricaLatina,Madrid.p.51.
I.POLTICASDEAPOYO
UnproyectosiempreestsituadodentrodeunmarcodefinidoporlasAdministraciones
Pblicasyporlasprioridadesdelasentidadesypersonasimplicadas.
Asimismo,esposiblequeladisposicindelaspersonasyentidadesimplicadaspueda
cambiardurantelaejecucindelproyecto,porloqueesnecesariorealizarunseguimien
todelamisma
II.ASPECTOSINSTITUCIONALES
Unodelosmsfrecuentespuntoscrticosdelagestindelosproyectosdedesarrolloesla
capacidaddelaentidadanfitrionaparallevaradelanteelproyecto.Laideabsicaeneste
sentidoesqueelproyectodebeajustarseaesacapacidadyno,comopareceocurriren
muchasocasiones,alcontrario.
III.ASPECTOSFINANCIEROSYECONMICOS
Losfactoreseconmicosyfinancierossonesencialesnosloparalaejecucindelproyec
tosinoparasuviabilidad.Paraestoltimosedeberconsiderarcuidadosamentesiloscos
tesdefuncionamientoymantenimientodelproyectotraslafinalizacindelapoyoexterno
sepuedenmantenereneltiempo.
IV.FACTORESTECNOLGICOS
Losfactorestecnolgicosnoselimitanalequipamientoqueelproyectocontiene.Debecon
templarsetambinlacapacidaddeutilizacinalargoplazodelosequipamientosyproce
dimientosqueelproyectoponeenfuncionamiento,ascomolasinevitablestransformacio
nesculturales,sociales,econmicasyambientalesquetodaincorporacintecnolgicacon
lleva.
Sedebenpreverlasconsecuenciasrealesypotencialesqueparalasociedadylasentida
desparticipantestienenlaeleccintecnolgicayasegurarsequetaleleccinesadecua
daparalascondicionesdelpasreceptor.
Elanlisisdelatecnologaaincorporarnodebeserrealizadoexclusivamentedesdeelpun
todevistadelexperto,sinotambinconsiderandolaperspectivadelaspersonasbenefi
ciariasylaspersonasgestorasfuturas.
V.ASPECTOSSOCIOCULTURALES
Losfrutosdeunproyectonopuedensobrevivirsinquelaspersonasbeneficiariasylasper
sonasgestorasestablezcanunarelacindepropiedadconl.Estoslopuedeserposible
silosgruposimplicadosvenreflejadoenelproyectosusprioridadesyvalores.
Peroestosvaloresnopuedenversecomoinamovibles;dadasucondicindeproductoshis
tricossonsusceptiblesdecambioyevolucin,debindosetenerencuenta,asimismo,que
elpropioproyectoretroalimentarlosprocesossocialesquegeneranlasprioridadesyvalores.
Almismotiempo,sehadeconsiderarquelasprioridadesyvaloresnosonigualesparatodos
lossectoressocialese,incluso,paratodoslaspersonasbeneficiariasdelproyecto.As,un
detalladoanlisisydebateconlospropiaspersonasbeneficiariasdevieneunrequisitoinelu
dibleparalaadecuadaapreciacindelosaspectosculturales.
VI.DIMENSINDEGNERO
Laigualdaddederechosyoportunidadesentrehombresymujeresconstituyeunelemen
toexplcitodetodaslasestrategiasdeaccinsocial.Portantotodoslosproyectosdeaccin
socialdebencontenerelementosquefomentenestaigualdad.
Parapoderllevaralaprcticaestepropsitodebeanalizarselasituacinqueocupanlas
mujeresentodaslasesferassociales,ascomolasinterrelacionesque,colectivaeindivi
dualmente,tienenconlosvarones.
Enlaesferaconcretadeunproyectodebecomprobarsequelasmujeresseencuentran
presentesenunasituacindeigualdadencuantoalaconsideracindesusnecesidades
yaspiraciones,previndoseelementosespecficosquerespondanaestasdemandas.Esto
significaquedebenanalizarsetodoslosaspectosdeaportacinsocial,nodetenindoseen
lasmsevidentes,comnmentelasactividadesligadasalaproduccin,generadorasde
rentasmonetariasoexcedentes,yprofundizandoenaspectosmenosevidentesoaparen
tementemsindirectos.
VII.MEDIOAMBIENTEECOLOGA
Almismotiempo,sehadeconsiderarlasexplotacin,gestinydesarrollodeladotacin
derecursosdeacuerdoconlacapacidaddelmedioambientelocal.
3.1.6.Cobertura
A.CONCEPTO
Lacoberturaconsisteenevaluarhastaqupuntounprogramallegaalapoblacinobjetodel
mismo.Setratadecalcularnoslolatasadecoberturasinotambindeanalizarsiexisteses
goenlacoberturayefectuarunanlisisdelasposiblesbarrerasdeaccesoalprograma23.
Lacoberturaespropuestacomocriteriodeunaformagenricaparatodoslos proyectosde
intervencinsocial.SonCohenyFrancoquienesargumentansunecesidad delasiguien
teforma:dadoquebuenapartedelosproyectossocialestienencomo objetivoproveerser
viciosaungrupofocal,unconceptoesencialparadeterminarsu alcanceeslacobertura24.
Enelcampomsespecficodelaprevencinyatencindedrogodependencias,lacoberturaest
incluidaenlosestudiosdelEuropeanmonitoringCentreforDrugsandDrugAddiction25,definin
dolacomolamagnitudconlaqueunaintervencinalcanzaasusgruposmetasdeseados.
Lacoberturanoslohasidoconsideradacomouncriterioqueacompaaycomplementa
aotros,sinoquesehatenidoencuentaconpesoyautonomasuficientescomoparaser
untipodeevaluacinensmisma.Laevaluacindelacoberturatienelamismacategora
queunaevaluacineconmica,dediseo,denecesidadesodeimplementacin26.
Endefinitiva,lacoberturaesampliamenteutilizadayreconocidacomoconceptoclavepara
laevaluacindeintervencionessociales(trabajosocial,drogodependencia,ayudahuma
nitaria,etc.).
Parailustrarlanecesidaddelautilizacindelcriteriodecoberturapuedeservlidoun
ejemplodeunproyectodedesarrolloruralclsicoenunacomunidad.
Imaginemosqueelproyectotienecomoobjetivomejorarlascondicionesdevidadeloshabi
tantesdelacomunidadimplementandoinfraestructurasocialyproductiva.Paraellose
23.ALVIRA,F.(1991)MetodologadelaEvaluacindeProgramas.CSIC.Madrid.p.39.
24.COHEN,ALBERTO;FRANCO,ROLANDO(1993).Laevaluacindeproyectossociales,Madrid.p.96.
25.EMCDDA.EUROPEANMONITORINGCENTREFORDRUGSANDDRUGADDICTION.(1998).Therecomendationsfordrugsand
drusaddictionevaluation.
26.ALVIRA,F.(1991).Op.cit.
habadiseadounaseriederesultadoscomoladotacindeunareddeelectrificacinde
viviendaspormediodeenergasolar,laextraccinyalmacenamientodeaguapormedio
deunabombasolar,lainstalacindeunareddesuministrodeagua,laconstruccinde
unabateradebaosylaconstruccindecarpassolares(invernaderos)paracadafamilia.
Sehaestablecidounacuerdodecolaboracinentrelainstitucinylacomunidadenelque
sedefinaquelaspersonasbeneficiariastendranqueproveerdemanodeobra,delos
materialeslocalesdeconstruccinydeunapequeacantidaddedinerodestinadoaun
fondocomnquesirvieraparamantenimientodelasinfraestructuras.Lainstitucinejecu
toraseharacargodelrestodeinsumosycostes.
Aunquelamayorpartedelacomunidadcumplasupartedelcompromisohubopersonas
quenoaportabanlamanodeobraosucuotaalfondo.Siestoocurra,lomsnormalera
quequedasenfueradelapartedelproyectoparaelquenohabancolaborado,siendolo
mshabitualquedarsesinelinvernadero(queimplicabainvertirungrannmerodehoras
detrabajoyesfuerzo).
Aparentementeloscompromisospedidosaloscomunitarioseranaccesiblesatodossus
miembrospero,porquhubogentequepudindosebeneficiardelatotalidaddelproyec
tonolohizo?Tantolostcnicoscomogranpartedelacomunidadbuscabanrespuestasa
estapreguntaencausasdendolepsicolgicaopersonal:estossonunosflojos,oesos
sonunpocovagos.Peropuedeserqueexistieranrazonesdemspesoqueexplicasen
estareaccindefaltadecompromisodealgunosyquetuvieraqueverconeldiseodel
proyecto.
Simantenemosunavisinsobrelacomunidadbeneficiariahomognea,esfcilpensarque
todoslosimplicadostienenlasmismasoportunidades,porloquelanoparticipacinenel
proyectoesunadecisinpersonalyaquesilosdemspueden,porqutno?.
Perolascomunidadesopueblosnotienenporquserhomogneas.Puedehaberdiferen
tessituacionespersonalesenrelacinconlatierra,eldinero,eltrabajo,elestatus,elgne
ro,laetnia,etc.Estasdiferentessituacionesqueformanunespectroheterogneodela
poblacinpuedenimplicarquelosindividuostengandiferentesoportunidadesconrelacin
aunproyectodeAccinSocial.Esdecir,dentrodeunacomunidaddeterminadapuede
haberpersonasmsabocadasaunaeconomadesubsistenciaquelesrestecapacidadde
maniobraparaemplearsutiempoenotrastareasquenoseanlasestrictamentenecesa
rias.Ypuedehaberpersonasconeconomasmsestablesquepuedendedicarsutiempo
alaformacinoatrabajosextras.
Estaseraunaposibleinterpretacindequehubieragentefueradelproyectopeseaque
ibaaredundarenunamejora(conscienteyverbalizadaporloscomunitarios)desusopor
tunidadesycalidaddevida.
Loqueseestilustrandoconelejemploeslaexistenciadeunsesgoenlacoberturadel
proyectoqueperjudicaraalosquemenostienen,ybeneficiaraalosquemstienen(den
trodelacomunidad).Sepodrahaberdejadosininfraestructurasproductivasalosms
necesitadosdeellasyhaberpotenciadoalosmenosnecesitadosporpartirdeunsupues
tofalsodequetodoslosmiembrosdelacomunidadtienenigualdaddeoportunidadesde
concurriralosbeneficiosdelproyecto.
B.ASPECTOSBSICOSDELACOBERTURA
SegnladefinicindeAlvira27 recogidaanteriormentesepodradisgregarlacoberturaen
tresaspectosbsicos:
I.Tasadecobertura
II.Sesgodelacobertura.
III.Accesibilidad.
I.TASADECOBERTURA
LosautoresCohenyFrancoladefinencomolaproporcinqueformapartedelgrupometa,
tienelanecesidadyrecibelosservicios,divididaporlapoblacintotaldelgrupometaque
tienelanecesidadqueelproyectopretendeatender28.
Enelejemploquenosocupa,latasadecoberturaseraelnmerodepersonasquehan
accedidoatenercarpassolaresdivididoporelnmerodepersonasqueestabannecesita
dasdelascarpassolares(indistintamentedequelastenganono).
27.ALVIRA,F.(1991).Op.cit.
28.COHEN,ALBERTO;FRANCO,ROLANDO(1993).op.cit..p.96.
II.SESGOENLACOBERTURA
Existesesgoenlacoberturacuandoelproyectollegaaunapoblacinparalacualnoesta
badefinidoocuandointervienesloenundeterminadosubgrupodelapoblacindefini
da,conunascaractersticasespecficas.
Elprimerpasoparaanalizarelsesgoenlacoberturaesobservarsutasadecobertura,una
tasabajapuedeincrementarelsesgo.29Si,porejemplo,slosehabeneficiadoun10%
delapoblacindestinataria,esmuyprobablequeexistanvariablesestructuralesqueestn
discriminandoal90%delapoblacin.Delamismamanerapasaconelmuestreoestads
tico:cuantomspequeaeslamuestramsprobabilidadhaydequeestsesgada,ycuan
tomsgrandeseaymsseparezcaalapoblacin,menosprobabilidadhay.
Elevaluadordebeobservarlosdiferentesgruposbeneficiariosqueparticipanonoenelpro
yectoycompararentreellosunaseriedecaractersticassociales,culturaleseconmicasy
polticasparapoderversiexistesesgoenlaintervencinydequtipoes.
Ladeteccindelsesgotienequecentrarseenelestudiodelgradodeinfluenciadelasmis
masvariablesenlosdiferentessubgruposquepuedenconstituirlapoblacin.Puedehaber
diferenciassignificativasdeimpactoendiferentessubgruposdepoblacin30.Elmismoautor
proponediferentesmecanismos,aportadosporlaexperiencia,paradetectarlaposibleexis
tenciadesesgos.Elprocesoconsisteeninquirirsiexistensubgruposdentrodelapobla
cindefinidosentrminosdeetnicidad,gnero,estatussocioeconmico,ocupacin,loca
lizacin(urbanaorural)ocircunstanciasfamiliares(madressolasuorfandad).Sedebe
valorarculesdeestossubgruposestnincluidosenlosprogramasyculeselimpacto
diferencialentreellos.
III.ACCESIBILIDAD
Endefinitiva,lacoberturanohacemsquecomprobarenlaevaluacinloqueyaseha
pedidoeneldiseodelproyecto:queseasegurequelosgruposbeneficiariosestnbien
escogidosdeacuerdoaunoomsdelossiguientespuntos:
reageogrfica,dondelamayoradelapoblacinpertenecealgrupobeneficiario.
29.EMCDDA.EUROPEANMONITORINGCENTREFORDRUGSANDDRUGADDICTION.(1998).p.79.
30.Hallam,A.(1998).EvaluatingHumanitarianAssistanceProgrammesinComplexEmergencies.London.p.54.
Campodeactividad(p.ej.familiasconciertoniveldeingresos,personasinmigradassin
regularizar).
Situacineconmica,condicionesdevida.
Accesoaserviciossociales(salud,educacin,etc.)
Sexoyedad.
Clase,casta,etniaystatus,etc.
3.1.7.Replicabilidad
A.CONCEPTO
Seentiendeporreplicabilidadlacapacidaddeunproyectoparagenerarconocimientos
capacesdeserutilizadosprovechosamenteenotrosproyectos,actuacionesoprocesos
autnomosdedesarrollo.Estecriteriopuedeserconsideradocomoadicionalalosseisante
riores,quesonlosmsgeneralmenteaceptados.
Todoslosproyectos,enmayoromenormedida,producenestetipodeconocimientosgenerali
zablesaotrosproyectossimilaresoaplicablesengeneral;aunconsiderandoquecadaproyec
todebeserproductodeunareflexinsingularquecontemplelaspeculiaridadesdelmarcoen
elqueseejecutar,laexperienciayelsaberhaceracumulado,sonydebensertransmisibles.
Estatransmisinadquiereunaimportanciafundamentalalgenerarprocesosdedesarro
llo,elefectodemostrativo,quedebensuperarelmarcodelpropioproyecto,propiciando
unaculturadeldesarrollo,queeselfinltimodetodoproyecto;pasandoasdeunatrans
formacindiscretaaunadifusa,conefectosespacialesytemporalesmuchomsamplios
queloscircunscritosalpropioproyecto.
Deestemodo,unproyectodebepreveryproponerseelgenerarlosmximosefectoscola
teralesposibles,estudiandoyfomentandolosprocesosdedesarrolloque,incluso,nocon
duzcanallogrodelosobjetivospredeterminados.
B.SITUACINENLAMATRIZDEPLANIFICACINDELPROYECTO
Comoltimoefectodelproyecto,lareplicabilidadsedebeanalizarbasndoseentodala
matrizdeplanificacin.Esnecesarioconsiderar,asimismo,consumaatencinlosproce
sosespontneosinducidosporelproyectoyloscanalesdedifusindelosmismos.
C.CONSIDERACIONESENLAEVALUACINDELAREPLICABILIDAD
Alahoradeevaluarlareplicabilidad,sepuedenplantearlassiguientespreguntas:
Elproyectoformapartedeunalneaestratgicadentrodelacualsepuedaninter
cambiarexperiencias?
Existenlosprocedimientosparafavorecerlacirculacindelasexperienciasyapren
dizajes?
Enqumedidaessuficientementeflexibleparapermitirsureplicacinnomimtica?
Enqumedidaelproyectoesreproduciblesinrequerirapoyoexterno?
Seprestaatencinalosflujosformaleseinformalesquefacilitanladifusinyfacilitan
aleventualreplicacin?
Facilitaprocesosdedesarrolloparalelos?
3.1.8.Equilibrioentreloscriterios
Loscriteriosexpuestosenestecaptulosonenciertamedidaexcluyentes;esdecir,quela
bsquedatendenteamaximizaralgunodeellosprobablementeconduciralaminimiza
cindeotrouotros.
Porejemplo,unproyectoquepusieraenmarchaunaentidadcrediticiaconelpropsitode
lograrlamximaviabilidaddelamisma,lacapacidaddeperdurarautnomamentesinreque
rirapoyosexternosenelfuturo,sacrificarasupertinencia.Dadoquelaviabilidaddeunaenti
dadcrediticiasebasa,entreotrosfactores,enreduciralmximolosimpagosdelospresta
tarios,unamaneradeconseguirloesreducirelriesgodelosprstamos,porloquetendera
aprestarapersonascongarantaseconmicasquepermitieranresarcirsedelimpago;elimi
nandoasapartedelaseventualespersonasbeneficiariasquenotieneaccesoaloscrditos
comerciales.Estecomportamientoerosionaralosfundamentosdelpropioproyecto.
Delmismomodounproyectoquepersiguieramaximizarlaeficienciapondraenriesgola
eficacia;yaquestaslosealcanzaacostadeunaciertaredundanciaenlasactividades.
Asimismounproyectoquepersiguieraatodacostalaeficacia,podemosdecirquesitua
daenelinteriordelpropioproyectooensupermetro,actuarareduciendolosflujoscon
elambienteexternoalproyecto,yaqueestosflujossonloscausantesfundamentalesdela
incertidumbreenellogrodelosobjetivosalponerenpeligro,porsucarcterincontrolable,
lacausalidadenqueseapoyalalgicainternadelproyecto.Pero,lareduccindeestosflu
josafectaragrandementealosimpactospositivosdelproyecto,ascomoasureplicabilidad.
Deloanteriorsededucequelagestindeunproyecto,yporendelaevaluacin,tratade
asegurarunequilibrioentreloscriteriosdemanera,queanadmitiendoquesecondicio
nannegativamente,todospuedanserrazonableysatisfactoriamentealcanzados,sibien
noenelmximogradotericamenteposibleparacadauno.
3.1.9.Otroscriteriosdevalor
A.VISIBILIDAD
Eslaapreciacindelproyecto,lainstitucinysusaccionesenelrolsocialqueestdesempe
andotantoenlapoblacinbeneficiaria,enlapoblacinengeneralascomoenotrasins
titucionesdesucampodeaccin.
Afectaalascuestionesdevisibilidadinstitucionalysocialdelprograma,elconocimientode
lainstitucinysusproyectos,lafiabilidaddesuactuacin,larelevanciadesusacciones
ascomoasuestrategiainformativa.
Convienerevisar:
Correctadifusindelproyectoeinstitucin.
Adecuacindeloscanalesdeinformacinalaspersonasbeneficiarias.
Sielproyectoylainstitucinhansidoreferentesenelsectordeintervencin.
B.PARTICIPACIN
Laevaluacinparticipadatiendeaincluireneldiseo,laejecucinyelaboracinfinal,alos
diferentesactoressocialesqueafectanohansidoafectados/asporlaintervencin.Valora
yrecogeelgradodeimplicacindelosactoresdirectosdelaaccin.Esunfactorclaveque
facilitaypuedegarantizarlaviabilidaddeunaaccinoproyecto,debemostenerencuenta:
Silaparticipacinsehaincluidoentodaslasfasesdelproyecto.
Sisehandispuestoloscanalesdeparticipacinparahombresymujeres,niosynias.
Diferentesnivelesdeparticipacinencadaunadelasfasesdelproyecto:
Nivel1:Participacinsimblica:laspersonasbeneficiariastienenlaposibilidadde
expresarsuopininconrespectoalproyectoperoenrealidadstatienepocaonin
gunaincidenciasobreelproyecto.Suelenserproyectosdiseadosendespacho.
Nivel2:Asignadosperoinformados:laspersonasbeneficiariasconocenlasintencio
nesdelproyectoytienenunpapelsignificativo,nodecorativo.
Nivel3:Consultadoseninformados:Elproyectoestdiseadoydirigidodeformaexterna
perolaspersonasbeneficiariasconocenelprocesoysusopinionessetienenencuenta.
Nivel4:Concapacidaddedecisin.Losproyectossurgenapropuestadelapobla
cinbeneficiariaylasdecisionessetomandeformacompartidaconlasentidades
financiadorasolaONGqueejecutaelproyecto.
C.PERSPECTIVADEGNERO
Sirveparamedirlosefectos,consecuenciasybeneficiosdiferenciadosqueunprograma
hatenido,opuedetener,parahombresymujeres,niosynias.
Evalasilasnecesidadesprcticaseinteresesestratgicosdelasmujeresyhombresse
reflejanenelproyectooprogramadeformadiferenciada,ascomosucontrolysuacceso
alosrecursos,debemostenerencuenta:
Sisehaincluidolaperspectivadegneroentodaslasfasesdelproyecto.
Lacontribucindelosdistintosagentesalproyecto,surolenlosprocesosdetomade
decisionesyladistribucindeltiempo.
Elaccesoycontrolalosrecursosdistinguiendoentrehombresymujeres.
Elgradodeorganizacindelgrupobeneficiarioysucapacidadadquiridaparabuscar
nuevassolucionesasusnecesidadesyproblemas.
Sisehandispuestoloscanalesdeparticipacinparahombresymujeres,niosynias.
Sisehancontempladomedidasdeaccinpositivacompensadorasdelosdesequili
briospreexistentes.
D.OTROSCRITERIOS
Otroscriteriosdevaloratenerencuentaseranlaequidad,legeneracin,lalogsticayla
transparencia.
Lasfuentesdeverificacinseran:elconjuntodemediosoprocedimientosquenospermi
tenanalizarhastaqupuntosehancumplidolosindicadores.
Unindicadorquecarezcadefuentedeverificacinresultaunindicadorintil,puesser
imposiblecomprobarsucumplimiento.Deigualforma,elaccesoalainformacinsensi
blealosprogramasyproyectosdeAccinSocialyotrosdocumentosesesencialparael
desempeodelasfuncionesdeevaluacin.
Lasfuentesdeinformacinseconstituirnenherramientasqueapoyanalosprocesosinvolu
cradosenlosmodelosdegestin:diseo,formulacin,planificacin,ejecucinyevaluacin.
Elalcancedelaactividadevaluadoraestconformadoporelconjuntodeprocesosyacto
resqueintervienenparaqueelconocimientoseproduzca,circuleyseutiliceenlatoma
dedecisiones.Laverificacinymanejodefuentesdeinformacintiene,portanto,adems
deloespecficamentecorrespondientealaevaluacin,elobjetivodepromoverlaproduc
cin,diseminacinyutilizacindeconocimientosquecontribuyanalbuendesarrollodel
procesodeevaluacin.
Elequipoevaluadordelproyectodeberidentificarlasfuentesexistentesdeinformacino
realizarprevisionespararecogerinformacin,comounaactividadntimamenteligadaalas
diferentesfasesdelproyecto.
Esimportanteconsiderarlabsquedadeunasfuentesdeverificacinnomuycostosas,de
fcilobtencinymoderadamentefiables;estatareadebeserrealizadayajustadaacada
casoconcreto.
Podemosclasificarestasfuentesdeverificacinen:
Internas;soncreadasporelpropioproyecto,
Externas;seencuentrandisponiblesalmargendeste.
Acontinuacinenumeramosalgunasposiblesfuentesdeverificacin:
I. Publicacionesperidicas:Artculosenrevistasdecalidadcientficayacadmicaque
analicenalgnaspectodelapolticadeevaluacin.
II. Monografas:Engenerallosdocumentosproducidospororganismosoficialessonde
carctermonogrficoeincluyenunaampliagamadetemas,desdeplanesnaciona
les,hastaanlisisyevaluacindeprogramaseinstrumentos.
IV. Legislacin:referentealacreacindeorganismos,aprobacindeplanesyprogramas
deinvestigacinysistemasdefinanciamiento,creacindeunidadesdeinvestigacin
especializadas,polticasdeinvestigacinendiferentesreasdeconocimientorelacio
nadoconevaluacin.
V. Directoriosdeinstitucionesydocumentosenlosquesedescribenlasinstituciones,sus
funcionesyactividades.OrganismosdePoltica,Organismosejecutores,Institucionesaca
dmicas,Institutosdeinvestigacinpblicos,Organismosprivadossinfinesdelucro,
Empresasyorganizacionesdeservicio,Organismosdefinanciacin,pblicosyprivados.
VI. Descripcindelossistemasdeevaluacindeproyectos:sistemasdeevaluacin,ins
truccionesalosevaluadores,informesderesultadosdetipogeneral,documentosde
fundacionesfinanciadoras.
VII. Recursoshumanos:Incluyenestudiosacercadelosrecursoshumanos.Censospobla
cionales.Sistemasdeformacinyevaluacinderecursoshumanos.
Puntosclaveparaidentificaradecuadamentelasfuentesdedatosdisponiblesynecesarios
paralaevaluacin:
I. Conocerbienelprograma.Esarriesgadoiniciarunaevaluacinsinconocerconpre
cisinlosdetallesadministrativoseinstitucionalesdelprograma;estainformacinen
generalprovienedelaadministracindelprograma.
II. Recopilarinformacinsobreloshechospertinentesalentorno;podranincluirelmapa
depobreza,laformaenquefuncionaelmercadolaboral,lasprincipalesdivisionestni
casyotrosprogramaspblicosdeintersyconpotencialincidenciaenelproyecto.
III. Sereclcticoconrespectoalosdatos.Lasfuentespuedenabarcarentrevistasinfor
malesnoestructuradasconparticipantesenelprogramaydatoscuantitativosdemues
trasrepresentativas.
IV. Asegurarsedequeexistendatossobrelosindicadoresderesultadosyvariablesexpli
cativaspertinentes.Estasltimasdebenabordarlaheterogeneidadenlosresulta
dosbasadaenlaparticipacinenelprograma.Dependiendo,porejemplo,sise
cuentaconciertoniveldeinstruccin,losresultadospuedenserdiferentes.Podra
serimposibleobservarelefectodelprogramaamenosquesecontroleporesahete
rogeneidad.
V. Dependiendodelosmtodosusados,tambinsepodrannecesitardatossobrevaria
blesqueinfluyenenlaparticipacin,peronoinfluyenenlosresultadosdadalaparti
cipacin.Estasvariablesinstrumentalespuedenservaliosasparasepararlosefectos
probablementecausalesdelosprogramasnoaleatorios
VI. Losdatossobreresultadosyotrasvariablesexplicativaspertinentespuedenser
cuantitativosocualitativos.Perodebeserposibleorganizarlainformacinencier
totipodeestructurasistemticadedatos.Unejemplosimpleycomnesquese
tienenvaloresdediversasvariables,incluidounoomsindicadoresderesultados
paradiversasunidadesdeobservacin(individuos,hogares,empresas,comuni
dades).Frecuentementelasvariablessobrelasquesetienendatosylasunidades
deobservacinqueseusanseseleccionancomopartedelmtododeevaluacin.
Estaseleccionesdebenestarvinculadasalconocimientopreviosobreelprograma
(desdeluego,susobjetivos,perotambincmosemaneja)yelescenarioenque
seintrodujo.
VII. Lafuenteespecficadelosdatossobrelosresultadosysusdeterminantes,incluidala
participacinenelprograma,engeneralprovienededatosdeencuestasdealgntipo.
Launidaddeobservacinpodraserelhogar,empresaoreageogrfica,dependien
dodeltipodeprogramaqueseestestudiando.
VIII. Losdatosdelasencuestasconfrecuenciasepuedencomplementarconotrosdatos
tilessobreelprograma.
3.3.LaOperacionalizacin:deCriteriosaIndicadoresdeEvaluacin
Laoperacionalizacinconstituyeunafaseintermediaenelprocesodeevaluacin.Espos
terioraladefinicindeloscriteriosdeevaluacinysedesarrolladeformaparalelaaldise
ometodolgico.
Laoperacionalizacinesunprocesodeductivoque,desdeloscriterios,vaestableciendo
lossubcriterios(preguntas),losindicadoresysuscorrespondientesfuentesdeverificacin.
Deformasecuencialycoherentesevapasandopordiferentesfasesque,desdeelconcep
tomsgeneralyabstracto,vanaportandounmayorgradodeconcrecin.
Lafinalidaddelaoperacionalizacinesobtenerunainformacinque,deformasistematizada
ylgica,permitaestablecerencadaunodeloscriteriosunenjuiciamientosobreelproyecto.
Laoperacionalizacinserealizaenbaseadosejercicioslgicos:
Eltrabajoverticalconsisteenlaexplicitacindeloscriteriosatravsdeladefinicinde
preguntas.
Yeltrabajohorizontalsecentraenlaconstruccindeindicadoresylabsquedade
extraccindeinformacin.
Esmuyimportantequeexistaunaclararelacinlgicatantoensentidoverticalcomohori
zontalenlamatrizdeldiseodeevaluacin.
MATRIZDELDISEODEEVALUACIN
CRITERIO:(IMPACTO,EFICACIA,PERTINENCIA)
ASPECTOSQUE FUENTESDE
PREGUNTAS DEFINENLAPREGUNTA INDICADORES EXTRACCINDELA
(OPCIONAL) INFORMACIN
....... ....... ....... .......
....... ....... ....... .......
TRABAJO TRABAJOHORIZONTAL
....... VERTICAL ....... .......
INDICADORESPARACADAPREGUNTA .......
DEFINICIN FUENTESDEEXTRACCINDEINFORMACIN
....... ....... ....... .......
DE
....... CRITERIOS ....... ....... .......
Y
....... PREGUNTAS ....... ....... .......
....... ....... ....... .......
....... ....... ....... .......
Fuente:busteloruesta,m.yligerolasa,j.(2002)31
31BUSTELORUESTA,M.YLIGEROLASA,J.(2002)DocumentosdetrabajodelMsterenEvaluacindeProgramasyPolticasPblicas.
GUA DEEVALUACINDEPROGRAMASYPROYECTOSSOCIALES 71
2 ANLISIS ESTRATGICO
Unavezdefinidosloscriteriosseprosiguedesglosndolosensubcriteriosopreguntasde
evaluacin.Estossubcriteriosconfiguranladefinicinoperativadecadaunodeloscrite
riosyprocedendevariasentradas:
Delasnecesidadesdelosstakeholderssisonrelevantesypertinentes.
Delamatrizdeplanificacindelproyecto.
Delabibliografa,laexperienciayelestudiodelproyecto.
Pararealizarlarecoleccindedatosesnecesariapreviamentelaconstruccindeindica
doresparacadaunodelossubcriteriosseleccionados.
Losindicadorestienencomoobjetivodescribir,cuantitativaocualitativamente,elcompor
tamientodealgunavariable.Unindicadoresunamedidaobservableparademostrarque
algohacambiado. Cumplen,portanto,unafuncindescriptiva.Deigualmodopueden
cumplirunafuncinnormativa,cuandomuestranloquedeberaser(seutilizaneneste
casocomoparmetrosdereferencia).
Porejemplo,sisehanconcedido3becasdeformacinparadesempleadasmenoresde
25aosenunproyectosobreempleabilidaddemujeresyenelplandedesarrolloseesta
blecicomoresultadoprevistolaconcesinde4,elnmerodebecasrealmenteconcedi
dasactacomodescriptor,mientrasqueelresultadoprevistofuncionacomoparmetrode
referencia.
Unindicadordaunaideadelresultadoqueseintentaalcanzarodelefectoqueseespera
obtener.Elindicadorproduceuntipodeinformacinqueayudaralosprogramadoresa
tomarmejoresdecisionesrespectodelaaccinqueestnadministrando.
Losindicadorespuedenserdirectosoindirectos.Porejemplo,sielobjetivoespecficoes
aumentarlaformacindelapoblacin:
Unindicadordirectopodrasermatriculacinenestudiosdesegundociclo.
Unindicadorindirectopodrasernmerodehorasdedicadasalalectura.
Alahoradedefinirunindicadorhayqueespecificar:
Elgrupobeneficiario:enelejemploanterior,seraelalumnadomatriculadoenestudios
desegundociclo.
Lacantidad:nmerodealumnos/as.
Lacalidad:personasmatriculadasporprimeravez.
Tiempo:entreeneroydiciembrede2003.
Ubicacin:FuenlabradaMadrid.
Siguiendoconelejemplo,elindicadorsera:elnmerodealumnasyalumnosmatriculados
porprimeravezenestudiosdesegundociclo,enFuenlabradaMadrid),duranteelao2003.
LASCARACTERSTICASDEUNINDICADORDEBENSER
SUSTANTIVO Reflejaunaspectoesencialdeunobjetivoentrminosconcretos
Todoobjetivoyresultadodebetenerasociadoalmenosunindicadorynodebe
INDEPENDIENTE
utilizarseelmismoindicadorparamsdeunobjetivo
OBJETIVO Debereflejarhechosynoimpresionessubjetivas
FCILDE Basadoendatosfcilmentedisponiblesocuyaobtencinnosupongaungran
OBTENER esfuerzoocoste
VERIFICABLE Cualquierpersona,utilizandoelmismoprocedimientodemedicinde
OBJETIVAMENTE maneraindependiente,obtienelamismamedicin
Fuente:Elaboracinpropia
LOSINDICADORESPUEDENCLASIFICARSEEN:
I. INDICADORESDEBASEOELEMENTALES: seapoyanenlosprocesosqueestnocu
rriendo,enlasaccionesqueelProgramaoProyectoestllevandoacabo.Sesubdivi
den,asuvez,en:
Indicadoresderealizacin:midenlaejecucinfsicayfinanciera.Porejemplo,elnme
rodetalleresdecapacitacinrealizadosenelmarcodeunProgramaoProyectode
formacinagrcolaesunindicadordesurealizacin.
Indicadoresderesultado:midenlosefectosdirectosquepuedenserfsicosomoneta
rios.Elnmerodeparticipantescapacitadosseraunindicadordeestetipo.
Indicadoresdeimpactoespecfico.
Indicadoresdeimpactoglobal.Elnmerodealumnosformadosquehanencontrado
empleograciasalcursodeformacinseraunindicadordeimpacto.
Deeficacia:midenhastaqupuntosehanalcanzadoloslogrosestablecidosdeante
mano.Siguiendoconelejemploanterior,elnmerodetalleresrealizadosenfuncin
deloprevistoesunindicadordeeficacia.
Deeficiencia:relacionanelresultadoconseguidoconelcosteenqueseincurre.El
costeporparticipantecapacitadoesunindicadordeeficiencia.
Unimpactoespecficoeselefectoproducidodespusdetranscurrirunciertolapsodetiempo,
directamenterelacionadoconlaaccinrealizada.Porejemplo,elimpactoespecficodela
construccindeunacarreteraes:elaumentodelaseguridadoelincrementoenelflujode
personasyvehculos.
Losimpactosglobalessonlosefectosamslargoplazoqueinfluyenenunapoblacinms
ampliadelapoblacinobjetivo.
Tambinpuedenconstruirseindicadorescompuestos,quesonlasumaponderadadealgu
nosindicadoresderivados.Suponderacin,esdecir,supeso,serelreflejodesuimpor
tanciarelativaenelndicecompuesto.
Hayotrasclasificaciones.Porejemplo,segneltipodeinformacinquerecojan:
Indicadoresdeactividades
Indicadoresdeproductos
Indicadoresdegestin
Indicadoresdecontexto
Laseleccindeindicadoresesunpasocrucial,puesunexcesodeindicadorespuederetra
sarcualquierintentodesistematizacinoperativadelainformacinrelevante.Generalmen
teunindicadornovaareflejarmsdeun20%detodalainformacinqueunaactuacin
puedeimplicar.Portanto,comonoesposiblerecogertodalainformacinrelevantesobre
eldesarrollodeunaactuacindefiniendoslounindicador,esnecesariodefinirunabate
raoconjuntodeindicadores.
LascaractersticasdealgunosplanesoprogramasdeAccinSocialpermitenqueelsegui
mientodesupuestaenmarcharequieraslounsencillosistemadeinformacin,mientras
queotros,denaturalezacompleja,porlaparticipacindemltiplesagentesydiversidad
deactuaciones,exigendestinarmayornmeroderecursosasusistemadeseguimiento.
Encualquiercaso,elsistemadeseguimientodebeserlobastantesimpleparaquenoresul
teunacargaexcesivadetrabajoalequipotcnicoydegestinylobastantecompletopara
satisfacerlasnecesidadesdeinformacinyevaluacin.
Laexperienciademuestraqueparaqueelsistemadeseguimientofuncioneyseaoperati
vodebeestarintegradoenlagestindelProgramaoProyecto,esdecir,losgestoresytc
nicosdebenestarimplicadosensudesarrollo.
Esimportantequeelpersonalimplicadoenlastareasdeseguimientorecibaunaformacin
adecuadayespecficasobrelastareasytcnicasrelacionadasconelusodelsistemade
seguimientoysuutilidad.Adems,esnecesarioqueestninformadosdelosdesarrollosy
modificacionesqueafectenalosregistros,porejemplo,cambiosenlosobjetivosdelPro
gramaoProyecto,ensuestrategia,enlapoblacinalaquevadirigidalaintervencin,etc.
Paraposibilitarlaagregacin,cuandoseanecesaria,yeltratamientodelosdatos,elsiste
madeseguimientodebetenerunsoporteinformtico(basededatosuhojadeclculo)que
permitadetectarlasrelacionescausalesquehandadolugaraundeterminadoresultadoy
facilitesuanlisisestadstico.
Unbuensistemadeindicadoresdebereunirlassiguientescaractersticas:
nosernexcesivosennmero,estarnclaramentedefinidos,sernespecficoseinde
pendientesunosdeotrosysernsignificativos;
Susvaloresdebernserconstantesentantoserecopilenencondicionesidnticasy
tendrnquesersensiblesaloscambiosenlasituacindelproyecto;
Debernmedircondicionesespecficasqueelproyectoaspiraacambiar,reflejarlos
objetivosdelproyectoyserrelevantesenrelacinconlosobjetivosdedesarrollo;es
convenientetambinquelosreceptoresparticipenensudiseo;
Silarecopilacindedatosrequiereesfuerzosimportantes,estodeberserprevistoen
elmomentodelaformulacindelaintervencineincluirsuscosteseneldiseo.
Elusodeunindicadoruotroenlaevaluacindeberserdecididoporelequipoenfuncin
deaquelloquesequiereobservar,delosdatosdisponiblesy,finalmente,deacuerdocon
lacapacidadylosrecursosparaconseguirlainformacinnecesaria.
EJEMPLOS:
CRITERIO:EFICACIA
ASPECTOSQUE FUENTESDE
PREGUNTAS DEFINENLAPREGUNTA INDICADORES EXTRACCINDELA
(OPCIONAL) INFORMACIN
Cuestionario semestral
Incrementocon
Existenciadecierta a los alumnos de 10
relacinalsemestre
Disminucindel correlacinnegativaentre curso.
pasadoenalgoms
consumodealcohol lapercepcindelriesgo Pregunta n 8: valora
deun5%de la
entrelosjvenesde paralasaludquesupone del1al 10 el riesgo
percepcindelriesgo
10curso elconsumodealcoholyel parala salud que crees
enelconsumode
consumodelmismo quesuponeel
alcohol
consumode alcohol
CRITERIO:EFICIENCIA
ASPECTOSQUE FUENTESDE
PREGUNTAS DEFINENLAPREGUNTA INDICADORES EXTRACCINDELA
(OPCIONAL) INFORMACIN
Qurelacinexisteen Contrasteentreel
Entrevistas
cadaunadelasfases Recursosfinancieros programaoproyecto
semiestructuradas a
entreloscostesy (segnpartidas)/ identificadoylo
otras ong actuantes en
recursosdel poblacin(objetivo) ejecutadosobrenivel
la zona.
programaoproyectos ocomponentesdel degasto,entiempoy
Documentacin
identificadosylos proyecto recursos,en cada
interna
ejecutados? fase
CRITERIO:PARTICIPACIN
ASPECTOSQUE FUENTESDE
PREGUNTAS DEFINENLAPREGUNTA INDICADORES EXTRACCINDELA
(OPCIONAL) INFORMACIN
Coherenciaenla
Informes de
Culfueelgradode participacin
Definicindeparticipacin seguimiento: asistencia
participacinenlas manifestaday
conformesepresenta a reuniones y jornales,
distintasfasesde diferenciasde
enelproyecto:jornales, recaudacinde fondos.
ejecucinporparte gnero.
actividadesde Entrevistas
delapoblacin (Igualdad en la
recaudacinde fondos semiestructuradas y
beneficiaria,hombres retribucin).
yasistenciaareuniones gruposde discusina
ymujeres? (Desarrollo de otras
personasbeneficiarias
actividades paralelas)
Unavezdefinidoslossubcriterios(laspreguntasquedeberesponderlaevaluacin)ylos
indicadores(lassealesquedefinencmointerpretarlapreguntaydndebuscarlares
puesta),lospasossiguientesconsistenenrecopilarlainformacinyanalizarla,conelobje
todeemitirjuiciosdevalorsobreaquelloqueestsiendovaloradoyemitirlasrecomenda
cionespertinentes.
GUA
Evaluacin
PlanificacinEstratgica
3 TCNICASDEEVALUACIN
1. TCNICAS Y HERRAMIENTASPARALA
EVALUACIN
Lamayoradelastcnicasdelaevaluacindelosproyectosdeaccinsocialprovienende
otrasreasdelconocimientoyhansidoadaptadas,conmayoromenorfortuna,alcampo
delasocial.Aunas,nodebeconfundirselaevaluacinconunprocesodeinvestigacin
cientfica,puessufinalidadltimanoesladeasentarconocimientos,sinoladepermitir
nostomardecisionesquemejorennuestrasintervencionesactualesyfuturas.
Laevaluacindelasintervencionesdeaccinsocialdebeservistaascomounaindaga
cinaplicadaquerecogelosavancesefectuadosenotroscamposdeconocimientoconel
propsitodevalorarloslogrosdenuestrasaccionesdedesarrolloydeaumentarsucalidad
ysusefectospositivos.
TRIANGULACINMETODOLGICA.Unavezdesarrolladosloscriteriosdeevaluacinylas
diferentespreguntasoelementosdecadaunodeellos,procedemosalaseleccindelas
tcnicasderecopilacindeinformacin.Estastcnicassonmuchasydediversotipopero
puedenresumirseconformelatablaqueacontinuacinpresentamos.
Entrevistaenprofundidad Rankingderiqueza
Medicindirecta
osemiestructuradas obienestar
Matricesdeclasificacin
Censo Gruposdediscusin
ypuntacin
Anlisis
Anlisisdocumental Diagramasde Venn
econmicofinanciero
Tantolastcnicascuantitativasycualitativascomolasdecarcterparticipativopresentan
distintascaractersticas.Mientrasquelasprimerasponenelnfasisenlamedicinobjeti
va,lademostracindelacausalidadylageneralizacindelosresultados;lastcnicascua
32.Serecogenenestatablasloalgunasdelastcnicasparticipativas.PuedeconsultarotrostiposenGEILFUS,F.F(1997)80herra
mientasparaeldesarrolloparticipativo:diagnstico,planificacinymonitoreo.SanSalvador.Prochalate.
litativassecentranenladescripcinycomprensininterpretativasdelaconductahuma
naenelmarcodereferenciadelindividuoodelgruposocialenelqueacta.
Porsuparte,lastcnicasparticipativasseencuentranentrelascuantitativasylascualita
tivas.Comoyamencionamoseneltemaanterioralhablardelenfoqueparticipativo,su
caractersticafundamentalespartirdelaimplicacindelapoblacineneldesarrollodelas
tcnicas.Ahorabien,dependiendodeltipodetcnicaparticipativaqueusemos,stapue
deproporcionardatosobjetivosobienotrosdecarcterinterpretativo.Sinduda,lastcni
casparticipativassonlasmsnovedosasysuusonoparadeincrementarsedentrodelas
intervencionesenlaaccinsocial.
Enlaseleccindelastcnicashemosdetenerpresenteestascualidadeseintentarnolimi
tarnosatcnicasdeunslotipo.Paraquelosdatosrecopiladosseandemayorriquezay
fiabilidadesmuyimportanteoptarporlatriangulacinmetodolgica.
Latriangulacinconsisteenlautilizacindedistintostiposdetcnicasparadarcuentade
unarealidaddeterminada.Deestemodoconseguimoscontrastarlainformacinaseguran
dolafiabilidaddelamisma.Igualmenteesimportantetriangularenlaeleccindefuentes
buscandofuentesdiversas,inclusocontradictorias,paraobtenerunavisinmsobjetiva
delarealidadsocialanalizada.
Unapropuestaevaluadoraquecombinetcnicascuantitativasycualitativaspuedeserel
mejorvehculoparasatisfacerlasnecesidadesdeunproyecto:
Losmtodoscualitativossepuedenusarparainformarlaspreguntasclavesobrelaeva
luacindelimpacto,examinarelcuestionarioolaestratificacindelamuestracuanti
tativayanalizarelmarcosocial,econmicoypolticodentrodelcualsellevaacaboun
proyecto.
Losmtodoscuantitativos,puedeninformarlasestrategiasderecopilacindedatos
cualitativos,disearlamuestraparainformarlamedidaenquelosresultadosobserva
doseneltrabajocualitativosonaplicablesaunapoblacindemayortamaoalusar
unamuestraestadsticamenterepresentativa33.
33.BANCOMUNDIAL(1996),TheWorldBankParticipationSourcebook).
Existenvariasventajasenusarlatriangulacindetcnicascuantitativas,cualitativasypar
ticipativas34,entreellas:
Sepuedenincorporarcontrolesdecoherenciaconlaayudadeprocedimientosdetrian
gulacinquepermitenrealizardosomsestimacionesindependientesdelasvariables
clave(comoingreso,opinionessobrelosproyectos,motivosparausaronolosservi
ciospblicosyefectoespecficodeunproyecto).
Se pueden obtener diferentes perspectivas. Por ejemplo, aunque el equipo
investigador considere elingreso oelconsumo comoindicadores clave delbien
estar de un hogar, los estudios de casos podran revelar que las mujeres estn
ms preocupadas por la vulnerabilidad (definida como la falta de acceso a sis
temas de apoyo social en tiempos de crisis), impotencia o exposicin a la vio
lencia.
Losanlisissepuedenconducirendiferentesniveles.Losmtodosdeencuestaspue
denproporcionarbuenasestimacionesdelbienestarindividual,familiaryaniveldela
comunidad,perosonmuchomenoseficacesparaanalizarlosprocesossociales(con
flictosocial,motivosparausaronousarlosservicios,etc.)oparaelanlisisinstitucio
nal(eleficazfuncionamientodelosserviciosdesalud,educacin,crditoyotrosycmo
sonpercibidosporlacomunidad).
Sepuedenproporcionaroportunidadesderetroalimentacinparainterpretardefor
mamsajustadalosresultados.Losinformesdeencuestasamenudoincluyenrefe
renciasaaparentesincoherenciasenlosresultadosoadiferenciasinteresantesentre
lascomunidadesogruposquenosepuedenexplicarconlosdatos.Lamayorflexibi
lidaddelainvestigacincualitativapermiteregresaralterrenoparareunirdatosadi
cionales.
Comohemossealadolastcnicascuantitativasseapoyanenlamedicinobjetiva.Persi
guenobtenerresultadosextrapolablesaungrupoespecficodelapoblacin,bienmedian
telaseleccindeunamuestradelmismo,unnmeroestadsticamentesignificativode
dichapoblacin,obienmedianteelestudiodetodoelgrupo.
34.BAMBERGER,M.(ED)(2000).IntegratingQuantitativeandQualitativeResearchinDevelopmentProjects.Washington,DC:WorldBank.
Lasprincipalestcnicascuantitativas,enelcampodelaevaluacin,son:
Laencuesta.
Lamedicindirecta.
Censo.
1.1.1.Laencuesta
Laencuestaesunodelosinstrumentosmspopulares,aunqueenlaevaluacindepro
yectosdeaccinsocialsuusoesmsrestringidoyaquerequiererecursosdelosquegene
ralmentenosedispone.Susprincipalesventajaseinconvenientesserecogenenlasiguien
tetabla:
VENTAJASEINCONVENIENTESDELAENCUESTA
VENTAJAS INCONVENIENTES
Permiteabarcarunamplioabanicode Noresultaadecuadaparapoblacionescon
cuestionesenunmismoestudio dificultadesparalacomunicacinverbal
Facilitalacomparacinderesultadosal basarse
La informacin se restringe a la proporcionada
en la estandarizacin y cuantificacin de las
por el individuo
respuestas
Posibilitalaobtencindeunainformacin Lacarenciadereferenciascontextualesyvitales
significativa,cuandonoacontezcangraves delosindividuoslimitalainterpretacindelos
erroresensurealizacin datosdeencuesta
Puedeobtenerseunvolumenimportantede Eldesarrollodeunaencuestaampliaresulta
informacinconuncostetemporalmnimo complejoycostoso
Fuente:adaptacindecead ancona(1998)35
Laencuestaesgeneralmenterealizadasobreunamuestra36desujetosrepresentativade
uncolectivomsamplioysellevaacaboenelcontextodelavidacotidiana,utilizandopro
cedimientosestandarizadosdeinterrogacin,conelfindeobtenermedicionescuantitati
vasdegranvariedaddecaractersticasobjetivasdelapoblacin.
35.CEADANCONA(1998)Metodologacuantitativa.Estrategiasytcnicasdeinvestigacinsocial.Madrid.
36.SobrelaseleccindelamuestrasepuedeconsultarelmanualdeSIERRABRAVO,R.(1995)Tcnicasdeinvestigacinsocial.Teo
rayejercicios.Madrid.
GUA DEEVALUACINDEPROGRAMASYPROYECTOSSOCIALES 83
3 TCNICASDEEVALUACIN
Laencuestadescansasobredospilares:
Laestadsticamatemtica.
Lasociopsicologadelacomunicacin(laconversacinentredosinterlocutores/as,
entrevistador/ayentrevistado/a).
As,laencuestaposeedoselementosbsicos:laentrevista(entendidaensentidoamplio)
yelcuestionario:
Laentrevistaesunaconversacinconunpropsitoentredosinterlocutores/as,orien
tadaalaobtencindeunobjetivo.Elproblemaconsisteensituaralentrevistado/ade
talmaneraquepuedatransmitirsumensajesinlimitaciones,ydequeelentrevistador/a
puedacomprenderlosinsesgarlodeacuerdoconsusprejuiciosointereses.
Elcuestionariopermitealentrevistado/aungradomenordeespontaneidadqueuna
charlanoestructurada,yaquetienequeresponderapreguntasperfectamenteformu
ladasy,confrecuencia,escogiendoentrealternativaspreviamentedefinidas.Acam
bio,estetipodeentrevistapermitecompararlasrespuestasdadasalamismapregun
tapordiferentesentrevistados/as,ascomopermitircuantificarlosresultados.
Lapreparacindeestaherramientaocupaunlugarprecisoenelprocesoglobaldelaeva
luacin.Sedebeconstruirdespusdehaberformuladoloscriteriosypreguntasdeevalua
cin.Igualmente,sisetienenclaroslosobjetivosdelaevaluacinsermsfcildecidiry
escogerlaspreguntasqueconvienerealizar.Sepuedendistinguirochofasesfundamenta
lesdeunaencuesta:
I. Formulacindelobjetivodelaevaluacin.
II. Revisindeladocumentacindelproyectoytrabajoconelequipotcnico.
III. Delimitacindelasunidadesmedianteeldiseodelamuestrayespecificacindel
mododeaplicacindelcuestionario.
IV. Diseoypretestdelcuestionario.
V. Administracindelcuestionario.
VI. Codificacinydepuracindeloscuestionarios.
VII. Procesamientoyanlisisdedatos.
VIII. Redaccindelasconclusiones.
Encuantoaldiseodelcuestionario,handeconsiderarselostiposdepreguntasylasreglas
bsicasparasuformulacin.Engeneral,laformulacindepreguntasdeberealizarseen
unlenguajeclaroycompartidoporlosdosinterlocutores.Esaconsejableadaptarelvoca
bulariodelentrevistadorparaunamejorcomunicacinconlapoblacin.
Loprincipal,porencimadecualquieraspectotcnicodeaplicacindelaentrevista,escre
arunambientecmodoenelqueelentrevistadosesientacomprendido,yqueresaltela
importanciadesusaportaciones.Dentrodeunaperspectivamstcnica,esimportante
elaborarpreguntasclarasysencillasquesoliciteninformacinsobreunnicoaspecto,es
decirnopreguntarenunamismacuestinvariascosas.
OTRASREGLASBSICASPARALAFORMULACINDEPREGUNTAS
Eltemadecadapreguntadebeserrelevanteparaelobjetivode la evaluacin.
Laspreguntasdebenestarformuladasdemodoquelarespuestaseaclaraeinequvoca.
Evitarlaspalabrasabstractasdeltipoclase,tipo,especie.
Cadapreguntadebecontenerslounaidea.nohacerpreguntasqueincluyanunasolaidea.
Laspreguntashandeserconcisasycortas.
Laredaccindelaspreguntassehacedeformapersonalydirecta.
Convieneevitarpreguntasindiscretasodemasiadosensiblessinnecesidad.
Nousarpalabrastcnicas,abreviaturasosiglas.
Norealizarpreguntasqueobliguenaclculosoesfuerzosdememoria.
Nopresuponerdeterminadaconductaoconocimientoporpartedelentrevistado.
Fuente:Azofra,M.J.(1999)37
Porotraparte,hacerpreguntasabiertasocerradasesunadelasprincipalesdecisionesque
sehandetomar.Estoestrelacionadoconlaformadelasrespuestas:sisedeseaqueel
entrevistadorespondaconsuspropiaspalabrasseseleccionarnpreguntasabiertas;siinte
resamssituarlaopinindelentrevistadoenunaseriepreasignadadecategorasderes
puestasseutilizarnpreguntascerradas.
Engeneral,latendenciadelamayorpartedeloscuestionariosesutilizarpreguntascerra
dasydejarlaspreguntasabiertasparaindagarsobreaspectosmspuntualesosobrelos
37.AZOFRA,M.J.(1999)Cuestionarios.Madrid
GUA DEEVALUACINDEPROGRAMASYPROYECTOSSOCIALES 85
3 TCNICASDEEVALUACIN
quesetienemenosinformacin.Laspreguntascerradaspuedenserdicotmicas,esdecir
condosalternativas,odeeleccinmltiple.
VENTAJASEINCONVENIENTESDELASPREGUNTASABIERTASYCERRADAS
PREGUNTAABIERTA PREGUNTACERRADA
Proporcionaunainformacin Fcilderesponderycodificar.
msampliayexacta,expresada Reducelaambigedaddelas
enlospropiostrminosdel respuestas.
VENTAJAS encuestado. Favorecelacomparacinentre
Fcildeformular. lasrespuestas.
Sueleprecisardemenosespa Requieremenosesfuerzopor
cioenelcuestionario. partedelencuestado.
Suredaccinexigemayor
La codificacin es ms
esfuerzoyconocimientodel
compleja y laboriosa.
temaporelevaluador.
Ms expuesta a errores en el
Limitalasrepuestasa
registro de las respuestas y en
INCONVENIENTES opciones(ocategoras)
su codificacin.
previamenteacotadas.
Su contestacin exige ms
Lasrespuestaspuedentener
tiempo y esfuerzo por parte del
diversasinterpretacionesen los
encuestado.
encuestados.
Fuente:adaptacindeCeadAncona(1998)38
Respectoalascategorasderespuestas,stashandeserexhaustivasyexcluyentes.Con
vieneevitarlascategorasambiguasdeltipodependeoambas.Lascategorasinterme
dias,aquellasquenoimplicanunposicionamientoporpartedelentrevistadotalescomo
regularoniunacosanilaotra,nosuelenleerseparaevitarelquepuedaelegirla.Las
categorasnosabeynocontestadebenserseriamentepensadaseigualmentenodeben
leerse.
Laorganizacindelcuestionarioesfundamentalparalograrlosobjetivosdelaevaluacin.
Haydosposibilidades:delomsgeneralalomsconcreto(sistemadeembudo)odeloms
concretoalomsgeneral(embudoinvertido).Laprimeraimpidequeunarespuestaopre
guntaanteriorcondicionealassiguientesysuelefacilitarlarelacinentreelentrevistadory
elentrevistadoporquepermiteunaaproximacinprogresivahaciatemascadavezmscon
38.CEADANCONA(1998)op.cit.
cretosycomprometidosdelcuestionario.Lasegundafacilitalareflexindelentrevistado
sobresuspropiasactitudesenunaseriedereasrelacionadasconelobjetoprincipal.
Entrminosgenerales, pararecopilardatosdecalidadmedianteencuestassehandetener
encuentalassiguientesconsideraciones:
Compensaralaspersonasencuestadasquepuedanquedarfuera(muestrearenexceso)
Observarlosproblemasquepuedensesgarlosresultadosdurantelarecopilacindela
informacin
Centrarelcuestionarioenlosasuntosclave
Incluirpreguntasquepermitacompararcuestionesclaveantesydespusdelproyecto
Seleccionarcuidadosamentelacantidadyeltipodeentrevistados
Probarpreviamentelosresultados
Asegurarsedequehayaunabuenacorroboracinyretroalimentacin
Porltimo,puedenresultardeutilidadlaaplicacindepequeasencuestas. stasse
realizanapequeaescala,analizandopocasvariablesyusandomuestrasacotadasyobte
nidas,muchoscasos,pormtodosinformales,noestadsticamentesignificativos.Noobs
tante,permiteobtenerinformacincuantitativaenpocotiempolacualpuedecorroborarse
triangulndolaconotrastcnicas.
Lamedicindirectauobservacincuantitativaconsisteenrecopilardatosdeacuerdoa
unesquemadeterminadoyesmuyutilizadaescontextosdeproyectosdedesarrollo.Para
quelamedicinseasignificativaesmuyimportantedeterminardemanerapreviaqupro
piedadesocaractersticasvanaconsiderarseyculessonlasdimensionesquesemane
jan.Lamedicindirecta,portanto,vadirectamenterelacionadaconelestablecimientode
indicadores.
Confrecuencia,lamedicindirectaserelacionaconlacomprobacindelosindicadores
objetivamenteverificablesqueserecogenenlamatrizdeplanificacindelproyecto.Un
problemacomnseproducecuandolosindicadoresseencuentranmalenunciadosoresul
tanimposiblesdemedir.
Lospasosaseguirenlamedicindirectasonlossiguientes:
A.Definicindelobjetivoamedirmedianteestatcnica.
B.Delimitacindelaspropiedadesarecopilar.
C.Construccindeindicadoresyrevisindelosindicadoresdelamatrizdeplanifica
cindelproyecto.
D.Contrasteysistematizacindelainformacin.
E.Anlisisdelosdatos.
Elusodeestatcnicafacilitalaobtencindedatosmuyfiablessobrefenmenosoproce
sosfsicosperonolograprofundizarenlascausasqueprovocandeterminadasituacin.Por
ello,lamedicindirectadebeiracompaadaporotrosmodosdeanlisismsvalorativos.
1.1.3. El Censo
Elcensoconstituyeunaherramientacrucialparaunestudiocuantitativodelarealidadsocial.
Esmuytilhaberrealizadoelcensoenlafasedeidentificacindelproyectoyhaberido
incorporandosuscambios.Laexistenciadeestedocumentodondeserecogenlosdatos
demogrficosactualizadoses,sinduda,degranayudaeneltrabajodeevaluacin.
Elcensoesunproyectoquepermiteconocer,enunafechadada,elefectivodelapobla
cinenunterritorioconalgunasdesuscaractersticas:
Distribucinporedad.
Sexo.
Edad.
Estadocivil.
Situacinfamiliar.
Suejecucinsebasageneralmenteencumplimentarcuestionarios,porpartedelasper
sonasafectadasoalgunasdeellasoinclusoelagentedelcenso.
1.1.4.TcnicasdeAnlisisEconmicoFinancieroyMedicindeImpacto
Existendiversastcnicaspararealizaranlisiseconmicosofinancieros.Unadeellas,alre
dedordelacualgirarestecaptulo,eselanlisiscosteefectividad(ACE),adecuadopara
proyectoshabitualesenlaAccinSocial,quenosloproducenbienesyserviciostangibles
yexpresablesenunidadesmonetarias,sinoqueademsproducenotrotipodebeneficios,
intangiblesydemsdifcilcuantificacin.
LautilizacindelACEpretendedeterminar,enlaevaluacin,hastaqupuntoelempleode
losrecursoshasidocosteefectivo,entendiendoquelarelacindeseableenunacircuns
tanciaderecursosescasosygrandesnecesidadesesalcanzarlamayorefectividadposi
ble,entendidacomoellogroderesultadosyobjetivosdeseables,conelmenorcoste.El
ACEpuedeserutilizadoantesdelaejecucindeunproyectoparadeterminarhipottica
mentelosresultadosesperadosconuncostedeterminado,perotambinpuedesertilen
laevaluacinintermediaofinalparasaberquesloquesehaconseguidoenrealidad.
Elidealdelacomparacinesanalizarlasituacinconproyectoconlasituacinsinproyec
to.Oenotraspalabras,lasituacinrealmenteexistenteconloquehabrasucedidosilas
actividadesdelproyectonohubieransidorealizadas.Estoimplicalaconstruccindeun
contrafactualhistrico(unasituacinhipottica),paralocualexistenvariastcnicas.
EstoplanteaunadiferenciafundamentalconelAnlisisCosteBeneficio(ACB):conelACE
noesposiblevalorarsiloscostessonsuperioresalosbeneficios,yaquelajustificacindel
gasto,enestecaso,remitealosresultadosyobjetivosquesepretendanalcanzarconel
proyecto.Laevaluacindeberdecir,porlotanto,silosobjetivosconseguidosjustificanel
empleodelosrecursosconsumidos,osihabrasidoposibleobtenerlosconmenos,osicon
lomismosepodrahaberalcanzadoms.
Estastcnicassonespecialmenteaplicadasenlaevaluacindelosresultadoseimpactos,
identificandosusventajaseinconvenientes.Losconceptosclaveson:resultados,impac
tos,efectosestructuralesysinergias.
Frentealosresultados,quesonlosefectosmsdirectoseinmediatosdelasactuaciones,losimpac
toshacenreferenciaalosobjetivosglobales,alosefectosmsindirectosymenosinmediatos.
Losefectosestructuralespuedendefinirsecomolosimpactosquesemantienenenel
tiempoyquesetraducenencambiosenlaestructuraeconmicaysocialdelterritorio
sobreelqueseinterviene.Sonloscambioscualitativosycuantitativosdeinterrelaciones
largamentefraguadas,esdecir,muyestableseneltiempo.Portodoesto,losefectos
estructuralesdeunapolticarebasanloeconmico,entrandoenlosocialycultural.
Lassinergiassonlosefectosqueseproducencuandoelconjuntodeaccionesodeun
ProgramaoProyectoprovocaunimpactomayor(sinergiapositiva)omenor(sinergia
negativa)quelasumadelosimpactosdecadaaccin.Sepuedeconsiderarlasiner
giacomoelvaloraadidodeunconjuntodeacciones.
Losimpactos,sinergiasyefectosestructuralesnosemanifiestaninmediatamente,espre
cisodejartranscurriruntiempoentrelaejecucindelProgramaoProyectoylamanifesta
cindesusprimerosefectos.Duranteestetiempo,alosefectosprovocadostericamente
porelProgramaoProyectoselesumanlosprovocadosporfactoresexgenos(delcontex
tosocioeconmicoodeotrasactuacionespblicas),queseencuentranfueradecontrolde
losgestores.Cuantomayoreseltiempoquehayquedejartranscurrirparaquesemani
fiestenestosefectos,mayoreslacontaminacindeloselementosexgenossobrelospro
ducidosrealmenteporelProgramaoProyecto.
Laprimeradelasaccionesaejecutarserdeterminar,cuantificarycualificarloscambios
quesehanproducidoenlapoblacinobjetivo,midiendosuscaractersticasantes,duran
teydespusdelaintervencin.Unavezdeterminadalamagnituddelcambio,hayquedes
lindarenqumedidastesedebealProgramaoProyectollevadoacaboynoaotrosfac
tores.Esdecir,sonlosefectosdetectadosimputablesalProgramaoProyecto?
SetratadedeslindarelefectoprovocadoporelProgramaoProyectodeotrasinfluencias
exgenas.
Elloimplica:
Conocerlosefectosqueenlapoblacinobjetivoestnteniendootrosprogramasyotros
procesosparaleloseindependientes.
Conocerlosefectosdeldiseodelametodologaseleccionadaparalaevaluacin.
Demaneraque:
EFECTOSDEL EFECTOS
EFECTOS
IMPACTO = PROGRAMAO +/ +/ DEL
EXTERNOS
PROYECTO DISEO
Lavaloracindelaeficienciaesunaherramientadetrabajoquepermiteevidenciarlospun
tosdbilesexistentes,entrminosderecursos,sobrelosquesehacenecesariotomardeci
sionesparasumejora.
Lacondicinnecesariaparallevarlaacaboeslaexistenciadeunsistemapresupuestario
poracciones,conlafinalidaddeconocerelgradodeoptimizacindelosrecursosutiliza
dosenlaconsecucindelosobjetivospropuestos.
Hemosseleccionadocomotcnicasparaevaluarlaeficiencia:
Elanlisiscostebeneficio.
Elanlisiscosteeficacia.
Lacomparacinentrelospreciosdelicitacin,adjudicacinyejecucin.
Elanlisisfrontera.
Ycomotcnicasparaevaluarlaeficacia:
Estudiodecaso
Mtodoexperimental
Elanlisisderegresinylosmodeloseconomtricos
A.ANLISISCOSTEBENEFICIO(ACB)
ElanlisisACBpuedeaplicarseexante,conlocualayudaraalatomadedecisineficien
tesobrealternativasdeactuacin,oexpost,deformaquepermitedeterminarelgradode
eficienciaalcanzada.
B.ANLISISCOSTEEFICACIA
Elanlisisdecosteeficaciaesunaalternativaalanlisiscostebeneficio,intentaencontrar
laeficienciaenlasinversionespblicas,especialmenteensectoresenlosqueloscostesy
losbeneficiossondifcilesdemedirentrminosmonetarios.Noesmuyeficazcuandose
aplicaaProgramaoProyectoesconmuchosobjetivos.
C.COMPARACINENTRELOSPRECIOSDELICITACIN,ADJUDICACINYEJECUCIN.
Unavaalternativaparamedirlaeficiencia,escompararlospreciosdelicitacin(PL)de
cadaproyectoconlospreciosdeadjudicacin(PA)yejecucin(PE)
D.TCNICASDEANLISISFRONTERA(DEA)
Elanlisisfronteraesunadelastcnicasdeanlisisdelaeficienciapblica.Permitecompa
rarunidadesdegestinquedesarrollanserviciosanlogos,demaneraquemuestralaeficien
ciarelativadedichasunidadesenrelacinconlafronteraeficiente,biendeformaindivi
dualparacadaunidadevaluada,bienatravsdeunamedidadelnivelmediodeeficiencia.
E.ESTUDIODELCASO
ImplicaelestudiodelProgramaoProyectoodealgunadesusactuacionesensumbito
natural,ensucontexto,analizadodesdemltiplesperspectivasyagentes.Elobjetivoes
contrastarunaseriedehiptesis,establecidasconcarcterprevio,sobreelProgramaoPro
yecto,fundamentalmenteatravsdeentrevistasyencuestas.Esjustamenteelcontexto
elconceptofundamentaldelanlisis.
Lospasosaseguirsonlossiguientes:
Seleccindelcasoenfuncindelaconveniencia,accesibilidadalainformacinyrepre
sentatividad.
EstablecimientodelashiptesissobreelProgramaoProyectoacontrastar.
Recopilacinyprocesamientodelainformacin.
Redaccinypresentacindelinforme.Eselpasocrucial,exigeunfiltrodetodalainfor
macin,detalformaqueseafcildeconsultar,tantocronolgicacomotemticamen
te,ysirvaparafuturasinvestigacionessobreeltema.Paraaumentarlafiabilidaddel
estudiosepuedeinvolucraradosevaluadoresenelmismocaso,oaagentesexternos
alProgramaoProyecto.
EnocasioneseslamejormetodologaparaevaluarProgramasoProyectoscomplejos,yper
miteextraerconclusionesgeneralizablesdecarcternoestadstico(porelloseutilizaenla
bsquedadelasmejoresprcticas).Sinembargo,escostosa,porloquenosepuedenele
girmuestrasdecasosmuynumerosas.
Lavalidezinternatienequeverconlacausalidad.Lavalidezexternatienequevercon
la generalizacin de las conclusiones de un Programa o Proyecto a otro de similar
naturaleza39.
F.MTODOEXPERIMENTAL
Consisteenestablecerdosgrupos:unocompuestoporsujetosqueparticiparnenel
ProgramaoProyecto(grupoexperimental),yelsegundoporsujetosnoparticipantes
(grupodecontrol).Losdosgruposdebenserrepresentativosdelapoblacinobjetivo,
ylaprobabilidadquetieneunapersona(ounidaddeanlisiscualquiera)deformarpar
tedelosdosgruposdebeseridntica.steeselconocidocomodiseoexperimental
clsico.
Pormediodeunaencuesta,anterioralaaplicacindelProgramaoProyecto,losdosgru
possonpreguntadosacercadecuestionesrelativasalostemasenlosqueelProgramao
Proyectoimpactar.Acontinuacin,seaplicaelProgramaoProyectoalgrupoexperimen
tal,ysevuelvenatomarlosvaloresdeaquellosaspectosaevaluarunavezfinalizadoelPro
gramaoProyecto.
Ladiferenciaenlaspercepcionesentrelosgruposexperimentalydecontrolserlaestima
cindelosimpactosdelProgramaoProyectosobrelapoblacinobjetivo.Paraello,ningu
naotracircunstancia,distintaalhechodequeelgrupoexperimentalsehayavistoexpues
toalProgramaoProyecto,puedehaberprovocadoloscambiosobservados.
Sinembargo,esdesobraconocidoquepersonasimplicadasenexperimentospuedenmodi
ficarsuconductacuandosabenquesonconejillosdeindias;eselllamadoefectoHaw
thorne.Setratadeunaformadecontaminacindelexperimento,yesdetalimportan
ciaquesupresenciaafectadecisivamentealresultadodelamedicindeimpactosquese
hadescritoantes:sonproblemasenlavalidezinternadelexperimento.
39.ParalarelacinentrevalidezinternayexternadeunexperimentopuedeverseaWEISs,C.H.(1998).op.cit.
G.ANLISISDEREGRESINYLOSMODELOSECONOMTRICOS
Consistenenlaconstruccindecoeficientesqueayudarnalequipoevaluadoraestimar
(noacalcular)elalcancedelosimpactosdelProgramaoProyecto.Porejemplo,conlaapli
cacindeestastcnicassepuedeestimarlacantidaddeempleocreadopormillndeeuros
gastadosenelProgramaoProyecto.
H.PROGRAMASPSS+
Esunprogramainformticoqueseutilizapararealizarunagranvariedaddeanlisisesta
dsticosyofreceunsistemaeficiente,integrado,potenteyfcildeusarparaorganizaryana
lizardatos40.
I.Puntosfuertesdelatcnicaeconmicofinanciera:
IncorporaenelprocesodeevaluacinelpuntodevistadelosimplicadosenelProgra
maoProyecto.
Seproponenimpactos,esperadosynoprevistos,positivosynegativos,quelosevalua
doresnopropondran.
Laparticipacindelosgestoresenestaprimerafaselosinvolucraenelposteriorpro
cesodeevaluacin.
Lacombinacindetcnicasestadsticasmultivariantesconlastradicionalesdinmicas
degrupofacilitalainterpretacindelosresultadosobtenidos.
Secombinalaopininindividualizadaconelconsensoentrelosparticipantes.
Puntosdbilesdelatcnicaeconmicofinanciera:
Silassesionesnosedirigencorrectamentesepuedefocalizarladiscusin,resultando
unavisinparcialdelosimpactosesperados.
Debevelarseporevitarunnmerodistintodeparticipantesporaccin.
40.CAMACHOROSALES,J.(2002).EstadsticaconSPSS.Madrid.
Lastcnicascualitativaspermitenobtenerinformacinsignificativaeinmediatasobrelas
percepcionesyprioridadesdelaspartesinteresadasylascondicionesyprocesosquepue
denhaberafectadoeldesarrollodeunprogramaoproyecto41.Setratadeunametodologa
relativamenteflexibleyadaptablealasnecesidadesdelaevaluacineneldiseo,recopi
lacindedatosyanlisisderesultadosyposibilitanunamejorretroalimentacin.
Sedebetenerencuentalaexistenciadelimitacionesensuutilidad,talescomolamenorinci
denciaenlarepresentatividadestadsticarigurosa,lasubjetividadimplcitaenlarecopilacin
dedatos,lafaltadeungrupodecomparacinquepermitaestableceranlisiscausales,loque
hacedifcilgeneralizarlosresultadosparaunapoblacinrepresentativaymsnumerosa.
Comocualquierpropuestametodolgica,lavalidezyconfiabilidaddelosdatoscualitativos
dependeengranmedidadelahabilidadtcnica,sensibilidadycapacitacindelequipo
evaluador.
Acontinuacin,describimosbrevementelastcnicascualitativasmsutilizadasenevalua
cindeproyectos:
Observacinestructurada.
Entrevistas.
GruposdeDiscusin.
Anlisisdocumental.
1.2.1.LaObservacinEstructurada
Laobservacindirectadeunentornopermiteelregistrodeacontecimientoseimpresiones
porel/laanalistadeacuerdoconpatronesexplcitosdecomportamientosyaccionessocia
lespreviamenteespecificados.Tantolaobservacinens,comoelregistrodeloshechos
observados,debenadaptarseaunasreglasdeprocedimientos,quealseguirlaspermiten
elusodelalgicadelainferenciacientfica.
41.VALADEZ,J.YBAMBERGER,M.(1994)MonitoringandEvaluatingSocialProgramasinDevelopingCountries:AHandbookforPolicy
makers,ManagersandResearchers,EDIDevelopmentStudies,WorldBank,WashingtonDC.
Losdiversosmodelosderegistroexistentesparaestefinsuelenmedir,porlogeneral,lafor
ma,duracin,frecuencia,antecedenteyconsecuenciasdecomportamientosindividuales
yestructurassociales,ytambinlasrelacionesqueseestablecenentrecomportamientos,
actitudesyestructuras.
Algunosinstrumentosutilizadospararegistrarlasobservacionessonlossiguientes:
Cuadrosdetrabajo:setratadefichasdivididasenfilasycolumnassemejantesaplanillas
enlasque,porlogeneral,cadacolumnacorrespondeadiferentesgradacionesdelfen
menoqueobservamos.Algunasdeestasinformacionespuedensertratadasestadstica
mente.Eselregistroquemejorencajadentrodelatipologadetcnicascuantitativas.
Diario:relatoescritocotidianamentesobrelasexperienciasvividasyloshechosobser
vados.Puedenserredactadosalfinaldeunajornadaoaltrminodeunatareaimpor
tante.Setratadeunaredaccinlibreaunquedebeidentificarlosdatosidentificativos
bsicos(fecha,autora,referencias,)
Cuadernodenotas:herramientasemejantealaanterior,peromsestructuradoydon
delasanotacionesserealizansobreelterrenoyenelmomentoqueseproducenlos
hechosreseados.Seapuntalainformacin,losdatos,lasfuentesocroquisexplicati
vosquepuedenserinteresantesparalainvestigacin.
Mapasydispositivostcnicoscomovdeocmaras,grabadorasocmarasfotogrficas.
1.2.2.LasEntrevistas
Elprocesodelaentrevistaseparecebastanteaunaconversacincotidiana.Endefinitiva,
setratadeunencuentroentredospersonasquedebenrespetarunasreglasbsicaspara
comunicarse.Enlneasgeneralesquienentrevistaserelresponsabledeorganizaryman
tenerlaconversacin,animandoalapersonaentrevistadaparaquehable.
Enlaentrevistaabiertayenprofundidad, quienevalaconversalibreyespontneamente
conlapersonaentrevistada,yslointervienerealizandoprecisiones,ordenandomnima
menteeldilogo.Seutilizapreferentementeparaobtenerunaperspectivageneraldeun
temapococonocido.Estetipodeentrevistaproducemsinformacincuandoexisteuncli
madeconfianzaohayunamotivacinpreviaporambaspartes.Anas,lapreparacinde
unguinpreviodetemasporpartedelequipoevaluadorpuederesultarmuytilparaque
elflujodelaconversacinnolleveaqueseolvidealgunodelostemasclavesquesedesean
tratar.
Sisedesea,laentrevistapuedeseguirunesquemasemiestructuradodecuestiones,enel
quelaspreguntaspuedenestarformuladasconanterioridad.Sinembargo,elentrevistador
tienelalibertaddemodificarestaformulacin,hacerpreguntasadicionalesoalterarelorden.
Laentrevistasemiestructurada,dadaslascaractersticasdelaevaluacindeproyectosy
programasdeAccinSocial,esutilizadamuyfrecuentemente.
Alahoradeprepararunaentrevistahayquetenerencuentalaeleccindellugaryel
momentoapropiados.Asimismo,lamaneradedirigirsealentrevistado,ellenguajeemplea
do einclusolaformadevestirpuedenactuarcomounobstculoounestmuloparalacon
versacin.Esimposiblerealizarunarecomendacingeneralsobretodosestostemas,por
quesiempredebeexistirunaadecuacinalcontextosituacional.
EJEMPLODEDISEODELASESINDELAENTREVISA
Sidiseamosunaentrevistadeunahoradeduracin,puedendefinirsedosmodelosdeorganiza
cindesudesarrollo:
Distribucintemporalequilibrada,apartirdecuatropreguntastipo,conunaprevisindequince
minutosdededicacinacadaunayhaciendounseguimientodelarespuestainicialacadauna.
Inicioconunapreguntamuygeneral,quepermitaunaentrevistaabiertadurantemediahora,
seguidadeunamediahoracompletamenteestructuradaconpreguntaspreparadasenunasecuen
ciadada.
Fuente:elaboracinpropiaapartirdevalles,m.s.(2002)42
Lainformacinrecabadaenunasolaentrevistanonospermitetenerunadescripcintotal
mentefiabledelarealidad.Lapresenciademotivacioneseinteresesexplcitoseimplcitos
debeserconsideradaentodomomentocomounaposiblefuentedesesgosenlaconver
sacin.Desdeestepuntodevista,resultamuyrecomendabletriangularlainformacincon
seguidaconotrasfuentes.
Lasventajasdeutilizarentrevistasenlaevaluacinsonmltiples.Alariquezainformativa,
flexibilidadyeconoma,sesumanelaccesoainformacindiferentedelaobservada,as
42.VALLES,M.S(2002)Entrevistascualitativas.Madrid.
comolacomodidadimplcita.Sinembargo,suelenrequerirbastantetiempoypresentan
problemasrelativosalafiabilidadyvalidezdelainformacin.
1.2.3.GruposdeDiscusin
Estatcnicaesmuyutilizadaenlainvestigacinsocial,ysueleseraplicadaenlaevalua
cindeunamaneramenosformalizadaque,porejemplo,enlosestudiosdemercado.
Elgrupodediscusinocupaunlugaracaballoentrelaobservacinparticipanteylaentre
vistaindividual.Representaunaformapeculiarderecopilarinformacinpuestoquesupo
neestablecerunadinmicadeconversacingrupal.Eldiscursoqueseobtienees,ensn
tesis,producidoenuncontextosocialmsparecidoalquesedaenlavidarealquelainter
accincaraacaradeunaentrevista.
Laespecialsignificacindelainformacinrecabadasedebeasuefectosumativo:noslo
interesaloquesedice,sinolaobservacindelasinteraccionesqueseproducenenel
senodelgrupo(conflictos,debates,aclaraciones,etc).
Laventajadelosgruposdediscusinesqueexigenmenostiempoydineroquelasentre
vistasindividuales,sinperderflexibilidadyaportandolasventajasdelainteraccingrupal.
Elinconvenienteesquesecreaunasituacinartificialparalaobservacin,planteandoade
msproblemasdegeneralizacinysesgos.
Eldiseodeungrupodediscusintienetresfases:
Laelaboracindelguindecontenidosaabordar.Elguindebeposeer,agrandesras
gos,lasmismascaractersticasqueeldelasentrevistas,aunqueesposibleenrique
cerloconelementospropiosdelosguionesdelaobservacin.As,nosolamenteten
drquesealarlostemassobrelosquesedeseaescucharunadiscusin,sinoade
mslostiposdeinteraccinpersonalquehabrqueobservar(porejemplo,elpapelde
lasmujeresolosjvenesdentrodelgrupo,lacapacidaddelosdistintosmiembrospara
mantenerunaopininoparavariarla,etc.).
Laseleccindelperfil delaspersonasintegrantes.Laeleccindesusmiembrosdebe
conseguirunequilibrioentreunasuficienteheterogeneidad,paraasegurarquesurja
undebateinteresante,yunamnimahomogeneidad,paraevitarsituacionesdedesigual
dad quepuedanllevaralpredominiodeunapersonasobrelasdems.
Laconvocatoriafinaldelasparticipantes.Elnmerodemiembrosdeungrupodedis
cusinsueleestarsituadoentreseisydiezpersonas.Estacantidadpermiteuncontrol
aceptabledelasinteracciones.
Encuantoalproceso,esrecomendablequeelgruposeadirigidoporunapersonadelequi
poevaluador,yqueotraactecomorelator/adelasdiscusiones.Comoapoyo,esaconse
jableutilizartambinunagrabadora.
Lapersonaquedirigeelgrupodebeintroducirlostemaseneldebate,interviniendopuntualmen
tecomomoderadorperosininfluirenlasopinionesdelaspersonas.Debecrearseunasituacin
enlaquelagentesesientaagustoparahablaryopinarlibremente.Laduracindelgrupodedis
cusindebeserlimitada(doshorascomomximo)paranoagotaralaspersonasparticipantes.
1.2.4.AnlisisDocumental
Elanlisisdocumentalconsisteenlabsquedadeinformacinatravsdelarevisinde
documentosdiversos:bibliografa,estadsticaspreviamenteelaboradas,informesvarioso
cualquiertipodematerialnoproducidodirectamenteporlaevaluacin.
TIPOSDEDOCUMENTOS
Documentodeformulacindelproyecto/programaascomotodaladocumentacinquesepueda
obtenerdelproyecto
Datosnopublicados,elaboradospororganismospblicosyprivados,relativosalaintervencin
Datospublicadospororganismospblicosyprivados:estadsticaseinformes
Elanlisisdocumentalserealizadurantetodaslasfasesdelaevaluacin,desdesuprepa
racinhastaelmomentoderedaccindelinformefinal.Susventajassonevidentes:
Elbajocoste.
Lainexistenciadereaccionesadversas(nohayinteraccinconlosactores).
Elaccesoainformacinadicionalquenopuedeobtenerseatravsdeotrastcnicas.
Laposibilidaddeemplearlostextoscomopruebasdocumentalesdelasconclusiones
alasquesellegue.
Sinembargo,lapropianaturalezadelmaterialsecundarioplanteaalgunosinconvenientes:
Labsquedadelainformacinnecesariasueleexigirimportantesesfuerzos.
Esprecisotomarconcienciadelosposiblessesgoseintencionesdelosautoresdelos
documentosparavalorarsufiabilidad.
Elhechodetratarsedematerialplasmadoporescritoodemaneragrficanoanulalaposi
bilidaddeinterpretacinmltipleycambiantedependiendodelcontextoyelmomento.
Algunasrecomendacionesgeneralesparafacilitarelanlisisdocumentalseran:
Encasodeconflicto,darprioridadaldocumentomsreciente,alqueindiquelafuenteo
elmtodocomosehaobtenidooalosprovenientesdefuentesoficialesointernacionales.
Realizarunalecturacompletaparaconocerlossesgosgeneralesdelautorolainstitu
cinresponsabledelapublicacin.
Ensituacindedebilidadnotabledelossistemasnacionalesdeestadsticaodeintere
sespolticosmuyacentuadosenlaevaluacin,buscarfuentesalternativasdedatos.
Elusodemetodologaparticipativaseaplicinicialmenteeneldiagnsticoeinvestigacin
delasrealidadessobrelasquesequeraintervenir;enlaactualidad,suempleosehaexten
didoalrestodefasesquecomponenelciclodeunprocesodedesarrollo,enparticularel
seguimientoylaevaluacin.
TalycomosealaBlumberg43,laparticipacinpuedeserutilizadaalolargodelciclodel
proyecto,conobjetivosmuydiferentes(recogidadeinformacin,tomadedecisiones,revi
sindeconclusiones,etc.)yconmuydiferentesnivelesdeimplicacindelapoblacinlocal.
Paraevitarposiblesconfusiones,debemosaclararqueenelpresentedocumentoutilizare
moseltrminodetcnicasparticipativasparadefiniraquellametodologadirigidaafavo
43.BLUMBERG,R.L.MetodologasdeDiagnosticoRpidoparaevaluarelimpacto.Mayo1999
recerlaparticipacininteractiva;secaracterizanporrequerirlainteraccinactivaycon
tinuaentreelequipoevaluadorylosagentescrticosalolargodeltodoelprocesodelpro
yecto/programaqueseestevaluando.Laeleccindeestemtododetrabajosuponeen
reconocimientodelosagentescrticoseneldoblepapeldeinformantesclaveeinterlocu
toresparaladevolucindeinformacin,revisindevaloracionesytomadedecisiones.
Deacuerdoaesteplanteamiento,suusodebecaracterizarsepor:
Larelacinentrelapoblacinlocalyelequipoevaluadorestbasadaenelintercambio
deinformacinyexperienciasparaunaprendizajemutuo.
Laspersonasprofesionalesdebenadecuarsulenguaje,actitudesycomportamientos
alcontextoenelquesedesarrollalaintervencin.
Elpersonaltcnicopasaadesempearelpapeldefacilitadordeunprocesomediante
elcuallaspersonasbeneficiariasexpresenculessuvisindelarealidad.
Lametodologautilizadaesabierta,grupal,visualycomparativa.
Elmarcofsicomshabitualentornoalcualsedesarrollangranpartedelastcnicasparti
cipativassedenominatallerysueledesarrollarseenunespaciocerrado,amplio,queper
mitaelmovimientoyeltrabajocolectivo,ascomoeldesarrollodeactividadesdedinamiza
cingrupal.Eltrminoaludealaideadetrabajocolectivo,cuyosresultadosrequierendela
participacininteractivadetodasytodosycuyosobjetivosytareassemantieneeneltiempo
deformaparalelaalprocesodeempoderamientodelgrupo.Eltallerpuededurarhoras,das
oaos,enlamedidaquelasactividadesqueseproponentienenaspectosformativos,de
dinamizacingrupaly/odetomadedecisionesqueafectanalavidadelacomunidad.
Comoresultadodeldesarrollodeprocesosparticipativos,seequilibranlasrelacionesde
poderysepotencianlascapacidadesdelapoblacinlocal,tradicionalmenteexcluidadelos
espaciosdetomadedecisiones.Esteprocesodeadquisicindecapacidadesestambin
conocidocomoempoderamiento.
Slocitarlaexistenciadevariastcnicasparticipativas:Anlisisdeacontecimientoscrti
cos,Rankingdebienestar,Matricesdeclasificacinopuntuacin,DiagramasdeVenn,Dia
gramasdeflujos,Diagramasdesistemas,Diagramasderedes,Mapas,Transectos,Moni
toreofotogrfico
GUA
Evaluacin
PlanificacinEstratgica
4 INFORME DE EVALUACIN
ElInformedeEvaluacineselproductodocumentalfinaldelostrabajosdeevaluacinen
dondeserecogenlosresultadosdetodoelproceso.Suformatoestarrelacionadoconlos
TrminosdeReferenciaysuelaboracincorreracargodelequipoevaluador.
ElInformedeEvaluacindebecontener,cuandomenos,untextodescriptivoquedetallela
informacinrecogida,unapartadoexplicativoqueestablezcalascorrespondientesrelacio
nesdecausayefectoyuncomponenteproyectivoqueincluyaunconjuntodeconclusio
nes,recomendacionesysugerencias.Todoellodebertenerunanaturalezaeminentemen
teoperativaorientadahacialaaccinyhaciaelfortalecimientodelatomadedecisiones.
I.PORTADA
Ttuloycdigodelproyecto.
Tipodeevaluacin:externa,interna,mixta,participativa;simultnea,final,deimpacto;
etc.
SituacindelInforme:borrador,preliminar,final.
Fecha.
Equipoevaluador.
II.RESUMEN
III.INTRODUCCIN
Brevedescripcindelproyecto.
Objetivosdelaevaluacin.
Enfoquemetodolgico.mbitodeaplicacin.Limitacionesyobstculosdetectados.Prin
cipalestcnicasutilizadasparalarecogidayprocesamientodelainformacin.
EstructuradelInforme.
IV.PARTEI.DESCRIPCINDELAINFORMACIN
Setratadepresentar,deformaagrupadaysistematizada,lainformacinrecogida.Enesta
faseelequipoevaluadorselimitaadescribiryordenarlosdatosmssobresalientespor
componentes,resultadosoestrategias.
V.PARTEII.VALORACINDELAINFORMACIN
Setratadeincorporarlasexplicacionesnecesariasencuantoalainformacindescrita,esta
bleciendolasrelacionesdecausasyefectosqueprocedan.Estasexplicacionesdebenser
presentadas,deseablemente,atendiendoaloscriteriosycomponentesclsicosdelaeva
luacin:eficiencia,eficacia,impacto,pertinencia,viabilidad,consuscorrespondientesfac
toresdedesarrolloyreplicabilidad.
VI.PARTEIII.CONCLUSIONESYRECOMENDACIONES
Setrata,porunlado,deplantearlasprincipalesconclusionesdelprocesodeevaluacin.
Porotro,deestablecerrecomendacionesysugerenciasparamejorarlacalidaddelaeje
cucindelproyectoensussiguientesfases,absorberdeterminadosobstculosdetectados
oextraeraprendizajesparaintervencionesfuturas.
VII.ANEXOS
Seadjuntartodaaquelladocumentacindeintersqueilustreeldesarrollodelproceso
deevaluacin(encuestas,cuestionarios,referenciasdocumentales,etc)yquecomplemen
teloscontenidosdelInforme.
1. REFERENCIAS BIBLIOGRFICAS
ALVIRA,F.(1991) MetodologadelaevaluacindeProgramas.CSIC.Madrid.
AGUILAR,M.YANDEREGG,E.(1994).Evaluacindeserviciosyprogramassociales.Bue
nosAires,Argentina.EditorialLumen.
ARNSTEIN,S.R.(1969)EightrungsontheladderofcitizenparticipationEnCahnCitizen
participation:effecting,communitychanges.NuevaYork.
AZOFRA,M.J.(1999)Cuestionarios.Madrid
BALLART,X.(1992).Cmoevaluarprogramasyserviciospblicos?Aproximacinsiste
mticayestudiosdecaso.Madrid,Espaa.MinisterioparalasAdministracionesPblicas.
SerieAdministracindelEstado.
BAMBERGER,M.(ED)(2000)Integratingquantitativeandqualitativeresearchindevelop
mentprojects.Washington.
BANCOINTERAMERICANODEDESARROLLO(1997).Evaluacin:Unaherramientade
gestinparamejorareldesempeodelosproyectos,OficinadeEvaluacin(EVO),Banco
InteramericanodeDesarrollo,marzo,WashingtonDC.
BANCOMUNDIAL(1996)TheWorldBankParticipation.SourceBook.
BAUM,W.C.(1982)Theprojectcycle,WorldBank,WashingtonDC.
BEAUDOUX,E;CROMBRUGGHE,G.YOTROS(1992). Guametodolgicadeapoyoapro
yectosyaccionesparaeldesarrollo:Delaidentificacinalaevaluacin,InstitutodeEstu
diosPolticosparaAmricaLatinayfrica,Madrid.
BINENDISK,A.L.(1989).DonorAgencyexperiencewiththemonitoringandevaluationof
developmentprojects.EnEvaluationReview.13(3).
BLUMBERG,R.L.(1999)Metodologasdediagnsticorpidoparaevaluarelimpacto.
BUSTELO,M.YLIGERO,J.(2002)DocumentosdetrabajodelMsterdeEvaluacinde
ProgramasyPolticasPblicas.Madrid.
CAMACHO,J.(2002)EstadsticasconSPSS.
CASLEY,D.YKUMARK.(1990).Recopilacin,anlisisyusodelosdatosdeseguimiento
yevaluacin,EdicionesMundiPrensaBancoMundial,Madrid.
CEADANCONA(1998).Metodologacuantitativa,estrategiasytcnicasdeinvestigacin
social.Madrid.
CERNEA,M.M.(1995)Socialintegrationandpopulationdisplacement:Thecontribution
ofsocialScienceEnIntenationalSocialScienceJournal.143.P.91113.Paris.
CHAMBERS,R.(1994A).TheoriginsandpracticeofParticipatoryRuralAppraisalen
WorldDevelopment,volumen22,nmero7,pp.953969.
CHAMBERS,R.(1994B).ParticipatoryRuralAppraisal:AnalysisofExperienceenWorld
Development,volumen22,nmero9,pp.12531268.
CHAMBERS,R.(1994C).ParticipatoryRuralAppraisal:Challenges,PotentialsandPara
digmenWorldDevelopment,volumen22,nmero10,pp.14371454
CHAMBERS,R.(1995).Mtodosabreviadosyparticipativosafindeobtenerinformacin
socialparalosproyectosenCernea,MichaelM.(Coordinador)Primerolagente:Variables
sociolgicaseneldesarrollorural,FondodeCulturaEconmica,Mxico,pp.587611.
COHEN,A.YFRANCO,R.(1993).Laevaluacindeproyectossociales,SigloVeintiunode
EspaaEditores,S.A.,Madrid.
COMISINDELASCOMUNIDADESEUROPEAS(1993).Manual:Gestindelciclodeun
proyecto:Enfoqueintegradoymarcolgico,Seriemtodoseinstrumentosparalagestin
delciclodeunproyecto,Ayudaaldesarrollo,Unidaddeevaluacin,Bruselas.
CRUZROJAINTERNACIONAL(1994A). Cooperacininternacional:Delegados/asdepro
yectosdecooperacininternacional:FormacinespecializadaparaelvoluntarioCRE:Manual
delalumno/a,CruzRojaEspaola,Madrid.
EUROPEANCOMMISSION(1997).EuropeanCommission(1997)Manual:Financialand
EconomicAnalysisofDevelopmentProjects,Methodsandinstrumentforprojectcyclemana
gement,OfficeforOfficialPublicationsoftheEuropeanCommunities,Luxemburgo
EUROPEANMONITORINGCENTREFORDRUGSANDDRUGADDICTION.(EMCDDA)
(1998).Therecomendationfordrugsanddrugaddictionevaluation.
FEDERACININTERNACIONALDESOCIEDADESDELACRUZROJAYLAMEDIALUNA
ROJA(1993).Evaluacindelavulnerabilidadylacapacidad:GuadelaFederacin.
FEDERACININTERNACIONALDESOCIEDADESDELACRUZROJAYLAMEDIALUNA
ROJA(1994A). ManualdeDesarrolloInstitucional:Metodologa.
FEDERACININTERNACIONALDESOCIEDADESDELACRUZROJAYLAMEDIALUNA
ROJA(1994B). Proyectos:cmoplanificarlosyadministrarlos.
FEDERACININTERNACIONALDESOCIEDADESDELACRUZROJAYLAMEDIALUNA
ROJA(1994?).Desarrolloinstitucional:Guadeaplicacin3:Aspectosinstitucionalesdel
desarrollodeprogramas.
FEDERACININTERNACIONALDESOCIEDADESDELACRUZROJAYLAMEDIALUNA
ROJA(1996). DirectricesrelativasalaPolticadeDesarrollodelaCruzRojayMediaLuna
Roja.
FEUERSTEIN,M.T,(1990). PartnersinEvaluation:EvaluatingDevelopmentandCommu
nityprogrammesWithParticipants,Macmillan,LondresBasingtoke.Unclsicodelaeva
luacinparticipativa;suprimeraedicinesde1986.Secentraprincipalmenteenlosaspec
tosoperativosdeestetipodeevaluacin.
FORSS,K.(1996)HowtoDesignOrganisationswithaCapacitytoLearnwithSpecial
ReferencetoAidAdministrationenStokke,Olav(Editor)ForeignAidTowardstheYear
2000:ExperiencesandChallenges,FrankKass&Co.Ltd.,Londres,pp.286308.
FORSS,K.YCARLSSON,J.(1997). TheQuestforQualityOrcanEvaluationFindingsBe
Trusted?enEvaluation,volumen3,nmero4,octubre,pp.481501.
FORSS,K.YGOURNAY,B.(1984)Sciencesadministratives:Lespolitiquespubliques,Pres
sesdelaFondationNationaletdesSciencesPolitiques,Pars;reproducidoparcialmente
enProblmespolitiquesetsociaux,nmero599,6deenerode1989.
GEILFUS,F.(1997) 80herramientasparaeldesarrolloparticipativo:diagnstico,planifica
cinymonitoreo.SanSalvador.
GREEN,M.(1988)Thedialecticoffreedom.NuevaYork.
GUBA,F.YLINCOLN,Y.(1989).FourthGenerationEvaluation.BeberlyHills.
HALLAM,A.(1998)EvaluatingHumanitarianAssistance.Programmesincomplexemer
gencies.Londrs.
JOINTCOMMITIEEONSTANDARDSFOREDUCATIONALEVALUATION(1994).Thepro
gramEvaluationStandards.ThousandOaks.
MAINGN,T.(1992). LapolticasocialyelnuevoroldelEstado.Espacioabierto,N3.
Maracaibo,Venezuela.(pp.71107).
MINISTERIODEASUNTOSEXTERIORES.SECRETARIADEESTADOPARALACOOPERA
CININTERNACIONALYPARAIBEROAMRICA(1998A) Directricesyguadeconceptos
delCADsobrelaigualdadentremujeresyhombres,Cyan,ProyectosyProduccionesEdi
toriales,S.A.,Madrid.RecogelasDirectricesdelCAD[ComitdeAyudaalDesarrollo]para
laigualdadentremujeresyhombresyelempoderamientodelamujerenlacooperacin
paraeldesarrolloylaGuadelCADdeconceptosyenfoquesrelativosalaigualdadentre
mujeresyhombres.
MINISTERIODEASUNTOSEXTERIORES.SECRETARIADEESTADOPARALACOOPERA
CININTERNACIONALYPARAIBEROAMRICA(1998B). Metodologadeevaluacinde
laCooperacinespaola,Cyan,ProyectosyProduccionesEditoriales,S.A.,Madrid.
MOSER,CARLYN(1989). GenderPlanningintheThirdWorld:MeetingPracticalandStra
tegicGenderneedsenWorldDevelopment,volumen17,nmero11.
MOSSE,R.YSONTHEIMER,L.E.(1986).PerformanceMonitoringIndicatorsHandbook,
WorldBankTechnicalPaperNo.334,TheWorldBank,WashingtonDC.
NIRENBERG,O,BRAWERMAN,JYRUIZ,V.(2003).ProgramacinyevaluacindeProyec
tosSociales.
NORAD.(1997) Elenfoquedelmarcolgico:Manualparalaplanificacindeproyectos
orientadaporobjetivos,InstitutoUniversitariodeDesarrolloyCooperacinFundacinCen
troEspaoldeEstudiosdeAmricaLatina,Madrid.
ORGANISATIONDECOOPRATIONETDEDVELOPPEMENTCONOMIQUES(1989).L
valuationdanslespaysendveloppement:Unetapedudialoque,OrganisationdeCoo
prationetdeDveloppementconomiques,Pars.
OSUNA,J.L.YMARQUZ,C.(DIR)(2000)GuaparalaevaluacindePolticasPblicas.
Sevilla.
OVERSEASDEVELOPMENTADMINISTRACIN(1992).TheProcessApproachtoProjects,
OverseasDevelopmentAdministration,Lenders.
PATTON,Q.M.(1999).UtilizationfocusedEvaluation:Thenewcenturytext.Londrs.
PICHARDO,A.(1993).EvaluacindelimpactoSocial.Elvalordelohumanoantelacrisis
yelajuste.BuenosAires,Argentina.EditorialHVMANITAS.
SIEMPRO(1999).GestinIntegraldeProgramasSocialesOrientadaaResultados.Manual
MetodolgicoparalaPlanificacinyEvaluacindeProgramasSociales.Brasil.UNESCO,
SIERRABRAVO,R.(1995).TcnicasdeInvestigacinSocial:Teorayejercicios.Madrid.
STIFFEEBEAMYSHINKFIELD.(1987)EvaluacinSistemtica.Guatericayprctica.
Madrid.
UDNORAD(1997)Evaluacindeproyectosdeayudaaldesarrollo:Manualparaevalua
doresygestores,InstitutoUniversitariodeDesarrolloyCooperacinFundacinCentroEspa
oldeEstudiosdeAmricaLatina,Madrid.
VALADEZ,JOSEPH;BAMBERGER,MICHAEL(1994)MonitoringandEvaluatingSocialPro
gramasinDevelopingCountries:AHandbookforPolicymakers,ManagersandResearchers,
EDIDevelopmentStudies,WorldBank,WashingtonDC.
VALLES,M.S.(2002)EntrevistasCualitativas.Madrid.
VEDUNG,E.(1997).Publicpolicyandprogramevaluation.NewJersey.
WEISS,C.H.(1998)Evaluation:Methodsforstuddingprogramsandpolicies.PrenticeHall.
GUA
GuadeEvaluacindeProgramasyProyectosSociales
PlanEstratgico
delTercerSector
deaccinsocial
Avda.DoctorFedericoRubioyGal,4.Local
28039Madrid
Telfono915351026Fax915350582
Gua de Evaluacin
de Programas y
www.plataformaong.org