FUNDAMENTOS DE
EVALUACIN DE POLTICAS PBLICAS
Primera edicin: 2010
Equipo Tcnico del Departamento de Evaluacin
Marisa Merino Cuesta
Revisin:
Direccin del Departamento de Evaluacin
Ana Ruiz Martnez
PRESENTACIN
La evaluacin de las polticas pblicas es desde hace aos una preocupacin
central de los gobiernos de los pases industrializados. La mayor diferencia frente a
otras tcnicas de mejora gerencial, enfocadas, prioritariamente, al control econmico
y al cumplimiento normativo, es que la evaluacin, en el actual contexto poltico,
aparece ligada a aspectos sociales y de transparencia democrtica, en estrecha
relacin con la publicidad de sus informes y la participacin plural de los actores
que entran en juego.
En un mundo en perpetuo cambio, los poderes pblicos necesitan aprehender los
problemas complejos, difusos y contradictorios que tratan de resolver sus polticas.
Esta cuestin exige lgicas comprehensivas frente a los anlisis atomizados y
descontextualizados de los controles administrativos tradicionales. Esa bsqueda de
un mayor sentido holstico, traducida en una lgica ms integral, es la aspiracin de
la evaluacin.
La evaluacin no es slo una comprobacin de conformidad de la accin pblica,
sino que expresa un juicio de valor sobre el xito de los resultados y los impactos
deseados o no- de las polticas pblicas y ese juicio de valor se debe extraer con el
mayor rigor y garantas, de ah la exigencia de una slida metodologa.
Desde hace aos, las administraciones disponen de numerosas guas de
evaluacin, referidas a diferentes sectores, sin embargo, cada institucin tiene sus
propios enfoques en relacin a sus cometidos y eso lleva a particularizar sus
herramientas aprovechando un ncleo comn. Adems, se han producido grandes
cambios en el campo de la evaluacin que reclaman nuevos instrumentos y
aproximaciones, con una demanda cada vez ms insistente, en la necesidad de
instrumentos para la evaluacin en el nivel estratgico de las polticas pblicas. Y en
este sentido se debe entender la aportacin de AEVAL.
Este documento examina los fundamentos bsicos de la evaluacin de polticas
pblicas en el panorama actual para reflexionar sobre los nuevos retos.
La evaluacin revela, actualmente, un campo complejo, con innumerables
prcticas muy heterogneas y con enfoques y finalidades diferentes. Presenta un
desarrollo desigual en los distintos pases y sigue mostrando ciertas tensiones entre
el peso de sus componentes acadmicos y la lgica de las intervenciones pblicas.
En cualquier caso, tanto los Estados como las comunidades cientficas reconocen,
cada vez ms, la necesidad de evaluar el funcionamiento y resultado de las
instituciones y sus polticas para elevar sustancialmente la productividad y
modernizar procesos especficos del sector pblico.
A simple vista, tres grandes sectores dominan la industria de la evaluacin y
marcan muchas de sus reglas: el sector de ayuda al desarrollo, en los organismos
internacionales, el de los Fondos Europeos, en la UE, y el de la evaluacin interna de
cada pas, con infinidad de prcticas.
Laevaluacindepolticaspblicasenglobalaevaluacindeprogramasyambascompartenprocedimientosytcnicas,peroseplantean
diferenciasimportantesencuantoalaspreguntasdelaevaluacin,criteriosyutilidades,queenlaevaluacindepolticasestnenrelacinala
funcinsuperiordelgobiernoyenlaevaluacindelosprogramasenrelacin,sobretodo,alafuncingestora.
ndice
PRIMERA PARTE
LA EVALUACION DE POLTICAS PBLICAS EN EL MARCO DE LA NUEVA
GOBERNANZA
QU ES EVALUAR?.................................................................................................. 13
LA EVALUACIN EN EL CONTEXTO DE LA GOBERNANZA ............................................... 15
LOS PRINCIPIOS DE BUEN GOBIERNO COMO MACRO-CRITERIOS DE VALOR EN LA
EVALUACIN DE POLTICAS PBLICAS. ...................................................................... 17
EL VALOR AADIDO DE LA EVALUACIN EN EL SECTOR PBLICO .................................. 18
USOS Y FUNCIONES DE LA EVALUACIN..................................................................... 19
DOBLE VERTIENTE DE LA EVALUACIN: GERENCIAL Y POLTICA.................................... 22
BREVE HISTORIA DE LA EVALUACIN DE POLTICAS PBLICAS Y PANORAMA ACTUAL ...... 27
Primer periodo: Optimismo frente a los programas y optimismo frente a la evaluacin
(1960-1970) ...................................................................................................... 27
Segundo Perodo: Pesimismo respecto a los Programas y desencanto respecto a la
evaluacin (1970-1980) ..................................................................................... 28
Tercer Periodo: Institucionalismo, pluralismo y evaluacin..................................... 29
DESARROLLO DE LA PRCTICA EN EL MARCO INTERNACIONAL: TENDENCIAS.................. 30
1. La prctica de la evaluacin en los distintos pases .............................................. 35
La evaluacin en el continente americano............................................................... 31
La evaluacin en Europa ...................................................................................... 33
2. La evaluacin de los Fondos Europeos. La UE y el Marco metodolgico: Las Guas
MEANS .............................................................................................................. 35
3. La Evaluacin de Programas de Cooperacin y Ayuda al Desarrollo: Organismos
internacionales ................................................................................................... 37
SEGUNDA PARTE
CONCEPTOS BSICOS DE EVALUACIN DE POLTICAS PBLICAS
DEFINICIONES DE EVALUACIN................................................................................. 73
ESTRATEGIAS Y LGICAS EN EVALUACIN.................................................................77
BASE DEL TRABAJO DE EVALUACIN ..........................................................................78
JUSTIFICACIN Y LGICA DE LA INTERVENCIN..........................................................79
LAS PREGUNTAS EN EVALUACIN ..............................................................................80
EL JUICIO DE VALOR ................................................................................................81
PRINCIPALES TIPOLOGAS DE EVALUACIN ................................................................ 83
EN FUNCIN DEL PARADIGMA ...................................................................................83
EN CUANTO AL MODO DE INVESTIGACIN .................................................................86
EN FUNCIN DEL PROPSITO:...................................................................................87
EN FUNCION DE LA PERSPECTIVA TEMPORAL...............................................................88
EN CUANTO A LOS EVALUADORES..............................................................................89
EVALUACIN SEGN CONTENIDO .............................................................................90
LA METAEVALUACIN ...............................................................................................97
EL DISEO DE LA EVALUACIN................................................................................. 98
TCNICAS ............................................................................................................. 102
EL INFORME DE EVALUACIN .................................................................................. 103
10
PRIMERA PARTE
11
12
QU ES EVALUAR?
Evaluar (del lat. valere) significa estimar, apreciar, calcular el valor de
algo. El Diccionario de la RAE indica que evaluacin consiste en la accin y
efecto de sealar el valor de una cosa. A su vez, en el Diccionario de Mara
Moliner encontramos que evaluar consiste en atribuir cierto valor a algo.
El matiz que introduce el adverbio cierto de la ltima definicin podra pasar
inadvertido, pero no es desdeable al apuntar hacia el relativismo en que se mueve
nuestro conocimiento de la realidad. Cierto seala una aproximacin que nos
recuerda que la evaluacin es un mapa que trazamos para explorar la realidad y que
en ningn caso debemos confundir con el propio territorio.
Las ciencias, despus de todo, son nuestra propia creacin, incluidos
todos los severos estndares que parecen imponernos. Es bueno recordar
constantemente este hecho. Paul K. Feyerabend (1984)
Aunque el origen semntico del trmino evaluacin aporta el ncleo esencial de
lo que se entiende por tal, habr que distinguir entre el uso corriente del lenguaje y
el lenguaje especializado que exige cualquier disciplina, cuestin sta que no resulta
suficientemente clara en evaluacin, ya que en ella han influido tanto el lenguaje
comn como diversos campos acadmicos y gerenciales. Lo que interesa destacar es
que ninguna definicin es neutra y entraa diferentes abordajes y valores.
La disciplina de evaluacin proviene de los pases anglosajones, donde aparece
bajo la rbrica de dos acepciones sinnimas: assessment y evaluation que en la
literatura especializada tienen usos diferentes: assessment se utiliza en general
referido a personas y evaluation, referido a intervenciones, programas, proyectos...
La profesora Fernndez Ballesteros argumenta que en espaol ha prosperado el
trmino evaluacin al estar menos cargado semnticamente que valoracin.
Evaluar es apreciar, analizar, valorar y juzgar los resultados e impactos de una
intervencin a fin de mejorar su calidad. La prctica de la evaluacin incluye
actividades tcnicas de observacin, de medida, de anlisis, pero no se reduce slo
a eso. Se apoya en el mtodo cientfico pero no es una disciplina cientfica en el
sentido habitual del trmino, sino una actividad institucional con vocacin de
integrarse en la gestin pblica y en el funcionamiento del sistema poltico.
En lneas generales, se entiende por evaluacin un proceso integral de
observacin, medida, anlisis e interpretacin, encaminado al conocimiento de
una intervencin pblica -norma, programa, plan o poltica-, que permita alcanzar
un juicio valorativo, basado en evidencias, respecto a su diseo, puesta en
prctica, resultados e impactos.
13
14
15
16
atendiendo a los contextos, la cultura, los principios, los criterios y los fines que
persiguen las polticas pblicas en sus diversas esferas de accin.
La calidad del sistema poltico no es una variable independiente de la calidad de
su Administracin Pblica, sino que hay una vinculacin directa entre ambas. La
Administracin es un actor poltico clave. En su seno se toman decisiones muy
relevantes, adems de ser la encargada de implementar las polticas pblicas. El
cuestionamiento sobre el valor de lo pblico se percibe, muy a menudo, por el buen
o mal funcionamiento de las administraciones y los servicios que estas prestan.
Sin embargo, la relacin poltica-administracin no est exenta de tensiones que
han ido oscilando, a lo largo del tiempo, entre enfoques que otorgan mayor o menor
discrecionalidad y responsabilidad a los cargos administrativos. Esas tensiones
tambin estn presentes en la evaluacin.
17
Desde esa perspectiva una poltica pblica podra tener buenos resultados
respecto a sus objetivos pero incumplir el principio de apertura a los ciudadanos o
presentar una baja legitimacin social. La participacin aparece ligada a la valoracin
de calidad, la pertinencia y la eficacia de las polticas pblicas. Por otra parte, ms
all de la econmica contable, sigue existiendo poca cultura de la responsabilidad en
las organizaciones pblicas. La eficacia resulta un criterio ms comn, pero puede
correr el peligro de limitarse a una eficacia gestora que no incluya la eficacia social.
Hay que tener en cuenta la lgica de cada nivel de gobierno para resolver las
tensiones que pueden existir en uno y otro al aplicar los criterios por los que se
valorarn las polticas pblicas.
Por ltimo, dentro de la complejidad de esferas de gobierno, la coherencia de las
polticas pblicas parece un principio elemental de buen gobierno y de
enjuiciamiento de lo pblico.
La evaluacin de polticas pblicas apunta a un nuevo tipo de
control poltico-democrtico en consonancia con los principios de la
Nueva Gobernanza: responsabilidad, transparencia y participacin.
Esta nueva forma de gobernar se apoya en modelos de gestin
pblica, que persiguen mayor eficacia y eficiencia del Sector Pblico
en sus diferentes niveles de gobierno, estratgico y operativo. Estos
niveles se complementan, pero la lgica para su valoracin no es
exactamente la misma.
18
pblicas, valorando tanto los aspectos de una mala organizacin como la desafeccin
democrtica que produce el desgobierno y el deterioro intencionado de lo pblico.
Reforzar los controles resulta cada vez ms necesario, aunque esos controles no
sean exactamente los tradicionales.
Evaluar es valorar lo pblico con el fin de transformar lo que no funciona, pero no
bajo premisas exclusivamente tcnicas aunque desde luego necesarias-, sino,
tambin, de interlocucin social que propicie una cultura de responsabilidad y
mejora continua. Desde esta perspectiva, la evaluacin contribuye a la mejora
administrativa que, no slo es compatible con la eficiencia, sino que puede
reforzarla, promoviendo la lgica relacional entre las distintas esferas
administrativas y aprovechando sus capacidades, recursos y sinergias.
La evaluacin de polticas pblicas trata de conectar democracia, control y
eficiencia, entendiendo que sta, en el Sector Pblico, no puede referirse a los
exclusivos criterios del mercado, ni a intereses de oligarquas administrativas. Las
reglas del buen gobierno deben equilibrar la eficiencia con otros criterios de valor de
lo pblico: equidad, cohesin social, corresponsabilidad, cooperacin institucional,
comprendiendo y explicando las tensiones inherentes a los diferentes intereses que
se entrecruzan en la accin pblica.
El valor aadido de la evaluacin, en ltimo trmino, es su contribucin a la
mejora de la calidad democrtica y slo en ello alcanza su plena legitimidad porque,
si se limitara a tareas propias del control tradicional no tendra razn de ser; eso ya
es competencia de otros controles del Estado.
Para mejorar la capacidad de formular polticas pblicas de orden superior y para
valorarlas es necesario trascender las nociones convencionales de eficiencia y
eficacia (no obstante su importancia) y valorar la capacidad de influir sobre el
futuro en la direccin deseada (enlightenment) y de profundizar o no en la calidad
democrtica. Esa es la esencia de la evaluacin de las polticas pblicas.
19
20
Rendicin de cuentas
John Elliott (1988), distingue tres tipos de rendicin de cuentas (accountability):
social, econmica y profesional y centra el proceso en la misma institucin responsable de
la poltica o programa ms que en agentes externos.
Dado que las polticas utilizan fondos pblicos es preciso saber cmo se estn gastando.
La responsabilidad poltica, social y tcnica exige garantas y comprobaciones de que se
est trabajando con seriedad y eficacia. Sin embargo, no es suficiente con explicar cmo se
gastan los fondos pblicos y con su control por los organismos correspondientes (fiscal
accountability) sino responder de las acciones e inacciones que justifican los resultados.
M. Kogan introduce un matiz al considerar la accountability como una condicin que se
ha de producir en el fenmeno social y que obliga a exigir responsabilidades e incluso
sanciones. Es la condicin segn la cual los que tienen un papel individual son responsables
de la revisin y de la especial aplicacin de sanciones si sus acciones dejan de satisfacer a
aquellos con los que tienen una relacin de responsabilidad (1988).
Transparencia
Junto con la rendicin de cuentas, la transparencia es un potente mecanismo de
creacin de valor pblico.
Para que la sociedad pueda percibir el grado de eficacia y eficiencia de las
administraciones pblicas resulta necesario arbitrar procesos de transparencia.
La publicidad de las evaluaciones contribuye, no slo a la mejora de los sistemas de
control del Estado, sino a la percepcin por la sociedad de la responsabilidad de sus agentes
decisores y a la aportacin de los resultados de las polticas.
El ejercicio de transparencia de las acciones pblicas las acerca a los ciudadanos que las
financian y les otorga legitimidad. Los ciudadanos necesitan saber, no slo en qu se gasta
su dinero, sino qu resultados y qu impactos se producen con ese gasto.
Mediante el proceso de evaluacin se produce un proceso continuo de aprendizaje,
mejora y transparencia ante la sociedad de las acciones del sector pblico. Esta imagen de
servicio adems de considerarse un derecho democrtico tiene un valor positivo per s, ms
all de los resultados, siempre que quede garantizada la independencia y la calidad de la
evaluacin.
21
Participacin
Para satisfacer las demandas ciudadanas, lo que se persigue, dentro del propio modelo de
democracia representativa, es abrir mayores espacios a la participacin. Algunos prefieren
hablar en este caso de democracia expresiva, al considerar lo impracticable que resulta la
participacin en muchos temas de gobierno, pero propicindola siempre que sea posible,
porque participacin y eficacia se complementan.
o
Este modelo no se limitara a manifestar la opinin existente acerca de los logros y los
modos de la entrega de bienes y servicios a la sociedad en cada convocatoria
electoral, sino que revelara el grado de legitimidad con que cuentan las instituciones
en cada momento y para cada actividad, as como las preferencias de los ciudadanos
acerca de las polticas pblicas.
Vertiente gerencial
Una vez establecidos los objetivos propios de una poltica (nivel decisional y de
formulacin de la accin del gobierno) la implementacin entra de lleno en el campo
22
gerencial (la postdecisin). El problema crucial de la gestin pblica es lograr que las
cosas se hagan y su campo natural es el despliegue de las polticas en planes y en
programas gestores.
Desde hace aos, viene siendo frecuente promover en las administraciones
pblicas una cultura gerencial, considerando que para su desarrollo es necesaria una
clara y especfica determinacin de objetivos. Esto se relaciona, a su vez, con lo que
comnmente se conoce como cultura de resultados, que no es otra cosa que
anteponer el cumplimiento de los objetivos sealados y analizar sus resultados, en
contraposicin a la orientacin tradicional que enfatizaba los procedimientos. Este
enfoque de resultados supone generar una dinmica interna en las organizaciones
que redunde en la mejora del desempeo organizacional, pero presupone, tambin,
partir de un proceso de planificacin y de un instrumental de evaluacin para
verificar el cumplimiento de metas y objetivos. Bajo este enfoque, la evaluacin
gerencialista supone preocuparse por los resultados y saber si se han alcanzado o no
los objetivos planteados.
La administracin pblica, en su modelo tradicional (racional-burocrtico), no
estaba pensada para preocuparse por los resultados, sino por la legalidad de su
actuacin, por ello, los mecanismos de control se dirigan ms a certificar la
conformidad de la actuacin administrativa respecto a lo previsto normativamente
que a encontrar indicadores de gestin y volumen de resultados e impactos.
La constatacin de que los problemas de eficiencia en la actuacin pblica
responden en gran medida a fallos gerenciales a la hora de generar incentivos y a
una escasa prctica de produccin y aprovechamiento de la informacin de gestin,
ms que a la mera titularidad pblica aunque sta imponga restricciones evidentes
sobre los aspectos anteriores- ha suscitado que las reformas de la Administracin
hayan puesto el acento en la actualizacin y mejora de los modelos de gestin
pblica apoyados en la ideologa de ciertas corrientes, en particular la Nueva Gestin
Pblica.
23
24
25
Vertiente poltica
Evaluacin
nivel
reglamentario
Evaluacin
nivel
gerencial
Evaluacin
nivel
democrtico
26
Hay, por tanto, diferentes lgicas que se entrecruzan en el terreno del gobierno y
la Administracin y el control de sus acciones y no se pueden aplicar de manera
indiferenciada los mismos parmetros de control o rendicin de cuentas a
interrelaciones basadas en lgicas distintas, o confundir las distintas relaciones y
posiciones de poder e influencia estableciendo indicadores no pensados
especficamente para recoger los distintos valores que encierra cada situacin.
La Administracin es parte integrante de la realizacin de una poltica y el nivel
poltico y los gerentes pblicos no pueden ir por separado. En el curso de la
implementacin el organismo de gestin debiera estar implicado con el decisor
mucho ms all del control de gestin-, porque esa parte operativa influye en gran
medida en el logro de las estrategias. Pero ello complica la participacin de actores
en el campo de la evaluacin y sus diferentes necesidades informativas, por lo que
se requiere del evaluador conocimiento y dominio de las diferentes lgicas.
La necesidad de colaboracin entre ambas perspectivas es lo deseable y la
evaluacin puede servir de puente para el entendimiento entre esos dos niveles de
accin pblica que manejan diferentes valores y distintas formas de conocimiento.
27
Tanto los detractores como los defensores de las polticas sociales se mostraron
partidarios de la evaluacin para obtener informacin sobre mejores resultados y
costes. Los que defendan las polticas sociales vean en la evaluacin la posibilidad
de legitimar y justificar el incremento del gasto pblico y los que se oponan
buscaban argumentos en los que fundamentar su crtica, con el propsito de
posponer su generalizacin o reclamar su eliminacin. Para ambos, la evaluacin
experimentalista era una herramienta til, vlida y fiable, con la que construir
evidencia emprica para fundamentar el debate de las decisiones polticas.
En esta primera fase de optimismo, tanto frente a los logros de los programas
como ante los resultados de la evaluacin, se cree que para evaluar programas
sociales es suficiente ser un buen cientfico social, estar en posesin de todas las
tcnicas y los mtodos cuantitativos posibles y tener la capacitacin para aplicar a
los grandes programas la experimentacin. La idea es hacer un experimento con los
programas, aplicando la intervencin slo a algunos grupos sociales y controlando
las consecuencias. La experimentacin es favorecida por el sistema federal
norteamericano, que permite aplicar los programas en algunos Estados, controlando
los resultados antes de su implementacin a escala general.
Esta preocupacin conduce a un proceso de institucionalizacin de la evaluacin
con la creacin de unidades de evaluacin y la aprobacin de normativa para regular
la evaluacin de las acciones pblicas (Economic Opportunity Act, 1967 y Sunset
Legislation).
En la misma poca surge otra tendencia ligada a Michael Scriven. Para l, la
lgica de la evaluacin es completamente inversa a la que aplicaba el
experimentalismo. No se trata de ver si un programa se ha desarrollado como deba
o si los objetivos se han alcanzado, sino de descubrir si el programa en s es bueno o
no. Se comienza a razonar en trminos de calidad y se busca atribuir un valor a los
programas, intentando, a la vez, que sean los implicados los que aporten su idea de
valor sobre las intervenciones.
Segundo Perodo: Pesimismo respecto a los Programas y desencanto
respecto a la evaluacin (1970-1980)
Esta etapa se caracteriza por la progresiva institucionalizacin de la evaluacin, a
la vez que empez a considerarse limitada la creciente intervencin pblica
experimentalista del perodo anterior.
Se habla de pesimismo respecto a los programas porque empieza a apreciarse
que estos no han conseguido los logros que perseguan: el desempleo no se erradica
en breve tiempo. No es tan simple rehabilitar los guetos urbanos o resolver el
fracaso escolar o el desempleo. Se concluye que hay efectos asociados que no se
controlan. Comienza a considerarse la idea de los efectos perversos de las polticas
28
29
30
EEUU
Las primeras evaluaciones cientficas de programas pblicos datan de principios
del siglo pasado. Desde 1932, el modelo conceptual de la evaluacin fue el de la
experimentacin social impulsada por Ralph Tyler con ocasin de un gran estudio
experimental sobre la eficacia pedaggica de dos programas escolares. En los aos
sesenta, se promueve la evaluacin como instrumento de control y optimizacin del
gasto pblico en el marco presupuestario del Planning Programming Budgeting
System (PPBS).
o
Canad
o
31
PAS
Chile
Colombia
Costa Rica
Uruguay
Brasil
Mxico
Bolivia
Argentina
32
La evaluacin en Europa
Reino Unido
En el curso de los aos 90, el desarrollo de la evaluacin en el Reino Unido ha
estado fuertemente marcado por la Nueva Gestin Pblica (New Public Management,
NPM).
Las lneas de fuerza de este enfoque de accin han sido: privatizaciones,
desarrollo de mecanismos de mercado, refuerzo de instancias de regulacin
encargadas de supervisar el buen funcionamiento de los mercados, externalizacin
de funciones administrativas a favor de agentes no gubernamentales o semipblicos.
En el marco de la nueva gestin pblica, la evaluacin se ha dotado de un fuerte
sostn poltico y se ha invocado en beneficio de las reformas administrativas, eso s,
con el riesgo de ser reducida a una tcnica de gestin de objetivos. Uno de los
motivos ha sido la limitacin de los presupuestos y la necesidad de fijar resultados.
Todo ello ha potenciado durante los aos 80-90 el uso de la evaluacin gerencialista,
centrada en la reduccin de costes y mejora de la gestin.
o
La Strategy Unit del Reino Unido. Creada en 2002, es un rgano central que
agrupa las labores llevadas a cabo por la Performance and innovation Unit (PIU)
y otros organismos de estudios y definicin de estrategias, dependientes, en
general, del Primer Ministro. Su labor fundamentalmente es suministrar ideas
para los temas clave de la poltica gubernamental y los estudios de prospectiva.
Ha desarrollado, tambin, estudios en colaboracin con ministerios sectoriales,
que engloban evaluaciones y anlisis de impacto referidos a proyectos
especficos.
Pone el nfasis en el coste de oportunidad de las intervenciones pblicas con
una bsqueda de la mayor eficacia y eficiencia en la gestin, as como en las
consideraciones sobre la participacin del mercado.
33
Suecia
o
Francia
En Francia, el desarrollo de la prctica evaluativa es indisociable de la visin
poltica de la evaluacin frente a la gestora y se traduce, desde los aos 70, en una
serie de iniciativas institucionales de evaluacin de xito muy diverso. Su historia ha
venido marcada por dos tentativas para implantar la evaluacin en el ncleo del
funcionamiento del Estado: la racionalizacin de las decisiones presupuestarias
(RCB, 1970) y la creacin de un dispositivo gubernamental de evaluacin de polticas
interministeriales, en 1990.
Desde los aos 80 bajo el impulso de Michel Rocard la evaluacin se inscribe
dentro de una poltica ambiciosa de reforma administrativa denominada Renovacin
del servicio pblico. Hay dos aspectos destacados dentro de la valoracin de la
evaluacin en Francia: su contribucin al desarrollo de la responsabilidad de los
agentes pblicos y su posible papel en el debate pblico.
El objetivo que se persigue es hacer de la evaluacin un elemento central en la
toma de decisiones gubernamentales y del debate democrtico (de ah, la obligacin
de publicar los informes de evaluacin) y hacer progresar los mtodos y la
deontologa de la evaluacin.
En 1988, el Consejo interministerial y el Consejo cientfico son suprimidos y
reemplazados por el Consejo Nacional de Evaluacin, cuyas atribuciones son, a la
vez, polticas y metodolgicas.
o
34
35
36
37
38
39
El contexto espaol
40
EnlaactualidadlaAEVALestintegradaenelMinisteriodePolticaTerritorialyAdministracinPblica(BOE
de4denoviembrede2010;Disposicinadicionalsexta).
41
Institucin de referencia
42
Qu evala la Agencia?
43
La metodologa para evaluar las polticas pblicas aplica una perspectiva abierta y
flexible en materia de modelos y tcnicas, superando cualquier forma de
dogmatismo metodolgico. Utiliza herramientas de las ciencias sociales
(cuantitativas y cualitativas) y tcnicas de la gerencia pblica.
La Agencia promueve las medidas oportunas con el fin de que se utilicen los
resultados de la evaluacin en la mejora y perfeccionamiento de las normas,
programas, planes o polticas pblicas.
44
45
o
o
46
La evaluacin detrae para su accin recursos pblicos y como tal deber dar
cuenta de la eficacia y resultados de su accin. Una eficacia que va ligada a cada
fase del proceso: anlisis del encargo, clara definicin del objeto de estudio y su
alcance, eleccin de la estrategia evaluativa ms eficiente para la obtencin de lo
que se requiere, actuacin responsable y solvencia profesional en el diseo
metodolgico, buena administracin de recursos y control de cualquier tipo de
despilfarro -en tiempo o gasto pblico. Una eficacia que ha de quedar plasmada,
tambin, en la calidad de sus informes.
Esta concepcin clsica y lineal, del ciclo de las intervenciones pblicas, presume
unos objetivos definidos de forma explcita, un actor nico y libre en la toma de
decisiones y una sucesin lineal entre cada etapa del ciclo. Desde esa concepcin, la
evaluacin sera la ltima fase de todo el ciclo y tendra un carcter retrospectivo,
entendindose como parte de un proceso de retroalimentacin para justificar las
decisiones relativas a las polticas o programas objeto de estudio.
Sin embargo, la realidad es bien distinta, las polticas estn sujetas a continuas
revisiones y los objetivos son, la mayor parte de las veces, confusos y ambiguos,
cuando no una declaracin de intenciones. Adems, no siempre quienes toman las
decisiones buscan la racionalidad tcnico-econmica, a menudo deben encontrar
soluciones socialmente aceptables o polticamente convenientes a los problemas que
tratan de resolver. Los intentos de buscar la racionalidad de un programa o poltica
olvidan en muchas ocasiones que las decisiones pblicas incluyen negociaciones
polticas y el resultado de la mediacin de diferentes grupos de inters o de
compromisos programticos.
La evaluacin no puede concebirse como un hecho aislado y final, sino como un
continuum que acompaa a todo el proceso, desde el momento de la planificacin
(evaluacin ex ante), a la fase de implementacin (evaluacin in intinerem o durante)
y a la verificacin de los resultados y efectos finales (evaluacin ex post). Porque, la
47
LA EVALUACIN
EN EL CICLO DE INTERVENCIN PBLICA
La evaluacin puede referirse tanto a los procesos de diseo, como de
implementacin, desarrollo y finalizacin de una intervencin pblica.
RESULTADOS
PLANIFICACIN
IMPLEMENTACIN
IMPACTO
PROBLEMAS
NECESIDADES
Ev. IMPACTO
NORMATIVO
INTERVENCIN
PBLICA
OBJETIVOS
Ev.
DIAGNSTICO
DISEO
Ex ante
DESTINATARIOS
INSTRUMENTOS
IMPLEMENTACIN
Ev.
IMPLEMENTACIN
Intermedia
SOCIEDAD
IMPACTOS
RESULTADOS
INTERMEDIOS
RESULTADOS
FINALES
Ev.
RESULTADOS
Ev.
IMPACTO
Ex post
48
POLTICAS PBLICAS
Despliegue(+Complejidad)
Decisiones
Actividades
Medidas
( Complejidad)
PROGRAMAS
PROYECTOS
SERVICIOS
PBLICOS
49
ello ha dado mayor relevancia a los contextos, a las estrategias comunes y a los
actores en juego, sin olvidar el peso de las organizaciones y los recursos.
En la evaluacin de polticas pblicas, tanto el proceso de formulacin como
el proceso de recogida de informacin y anlisis, as como el estudio de los
diferentes contextos y objetivos estratgicos son componentes que se examinan
para explicar sus resultados con la finalidad de prestar ayuda a la decisin.
La articulacin de las polticas suele realizarse, en un primer despliegue a
travs de Planes y en un despliegue ms detallado a travs de programas,
proyectos y hasta acciones pblicas que no alcanzan siempre un grado tan
estructurado de articulacin.
Cuando se habla de evaluacin de polticas pblicas resulta ineludible aludir al
nivel estratgico y decisor y al valor del impacto de la accin pblica. Las polticas
pblicas son el todo, pero el abordaje de evaluacin no es el mismo para el todo
que para las partes. Adems, el todo no es slo la suma de las partes, tiene,
asimismo, su propia lgica. Hay un ncleo comn para la evaluacin de todos
estos objetos en general el proceso es el mismo-, pero lo fundamental est,
precisamente, en cada una de sus peculiaridades: preguntas, criterios,
indicadores y recomendaciones.
Para ser coherente con el contexto de la buena gobernanza, los criterios de
evaluacin de las polticas pblicas debieran considerar en primer lugar sus
principios. La sintona con esos principios parece ineludible a la hora de valorar la
calidad de las polticas de los Estados en el microespacio europeo. Junto a esta
arquitectura de criterios se habrn de tener en cuenta aquellos relevantes en
funcin de las peculiaridades de cada intervencin (equidad, innovacin,
coordinacin administrativa).
o
50
51
evaluar el diseo y despliegue de las polticas que evaluar las organizaciones que
las ponen en marcha o evaluar la calidad de algunos de los servicios concretos
que prestan. Si bien todos estas acciones son parte de una cadena para juzgar la
calidad de las polticas pblicas conviene tener en cuenta los dos niveles que
distingue Dror de la accin pblica:
1) Funciones de orden superior: modificacin de las trayectorias colectivas
mediante decisiones que, en esencia, constituyen intervenciones en el
proceso histrico y son cualitativamente las ms trascendentes. Estas
acciones son especficas del ms alto nivel de gobierno y suelen plasmarse
en la formulacin y planificacin de las polticas pblicas.
Todas las acciones polticas abocadas a dirigir las transformaciones de las
sociedades y los gobiernos para su adaptacin a las nuevas realidades
pertenecen claramente a las funciones de orden superior.
2) Funciones de servicio, ejecucin y gestin de los gobiernos (tareas
de gestin).
Entre la fase de formulacin de las polticas pblicas y la de resultados se
encuentra una fase decisiva que es la implementacin. A esta fase del ciclo
de intervencin pblica le corresponden, por lo general, funciones gestoras,
ejecutoras y prestadoras de servicios, siendo la instancia mediadora la
administracin en todas sus esferas de gobierno: central, autonmica y
local. Estas funciones son cuantitativamente ms numerosas que las del
orden superior y estn ms prximas al servicio directo al ciudadano por lo
que suponen una forma de enjuiciamiento ms directa de la accin que se
recibe de los poderes pblicos.
Por consiguiente, la evaluacin de la implementacin de las polticas
pblicas resulta especialmente relevante en los resultados finales de las
polticas pblicas al proporcionar informacin sobre las posibles desviaciones
y dificultades que pueden darse entre la fase de concepcin y formulacin de
las polticas y la de su puesta en marcha.
Un captulo especial merece la evaluacin de las organizaciones y la
calidad de los servicios que prestan. Ambas se encuadran en un segmento
especfico de la accin pblica que se evala desde hace aos bajo el
enfoque de la gestin de calidad y que desde la perspectiva de un sistema
pblico de evaluacin es un subsistema integrado en el conjunto, con la
ventaja de tener, en este caso, una metodologa bastante consolidada
(modelos EFQM, CAF) 3 .
Evaluacin de programas
ParamayorconocimientosobreestosmodelosconsultarwebdeAEVAL.
52
Evaluacin de polticas
53
PROGRAMAS / PROYECTOS
(NIVEL ESTRATGICO)
(macro)
PROBLEMAS / ACTORES
OBJETIVOS / MEDIOS
54
macro, meso y micro de las polticas pblicas. Aunque algunos de ellos pueden
tener lmites confusos. Lo que hay que tener en cuenta es que su tratamiento
ser distinto en cuanto a preguntas a investigar, criterios, utilidad, necesidades
de informacin y, probablemente, tcnicas a aplicar y recomendaciones. La
diferencia entre todos estos elementos no siempre queda clara y ser el
evaluador preferentemente con los interlocutores implicados- quien llegue a
acotar la naturaleza y dimensiones del objeto a evaluar.
Sedefinencomosistemascomplejosaquellosquenopuedenserabarcadosporunanicaperspectiva.
Lossistemascomplejosemergentessonaquellosquenopuedenserexplicadostotalmentedeunaformamecnicayfuncional.Enellos,
alguno de los elementos presentan caractersticas que no se encuentran en los sistemas ordinarios complejos como individualidad, novedad,
reflexividad, efectos a largo plazo, incertidumbre e ignorancia, irreversibilidad de las acciones. El comportamiento de estos sistemas suele
implicardecisionesurgentesypresentarunnmeroelevadodeagentesinvolucrados.
55
56
Seguimiento o monitoreo
57
58
La investigacin
59
60
61
62
63
La evaluacin
experimental
La evaluacin
pragmtica
La evaluacin
econmica
La evaluacin
naturalista
64
El
El
El
El
El
mtodo
mtodo
mtodo
mtodo
mtodo
histrico
comparativo
crtico-racional
cuantitativo
cualitativo.
65
El tema fundamental que aqu nos ocupa, por lo que a evaluacin se refiere, ha
estado en relacin con las ltimas dos vas de acceso a la realidad: la cuantitativa y
la cualitativa que se corresponde con los mtodos inductivos y deductivos.
El debate sobre investigacin cualitativa y cuantitativa ha hecho correr mucha
tinta y se ha ligado a paradigmas enfrentados. Cada uno de estos tipos
metodolgicos tiene sus partidarios que, normalmente, son detractores de los otros
mtodos.
o
66
Investigacin cualitativa
Paradigma cualitativo
Mtodos/Tcnicas cuantitativas:
Mtodos/Tcnicas cualitativas:
Diseos experimentales y
Teora fundamentada en la realidad (grounded
cuasiexperimentales,
theory).
Investigacin por encuesta,
La investigacin histrica.
Cuestionarios estandarizados,
La investigacin fenomenolgica.
Registros estructurados de observacin,
Las historias de vida.
Tcnicas estadsticas de anlisis de
La investigacin-accin...
datos...
67
Otros enfoques:
68
69
70
SEGUNDA PARTE
CONCEPTOS BSICOS DE
EVALUACIN DE POLTICAS PBLICAS
71
72
DEFINICIONES DE EVALUACIN
o
73
Algunas de estas definiciones han quedado demasiado reducidas con el tiempo, otras
apuntan a aspectos interesantes para el futuro sin llegar a convencer a todos. La
mayora se sitan dentro del campo de la evaluacin de programas ms que de
polticas pblicas.
Se aporta una seleccin que ilustra algunos de los aspectos que el evaluador
deber tener en consideracin.
1950. Tyler: (Desde la perspectiva educativa) seala que la evaluacin de programas
es el proceso de determinar en qu medida los objetivos de un programa se han alcanzado.
Centrada en los objetivos. Responde a la pregunta Qu evaluar?
1967. Scriven: Evaluar supone la estimacin del mrito de un objeto.
Sucinta definicin que tiene el mrito de captar el significado bsico y natural del
trmino: diferenciar lo valioso de lo que no lo es. Deja sin aclarar tres extremos: Qu
supone mrito o valor, cmo habra de realizarse la estimacin y para qu habra de
hacerse?
1971. Franco: Evaluar es fijar el valor de una cosa, y para hacerlo se requiere de un
procedimiento mediante el cual se compara aquello a evaluar respecto de un criterio o patrn
determinado.
Introduce importantes novedades respecto a las anteriores: Cmo hacerlo y en base a
qu criterios de valor?
1972. Ban: Evaluar es formar un juicio acerca de una accin o de la concatenacin
de acciones para establecer si su concepcin y desarrollo corresponden a los objetivos
deseados. La evaluacin en el mbito pblico, implica la aplicacin de procedimientos
sistemticos y rigurosos de recogida de datos y de anlisis, pero diferencindose de sta en
que debe emitirse un juicio de valor sobre el objeto que se est evaluando, bien sea un
programa, una poltica determinada, una organizacin, sin olvidarnos que se pone especial
nfasis en los resultados y en la participacin de las partes interesadas.
Tiene en cuenta el continuum de la accin, el mtodo, el juicio de valor, los
diferentes objetos de estudio, el nfasis en los resultados y la consideracin de la
participacin de los actores implicados.
1980. Rutman: Supone el uso del mtodo cientfico en la medida de la implementacin
y de los resultados de polticas y programas.
Reconocimiento del mtodo cientfico en la gestin de resultados. No considera su
aplicacin en la fase de planificacin. Finalidad gerencial.
1982. Weiss: Evaluar es comparar los efectos de un programa con las metas que se
propuso alcanzar a fin de contribuir a la toma de decisiones subsiguientes acerca del mismo
y para mejorar as la programacin futura. Utilidad estratgica para los decisores
pblicos.
1987. Stufflebeam y Shinkfield: Recoger y analizar sistemticamente una informacin
que nos permita determinar el valor o mrito de algo.
Aade a la definicin de Scriven la sistematizacin en la recogida de
informacin.
1994. Valadez y Mamberger (Manual del Instituto de Desarrollo Econmico
Banco Mundial):
La evaluacin es una actividad gerencial externa y/o interna que analiza las relaciones
de los procesos y recursos con los resultados e impactos. Novedad: la referencia a
procesos e impactos. Funcin gerencial.
74
Dg BUdget
Juicio sobre las intervenciones segn sus resultados, impactos y necesidades que buscan
satisfacer (The Communication on Evaluation: SEC (2000) 1051)
Los propsitos principales son los siguientes:
75
76
77
78
79
MODOS DE INVESTIGACIN
1
ANLISIS TERICO
ANLISIS EMPRICO
ESTRUCTURA
TERICA DE
LA INTERVENCIN
OBSERVACIN
IN SITU
DE ACTIVIDADES DE
LA INTERVENCIN
80
EL JUICIO DE VALOR
81
TIPOLOGAS
Todo esto ha dado lugar a un buen nmero de tipologas que a veces llegan a
confundirse y a menudo se solapan. Alvira seala que se han recogido ms de 30
tipos o acepciones diferentes de evaluacin, aunque esa diversidad, segn el autor,
no es tanto real, como terminolgica, de manera que muchos tipos se confunden o
simplemente aaden pequeos matices a los ya existentes en un proceso evolutivo
de complementariedad y contraste.
Es importante clarificar este asunto porque el tipo de evaluacin a realizar estar
relacionado con las preguntas clave a las que se quiere dar respuesta, con los
objetivos que se marque el programa y con los criterios de valor a utilizar.
82
En
En
En
En
En
Evaluacin
Evaluacin
Evaluacin
Evaluacin
Evaluacin
Evaluacin
Evaluacin
Evaluacin
de necesidades.
de conceptualizacin o diseo de la poltica o programa.
de cobertura.
de evaluabilidad.
de implementacin.
de resultados.
de Impacto.
econmica.
Metaevaluacin.
estn
83
Entre una y otra cabe sealar un arco de perspectivas que se acercan o alejan de la
radicalidad de los extremos.
LA EVALUACIN CENTRADA EN LOS OBJETIVOS
Dentro de la trayectoria evolutiva de la evaluacin un jaln importante son los
aos 50 en los que surge la evaluacin por objetivos que ha constituido el paradigma
dominante hasta nuestros das. Aunque ya en los sesenta empieza a apuntar un
nuevo paradigma que surge de la crtica al racionalismo cientfico (Scriven 19671973), tardar aos en abrirse paso y convivir en condiciones de igualdad con el
anterior.
La premisa terica en la que se fundamenta el modelo clsico de la evaluacin
por objetivos es que los programas pblicos son diseados con el objeto de alcanzar
objetivos especficos y su xito puede ser determinado en funcin de la medida en
que se alcanzan los objetivos previstos.
El proceso de este modelo centrado en los objetivos es relativamente lineal y
sencillo:
84
puedan ser evaluados de esta forma tendr por tanto que cubrirse recurriendo a
otras formas alternativas de evaluacin.
LA EVALUACIN NATURALISTA / PLURALISTA O PARTICIPATIVA
Guba y Lincoln, (1987) formularon la alternativa ms radical al paradigma
clsico.
Para Guba y Lincoln no es posible la objetivad porque cualquier anlisis implica
que el observador interacta con lo observado. Para estos autores los conceptos de
causalidad, validez interna y validez externa, prestados de la investigacin bsica,
no son trasladables a la evaluacin (Mc Kelly, 1987).
Mc Kelly (1987) define la estrategia naturalista, por oposicin a la cientfica
clsica, en los siguientes trminos:
Utiliza personas como instrumentos de recogida de datos ms que instrumentos de
sondeo: utiliza el conocimiento intuitivo, con el objeto de reflejar de forma ms adecuada
el sistema de valores del investigador; utiliza metodologas cualitativas ms que
cuantitativas, muestreos selectivos ms que muestras aleatorias y representativas, lleva a
cabo anlisis de datos de carcter inductivo, utiliza teoras bien establecidas y no hiptesis
supuestamente sustantivas... (McKelly, 1987).
85
EVALUACIN ANALTICA: Intenta responder a cuestiones de tipo causaefecto. Requiere por tanto la utilizacin de modelos tericos y diseos de
investigacin adecuados para demostrar que las interpretaciones causales son
ciertas (Cohen y Franco, 1988).
86
conclusiva
de
EVALUACIN
RECAPITULATIVA,
SUMATIVA,
CONCLUSIVA
O
DE
RESULTADOS: Su propsito es proporcionar informacin necesaria para poder
hacer una valoracin global sobre los resultados de un programa y su utilidad
para tomar la determinacin de continuar con l o suspenderlo. En el caso de las
polticas puede servir para concluir sobre los logros en un determinado momento.
Requiere que haya pasado un intervalo suficiente de tiempo desde la adopcin
del programa, de forma que su organizacin y actividades hayan alcanzado una
cierta estabilidad. En la medida que el programa tenga unos objetivos claros y
medibles ser ms factible juzgar sus resultados.
La evaluacin conclusiva se corresponde, en cuanto a las cuestiones objeto
de investigacin con la evaluacin de resultados, de eficiencia y de impacto.
EVALUACIN FORMATIVA
O DE PROCESO
EVALUACIN RECAPITULATIVA,
SUMATIVA, CONCLUSIVA
O DE RESULTADOS
- EVALUACIN DE CONCEPTUALIZACIN
/NECESIDADES
- EVALUACIN DEL DISEO
- EVALUACIN DE LA IMPLEMENTACIN
- EVALUACIN DE RESULTADOS
- EVALUACIN DE IMPACTO
- EVALUACIN DE EFICIENCIA
87
LA EVALUACIN EX ANTE
Se lleva a cabo a medio camino entre el inicio del anlisis de las polticas
pblicas y el final de la implementacin cuando empiezan a producirse los
resultados. Esta evaluacin intermedia consiste en el anlisis crtico del conjunto
de datos recogidos sobre la intervencin y en la medicin de la forma en la que los
objetivos perseguidos estn siendo alcanzados, explicando las diferencias y
estimando anticipadamente los resultados finales de la intervencin. Las
evaluaciones intermedias aportan datos sobre la validez de la intervencin en
curso, la pertinencia de los objetivos considerados y la calidad del sistema de
gestin y seguimiento de la poltica o programa. Su objetivo principal es obtener
una informacin relevante y precisa que permita introducir las modificaciones
necesarias en el diseo o en la ejecucin de la intervencin.
Los sistemas de seguimiento son elementos inapreciables en la evaluacin de
implementacin, pero no deben confundirse con la evaluacin de implementacin
cuyo anlisis es algo mucho ms amplio y profundo. Se trata de una recogida de
informacin que analiza, tanto los propios sistemas de seguimiento y sus
indicadores como los procesos, las administraciones responsables del programa,
los recursos humanos o financieros, los posibles fallos organizativos o de gestin
en la calidad de los servicios y en la consecucin de los objetivos finales, a fin de
corregir sobre la marcha efectos adversos y desviaciones de la intervencin.
88
LA EVALUACIN EX POST
Evaluacin interna
Evaluacin externa
Evaluacin mixta
89
de necesidades.
del diseo/conceptualizacin del programa.
de la evaluabilidad.
de implementacin/proceso.
de seguimiento. (*)
de la cobertura.
de resultados.
de impacto.
econmica.
6 Alvira habla de Fases. Pero no deben tomarse como necesariamente sucesivas, se pueden
evaluar aisladamente. Slo se seguira una lgica sucesiva en el supuesto de una evaluacin integral.
90
EVALUACIN DE NECESIDADES
La evaluacin de diagnstico de necesidades es el primer paso racional en el
desarrollo de un programa o intervencin.
Tiene como objetivo analizar las caractersticas esenciales del problema que la
intervencin quiere solucionar y su importancia.
PROCESO DE ANLISIS DEL PROBLEMA, DIAGNSTICO DE NECESIDADES
Y ELECCIN DE ESTRATEGIA DE INTERVENCIN
CONDICIONES
SOCIALES O
HECHOS
PROBLEMA
SOCIAL
VALORES
SOCIALES
NECESIDADES
SOCIALES
SELECCIN DE
ESTRATEGIAS DE
INTERVENCIN:
POLTICA / PROGR.
HIPTESIS SOBRE
ETIOLOGA DEL
PROBLEMA
EVALUACIN DE
DIAGNSTICO O
NECESIDADES
Alvira, 1992
91
EVALUACIN DE EVALUABILIDAD
S. Wholey (1981) plante hace ya aos la necesidad de evaluar la evaluabilidad
de un programa como paso previo formalizado que evite gastos y esfuerzos
innecesarios. La experiencia evaluadora de otros pases ha puesto de relieve que
ms del 50% de los programas no son evaluables por tener problemas de
especificacin de objetivos, problemas de implementacin, problemas de aplicacin
de un conjunto coherente de actividades o todo ello conjuntamente. Esto hace que la
evaluabilidad no sea slo una herramienta operativa, inapreciable en la evaluacin
de programas, sino una tipologa esencial en la planificacin estratgica de la
evaluacin de polticas pblicas.
La evaluabilidad es un tipo de evaluacin de caractersticas particulares que se
aplica previamente a una evaluacin de gran envergadura para determinar si la
intervencin es evaluable, es decir, si sera eficaz evaluar en relacin a los
resultados que se prev obtener, si sera eficiente, en cuanto a los recursos
necesarios para obtener esos resultados y si sera viable respecto a los obstculos
detectados.
La evaluacin de evaluabilidad es una fase previa a la puesta en marcha de una
evaluacin de gran envergadura que se centra en comprobar y valorar todo aquello
que es medible e importante antes de iniciar una evaluacin ms profunda. Y se
trata de una evaluacin ex post respecto a la intervencin, no de una evaluacin ex
ante.
CARACTERSTICAS DE LA EVALUABILIDAD
Saca a la luz la calidad de la conceptualizacin del programa en la fase de
planificacin, analizando su diseo, necesidades y objetivos.
Cuanto mayor rigor haya observado el diseador del programa en la fase de
planificacin ms fcil ser comprobar su evaluabilidad.
Responde a una lgica sistemtica de abajo arriba, que a travs de relaciones de
causalidad ir reconstruyendo un proceso desde las acciones concretas del
programa y sus resultados hasta su fundamento y objetivos especficos.
Verifica la existencia y la accesibilidad a la informacin necesaria, en calidad y
cantidad, que permitira llevar a cabo la evaluacin. Si no hay datos suficientes o
los que hay no resultan relevantes la evaluabilidad desaconsejar la evaluacin.
Informa sobre la implicacin y disposicin del entorno gestor y responsable frente a
la posible evaluacin, constatando sus resistencias o colaboracin. En definitiva,
uno de los objetivos perseguidos con el anlisis de evaluabilidad es crear un clima
favorable, de cooperacin e interaccin entre evaluados y evaluadores para
facilitar la evaluacin.
Analiza la dotacin de recursos con los que se cuenta para la evaluacin.
Su pronstico puede realizarse en un tiempo relativamente corto.
Puede alcanzar una amplia utilizacin.
Resulta de gran eficacia para las Agencias evaluadoras, proponiendo los focos
ms tcticos para la planificacin 7 en evaluacin.
Paraunmayordetallesobreestatipologa,ver:Laevaluabilidad:deinstrumentodegestinaherramienta
estratgicaenlaevaluacindepolticaspblicas.PapelesdeEvaluacin7,ColeccindeAEVAL,2007Disponibleen
versinelectrnica:http://www.aeval.es
92
Ev. IMPLEMENTACION
Ev. de Cobertura
Ev. de Proceso
Ev. Desempeo/
Ev. Esfuerzo
Ev. de calidad de la
atencin.
Monitoreo
y Seguimiento
(no se considera
una evaluacin)
Ev. Productos o
Resultados Intermedios
Mayor inters puede tener otra cuestin, sta de tipo conceptual, sobre la que
llama la atencin la profesora Bustelo, compartida tambin por Alvira: Para realizar
una buena evaluacin de implementacin hay que identificar e investigar la Teora
93
EVALUACIN DE LA COBERTURA
Una intervencin consiste, esencialmente, en un conjunto de actividades a aplicar
a una poblacin objeto. Por tanto, un mtodo de evaluar la intervencin consiste en
analizar hasta qu punto llega a la poblacin destinataria.
Se trata no slo de calcular la tasa de cobertura el porcentaje de la poblacin
objeto afectada por el programa- sino, tambin, de analizar si existe sesgo en la
cobertura y efectuar un anlisis de las barreras y de la accesibilidad al programa.
A menudo, las intervenciones tienen problemas de infracobertura o sesgo, por lo
que resulta clave dentro de la evaluacin de la cobertura analizar: el conocimiento
del programa o poltica por parte de la poblacin destinataria, la accesibilidad fsica o
la aceptacin y receptividad.
94
EVALUACIN DE IMPACTO
95
impactos, sin duda los que afecten a la poblacin en general, pero, tambin, los que
afecten a la propia poblacin objeto de estudio que excedan los resultados previstos.
Lo aclara an ms el mismo autor: La evaluacin de impacto abarca todos los
efectos de la planificacin y ejecucin: especficos y globales, buscados (segn los
objetivos) o no; positivos, negativos o neutros; directos o indirectos.
Se tratar de ilustrar con un ejemplo una cuestin que suscita tantas
confusiones. En el caso de intervenciones para la incorporacin de jvenes
discapacitados al mundo laboral con un porcentaje limitado de discapacidad y por un
tiempo definido, se disea una intervencin con bonificaciones a las empresas. El
resultado es que aumenta el nmero de discapacitados contratados en esas
condiciones (Resultados positivos deseados), pero se observa que la mayora de los
discapacitados son fsicos y de un tipo de discapacidad (resultados no deseados en
la poblacin diana). Se constata, adems, que pasado el tiempo establecido en el
contrato no se produce integracin total de los discapacitados, pasando sus
contratos a indefinidos (impacto en la poblacin diana). Aadindose el hecho de
que han descendido en la zona las contrataciones a jvenes sin discapacidad
(impactos en la sociedad) porque los empresas buscan el beneficio de la
contratacin bonificada. Todo lo producido podramos considerarlo efectos de la
intervencin a tener en cuenta para el rediseo.
UTILIDAD DE LA EVALUACIN DE IMPACTO
Permite:
EVALUACIN ECONMICA
El conocimiento de la eficacia o impacto de una intervencin puede ser
insuficiente. A menudo, el impacto de una intervencin deber ser juzgado en
funcin de su coste ya que puede ocurrir perfectamente que un determinado
programa est produciendo unos resultados escasos para los costes en que ha
incurrido. Ello supone incluir el anlisis coste-eficacia o efectividad, el anlisis costebeneficio y el anlisis coste-utilidad dentro del mbito de la evaluacin. Estos
requieren una evaluacin de impacto previa, para determinar los beneficios causados
realmente por la intervencin.
La identificacin, cuantificacin y transformacin a una unidad comn de medida
de los costes y beneficios puede resultar problemtica cuando se trata de
96
intervenciones sociales, ya que no todos los outputs e inputs pueden ser valorados
en trminos monetaristas, cuestin que tiene mucho que ver con los criterios de
valor en las intervenciones pblicas.
LA METAEVALUACIN
97
EL DISEO DE LA EVALUACIN
98
tcticos y estratgicos es lo que se conoce modernamente como estrategia tericometodolgica, que abarca mucho ms que las cuestiones tcnicas y que dada la
complejidad de la realidad exige cada vez la complementariedad de perspectivas.
Cualquier estudio sobre el diseo de evaluacin se enfrentar con el debate de
las dos grandes corrientes metodolgicas que dominan la investigacin social:
cuantitativa y cualitativa.
La perspectiva cuantitativa prefiere utilizar como concepto clave proyecto ms
que diseo y cuando hablan de diseo es para contraponer el diseo tradicional o
convencional (cuantitativo) al diseo emergente (propio de la investigacin
cualitativa).
El concepto de diseo emergente, as como la clave de la flexibilidad del diseo
en estudios cualitativos aparece en Lincoln y Guba, Marshall y Rossman (1985),
quienes consideran crucial un plan de investigacin que incluya muchos de los
elementos de los planes tradicionales, pero reservndose el derecho a modificarlo
durante la recogida de datos.
La diferencia principal entre ambos diseos se halla, segn sus defensores, en la
especificidad del plan original de investigacin.
La informacin que se obtiene a lo largo del proceso de implementacin ha de ser
exacta, fiable y, sobre todo, vlida para detectar qu relacin existe entre la
situacin inicial de la intervencin y la que resulta despus de ella. Todo esto nos
sita frente al tema capital de los diseos cuantitativos: la validez. Existe un buen
nmero de estudios dedicados a este asunto (Campbell & Stanley, 1966; Cook &
Campbell, 1979; Brinberg & Kidder, 1982; Arnau, 1990; Vallejo, 1991; Martnez,
1995), llegndose a construir un autntico mapa de tipos de validez en el proceso de
investigacin (Brinberg & McGrath, 1982), en el que se diferencia,
fundamentalmente, entre validez interna y validez externa.
Por validez interna se entiende la capacidad de controlar las potenciales
explicaciones o hiptesis alternativas que pudieran afectar a los resultados de la
evaluacin. El evaluador que trabaje desde el enfoque cuantitativo tratar por todos
los medios de alcanzar la mayor validez interna en sus trabajos.
El objetivo esencial de un buen diseo de evaluacin de resultados bajo la
perspectiva cuantitativa girar en torno a los criterios que se establezcan para
controlar las posibles explicaciones alternativas.
El problema crtico que tratar de despejar la evaluacin a travs de la
elaboracin de su diseo es determinar si los resultados que produce el programa
podran haber ocurrido sin la intervencin de ste o si se deben a factores
combinados o de confusin, que enmascaran los resultados netos del programa. Por
eso, algunos autores distinguen entre resultados brutos y resultados netos.
Rossi y Freedman consideran que los factores de confusin o causas extraas
que afectan a los resultados brutos de una evaluacin deben tenerse en cuenta para
hablar de resultados netos que son los que podrn atribuirse a la intervencin, libre
de otras causas.
99
Para el diseo cuantitativo son elementos claves: los grupos, las caractersticas
de la propia intervencin, las mediciones y trabajar con diseos previos, calificados
como rgidos.
Por el contrario el diseo naturalista, por lo general, no se establece por completo
antes de empezar con el estudio, sino que emerge al tiempo que se recogen los
datos. Suele llevar a cabo un anlisis preliminar y luego va tomando forma con el
contexto.
Un investigador cualitativo prefiere que la teora emerja de los propios datos.
Esto incrementa su capacidad para comprender y quiz para concebir una
100
explicacin del fenmeno que sea consecuente con su aparicin. (Erlandson et al,
1993)
Patton (1990) tambin transmite el mensaje de que los diseos cualitativos
siguen siendo emergentes incluso despus de que comienza la recogida de datos.
Pero matiza, el grado de flexibilidad y apertura es, sin embargo, un asunto de gran
variacin entre diseos.
Simplificando, existiran dos tipos extremos de diseos en investigacin
sociolgica: el emergente y el proyectado. Los primeros surgen segn avanza el
estudio, los segundos se proyectan de antemano por el evaluador. Para el profesor
Valles no se tratara de polos opuestos, sino, ms bien, de un continuo entre ambos,
que iramos eligiendo segn el caso a aplicar. Ser la pericia del
investigador/evaluador la que orientar la utilizacin de un diseo u otro segn las
fases, el objeto de estudio o el anlisis a realizar.
El evaluador deber tener en cuenta, de partida, una serie de consideraciones
antes de comenzar con el diseo: factores de tiempo de entrega, oportunidad,
recursos econmicos y humanos de los que dispone, utilidad que persigue la
evaluacin e intereses de los solicitantes. Resuelto todo esto y orientado ms o
menos hacia un tipo de diseo, llevar a cabo un proceso sistemtico de toma de
decisiones y estrategias con el fin de verificar, a travs de una lgica inversa -se
partir de los resultados para comprobar todo lo dems-, si los resultados tienen
como causa el programa y si hay fallos, desvos o resultados imprevistos o no
deseados y por qu.
Comenzar su labor por la elaboracin de un marco terico, de inmediato tendr
que ocuparse de los problemas de medida que tiene toda investigacin social,
localizar y seleccionar los datos secundarios que considera necesarios para sus
anlisis y seleccionar tcnicas y herramientas para la obtencin de datos primarios
y para el tratamiento en general. Acabar interpretndolos y formulado sus
conclusiones en el Informe de evaluacin.
Para la elaboracin del marco terico deber identificar los objetivos, establecer
las preguntas, definir las hiptesis, seguir una lgica causal y considerar las
variables y los criterios por los que se va a regir el trabajo. Respecto a los problemas
de medida deber someter los datos a criterios de control que permitan aceptar su
validez y fiabilidad. Habr de barajar cuales sern las tcnicas ms adecuadas y las
estrategias de muestreo si incluye un estudio por encuesta. Finalmente, habr de
seleccionar las estrategias metodolgicas para que el tratamiento de la informacin
proporcione el mayor significado que le permita elaborar el informe con las
conclusiones y establecer el plan de implementacin de la evaluacin.
El consejo que da Valles, dentro del paradigma naturalista, es planificar siendo
flexible (1993).
Las estrategias sern distintas para cada diseo y para cada fase dentro del diseo. Por
eso, ste no podr ser nunca un modelo nico, sino que se moldea en cada situacin a
partir de los criterios maestros generadores de preguntas y respuestas.
101
TCNICAS
TCNICAS CUALITATIVAS
Entrevista estructurada
Encuesta
Tcnicas de autoinforme
Indicadores especficos: sociales,
econmicos, educacin, salud.
Datos de archivo sobre usuarios
Datos de archivo sobre poltica o
programa
102
Anlisis documental
Anlisis de polticas
Entrevista cualitativa
Grupos de discusin
Observacin
Observacin participante
Analizadores sociales
Mtodo Delphi
EL INFORME DE EVALUACIN
La redaccin del informe de evaluacin es una de los puntos clave que pondr a
prueba las dotes del evaluador. En general, deber tratar de dar unidad a los
distintos enfoques y participantes que hayan colaborado en la evaluacin.
Los informes de evaluacin deben posibilitar la comprensin de: 1) el objetivo de
la evaluacin; 2) la delimitacin exacta del objeto; 3) cmo ha sido planificado el
proceso evaluador y sus estrategias; 4) cules son los hechos constatados; 5) cules
las conclusiones extradas y 6) cules son las recomendaciones aconsejadas.
Por lo general, el informe se acompaar de un resumen ejecutivo, al considerar
que slo un pequeo nmero de destinatarios tendr inters en la lectura completa.
El informe de evaluacin se compone generalmente de:
o Exposicin sinttica sobre la intervencin evaluada: El informe se
iniciar con una exposicin de los objetivos y finalidades que persegua la
intervencin y una descripcin breve del contexto de implantacin. Se
recomienda fundamentar esta parte del informe tanto en elementos
cuantitativos (datos estadsticos ) como cualitativos, que describan de manera
clara la situacin que da origen a la intervencin (contexto socio-econmico,
necesidades identificadas, problemas emergentes, ...).
o
103
104
Conclusiones y recomendaciones.
Las recomendaciones van ms all de las respuestas a las preguntas
planteadas. Sugieren modificaciones o mejoras de la poltica o programa
evaluado. Pueden indicar a los comitentes elementos que estos no haban
tenido en cuenta, detectando cualquier relacin no esperada entre los diversos
elementos de la intervencin y los efectos imprevistos que merezcan atencin.
En la concepcin y la redaccin del informe, los evaluadores deben vigilar
la coherencia entre las explicaciones que dan y los juicios a los que llevan,
entre las constataciones y anlisis que hacen y las recomendaciones que
formulan.
Principales defectos a evitar
o
o
o
o
o
o
105
Principios a seguir
o
o
o
o
o
o
106
107
108
ANEXO 1
(Traducido de PALUMBO. Il processo di valutazione. Decidere, programmare,
valutare. 2001) (El proceso de evaluacin. Decidir, programar, evaluar.)
Positivistaexperimental
Los objetivos
Pragmtica-calidad
Autores:
Imn, Schuman;
Campbel; Rossi y
Freman; Chen
Scriven, Wholey,
Donabedian; la
tradicin del NPM
Preguntas:
Los resultados
corresponden a los
objetivos?
Los resultados
corresponden a criterios
de calidad?
Arriba abajo
Arriba abajo
Enfoque:
Vector de la
investigacin
Actitud hacia los
valores:
Teora
Mtodos
principales de
investigacin
Tcnicas
Cundo y dnde
se aplica
normalmente
mbito de
referencia:
Los estndares
Constructivista-procesos
sociales
Lo que los actores
sociales definen qu ha
sucedido
Stake, Guba y Lincoln,
Cronbach, Patton,
Fetterman, Hirschman,
Tendler
Qu ha sucedido? Lo que
ha sucedido es
consecuencia de la
intervencin?
Qu es y en qu consiste
el xito de una poltica?
Abajo arriba
Los valores son aquellos de
los stakeholders: a veces
en acuerdo y a veces en
conflicto.
- La realidad es ms rica de
lo que se puede
prever
- Importancia de los efectos
inesperados.
- Importancia del proceso.
-Anlisis comparativo.
- Exploracin
- Anlisis participativo
- Estudios de casos
- Entrevistas
- Focus groups
- Observacin
En los servicios
regulares (sanidad,
instrucciones, etc)
En la evaluacin
universitaria
En las cartas de servicios
(estndares de calidad)
En los programas de
reforma del sector pblico
En las situaciones
innovativas
En los proyectos piloto, etc
Administracin y
management de
programas
El contexto
Los actores crticos
109
Utilizacin
Problemas tericos
Problemas de
investigacin
emprica
Remedios
Ventajas
Instrumental para la
decisin poltica
Instrumental para la
gestin y el
funcionamiento de la
administracin
La caja negra: por qu - Qu es la calidad?
debera darnos este
- Cmo se forman los
resultado?
valores?
Qu otras cosas estn
influyendo
Cmo se fijan los
- Los objetivos no
estndares de calidad?
estn claros.
- No existen datos
- Anlisis de
evaluabilidad
- Evaluacin
taxonmica
- Mapa conceptual
- Evaluacin basada en
la teora: Weiss,
Toulemonde
Sirve para programar
mejor
Si no hay estndares de
calidad usar aquellos de
confrontacin con otras
realidades similares o bien
estndares del pasado del
programa.
Implicar a los usuarios en
la definicin de calidad
Sirve al buen
management
110
Cognoscitiva
Empowerment
Por dnde comenzar?
Dnde mirar?
- De dnde nace la
prctica reflexiva del
evaluador?
REVISTAS ESPECIALIZADAS
The American Journal of Evaluation.
Evaluation Review
Evaluation and Program Planning
Evaluation and the Health Profession
New Directions for Program Evaluation
Evaluation the International Journal of Theory
Evaluation Studies (Review Annual)
International Review of Administrative Sciences Politiques et
Management Public
Revue Internationale des Sciences Administratives
Revue Franaise dAdministration Publique
Gestin y Anlisis de Polticas Pblicas(GAPP)
Scienza dellAmministrazione
Revista espaola de Desarrollo y Cooperacin. Madrid, IUDC-UCM
Papeles de Evaluacin. AEVAL. Disponibles en www.aeval.es
111
112
BIBLIOGRAFA
113
114
115
116
Canadiense
Desarrollo
117
PEDONE, C.- El trabajo de campo y los mtodos cualitativos.- Scritpa Nova. Revista
electrnica de Geografa y Ciencias Sociales.- Universidad de Barcelona, n 57.
Febrero, 2000.
PPETIT GUIDE DE LEVALUATION DEL POLITIQUES PUBLIQUES.- Commissariat
Gnral du Plan. Rapports dvaluation, Conseil scientifique de levaluation. Le Plan.
UNICEF. Evaluacin democrtica. Oficina Regional para Amrica Latina y el Caribe.
Doc 3. Mayo, 1998
RAPPORT VIVERET, P. L valuation des politiques et des actions publiques, La
Documentation franaise. Paris. 1989
RAPPORT ANNUEL.- L valuation au service de lavenir. Conseil National de
lvaluation. France. 1999.
RAPPORT D INFORMATION .- Les enjeux du dveloppement de lvaluation des
politiques publiques. Snat. France., 2003-2004.
UNICEF. EVALUACIN DEMOCRTICA. Documento de trabajo n 3, de Marco
Segone. Oficina Regional para Amrica Latina y el Caribe. Mayo, 1998.
118