24 ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS e-valuacin

Algunos puntos sobre evaluacin

de polticas pblicas con especial
referencia al caso de las polticas
sociales1
Joan Subirats Humet. Instituto de Gobierno y Polticas Pblicas-Universidad
Autnoma de Barcelona

1. Podemos utilizar los instrumentos de evaluacin
como palanca de gobierno del sector pblico?.
Parecera absurdo plantearse una pregunta de
este tenor si no se quisiera simplemente enfatizar
retricamente la respuesta. La respuesta lgica
y razonable y que compartimos es: sin duda. Y
esa es la respuesta lgica y razonable porque los
parmetros dominantes en las labores de anlisis
crtico del funcionamiento de las administraciones
pblicas ponen precisamente el acento en la falta
de incorporacin de instrumentos de evaluacin en
sus prcticas habituales de gestin y gobierno, lo
que dificulta, se dice, su capacidad para mejorar la
actuacin de esas mismas administraciones. Lo curioso
es que la doctrina acadmica, las aportaciones del
mundo de la consultora y la propia reflexin interna
de los gestores pblicos parecen estar de acuerdo en
la necesidad-bondad de incorporar instrumentos de
evaluacin en las labores de gobierno y gestin de
las polticas y las administraciones pblicas, pero se
avanza muy poco en el tema. Una vez ms, tenemos
un notable gap entre consenso terico y prctica
poltico-administrativa. En esta ponencia se pretende
profundizar precisamente en ese gap, en los
motivos que explicaran-justificaran ese desajuste
entre teora y prctica, y proponer algunas vas de
avance.
2. Desde nuestro punto de vista, uno de los
problemas centrales con los que nos enfrentamos en
las estrategias dominantes de modernizacin de las
administraciones pblicas es que siguen partiendo
del paradigma que administracin y empresa se
parecen. Hay una parte de verdad en todo ello: si en
ambos casos existen objetivos, tienen que manejar
recursos, dirigen y son dirigidas por personas,
trabajan mediante procesos,..., por qu no acercar
mtodos de funcionamiento, organizacin y control?.
Pero ello no es suficiente. Despus de unos cuantos
aos de predominio de ese modelo de cambio en las
administraciones pblicas, y despus de constatar
sus positivos impactos en la mentalidad y la filosofa
de actuacin de algunas administraciones pblicas
(no tan significativamente en otras, como el caso de
las espaolas2), es hora de darnos cuentas tambin
de las diferencias. Como afirma Metcalfe3, ha llegado
el momento en que ya no basta imitar, es necesario
innovar.
Uno de los elementos centrales en la estrategia
empresarial es la capacidad de competir. Una
empresa competitiva es una empresa eficaz y
eficiente. En las administraciones pblicas la lgica de
actuacin se basa ms en la capacidad de trabajar en
la interdependencia que en la capacidad de competir.
Son excepcin las actuaciones administrativas
que puedan desarrollarse en plena independencia
de otros servicios u otras administraciones. Los
procedimientos formales o informales de cooperacin,
los procedimientos explcitos o implcitos de
coordinacin son determinantes para asegurar una
gestin eficaz. Como bien sabemos, es precisamente

1
Este texto reproduce parcialmente otros textos previos del mismo autor.

2
Para un balance del proceso de cambio en las administraciones pblicas espaolas ver: Gallego,R. Subirats,J., 1998, Podremos
sostenernos en Europa con una administracin sin renovar?, en Informe Espaa 1997, Fundacin Encuentro, pp. 269-334.

3
Les Metcalfe, 1993, Public Management: From Imitation to Innovation, en Kooiman (ed.), Modern Governance, SAGE, pp.173-
190.

SEE. Nmero 2 Noviembre 2006

e-valuacin ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS 25

de la constatacin de las
constantes interdependencias
en la gestin pblica de dnde
surgi toda la literatura que
puso de relieve las limitaciones
de la teora de la decisin
racional en su aplicacin al
contexto de las administraciones
pblicas (Lindblom, Wildavsky,
Landau,...). Las administraciones
pblicas trabajan en campos y
en sectores que les vienen en
muchos casos predeterminados
normativamente. No escogen los
mejores nichos de actividad.
Actan muchas veces de forma
contradictoria, ya que sirven a
intereses y clientelas tambin
contradictorias. Su labor, lejos
del ideal que expresa el concepto
de intereses generales 4 , se
enmarca en un entramado de
gran complejidad, lleno de actores, algunos de ellos
3. Ahora bien, al margen de estos primeros
elementos de reflexin, uno de los elementos
muy potentes, que manejan intereses contrapuestos.
centrales que deberamos tener en cuenta al introducir
En ese contexto, las administraciones pblicas no
mecanismos de evaluacin y de rendicin de cuentas
pueden jugar con la relativa facilidad que da el
en el funcionamiento de las administraciones pblicas
hecho de tener una orientacin inequvoca a una
es el saber si estamos tratando de evaluar temas que
nica cuenta de resultados basada en la obtencin
son propios del rea de gobierno o temas que son
de beneficios. Si en la empresa mercantil, eficacia
propios del rea de gestin. Sabemos perfectamente
y eficiencia tienden a confundirse, en el mundo de
que no hay nada ms difcil que disntingur con
las administraciones pblicas, no siempre ocurre as.
precisin ambas esferas, pero sabemos tambin
Equivocarse en ello significa muchas veces contribuir
que si confundimos absolutamente esos campos, se
a los bien conocidos fenmenos de la llamada
nos complicar muchsimo cualquier va de mejora e
seleccin adversa de la cual tenemos buenos
innovacin. Proponemos que se distinga, al menos
ejemplos en sanidad y educacin.
analticamente, entre lo que llamaramos tareas
de gestin y tareas de gobierno, y que se crucen
A pesar de todo, sabemos que no podemos esas tareas con los distintos mbitos de actuacin
admitir que exista una insuperable colusin entre de las administraciones, unos de mayor contenido
los principios de eficacia y legalidad, y por tanto operacional, otros de mayor contenido estratgico
hemos de trabajar de manera innovadora para ir (vid cuadro 1).
construyendo categoras que nos permitan atender
los valores que expresan ambos requerimientos,
Cuadro 1. Tareas y mbitos de actuacin de las
asegurando siempre la capacidad de rendir cuentas,
administraciones pblicas
la capacidad de mantener abiertos los controles que
Operacional Estratgico
eviten los abusos de poder. Una organizacin (aqu s,
pblica o no pblica) que mantenga su capacidad de Gestin 1 2
rendir cuentas, de ser transparente en su gestin, de Gobierno 3 4
evaluar su quehacer, ser una organizacin capaz de Fuente: elaboracin a partir de Metcalfe, L. Accountability
aprender tanto de sus aciertos como de sus errores. and effectiveness, Venice, 1998, mimeo

4
Vase Crozier, M.,1995, La posicin del Estado ante los otros actores, Gestin y Anlisis de Polticas Pblicas, nmero 2, pp.
93-100.

Noviembre 2006 SEE. Nmero 2

26 ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS
El cruce entre tareas de gestin, de carcter ms
interno, y mbito operacional (casilla 1), podramos
decir que genera el espacio tpico de los anlisis
preocupados por los valores de economa y eficiencia.
Es ese el espacio en el que opera la clsica labor de la
intervencin en muchas administraciones de nuestro
entorno, y es tambin el mbito en el que con
mayor intensidad se han movido las reformas que
se han nucleado en torno al concepto de new public
management. El espacio de gestin de contenido
ms estratgico (casilla 2), sera quel en el que
las variables que cuentan son las de la eficacia y la
gestin del cambio. Usando los conceptos puestas en
circulacin por Osborne y Gaebler, no se tratara slo
de remar (casilla 1) sino de timonear (casilla 2).
Las labores emblemticas seran las de adaptar las
operaciones a los problemas, anticipando desajustes
de la gestin. Sera este un campo que en nuestro
pas han venido ocupando o bien gestores con
capacidad directiva probada, o bien polticos que han
jugado y juegan ms en el campo de la gestin que
en el propio de la poltica y del gobierno.
El entorno de tareas de gobierno es un terreno
en el que se lidia sobre todo con el exterior de la
organizacin, dnde se juegan las grandes cuestiones
de la legitimacin poltica y social. Si esa labor se
cruza con el mbito ms estrictamente operacional
(casilla 3), nos encontraremos con lo que podramos
denominar labores de contramaestre, gobierno
de operaciones, y con funciones como contraste,
supervisin, control del gasto y de los recursos,
cautelas para evitar fraudes o corruptelas, etc. Es
este el terreno en el que acostumbramos a encontrar
los rganos de control de legalidad presupuestaria
y contable. El terreno menos explorado es el que
entrecruza gobierno y mbito estratgico (casilla 4).
Siguiendo la parbola martima que hemos venido
utilizando, sera el campo propio de la navegacin,
de las labores de capitana. Es aqu dnde debera
determinarse lo importante y significativo para cada
organizacin. Es ah donde se juega la legitimidad
de los objetivos de las administraciones pblicas.
Sin llenar ese espacio faltan criterios de consistencia
para poder emprender una labor evaluadora seria.
Sin carta de navegacin, ni remar ni timonear tiene
demasiado sentido, y el control de los controladores
pierde significacin.
4. Siguiendo esa lnea de reflexin iniciada,
podemos suponer que sera posible ir ms all
SEE. Nmero 2
e-valuacin
del campo estrictamente operacional en el que
ha acostumbrado a refugiarse el New Public
Management. Los mecanismos de control, de
rendicin de cuentas podran contribuir a ir llenando
de contenido ese componente estratgico de la
gobernacin de los asuntos y la gestin pblicas.
Muchas de los interrogantes que el NPM plantea
(es bueno o no separar contratador y proveedor?,
es mejor crear agencias o mantener sistemas
centralizados de provisin de servicios?, ventajas e
inconvenientes del uso de contratos e indicadores?,
es posible insistir en eficiencia sin erosionar la
equidad o provocar fenmenos de seleccin adversa?,
deben generalizarse los mecanismos de copago?...),
podran encontrar vas de respuesta ms integrada
si se plantean en un contexto no slo operacional,
sino tambin estratgico y de gobernacin general
del sistema. Y para ello puede ser muy importante
distinguir entre distintos tipos de organizacin,
distintos tipos de tareas y distintos tipos de usuario.
Por mucho que las tendencias encuadradas en la
nueva gestin pblica hayan generado efectos
positivos usando el trmino cliente como
contrapunto radical a las tradicionales definiciones
de administrado o sbdito, lo cierto es que
la generalizacin de ese concepto de cliente y
lo que lleva aparejado sin tener en cuenta las
distintas relaciones y estructuras de poder que
conllevan los disntintos marcos de actuacin de las
administraciones pblicas, puede acabar produciendo
ms confusin y efectos contraproducentes que
resultados positivos.
Las distintas administraciones pblicas intervienen en
muy distintos campos y prestan multitud de servicios
de muy diverso tipo. Esas interacciones generan
relaciones entre las partes que se acercaran a lo que
podramos calificar como diversos tipos ideales (ver
Cuadro 2).
Cuadro 2. Tipos de relacin y tipos de poder en juego
en distintas formas de interaccin administracin-
ciudadanos
Sujeto Usuario Cliente Ciudadano
Administrador Proveedor Profesional Representacin
Influencia
Jerarqua Intercambio Expertise
legitimacin
Fuente: elaboracin a partir de Metcalfe, L.
effectiveness, Venice, 1998, mimeo
Accountability and
Noviembre 2006
e-valuacin ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS 27

En unos casos predomina la

clsica relacin administracin-
sujeto (tpica de una
administracin bsicamente
reguladora, inspectora y
sancionadora); en otros casos
esa relacin se acerca a la que
se da en la esfera mercantil entre
usuario y proveedor (cuando
la administracin simplemente
suple o acta como prestadora
de servicios o bienes que podran
tener como protagonistas
tambin a empresas y usuarios);
encontramos asimismo la relacin
caracterstica que se da entre
clientes y profesionales (esencial
en servicios como sanidad
y educacin); y finalmente
detectamos la que ms se
acerca al mundo de la poltica
y la democracia representativa: valores que se esconden en otros tipos de relacin
la que se da entre ciudadanos en general y sus tambin presentes (las propias de la corporacin
representantes polticos (cuando estos ltimos de profesores, o las especficas de la universidad
canalizan intereses o valores). como institucin representativa y ciudadana), las
tensiones y distorsiones que provocaremos sern
monumentales.
En cada una de esas relaciones podemos afirmar que
se dan relaciones de poder o de influencia que tienen
caractersticas especficas. Jerarqua, intercambio No podemos pues simplificar, ni tratar de reducir la
mercantil, expertise, o influencia-legitimacin, complejidad presente en la actuacin de la mayora
se dan en cada caso de manera predominante. de administraciones pblicas, usando como nico
Deberemos ir con sumo cuidado para evitar aplicar parmetro de evaluacin y de mecanismos de
de manera indiferenciada unos mismos parmetros rendicin de cuentas el que encierra la lgica de
de control o unos mismos mecanismos de rendicin intercambio, competencia y eficiencia, que tan
de cuentas a interrelaciones basadas en lgicas buenos resultados ha dado en el mundo de la
muy distintas. O simplemente acabar confundiendo iniciativa mercantil, dnde la complejidad ha sido
esas distintas relaciones y esas distintas posiciones hasta ahora mucho menor5. Es absurdo buscar
de poder o de influencia con indicadores no relaciones de cliente dnde no las hay, cmo es
pensados especficamente para recoger los distintos absurdo tratar de construir sistemas de concurrencia
valores que se encierran en cada situacin. Si, por dando alternativas de exit a los ciudadanos cuando
ejemplo, en una universidad (dnde podramos quizs lo que se busca es hacer ms operativa e
encontrar los cuatro tipos de relacin y de poder influyente la opcin voice (usando las conocidas
mencionados) primamos de manera casi exclusiva expresiones de Hirschman6).
el control y la evaluacin de resultados desde una
lgica, por ejemplo, mercantil o de intercambio,
5. Si lo que nos interesa es examinar la eficacia
y marginamos o ignoramos en la prctica otros
de las organizaciones pblicas, deberamos poner

5
Lo cierto es que tambin en el mundo de las empresas privadas se da una creciente importancia a cuestiones como los balances
ecolgicos, los balances sociales, como forma de complementar y aumentar el valor aadido de unas empresas que tendan slo
a ser vistas como productoras de plusvala. Pero, a pesar de ello, contina siendo cierto que ser la cuenta de resultados la que
acabar determinando finalmente la buena o mala marcha de la entidad.

6
Hirschman, A.O., 1970, Exit, Voice and Loyalty, Harvard University Press, Cambridge (Ma)

Noviembre 2006 SEE. Nmero 2

28 ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS
atencin en el tipo y la calidad de las interrelaciones
entre esas organizaciones pblicas y el exterior de
las mismas, ya que si slo nos dedicamos a examinar
las componentes internas del funcionamiento de
tales organizaciones, lo mximo que conseguiremos
ser avanzar en la evaluacin de su eficiencia
y del grado de cumplimiento de las previsiones
procedimentales.
Hemos de ser conscientes que sin mecanismos
potentes de rendicin de cuentas la legitimidad de
las administraciones pblicas no ser posible, y
ello deteriora la base misma de existencia de esas
administraciones. Las administraciones pblicas
ostentan poder, tienen capacidad de accin, en
tanto y en cuanto mantienen su capacidad de rendir
cuentas, de ser accountables frente a la ciudadana,
de seguir siendo legtimas.
Hace unas dcadas las administraciones pblicas
estaban sometidas al escrutinio pblico desde una
base o desde unos parmetros que respondan
esencialmente a la voluntad de evitar deslizamientos
o abusos de poder. El nfasis se situaba en el impedir
o reducir las posibilidades de tales excesos. Todo
aquello que implicara apartarse del camino previsto,
de lo definido previamente, era interpretado como
una puerta abierta a posibles extralimitaciones. En
estos momentos, junto con el mantenimiento de la
demanda de evitar esos posibles abusos, existe una
clara preocupacin (expresada constitucionalmente
en Espaa por el artculo 9.2, y por su habilitacin
intervencionista7) para que las administraciones
pblicas sean eficaces, consigan resultados, trabajen
para construir polticas que favorezcan la plena
igualdad y libertad. El problema es que si bien en
el primero de los supuestos (el ms clsicamente
Cuadro 3. Tipos de organizacin, tipos de poder y tipos de control
Autoridad Intercambio
jerrquica
Valores y Ejercicio de Inters propio, ganancias
normas responsabilidad mutuas
administrativa
Controles Apelacin a Competencia entre
estructurales autoridades proveedores
externas
Fuente: elaboracin a partir de Metcalfe, L. Accountability and effectiveness, Venice, 1998, mimeo
7
Corresponde a los poderes pblicos promover las condiciones para que la libertad y la igualdad del individuo y de los grupos en
los que se integra sean reales y efectivas; remover los obstculos que impiden o dificultan su plenitud y facilitar la participacin
de todos los ciudadanos en la vida poltica, econmica, cultural y social. Art.9.2 Constitucin Espaola 1979.
SEE. Nmero 2
e-valuacin
liberal), el de evitar extralimitaciones en la accin
pblica, la estructuracin y operacionalizacin de
mecanismos de control se ha hecho sistemtica y
concienzudamente, no ha ocurrido lo mismo en el
segundo de los campos mencionado (el que deriva
de una lgica ms socializadora). Y si no existen o
no se han construido criterios claros de eficacia que
recojan ambos supuestos, lo que ocurre es que existe
informacin sesgda (estrictamente sobre la legalidad
en la actuacin administrativa), desorientacin sobre
si se sigue el camino constitucionalmente previsto, y
no se reciben seales consistentes sobre los logros
polticos y sociales conseguidos.
6. Diferentes tipos de organizacin, con diferentes
tipos de relacin y de poder en su seno, deberan
generar diferentes tipos de control estructural (ver
cuadro 3). En determinados casos (por ejemplo,
en las organizaciones ms basadas en las reglas
del intercambio y de la influencia), se dar mucha
ms importancia a la capacidad de dar respuesta
a las demandas externas a la propia organizacin,
que cuando se trate de otro tipo de organizaciones
ms orientadas hacia el interior (las basadas, por
ejemplo, en la expertise o incluso en la jerarqua).
Por tanto, desde mi punto de vista no se trata
tanto de ofrecer pautas generales y universales de
rendicin de cuentas y de evaluacin, sino ms bien
el entender y diferenciar las diferentes perspectivas
que pueden existir entre organizaciones, o en una
misma organizacin, y segmentar y establecer
parmetros adecuados de evaluacin y de control.
Hasta ahora, en las administraciones pblicas se
ha restringido mucho esa lgica diferenciadora
Autoridad basada en Influencia
expertise
Compromiso profesional Consenso, solidaridad y participacin
con el cliente
Evaluacin del Control democrtico de los
rendimiento basada en representan-tes
los pares
Noviembre 2006
e-valuacin ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS
que, entiendo, sera capaz de revelar muchas ms
dimensiones de valor. Ha primado siempre la lgica
ms fundacional, la clsica visin liberal, en la que
lo primaba por encima de todo el cumplimiento de la
legalidad. Hemos de recordar que esa visin parta
de una profunda desconfianza sobre la actuacin de
los poderes pblicos, sobre los que pesaba la pesada
sospecha de su constante tendencia a extralimitarse
en el ejercicio de sus poderes. No pretendemos
decir que esa perspectiva no sea importante.
Tratamos simplemente de sealar que existen otras
perspectivas tan significativas como esta, y que
la propia (nueva) legalidad constitucional recoge
(como hemos visto en el caso de Espaa en nuestra
referencia al artculo 9.2 CE).
En este sentido, los Tribunales de Cuentas (o
Controloras), que han ejercido hasta ahora una labor
positiva desde una perspectiva analtica determinada,
o bien deberan trabajar (con los cambios
institucionales y de personal necesarios) para ir
ofreciendo instrumentos de control y evaluacin que
permitiera a los organismos representativos de que
dependen el disponer de parmetros fiables para
cada tipo de organizacin y de prestacin especfico,
o bien su labor debera ser complementada con otros
organismos o mecanismos que permitiera recoger
la medicin de valor obtenido por la labor de las
administraciones pblicas que no puede ser reducido
simplemente a cumplimiento de legalidad. No darse
cuenta de ello slo ir produciendo confusin y
frustracin, ya que se demandarn resultados
a la labor de esos organismos que no estan en
condiciones de dar.
Noviembre 2006
29
La riqueza y pluralidad de
perspectivas y valores que hemos
querido presentar, exigen, desde
nuestro punto de vista, tratar de
responder a la pregunta que abre
esta texto desde una perspectiva
plural. La respuesta sigue siendo
positiva. Los instrumentos de
evaluacin pueden ser usados
como palancas de gobierno, con la
condicin de que esos instrumentos
de evaluacin sepan recoger la
riqueza de matices y de perspectivas
que toda accin de gobierno
genera. Una de esas perspectivas
es la legal. La que examina si
la accin gubernamental se ha
desarrollado segn lo previsto por
las previsiones legales al respecto.
Pero deberamos ser capaces de
responder a otras preguntas. Podra haberlo hecho
de manera ms eficiente y eficaz una organizacin
no pblica?. Se perderan con ello valores que no
se recogen en un simple anlisis coste-beneficio?.
Pero, asimismo, podramos preguntarnos si la
labor desempeada responde a los parmetros
corporativos y profesionales que estn en la base
de ese servicio o prestacin. La calidad del servicio
se calibra aqu no slo en base a las previsiones
normativas o a la relacin coste-beneficio, sino en
aquellos indicadores que el conunto deprofesionales
de ese mbito entiende como bsicos para poder
refereirse al servicio como de calidad.
Pero, las administraciones pblicas democraticas no
pueden nunca olvidar que su poder esta condicionado,
es indirecto. Su capacidad de actuacin, su propia
razn de ser deriva de que logren mantener su
legitimidad, su influencia sobre el conjunto de la
ciudadania. Una ciudadana que siga entendiendo que
esas administraciones son sus administraciones. Y
para ello los valores que inspiran esa capacidad de
influencia son (muchas veces) distintos de los que
influyen para decir que una organizacin es eficiente
o competitiva. El hecho que la actuacin de unas
administraciones sea solidaria con aquellos sectores
o mbitos territoriales que no disponen de recursos
suficientes para alcanzar una calidad de vida digna;
el hecho que los individuos y los grupos en que
se integran (art. 9.2 CE) puedan participar de
manera efectiva en el diseo y puesta en prctica
de las decisiones y polticas pblicas, acaba sin duda
influyendo en la percepcin sobre la legitimidad de la
actuacin de unos poderes pblicos que han situado a
SEE. Nmero 2
30 ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS
la participacin democrtica entre uno de sus valores
fundamentales; o la sensacin que las decisiones del
ejecutivo responden mayoritariamente a la voluntad
de la ciudadana (y no totalmente al contrario, como
ocurri hace pocos meses en el caso de Espaa y la
posicin de su gobierno ante el conflicto de Irak);
son todos ellos parmetros que sin duda influyen
en la evaluacin de la actuacin de los poderes
pblicos, y que hemos de reconocer que quedan
lejos de parmetros estrictamente de eficiencia o de
cumplimiento de la legalidad.
Es por tanto poco eficiente tratar de reducir el
debate sobre la evaluacin de las administraciones
pblicas a un mero ejercicio tcnico sobre cules
son los indicadores oportunos, o cual debera ser
el rgano tcnicamente ms adecuado para realizar
esa labor. No podemos pues reducir la complejidad
de la actuacin de los poderes pblicos y su amplia
gama de criterios sobre los que basar la calidad
(y calidez) de su actuacin a un problema de
traslacin de las dinmicas que han funcionado y
en parte siguen funcionando en el mbito mercantil
cuando se trata de evaluar su actuacin. Hemos de
trabajar en esa complejidad y pluralizar mtodos y
protagonismos.
8
Ver al respecto el volumen que recoge el trabajo colectivo del IGOP en el tema, Pobreza y Exclusin social.Un anlisis de
la realidad espaola y europea, Joan Subirats (dir.), Estudios Sociales n.16, Fundacin La Caixa, Barcelona, 2004, disponible
totalmente en PDF en www.estudios.lacaixa.es, estudios sociales n.16., y la bibliografa que lo acompaa.
SEE. Nmero 2
e-valuacin
En definitiva, el debate sobre el
papel y los resultados de la accin
pblica no se sita hoy ya slo en
el cmo hacer las cosas, sino que
exige contar con instrumentos que
permitan responder asimismo a las
preguntas de qu deben ocuparse
los poderes pblicos y de quin
mejor puede ofrecer resultados
eficaces y eficientes a esas
demandas sociales canalizadas por
esos poderes representativos.
7. Sirve todo lo que hemos
dicho hasta aqu para cualquier
poltica pblica?. Sirve para las
polticas sociales?. Cada poltica
pblica tiene caractersticas
especficas, y un buen proceso de
evaluacin debera tener en cuenta
esas especificidades. Pero, en el
caso de las polticas sociales, ello es especialmente
significativo. No creo que sea necesario dedicar
un gran espacio para argumentar y justificar las
especiales dificultades que genera la evaluacin de
polticas sociales y ms en concreto la evaluacin de
polticas de lucha contra la pobreza y a favor de la
inclusin social.
En esta parte del artculo trataremos de explorar
las aproximaciones que permitan evaluar el grado de
consecucin en los objetivos de inclusin social de
las polticas que se han ido poniendo en marcha en
Espaa y Europa. Como sabemos8, la exclusin social
tiene componentes de multidimensionalidad y de
trayectorias personales y colectivas muy especficas.
Ello aumenta la complejidad presente en toda
evaluacin de resultados y de consecucin de valor
por parte de la actuacin de los poderes pblicos y
otros agentes. La puesta en marcha de planes de
inclusin social desde el 2001 en toda Europa, puede
permitir un primer balance crtico.
Como avanzbamos, las polticas sociales
acostumbran a ser polticas mucho ms complicadas
de evaluar que otras. De entrada, porque tienen
perfiles, normalmente, poco concretos. Es
Noviembre 2006
e-valuacin ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS 31

decir, la definicin de objetivos acostumbra a cambios en los elementos conceptuales, sustantivos

ser relativamente abstracta, acostumbra a ser y operativos con que esa poltica ha de desarrollarse,
relativamente ambigua, ya que, por otro lado, este y evidentemente evaluarse.
tipo de ambigedad y de generalidad en la definicin
de objetivos favorece la obtencin de consenso
en relacin con estas polticas. Por lo tanto, no se
8. Por otro lado, la evaluacin de polticas
de inclusin, choca con otros elementos ms
trata de vituperar o menospreciar la forma en que
generales. Como sabemos, a la propia dificultad
estas polticas definen sus objetivos, sino tratar
en definir este tipo de polticas, cabe aadir la
de comprender el marco cognitivo, el entramado
multiplicidad de objetivos que acostumbran a
institucional y social que rodea la formulacin de
rodear este tipo de decisiones. Objetivos mltiples
estas polticas, para entender as su complejidad
(por ejemplo: mejorar la formacin acadmica, las
y las dificultades que puede generar su evaluacin
condiciones de salud, la integracin familiar, las
desde las distintas perspectivas de las instituciones
redes relacionales,...), a veces contradictorios (por
implicadas, los beneficiarios reales y potenciales y el
ejemplo: incrementar el nivel formativo sin dejar
resto de actores implicados en la poltica o actuacin
fuera a nadie; conseguir empleo para todos pero
en concreto. Adems, la propia Unin Europea en su
mejorando al mismo tiempo la competitividad,...),
afn, probablemente correcto, de buscar no tanto el
y por tanto difcilmente evaluables con una misma
medio comn denominador de las polticas que se
gama de parmetros. Por otro lado, muchas veces
llevan a cabo en los distintos pases miembros, sino
las instituciones financiadoras estn muy imbudas
el incentivar procesos de innovacin en un campo
de una lgica econmica que tiende a considerar
tan complejo como el de las polticas de inclusin,
como unvocos conceptos como coste o beneficio.
ha introducido nuevos factores de complejidad en la
Y, como sabemos, coste y beneficio son conceptos
evaluacin de tales iniciativas. En efecto, no es fcil
que estn sujetos (o deberan estar sujetos) a un
encontrar parmetros relativamente estndares,
intenso debate social y poltico, desde las distintas
probados anteriormente, para evaluar estas
perspectivas, situaciones y posicin en la distribucin
polticas, cuando lo que predomina es un proceso
de recursos.
de coordinacin abierta que quiere ser respetuoso
con la diversidad de situaciones de partida de cada
pas en materia social (desde la tradicin sueca Tambin es importante resear la contradiccin
hasta la mediterrnea, por poner un ejemplo), y existente entre los motivos que impulsaron la
con las grandes diferencias entre pases en cuanto a creacin de la poltica, motivos que tienden a ser
prioridades y situaciones de exclusin9. complejos y fruto de un proceso para nada lineal, y
la necesidad de contar con indicadores sencillos que
rpidamente den respuesta sobre los resultados y
Pongamos un ejemplo derivado de las polticas de
los impactos conseguidos (a costa muchas veces de
desarrollo econmico local que se llevaron a cabo hace
reducir las complejidades inherentes a la formulacin
unos aos en la Unin Europea, basadas en la nueva
de la poltica, sin que exista adems tradicin
idea de los yacimientos de empleo. Con ello se pona
consolidada sobre como evaluar este tipo de
el nfasis en la necesidad de encontrar nuevos filones
nuevas polticas). Es decir, podemos tener polticas
o vetas de ocupacin que hasta entonces hubieran
innovadoras, relativamente complejas tanto en su
sido poco explotadas. Ese nuevo concepto precisaba
formulacin como en su articulacin (con diversidad
ser comprendido por parte de los distintos actores
y multiplicidad de objetivos), e indicadores y
institucionales, los agentes sociales, los consultores
procesos de evaluacin relativamente pobres,
y los gestores pblicos. Y, lgicamente se necesitaba
muy condicionados por dinmicas de justificacin
ms tiempo an para construir indicadores que
del gasto y de explicitacin de resultados, sujetos
lograran distinguir entre lo que es un yacimiento
adems a calendarios polticos y administrativos no
real, de lo que es simplemente una nueva forma de
siempre coincidentes con el ciclo de vida y desarrollo
subvencionar a los sin empleo. Por tanto, no existe
de las polticas.
una total automaticidad entre innovacin en polticas
y capacidad de evaluar esas mismas polticas, ya
que toda poltica realmente innovadora implica

9
Slo recientemente se habla de empezar a sincronizar las polticas sociales de los distintos pases miembros.

Noviembre 2006 SEE. Nmero 2

32 ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS
Por todo ello, no es inhabitual que los indicadores
acostumbren a ser relativamente insuficientes o
excesivamente simples en relacin a la complejidad
de la poltica. Lo cual nos indica ya la necesidad de
combinar metodologas hard y soft en el abordaje
de los procesos de evaluacin de las polticas
de inclusin social. Ya que si utilizamos slo
aproximaciones cuantitativas conseguiremos un
resultado que tender a ser claramente ms pobre
que el que obtendramos asumiendo el principio que
en polticas complejas, evaluaciones complejas.
9. Por otro lado, hemos de ser conscientes que
la visin desde el territorio afectado por la
intervencin pblica, tanto sobre la formulacin de
la poltica como sobre su proceso de evaluacin,
acostumbra a ser relativamente escptico. Sobre
todo cuando la formulacin general de la poltica y sus
bases conceptuales se hacen muy lejos del lugar en
que deber operativizarse esa poltica. No es extrao
percibir la sensacin en los territorios, que ms que
una poltica pensada para resolver problemas, se
disponen de soluciones en busca de problemas. Y
como ello viene acompaado de recursos, lo normal
no es rechazar esa poltica por extempornea y
retrica, sino adaptarse creativamente a la misma,
tratando de acercar lo que se ha decidido desde
lejos y lo que es la realidad concreta del territorio,
para obtener as los recursos que se requieren para
aquello que se considera prioritario.
SEE. Nmero 2
e-valuacin
Se ha de tener en cuenta
asimismo que muchas veces
en los procesos de evaluacin
coinciden distintos objetivos
o metas. Por un lado
encontramos la necesidad
por parte de los actores en
el territorio de responder
a lo que las exigencias
de la Comisin Europea u
otra instancia financiadora
plantea. Es decir, se han de
rendir cuentas, y se ha de
hacer de una cierta forma.
Y por otro lado, la necesidad
de avanzar en procesos
de aprendizaje del propio
territorio y de los actores
implicados en relacin a
esas polticas que son en
muchos casos innovadoras.
Ya que plantean procesos
de colaboracin entre
actores de distintos niveles de gobierno y de diverso
estatuto formal, donde no hay costumbre ni tradicin
de hacerlo. Por ello no deberamos confundir la
relativa pobreza de ciertos resultados de los
procesos de evaluacin que llegan, por ejemplo,
a Bruselas, despus de un proceso de evaluacin
hecho de abajo a arriba, pero realizado para cumplir
los parmetros necesarios de accountability que
estn reglamentariamente previstos, con la posible
riqueza de desarrollo de una evaluacin ms real
y ms til que muchas veces puede llegar a
producirse en el territorio. Dnde ponemos el
nfasis, en el anlisis del cumplimiento formal, o
en el proceso de aprendizaje?. La mejor respuesta
es obviamente tratar de cumplir con ambos
parmetros, ya que responden a valores y lgicas
distintas, pero igualmente pertinentes. Lo peor, no
obstante, es confundir y mezclar ambas lgicas y
ambos requerimientos. Ya que nuestra experiencia
nos indica, que muchas veces lo que es valioso
desde una lgica, no lo es tanto en la otra. Y al
revs. Pero, es evidente que si el proyecto incorpora
un requerimiento formal de evaluacin, no debe
menospreciarse o tomarlo como una obligacin sin
valor aadido alguno. Ese proceso formal puede ser
y debe ser aprovechado para conseguir mecanismos
de respuesta y seales concretas sobre el proceso
de implementacin, sobre desviacin de objetivos,
sobre relaciones gestin-resultados, aspectos todos
ellos que pueden ser perfectamente aprovechables
en secuencias posteriores.
Noviembre 2006
e-valuacin ALGUNOS PUNTOS SOBRE EVALUACIN DE POLTICAS PBLICAS
10. A pesar de todo, la sensacin es que la
evaluacin que incorpore el anlisis de los elementos
procesuales, acaba teniendo mejores impactos
en los procesos de mejora e implementacin
posteriores. Las polticas de inclusin social tienen
casi siempre fuertes elementos de innovacin, de
adaptacin creativa a situaciones heterogneas y
no estandarizables a priori, y precisamente por ello
los elementos de proceso son muy significativos. No
debera pues extraarnos que las evaluaciones que
tienen en cuenta estos elementos de proceso puedan
llegar a ser notablemente ms potentes y tiles
que las que se centran exclusivamente en el tema
resultados.
No podemos tampoco dejar se sealar la aparente
contradiccin entre las obligaciones formales
que rodean los procesos de evaluacin de polticas
sociales vinculadas a dinmicas europeas, y su
utilidad prctica. En efecto, muchas veces los propios
gestores de los proyectos asumen la evaluacin
del proyecto como una carga burocrtica ms que
imponen los financiadores, sin que las contrapartidas
sean evidentes. La experiencia tiende a demostrar
que si la evaluacin se realiza con seriedad, y con los
requerimientos profesionales necesarios, trasciende
el mero cumplimiento de la formalidad prevista
y retorna valor a los decisores y gestores del
proyecto, ayudando a definir en el futuro mejor los
objetivos, y facilita el pensar desde un principio en los
indicadores que sern necesarios generar e introducir.
Lo cual en un campo como el de las polticas sociales
no es para nada irrelevante, dada la poca costumbre
de pensar en trminos de indicadores de eficacia al
plantear las acciones a desarrollar. Por lo tanto, a
pesar de la crtica que pueda hacerse a los aspectos
ms formales, lo cierto es que la mera incorporacin
de esaobligacin en contextos administrativos
poco acostumbrados a la cultura de la rendicin
de cuentas es de por si claramente significativo,
obligando a pensar en objetivos y resultados, lo cual
no es ciertamente habitual cuando lo que predomina
es la mera comparacin entre recursos disponibles
y recursos utilizados, es decir la lgica de control
contable de los inputs.
Al mismo tiempo, en la lgica propia de las polticas
sociales, ser importante no desdear el tema de
la cultura de gestin que ha predominado en esa
poltica sectorial. En los temas sociales, predomina
una visin muy de caso, centrada en la vicisitud
personal concreta con la que se enfrenta el operador
pblico. No es fcil el salir de esa cultura (con
Noviembre 2006
33
grandes ventajas de personalizacin y adecuacin
especfica a las caractersticas de la persona que
uno tiene delante), para tratar de contemplar los
problemas desde una perspectiva ms genrica,
que permita por tanto construir categoras analticas
susceptibles de ser posteriormente evaluadas una vez
operacionalizadas y desarrolladas las polticas que de
ellas se deriven. Tenemos por tanto otro resultado
positivo derivado de la introduccin de una
perspectiva de evaluacin en polticas de inclusin,
que sera el favorecer perspectivas de trabajo
que operen con mejores relaciones entre casos
especficos y las categoras con las que acostumbran
a operar las polticas en su conformacin habitual.
11. El tema de la utilidad, al que hemos ido
aludiendo, es un tema importante. Las preguntas
relevantes, desde mi punto de vista, seran hasta
qu punto se aprende en los procesos de evaluacin,
y hasta que punto este aprendizaje est luego
realmente presente en las nuevas decisiones o
polticas a impulsar. Y en este tema el handicap
no es achacable a las polticas sociales de manera
especfica, sino que es un problema general en
el modo de operar habitual de la Unin Europea.
Simplemente porque los procesos de evaluacin no
estn bien situados en la dinmica decisional de la
comunidad europea. Lo tradicional es que cuando
el proceso de evaluacin ha concluido, casi siempre
el nuevo programa de carcter plurianual est ya
en marcha. Y ha tenido que ponerse en marcha
debido a que las dinmicas polticas, presupuestarias
y administrativas de la UE as lo exigen. Con lo
cual la sensacin general es que las evaluaciones
acaban teniendo poca repercusin en los procesos
decisionales. Lo cual no quiere decir que esas
evaluaciones no tengan efecto alguno, o que sean
intiles o simplemente retricas. Pero, desde el
estricto punto de vista del calendario, ocurre que
cuando entregas la evaluacin, ya est en marcha el
nuevo call for projects de la nueva oleada en que se
concretan las decisiones de las distintas Direcciones
Generales con relacin a las distintas polticas, lo
cual parece que nos debera hacer dudar de la real
efectividad de lo que hemos denominado como
procesos de aprendizaje.
Lo cierto es que los gestores de la UE y los
supervisores generales de la marcha de los proyectos
y planes de accin, van sabiendo que ocurre con las
evaluaciones sin esperar a que estas concluyan.
Existen informes a medio proyecto, reuniones
de intercambio, etc. Pero, esa realidad menos
SEE. Nmero 2
34 LA EVALUACIN DE LAS POLTICAS DE EMPLEO
formalizada debera exteriorizarse ms, para evitar
esa sensacin general de desencaje entre dinmicas
de evaluacin y dinmicas de decisin. Dando valor
y explicitando en los propios protocolos de decisin
las lecciones aprendidas en anteriores fases. Al
mismo tiempo, se debera ir con mucho cuidado
para no acentuar los aspectos ms burocrticos de
la evaluacin, para no dar la impresin de que no se
da valor ni se tienen en cuenta aspectos sealados
en las evaluaciones de polticas sociales que son ms
difcilmente cuantificables, menos tangibles, menos
indicadorizables (si se acepta tal neologismo). Ya
que si no, se acenta exclusivamente la necesidad
que las plantillas se rellenen, que los nmeros
cuadren y que ello nos permita afrontar con mejor
situacin la nueva remesa de recursos con la que
esperamos seguir avanzando, mejorando aquellos
aspectos aprendidos, que curiosamente son aquellos
que quizs nos han servido menos para completar los
formularios de evaluacin.
12. Desde un punto de vista ms general, estamos
atravesando un proceso que, desde mi punto de vista,
como observador y analista de las polticas sociales,
complica enormemente los procesos de evaluacin.
Como es sabido, estamos en un escenario en el cual
las polticas tradicionales, sociales, tpicas del estado
de bienestar que fue consolidndose en Europa entre
los aos 1945 y 1980, tienen graves problemas de
adaptacin a las nuevas realidades de exclusin, de
desigualdad y de respuesta a los nuevos escenarios
productivos, sociales y familiares provocados por
la globalizacin. Las polticas convencionales de
bienestar funcionaban bsicamente a partir de cuatro
elementos que caracterizara como: homogeneidad,
rigidez, indiferencia y lejana. Esto permita
desarrollar polticas relativamente universales, en
grandes mbitos territoriales. En cambio, la nueva
poca en que vivimos, exige cada vez ms, polticas
que sean heterogneas, flexibles, tendencialmente
personalizadas y que puedan desarrollarse desde
la proximidad. Esos cuatro nuevos elementos, que
aparecen como imprescindibles para dar respuesta
a las nuevas necesidades que desde el punto de
vista social estn planteadas, obligan a que los
mecanismos de evaluacin recojan esa nueva
realidad y esas nuevas exigencias. En cambio, la
propia estructuracin de la Unin Europea, su propia
configuracin tiende, lamentablemente, a mantener
la lgica de lejana, una cierta indiferencia ante
realidades diversificadas y una cierta rigidez en los
procesos. Es en este sentido significativa la propuesta
surgida de la propia Unin Europea, que plantea que
son los procesos de gobernanza, de trabajo en redes,
SEE. Nmero 2
e-valuacin
de articulacin de los distintos niveles de gobierno, lo
que permitira evitar precisamente que detectemos
un creciente gap entre lo que son las dinmicas
y necesidades de cada territorio y lo que son las
dinmicas comunitarias, poltico-administrativas, que
generan las polticas, los proyectos y en definitiva,
la disposicin de fondos, para dar respuesta a los
nuevos y renovados problemas de inclusin social.
La complejidad de la exclusin social no puede
abordarse como si abordramos estrictamente los
temas de pobreza o de desempleo. Ello implica una
evidente simplificacin. Como sabemos, si hablamos
de exclusin social hablamos de multifactorialidad,
de multidimensionalidad, de necesidad de implicar
a la comunidad en los procesos de respuesta, de
participacin de los actores, y en muchos casos nos
referimos a trayectorias vitales muy especficas,
y no de dinmicas indiferenciadas. Cuando, por
ejemplo, la Unin Europea detecta con acierto
la significacin de un potencial de empleo entre
los que nunca anteriormente han trabajado (los
llamados inactivos), la puesta en prctica del
proyecto implica buscar esas personas, detectar
esos colectivos. Y cada vez ms, esa necesidad
de dar respuesta a dinmicas que son menos
estandarizables, ser una exigencia que nos vendr
de la propia realidad. Ser a partir de ese punto
cuando deberemos buscar y articular respuestas
desde el espacio pblico (no confundir estrictamente
con los poderes o instituciones pblicas). Respuestas
colectivas a problemas colectivos en ese espacio
pblico concreto. Y para ello, la lgica de actuacin
de la Unin Europea debera ser, como en parte se
ha ido intuyendo a lo largo de este texto, mucho ms
la de habilitar que la de decidir, ya que ese proceso
de habilitacin es el que lograra dar respuestas a
esa situacin de heterogeneidad, de personalizacin,
de cercana y de flexibilidad a la que antes se haca
referencia.
13. La impresin que predomina es que ser
probablemente mucho ms complicado hacer
evaluacin de polticas sociales en el futuro, al
tratarse de polticas ms complejas; con ms
actores; donde el proceso es generalmente mucho
ms importante que los resultados concretos; donde
hay muchos ms casos personales y especficos
que casos estandarizables; donde se pone mucho
de relieve el nfasis en la trasversalidad y en la
integralidad de respuestas y no en la sectorialidad
(cuando en cambio estamos muy acostumbrados a
trabajar sectorialmente, ministerialmente). Pero,
de seguirse una lgica ms descentralizadora en
la implementacin y la implicacin social de esas
Noviembre 2006
e-valuacin
polticas, puede surgir una cierta facilidad en los
procesos de evaluacin, al dar ms valor y voz a la
proximidad, a la comunidad en que se implementan
esas polticas. Acercando as los procesos de evaluacin
al sitio en el que se est realmente trabajando en ese
campo. No aceptando lgicamente que cualquier cosa
vale. Pero estableciendo mucho ms dilogo con lo que
es el territorio. Y de ah puede derivar, pienso, ms
capacidad de aprendizaje.
Esto exige probablemente un cambio en la lgica.
Abandonando las posiciones de centralidad de Bruselas,
entendidas como posiciones de neutralidad y de estar
por encima de los intereses sectoriales y territoriales,
y acercarse a las situaciones reales, no para controlar o
inspeccionar lo que ocurre, sino para ofrecer recursos,
ayuda, para reforzar la capacidad de impacto.
14. Finalizaramos con algunos comentarios sobre
como avanzar en la evaluacin de los mecanismos
de red, de gestin de redes, de governance, cuando
precisamente en las polticas de inclusin social se
pone crecientemente relieve la significacin de la
implicacin colectiva y de las lgicas de colaboracin
pblico-no pblico en sus procesos de formulacin e
implementacion. . ste es sin duda un dficit significativo
en estos momentos. Pueden evaluarse este tipo
de cuestiones?. Puede evaluarse, por ejemplo,, la
confianza interorganizativa?. Asumamos que una red
viene marcada por elementos de interdependencia,
de continuidad en esa interdependencia y por la no-
existencia de un centro jerrquico en esa red. Si esos
son tres elementos claves, cmo podemos evaluar la
capacidad de governance de esa red?, su capacidad de
respuesta colectiva a unas demandas a las cuales la red
intenta dar respuesta de una manera interdependiente,
de una manera continuada y sin lgicas jerrquicas?.
Noviembre 2006
LA EVALUACIN DE LAS POLTICAS DE EMPLEO 35
Podemos tratar, en principio, de analizar los procesos
de formacin de la red. Es decir, trabajar con lo que
podramos denominar el clculo de costes y beneficios
que hacen los actores que componen esa red. Los
diversos actores tienen sus propias expectativas sobre
los procesos de colaboracin a emprender. Tienen sus
propios puntos de vista sobre los problemas a resolver.
Y tienen o no experiencias previas de colaboracin con
el resto de actores de la red. Por otro lado, convendra
examinar el grado de consolidacin de los procesos de
confianza mutua entre los actores de la red. Hasta que
punto conocen, comprenden y comparten los objetivos
del resto de participantes?. De esa comprensin
depender la construccin de vnculos de confianza. La
manera de construir indicadores al respecto, depender
de la exploracin de criterios cualitativos, de procesos
comparativos entre las distintas fases del proyecto,
para encontrar as parmetros que nos permitan hablar
de avances y retrocesos.
Por otro lado, la confianza no slo se desarrolla y
se consolida cuando se comprenden los objetivos
de los dems, sino cuando puedo compartir total o
parcialmente esos objetivos, entendiendo las formas
de hacer del resto de actores y, de alguna manera,
compartiendo esas formas de hacer. Es decir, aqu
deberamos poder hablar de compatibilidad cultural y
de compatibilidad estratgica. Lo cual, evidentemente,
es el punto clave para la consolidacin de esa red
porque estamos intentando construir mecanismos
de respuesta colectiva a problemas colectivos, como
son los que centran los esfuerzos de las polticas de
inclusin. Se trata por tanto de conseguir evaluar la
gestin de las interacciones, analizando cmo se ha
procedido a formar la red; cuales han sido los criterios
de inclusin, que reglas de negociacin se han seguido;
qu se ha hecho para dinamizar esa red; qu espacios
concretos interinstitucionales se han creado para
dar respuesta a la heterogeneidad de los actores,
y qu mecanismos de resolucin de conflictos
interorganizativos se han ido construyendo para
dar respuesta a los problemas a medida que se
han ido produciendo. Si aceptamos que el trabajo
compartido, el trabajo en red, es hoy determinante
en las polticas de inclusin, entonces buscar
estrategias para tener en cuenta el valor generado
por a construccin de esa red, y evaluar su eficacia
y su capacidad de aprendizaje conjunto, y su
fuerza para el futuro, es un elemento cada vez ms
significativo en toda dinmica de evaluacin de las
polticas sociales en la actualidad.
SEE. Nmero 2