Investigacin social y polticas pblicas

Dora Orlansky

Este trabajo discute el papel que juega la investigacin cientfica en el anlisis y la evaluacin de polticas pblicas mostrando la paradjica incidencia de la lgica y de los instrumentos de la investigacin social en cada uno de estos dos contextos y las diferencias especficas entre ambos. El anlisis y la evaluacin forman parte de la secuencia del ciclo poltico que se despliega en cuatro momentos: 1) la definicin del problema y la construccin de la agenda pblica; 2) el anlisis y la toma de decisiones polticas; 3) la implementacin de polticas pblicas; y 4) la evaluacin.1 Establecen analticamente diferentes mbitos y operaciones que echan mano en mayor o menor medida a resultados basados en evidencias.

DEMARCACIN DE LOS CONCEPTOS La tensin entre las operaciones de anlisis y evaluacin de polticas pblicas constituye uno de los tradicionales problemas en el rea de la administracin pblica. Aunque intrnsecamente relacionados, son dos procesos diferentes. Muchas veces al resaltar sus vinculaciones se oscurece la demarcacin entre ambas, y como consecuencia, se promueve la indiferenciacin de sus respectivas atribuciones. En general, suele aceptarse que el anlisis de polticas pblicas como parte de la toma de decisiones y formulacin de polticas debe enfrentarse con valores en conflicto, con cuestiones ticas, con prioridades, etctera.2 En cambio, la evaluacin3 ha sido considerada una aplicacin relativamente neutral de tcnicas de investigacin social y su modus operandi se encuadra bajo el requisito de integridad y objetividad cientficas. Por lo tanto y a pesar de la ntima relacin entre la poltica y la evaluacin, no correspondera que los evaluadores profesionales argumentaran polticamente porque desnaturalizaran su rol especfico, como lo ha sealado Palumbo.4 No
Profesora Titular del Seminario Reforma del Estado: Agendas de Reforma y Estrategias de Desarrollo, en la Facultad de Ciencias Sociales de la Universidad de Buenos Aires. Este trabajo ha sido realizado en el marco del Proyecto UBACyT S062. Una versin preliminar fue presentada en el XXV Congreso ALAS. Asociacin Latino Americana de Sociologa celebrado en Porto Alegre entre el 22 y 26 de agosto de 2005. 1 B. Hogwood y L. Gunn. Policy Analysis for the Real World. Oxford, Oxford University Press, 1988. 2 D. Torgerson. Entre el conocimiento y la poltica: tres caras del anlisis de polticas, en L. F. Aguilar Villanueva. El Estudio de las Polticas Pblicas. Mxico, Miguel ngel Porra Grupo Editorial, 1996, pginas 197 a 237. 3 La evaluacin tiene races histricas en el rea de las ciencias de la educacin y, ms sistemticamente, en los programas sociales norteamericanos de mitad de la dcada del sesenta, durante el perodo denominado de la Great Society. Anteriormente, Tyler, por ejemplo, propuso estudiar la efectividad de los conocimientos adquiridos en funcin de los objetivos propuestos en la enseanza (modelo de evaluacin por objetivos). Posteriormente, la exagerada aplicacin de la medicin a propsito de las reformas administrativas de los aos ochenta en Inglaterra ha recibido muchas crticas metodolgicas (Taylor Fitz-Gibbon 2000). Tambin provienen del campo de la educacin caracterizaciones tales como instrumental, neutro, etctera, as como la tipologa formativo/sumativo (Scriven). Vase R. W. Tyler. Basic Principles of Curriculum and Instruction. Chicago, Illinois, University of Chicago Press, 1949; C. Taylor Fitz-Gibbon. The new face of Public Sector management: Evaluation in an age of indicators. Paper presented at the Fourth EES Conference. Lausanne, octubre 12-14, 2000; y M. Scriven. Goal-free evaluation. School Evaluation: The Politics and Process. (E.R. House, ed.). Berkeley, California, McCutchan, 1973. 4 D. J. Palumbo. The Politics of Program Evaluation. Thousand Oaks: Sage Publications, 1987.

obstante, es absolutamente aceptable y muchas veces indispensable definir dimensiones polticas en el proceso de evaluacin y en la elaboracin de los instrumentos apropiados. Pero la condicin fundamental es que los evaluadores no se subordinen polticamente.5 Se parte siempre de una actitud neutral y cientfica, tanto en la eleccin de los mtodos a utilizar como en el propsito de que las conclusiones resulten de la mayor utilidad en el balance de las polticas.6 Si bien es importante no fusionar los conceptos de anlisis y evaluacin de polticas, y tratar de mantener sus respectivas caractersticas distintivas, lo cierto es que polticas y valores estn esencialmente articulados. Es imposible ignorar que los fines y objetivos de los estudios de evaluacin los establecen quienes los solicitan (clientes). Al elegir (o, ms generalmente, al ser elegidos por) el cliente y al focalizar en la potencial utilizacin de sus consecuencias, los evaluadores realizan decisiones polticas; el conjunto de datos es adems interpretado y filtrado a travs de los valores de quienes establecen qu es lo significativo. Como Palumbo lo ha sealado, la investigacin neutralmente valorativa no es posible ni deseable. Incluso la estrategia del anlisis comparado de dos o ms programas es cotejar sobre la base de ciertas dimensiones. Pero la evaluacin debe resultar til en algn sentido y, precisamente, poner el punto en la utilidad o utilizacin supone habitualmente algn tipo de clculo e instrumentacin polticos. El hecho de que se planteen perspectivas y respuestas de contenido poltico no es en s contradictorio con el requerimiento de aplicar instrumentos metodolgicos rigurosos. Lo paradjico de la situacin es que los evaluadores son convocados para ser neutrales y cientficos, y al mismo tiempo son susceptibles de ser utilizados por los actores involucrados. La evaluacin, ms all de su rigor, tiene implicancias polticas. Aun cuando los evaluadores se dirigen al poder planteando la verdad, como tambin lo seal Palumbo, deberan ser conscientes de que la informacin es para el gobierno un instrumento de poder. Por la misma razn, los resultados de una evaluacin suscitan el escepticismo oficial ante supuesta ausencia de compromiso poltico por parte de los expertos y, al mismo tiempo, cierta desconfianza por el riesgo que entraa el hecho de que la evaluacin pudiera caer en manos de la oposicin y ser esgrimida por sta.7 Frente al eterno debate alrededor de la ndole cientfica de la evaluacin y de su lectura poltica, y a pesar de que la pretensin de pureza metodolgica se ubicara en principio en las antpodas de la intencin de acumular influencia poltica, las soluciones propuestas son diversas. Una de ellas consiste en una cierta asociacin entre el evaluador y los actores para contribuir a maximizar el impacto de las evaluaciones, en el sentido de formular recomendaciones y generar nuevas cuestiones. As, mientras la solucin ms tradicional a la tensin anlisis-evaluacin propona mantener una neutralidad absoluta, las modalidades ms recientes abordan lo poltico de un modo tal, que la evaluacin aun cuando garantiza la obtencin de conocimiento cientfico, no trata de evadir su posible influencia. Esta inquietud dio lugar en los ltimos aos al surgimiento de los nuevos enfoques de la evaluacin inclusiva8 y del empowerment9, cuya caracterstica comn es que adhieren a principios democrticos, justicia social y fundamentos polticos explcitos, fomentando el apoyo hacia y de quienes implicados en un programa social, por ejemplo tienden a estar subrepresentados en las discusiones y en las organizaciones por su condicin marginal econmica, social o poltica.
Esta aproximacin relativista, segn la designacin de Scriven, se desarrolla en los mbitos acadmicos norteamericanos. Vase O. A. Kvtastein. Extracting Lessons from Central Debates in order to Improve Policy Implication of Evaluations. Documento presentado al Fourth EES Conference. Lausanne, 12-14 de octubre 2000. 6 E. G. Guba y Y.S. Lincoln. Effective Evaluation. San Francisco, Jossey-Bass, 1981. 7 J.-C. Thonig. Evaluation as Usable Knowledge for Public Management Reforms. PUMA/ SGF(99)6, OECD, 1999. 8 D. M. Mertens. Inclusive Evaluation: Implications of Transformative Theory for Evaluation, en American Journal of Evaluation. Vol. 20, N 1, 1999. 9 D. M. Fetterman, A.J.Kaftarian, y A. Wandersman (comps.). Empowerment Evaluation:Knowledge and Tools for Self-Assessment and Accountability. Newbury Park, California, Sage Publications, 1996.
5

EVALUACIN DE POLTICAS; SU ALCANCE La evaluacin es una fase del estudio de las polticas cuya orientacin hacia la investigacin constituye su caracterstica fundamental. Indudablemente, presenta mltiples limitaciones epistemolgicas y empricas, pero aun as, se funda en la pauta bsica de la prueba, sustentada en evidencias obtenidas objetiva e independientemente. Tanto en los mtodos de evaluacin como en la presentacin de conclusiones debe estar presente la objetividad en el sentido de acuerdo intersubjetivo. Se trata de proveer respuestas a preguntas causales, tpicamente sobre algn efecto (de un programa X sobre una consecuencia Y, o de un objetivo A sobre una entidad B). O bien, sobre la eficiencia (costo/beneficio de un programa).10 Es habitualmente realizada post factum y del aprendizaje obtenido depende la posibilidad de mejorar el proyecto en el futuro. Por lo tanto, las evaluaciones focalizan los mismos objetivos o propsitos que los proyectos, programas o polticas a fin de lograr beneficios sostenidos para los fines hacia los cuales estn dirigidas las acciones pblicas. En ese sentido, lo importante de una evaluacin es su carcter instrumental y de aplicacin efectiva. La cuestin es si en una evaluacin se identifica slo uno o ms propsitos, y en este ltimo caso, si fueran alternativos o excluyentes plantearan la imposible neutralidad valorativa en las ciencias sociales.11 En un sentido ortodoxo, una evaluacin correcta responde a preguntas que deben ser contestadas lo ms imparcialmente posible, ms all de los deseos normativos del evaluador o del cliente. Ms an, en principio no se debera hacer recomendaciones sino simplemente presentar los datos y su interpretacin. Las recomendaciones dependen en realidad de algo ms que de las conclusiones de la evaluacin. Precisamente, el anlisis de polticas es esencialmente la formulacin de recomendaciones sobre las mejores opciones, basadas muchas veces en investigaciones provenientes de otros estudios y de evaluaciones previas. En los aos recientes, a pesar de las convenciones y principios metodolgicos tanto en la literatura como en la prctica, la evaluacin jug de hecho roles polticos como corolario de una lnea de pensamiento que ha identificado la evaluacin con un proceso al final del cual el evaluador debe formular recomendaciones.12 Es decir, la propuesta ha consistido en ampliar la funcin clsica del evaluador. Ese criterio ms intervencionista13 ha propuesto que la evaluacin adopte tcnicas de movilizacin en favor de promover recomendaciones (advocacy). Pero el peligro estriba en los borrosos lmites entre anlisis poltico y evaluacin, quitndole humildad metodolgica a esta ltima y, al mismo tiempo, aventurando propuestas que, en el limitado espacio de la evaluacin y sin suficientes datos contextuales, pueden resultar tanto riesgosas como irresponsables. As, la opcin entre una orientacin acotada a la investigacin de un programa o poltica determinados versus un tipo de asesoramiento ms normativo o propositivo debera estar aclarado tanto en pro de la credibilidad de evaluadores como de analistas.

La tcnica de costo-beneficio aplicada, tambin, en el anlisis y la decisin poltica consiste en una simulacin preliminar de prueba de costos y efectos de un abanico de opciones polticas. 11 H. W. Eggers y E. Chelimsky. Purposes and Use. Evaluation. Vol. 5, N 1, 1999. Citado por O. A. Kvtastein. Op cit. 12 Entendemos por evaluacin de programas sociales una actividad programada de reflexin sobre la accin, basada en procedimientos sistemticos de recoleccin, anlisis e interpretacin de informacin, con la finalidad de emitir juicios valorativos fundamentados y comunicables sobre actividades, resultados e impactos de esos proyectos o programas, y formular recomendaciones para tomar decisiones que permitan ajustar la accin presente y ajustar la accin futura. Vase O. Niremberg, J. Brawerman y V. Ruiz. Evaluar para la Transformacin. Innovaciones en la evaluacin de programas y proyectos sociales. Buenos Aires, Editorial Paids, 2000. 13 E. Chelimsky. The Political Environment of Evaluacion and What It Means for the Development of the Field. American Evaluation Association Presidencial Address, Vancouver, November, 1995. Evaluacin Practice 16 (3): 215-225, 1995.

10

ANLISIS DE POLTICAS: TEORAS La eleccin de una poltica pblica est destinada a encarar un problema existente o presumible; est determinada por el contexto y los actores involucrados presentan generalmente intereses competitivos; requiere, por ltimo, definir los logros que deberan ser alcanzados. Por lo tanto, si se asume que una poltica pblica implica relacionar cursos de accin, posiciones, actitudes y decisiones polticas en situaciones de competencia poltica poniendo particular nfasis en los fines, los medios, los valores y las prcticas, entonces, comprender y discernir acerca de las polticas pblicas es exactamente de lo que trata el anlisis poltico. El anlisis poltico es un proceso creativo en el sentido segn el cual los problemas sociales que surgen pueden ser encarados con procedimientos de resolucin. Bsicamente, el anlisis de polticas se define como una va tentativa para elegir la mejor de las alternativas con el apoyo de evidencias y razones, haciendo uso de mltiples mtodos de investigacin y argumentacin para producir informacin y transformar conocimiento. Por lo tanto, el anlisis de polticas es una disciplina orientada polticamente. Contribuye al poder produciendo conocimiento acerca y durante el proceso de generacin de polticas; determina cul de las diversas alternativas pblicas o polticas de gobierno sern las que mejor logren un determinado conjunto de objetivos en pos de disminuir o resolver problemas sociales, econmicos o polticos. Subyace en esta visin el hecho de que el anlisis poltico es un asesoramiento orientado hacia un cliente, que es relevante para las decisiones pblicas que requieren investigacin y produccin de informacin til y precisa, y que est al servicio de los decisores polticos. Como Wildavsky lo ha sealado, el anlisis poltico es un arte y un oficio. Un arte porque requiere intuicin, creatividad e imaginacin para identificar, definir y elaborar soluciones a los problemas. Un gran oficio porque requiere conocimiento metodolgico, tcnico e interdisciplinario en una diversidad de disciplinas, desde la economa y el derecho hasta la poltica, la comunicacin, la administracin y la gerencia. Sin embargo, la racionalidad weberiana medios-fines aplicada en las decisiones polticas ha suscitado una discusin terica de amplio espectro y se han acuado diversas metforas alusivas. Simon14 desarroll un modelo del proceso poltico tomando como una premisa la nocin de racionalidad acotada (bounded rationality) centrado en los lmites entre los aspectos racionales y no racionales del comportamiento social. Quienes toman decisiones polticas aceptan los lmites impuestos por su situacin y buscan polticas de transaccin que satisfagan (ms que maximicen) los objetivos organizacionales, aceptables frente a demandas competitivas. La racionalidad individual y organizacional est limitada por hbitos, habilidades, valores y concepciones culturales; existen limitaciones del conocimiento e informacin; y para establecer comparaciones entre opciones o evaluar hallazgos de investigacin, es difcil identificar la decisin correcta, y se requiere tener informacin acerca de las restricciones y objetivos organizacionales. Lindblom15 tambin critic el modelo racional como sustrato de la toma de decisiones. Desde su concepcin, la toma de decisiones polticas es incrementalista, es decir, las polticas son modificadas gradualmente, basndose ms en el pragmatismo y en el mecanismo de salir del paso (muddling through) que en costosas innovaciones y abruptas rupturas de rutinas. Las propuestas basadas en la mera racionalidad cientfica seran consideradas poco realistas, como lo seala Dror16, en tanto el incrementalismo tiende a reforzar una cierta inercia, que slo podra revertirse en situaciones de crisis polticas si surgiera ntidamente la necesidad de redefinir objetivos y planes. Otra visin crtica del modelo de conducta racional de los decisores polticos apunta al proceso de path dependency, segn el cual, los costos de adquirir nueva informacin, por un lado,
H. A. Simon. Administrative Behavior: a Study of Decision-making Processes in Administrative Organization. New York, Free Press, 1978. 15 C. Lindblom. The Policy Making Process. Englewood Cliff, Prentice Hall, 1968. 16 Y. Dror. Required Breakthroughs in Think Tanks. Policy Science n 16, 1984.
14

y, por otro, los costos sumergidos en los programas, polticas y aproximaciones vigentes, limitan el uso que potencialmente ofrece la investigacin y el aporte de conocimientos en la contribucin a una mayor racionalidad.17 De las objeciones al supuesto de racionalidad en las decisiones polticas tambin surgi la teora denominada garbage can18 segn la cual las polticas pblicas son el resultado del oportunismo y de la urgencia en la toma de decisiones y el proceso real est lejos de consistir en una secuencia lineal ntidamente diferenciada. Desde la perspectiva neoinstitucionlista se objeta asimismo el rational choice (o sea, la teora de la eleccin racional), racionalista por antonomasia, que ignora la incidencia del orden normativo y del orden simblico en la conducta social. March y Olson19 otorgan preeminencia a lo apropiado (appropriateness), nocin que relativiza en su mxima expresin el componente exclusivamente racional del comportamiento poltico y social. Si bien en las ciencias sociales se han construido elaboradas teoras acerca de la racionalidad de los actores que toman decisiones polticas, Sharkansky20 demistifica esta perspectiva planteando que frente a la incertidumbre y a la realidad en permanente cambio, se trata de simplificar, de tomar atajos, en vez de investigar todas las opciones y de planificar hasta los ltimos detalles. En ese sentido es ilustrativo un dictum de Keynes citado reiteradamente, quien habra afirmado que lo que menos desea un poltico es tener mucha informacin que le complique tomar decisiones.21

ANLISIS Y EVALUACIN: DIFERENCIAS Y SUPERPOSICIONES En tanto el anlisis poltico puede considerarse prospectivo, la evaluacin es retrospectiva. Mientras el nfasis en el anlisis de las polticas se centra en los efectos probables o estimados, o bien proyecciones, el foco de la evaluacin est puesto en los efectos reales, o sea, en lo que ha ocurrido, o est ocurriendo simultneamente. El anlisis de polticas puede interrogarse, por ejemplo, acerca de cules seran los efectos probables de alguna restriccin en un programa social mientras que la evaluacin se interroga sobre el resultado de la restriccin. La evaluacin se refiere a aspectos generalmente mensurables y, a veces, parciales en el proceso de implementacin de polticas pblicas. Canaliza un tipo de preguntas que no se dirige a comparaciones e interacciones entre valores y poltica, a menos que ello sea explcitamente estipulado en los requisitos de la evaluacin. No apunta a definir o detectar los problemas que deberan ser resueltos sino que, por el contrario, se mantiene dentro de los lmites establecidos por el problema, tal como fuera definido al solicitarse o iniciarse el proceso de evaluacin. Debido a estas mismas caractersticas intrnsecas, los datos se ofrecen como solucin a un aspecto particular o a un problema inicialmente bien acotado. Se requiere que los evaluadores usen evidencias a las que eventualmente los analistas y decisores polticos echan mano en el proceso de toma de decisiones. O sea, la eleccin de la mejor poltica entre un conjunto de alternativas no es precisamente la tarea encomendada a la evaluacin. Pero la extensin en que los hallazgos de la evaluacin sean oportunamente usados y contribuyan en el proceso de anlisis de polticas depende
D. C. North. Instituciones, Cambio Institucional y Desempeo Econmico. Mxico, Editorial Fondo de Cultura Econmica, 1985. 18 La figura de tacho de basura refleja la operacin de buscar entre las cosas en desuso o desechadas algo que pueda suplir en la emergencia. Vase J. G. March y J. P. Olsen. Democratic Governance. New York, The Free Press, 1995. 19 J. G. March y J. P. Olsen. Op. cit. 20 I. Sharkansky. Politics and Policymaking. In Search of Simplicity. Lynne Rienner Publishers, Boulder, Colorado, 2002. 21 I. Sanderson. Complexity, Evaluation and Evidence-Based Policy. Documento presentado al Fourth EES Conference. Lausanne, 12-14 octubre de 2000.
17

del analista y/o del decisor poltico. Pero, entonces, al rol de la evaluacin debe otorgrsele una incidencia muy relativa entre los factores que cuentan a la hora de las decisiones. La superposicin conceptual entre evaluacin y anlisis de polticas puede surgir del hecho de que ambas producen conocimiento de y sobre polticas pblicas y aportan a la orientacin de un cliente frente a un problema. Sin embargo, mientras que el anlisis de polticas abarca un amplio espectro de alternativas futuras, la evaluacin mayormente examina aspectos en marcha, circunscriptos y bien demarcados de un programa, un plan, una poltica y/o de su implementacin. El principal objetivo apunta a la rendicin de cuentas y a la revisin (accountability y feedback) y no a la bsqueda de alternativas. La evaluacin apunta ms a la fiscalizacin del proceso y/o sus consecuencias. O sea, mientras el anlisis poltico se propone determinar la alternativa ms conveniente para alcanzar un conjunto dado de propsitos a la luz de las relaciones entre polticas y objetivos, la evaluacin, en cambio, establece si se alcanzaron los objetivos propuestos y/o hasta qu punto se lograron. El anlisis poltico se apoya en la intuicin, la creatividad y la imaginacin con el fin de identificar, definir y disponer soluciones a los problemas planteados como ya ha sido mencionado ; la evaluacin, a su vez, debe ceirse a estrictos cdigos de investigacin sobre una base de informacin confiable.22 En tanto un analista poltico trata de aproximarse en lo posible al mtodo cientfico, el evaluador debe garantizar la utilizacin de los mtodos de investigacin pertinentes, sean comparativos, experimentales, estudios de caso, etctera, y utilizar instrumentos vlidos y confiables. El modelo hipottico-deductivo suele ser la pauta dominante, aunque con la salvedad de que las iniciativas polticas complejas no necesariamente cumplen con criterios cuantificables de evaluacin, como tampoco objetivos uniformes, ni es posible aislar los efectos de la intervencin, sea por la coexistencia simultnea de otras intervenciones o porque los impactos ms complejos se producen a ms largo plazo. Genricamente, entonces, la evaluacin apunta a distintas fases del desarrollo de un programa o poltica, de los cuales, al menos, pueden mencionarse tres: 1) evaluacin del proyecto como diseo, 2) de su ejecucin o monitoreo y 3) de sus resultados e impactos. Desde la dcada del noventa los organismos multilaterales (OECD; Banco Mundial; etctera) han promovido en grado creciente la utilizacin de tcnicas de evaluacin aplicadas a programas sociales y a las reformas de la administracin pblica.23 El marco lgico para el diseo y evaluacin de proyectos del BID24 consiste en una proclama a favor de una exhaustiva operacionalizacin ex ante de un programa (o poltica pblica) sustentada en una frmula positivista bajo supuestos de extrema racionalidad. Las funciones atribuidas a la evaluacin ponen el nfasis en la retroalimentacin (feedback) como un mecanismo para el mejoramiento de la poltica en cuestin. El foco puede estar puesto en el proceso, es decir en la aplicacin de un mtodo para juzgar el desarrollo y el cumplimiento de las distintas etapas de un proyecto (seguimiento o monitoreo) como as tambin en la observancia de los procedimientos administrativos (regulaciones, normas) y/o el uso adecuado de tecnologas disponibles. Puede realizarse durante y/o despus de la implementacin de polticas. Es el tipo de evaluacin que se denomina formativa. En cambio, la evaluacin es sumativa cuando juzga el valor de un programa al final de sus actividades y el foco est puesto en los resultados, efectos e impactos.25 Suele tambin denominarse evaluacin normativa26, porque se trata de evaluar los
Se aproxima a las operaciones caractersticas del contexto de la prueba en trminos popperianos. J.-C. Thonig. Op. cit. 24 Banco Interamericano de Desarrollo (BID). Evaluacin: Una herramienta de gestin para mejorar el desempeo de los proyectos. Washington, D.C.: Oficina de Evaluacin (EVO). Marzo de 1997. Manuscrito. 25 Offe caracteriza la racionalidad de un sistema burocrtico administrativo segn tres dimensiones. Una, basada en las reglas de procedimiento administrativo: la racionalidad se refiere a la aplicacin del marco normativo (legalidad). Otra, fundada en la relacin medios-fines: apunta a la adecuacin de una poltica con respecto a los objetivos propuestos (efectividad). Y una tercera, se asienta en los resultados, efectos, impactos y su adecuacin al consenso y a las demandas sociales (legitimidad). Obsrvese que las dos primeras
23 22

resultados que se proponen y se deben lograr. Est implcito un modelo causa-efecto y es una tpica evaluacin ex-post. La evaluacin sumativa, es compleja y difcil. Su difusin e institucionalizacin es creciente a partir de los nuevos principios de la administracin postburocrtica, producto del modelo britnico del NPM, New Public Management (www.cmps.gov.uk27), o del estadounidense GPRA, Government Performance and Results Act 1993.28 Siguiendo esta lnea la Secretara de la Gestin Pblica haba elaborado en Argentina el Modelo de Gestin por Resultados. Programa de Modernizacin de la Gestin Pblica 2001. Pero como seala Kvastein29, la evaluacin es una nueva institucin en auge con una multitud de aproximaciones que han generado una babel comunicacional. O sea, una evaluacin consiste per se en un discurso30 que, a su vez, se constituye en objeto de anlisis. Desde un punto de vista ms pragmtico, algunos autores (Scriven; Stufflebeam y Chelimsky) plantean la distincin entre la funcin proactiva, que debera servir al planeamiento de los decisores polticos, por un lado, y, por otro lado, la evaluacin retroactiva con propsitos vinculados a la accountability (imputabilidad, rendicin de cuentas, etctera). En el primer caso, la evaluacin se concentra en los objetivos, en el diseo de investigacin, en el proceso de implementacin y en los efectos producidos. El espectro de la informacin producida por la evaluacin abarca las actividades, las caractersticas y los efectos del programa en diversas dimensiones para el uso especfico de quienes se proponen reducir la incertidumbre, mejorar la efectividad y tomar decisiones en las reas para las cuales se aplican los programas. Otras funciones de la evaluacin apuntan a lo sociopoltico y a lo comunicacional en aras de crear motivacin o generar conciencia, adems de aplicar la evaluacin como un mero ejercicio vertical (topdown) del poder. La toma de decisiones implica identificar los valores relativos entre dos o ms alternativas posibles y los hallazgos obtenidos a travs de evaluaciones pueden suministrar este tipo de informacin. El diseo de instrumentos y el relevamiento y provisin de informacin son aspectos centrales de la metodologa de la evaluacin. Es en este punto en que el anlisis y la evaluacin de polticas pblicas parecen confundirse entre s como operaciones similares. Sin embargo, usar criterios valorativos, recomendar o abogar (advocacy) por determinadas alternativas no es el mandato otorgado a la tarea de evaluacin. Ms an, las conclusiones de una evaluacin pueden servir a diferentes demandas de informacin. Los evaluadores estn supuestamente comprometidos con criterios rigurosos y establecen criterios muy estrictos acerca de la pertinencia, confiabilidad y validez de las mediciones. En
acepciones son afines a los tipos de evaluacin formativa y sumativa respectivamente. (Las denominaciones entre parntesis son de nuestra autora). De paso, puede apuntarse que los tres planos de racionalidad de Offe iluminan el carcter multifactico de la nocin de accountability, aplicable en cada una de las tres dimensiones expuestas. C. Offe. Criterios de racionalidad y problemas del funcionamiento polticoadministrativo. En Partidos Polticos y Movimientos Sociales. Madrid, Editorial Sistema, 1988. 26 P. Vartiainen. Evaluation Methods and Comparative Studies. Paper presented at the Fourth EES Conference. Lausanne, octubre 12-14 de 2000. 27 Durante la dcada de 1980, la administracin pblica en Inglaterra inici la tendencia a enfatizar la evaluacin en los resultados de los programas sobre los procedimientos, normas y rutinas. 28 Radin muestra las dificultades para aplicar criterios de evaluacin basados en resultados en los organismos estatales que no se dedican especficamente a la produccin de bienes y servicios sociales (salud, educacin, promocin social, etc.) como, por ejemplo, los de investigacin, administracin, etctera. B. Radin. Searching for Government Performance: The Government Performance and Results Act. PS: Political Science and Politics. Vol. XXXI, n 3, 1998. 29 Op. Cit. 30 Un discurso es un marco de referencia para captar la realidad inmersa en el lenguaje, permitiendo que sus usuarios conviertan unidades de informacin sensorial en conjuntos coherentes. J. S. Dryzek. The Informal Logic of Institutional Design. En R. E. Goodin (comp.). The Theory of Institutional Design. Melbourne, Cambridge University Press, 1996.

cambio, los analistas tratan de reunir y explicar el conocimiento cientfico existente con una aproximacin heterodoxa. Aunque algunos anlisis sofisticados (por ejemplo, costo-beneficio, sistemas) les agregan un matiz muy cientfico a la hora de formular modelos y calcular estimaciones, suelen partir de un conocimiento escaso acerca de unos pocos hechos, o aun de unos pocos datos, elaboran algn razonamiento astuto y saben ubicar fuentes relevantes (documentos o especialistas). A este bagaje se le aade el criterio de flexibilidad y se constituye as el paquete metodolgico de quienes se dedican al anlisis y asesoramiento de polticas pblicas. Para quienes toman decisiones polticas las diferentes estrategias de intervencin y los cursos de accin alternativos surgen de comparaciones histricas, de transferencias de otras experiencias, del conocimiento acumulado, que permite disear modelos de simulacin y anlisis costo-beneficio y/o eficiencia.31

CMO SE DECIDE UNA ALTERNATIVA? EL ANLISIS Y LA EVALUACIN EN ACCIN En un trabajo sobre los procesos de aprendizaje y transferencia de polticas pblicas, Jacobs y Barnett32 sealaron los aportes de diversos autores segn el nfasis en distintos matices. Incluyen operaciones diversas como la capacidad de extraer lecciones de otras polticas pblicas (Rose), la emulacin (Hoberg), la transferencia (Wolman) y el aprendizaje (Hall). Todas estas operaciones, son, segn Dolowitz y Marsh, variantes del proceso segn el cual el conocimiento acerca de las polticas pblicas, la organizacin administrativa, las instituciones, etctera, en un determinado momento y/o lugar, pueden ser luego aplicados en otras circunstancias y/o contextos. La transferencia internacional es lo ms comn, pero tambin hay traspasos entre regiones y ciudades. Asimismo hay un rescate y una asimilacin de polticas anteriores y convenientemente aplicadas cuando se trata de extraer lecciones del pasado. En la actualidad, se presta cada vez mayor atencin a cmo los analistas y decisores polticos se inspiran o aprenden. Desde la perspectiva de los estudios comparados en polticas pblicas, uno de los focos de inters se refiere a la difusin de ideas, en particular el papel de los consultores y organismos internacionales. El proceso de seleccin de una alternativa poltica se efecta contrastando iterativamente segn diversos criterios que van desde los clculos de costo-beneficio a la factibilidad tcnica y a la viabilidad poltica. El anlisis poltico, precisamente, se halla en un extremo opuesto a la evaluacin porque bajo las consideraciones de quien toma decisiones polticas yacen un conjunto de valores, normas y comportamientos confrontados. A travs de sucesivas aproximaciones, el problema inicial puede resultar replanteado porque en la prctica podra requerirse que los objetivos iniciales sean modificados. Esta observacin contrasta con el paradigma dominante en los estudios de las polticas pblicas [que] consiste en suponer que el ejercicio de la autoridad logra realizar los propsitos colectivos.33 En realidad, a la imagen utpica de una administracin pblica que operara como una simple polea de transmisin de arriba hacia abajo se le corresponderan caractersticas tan improbables como, entre otras, la ausencia de restricciones impuestas por las circunstancias, la disponibilidad de los recursos y tiempos necesarios, un consenso absoluto sobre los objetivos, la ausencia de interferencias, la plena obediencia hacia los designios gubernamentales, etctera.
31

Las expresiones anlisis costo-beneficio y/o eficiencia se refieren, respectivamente, a cules son los costos monetarios de una poltica y cmo se utilizan los recursos. Un estudio costo-efectividad, o sea la determinacin de los beneficios logrados por un programa, es por definicin un tipo de evaluacin, no de anlisis, segn los criterios del presente trabajo. 32 K. Jacobs y P. Barnett. Policy Transfer and Policy Learning: A Study of the 1991 New Zealand Health Services Taskforce. Governance. Vol. 13, n 2, 2000. 33 H. K. Colebatch. Policy. Buckingham, Open University Press, 1998, pgina 42.

As la flexibilidad requerida en el diseo y en el anlisis de polticas se contrapone al proceso de evaluacin de una poltica, en el cual no cabe la reformulacin del problema inicial porque atentara contra la argumentacin de que el procedimiento se basa en una visin imparcial externa y que los propsitos de la evaluacin han sido prefijados. En cuanto a los datos, en tanto en los estudios de evaluacin estn generados segn el problema particular, en el anlisis de polticas pblicas los datos han sido previamente obtenidos, creados y/o desarrollados por terceros, en diferentes momentos, contextos y necesidades. Mientras que el rol del evaluador es producir datos inditos, el del analista es descubrir, combinar, interpretar, criticar y sintetizar ideas y datos existentes. El anlisis de polticas es equivalente a resolver un problema: se procede por ensayo y error, y por intentos sucesivos. La definicin del problema y el diseo de la intervencin poltica es un proceso de idas y vueltas que requiere inventiva y se centra en los valores y las preocupaciones pblicas. Definir el problema implica la habilidad del analista para entender contextos e identificar actores, establecer la diferencia entre polticas y objetivos de la poltica y entre sntomas y problemas reales. Se trata de captar la complejidad del problema, detectar las principales variables, reunir y extractar datos pertinentes, y conducir a la seleccin de las alternativas de accin. Se requiere creatividad e innovacin. El evaluador, en cambio, una vez que define su objeto de evaluacin la poltica o los objetivos del programa y la informacin requerida, adhiere a mtodos de investigacin estrictos y a su aplicacin rigurosa. El analista est abocado a resolver los problemas de seleccin y recomendacin de opciones, y el que evala est orientado a responder frente a preguntas sobre resultados, efectos e impactos de un programa especfico, sus procesos y costos de implementacin. Efectivamente, dar respuesta a un conjunto delimitado de preguntas es lo caracterstico de la evaluacin. El analista de polticas pblicas tiene que tomar en cuenta el contexto poltico y conciliar los intereses en conflicto de diversos conjuntos de actores que forman coaliciones34, redes interpersonales e interorganizacionales, etctera.35 Una decisin poltica exitosa se basa en la existencia de una ventana de oportunidad, es decir en la visualizacin de un problema en circunstancias favorables, ya sea por la inflexin de un ciclo poltico o de un giro de la clase poltica, y, por lo tanto, la posibilidad de incorporar nuevas propuestas en la agenda.36 Por el contrario, la evaluacin es ajena a las cuestiones de contexto, viabilidad o ventana de oportunidad, etctera. En principio, la evaluacin suele ser retrospectiva, y la viabilidad no es un atributo potencial a evaluar sino, ms bien, el modo en que ha funcionado un programa en el pasado o est funcionando en el presente. Sin embargo, nuevamente, es necesario recalcar que los lmites conceptuales entre evaluacin y anlisis de polticas son fluidos, sobre todo, cuando ms recientemente se comienza a plantear una cierta politizacin de la evaluacin. Pero aun ante la tensin entre ambos tipos de actividad y un cierto grado de superposicin debido, por ejemplo, a la dificultad para evitar toda valoracin en la evaluacin es importante distinguir analticamente los dos roles. Cuando los evaluadores sugieren opciones de polticas basadas en las conclusiones de su evaluacin, estn utilizando datos confiables para realizar recomendaciones no necesariamente vlidas. Porque la seleccin de opciones polticas depende generalmente de un espectro mucho ms amplio de informacin que el que proveen los mtodos comunes de evaluacin. Cuando as
P. Sabatier y otros. Theories of the Policy Process. Westview Press, 1999. Las coaliciones de polticas son los grupos que mantienen el poder sin necesariamente representar los intereses del conjunto. Un concepto diferente es el de redes de polticas, que indica (I) las relaciones de dependencia entre el gobierno y los grupos de intereses con intercambio de recursos. Tambin se refiere a (II) las relaciones intergubernamentales entre distintas jurisdicciones poltico-administrativas. En el primer caso (I), la existencia de una red de polticas, o ms precisamente de una comunidad poltica cuando su extensin es mayor, delimita la agenda poltica e influye en los resultados. 36 J. Kingdon. Agendas, Alternatives and Public Policies. Boston, Little Brown & Co., 1984.
35 34

ocurriera, se traspasara de dominio y se avanzara sobre el campo propio del analista. En tal caso, el analista deber considerar, fundamentalmente, la viabilidad poltica y el ritmo de la implementacin. Pero cuando un evaluador cruza la lnea con recomendaciones sobre decisiones polticas se extralimita indebidamente porque es probable que carezca de otros conocimientos imprescindibles para la toma de decisiones. El anlisis y la toma de decisiones se basan primordialmente en la persuasin y la argumentacin37; en realidad, los datos de fuentes existentes juegan un papel menor. Aunque un stock de buenos datos de evaluacin favorecen al anlisis y la formulacin de polticas, el resultado de un buen anlisis no significa la existencia de la opcin correcta o de la mejor opcin, sino de la que mejor satisfaga en un determinado contexto, en consonancia con los intereses en juego (Simon). El anlisis es el soporte de la toma de decisiones; las alternativas surgen de un balance del poder en una situacin de intereses conflictivos y la emergencia de una ventana de oportunidad.

COMENTARIO FINAL: PERSPECTIVAS METODOLGICAS La estrategia de la evaluacin se apoya, como se ha sealado, en la aplicacin del mtodo cientfico. Es decir, en la lgica del experimento (Campbell) y el modelo hiptetico-deductivo en el contexto popperiano de la prueba. Bsicamente, son las evidencias empricas las que proveen el material fundamental para una evaluacin; cubren el amplio espectro que va desde el estudio de caso hasta ensayos aleatorios y controlados que permiten establecer relaciones causales. Sin embargo, en los ltimos aos se han propuesto perspectivas innovadoras, de las cuales mencionamos algunas a continuacin. La evaluacin basada en la teora procura superar las exigentes e improbables condiciones de aplicacin de un modelo experimental. Se orienta hacia el carcter interpretativo y explicativo de la evaluacin. El postulado bsico es que existe suficiente desarrollo de la teora social y es posible obtener conclusiones y generalizaciones de la aplicacin de un programa, sorteando las dificultades de simular un imposible experimento social. En un plano ms cualitativo, la evaluacin participativa es un mtodo de investigacin de creciente utilizacin que parte del supuesto segn el cual, en una red de aplicacin de polticas, los intereses, racionalidades y estrategias de las distintas partes interdependientes pueden antagonizar o coincidir. El propsito es generar un proceso ms igualitario de inclusin en el cual participan y se comprometen de igual manera las distintas partes en juego. La evaluacin que se denomina de cuarta generacin38 tiene sus races en la antropologa. Se fundamenta en las siguientes premisas: 1) las realidades son construcciones sociales que no pueden calificarse como verdaderas; 2) tales construcciones no se rigen segn la lgica de causa-efecto; 3) los procesos de investigacin involucran interacciones inevitables entre el sujeto y el objeto; y 4) el mtodo cientfico basado en la lgica experimental abstrae los efectos que ejercen las propias polticas sobre el contexto, un elemento crucial para la comprensin. Precisamente, el principal objetivo de este tipo de evaluaciones es lograr la comprensin del significado de los programas sociales desde y para las distintas perspectivas de las partes involucradas. En ese sentido, guarda afinidad con los tipos de evaluacin denominados interpretacionista o constructivista, basados en la crtica postmodernista a la nocin de un mundo externo objetivo.39

37 38

La funcin perlocutoria en la comunicacin poltica. E. G. Guba y Y. S. Lincoln. Fourth Generation Evaluation. Newbury Park, Sage, 1989. 39 La teora feminista se encuadra en la perspectiva constructivista y tiene un importantes impacto epistemolgico en la evaluacin de programas sociales (W.K.Kellogg Foundation).

Finalmente, la evaluacin realista es una perspectiva holstica desarrollada recientemente desde la investigacin en el rea de trabajo social40; se plantea evaluar un programa, una prctica, una poltica, en el marco real de la sociedad. Es abarcativa de los tipos de evaluacin anteriormente mencionados, en particular, la evaluacin basada en la teora y la evaluacin interpretacionista. Se trata de superar el mecanismo positivista de explicacin segn una caja negra, o sea, de una mera relacin causa-efecto en la aplicacin de un programa, y pasar al gris o, mejor an, a una caja blanca, en el sentido de volver explcitos los modelos lgicos de determinacin entre contenidos, contextos, mecanismos y consecuencias de la aplicacin de una poltica.41 Que este procedimiento tenga el potencial de poner en descubierto una caja blanca significa no slo la capacidad de comunicar los resultados o efectos, sino tambin la interpretacin de los mecanismos que los producen, los contextos en los cuales estos mecanismos se disparan y los contenidos del programa. En primer lugar, investiga los resultados logrados y el grado en se cumplieron los resultados deseados. Hasta aqu la equivalencia con una evaluacin por objetivos. Luego se comparan estadsticamente los distintos contextos y los contenidos (variables) mediante tcnicas de estadsticas robustas (tests de significacin y anlisis de regresin mltiple).42 Tras un ciclo de sucesivas aproximaciones se produce un acercamiento al proceso real. Este ltimo proyecto metodolgico constituye la propuesta ms ambiciosa en materia de evaluacin; se basa en la falabilidad realista y en la sociedad que experimenta, nociones de Donald Campbell inspiradas en Karl Popper. Se plantea la formulacin de un modelo lgico de la realidad y no tan slo de los resultados diferencindose as del empiricismo o positivismo.

40 41

R. Pawson y N. Tilley. Realistic Evaluation. Thousand Oaks, Sage, 1997. M. Scriven. The fine line between evaluation and explanation. Evaluation Practice. 42 I. Sanderson. Op. cit.