Revista de Investigacin Educativa, 2000, Vol. 18, n. 2, pgs.

289-317

LA EVALUACIN DE PROGRAMAS SOCIALES: FUNDAMENTOS Y ENFOQUES TERICOS

Mario de Miguel Daz
Universidad de Oviedo

1. INTRODUCCIN Frecuentemente constatamos que en la literatura relativa a evaluacin se utilizan algunos conceptos de forma poco precisa lo que genera indudablemente expresiones confusas. Por ello, antes de abordar el tema que nos ocupa, consideramos procedente efectuar ciertas precisiones terminolgicas que permitan clarificar el punto de vista que asumimos al realizar este trabajo, as como los parmetros dentro de los cuales debe ser analizada nuestra aportacin ya que, de lo contrario, su lectura puede dar lugar a interpretaciones muy distintas a nuestros planteamientos. Un ejemplo de lo que acabamos de sealar sucede con los trminos investigacin evaluativa y evaluacin de programas. Aunque inicialmente aluden a un mismo campo de trabajo, en sentido estricto, su significado es distinto. Desde nuestro punto de vista, la investigacin evaluativa (evaluation research) constituye la aplicacin de los principios y procedimientos de la investigacin social para comprobar sistemticamente la eficacia de un programa de intervencin social. Cuando hablamos de evaluacin de programas (program evaluation) aludimos al conjunto de principios, estrategias y procesos que fundamentan la evaluacin de toda accin o conjunto de acciones desarrolladas de forma sistemtica en un determinado contexto con el fin de tomar las decisiones pertinentes que contribuyan a mejorar las estrategias de intervencin social. Si el objetivo de un programa es mejorar las condiciones sociales, el propsito de la evaluacin es mejorar los propios programas (Rossi, Freeman y Lipsey, 1999). De lo cual se deduce que esta tarea conlleva algo ms que la mera utilizacin de metodologas cientficas orientadas a evaluar teoras e impactos. Para percibir con mayor claridad los matices que distinguen ambos trminos basta recordar la definicin comnmente aceptada sobre el concepto de evaluacin como

290

Mario de Miguel Daz

un proceso sistemtico de bsqueda de evidencias para formular juicios de valor que orienten la toma de decisiones. De ella se desprende la existencia de tres elementos claves que delimitan esta actividad: el proceso metodolgico que se lleva a cabo para recoger e interpretar las evidencias relacionadas con el programa, los criterios que vamos a utilizar para emitir los juicios de valor y, finalmente, la utilizacin que posteriormente se va hacer de los resultados. Por ello, toda aproximacin conceptual al campo de la evaluacin de programas debe contemplar necesariamente los tres pilares sobre los que se fundamenta esta disciplina evidencias, valores y decisiones ya que, de lo contrario, efectuaramos un reduccionsmo injustificado. Partiendo de este planteamiento, la distincin entre investigacin evaluativa y evaluacin de programas se percibe de forma ms ntida. La investigacin evaluativa constituye esencialmente una estrategia metodolgica orientada a la bsqueda de evidencias respecto a un programa, pero la evaluacin de un programa requiere, adems, abordar otros problemas relacionados con los criterios a utilizar para emitir los juicios de valor y con los procesos relativos a la toma decisiones. Se dira, pues, que la primera constituye una de las herramientas metodolgicas bsicas a utilizar en una de las fases del proceso evaluativo. Ciertamente una fase muy importante en la medida que nos facilita el soporte a partir del cual vamos a emitir las valoraciones pero en modo alguno la nica. Hemos considerado oportuno iniciar el presente trabajo matizando esta distincin porque en la bibliografa al respecto es bastante comn que a la hora de hablar de paradigmas, modelos o enfoques sobre evaluacin de programas se utilicen ms o menos adaptados aquellos que son propios de la investigacin cientfica social como si ambos trminos fueran equivalentes. Desde nuestro punto de vista esta extrapolacin adolece de sentido; dado que supone una utilizacin indiscriminada de conceptos que aluden a dominios diferentes. No cabe, por tanto, trasladar a la evaluacin de programas los supuestos tericos de los paradigmas clsicos de investigacin propios de las ciencias sociales ya que la fundamentacin de esta disciplina requiere necesariamente contemplar el mundo de los valores y de las consecuencias. Por ello, necesitamos abordar este tema desde una ptica ms comprensiva. 2. DELIMITACIN DEL CONTEXTO DEL TRABAJO Una de las caractersticas dominantes en el campo de la evaluacin de programas durante los ltimos aos ha sido la multitud y heterogeneidad de los conceptos asociados con este trmino. Al igual que sucede en toda disciplina emergente, constantemente estn apareciendo aproximaciones, enfoques, modelos y mtodos que acuan nuevos trminos y tipologas lo que hace patente la escasa consolidacin epistemolgica que presenta actualmente este campo. Presionados por la realidad prctica, los evaluadores se dedican a resolver cuestiones de carcter metodolgico y relegan a un segundo plano las cuestiones tericas relativas a los fundamentos de la evaluacin. De ah que la escasa atencin que se presta a la teora se considere como una de las debilidades mas importantes que tiene esta actividad y que impide su consolidacin como disciplina cientfica (Bickman 1990, Rebien, 1997).

La evaluacin de programas sociales: fundamentos y enfoques tericos

291

Ante esta carencia, resulta necesario revisar los supuestos tericos de esta disciplina con el fin de contribuir a consolidar su estatuto epistemolgico y ayudar a los evaluadores a que puedan explicitar los criterios que implcitamente utilizan para seleccionar, organizar y llevar a cabo sus mtodos de trabajo. La tarea del evaluador no puede limitarse a una simple eleccin de metodologas y mtodos para obtener evidencias. Necesitamos de manera imprescindible una teora que justifique y explique los procedimientos y las prcticas que en cada caso se llevan a cabo. La evaluacin de programas es algo ms que una metodologa aplicada y, al igual que sucede en todas las disciplinas, requiere sus propias bases tericas que justifiquen y den sentido a lo qu hace un evaluador, cmo lo hace y, sobre todo, para qu. Como ya hemos avanzado, en este campo no abundan trabajos de carcter epistemolgico. Se habla mucho de mtodos y metodologas pero casi nada de epistemologa; es decir, sobre la teora del conocimiento vinculada a la evaluacin de programas. Ms an, en muchos textos no se matizan las diferencias entre fundamentos cientficos de la evaluacin de programas (foundations) y enfoques tericos aplicables a la evaluacin de programas (approaches). Evidentemente estos trminos no significan lo mismo ya que, mientras el primero hace referencia a las bases que fundamentan la evaluacin, el segundo alude claramente a las distintas metodologas que podemos utilizar en la prctica para abordar los procesos. Aunque, lgicamente, ambos conceptos estn relacionados. Por ello, aunque explcitamente no se manifieste la justificacin terica, cada opcin metodolgica ha sido elegida en funcin de las concepciones ontolgicas y epistemolgicas que el evaluador tiene sobre los conceptos de programa y evaluacin, lo que significa que existe un posicionamiento implcito. Detrs de cada aproximacin metodolgica siempre hay un enfoque terico tcito. Ello permite que, ante un problema concreto, sea posible plantear estrategias de intervencin distintas y que evaluaciones con enfoques diferentes sobre una misma intervencin puedan llegar a resultados contradictorios (Dennis y Boruch, 1989). Lo cual significa que todas las aproximaciones tienen sus ventajas e inconvenientes y que es necesario que el evaluador precise, en cada caso, el marco conceptual que asume a la hora de justificar y planificar su trabajo ya que las decisiones metodolgicas deben estar siempre supeditadas a los planteamientos tericos (Shadish, Cook y Leviton, 1991). Necesitamos abordar la reflexin epistemolgica sobre el tipo de conocimiento que nos aporta un proceso evaluativo y, en consecuencia, sobre el marco que justifica el trabajo de un evaluador. Necesitamos ms y mejor teora (Cook, 1997). Situados en este contexto, el abanico de temas que pueden ser objeto de la reflexin es tan amplio que necesariamente procede cierta delimitacin con fines didcticos. Desde nuestro punto de vista, siguiendo pautas de otros autores que se ocupan del tema (Bickman 1990, Shadish, Cook y Leviton 1991, Rebien 1997), la fundamentacin terica de la evaluacin de un programa exige una toma de postura, al menos, sobre las siguientes cuestiones bsicas: el concepto de programa como estrategia de intervencin social, las bases epistemolgicas que determinan la construccin de las evidencias, los criterios a utilizar para formular los juicios de valor, la utilidad o usos que van a tener los informes y el enfoque metodolgico a seguir para realizar el proceso evaluativo. A partir de las opciones y

292

Mario de Miguel Daz

decisiones que el evaluador asuma en torno a estas cuestiones podremos entender y justificar las razones por las que elige un determinado enfoque terico y metodolgico para evaluar cada programa concreto. 3. CONCEPTO DE INTERVENCIN SOCIAL Toda aproximacin al estatuto cientfico de una disciplina conlleva identificar previamente cual es el objeto del conocimiento. Necesitamos, pues, una definicin sobre el concepto programa. Habitualmente se entiende por programa todo plan, proyecto o servicio mediante el cual se disea, organiza y pone en prctica un conjunto de acciones dirigidas a la consecucin de una metas (De Miguel, 2000b). Este trmino aglutina, por tanto, cualquier tipo de estrategia de intervencin social orientada a promover cambios. De ah que la primera reflexin que se debe plantear el evaluador sea sobre cmo deben ser conceptualizadas, diseadas y aplicadas estas estrategias de intervencin para que produzcan cambios sociales efectivos. En definitiva, necesitamos una teora que fundamente la elaboracin y aplicacin de las estrategias de intervencin social y, en consecuencia, que pueda ser utilizada como marco de referencia para tomar decisiones a la hora de planificar los procesos evaluativos (Bickman, 1987). El trmino teora aplicado a la evaluacin de programas alude a un conjunto de principios interrelacionados que explican y predicen la conducta de una persona, grupo u organizacin sobre la que hemos llevado a cabo una accin intencional y sistemtica (Chen, 1990). Lgicamente, existen distintas formas de entender las relaciones entre los principios, las acciones y las conductas en el campo social, por lo que es muy importante conocer cul es el punto de vista que considera el evaluador en cada caso concreto, ya que constituye el determinante inmediato que justifica la perspectiva o enfoque terico que adopta para planificar y evaluar una intervencin. De ah que una de las primeras cuestiones que el evaluador debe explicitar sea la concepcin terica desde la que aborda el programa en tanto que estrategia de intervencin social. 3.1. El programa como verificacin de teoras Una de las concepciones clsicas sobre los programas es considerarlos como estrategias que permiten la verificacin de teoras que son tiles para resolver problemas sociales. Quienes adoptan esta postura enfatizan el papel de la teora como fundamento de toda intervencin social por lo que el objetivo prioritario de toda evaluacin se orienta a probar las relaciones causa-efecto que se establecen entre unos tratamientos y unos resultados. Ello exige que tanto el diseo como la ejecucin de los programas se lleve a cabo de acuerdo con los principios de la metodologa cientfica ms rigurosa dado que su objetivo es muy similar a la verificacin de hiptesis conceptuales. Quienes adoptan esta postura como ya propona el conocido trabajo de Campbell (1969), Reforms as Experiments, consideran que los cambios sociales pueden ser planificados a modo de experimentos. Los programas constituyen estrategias o artefactos a travs de las cuales se someten a prueba si determinadas teoras son eficaces para la resolucin de problemas sociales prcticos. Al igual que sucede en todo experi-

La evaluacin de programas sociales: fundamentos y enfoques tericos

293

mento, el evaluador formula una teora explicativa sobre una realidad o problema social sobre la cual construye y aplica una estrategia de intervencin siguiendo los cnones de la metodologa cientfica (aleatorizacin y manipulacin) con el fin de poder probar su adecuacin y eficacia. Para quienes defienden este concepto, el objetivo principal de una evaluacin es lograr identificar los efectos netos de un programa es decir, aquellos que se deben exclusivamente a las variables explicativas que justifican la intervencin al margen de los efectos brutos. Otros autores prefieren hablar de resultados e impactos, entendiendo por los primeros todos los efectos de un programa y acotando el segundo trmino solamente para aquellos sobre los que se tenga indicios razonables de causalidad (Schalock 1995, Boruch 1997, Apodaca 1999). Precisamente porque su finalidad primordial es la identificacin de los efectos netos o impactos a corto, medio o largo plazo asumir este enfoque implica introducir en la evaluacin de un programa toda la problemtica de la experimentacin cientfica en el campo social, con toda la carga de dificultades y limitaciones que este hecho conlleva. Las caractersticas implcitas en toda intervencin social impiden la aplicacin de diseos metodolgicos rigurosos que nos permitan obtener indicios razonables de validez interna y externa de forma satisfactoria (Cronbach, 1982). 3.2. El programa como tecnologa sistemtica La realidad prctica nos hace ver que la resolucin de problemas sociales constituye ms un problema de contingencias que de teoras causales. Generalmente no existen grandes discusiones sobre las teoras o principios que deben inspirar las polticas pblicas. Todos sabemos qu procede hacer cuando se quieren abordar problemas relativos a la pobreza, la marginacin, la discriminacin social, tercera edad, etc Las diferencias no estn tanto en el terreno de las ideas como en la instrumentacin prctica de las polticas que se llevan a cabo. Por ello, la evaluacin de los programas, antes que los problemas de causalidad de las teoras, se deber centrar sobre los procesos de instrumentacin de las estrategias de intervencin ya que son las contingencias que se establecen en cada caso las que en ltima instancia determinan las diferencias. Este hecho ha supuesto que los enfoques relativos a la evaluacin de programas desplazaran el foco de la reflexin hacia los problemas prcticos que conlleva toda estrategia de intervencin ya que son los procesos los que, esencialmente, determinan la mayor o menor eficacia de los programas (Wholey, Hatry y Newcomer, 1994). De ah que a la hora de evaluar sea muy importante distinguir entre los efectos que se deben a al desarrollo de los programas (action hipotesis) y los que estn determinados por las teoras (conceptual hipotesis). Asumir esta distincin implica un cambio de enfoque sobre el concepto de programa ya que puede ser tipificado como una tecnologa instrumental que debe ser diseada y modificada de forma constante en funcin de su utilidad en relacin con los objetivos establecidos. Desde esta perspectiva los objetivos de la evaluacin no se focalizan sobre la verificacin de la inferencia causal de las teoras sino sobre las distintas hiptesis prcticas que se pueden formular en cada una de las fases que implica la conceptualizacin, el

294

Mario de Miguel Daz

diseo, la aplicacin y la utilidad de una estrategia de intervencin social. Por ello, un enfoque evaluativo global deber abarcar objetivos relativos a cada una de estas fases, a saber: a) la estimacin del mrito de las metas que se propone cada estrategia, b) las calidad del diseo y planificacin de las actuaciones a realizar, c) el grado de cumplimiento y adecuacin con que dicha planificacin ha sido llevada a cabo (implementacin) y d) la calidad y la utilidad de los resultados e impactos generados. La mayora de los enfoques prcticos recientes coinciden en sealar estos cuatro objetivos como las metas a tener en cuenta en toda evaluacin de un programa ya que nos permiten distinguir entre los fallos de la teora y los fallos que se producen en la cadena de secuencias que implica el diseo y la aplicacin de una estrategia de intervencin social (Brinkerhoff, Brethower, Hluchyj y Nowakowski, 1985). 3.3. El programa como compromiso con el cambio social En un tercer enfoque situaramos aquellos que consideran que la justificacin terica de todo programa es promover un cambio social por lo que ste debe ser, igualmente, el objetivo de toda evaluacin. Ms all de los problemas prcticos que conlleva toda estrategia de intervencin, debemos asumir que su finalidad primordial es promover la transformacin social. Por ello, en la medida que nuestra bsqueda persigue identificar las polticas, programas y acciones ms adecuadas a este fin, el evaluador no puede realizar su trabajo sin cuestionar los valores y las consecuencias que se ponen en juego en cada estrategia de intervencin. Lo cual significa que la calidad de su trabajo estar mediatizada no slo por su capacidad tcnica sino tambin por su compromiso en la resolucin de los problemas sociales (pobreza, marginacin, desigualdad, etc..) y en la lucha a favor de una sociedad ms justa e igualitaria (Patton 1994, Fetterman 1994, De Miguel 1999). La caracterstica fundamental de este enfoque es que el evaluador no se sita al margen del programa sino que constituye uno de los elementos del mismo y, en esa medida, asume un papel crtico respecto al cambio social. Frente a los enfoques anteriores en los que desempeaba el rol de experimentador y programador social, en este caso su trabajo se identifica con la misma finalidad que promueve el programa; es decir, necesita concebir su funcin dentro del conjunto de acciones que desarrolla el programa para promover el cambio y la mejora social (Nevo 1990, Sonnichsen 1994). Ahora bien, para asumir este papel es muy importante que el evaluador est comprometido terica y vitalmente en la resolucin de los problemas sociales, situacin que no siempre es un hecho. Independientemente del nivel de aceptacin de esta alternativa, lo que s debemos reconocer es que ha contribuido decisivamente a resaltar dos aspectos realmente importantes en todo proceso evaluativo. De una parte, la utilidad de las evaluaciones debe estimarse en funcin de las mejoras sociales y la mayora de las veces stas no se producen porque no se toman las decisiones pertinentes que se derivan de los informes evaluativos. De otra, para que las evaluaciones tengan consecuencias, es preciso que los evaluadores se preocupen por maximizar el uso de los resultados de sus trabajos analizando y neutralizando, en la medida de lo posible, los factores polticos y con-

La evaluacin de programas sociales: fundamentos y enfoques tericos

295

textuales que impiden que los sectores implicados tomen las decisiones oportunas. Cuando se asume el rol de agente de cambio, el evaluador no puede eludir ambos problemas, lo cual significa que no puede dar por concluido su trabajo mientras no sean tangibles las consecuencias; es decir, la mejoras generadas a partir de la evaluacin. Las diferencias entre las bases tericas implcitas en estas tres formas de conceptualizar un programa social son evidentes. De ah que existan muchas taxonomas que utilizan este criterio para clasificar los distintos enfoques tericos y metodolgicos que se aplican en los procesos evaluativos. Entre estas clasificaciones queremos resaltar dos que nos parecen muy pertinentes. Por un lado, la propuesta de Stufflebeam y Shinkfield (1987) que agrupa los modelos en seudoevaluaciones, cuasievaluaciones y evaluaciones verdaderas en funcin de la concepcin y propsitos hacia los que se dirige el proceso evaluador. De otro, la que recientemente propone Chelimsky (1997) que clasifica los distintos enfoques tericos en tres grandes perspectivas de acuerdo con la finalidad principal que orienta la evaluacin: a) estimar los resultados y la eficiencia de los programas (accountability perspective), b) obtener conocimientos especficos sobre el programa como estrategia de intervencin (knowledge perspective) y c) contribuir a mejorar el programa para incrementar la mejora y el desarrollo social (development perspective). Utilizando este criterio de clasificacin, este ltimo autor establece un contraste entre los posicionamientos de estas tres perspectivas respecto a nueve categoras o dimensiones que habitualmente utilizan para delimitar los supuestos de un enfoque terico. 4. LA CONSTRUCCIN DEL CONOCIMIENTO Independientemente del concepto que el evaluador tenga sobre el programa, la primera fase del proceso en toda evaluacin es la bsqueda de informacin tcnicamente apropiada para determinar el mrito o valor del objeto que vamos a evaluar; es decir, la bsqueda de evidencias a partir de las cuales podamos justificar nuestras valoraciones. As pues, cualquiera que sea la finalidad que oriente el proceso, el primer objetivo de una evaluacin es obtener informaciones pertinentes, vlidas y fiables que acten como soporte para nuestros juicios. Ello implica que, en esta bsqueda, debamos conjugar dos tipos de criterios utilidad y rigor que no siempre se tienen en cuenta. Para ello, el evaluador deber reflexionar sobre el tipo de conocimientos que necesita sobre el programa y cmo puede proceder para su construccin; es decir, concretar a qu denomina informacin tcnicamente apropiada y, en consecuencia, cmo va a proceder para su obtencin e interpretacin. Ambas cuestiones estn estrechamente relacionadas por lo que las ideas previas que tiene el evaluador sobre las cuestiones epistemolgicas sern determinantes a la hora de tomar estas decisiones. 4.1. Bases tericas del conocimiento Dado que existen diversos tipos de conocimientos (causacin, generalizacin, prediccin, descripcin, comprensin, etc.), el evaluador se ver obligado a justificar cu-

296

Mario de Miguel Daz

les van a constituir el objeto de su bsqueda ya que, en cada trabajo, unos pueden ser ms adecuados que otros. La predileccin por un tipo especfico de metodologa slo puede ser justificada a partir de los supuestos que fundamentan toda teora del conocimiento; es decir, las bases ontolgicas, epistemolgicas y metodolgicas que sustentan la evaluacin de programas como una disciplina inserta en el marco de la investigacin social emprica. En la prctica es habitual especificar los planteamientos metodolgicos con que se aborda la evaluacin de un programa pero rara vez se hace mencin alguna a las concepciones sobre la naturaleza de la realidad que es objeto de anlisis (bases ontolgicas) o sobre los fundamentos para la construccin del conocimiento cientfico (bases epistemolgicas). Los evaluadores normalmente consideran que abordar estas cuestiones es algo tangencial a su trabajo por lo que suelen evitarlas. Esta postura, aunque es comprensible, es realmente engaosa ya que como sealan Shadish, Cook y Leviton (1991) la opcin metodolgica elegida por un evaluador implica implicitamente una toma de postura ontolgica y epistemolgica. Por ello, a efectos de que no se produzcan graves disfunciones entre lo que se piensa sobre una realidad (programa) y lo que se hace en la prctica para conocerla, es necesario que los evaluadores se habiten a explicitar las bases tericas que justifican sus planteamientos metodolgicos; es decir, a conectar los mtodos que utilizan con los parmetros tericos que consideran pertinentes para la construccin del tipo de conocimiento explcito o tcito que esperan obtener a travs del proceso evaluativo. En la prctica esta situacin se resuelve acudiendo a los paradigmas clsicos que se emplean en la investigacin social, por lo que habitualmente se utilizan los distintos supuestos o principios que definen cada uno de ellos para justificar los distintos enfoques u modelos evaluativos. Ello determina que con frecuencia se hable de los paradigmas positivista, naturalista y crtico u otras de las denominaciones al uso aplicados al campo de la evaluacin de programas sin previamente reconceptualizar la idoneidad de los mismos para el tipo de conocimiento que se persigue en cada caso y, en consecuencia, sobre los mtodos a utilizar. Entendemos que esta extrapolacin constituye un apriorismo injustificado, ya que, de una parte, no tiene en cuenta que en este campo no existe ningn paradigma que resulte intachable ya que los problemas y dificultades son cuestiones inherentes a todos ellos y, de otra, supone abordar el tema de la diversidad paradigmtica desde las tesis de la incompatibilidad o complementariedad, al margen de las tendencias actuales sobre la unidad (Walker y Evers 1988, Howe 1992). Precisamente, debido a que ninguno de los paradigmas clsicos ofrece unas bases epistemolgicas plenamente satisfactorias al tipo de conocimiento que requiere esta realidad, diversos autores tratan de promover un marco terico adecuado que justifique esta disciplina que cada da adquiere ms relieve. Entre los esfuerzos realizados en esta lnea, consideramos muy interesante la propuesta reciente de un nuevo marco paradigmtico orientado hacia la explicacin social realista (Pawson y Tilley 1997) cuyos supuestos tericos se enmarcan en la tradicin que sita la explicacin cientfica entre el positivismo y el relativismo (Hesse 1974, Blaskar 1975, Sayer 1984). Avanzar en esta lnea nos puede aportar un marco epistemolgico ms adecuado que acudir a los paradigmas clsicos.

La evaluacin de programas sociales: fundamentos y enfoques tericos

297

4.2. Naturaleza de las evidencias: datos y opiniones Ubicados en el plano del realismo, hemos apuntado que el primer objetivo de todo proceso evaluador es la obtencin de evidencias sobre las que podamos apoyar nuestros juicios. En sentido etimolgico se dice que se tiene evidencia de algo cuando se tiene certeza; es decir, cuando la informacin que disponemos nos ofrece certidumbre manifiesta y perceptible. Ahora bien, en los procesos evaluativos recogemos informaciones de distinta naturaleza y no todas nos ofrecen el mismo grado de certidumbre. En unos casos son datos cuantitativos y cualitativos obtenidos a travs de procedimientos sistemticos ms o menos rigurosos que nos aportan informaciones precisas sobre diversos aspectos del programa. En otros recabamos las opiniones (percepciones, expectativas, valoraciones, etc) que nos manifiestan el concepto o juicio que formulan sobre diversos aspectos del programa las audiencias implicadas en el mismo. El problema radica en a qu tipo de informacin le atribuimos la categora de conocimiento cierto, vlido y fiable. Algunos evaluadores, inmersos en la lgica positivista, slo aceptan como certezas aquellos datos objetivos que han sido obtenidos mediante la utilizacin de una metodologa cientfica rigurosa. Este apriorismo les lleva lgicamente a centrar toda bsqueda de informacin sobre procedimientos metodolgicos duros en los que se garantiza la validez interna y externa de los datos obtenidos. Digamos que prevalecen los criterios formales a los prcticos, independientemente de su adecuacin para la evaluacin del diseo, desarrollo y mejora de un programa y de su utilidad para las audiencias implicadas. Con frecuencia un tratamiento y anlisis sofisticado de los datos impide que los resultados y los informes de una evaluacin sean comprensibles para aquellos que deben tomar decisiones (Cook y Reichardt 1986, Fetterman y Pitman 1986). Frente a ellos situaramos a quienes presentan una actitud ms pragmtica al considerar que el rango de un conocimiento viene determinado por su utilidad, lo cual significa ante todo preguntarse por el tipo de informacin que se precisa para evaluar cada fase de un programa y, especialmente, la que necesitan los clientes y las audiencias implicadas para tomar decisiones. Cuando se adopta este punto de vista resulta imprescindible recabar otro tipo de conocimientos construidos fundamentalmente a partir de datos subjetivos y hacerlo, igualmente, con la adecuada metodologa sistemtica para que puedan ser considerados como evidencias contrastadas. De hecho muchos de los trabajos evaluativos a realizar tienen esta finalidad: estimar el parecer o juicio sobre el programa que comparten la generalidad de personas implicadas en el mismo (opinin pblica). En definitiva, el evaluador deber precisar a qu tipo de conocimientos les atribuye la categora de evidencias. Todos sabemos que existen muchas clases diferentes de conocimientos que pueden ser objeto de nuestra bsqueda slo que, en cada estudio y fase del proceso evaluativo, se pone el nfasis sobre un determinado tipo o categora en funcin de su pertinencia y oportunidad. Ello no significa que unos sean mejores que otros, ya que todos tienen sus ventajas e inconvenientes. Lo aconsejable es abordar la evaluacin de un programa integrando distintas informaciones a partir de estudios

298

Mario de Miguel Daz

y mtodos diversos que nos permitan obtener conocimientos ms completos, fiables y vlidos, porque la calidad de un conocimiento se incrementa en la medida que existe un mayor escrutinio pblico sobre el mismo (Shadish, Cook y Leviton, 1991). 4.3. La controversia entre deduccin e induccin Partiendo de las consideraciones anteriores fcilmente se desprende que tan oportunos y adecuados son los procedimientos metodolgicos deductivos como los inductivos para la obtencin de evidencias. En los casos en los que buscamos comprobar relaciones entre inputs y outputs u obtener conocimientos generalizables es lgico que procedamos con una metodologa deductiva rigurosa que nos facilite una informacin conclusiva al respecto. Por el contrario, si el propsito no es generalizar una estrategia sino analizar y comprender lo que sucede en cada intervencin para contribuir a mejorar el programa, entonces lgicamente resultar ms adecuado llegar al conocimiento por va inductiva a partir de las distintas informaciones e interpretaciones que nos aporten los implicados. No cabe, por tanto, contraponer dos tipos de procedimientos verificacin frente a descubrimiento porque buscan cosas diferentes. De ah que los problemas tericos que conlleva la construccin del conocimiento en un campo tan complejo como es la evaluacin no se resuelvan sealando que se opta por tal o cual metodologa cuantitativa o cualitativa. La metodologa a utilizar es la resultante de una serie de decisiones tericas que previamente hay que definir y precisar de forma explcita si queremos justificar nuestros procedimientos. Por ello, una vez que hemos determinado qu clase de conocimientos se necesitan y por qu, ser el momento de proceder a concretar las bases tericas que justifican nuestros mtodos. Ello nos permitir discernir que no todos los mtodos son aconsejables para un mismo objetivo y que es muy importante considerar las ventajas e inconvenientes de cada uno de ellos en funcin de los diferentes propsitos que pretendemos alcanzar con una evaluacin. Lo cual significa que, desde el punto de vista epistemolgico, no existe ninguna primaca de unos mtodos sobre otros. De hecho, una de las principales caractersticas de la evaluacin de programas es que sus mtodos cubren toda la gama de paradigmas que dominan en la investigacin social (Rossi, Freeman y Lipsey, 1999). Si se asume esta postura, la consecuencia lgica es que no cabe enfrentar o contraponer las metodologas cuantitativas y cualitativas como ms o menos idneas para la evaluacin de programas ya que todas son necesarias. Las caractersticas especficas de los programas y de los procesos que conlleva su conceptualizacin, diseo, implementacin y evaluacin nos obliga a considerar fennemos de naturaleza distinta y en contextos diversos para cuyo conocimiento se requieren mtodos diferentes en cada caso, por lo que la polmica respecto a los paradigmas metodolgicos queda en un segundo plano (Cook y Reichardt 1986, Fetterman, Kaftarian y Wandersman, 1996). De ah que, la evaluacin de programas constituya actualmente el mbito de la investigacin social aplicada en el que se hace ms patente la superacin del debate entre metodologa cuantitativa y cualitativa, lo cual significa que clasificar los modelos evaluativos segn este criterio carece de sentido (Reichart y Rallis 1994, Cook 1997, De Miguel 1999).

La evaluacin de programas sociales: fundamentos y enfoques tericos

299

5. EL PROBLEMA DE LOS CRITERIOS DE VALOR La evaluacin de un programa no se limita a una mera recoleccin, anlisis e interpretacin de los datos para obtener evidencias. Una vez que disponemos de la informacin necesaria comienza la siguiente fase del proceso: formular los juicios de valor. A la vista de los datos obtenidos deberemos emitir nuestra valoracin de forma clara, precisando el rango y matices de los juicios (ausencia o presencia de calidad, puntos fuertes y dbiles, recomendaciones y propuestas, etc..). Ahora bien, para proceder a su formulacin el evaluador se encuentra con otro problema: concretar los criterios o marcos de referencia que va a utilizar para emitir sus juicios. Los datos obtenidos sobre un programa son simplemente datos ms o menos probados pero su valoracin depende del criterio elegido. Precisamente, debido a que en la prctica no existen evaluaciones libres de valores, el evaluador deber especificar en cada caso los criterios que utiliza como punto de referencia para formular sus juicios respecto a los distintos aspectos del programa. Habitualmente en la literatura se hace la distincin entre los conceptos de mrito y valor como dos marcos de referencia distintos intrnseco y extrnseco a la hora de formular los juicios (Guba Lincoln, 1981, 1989, Scriven 1991), trminos que a su vez nos remiten a otra clasificacin de los criterios de evaluacin en dos grandes bloques: criterios descriptivos y criterios prescriptivos (Alkin y Ellet, 1990). Realizamos una valoracin descriptiva cuando se elige o asume valores de otros como criterio de referencia para emitir los juicios sobre el programa. Por el contrario, denominamos una valoracin como prescriptiva cuando es el propio evaluador el que define los criterios que considera adecuados y correctos para emitir los juicios, al margen de que stos sean o no coincidentes con los que defienden otras audiencias. Las diferencias entre ambos enfoques se perciben fcilmente. Cuando realiza una valoracin decriptiva nuestro papel se limita a preguntarles a los dems los criterios a utilizar y aplicarlos con rigor y correccin. En cambio, optar por una valoracin prescriptiva exige decantarse por unos criterios frente a otros lo que supone previamente adoptar una postura personal ante todas las cuestiones relacionadas con los valores que se ponen en juego cada programa. En el primer caso, al aceptar los objetivos de los dems como criterios de valoracin, el evaluador puede conservar su independencia y mantenerse al margen de intereses sectoriales. En el segundo, dado que no existe una teora general que pueda considerarse correcta sobre la valoracin prescriptiva, es muy problemtico que un evaluador especialmente cuando acta como externo utilice sus propios criterios como marcos de referencia para evaluar un programa y que estos sean aceptados por todas las partes (Vedung, 1997). Por esta razn, en la prctica de las evaluaciones relativas a programas sociales es ms comn utilizar criterios descriptivos que prescriptivos. Aunque estos ltimos, en tanto que defienden la primaca de valores absolutos (igualdad, justicia, calidad intrnseca, etc) cumplen una funcin muy importante a lo largo de todo el proceso evaluativo, son realmente las teoras descriptivas las que nos proporcionan criterios ms legtimos y tiles tanto desde el punto de vista social como tcnico (Shadish, Cook y Leviton, 1991). De ah que la mayora de los evaluadores defiendan la utilizacin de este tipo de criterios para emitir los juicios de valor sobre los programas.

300

Mario de Miguel Daz

No obstante, el problema no concluye al sealar que se asume como referencia una valoracin descriptiva ya que los otros no son un conjunto homogneo sino que tienen, o pueden tener, intereses diversos y, en ocasiones, contrapuestos. Necesitamos, por tanto, sealar cul es la perspectiva valorativa externa que utilizamos para emitir los juicios; es decir, especificar el criterio que elegimos para juzgar que un programa es bueno. En este sentido cabe considerar que existen tres grandes opciones para el evaluador segn utilice preferentemente criterios polticos, democrticos o tcnicos. 5.1. Criterios polticos Todos conocemos que la mayora de los planes y programas de intervencin social estn patrocinados por organismos y servicios pblicos. Ello significa que tanto su concepcin como el diseo y la aplicacin normalmente responden a determinados supuestos ideolgicos e intereses de la poltica que los sustenta. Los programas constituyen formalmente la concrecin de unas decisiones polticas respecto a unas prioridades en materia de actuacin social, lo que indudablemente supone apostar por un tipo de valores. Esta apuesta no slo se traduce en promover un determinado tipo de programas sino tambin en todas las decisiones que implica la seleccin y priorizacin de estas estrategias, especialmente las relativas a la redistribucin y asignacin de los recursos. Cabe, por tanto, hablar de un tipo de evaluacin que asume como criterios de valoracin los objetivos polticos, econmicos, sociales, etc.. que se proponen alcanzar los organismos y agencias que patrocinan los diversos programas. El evaluador, en estos casos, acepta los valores del patrocinador (gestores, administradores, empresarios, etc) como punto de referencia para emitir sus juicios y as poder facilitarle la informacin que necesita para que pueda tomar las decisiones pertinentes. Este hecho no implica en modo alguno que el evaluador, tanto si centra su tarea sobre los objetivos cubiertos como sobre los recursos empleados, pierda su objetividad convirtiendo su trabajo en una tarea burocrtica al servicio de un estamento poltico. Al contrario, sus anlisis y recomendaciones pueden cuestionar tanto los criterios que inspiran las polticas pblicas como las acciones desarrolladas y, en consecuencia, promover cambios internos importantes. 5.2. Criterios democrticos Frente a la utilizacin exclusiva de los valores de los estamentos polticos, cabe pensar que quienes mejor conocen la oportunidad y efectividad de toda estrategia de intervencin social son la personas directamente implicadas en la misma por lo que sus criterios deben constituir un marco de referencia preferente para formular los juicios de valor. Al margen de los planteamientos de los gestores, debemos considerar que todas las personas que constituyen las audiencias de un programa generan en menor o mayor grado una serie de expectativas, percepciones y valoraciones intrnsecas que es necesario tener en cuenta a la hora de emitir las valoraciones sobre su oportunidad y eficacia. Ms an, en tanto que es algo que les afecta directamente, no

La evaluacin de programas sociales: fundamentos y enfoques tericos

301

slo tienen derecho a ello sino que no podemos prescindir de sus criterios para valorar el programa (De Miguel, 1995). Cuando el evaluador asume este marco de referencia decimos que realiza una valoracin descriptiva pluralista basada en criterios democrticos. Ahora bien, para que el evaluador asuma este tipo de perspectiva valorativa es necesario que previamente haya enfocado todo el proceso evaluativo de forma participativa; es decir, teniendo en cuenta que quienes estn directamente implicados en un programa son los que deben ser los actores principales de su evaluacin. Los argumentos para ello estn claros. De una parte, son los que conocen ms de cerca la realidad del mismo y, por tanto, pueden facilitarnos informaciones ms pertinentes e interesantes. De otra, son los ms implicados en las consecuencias y difcilmente se podrn poner en marcha mejoras si ellos no participan activamente en su valoracin y elaboracin. Todas las propuestas y postulados actuales sobre evaluacin pluralista insisten en esta lnea: la oportunidad y conveniencia de utilizar criterios democrticos a la hora de disear, aplicar y evaluar cualquier estrategia de intervencin social (Fetterman, Kaftarian y Wandersman 1996, FlocHlay y Plottu 1998, Apodaca 1999). 5.3. Criterios tcnicos En una posicin intermedia entre la poltica y la ciudadana situaramos la valoracin tcnica; es decir, aquella que lleva a cabo el evaluador mediante la aplicacin de procedimientos e instrumentos cientficos apropiados. Los procesos de evaluacin conllevan la aplicacin de una serie de reglas y principios sobre estrategias de intervencin social cuya correcta utilizacin contribuye a clarificar tanto la adecuacin de los programas como la calidad de sus resultados (Martin 1993, Martin y Kettner, 1996). Cuando el evaluador asume este enfoque utiliza la propia teora normativa sobre evaluacin de programas como criterio o marco de referencia a la hora de formular sus juicios de valor; es decir, la calidad de las metas propuestas, la coherencia del diseo efectuado, la adecuacin de los procesos de implementacin, la efectividad de los resultados e impactos generados y la oportunidad y viabilidad de las decisiones tomadas en relacin con los procesos de mejora. No obstante, el problema no se resuelve sealando que se van a utilizar criterios tcnicos ya que supone dejar los marcos de referencia demasiado abiertos. De ah que el evaluador deba precisar tambin las normas, estndares e indicadores que utilizar en cada trabajo para valorar los diferentes aspectos del programa. En unos casos para establecer estas normas podr acudir a referencias nacionales e internacionales al uso (estndares de calidad, normas internacionales, protocolos sobre buenas prcticas, etc..). En otros se ver obligado a establecer criterios y elaborar indicadores que le permitan objetivar el proceso de valoracin y justificar ante las audiencias los juicios emitidos. La dificultad que entraa esta tarea determina que sea una de las cuestiones tcnicas ms problemticas y controvertidas en todos los procesos evaluativos (De Miguel, 1991). Dado que cabe utilizar diferentes perspectivas valorativas como marco de referencia para formular los juicios, se pueden igualmente establecer taxonomas evaluativas

302

Mario de Miguel Daz

utilizando este criterio de clasificacin. As, algunos autores hablan de modelos descriptivos y modelos prescriptivos (Alkin y Ellet, 1990), y otros de evaluacin burocrtica, autocrtica y democrtica (Mac Donald, 1977). Tambin se distingue entre modelos preordenados o convencionales y modelos pluralistas o participativos segn el grado de implicacin de las audiencias en los procesos de valoracin (Lincoln y Guba 1985, Guba y Lincoln 1989, Rebien 1997). Ahora bien, independientemente de la oportunidad y adecuacin de estas clasificaciones, lo que s debemos constatar es que el cuestionamiento actual de criterios polticos y tcnicos ha generado una fuerte tendencia a favor de los criterios democrticos que se manifiesta en todos los enfoques evaluativos actuales evaluacin pluralista, evaluacin participativa, evaluacin respondente, evaluacin democrtica, cluster evaluation, empowerment evaluation, etc. cuyo denominador comn se caracteriza por concebir el trabajo del evaluador como un compromiso con los derechos de todas las partes con el fin de contribuir a la educacin cvica, el desarrollo humano y la emancipacin social (Fetterman 1994, Smith 1998). 6. UTILIDAD Y CREDIBILIDAD DE LOS INFORMES Toda evaluacin debe concluir con la toma de decisiones que se deriven de las valoraciones formuladas. Aunque el objetivo inmediato de todo proceso es ofrecer juicios razonados para la toma de decisiones, la finalidad ltima de toda evaluacin es lograr que tenga consecuencias. Precisamente, porque todos esperamos que nuestro trabajo sea til para resolver problemas sociales, el evaluador no pueda prescindir del anlisis y explicacin de las relaciones que existen entre los resultados y recomendaciones que emite en sus informes, las decisiones que se toman al respecto y las consecuencias que stas tienen socialmente. No preocuparse por estas cuestiones pone en tela de juicio la credibilidad de nuestro trabajo. Por ello, la reflexin terica que conlleva el diseo y aplicacin de una estrategia evaluativa debe abarcar tambin el anlisis de los factores cmo, cundo, dnde, para qu, que condicionan la utilizacin posterior de los resultados que se aportan en los informes (Rebien 1997, Chelimsky 1997). Ahora bien, abordar el tema de cmo se puede maximizar el uso de los informes evaluativos (knowledge use) no una tarea fcil ya que son mltiples los problemas y factores implicados. No obstante, cabra agrupar esta problemtica en torno a cuatro preguntas o interrogantes fundamentales: Qu clases o tipos de usos pueden tener nuestros informes?, Quines son los usuarios potenciales de los mismos?, Qu papel puede jugar el informe para estos usuarios?, Cules son los factores polticos y contextuales que pueden dificultar la utilizacin de los resultados? Efectuaremos algunos comentarios sobre estas cuatro cuestiones. 6.1. Posibles usos del Informe Abordar el tema de la utilidad o usos del informe nos remite nuevamente a la finalidad que promueve y orienta todo el trabajo evaluativo, ya que entre ambas cuestiones existe una mutua implicacin. Como ya hemos comentado, existen propuestas

La evaluacin de programas sociales: fundamentos y enfoques tericos

303

diferentes en relacin a los fines de una evaluacin aunque, tomando como referencia los usos, se podran agrupar las diversas alternativas en dos bloques: a) los que entienden que la finalidad primordial de una evaluacin es la bsqueda de observaciones y explicaciones generalizables mediante la utilizacin de procedimientos cientficos rigurosos y b) los que consideran que lo verdaderamente importante es facilitar a todos los implicados la informacin que necesitan para tomar decisiones (stakeholders services). En el primer caso se conciben el informe evaluativo de forma similar al de una investigacin por lo que los problemas de difusin, diseminacin y utilizacin de los conocimientos son muy afines a los que suceden en otras disciplinas sociales y que se conocen a travs de la literatura especializada (Keeves, 1988). En el segundo, dado que cada evaluacin de un programa es una tarea singular, el evaluador se ve obligado plantearse en cada proyecto cul puede ser la utilizacin posterior o usos posibles que puede tener la informacin que se aporta en los informes. Al respecto, las demandas y usos ms frecuentes que se hacen de los informes evaluativos son los siguientes: para tomar decisiones, identificar problemas, inducir acciones y justificar decisiones (Braskamp y Brown 1980, Ewell 1989). 6.2. Identificar los usuarios potenciales de la informacin Precisamente porque entendemos que la finalidad prioritaria en toda evaluacin de programas es facilitar a las audiencias la informacin que necesitan, consideramos que, inicialmente, el evaluador deber identificar quines son los usuarios potenciales de su trabajo ya que de ello dependen los tipos de usos que pueden tener sus informes. Deber tener en cuenta, adems, que aunque los trabajos sean objeto de contrato no significa en modo alguno que los informes tengan utilidad solamente para los clientes. De ah que una de las primeras cuestiones para enfatizar la utilizacin de los resultados sea la identificacin de los usuarios potenciales de nuestro trabajo con el fin de ofrecerles la informacin que necesitan, lo que implica, previamente, analizar los problemas especficos que se dan en cada contexto y programa: audiencias implicadas, las posibilidades que tienen de acceso a la informacin, tipos de informes a elaborar, etc.. En toda evaluacin existen muchos implicados que, en mayor o menor medida, pueden hacer uso de los informes siempre que estos les ofrezcan informaciones oportunas y asequibles Aunque algunos estn ms comprometidos que otros en los procesos de toma de decisiones ello no significa que los trabajos no les sean tiles. En la medida que hacemos llegar informes adecuados a todas las partes implicadas en un programa gestores, administradores, agencias, instituciones, cientficos, tcnicos, implicados, ciudadanos, etc. incrementamos las posibilidades de que nuestro trabajo tenga mas consecuencias. 6.3. Clarificar el nivel de operatividad del informe Adems de identificar los usuarios potenciales de nuestro trabajo tambin tenemos que plantearnos el papel que va jugar el propio informe en los procesos de toma de decisiones. Aunque existen muchas propuestas al respecto, siguiendo a Shadish, Cook

304

Mario de Miguel Daz

y Leviton (1991), cabe establecer tres tipos de planteamientos donde los informes se utilizan con criterios diferentes: instrumental, conceptual y persuasivo. Se considera que un informe es instrumental cuando los resultados obtenidos se utilizan de forma directa para tomar decisiones sobre el programa. Se considera como informe conceptual aquel cuyas valoraciones no suelen ser utilizadas como soporte para decidir cambios pero que, indirectamente, influyen sobre cmo perciben y valoran las personas las intervenciones sociales. Finalmente se entiende que el informe cumple una funcin persuasiva cuando las evaluaciones son utilizadas para convencer a las audiencias que tienen estimaciones apriorsticas sobre los programas de que la evaluacin es el proceso correcto para valorar cualquier estrategia de intervencin. Precisar estas cuestiones previamente no slo nos ayudar a elaborar informes ms operativos y tiles desde el punto de vista prctico sino tambin a conceptualizar la funcin o papel que le otorgan a nuestro trabajo las partes implicadas en una evaluacin. Con el fin de evitar confusiones, algunas de estas cuestiones deben quedar explcitas en el protocolo que se elabore en la fase de negociacin de proyecto. 6.4. Elaboracin y difusin adecuada de los informes Finalmente, para maximizar el uso de los informes tambin debemos considerar otros problemas que tienen que ver con el proceso de elaboracin y difusin de los resultados. Respecto a la elaboracin, el evaluador deber preocuparse de facilitar a cada audiencia la informacin precisa, con datos que pueda fcilmente interpretar y con un lenguaje adecuado. De ah que en este campo no sea oportuno utilizar tcnicas de tratamiento y anlisis de datos complejas cuyos resultados son difciles de valorar salvo para especialistas. Los problemas de la difusin generalmente depende de factores de orden poltico que se generan en cada contexto de forma especial. En ocasiones, quienes encargan la evaluacin se aduean del informe y slo lo difunden en la medida que beneficia a sus intereses. En el sentido opuesto situaramos los planteamientos que consideran que todos los informes deben ser difundidos en trminos inteligibles para todas la audiencias con el fin de que todos puedan participar y valorar tanto la utilizacin que se hace de los resultados como de las decisiones que se toman al respecto. Aunque las posibilidades del evaluador al respecto son bastante limitadas, ello no significa que no deba tener en cuenta estos problemas (McLaughlin y McLaughlin 1989, Wholey, Hatry y Newcomer 1994). En resumen, aunque inicialmente la utilidad de una evaluacin depende de los propsitos, audiencias e intereses en funcin de los cuales se establece, en la prctica son los procesos de toma decisiones los que determinan finalmente las consecuencias que tiene cada proceso. Por ello, la tarea del evaluador no concluye con la elaboracin del informe sino que debe reflexionar sobre los problemas que genera su utilizacin para que tenga consecuencias. Asumir esta perspectiva implica cuestionar no slo qu informacin necesitan quienes deben tomar decisiones (evaluacin orientada a la decisin) sino tambin la que deben conocer todos los implicados (evaluacin orientada al usuario). No es lo mismo pensar que las decisiones dependen de los gestores y administra-

La evaluacin de programas sociales: fundamentos y enfoques tericos

305

dores de los programas que involucrar tambin a las audiencias, clientes e implicados. Tampoco es igual que el informe aporte datos concluyentes en trminos tcnicos o se faciliten informaciones y recomendaciones adecuadas a las diversas audiencias. Fcilmente se advierte que la utilidad de una evaluacin es mayor en la medida que tienen posibilidad de acceso a la informacin todos los sectores implicados. De lo cual se deduce que el problema de la utilidad y usos de los informes es una cuestin compleja que depende de factores diversos (identificacin de usuarios potenciales de los informes, claridad de los resultados, anlisis de las alternativas, procesos de toma de decisiones, etc..), que necesitan ser analizados con cierto detalle para evitar obstculos que impiden su utilizacin. De ah que, durante los ltimos aos, hayan aparecido diversas corrientes y enfoques metodolgicos que centran su preocupacin sobre las consecuencias de los informes: decision-oriented evaluation (Stufflebeam y al., 1971), utilization-focused evaluation (Patton, 1978) stakeholder-based evaluation (Bryk, 1983), beyond decision-oriented evaluation (Sheerens, 1987), outcomes-based evaluation (Schalock, 1995), etc.. Aunque estos enfoques presentan entre ellos matices distintos, el denominador comn de todos ellos es la necesidad de abordar los procesos evaluativos teniendo en cuenta que la credibilidad del evaluador se halla comprometida por la utilidad y usos que se derivan de sus informes. 7. DELIMITACIN DEL ENFOQUE METODOLGICO Al iniciar el presente trabajo hemos distinguido entre fundamentos y enfoques evaluativos como dos trminos relativos a la evaluacin del programa que tienen un significado diferente. Tambin hemos dicho que los evaluadores suelen ocuparse ms de precisar los segundos que los primeros por lo que hemos considerado oportuno abordar algunos conceptos relacionados con los fundamentos porque, desde nuestro punto de vista, stos deben ser objeto de reflexin antes de optar por un determinado enfoque metodolgico. La eleccin de una aproximacin o enfoque especfico no se limita a una simple distincin entre metodologa cuantitativa y cualitativa ya que supondra una simplificacin absurda de una realidad compleja que tiene muchos matices y requiere ser abordada de forma comprensiva. En la prctica, la determinacin de un enfoque metodolgico (approach) se conoce como la eleccin del modelo y el diseo de una evaluacin. Cuando hablamos de modelo hacemos referencia a la forma o modo de abordar y representar la conceptualizacin terica del programa que consideramos oportuna para llevar a cabo su evaluacin una vez que hemos analizado los supuestos o fundamentos tericos que justifican esta actividad: naturaleza del programa, la finalidad que nos proponemos, audiencias implicadas, informacin necesaria, metodologa a utilizar, criterios de evaluacin, utilidad o usos de los resultados, etc. Por el contrario, el trmino diseo alude al proceso que deberemos seguir para obtener las informaciones que renan la categora de certezas. El objetivo de los modelos es lograr una representacin terica sobre los fenmenos a investigar y los procesos a realizar que sea coherente y adecuada a la naturaleza del programa y los propsitos de nuestro trabajo. La finalidad de los diseos es suministrar a los investigadores una lgica cientfica que aporte validez tanto a los

306

Mario de Miguel Daz

procesos de evaluacin como a los resultados. As pues, mientras que el modelo alude al marco terico que justifica el enfoque que hemos elegido para evaluar un programa, el diseo hace referencia a la estrategia metodolgica que vamos a utilizar para que los datos obtenidos puedan ser considerados como evidencias (De Miguel, 2000). 7.1. La eleccin del modelo evaluativo Al igual que sucede en toda investigacin social, la eleccin de un modelo para evaluar un programa implica tomar decisiones sobre una serie de cuestiones tericas relativas al tipo de estrategia programa que se pretende evaluar, las bases epistemolgicas que justifican la construccin de los conocimientos, los criterios de valoracin y la finalidad o usos que justifican la evaluacin. Las preguntas claves que se debe formular un evaluador antes de decidir el marco terico en el que va a situar su trabajo son las siguientes: Qu quiero saber o qu quiere saber el cliente que me encarga la evaluacin en relacin con el programa? De qu tipo de programa estamos hablando?, Qu pretende hacer y/o decidir el cliente respecto al programa objeto de estudio? Qu tipo de informacin necesito? Cules son los procedimientos idneos para su obtencin? Cul es el papel que voy a desempear?, etc Las respuestas a estas cuestiones son las que realmente determinan el enfoque o aproximacin metodolgica y, en consecuencia, las tcticas y estrategias que justifican un proceso evaluativo que debemos adoptar. 7.1.1. Finalidad del estudio evaluativo El primer paso para elegir un modelo evaluativo es identificar los fines que se pretenden alcanzar. La identificacin de los fines se puede realizar mediante dos procedimientos: segn el tipo de funcin que persiguen los estudios y de acuerdo con los objetivos concretos que se plantean. Respecto a lo primero, actualmente se considera que los procesos evaluativos se orientan a una de estas tres funciones bsicas: la rendicin de cuentas (accountability), la mejora de los programas (development) y el incremento de conocimientos respecto al mismo (knowledge) (Chelimsky, 1997). Desde el punto de vista de los objetivos los principales propsitos que determinan la peticin de procesos evaluativos se pueden agrupar en tres grandes bloques, a saber: a) Comprobar si los objetivos de los programas han sido alcanzados, b) Recabar opiniones fundamentadas sobre la valoracin que hacen del programa las audiencias implicadas, y c) Obtener informaciones cualificadas a partir de las cuales se pueda tomar decisiones sobre el futuro de un programa especfico (Vedung 1997). A estas tres alternativas se aade una cuarta cuando el objetivo es estimar la relacin entre los recursos empleados y los resultados obtenidos (coste-efectividad, coste-beneficio) que da lugar a los modelos econmicos (Lewin 1983, Drummond, Stoddart, y Torrance 1991, Nas 1996). El evaluador deber precisar cul o cules son los propsitos concretos que realmente promueven cada trabajo con el fin de adoptar un marco terico adecuado. Aunque ciertamente cada persona puede generar una comprensin peculiar de los intereses de los patrocinadores y las necesidades de los clientes y, en consecuencia,

La evaluacin de programas sociales: fundamentos y enfoques tericos

307

establecer con libertad los parmetros tericos que considera apropiados para enfocar el proceso evaluativo, procede sealar que el modelo a utilizar depende del tipo de informacin que se solicita y que el evaluador debe ajustar su eleccin a la finalidad que justifica el encargo. En otros trminos, los modelos deben ser elegidos en funcin de los propsitos del estudio. 7.1.2. Concrecin de los parmetros del modelo Una vez que hemos concretado los fines procede delimitar el resto de dimensiones, factores y variables que intervienen en la determinacin y representacin de un modelo. Como ya hemos comentado en otro momento (De Miguel, 1989), para que un modelo pueda servir de gua, adems de estar fundamentado sobre una teora, necesita concretar los fenmenos que intervienen y las relaciones que se establecen entre los mismos. Exige, adems, especificar operacionalmente las variables con el fin de probar la validez emprica del modelo y la posibilidad de generalizar su aplicacin. En el caso de la evaluacin de un programa conlleva, adems, una toma de postura sobre el papel de los valores y rol que el evaluador va a desempear ante todos los factores implicados en el proceso a los que hemos aludido anteriormente. As pues, una vez clarificada la finalidad y antes de tomar una opcin metodolgica, el evaluador deber reflexionar y explicitar los distintos supuestos o fundamentos que adopta en cada caso concreto y que constituyen los determinantes inmediatos en la eleccin de modelo. A la vista de la literatura (Shadish, Cook y Leviton 1991, Rebien 1997), no existe consenso entre los autores sobre cules deben ser los factores o dimensiones que se consideran bsicas para la construccin de un modelo evaluativo, como paso previo para su especificacin. Nuestra propuesta al respecto es que, al menos, se deben considerar los parmetros que hemos abordado anteriormente, a saber: la conceptualizacin del programa como estrategia de intervencin social, las bases epistemolgicas que determinan la construccin de los conocimientos, el tipo de criterios a utilizar para la formular los juicios de valor, la utilidad o usos de que pueden tener los informes y el papel a desempear por el evaluador a lo largo del proceso. Consideramos que estas dimensiones aglutinan las variables o caractersticas ms importantes a partir de las cuales se puede definir un modelo evaluativo 7.1.3. Utilizacin de las taxonomas Generalmente los evaluadores no construyen un modelo especfico para cada evaluacin sino que utilizan como marco de referencia alguno de los que ya estn formalizados en algunas de las taxonomas al uso (MacDonald 1977, House 1980, Guba y Lincoln 1981, Madaus, Scriven y Stufflebeam 1983, Worthen y Sanders 1987, Stufflebeam y Shinkfield 1987, Stake y Mabry 1997, etc). El problema que presentan estas taxonomas es que estn elaboradas con distintos criterios de clasificacin que impiden cotejar y contrastar las distintas categoras que establecen. La eleccin de una u otra como marco de referencia ya implica una toma de postura del evaluador que si no se hace de forma razonada puede, en principio, generar incoherencias al no existir

308

Mario de Miguel Daz

correspondencia entre los supuestos tericos del modelo elegido y el tipo de evaluacin que procede realizar en funcin de la finalidad. Entre estas taxonomas nos interesa destacar de forma especial la propuesta por Stecher y Davis (1991) ya que desde nuestro punto de vista nos parece realmente til pues no slo tiene en cuenta como criterio de clasificacin la finalidad de la evaluacin sino que tambin utiliza para su elaboracin dimensiones muy semejantes a las que nosotros proponemos: la naturaleza del programa, las preguntas o cuestiones bsicas a resolver, la informacin que necesitamos, el eje o ncleo sobre el que se centra el proceso y el rol que el evaluador desempea en el proceso. A partir de estos criterios, estos autores agrupan los modelos evaluativos en cinco enfoques experimental, dirigido a metas, orientado a las decisiones, centrados sobre los clientes y respondente que pueden ser considerados como arquetipos representativos de las diversas opciones o aproximaciones metodolgicas que se pueden plantear a la hora de abordar la evaluacin de un programa. Desde nuestro punto de vista, esta clasificacin de los modelos nos parece realmente interesante y til como ya hemos comentado en otro momento (De Miguel, 2000). 7.2. La eleccin del diseo y los mtodos Una vez que hemos decidido el enfoque o modelo que vamos a asumir para llevar a cabo la evaluacin procede establecer el diseo; es decir, la estrategia o plan que vamos a seguir donde se especifica la secuencia de decisiones acerca de cmo recoger, ordenar y analizar los datos en funcin de los fines de programa (Anguera, 1992). De ah que el trmino diseo se utilice como sinnimo de plan o estrategia metodolgica que orienta el proceso evaluativo, lo cual implica realizar una planificacin detallada sobre los aspectos o dimensiones del objeto a evaluar que vamos a considerar, los procedimientos que vamos a utilizar para recabar y analizar la informacin pertinente, y los sistemas a emplear para dar validez a las informaciones que van a sustentar los juicios de valor que se formulen. Al igual que sucede con los modelos, tambin podemos utilizar diversos criterios a la hora de clasificar los diseos evaluativos (Ruttman 1984, Fitz-Gibbon y Morris 1987, Rossi y Freeman 1989, Scriven 1991). Entre estos criterios queremos destacar los tres que se utilizan con mas frecuencia: 7.2.1. En funcin de enfoque terico adoptado Utilizando este criterio los diseos se suelen clasificar de forma dicotmica en funcin de que el marco de la planificacin se establezca tomando como referencia la evaluacin de los efectos del programa o el significado que ste ha tenido para los implicados. Esta es la postura de adoptan algunos autores (Guba y Linclon 1981, Cronbach 1982, Patton 1987, Rebien 1997) al plantear dos tipos de diseos frontalmente opuestos preordenado y respondente como representativos de dos formas diferentes de abordar los procesos evaluativos relativos a los programas sociales. Una evaluacin preordenada parte de un modelo terico formalizado que se especifica mediante un

La evaluacin de programas sociales: fundamentos y enfoques tericos

309

plan en el que se detallan todos los elementos del proceso: objetivos, audiencias, informacin necesaria, instrumentos, fuentes, tcnicas de anlisis, criterios de comparacin, etc. Por el contrario, la evaluacin respondente se caracteriza por partir de marco terico flexible que busca las valoraciones de las personas implicadas en el programa para lo cual es necesario efectuar una planificacin emergente que se pueda reconducir en cada etapa del proceso en funcin de las observaciones que se deduzcan de la etapa anterior. 7.2.2. El sistema de control que permitan las variables del programa Desde un punto de vista metodolgico estricto, el concepto de diseo alude a la estrategia mediante la cual se pretende probar el efecto de una o ms variables manipuladas; es decir, un plan que nos permita constatar los efectos de las intervenciones promovidas mediante un programa. De ah que cuando se utiliza el concepto de diseo con terminologa positivista, su ordenacin y clasificacin se establece a partir de los tres requisitos o condiciones que debe reunir todo experimento, a saber: aleatorizacin de los sujetos, manipulacin de la variable independiente y grupo de control. Si trasladamos estos requisitos a la metodologa de evaluacin de programas, los diseos evaluativos puede ser clasificados en cuatro grandes grupos en funcin del grado o nivel de garanta con que se cumplen estos requisitos. As, de acuerdo con Anguera (1992, 1995), los estudios evaluativos se pueden clasificar en funcin de la metodologa utilizada en los siguientes tipos: observacionales, selectivos, cuasiexperimentales y experimentales. Consideramos que a esta clasificacin, aunque es muy comprensiva, se debera aadir la metodologa centrada sobre costos-beneficios, cuyos diseos se utilizan cuando la finalidad del proceso se orienta a estimar la eficiencia del programa. 7.2.3. El sistema de control que se utiliza sobre la informacin recabada Finalmente elegir un diseo implica determinar el procedimiento mediante el cual vamos a contrastar la informacin que recabamos sobre el programa global o parcialmente a fin de obtener las evidencias necesarias. Para ello no slo cabe recurrir a los procedimientos propios de los estudios experimentales sino que tambin existen otros sistemas de control que aunque no sean tan potentes pueden ser ms adecuados y oportunos para ser utilizados en determinadas fases y/o tipos de programas. En esta lnea positivista, algunos autores (Rossi y Freeman, 1989) clasifican los diseos utilizando como criterios la existencia de grupo de control y el procedimiento utilizado para ello. As hablan de diseos comparativos o de cobertura parcial mediante controles aleatorios, construidos y estadsticos, y diseos no comparativos o cobertura total que utilizan controles genricos, reflexivos y en la sombra. Desde enfoques participativos los sistemas de control no se fundamentan tanto en la estructura del diseo como en las tcnicas (juicios de expertos, comisiones ad hoc, triangulacin, etc..) que se utilizan para contrastar y consensuar la informacin procedente de las diversos estudios y audiencias (Pineault y Davaluy 1989, Apodaca 1999).

310 7.3. Correspondencia entre modelos y diseos

Mario de Miguel Daz

Hemos avanzado que entre modelos y diseos existe una interaccin evidente que se hace igualmente patente en el caso de la evaluacin de un programa. Establecido el modelo, la elaboracin del diseo constituye, en parte, una consecuencia lgica. Cuando la evaluacin se enfoca desde una aproximacin positivista lo lgico es que elaboremos un diseo preordenado y que utilicemos una metodologa lo ms coherente posible con los supuestos de este paradigma aplicando sistemas de control a ser posible comparativos. Por el contrario, si nuestro enfoque se establece desde posiciones ms pluralistas lo normal es que la planificacin del diseo se organice de forma ms flexible fundamentalmente a partir de estudios observacionales y utilizando procedimientos de control participativos y no comparativos. As pues, dado el abanico de modelos y diseos posibles, el evaluador deber concretar en cada caso la estrategia metodolgica que considera ms apropiada en funcin de su reflexin y anlisis sobre los supuestos tericos que justifican toda evaluacin, pero teniendo en cuenta que entre modelo y diseo debe existir una clara coherencia, tal como hemos plasmado en otro trabajo anterior (De Miguel, 2000). Especialmente deber valorar a la hora de tomar una opcin las consecuencias prcticas, ya que la finalidad ltima en toda evaluacin de programas es la toma de decisiones pertinentes que incidan sobre la mejora del programa. De ah la necesidad de potenciar enfoques evaluativos integradores que tengan en cuenta tanto los efectos del programa como su significado para los implicados ya que ambos aspectos son esenciales a la hora de elaborar las propuestas de mejora. Ello implica, de nuestro punto de vista, que sea aconsejable abordar siempre la evaluacin de un programa con un enfoque comprensivo que integre aproximaciones tericas diversas y estrategias metodolgicas complementarias. Lo cual significa optar por modelos y diseos menos radicales y ms eclcticos. 8. CONSIDERACIONES FINALES Una vez que hemos abordado algunos de los problemas que conciernen a la fundamentacin terica de la evaluacin de programas y a las exigencias que conlleva la eleccin de un enfoque o aproximacin metodolgica, procede efectuar ciertas consideraciones finales que, a modo de resumen, contribuyan a clarificar el complejo marco en el que se mueve el desarrollo de esta disciplina y el trabajo de un evaluador. Como ya hemos dicho, la evaluacin de programas es una tarea esencialmente prctica pero ello no significa que est alejada de la teora. Al contrario, necesitamos ms y mejor teora que ilumine lo qu hacemos, cmo lo hacemos y por qu. En definitiva, necesitamos justificar tericamente una actividad que es esencialmente aplicada. En este proceso de bsqueda hacia una fundamentacin terica, consideramos oportuno recapitular algunas de las lecciones que hemos aprendido desde la experiencia (Shadish, Cook y Leviton 1991, Chelimsky 1997, Cook 1977, Scriven 1997, Stake y Mabry 1997, Rossi, Freeman y Lipsey 1999, De Miguel 1999b) y presentar algunas de las connotaciones ms relevantes que actualmente enmarcan la evaluacin de toda

La evaluacin de programas sociales: fundamentos y enfoques tericos

311

estrategia de intervencin social. Sealamos, entre ellas, aquellas que nos parecen que pueden contribuir positivamente a consolidar la identidad cientfica de esta disciplina. A saber: 1. Profundizar sobre las teoras relacionadas con el cambio social Abordar la evaluacin de una estrategia de intervencin social exige previamente precisar qu se entiende por cambio o mejora social y cmo debemos proceder para que esto sea posible. Ello requiere un conocimiento de las teoras sobre cmo se pueden resolver los problemas sociales y, en consecuencia, sobre las caractersticas que debe reunir toda estrategia de intervencin que se oriente a promover determinadas mejoras. En esta lnea algunos autores sealan la necesidad de que quienes planifican los programas formulen previamente una teora normativa que defina y justifique cada una de las intervenciones y cmo se debe aplicar para que tenga las consecuencias deseadas (Wholey, Hatry y Newcomer, 1994). El evaluador que tiene un mayor conocimiento de las teoras sobre el cambio social estar en mejores condiciones de llevar a cabo procesos evaluativos ms adecuados. 2. Establecer una teora evaluativa explcita adems de implcita Toda evaluacin requiere una reflexin terica previa sobre el tipo de programa objeto de anlisis con el fin de justificar los modelos y procedimientos que vamos a utilizar para llevar a cabo los procesos evaluativos. Generalmente esta reflexin no se lleva a cabo de forma explcita, aunque de una u otra forma todos los evaluadores tienen una teora sobre la evaluacin de forma implcita. Por ello, a efectos de que nuestra actividad sea algo ms que una metodologa aplicada, necesitamos reflexionar sobre los diversos supuestos que definen nuestro concepto sobre el programa y explicitar los parmetros tericos y criteriales a partir de los cuales vamos a elegir el enfoque evaluativo. Necesitamos pasar de una teora tcita o implcita sobre el programa a una teora articulada que oriente y justifique la aproximacin metodolgica elegida (Weis 1997, Rossi, Freeman y Lipsey 1999). 3. Clarificar los fundamentos epistemolgicos de toda evaluacin Ahora bien, para llegar a la formulacin de una teora explcita es necesario que, antes de proceder a la planificacin de una evaluacin, el evaluador reflexione y precise el punto de vista que adopta en relacin con los diferentes supuestos o fundamentos que delimitan y justifican la evaluacin de un programa concreto. De modo especial deber concretar el marco de referencia que va a utilizar en el proceso de construccin del conocimiento; es decir, delimitar qu pretende conocer, qu tipo de conocimientos necesita y cmo va a proceder para su construccin. Esta concrecin lgicamente implica reflexionar antes sobre cuestiones bsicas de carcter ontolgico, epistemolgico y metodolgico que son claves para poder entender y explicar sus decisiones prcticas (Shadish, Cook y Leviton 1991, Rebien 1997). Suplir esta reflexin por la afiliacin a un paradigma no contribuye al desarrollo del pensamiento crtico del evaluador. 4. Abordar la evaluacin como una tarea eclctica Este recurso habitualmente utilizado de definir o explicitar los supuestos tericos dentro de un paradigma no es recomendable en el campo de la evaluacin porque,

312

Mario de Miguel Daz

como ya hemos avanzado, no existe un paradigma que ofrezca un marco terico comprensivo capaz de integrar todos los interrogantes y problemas que conlleva la realizacin de un proceso evaluativo que por su propia naturaleza debe responder a distintas finalidades, diferentes audiencias y usos muy diversos. La evaluacin es esencialmente una tarea eclctica por lo que es muy cuestionable la utilizacin de los paradigmas clsicos con este fin (Cook, 1997). Este hecho nos advierte, al mismo tiempo, en la necesidad de profundizar sobre el estatuto cientfico de esta disciplina desde otras perspectivas ms realistas (Pawson y Tilley, 1997). 5. Elegir los mtodos en funcin de la finalidad Dado que no existe un prototipo de paradigma para evaluar programas, procede insistir que los mtodos deben ser elegidos en funcin de la finalidad que orienta el proceso y no al revs como frecuentemente sucede. La experiencia nos lleva a afirmar que no existen mtodos de evaluacin que se puedan aplicar siempre y en todas las situaciones sino que stos deben ser elegidos en funcin del propsito hacia la que se orienta la evaluacin y la necesidad de obtener resultados creibles. As como los mtodos cualitativos no son buenos para generar estimaciones cuantitativas sobre los resultados de un programa, tampoco los mtodos cuantitativos son adecuados para obtener informaciones respecto a la teora que lo fundamenta y los procesos desarrollados. No cabe, por tanto, apriorismos o planteamientos exclusivos ya que son necesarios ambos tipos de metodologas. Las dificultades se presentan en el plano de la logstica, no en el de la lgica (Cook y Reichardt 1986, Cook 1997, Rossi, Freeman y Lipsey 1999). 6. Fomentar la diversidad metodolgica Cuando se asume que las evaluaciones deben responder a diversos propsitos y audiencias, lo habitual es utilizar una combinacin parsimoniosa de datos, anlisis y mtodos en funcin del tipo de informaciones y conocimientos que perseguimos en cada momento y fase del proceso. La evaluacin es un campo en el que se pueden aplicar todo tipo de estudios y metodologas y donde la tarea se enriquece precisamente con la pluralidad. Por ello, la nica opcin vlida es abordar los procesos con un enfoque comprensivo y utilizar los procedimientos que en cada caso estimamos oportunos, al margen de polmicas estriles que no conducen a ninguna parte. La evaluacin es un campo del conocimiento donde el debate entre metodologas est superado (Reichardt y Rallis 1994, Datta 1997, De Miguel 1999). 7. Promover trabajos de sntesis antes que individuales Precisamente porque la mayora de las evaluaciones exigen recabar informaciones diversas, utilizando fuentes muy distintas y mtodos diferentes, parece necesario abordar esta tarea con una visin pluralista e integradora con el fin de que los juicios de valor se fundamenten sobre conocimientos contrastados por la opinin mayoritaria de todos los implicados en el programa. De ah que la fiabilidad y validez de las observaciones y recomendaciones aumente en la medida que hayan sido elaboradas a partir de la integracin de los resultados de varios estudios, lo que significa priorizar los trabajos de sntesis y metaanlisis frente a los individuales (Lipsey y Wilson 1993, Cook 1997). No debemos olvidar que la calidad de un conocimiento se incrementa en la medida que haya un escrutinio pblico mayor sobre el mismo.

La evaluacin de programas sociales: fundamentos y enfoques tericos

313

8. Velar por la credibilidad de los informes Fcilmente se comprende que la elaboracin del informe sobre una evaluacin no es una cuestin neutra en relacin con las aplicaciones o usos de las recomendaciones sugeridas. Para que el informe o informes sean tiles deben reunir dos notas que nos parecen muy importantes. De una parte, deben responder a las necesidades de las audiencias y ser elaborados de forma objetiva que no ponga en cuestin la independencia del evaluador, lo que conlleva considerar la naturaleza de las relaciones entre el evaluador y los implicados. De otra, deben ser redactados en trminos claros y con datos precisos que sean fcilmente comprensibles por las audiencias implicadas. Ambas cuestiones condicionan la credibilidad de los informes y, en consecuencia, su utilidad (Patton 1986, Wholey, Hatry y Newcomer, 1994). 9. Analizar los factores contextuales y polticos que condicionan el uso de la informacin Adems de la credibilidad que ofrecen los informes existen otros factores contextuales y polticos que condicionan la aplicacin o utilizacin de los resultados y que tambin deben ser considerados por los evaluadores con el fin de eliminar las barreras que dificultan que los procesos tengan consecuencias prcticas. Entre estos factores debemos plantearnos todos los problemas que surgen entre la entrega de los informes y la puesta en prctica de las recomendaciones oportunas; es decir, la difusin y diseminacin de los informes, la interpretacin de resultados, el conocimiento de los implicados en la toma de decisiones, los argumentos que avalan cada una de las alternativas sugeridas, etc.. El anlisis de estos problemas nos permitir buscar soluciones orientadas a eliminar o reducir sus efectos e incrementar as la eficacia de nuestros trabajos (Braskamp y Brown 1980, Ewell 1989, Torres, Preskill y Piontek 1996). 10. Realizar estudios de metaevaluacin sobre los trabajos efectuados Finalmente todos debemos considerar que la mejor forma de avanzar y profundizar sobre el marco terico de nuestra disciplina y nuestra tarea es a travs de la propia evaluacin del trabajo que realizamos. De ah que debamos someter a control todos nuestros trabajos con el fin de que, al detectar sus puntos fuertes y dbiles, podamos tener una visin realista sobre la calidad del mismo y las limitaciones que presenta para su utilizacin posterior. Para ello debemos habituarnos a efectuar estudios de metaevaluacin utilizando guas elaboradas con este fin y remitir nuestros informes a evaluacin externa para recabar otras opiniones independientes. Es un camino que necesariamente debemos recorrer si queremos mejorar nuestro trabajo, mejorar las bases tericas de nuestra disciplina, y ganar ms credibilidad ante nuestras audiencias (Joint Committee 1988, Shadish, Newman, Scheirer y Wye 1995). Finalmente, quisiera aadir que estas consideraciones que sugerimos son algunas de las reflexiones a las que hemos llegado desde nuestra experiencia personal y que, en la medida que estn en lnea con el pensamiento de otros autores, esperamos puedan ser tiles para quienes estn preocupados por estas cuestiones. Los evaluadores presionados por la prctica hemos dejado poco espacio para la reflexin terica y quizs ha llegado el momento en que nos tengamos que plantear la necesidad de fundamentar nuestra tarea ya que en ello no slo se haya comprometida la identidad de esta disciplina sino tambin la misma credibilidad de nuestro trabajo.

314 BIBLIOGRAFA

Mario de Miguel Daz

Alkin, M. y Ellett, J. (1990). Development of Evaluation Models. En Walberg, H. y Haertel, G, (eds.). The international encyclopedia of educational evaluation. Oxford, Pergamon Press. Anguera, T. (1992). Diseos diacrnicos en programas de intervencin. En Rev. Bordn, 43 (4), 421-429. Anguera, T. (1995). Diseos. En Fernndez Ballesteros, R. (ed.). Evaluacin de programas. Madrid, Sntesis. Apodaca, P. (1999). Evaluacin de los resultados y del impacto. Revista de Investigacin Educativa, 17(2), 363-377. Bickman, L. (ed.) (1987). Using Program Theory in Evaluation. New Directions for Program Evaluation n 33. San Franciso, Jossey-Bass. Bickman, L. (ed.) (1990). Advnances in Program Theory. New Directions for Program Evaluation n 47. San Franciso, Jossey-Bass. Blaskar, R. (1975). A realist theory of science. Brighton, Hasvester. Boruch, R. (1997). Randomized controlled experiments for planning and evaluation: A practical guide. Thousand Oaks, CA: Sage. Braskamp. L. y Brown, R. (1980). Utilization of Evaluation Information. New Directions for program Evaluation n 5. S. Francisco, Jossey-Bass. Bryk, A. (ed.). (1983). Stakeholder-based Evaluation. New Directions for program Evaluation n 17, S. Francisco, Jossey-Bass. Chelemsky, E. (1997). The Coming transformations in Evaluation. En Chelemsky, E. y Sadish, W. (eds.). Evaluation for the 21 Century. London, CA: Sage. Chen, H.T. (1990). Theory-driven evaluations. Newbury, CA: Sage. Cook, T. (1997). Lessons learned in Evaluation Over the past 25 Years. En Chelemsky, E. y Sadish, W. (eds.). Evaluation for the 21 Century. London, CA: Sage. Cook, T. y Reichardt, CH. (1986). Mtodos cualitativos y cuantitativos en la investigacin evaluativa. Madrid, Morata. Cronbach, L. (1982). Designing evaluations of educational and social programs. S, Francisco, CA: Jossey-Bass. Datta, L. (1997). Multimethod Evaluations: Using case studies together with other methods. En Chelemsky, E. y Sadish, W. (eds.). Evaluation for the 21 Century. London, CA: Sage. De Miguel, M. (1989). Modelos de evaluacin sobre organizaciones educativas. En Revista de Investigacin Educativa, 13, 21-56. De Miguel, M. (1990). La investigacin en la accin. Una alternativa metodolgica para las Ciencias Sociales? En Vzquez, J. y Otros. Metodologa de la Investigacin cientfica. Santiago de Compostela, ICE. De Miguel, M. (1991). Utilizacin de indicadores en la evaluacin de la docencia. En De Miguel, M.; Mora, J. y Rodrguez, S. (eds.). La evaluacin de las Instituciones Universitarias. Madrid, Consejo de Universidades. De Miguel, M. (1995). Participacin ciudadana en la evaluacin de las polticas pblicas. Aula Abierta, 66, 211-218.

La evaluacin de programas sociales: fundamentos y enfoques tericos

315

De Miguel, M. (1999). La evaluacin de programas: entre el conocimiento y el compromiso. Rev. de Investigacin Educativa, 17 (2), 345-48. De Miguel, M. (1999b). Problemas tericos y metodolgicos en la evaluacin externa de programas multiculturales. En Martin, T. y Serrate, L. (Coord.). (1999). Evaluacin y mbitos Emergentes en Animacin Sociocultural. Madrid, Sanz y Torres. De Miguel, M. (2000). Modelos y diseos en la evaluacin de programas. En Sobrado, L. (ed.). Orientacin Profesional: Diagnstico e Insercin Sociolaboral. Barcelona, Editorial Estel. De Miguel, M. (2000b). La evaluacin externa de un programa de Educacin Social En Prez Serrano, G. (Coord.). Modelos de Investigacin Cualitativa. Madrid, Narcea. Dennis, M. y Boruch, R. (1989). Randomized experiments for planning and testing projects in developing countries. Evaluation Review, 13 (3), 292-309. Drummond, M., Stoddart, G. y Torrance, G. (1991). Mtodos de evaluacin econmica de los programas de atencin a la salud. Madrid, Diaz de Santos. Ewell, T. (ed.). (1989). Enhancing Information Use in Decision Making. New directiones for institutional research, n 64. S. Francisco, Jossey-Bass. Fetterman, D., y Pitman, M. (1986), Educational Evaluation. London, Sage. Fetterman, D. (1994). Empowerment evaluation. Evaluation Practice, 15(1), 1-15. Fetterman, D., Kaftarian, S. y Wasdersman, A. (eds.)(1966). Empowerment evaluation. London, CA: Sage. Fitz-Gibbon, C. y Morris, L. (1987). How to design a program evaluation. Newbury Park, CA: Sage. Folchlay, B. y Plottu, E. (1998). Democratic evaluation. Evaluation, 4 (3), 261-277. Guba, E. y Lincoln, Y. (1981). Effective evaluation. S. Francisco, Jossey-Bass. Guba, E. y Lincoln, Y. (1989). Fourth generation evaluation. Newbury Park, CA.: Sage. Herman, J., Morris, L. y Fitz-Gibbon, C. (1987). Evaluators handbook. Newbury Park, CA: Sage. Hesse, M. (1974). The structure of scientific inference. London, MacMillan. House, E. (1980). Evaluating with validity. Newbury Park, CA.: Sage. Howe, K. (1992). Gedtting over the quantitative-qualitative debate. American Journal of Education, 100(2), 236-255. Joint Committee On Standars, (1988). Normas de Evaluacin. Mxico, Trillas. Keeves, J. (ed.). (1988). Educational Research, Methodology and Measurement: A International Handbook. Oxford, Pergamon Press. Lewin, H.M. (1983). Cost-effectivenes Newbury Park, CA: Sage. Lincoln, Y. y Guba, E. (1985). Naturalistic inquiry. Newbury Park, CA.: Sage. Lipsey, M. y Wilson, D. (1996). Toolkit for Practical Meta-Analysis. Cambridge, MA: Human Services Research Institute. MacDonald, B. (1977). A Political classification of evaluation studies. En Hamilton, D. y al. (eds.). Beyond the Numbers Game. London, MacMillan. Madaus, G., Scriven, M. y Stufflebeam, D. (eds.) (1983). Evaluations models: Viewpoints on educational and human services evaluation. Boston, Mass.: Kluwer-Nijhoff. Martin, L. (1993). Total quality management in human service organizations. Newbury Park, CA: Sage.

316

Mario de Miguel Daz

Martin, L. y Kettner, P. (1996). Measuring the performance of human service program. London, Sage/SHSG. McLaughlin, G. y McLaughlin, J. (1989). Barriers to Information Use: The Organizational Contex. En Ewell, T. (ed.). Enhancing Information Use in Decision Making. New directiones for institutional research, n 64. S. Francisco, Jossey-Bass. McLaughlin, M y Phillips, C. (eds.) (1991). Evaluation and Education: At quarter Century. Chicago, NSSE. Nas, T. (1996). Cost-benefit analysis. Theory and application. Newbury Park, CA: Sage. Nevo, D. (1990). Role of the evaluator. En Walberg, H. y Haertel, G. (eds.): The international encyclopedia of educational evaluation. Oxford, Pergamon Press. Patton, M. (1986). Utilization-focused evaluation. (1 ed., 1978). Newbury Park, CA: Sage. Patton, M. (1987). How to use qualitative methods in evaluation. Newbury Park, CA.: Sage. Patton, M. (1994). Developmental Evaluation. Evaluation Practice, 15(3), 311-319. Pawson, R. y Tilley, N. (1997). Realistic Evaluation. Newbury Park, CA.: Sage. Pineault, R. y Daveluy, C. (1989). La planificacin sanitaria: conceptos, mtodos y estrategias. Barcelona, Masson. Rebien, C. (1997). Development assistance evaluation and the foundations of program evaluation. Evaluation Review, 21 (4), 438-460. Reichart, C. y Rallis, S. (eds.) (1994). The qualitative-quantitative debate: new perspectives. New directions for Evaluation, n 61. S. Francisco, Jossey Bass. Rossi, P. y Freeman, H. (1989). Evaluacin. Un enfoque sistmico para programas sociales. Mxico, Trillas. Rossi, P., Freeman, H. y Lipsey, M. (1999). Evaluation. A systematic approach. Thousand Oaks, Sage. Ruttman, L. (1984). Evaluation research methods: a base guide. Beverly Hills, Sage. Sayer, A. (1984). Method in social science. London, Hutchinson. Schalock, R. (1995). Outcomes-based evaluation. Newbury Park, CA.: Sage. Scriven, M. (1991). Evaluation Thesaurus. Newbury Park, CA.: Sage. Scriven, M. (1997). Truth and Objectivity in Evaluation. En Chelimsky, E. y Sadish, W. (eds.). Evaluation for the 21 Century. London, CA: Sage Shadish, W., Cook, T. y Leviton, L. (1991). Foundations of program evaluation. Newbury Park, CA.: Sage. Shadish, W., Newman, D., Scheirer, M. y Wye, C. (eds). (1995). Guiding Principles for Evaluators. New Directions for Evaluation, n 66. S. Francisco, Jossey-Bass. Sheerens, J. (1987). Beyond decision-oriented evaluation. International Journal of Educational Research, 11 (1) 83-93. Smith, M. (1998). Empowerment evaluation: Theorical and methodological considerations Evaluation and Programming Planning, 21, 255-261. Sonnichsen, R. (1994). Evaluators as Change Agents. En Wholey, J., Hatry, H. y Newcomer, K. (1994). Handbook of Practical Program Evaluation. S. Francisco, Jossey-Bass Publishers. Stake, R. y Mabry, L. (1997). Advances in program evaluation. Newbury Park, CA.: Sage. Stecher, B. y Davis, W. (1991). How to focus an evaluation. Newbury Park, CA.: Sage.

La evaluacin de programas sociales: fundamentos y enfoques tericos

317

Stufflebeam, D. y al. (1971). Educational Evaluation and decision-making in Education. Illinois, Peacock-Itasca. Stufflebeam, D. y Shinkfield, A. (1987). Evaluacin sistemtica. Barcelona, Paids/MEC. Stufflebeam, D. (1994). Empowerment evaluation, Objectivist evaluation and Evaluation Standars. Evaluation Practice, 15, 321-338. Torres, R., Preskil, H. y Piontek, M. (1996). Evaluation Strategies for Communicating and Reporting. Thousand Oaks, CA: Sage. Vedung, E. (1997). Evaluacin de polticas pblicas y programas. Madrid, Instituto Nacional de Servicios Sociales. Walker, J. y Evers, C. (1988). The epistemological unity of educational research. En Keeves, J. (ed.). Educational Research, Methodology and Measurement: A International Handbook. Oxford, Pergamon Press. Weis, C. (1975). Investigacin evaluativa. Mxico, Trillas. Weis, C. (1997). How can Theory-based Evaluation make Greater Headway?. Evaluation Review, 21(4), 501-524. Wholey, J., Hatry, H. y Newcomer, K. (1994). Handbook of Practical Program Evaluation. S. Francisco, Jossey-Bass Publishers. Worthen, B. y Sanders, J. (1987). Educational evaluation. London, Longman. Worthen, B., Sanders, J. y Fiztpatrick, J. (1997). Program evaluation alternative approaches and practical guidelines. Newbury Park, CA.: Sage.