II
La generalizacin de los resultados hace engaosa la realidad ante aquellos que slo conocen una parte de la misma. Este peligro aumenta dada la siempre fragmentaria y unilateral eleccin de las parcelas de evaluacin. Valorar los cursos de formacin deja de lado la poltica general de formacin, por ejemplo. La evaluacin casi siempre es de carcter descendente. Los que estn en la cspide de la jerarqua encargan evaluaciones sobre los que estn por debajo de ese estrato. Y as sucesivamente. Hasta llegar a la base, que es siempre evaluada y no eficazmente evaluadora. Digo ineficazmente en el sentido de que de esa evaluacin no surgen decisiones. 3. Hacer una evaluacin de diferente naturaleza y rigor para rea lidades de igual modo importantes. Hacer evaluaciones de diferente tipo para experiencias de gran trascendencia revierte en la valoracin de esas actividades por parte de quienes las realizan y de quienes han de beneficiarse de ellas. En realidad, la evaluacin no es ms que un reflejo de la importancia que le dan quienes deciden ponerla en funcionamiento de ese modo. Me servir de un ejemplo. En la enseanza universitaria se evalu la docencia dando como positiva la que se haba realizado en cinco aos. Incluso aquellos que ni siquiera haban estado en las aulas fueron evaluados positivamente. La investigacin, por contra, se evalu mediante tribunales nacionales y sus resultados fueron muy diversos. La conclusin para el profesorado fue que no era rentable acadmicamente dedicarse a la docencia. Era mucho ms eficaz atender la investigacin, las publicaciones de libros y artculos, a ser posible en revistas de carcter internacional. Qu beneficio reportaba dedicarse a una actividad a la que se daba poca importancia? 4. Convertir la evaluacin en un instrumento de dominacin, control y opresin. Es importantsimo reflexionar sobre los valores al servicio de los cuales se pone la evaluacin. Un proceso de reflexin que acabe potenciando los mecanismos de control y de dominacin sera poco deseable desde un punto de vista tico. No est garantizado que, incluso con la buena voluntad de quien realiza o encarga la evaluacin, suceda de este modo. De ah la necesidad del control democrtico de la evaluacin y de sus resultados. Nadie tiene la patente de la interpretacin y de la definicin de lo que ha de considerarse como valor. Todos podemos y debemos participar en el debate que sobre este aspecto ha de promover la evaluacin. 5. Poner la evaluacin al servicio de quienes ms tienen o ms pueden. Quien tiene o puede es capaz de encargar, promover o realizar evaluaciones. Los que reciben los servicios tienen tambin una parte de poder, pero hay quienes ni siquiera reciben ese beneficio. De ah la importancia y la necesidad de que la evaluacin tenga en cuenta la voz y los intereses de quienes no reciben el beneficio de los programas. El evaluador debe hacerse eco de su voz (House, 1991). Un servicio que funciona de forma extraordinariamente positiva, que es evaluado para que pueda mejorar su eficacia, su eficiencia y su efectividad, podra ser considerado nefasto desde el punto de vista de su valor social, ya que podra ser un
privilegio que slo disfrutan injustamente los que menos lo necesitan. No nicamente es cuestin de enfoques y de actitudes. Es tambin cuestin econmica. Destinar bienes que favorezcan a los ms favorecidos del sistema, tanto en los programas como en la evaluacin de los mismos, ha de ser tenido en cuenta en la metaevaluacin. 6. Atribuir los resultados a causas ms o menos supuestas, a travs de procesos atributivos que son arbitrarios. Si los asistentes a un curso valoran positivamente las sesiones, alguien puede suponer que es debido a que eran excesivamente entretenidas, pero poco profundas o sibilinamente halagadoras para la audiencia. Si las valoran negativamente, el interesado puede pensar que se debe a que los asistentes tenan una preparacin insuficiente o una escasa motivacin. Lgicamente, quienes interpretan pueden ser los evaluados o los patrocinadores o, ms en general, la audiencias a las que llegan los resultados de la evaluacin. Las interpretaciones sesgadas son ms frecuentes en los resultados de la evaluacin cuantitativa, ya que en la de carcter cualitativo estn ms matizadas las opiniones, y ms elaborados los procesos. 7. Encargar la evaluacin a equipos o personas que no tienen independencia o valor para decir la verdad. Encargar la evaluacin a equipos que no gozan de independencia real (tica, poltica, econmica...) supone, ya de antemano, conseguir unos resultados favorables. Esta domesticacin de la evaluacin al servicio de los intereses del patrocinador se hace ms grave cuando se realiza a travs de fondos pblicos. El poder, sensible a la crtica, evita de un modo sutil unos resultados adversos. Se podr incluso apoyar en la evaluacin para potenciar su prestigio. No se aclaman ellos mismos, ya que hacerlo resultara inadmisible, sino que consiguen unos aplausos aparentemente nacidos de la objetividad de la ciencia. Esa dependencia operar sobre el modo de hacer la evaluacin, sobre la claridad y la naturaleza del contenido del informe, sobre la fuerza de la negociacin y sobre la actitud, que puede ser silenciosa o beligerante, en el caso de la manipulacin de los resultados. 8. Silenciar los resultados de la evaluacin respecto a los evalua dos o a otras audiencias. La evaluacin, sobre todo la que se ha realizado con fondos pblicos, no ha de convertirse en un privilegiado acceso del poder al conocimiento de la realidad. No slo los evaluados tienen derecho a conocer los informes. Todos los ciudadanos interesados en la cuestin han de tener acceso a ese conocimiento. En primer lugar, como un modo de llegar a la realidad. En segundo lugar, como una manera de control de las decisiones. Si diversas audiencias conocen los resultados de la evaluacin, no ser tan fcil atribuir caprichosamente a ellos cualquier tipo de decisiones. Los ciudadanos podrn salir al paso de esas decisiones y decir: No, no es eso lo que racionalmente se deriva de la evaluacin. Los informes han de ser plataformas abiertas de comprensin y discusin para todos los interesados. De ese modo, la evaluacin se convierte en un excelente medio de dilogo, de comprensin y de mejora de los programas.
III
Esconder los informes, hurtarlos a la mirada de los mismos evaluados y, tambin, de los ciudadanos que tienen el derecho y el deber de preocuparse por la mejora de la sociedad, es un modo de inutilizar y envilecer la evaluacin. Es cierto que esta difusin de los informes ha de tener en cuenta el derecho de los evaluados y de los informantes al anonimato y a la intimidad de su comportamiento y de su opinin. Estas exigencias han de hacerse compatibles con la publicacin de los informes. 9. Seleccionar aquellos aspectos que permiten tomar decisiones que apoyan las iniciativas, ideas o planteamientos del poder. La evaluacin es fcilmente manipulable. Se puede resumir, seleccionar o hipertrofiar aquel o aquellos aspectos que tienen un especial inters para el poder, con facilidad. He visto resumir ms de mil pginas de informe de una evaluacin con la expresin: Buenos resultados. La condensacin es, a todas luces, escandalosa... Si los informes no estn en manos de los interesados y del pblico, la falsedad de estos resmenes, de estas selecciones, de estas hipertrofias, no puede ser reconocida, cunto menos criticada y denunciada. De ah la necesidad de que los resmenes que se entregan a los usuarios de los programas o al pblico en general no sean elaborados por el patrocinador sino por los mismos evaluadores. 10. Hacer pblicas slo aquellas partes del informe que tienen un carcter halagador. Los informes de la evaluacin, tambin aquellos informes parciales o condensados, que llegan a la opinin pblica deben ser realizados por los evaluadores. Si los resmenes los hace el poder, es fcil que aparezcan sesgados por intereses o expectativas de carcter particular. Una evaluacin con un informe cercano a las mil pginas fue resumida por un poltico con la expresin siguiente: Un equipo de expertos ha realizado la evaluacin [...]; en ella se han obtenido excelentes resultados. Es asombrosa la capacidad de sntesis e imperdonable el abuso de una exploracin larga y costosa. Excelentes resultados es una expresin cargada de confusin: a qu tipo de resultados se hace referencia, para quines han de considerarse positivos, quines son los que as los valoran, qu costo personal y econmico han supuesto... Pero, como es fcil suponer, en un informe tan voluminoso se decan muchas ms cosas. Algunas poco gratas para el poder. El desconocimiento que tiene la audiencia de los procesos, la dificultad de interpretacin pblica, la difcil comprobacin que los replicantes pueden hacer respecto a la perversin de las afirmaciones, facilita la manipulacin. 11. Descalificar la evaluacin, achacndole falta de rigor si los resultados no interesan. Existe otro modo de hacer intil la evaluacin. Es descalificarla en cuanto a su rigor, en el caso de que sus resultados no sean los deseables. No es que sea una cuestin balad el rigor de la evaluacin. Hay que preguntarse por l sean cuales fueren los resultados. Si es o no rigurosa, depender de que se den las condiciones de validez interna precisas. Ahora bien, resulta sospechoso que, una vez conocido el informe, cuando existe en l partes muy crticas, el o los aludidos traten de descalificar el valor de la evaluacin atribuyendo a sus mtodos unos defectos o unas lagunas inexistentes. En el caso de la evaluacin cualitativa, por muchos motivos vulnerable, es ms fcil la descalificacin cientfica. Se dir
que se eligieron sesgadamente los informantes, que el evaluador ha interpretado errneamente los datos, que no se ha reflejado fielmente la realidad... Si la evaluacin es de carcter cuantitativo, se dir que la muestra no es representativa, que no se aplicaron bien las pruebas, que hay errores de baremacin... 12. Dar por buenos los resultados de la evaluacin a pesar de su falta de rigor, cuando es esto lo que interesa. Tambin se da el abuso de orden inverso. Dar por buenos los resultados de una evaluacin realizada de cualquier manera, cuando los resultados son favorables. Una evaluacin apresurada, sin aplicacin de mtodos diversificados, con una interpretacin descaradamente arbitraria, puede darse por buena por el inters que el patrocinador o los responsables tienen en los resultados obtenidos. En la publicacin de los resultados se har hincapi ms en los productos que en los modos de conseguir los datos. La calidad de la informacin obtenida es manifiestamente mala. Se ha entrevistado slo a los responsables, no se ha garantizado el anonimato de los informantes, han existido presiones o amenazas... Nada importa cmo se han conseguido los datos, cmo se ha realizado la interpretacin de los mismos, cmo y con quin se han negociado los informes finales... Slo importa el resultado final, algunas veces previamente solicitado por unos evaluadores excesivamente acomodaticios. 13. Utilizar los resultados para tomar decisiones clara o subrepticiamente injustas. La evaluacin puede ser utilizada, incluso de forma intencional y planificada, para tomar decisiones que los responsables polticos no se atreven a tomar sin el apoyo externo de los informes de evaluacin que han elaborado los expertos. La explicacin que se ofrece al pblico es del siguiente tipo: No es una decisin caprichosa ni interesada. Los expertos, en los informes de la evaluacin, han aconsejado que se tomen estas decisiones. La evaluacin se convierte as en una palangana donde lavarse impunemente las manos. Si se encarga la evaluacin a quienes digan lo que se espera y desea, si se pide la evaluacin en un momento determinado, si se leen los informes desde una ptica interesada, ser fcil llegar a las conclusiones que se buscan y, desde ah, a las decisiones previstas. Desde la lectura sesgada de los informes, se puede suprimir un programa, aumentar un presupuesto, destituir a una persona, sustituir a un equipo, retirar unos materiales... No se hace, aparentemente, de una forma arbitraria. Se hace con el apoyo de la aportacin cientfica de la evaluacin realizada por personas que llevan la etiqueta de independientes. 14. Aprovechar la evaluacin para hacer falsas comparaciones entre lo que es, en realidad, incomparable. Algunas evaluaciones pretenden comparar realidades y experiencias que son incomparables. Una evaluacin estandarizada ofrece la comparacin de los resultados como si las condiciones previas fuesen idnticas. En realidad, no han existido los mismos medios, ni las mismas condiciones, ni iguales expectativas. Es ms, los sujetos no han tenido la misma preparacin. Algunos centros han comparado los resultados de las evaluaciones con las de otros centros, sin advertir a los intrpretes que los alumnos ya estaban seleccionados previamente, que
IV
han contado con muchos ms medios y que las expectativas de los alumnos y sobre los alumnos han sido incomparablemente mejores. La evaluacin, en ese caso, se convierte en un clasificador injusto de las personas y de las experiencias. El aparente rigor de los nmeros y de las estadsticas conlleva un engao aadido. Los centros o las experiencias se jerarquizan a travs de unos indicadores cuantificados que desvirtan la complejidad de la realidad y que dan por idnticos los contextos y las condiciones que no lo son. 15. Atribuir los malos resultados no al desarrollo del programa sino a la torpeza, la pereza o la mala preparacin o voluntad de los usuarios del mismo. Explicar los resultados atribuyendo a los dems las causas de los fracasos hace que nada cambie despus de las evaluaciones. Los responsables achacan la ineficacia a la escasa preparacin y esfuerzo de los usuarios; stos, a las malas condiciones e insuficientes medios del programa; los polticos, a los defectos y falta de responsabilidad de unos y otros. Las acusaciones mutuas perpetan el statu quo y hacen intil la evaluacin. Esto sucede especialmente en las evaluaciones de carcter cuantitativo en las que no se dan explicaciones ni se hacen valoraciones de los procesos. Cuando se hace solamente una medicin de resultados conseguidos con el programa y no un anlisis de todo el funcionamiento, se corre el peligro de que las interpretaciones posteriores no lleven a la reflexin y al cambio. Cronbach (1963) dice que en los programas existen elementos estructurales, personales y materiales. La evaluacin no ha de realizarse solamente sobre los resultados conseguidos por los usuarios, como si los resultados dependiesen exclusivamente de su capacidad, de su esfuerzo y de su dedicacin. Todos los elementos intervinientes son importantes. Un programa puede fallar por el momento en que se ha puesto en marcha, por su mal diseo, por la insuficiente preparacin y dedicacin de los organizadores, por la escasez de medios disponibles... Si no tienen en cuenta todos los elementos a la hora de evaluar, es fcil llegar a conclusiones distorsionadas. Algunas pistas para evitar los abusos Asegurar la independencia de los evaluadores es un medio de evitar los abusos de la evaluacin. Esa independencia tiene componentes econmicos, polticos y, por supuesto, ticos. Si los equipos de evaluacin han de sobrevivir a los trabajos que realizan, ser ms fcil que se acomoden a las exigencias de los patrocinadores y ser casi inevitable que pongan las evaluaciones al servicio de quien tiene el poder del dinero o el dinero del poder. La evaluacin tiene un carcter poltico, aunque aparezca superficialmente como una actividad de carcter tcnico. Los evaluadores difcilmente se consideran a s mismos como figuras polticas, sin embargo, su trabajo se
puede considerar como inherentemente poltico, dice Barry McDonald (1976). Por consiguiente, la evaluacin tiene un fuerte componente tico, porque tiene mucho que ver con el valor de los programas y con el servicio a la comunidad social. Con equipos dependientes del poder ser difcil que haya garantas de libertad. La domesticacin de los evaluadores es el principal escollo para la eficacia. La eleccin de equipos que tengan una fuerte adhesin a valores sociales facilitar la realizacin de la evaluacin desde perspectivas socialmente enriquecedoras. Los evaluadores negociarn con el patrocinador los principios que garanticen, hasta el punto en que se pueda, una utilizacin positiva de la evaluacin. Una de estas condiciones o principios ser el difundir el informe o un resumen del mismo entre los usuarios y otras audiencias. De este modo no ser fcil que el poder utilice caprichosa o tendenciosamente los resultados de la evaluacin. Someter las evaluaciones a procesos de metaevaluacin es un mecanismo importante de control. Desde este anlisis de las evaluaciones, se podr opinar si se han elegido parcelas de forma tendenciosa, si el momento es adecuado o est determinado por intereses espurios, si se ha destinado el dinero a las evaluaciones con buenos criterios, si se han elegido los equipos de evaluacin con exigencias rigurosas o ms bien partidistas, si se han negociado los informes de forma seria y exigente, si se han tomado las medidas oportunas una vez examinadas las conclusiones, si se han puesto las decisiones al servicio de los ms necesitados o, por el contrario, al de quienes ya tenan lo suficiente... La transparencia de los procesos en todas sus fases (decisin, eleccin, negociacin...) es un elemento imprescindible para garantizar el buen uso de la evaluacin. Si la iniciativa de la evaluacin parte del grupo de responsables y usuarios que tienen participacin en el programa ser ms fcil garantizar el buen uso de la evaluacin. Sera ms complejo alterar el proceso, manipular los resultados, malinterpretar los datos y hacer un mal uso de las conclusiones. Todo el proceso (decisin, negociacin inicial, negociacin interactiva, exploracin, negociacin del informe final, toma de decisiones...) estara controlado por la participacin democrtica del grupo. Estas cuestiones se enraizan en la tica de la evaluacin (Adelman, 1984; Simons, 1988; Eisner, 1985; House, 1980). Una cuestin frecuente e inexplicablemente olvidada o postergada. No basta hacer evaluaciones. No basta siquiera hacerlas muy bien. Es preciso saber al precio de qu valores y de qu personas se ponen.