Capitulo1 Tejada

La evaluacin de programas: consideraciones generales
1.- La evaluacin de programas: consideraciones generales.
1.1 DIMENSIONES DE LA EVALUACIN.- ..................................................................................................11 1.2 EL PROGRAMA Y SU EVALUACIN.-...................................................................................................17 1.3 EL PROCESO DE EVALUACIN DE PROGRAMAS.-................................................................................22 1.4 LA PLANIFICACIN EN LA EVALUACIN DE PROGRAMAS.- .................................................................26 1.5 LA INSTRUMENTALIZACIN EN LA EVALUACIN DE PROGRAMAS ......................................................29 1.6 PROBLEMTICAS-DIFICULTADES EN LA EVALUACIN DE PROGRAMAS ..............................................31 1.6.1 Patologas generales y abusos de la evaluacin como sntesis de las problemticasdificultades............................................................................................................................36 1.6.2 Algunas alternativas para la superacin de las dificultades-problemticas en el proceso de evaluacin.-...........................................................................................................................38
Jos Tejada Fernndez
Jos Tejada Fernndez, UAB, 1998
10
1.1
Dimensiones de la evaluacin.-
Es necesario considerar, aunque sea a ttulo indicativo la concepcin que sobre la evaluacin tenemos. En este caso solamente haremos alusin a la definicin que a lo largo de todo el texto implicamos. Con independencia de otras tantas definiciones previas que podran justificarla (Tejada, 1997:244-246), conceptualizamos la evaluacin como: * un proceso sistemtico de recogida de informacin, no improvisado, necesitado de organizar sus elementos, sistematizar sus fases, temporalizar sus secuencias, proveer los recursos, construir o seleccionar los instrumentos, etc. En cualquier caso, desde planteamientos multivariados en cuanto a los instrumentos, tcnicas y mtodos, as como agentes. * que implica un juicio de valor, que significa, a su vez, que no basta recoger sistemticamente la informacin, sino que sta ha de valorarse, explicando su bondad. Tngase en cuenta que la adjudicacin de un valor no significa tomar decisiones, por cuanto los evaluadores pueden realizar esta tarea y otras personas, ajenos a ellos, pueden tomar las decisiones. Queremos decir, que la funcin principal del evaluador est en la valoracin, pero no necesariamente en la toma de decisiones que puede corresponder a los responsables del programa o de los objetivos a evaluar, polticos, u otros. * orientada hacia la toma de decisiones. El proceso evaluativo ha de tener una utilidad, en este sentido apuntamos entre otros a la toma de decisiones orientada a la mejora de la prctica. Esto significa adems, que la evaluacin ha de ser un medio pero no un fin en s misma. Ubicados en esta conceptualizacin, nos abocamos a la aplicacin de la evaluacin. Esto exige reparar en mltiples dimensiones y variables, su seleccin y su priorizacin, en un proceso que mezcla planteamientos desde lo epistemolgico, lo ideolgico, hasta lo tcnico. Por lo tanto, realizar una evaluacin implica previamente planificar dicha accin y elaborar el diseo pertinente en relacin con la realidad a evaluar. Por ello, se torna necesario reparar en las dimensiones afectadas. Un primer acercamiento a las dimensiones afectadas en la evaluacin educativa se concreta en el ideograma que presentamos (Grfico 1). Un comentario sucinto del mismo nos indica que: a) El objeto de evaluacin puede ser diverso, aunque la mayora de autores llegan a coincidir en torno a los alumnos, el personal docente y no docente, el curriculum, los recursos, los planes y programas, los proyectos, las estrategias metodolgicas, las instituciones de formacin y los contextos entre otros con carcter general. Con posterioridad nos centraremos, desde la ptica de evaluacin de programas, en algunos de los citados. Para cada uno de ellos, las fuentes de informacin, los protagonistas y estrategias de evaluacin, obviamente, pueden variar en su nominacin, implicacin y diseo.
11
QUE? OBJETO
PARA QU? FINALIDAD
Contexto Necesidades Objetivos Contenidos Instituciones Profesores Alumnos Metodologa Recursos ...... Experimental Naturalista Basado en demanda Basado en costos Toma de decisiones Verificacin logros ........ Cuantitativa Cualitativa ..... Profesores Alumnos Equipo directivo ..... Usuario Experto ..... Autoevaluacin Heteroevaluacin Interna-externa
CMO? MODELO
Diagnstica Formativa Sumativa
EVALUACIN
Inicial Continua Final Diferida
CUNDO? MOMENTO
Observacin Entrevistas Cuestionarios Tests Pruebas Objetivas Escalas ...... Validez Fiabilidad Pertinencia .......
QUIN? EVALUADOR
QU? INSTRUMENTO REFERENTE

Coherencia con las finalidades definidas por la poltica de formacin Adecuacin a las necesidades formativas del contexto inmediato Adecuacin a determinados principios psicopedaggicos Adecuacin a los participantes (necesidades, expectativas, intereses
CON
Grfico 1.- Dimensiones bsicas de la evaluacin educativa (Tejada 1991:88).-
b) La finalidad perseguida por la evaluacin (diagnstica, formativa y sumativa) aunque igualmente se podra hacer referencia a funciones ms especficas (De Ketele y Roegiers, 1995) relativas a las personas (su rendimiento: inicial, procesal o final), relativas al sistema (gestin), relativas al conocimiento (investigacin). En la Grfico 2 se especifican las mismas y ms all de entrar en detalle en cada una de ellas, conviene, en este momento, centrarnos en la evaluacin diagnstica, la formativa y sumativa, como aglutinadoras de las mismas.
12
Funciones relativas a las personas
Funciones relativas a un sistema
c) formativa d) certificativa
a) predictiva b) reguladora h) descriptiva
e) preventiva f) prospectiva g) control calidad l) con.rentabilidad m) est. viabilidad
k) desarrollo
i) verificacin j) heurstica
Funciones relativas al conocimiento Grfico 2.- Las funciones de la evaluacin (De Ketele y Roegiers, 1995:134)
La evaluacin diagnstica nos permite conocer la realidad en la que operar un programa (evaluacin de entrada), tanto en lo relativo al contexto como a los destinatarios del programa; ello nos da pie tanto a posibilitar los recursos y medios necesarios en el contexto para que el programa sea exitoso o bien, teniendo presente las limitaciones contextuales, ajustar el programa a dicho contexto. Por lo que se refiere a los destinatarios nos permite conocer sus necesidades formativas, sus posibilidades para con el programa, etc., lo cual da pie a tomar decisiones sobre admisin, orientacin, establecimiento de grupos de aprendizaje segn niveles, etc. La evaluacin formativa tiene que ver con el desarrollo del programa (evaluacin de proceso) en un contexto determinado y su propsito esta directamente relacionado con la mejora y optimizacin del mismo en el transcurso de la accin formativa. Permite, pues, el ajuste racional de dicha accin segn las vicisitudes que la misma encuentra y afecta bsicamente a las estrategias de desarrollo (implementacin de nuevos medios y recursos, ajuste de la temporalizacin -acelerando o lentificando el ritmo previsto, cambio de actividades y papel del formador, etc.) La evaluacin sumativa (evaluacin de productos) nos muestra los resultados obtenidos por el programa y en este sentido la toma de decisiones se orienta a la certificacin, promocin, en relacin con los destinatarios implicados en la accin formativa, a la vez que permite valorar globalmente el programa permitiendo rechazarlo o aceptarlo en funcin del xito del mismo. A continuacin expresamos las relaciones e implicaciones entre estas dos ltimas dimensiones.
13
FINALIDAD Diagnstica
MOMENTO Inicial
OBJETIVOS -Identificar las caractersticas de los participantes (intereses, necesidades, expectativa). -Identificar las caractersticas del contexto (posibilidades, limitaciones, necesidades, etc.) -Valorar la pertinencia, adecuacin y viabilidad del programa
DECISIONES A TOMAR -Admisin, orientacin, establecimiento de grupos de aprendizaje.
-Adaptacin-ajuste e implementacin del programa
Formativa
Continua
-Mejorar las posibilidades personales de los participantes. -Dar informacin sobre su evolucin y progreso. -Identificar los puntos crticos en el desarrollo del programa. -Optimizar el programa en su desarrollo
-Adaptacin de las actividades de enseanza-aprendizaje (tiempos, recursos, motivacin estrategias, rol docente, etc.,)
Sumativa
Final
-Valorar la consecucin de los objetivos as como los cambios producidos, previstos o no. -Verificar la vala de un programa de cara a satisfacer las necesidades previstas.
-Promocin, certificacin, reconsideracin de los participantes. -Aceptacin o rechazo del programa.
Tabla 1. Relaciones entre finalidad y el momento evaluativo
c) El momento evaluativo, conectado con la finalidad, es otra de las dimensiones bsicas. Evaluacin inicial con finalidad diagnstica, al principio de una accin formativa, evaluacin continua con finalidad formativa, durante el periodo de formacin y evaluacin final con finalidad sumativa, al final del periodo de formacin. Habra que aadir a estos tres momentos, ya clsicos, la evaluacin diferida que en la evaluacin de programas toma capital importancia por las repercusiones prcticas y sociales de la misma. Un programa no slo es bueno por cuanto se verifica la suficiencia de los participantes al final de la accin formativa, sino tambin por cuanto a lo largo del tiempo tiene una repercusin en la prctica, tambin denominada evaluacin de impacto del programa. Tngase presente que no siempre se evidencia el paralelismo establecido, por cuanto podemos verificar en la prctica que muchas veces se realiza evaluacin continua con finalidad sumativa, en la medida que se recaba informacin no tanto para optimizar el programa sino ms bien sobre el alumno para poderse asegurar mejor en su evaluacin final; es decir, se van registrando resultados parciales ms que la evaluacin del proceso formativo mismo. d) El modelo paradigmtico seguido, que afectar al diseo a seguir. Este est en ntima conexin con el referente (respecto a qu evaluamos). Condiciona la interaccin entre la variables implicadas As por ejemplo, los criterios para juzgar el valor o mrito de un objeto de evaluacin puede ser la confluencia 14
entre los hechos (logros) y los objetivos -modelo de evaluacin por objetivos-, la identificacin de las necesidades actuales y potenciales de las audiencias, los ideales o valores sociales o el estndar de conocimientos estructurados por los expertos u otros grupos relevantes. El tabla 2 muestra una breve sntesis de los modelos ms conocidos en evaluacin de programas. Adems, el modelo de interpretacin puede basarse en la racionalidad positivista (cientfico-tcnico), en la asignacin de valores de la realidad (interpretativo-fenomenolgico) o enfatizar el sentido poltico que adopta cualquier situacin (sociocrtico). e) La instrumentalizacin nos remite a las herramientas que han de servir para obtener la informacin considerada como necesaria para la evaluacin. Instrumentos y tcnicas de recogida de informacin estructurados, semiestructurados o sin estructurar, susceptibles de tratamientos cuantitativos o cualitativos segn el objeto, pero en cualquier caso, vlidos, fiables, pertinentes, etc. como caractersticas tcnicas exigibles a cualquiera de ellos. En una palabra, complementariedad y triangulacin de instrumentos. f) El evaluador se convierte en un eje igualmente importante en el hecho evaluativo. Adems de los implicados en el proceso formativo, estn los expertos, lo cual nos puede permitir diferenciar entre evaluacin interna y evaluacin externa, entre heteroevaluacin y autoevaluacin. Por la relevancia de la problemtica generada en torno a esta dimensin, con posterioridad nuevamente repararemos sobre l. Al margen de las ventajas e inconvenientes de una y otra, suelen combinarse en la prctica y utilizarse como elemento de complementariedad. Con todo, lo que se evidencia cada da con ms fuerza es la necesidad de capacitacin tcnica para poder evaluar. El conocimiento de tcnicas, instrumentos, metodologas, etc. en aras de una pretendida "objetividad" (intersubjetividad) es un requisito formativo para los protagonistas de la evaluacin. g) El referente es la dimensin ms diferenciadora de la evaluacin. Fuente de criterios e indicadores de evaluacin, est conectada con el resto de las dimensiones. En la evaluacin de programas, no cabe duda que el referente debe pasar por la coherencia con la poltica formativa, la contextualizacin, los principios psicopedaggicos del aprendizaje adulto y la consideracin de los participantes como elementos nucleares dentro de los cuales existe toda una gama de indicadores para la evaluacin.
15

Modelo
Organizador previo Objetivo
Verificacin de logros
-Objetivos
E. respondente
-Problemas localizados
Toma de decisiones
-Situaciones decisivas
Sin referencia a metas
E. iluminativa
Crtica artstica
-Efectos -Ofrecer una representacin y valoracin de la prctica formativa y sus consecuencias dentro de su contexto
-Relacionar los resultados -Facilitar la comprensin con los objetivos de las actividades y su valoracin en una teora determinada y desde distintas perspectivas -Ayudar a los clientes
Audiencia
Cuestiones previas
-Planificadores y directivos Comunidad y grupo de del programa clientes en zonas locales y los expertos -Qu alumnos alcanzan Cul es la historia de un los objetivos? programa , sus antecedentes, operaciones, efectos secundarios, logros accidentales, resultados?. Cuantitativa Cualitativa -Planificacin experimental -Descripcin -Comparacin entre grupos -Estudio de casos
-Necesidades y valores -Problemas y necesidades sociales localizados -Proporcionar -Juzgar los mritos relativos -Estudiar del programa, conocimientos suficientes de bienes y servicios intentando clarificar y una base valorativa para alternativos cuestiones, ayudar al tomar y justificar las innovador y a otras partes decisiones interesadas a identificar los procedimientos y aspectos del programa que pueden conseguir los resultados deseados -Los que toman decisiones -Los consumidores -Innovadores y personas involucradas -Cmo planificar, ejecutar y reciclar para promover el crecimiento y desarrollo a un coste razonable? -Cul es el valor de un programa, dados sus costes, las necesidades concretas de los consumidores y los valores de la sociedad en general? Cuantitativo-cualitativa -Planificacin experimental -Evaluacin sin metas -Anlisis de coste -Comparacinexperimentacin -Listas de control -Tests diagnsticos -Entrevistas -Informes, etc. -Cmo opera o funciona un programa, cmo influyen en l los contextos donde se aplica?
-Comunidad y grupo de clientes en zonas locales -Cules son las caractersticas y cualidades de los fenmenos, cules son las cualidades emergentes de una clase o programa que se est evaluando? -Cualitativa -Estudio de casos
Metodologa
Instrumentos tcnicas
-Informes y -Pruebas objetivas -Tests estandarizados de -Entrevistas rendimiento pedaggico Sociodrama -Observacin Observacin predeterminada TYLER STAKE -Establecer metas u -Descripcin objetivos .antecedentes, -Definir los objetivos en transacciones, trminos de resultados comportamiento -Establecer o desarrollar -Juicio tcnicas e instrumentos . antecedentes, Recopilar datos transacciones, Comparar los datos con los resultados objetivos
Pioneros Proceso
-Cuantitativa -Planificacin experimental -Valoracin de necesidades -Observacin -Estudios piloto -Revisin de documentos -Audiciones -Entrevistas -Tests diagnsticos -Visitas -Escalas de autovaloracin STUFFLEBEAM -Anlisis de tareas Plan de obtencin de informacin -Plan para el informe sobre resultados -Plan para la administracin del estudio
-Cualitativa -Estudio de casos
-Observacin -Entrevista
-Crtica artstica
SCRIVEN -Valoracin de necesidades -Evaluacin de metas -Comparacin con otras alternativas -Examinar segn coste y efectividad -Combinacin de la evaluacin del personal con la del programa.
PARLETT Y HAMILTON -Observacin -Investigacin -Explicacin
EISNER -Descripcin -Interpretacin -Valoracin
Tabla 2. Modelos de evaluacin de programas (Tejada, 1989:114-116)
16
En el tabla 3 se presenta una breve ilustracin de criterios e indicadores obtenidos de estos cuatro referentes. Con posterioridad retomaremos la problemtica implcita ms ajustados a realidades concretas o ejemplos especficos, donde pueden operar algunos de ellos y/u otros segn sea la necesidad evaluativa. CRITERIOS INDICADORES
Pertinencia: adecuacin de un programa con la poltica de formacin y el contexto de formacin. Actualizacin: adecuacin de los objetivos del programa y las necesidades reales (sociales e individuales) Objetividad: adecuacin a las leyes y principios cientficos Aplicabilidad: posibilidad de puesta en prctica de los objetivos propuestos Suficiencia: grado con que un programa satisface las necesidades detectadas Eficacia: nivel de logro de los objetivos asignados Nivel de coherencia: relacin entre los objetivos asignados y los objetivos propuestos. Relacin entre los objetivos propuestos y las necesidades detectadas
Relacin entre los objetivos asignados y contenidos (seleccin y secuenciacin) Relacin entre el programa y la insercin social o laboral Nivel de exhaustividad, relacin entre los objetivos asignados y las necesidades detectadas Relacin entre los objetivos asignados y los objetivos alcanzados.
Eficiencia: grado de implicacin de recursos Relacin entre los objetivos logrados y los recursos implicados (ratio humanos, materiales y funcionales formador/participante, hora/formador/participante, etc. Comprensividad: Relacin entre el nivel de entrada y el nivel de grado de optimizacin alcanzado salida de un programa Relevancia: grado de importancia del programa para Relacin entre objetivos propuestos y cubrir las necesidades individuales y necesidades sociales e individuales (objetivos de formacin-necesidades, expectativas, sociales intereses, cambio laboral, polivalencia laboral, etc. Coherencia: grado de adecuacin entre s de distintos Nivel de relacin entre los distintos componentes de un programas (necesidades, componentes-elementos de un programa objetivos, contenidos, estrategias, recursos, sistema de evaluacin) Tabla 3. Criterios e indicadores de evaluacin de programas (Tejada, 1997:255)
La complejidad de la evaluacin, pues, se hace evidente a la vista de lo analizado y justifica plenamente la afirmacin de que una evaluacin nunca es completa en s misma. Por este motivo, la planificacin de la misma tiene que hacer nfasis en la determinacin de los aspectos ms significativos de cada realidad y momento evaluativo.
1.2
El programa y su evaluacin.17
Una vez delimitadas las dimensiones de la evaluacin, en las que ineludiblemente hemos de reparar, es necesario considerar igualmente algunos aspectos diferenciales en los programas de formacin que hacen de los mismos adoptar tambin distintas decisiones en la planificacin de su evaluacin, diferenciadas de otros objetos de evaluacin, al priorizar unos elementos especficos sobre otros. Todo ello nos remite a una manera peculiar de evaluar, con una problemtica distinta por ejemplo, si se tratase de evaluacin de centros o alumnos. Hemos de partir, tambin en este caso, de un concepto de programa que, con independencia de la polisemia del trmino en s mismo, sea operativo y clarificador para seguir avanzando. En aras a la brevedad, asumimos por programa "cualquier propuesta estructurada para producir cambios en las personas que se exponen a ellos" Gairn, 1993:80). Entendiendo como tal "desde un diseo especfico para la instruccin de un tema concreto de una materia hasta el plan educativo que comporta el desarrollo de un curso completo; desde la actividad docente de un profesor hasta la organizacin funcional de uno o varios centros educativos; desde un proyecto experimental de enseanza hasta todo un sistema educativo formal" (Cabrera, 1987:101). En este contexto particular, pues, la evaluacin de programas ha de moverse y como tal la consideramos como aquel proceso continuo, sistemtico y multidimensional de recogida de informacin relevante, vlida y fiable que permite tomar decisiones sobre el valor o mrito del mismo para mejorar su funcionamiento. Dichas decisiones, segn Cabrera (1987:113-114), se refieren a distintos mbitos y pueden concretarse en: * acerca de la implantacin del programa * relativas a la continuacin, expansin o certificacin del xito del programa * relacionadas con las modificaciones a introducir en el programa en desarrollo. Adems, hay que tener presente y como consecuencia de lo anterior, que existen unas razones que justifican por s mismas la evaluacin de programas: cumplimiento de los requisitos de acreditacin (cualificacin personal) rendir cuentas (justificacin de la inversin, costos) demandas de informacin eleccin-seleccin del mejor programa (satisfacer necesidades) asistir al equipo de gestin del programa en su desarrollo y mejora aprender-verificar acerca de los efectos secundarios (lo no planificado) Cabe advertir, antes de proseguir, que la evaluacin de un programa es un proceso ntimamente ligado con el de su planificacin, desarrollo y resultados, pudindose verificar esta dependencia en los siguientes ideogramas, en los que
18
Informe inicial
DIAGNSTICA
Contexto Necesidades Viabilidad Destinatarios Diseo ......
Informe de progreso
FORMATIVA
Realizacin Desarrollo Resultados Gestin Evaluacin ......
Informe final
SUMATIVA
Resultados Productos Impacto Costes ......
EVALUACIN
Inicial
Continua
Final/Diferida
REALIDAD REALIDAD NUEVA
Resultados
Necesidad de Cambio Ajustes Ajustes
Final-Corto plazoLargo plazo
Resultados
PROGRAMA PROYECTO
DESARROLLO PROGRAMA
PLANIFICACIN
Grfico 3.- Relacin entre el nivel de planificacin y evaluacin de un programa
19
se evidencia, ms all de las tareas, actividades, tipologas de evaluacin, decisiones a tomar, etc. indiscutiblemente dicha conexin.
PLANIFICACIN/ DESARROLLO Y RESULTADOS * Identificacin de necesidades
EVALUACIN
* Evaluacin de necesidades
* Programacin, (diseo del programa)
* Evaluacin del diseo
* Eval. implementacin * Puesta en marcha, desarrollo y gestin del programa * Eval. cobertura * Eval. proceso
* Resultados
* Eval. producto * Eval. impacto * ...
Grfico 4.- Relacin entre planificacin y evaluacin de programas
Como puede observarse, ya se estn apuntando los focos de atencin en la evaluacin de programas, no obstante es necesario profundizar an ms en la conceptualizacin del programa, por cuanto nos puede iluminar en dicho proceso evaluativo. De hecho, como destaca Gairn (1993:82-83), la evaluacin de programas es en gran medida deudora de la manera como se confeccionaron y de las concepciones implcitas o explcitas que asumen. En este sentido es clarificadora la secuencia conceptual que nos propone el mismo autor, que en sntesis nos remite a: Realidad sociocultural, poltica institucional y poltica de formacin mantienen entre s un alto nivel de coherencia. De hecho, afirma, las instituciones y los programas que realizan suelen responder habitualmente a las necesidades socioculturales, de la misma forma que la poltica de formacin se considera un aspecto de la poltica institucional. La poltica de formacin se concreta en la realizacin de programas que buscan satisfacer determinadas necesidades. La priorizacin que se hace de las necesidades a satisfacer (individuales o sociales; expresadas o percibidas;
20
etc.), determina claramente el tipo de objetivos que ha de perseguir el programa, las acciones a realizar y la naturaleza de los procesos de intervencin.
SECUEN. ESTRUCTURAL SECUEN. CONCEPTUAL
CONTEXTO SOCIO -CULTURAL POLTICA INSTITUCIN EV. DIAGNO. A.JUSTIFICACIN POLTICA FORMACIN
DEFINIR: Finalidades Grupo destinatario Grado Autonoma
SECUEN. OPERATIVA
DETECTAR NECESIDADES
Necesidades normativas Necesidades Expresadas Necesidades Percibidas Necesidades Comparadas
Instrumentalizac. Configurar grupo de incidencia
B.- DISEO
Objetivos Acciones Recursos Responsables Evaluacin Temporalizac.
ESTRUCTURAR EVAL. PLANIFICACION ELABORACIN DEL PROGRAMA

Participacin
...
C.OPERATIVA
Espacios Tiempos Profesorado
EVAL. PROCESO
DESARROLLO DEL PROGRAMA
Configurar grupo diana. Establecer mecanismos seguimiento y control.
ESTABLECER EVAL. RESULTADOS EVALUACIN DEL PROGRAMA

Receptores informacin. Ncleos de decisin
Grfico 5.- Secuencia conceptual, estructural y operativa de la elaboracin de programas de formacin (Gairn, 1993:84).
21
1.3
El proceso de evaluacin de programas.-
El proceso de evaluacin est estrechamente vinculado con el conjunto de las fases que integran un programa de formacin. Es ms, la evaluacin empieza antes que un programa se implemente, en estrecha relacin con todas las actividades de planificacin; es decir, empieza cuando han sido realizados los juicios sobre la deseabilidad, necesidad del programa, cuando a partir de anlisis de necesidades se establece la poltica de formacin en la institucin formativa y consecuentemente se establecen los planes y programas de formacin, as como sus objetivos, contenidos, actividades, recursos, etc. (Tejada 1989:90).
TIPO REFERENTE EVALUACIN
TAREA
MBITO APLICACIN
y estudio previo de la realidad: diagnstico, Del contexto/ territorio sociedad: problemas, necesidades, planificacin y toma necesidades comunidad, grupos, recursos, conflictos, etc. de decisiones sujetos, etc. Del diseo expertos profesionales programar planificar y anlisis de criterios diseo en programticos, justificacin, planificacin y coherencia y pertinencia del programa diseo y del
Del proceso
profesionales y anlisis del desarrollo del ejecucin participantes en el programa: estrategias, programa programa procedimientos, niveles de ejecucin, coordinacin, participacin comunitaria equipo evaluador
del
Del producto
valoracin de los resultados obtencin de en relacin con los objetivos conclusiones y y necesidades: eficacia, toma de decisiones eficiencia, etc.
Tabla 4.- Estructura metodolgica de la evaluacin en el desarrollo comunitario (Caride 1990)
En este primer momento, no es suficiente con atender a la deseabilidad y necesidad del programa, siendo este el punto de partida en la evaluacin de programas (Caride, 1990; Tejedor, 1990). Tambin hay que reparar en su viabilidad; es decir, si las condiciones para el probable xito del programa se dan o debieran establecerse. Difcilmente se podr desarrollar un programa si previamente no se han eliminado sus obstculos y ello slo es posible con una evaluacin diagnstica inicial del contexto de implementacin. Adems, esta evaluacin inicial comporta y posibilita igualmente la acomodacin de dicho programa a la situacin misma, a las caractersticas del grupo destinatario, a los propios recursos, a las caractersticas fsicas y psicosociales de la institucin, etc. puesto que no siempre es susceptible desarrollar un programa de acuerdo a las condiciones especficas y las variables que se tuvieron en cuenta en su planificacin. La contextualizacin del mismo es una tarea de capital importancia para poder dar respuesta a aquellas demandas y condiciones del contexto donde ha de implementarse. Consiguientemente, ello obliga a reparar en el propio
22
rediseo del programa, en los procedimientos, actividades, recursos y estrategias, etc. de cara a conseguir los objetivos establecidos.
Funcionamiento de la Institucin tras el proceso de formacin
Funcionamiento normal de la Institucin
Situacin de materializacin de los efectos de la accin
Mejora conseguida
Situacin previa a la accin formativa
Situacin a la finalizacin de la accin formativa
PROGRAMA
Decisin de formacin Necesidades formacin Fijacin de objetivos Diseo de la accin Diseo de la evaluacin
POST 1
POST 2
Autoevaluacin de la situacin previa de la actividad formativa. Auditoria PRE Evaluacin diagnstica PRE
Evaluacin formativa Evaluacin de Autoevaluacin de efectividad resultados. POST de la actividad CAMPO Auditoria POST
Tabla 5.- Esquema bsico de las implicaciones del proceso de evaluacin de un programa
Evaluacin de gestin y de eficcia
Respecto a su desarrollo, no slo tendremos en cuenta el logro de los objetivos planteados, siendo estos importantes, sino que interesarn igualmente los procesos seguidos en su implementacin, si se han introducido en el transcurso del mismo modificaciones o mejoras, los cambios de actitudes tanto en los formadores como en los participantes, etc. Con ello estamos apuntando claramente los dos componentes de la evaluacin formativa, valorando la discrepancia entre lo diseado y la realidad, por un lado; y la valoracin del propio proceso instructivo mientras se realiza, el progreso hacia los objetivos, etc. De esta forma, continua y racionalmente estamos tomando decisiones sobre el diseo o rediseo del programa en aras a su optimizacin. Por ltimo, ha de repararse sobre los resultados del programa una vez concluido, si se han conseguido los objetivos -verificacin de logros- de cara a acreditar, certificar, etc. (evaluacin sumativa) en relacin con los alumnos, y tambin tomar las decisiones necesarias sobre el programa de cara a su perfeccionamiento con el correspondiente rediseo. El objetivo principal, pues, de esta evaluacin final y sumativa como indica Cabrera (1987:123) es proporcionar evidencias objetivas, sistemticas y completas del grado en que el programa ha conseguido los fines que se propona y el grado en que se han producidos otras consecuencias no
23
previstas, que una vez conocidas, sean tambin de inters para los responsables y organizadores del programa. Pero con ello no habramos finalizado el proceso evaluativo. No bastara con la evaluacin sumativa una vez concluido el programa. Habra que asegurar tambin con una evaluacin diferida, a corto-medio-largo plazo, la permanencia y consistencia de los cambios producidos en los sujetos, la mejora de las prcticas profesionales, los cambios institucionales, etc. segn las metas del plan de formacin. La evaluacin de los impactos del programa nos permitir concluir sobre la eficacia, eficiencia, comprensividad, validez y utilidad del programa, as como sobre su rentabilidad profesional o social, segn fuera el caso. En cierta forma, estamos apuntando por un modelo de evaluacin, cuya representacin grfica reflejamos a continuacin. Modelo que indiscutiblemente integra elementos de otros modelos en la lnea de los expuesto por Hamm (1988:404-408) y que nosotros revisamos. Como puede observarse, se integran elementos de los modelos de Scriven, Stake y Stufflebeam. Los componentes de evaluacin, tanto por lo que se refiere a un programa o a los alumnos, quedan divididos en tres fases: antecedentes, transacciones y resultados en la terminologa de Stake (1976), con su correlato en la subsiguiente divisin de contexto, input, proceso y producto de Stufflebeam (1987). El modelo permite como tal describir las intenciones y los acontecimientos en cualquier fase, a la par que posibilita la toma de decisiones lo ms racionalmente posible a los responsables del programa respecto a la planificacin y desarrollo del mismo, tanto en lo que se refiere a la determinacin de los objetivos como a la determinacin de los recursos, deficiencias y obstculos observados antes y durante su implementacin con el consiguiente rediseo del programa. Con todo ello, estamos asumiendo que no slo interesan los resultados finales, siendo estos importantes, sino que la implementacin y desarrollo de un programa, con las vicisitudes que entraa, cobran capital importancia. Esto nos remite a la consideracin de la evaluacin formativa y sumativa de Scriven (1967). Estando interrelacionadas, la finalidad de la primera apunta por la optimizacin del programa, mientras que la segunda nos permite verificar su eficacia, bien sea de una parte o en su totalidad. Por ltimo, cabe destacar igualmente el planteamiento de objetivos libres descritos por Scriven (1973), en su modelo de evaluacin sin referencia a metas. Dentro de este planteamiento, el evaluador que aborda la evaluacin de un programa , debe evaluar, al margen de los objetivos del mismo, de manera que pueda considerar todos los resultados del programa y no slo los establecidos. En sntesis, el modelo expuesto nos da una visin ms completa, holstica, sobre la evaluacin de programas, sus dimensiones, las decisiones sobre su implementacin y sus resultados, as como de los distintos implicados.
24
ANTECEDENTES Contexto/input
TRANSACCIONES Proceso
RESULTADOS Producto
EVALUACIN DIAGNOSTICA
EVALUACIN FORMATIVA
programa actual secuencia instructiva temporalizacin recursos dinmica interaccin, etc.
EVALUACIN SUMATIVA
cambio en: conocimientos destrezas actitudes autoconcepto, etc.
EVALUACIN PROGRAMAS
contexto general necesidades contexto instructivo programa instrumentos medios y recursos, etc
(REDISEO) ADECUACIN DEL PROGRAMA
EVALUACIN SUMATIVA
mrito, valor, acontecimientos impactos, eficacia eficiencia, etc.
EVALUACIN DESTINATARIOS
datos biogrficos conocimientos motivacin actitudes destrezas historia profesional historia acadmica, etc.
relaciones implicacin participacin interacciones motivacin actitudes etc.
conocimientos actitudes motivacin, autoconcepto, destrezas, etc.
EVALUACIN INICIAL
EVALUACIN CONTINUA
EVALUACIN FINAL
EVALUACIN DIFERIDA
Grfico 6.- Modelo integrador de Evaluacin de Programas (Tejada, 1991:92)
25
1.4
La planificacin en la evaluacin de programas.-
Este breve repaso del proceso evaluativo nos permite igualmente reparar en la propia planificacin de la evaluacin, considerada la misma como una necesidad de obligado cumplimiento en aras una mayor racionalidad, objetividad, validez y pertenencia del hecho evaluativo, huyendo del libre albedro o de la improvisacin a la hora de acometer la evaluacin del programa que est funcionando o como ocurre muchas veces est en sus fases finales. Planificacin que en los trminos de Posavac (1989:27-38) hay que acometerla considerando los siguientes puntos: a.- Identificar la audiencia (personas relevantes, sponsor, director del programa, clientes, destinatarios, etc.) b.- Ajustar los encuentros preliminares con la audiencia con el propsito de fijar qu tipo de evaluacin, para qu y porqu de la misma, quien la realizar, cuando se llevar a cabo y qu fuentes de informacin sern las relevantes y vlidas. c.- Fijar la evaluabilidad del programa d.- Revisar la literatura e.- Determinar la metodologa: estrategias, poblacin y muestra, controlcomparacin, seleccin-construccin de instrumentos, recogida de datos, etc. f.- Presentar una propuesta por escrito. Al margen de las problemticas que cada uno de los aspectos referidos entraa, as como de su propia operativizacin, mas que fijar un plan de evaluacin de programas especfico, preferimos reparar en los distintos tipos de evaluacin segn el objeto, aportando pautas, procedimientos y criterios generales para tenerlos en cuenta en la planificacin de la evaluacin de los mismos, ya que cada realidad nos obligar a significar unos aspectos sobre otros, y de la toma de decisiones que hagamos al respecto resultar el plan de evaluacin de programas concreto (Mateo, 1994). Desde un punto de vista operativo, podemos concretar la secuencia a seguir desde la idea del trabajo en equipo, dada la complejidad de dicho proceso y la dificultad para abordarla desde la individualidad. Queremos decir con ello que por muy experto o competente que se sea en evaluacin, las exigencias del proceso evaluativo nos manifiesta su insuficiencia y nos obliga al trabajo interdisciplinar, consecuencia de la implicacin de diferentes mbitos y protagonistas. Adems de integrar el potencial de los distintos miembros del equipo de evaluacin y obtener con ello garantas suficientes para el conjunto de problemticas que se evidencian en el referido proceso, se advierte con ello tambin la virtualidad de la triangulacin, la intersubjetividad y la complementariedad entre evaluacin interna y externa, auto y heteroevaluacin. Con posterioridad abordaremos las implicacin de este planteamiento. FASE PROPSITO ACTIVIDADES QUE
26
IMPLICA 1. FORMULACIN DE Identificacin y precisin Definir la audiencia de la naturaleza de la LA EVALUACIN Determinar el propsito evaluacin
Identificar los aspectos relevantes
2. VALORACIN DE LA EVALUABILIDAD
Anlisis a priori de la Listado de los credibilidad y utilidad de componentes bsicos: la evaluacin que se va a objetivos, resultados y efectuar. efectos. Reordenacin de la misma Eleccin de los ms relevantes. Anlisis crtico de la posibilidad de analizarlos a travs del estudio evaluativo
3. PLANIFICACIN DE Implementacin de la evaluacin LA EVALUACIN 4. EJECUCIN DE LA Ejecucin del proceso evaluativo EVALUACIN
Eleccin del modelo Determinacin de la metodologa Elaboracin del diseo. Recogida de la informacin. Anlisis e interpretacin de la informacin.
5. UTILIZACIN DE LA EVALUACIN
Toma de decisiones a Informe de evaluacin partir de las conclusiones elaboradas en el informe Toma de decisiones evaluativo y otros aspectos a considerar evaluacin Eleccin de los criterios referenciales evaluativos Anlisis y valoracin efectuada en base a dichos objetivos.
6. METAEVALUACIN Evaluacin de la
Tabla 6.- El proceso de evaluacin (a partir de Mateo, 1994:61).
Tambin podemos diferenciar en el proceso de evaluacin de programas y su planificacin, una doble exigencia. De un lado, el trabajo interno para el equipo, implicando tareas o actividades relacionadas con el diseo, la documentacin y su anlisis, la elaboracin de instrumentos, el anlisis de la informacin recogida y su sistematizacin, para llegar a elaborar el informe final. De otro lado, el trabajo externo o de campo, incluyendo acciones tales como la presentacin del plan y su negociacin entre los diferentes implicados (expertos, esponsor, audiencias, etc.), la recogida de la informacin y su ampliacin o contrastacin.
27
El siguiente ideograma ilustra claramente dicho procedimiento en la evaluacin de programas. TRABAJO DE CAMPO TRABAJO INTERNO
IDEA DEL PROYECTO
R
E F L E X I N
DISEO
PRESENTACIN
DOCUMENTACIN PRESENTACIN COMPROMISO
NEGOCIACIN
RECOGIDA DE LA INFORMACIN AMPLIACIN Y CONTRASTACIN
E N
ANALISIS DE DOCUMENTOS. INSTRUMENTALIZACIN
E Q U I P O
ANLISIS DE LA INFORMACIN SISTEMATIZACIN ORGANIZACIN LTIMA PUESTA EN COMN
INFORME FINAL
Grfico 7.- Ideograma de flujo en evaluacin de programas (a partir de Jimnez,
1996)
28
1.5
La instrumentalizacin en la evaluacin de programas
Desde un punto de vista eminentemente prctico, la instrumentalizacin se erige como una de las facetas o tareas ms importantes en el diseo de la evaluacin de programas, por cuanto en ella concurren y se integran prcticamente el resto de las dimensiones evaluativas. Es ms, se ha evidenciado en la prctica, todo y que se hayan acometido adecuadamente la dimensin conceptual y metodolgica, que el olvido o desconsideracin de las exigencias que entraa esta dimensin operativa, ha impedido realizar la evaluacin del programa. La importancia de esta dimensin y nuestra preocupacin por ella la podemos encontrar en el primer apunte de nuestra definicin proceso sistemtico de recogida de informacin-. Esta consideracin nos indica que no toda o cualquier informacin que podamos obtener es la pertinente para nuestros objetivos o finalidades evaluativas. Es decir, dicha informacin est en estrecha dependencia de QU queremos evaluar (objeto) PARA QU (finalidad) y e FUNCIN DE QU (referente-criterio) lo vamos a hacer bsicamente. Dicho de otra forma, la informacin depende de las necesidades evaluativas derivadas del objeto y de la finalidad, siendo el criterio un operador bsico que hay que integrar en este momento, en la lnea del segundo y tercer apunte de la definicin implica un juicio de valor orientada a la toma de decisiones-. Las cuestiones de evaluacin, pues, con independencia en este momento del instrumento y la fuente de informacin son la resultante de esta triple integracin. Esta preocupacin nos obliga a reparar, aunque sea mnimamente en el objeto, indicadores, criterios y referente evaluativo. Aparte de las consideraciones que ya hemos realizadas sobre cada una de estas dimensiones de la evaluacin al comentar nuestro modelo conceptual (hexgono) de evaluacin, cabe advertir que el referente (poltica formativa, contexto de intervencin, principios psicopedaggicos de E-A y los propios participantes-destinatarios de la formacin) es una fuente tanto de criterios como de indicadores de evaluacin en la medida que del mismo se derivan, en parte, las necesidades evaluativas. Estos hay que considerarlos como normas de referencia para valorar el objeto evaluado. Con anterioridad hemos planteado y definido algunos de ellos, de ah que ahora eludamos mayor profundizacin en este particular Los indicadores de evaluacin, considerados en este momento como concreciones del objeto, quedan afectados en su seleccin por el referente y los criterios implicados para la valoracin y toma de decisiones y por la propia conceptualizacin del objeto a evaluar. En consonancia con Gairn (1993:94-95) vendran a ser la concrecin de un conjunto de fenmenos que definen y delimitan aspectos de un programa, y como elementos que facilitan la determinacin de las modificaciones que se producen, resultan ser la parte ms definida de la evaluacin. Ello obliga a elegir-seleccionar los ms idneos, al margen de otras consideraciones sobre su utilidad, validez, objetividad, especificidad, transparencia que obviamos en este momento. En resumen, objetos, indicadores, criterios y referente se constituyen en los posibilitadores de la construccin racional de instrumentos de recogida de informacin, con lo cual nos estamos acercando a la dimensin operativa de la evaluacin. De alguna manera son los elementos que posibilitan la elaboracin de cuestiones evaluativas. La conformacin definitiva de las mismas en clave de
Jos Tejada Fernndez, UAB, 1998 29
tems depender de la tipologa del instrumento, (abierto-cerrado) y de los propios destinatarios de los mismos, realizando para ello la imprescindible tarea de acomodacin a sus propias caractersticas (vocabulario usual, dificultad-sencillez, mecanismo de respuesta, etc.). El siguiente ideograma a partir de Gairn (1993) puede ilustrar claramente lo dicho hasta ahora.
OBJETO INDICADORES Diseo del programa Objetivos Contenidos Actividades ...... Desarrollo del Estrategias programa Recursos Clima Implicacin ....... Resultados del Logros programa Impacto Costes CRITERIOS Eficacia Eficiencia Pertinencia Idoneidad Relevancia Objetividad Satisfactoriedad Suficiencia ParticipantesDestinatarios Principios Psicopedaggicos REFERENTES
Poltica formacin Contexto
de
Cuestiones de evaluacin Los objetivos definidos son relevantes con la poltica de formacin? Los objetivos formulados son suficientes para satisfacer las necesidades de los destinatarios? La seleccin de contenidos es pertinente con el contexto? La metodologa permite la participacin activa? La duracin de las sesiones se adecua a las necesidades del contexto? Las prcticas realizadas satisfacen las necesidades de los participantes? Nivel de los objetivos logrados? Satisfaccin de las expectativas de los participantes? Nivel de cambio producido en la prctica profesional? Suficiencia del presupuesto asignado? ..................
INSTRUMENTO
Abierto Cerrado
Extenso Limitado
........ ........
Grfico 8.- Proceso de instrumentalizacin
La primera cuestin respondera a la integracin de objeto diseo del programa, del indicador objetivos, del criterio pertinencia y del referente poltica de formacin. En la misma direccin se pueden analizar el resto de ejemplos de cuestiones evaluativas. Posteriormente, concretaremos esta dimensin en los distintos fragmentos del programa.
30
1.6
Problemticas-dificultades en la evaluacin de programas
Venimos sosteniendo en este captulo inicial que la evaluacin es un proceso susceptible de planificacin, que entraa organizar los distintos elementos, sistematizar las fases en su desarrollo, temporalizar las secuencias planificadas y proveer los recursos necesarios para que la misma pueda llevarse a cabo. Todo ello supone, adems de vencer las resistencias-obstculos-dificultades que genera su organizacin y su desarrollo, proveer de un organigrama evaluativo (asignacin de tareas y responsabilidades, competencia tcnica) y propiciar los instrumentos, tcnicas y metodologas idneas en cada momento, dentro de un modelo, ajustado y coherente con los propsitos evaluativos. Es en este contexto de referencia en el que queremos ubicarnos a la hora de analizar las problemticas y dificultades que entraa el proceso de evaluacin, tanto en su planificacin como en su realizacin prctica. Se trata con ello de evidenciar los elementos que deben ser objeto de atencin en el proceso de configuracin y desarrollo de la evaluacin y no tanto el justificar la dificultad de la misma. Conviene en primer lugar, antes de empezar y sin pretender ser exhaustivos, tener un marco de referencia sobre el proceso de evaluacin en el mbito de la evaluacin de programas (aunque el mismo sea extrapolable a otros mbitos: centros, profesores, alumnos,...). Para ello retomaremos nuevamente, por ser suficientemente ilustrativa, la sntesis que nos ofrece Mateo (1994:61) sobre el proceso de evaluacin, teniendo presente las fases, propsitos y actividades que implica. Cabe considerar en este momento que las posibles dificultades en el proceso de evaluacin de programas nos remiten a los conceptos ya acuados de la evaluacin de la evaluabilidad o factibilidad de la evaluacin, de tal forma que, aunque las respuestas no puedan ser genricas, en situaciones de graves dificultades, la puesta en marcha de un programa se pone claramente en entredicho. Tambin habr que considerar que los programas son deudores de la forma como se confeccionaron y de los objetivos y finalidades que se les asignaron. Una indefinicin de metas o la falta de claridad en las acciones que el propio programa plantea es lgico que sean una fuente de problemticas y, en ltimo extremo, una dificultad para la evaluacin. Al referirnos a las problemticas en la evaluacin de programas, estamos aludiendo a aquellos obstculos que podemos encontrar a lo largo del proceso evaluativo, que afectan tanto a la viabilidad, factibilidad y utilidad de la misma, y, por tanto, repercuten en el proceso de recogida de informacin, la emisin del juicio de valor y en la consecuente toma de decisiones. Dado que podra ser prolijo la especificacin de cada una de ellas, procuraremos concretarlas en torno a aquellas que tienen un carcter general y aquellas otras que en el mismo proceso pueden considerarse especficas.
31
GENERALES
Terico-conceptuales Sustantivas Metodolgicas
ESPECFICAS
Diseo-implementacin del programa Diseo de evaluacin Desarrollo de la evaluacin El evaluador/res como problema Los destinatarios y su participacin
Tabla 7.- Clasificacin de las problemticas-dificultades
1.- Problemticas-dificultades generales: En este sentido, cabe diferenciar tres tipos: a) terico-conceptuales, b) sustantivos y c) metodolgicos. a) Problemticas terico-conceptuales: Hacen referencia al concepto de evaluacin y de programas que se utiliza y que justifica diferentes enfoques que en la prctica se adoptan. En primer lugar, hemos de referir una problemtica global que se deriva del abordaje paradigmtico marcadamente exclusivista. Queremos decir que la evaluacin, en la lnea de lo expuesto por Anguera (1990:83), tiene un carcter cientfico y que puede considerarse como una debilidad terico-conceptual abordarla exclusivamente desde un slo paradigma. Todos, en sntesis, pueden ser complementarios. El posicionarse en uno u otro afecta sobre todo al tipo de decisiones que pueden tomarse en relacin con las metodologas, instrumentos y tcnicas de evaluacin, as como el papel del evaluador y a las finalidades evaluativas. Considerar la planificacin y la evaluacin como esquemas sucesivos y no simultneos e interrelacionados: As, como ejemplo, si la planificacin conlleva la identificacin de necesidades o problemas, la evaluacin aporta procedimientos para detectarlos o, si se establece el plan de actuacin, la evaluacin analiza la conceptualizacin subyacente y la lgica del programa de intervencin. Diferenciar el proceso de recopilacin y anlisis de la informacin del proceso de valoracin. Presentar como perspectivas contrapuestas la evaluacin de procesos y la evaluacin de resultados o como sinnimos la evaluacin formativa y la evaluacin de desarrollo. b) Problemticas sustantivas: Referentes a las decisiones sobre el diseo de evaluacin planificado y sobre la forma como se ha de desarrollar. Al respecto, pueden citarse (Gairn, 1992:223):
32
Falta algn elemento en el diseo de evaluacin: no se considera el presupuesto, los recursos necesarios, etc. Ambigedad en la definicin de los elementos, lo son de manera muy general, de tal forma que se hace difcil evaluar la factibilidad de la evaluacin por la falta de concrecin. Incoherencia interna en el plan de evaluacin; esto es, los elementos considerados no se subordinan a los mismos objetivos, no se contemplan todas ala actuaciones necesarias, la metodologa es incoherente con la naturaleza del objeto a evaluar o con los recursos existentes, la temporalizacin no la imposibilidad de simultanear acciones, etc. Inexistencia de mecanismos de control para evaluar los efectos no previstos y no previsibles. c) Problemticas metodolgicas: Tienen que ver especficamente con la metodologa a usar en el propio proceso. En este mbito podemos referir: debilidad metodolgica en los diseos-modelos de evaluacin, resultante de la falta de experiencia en evaluacin. Se verifica, adems, en la prctica, que la misma est en relacin o en consonancia con la competencia profesional en funcin de la formacin metodolgica que poseen los evaluadores. No se aplican criterios de validez, fiabilidad y pertinencia, particularmente los referidos a la determinacin de la poblacin y muestra de estudio y los instrumentos de medida, que afectan a la validez interna y externa de la propia evaluacin. la falta de tradicin o cultura evaluativa. Consideramos, en todo caso, que la evaluacin como tal es joven, de ah sus problemas. En la medida que se incremente la cultura evaluativa, y exista experiencia, ms all de lo burocrtico, en la evaluacin, estas dificultades irn menguando, posibilitndose a travs de dicha experiencia recursos para mejorar y superar la debilidad metodolgica. 2.- Problemticas-dificultades especficas: Teniendo presente las problemticas generales, ya planteadas, presentamos a continuacin algunas otras especficas, con carcter complementario, y con el objetivo de concretar an ms el proceso de evaluacin desde esta ptica. En este caso las organizamos tambin de acuerdo al programa, al propio proceso de evaluacin, para detenernos por ltimo en los implicados en la evaluacin. a) Diseo e implementacin del programa: Como destaca Anguera (1990:85) afectan a la factibilidad de la propia evaluacin. En este particular, destacamos en consonancia con la autora referida: Objetivos mal definidos (imprecisin, vaguedad, etc.), que a veces nos remiten a reelaborar el propio programa de cara a su implementacin.
33
Fines-objetivos generales no realistas-ilusorios-utpicos, por no atender a las necesidades que ha de satisfacer el programa. Falta de claridad en las tareas a realizar. Inexistencia de organigrama de secuenciacin de las acciones. Falta de calendario o previsin temporal (cronograma). Falta de monitorizacin-asesoramiento de los ejecutores del programa. b) Diseo de la evaluacin: Bsicamente afectan a su estructura y a la naturaleza de los elementos que en l quedan definidos (Gairn, 1992:225). Se pueden concretar en: Falta de la consideracin del contexto y de los grupos destinatarios. No partir del anlisis de las demandas. Falta de participacin de los responsables, esponsors, etc.). protagonistas (usuarios, tcnicos,
Delimitacin de objetivos deficientes (ambiguos, contradictorios o utpicos). Actuaciones no secuenciadas o excesivamente genricas. Ausencia de cronograma o previsin temporal. No explicitacin de los recursos necesarios. Ausencia de organigrama o responsables del proceso (diferenciacin funcional). Dado que estas problemticas son estructurales, su modificacin aumentara la validez interna del diseo, por contra, su presencia resta credibilidad a la propia evaluacin. c) Desarrollo de la evaluacin: Tienen que ver con la ejecucin de la evaluacin. En esta fase podemos encontrar: Errores sistemticos no previsibles de localizacin de destinatarios, problemas sobre la cumplimentacin de protocolos, desfases temporales, mortandad experimental, etc. No someter el proceso de evaluacin a control, ya sea contrastando las fuentes de informacin o evaluando el mismo proceso (metaevaluacin). Realizacin del informe parcializado, sin fundamentarlo adecuadamente a las conclusiones (se olvidan los lmites que han existido, se ignorar los efectos secundarios o se basa la informacin en una sola persona o se contaminan las valoraciones con sentimientos personales. No se consideran adecuadamente las normas de evaluacin. Al respecto pueden servir de gua las publicadas en 1988 y actualizadas en 1998, por el Joint Committee on Standars for Educational Evaluation y que hacen referencia a normas de utilidad, factibilidad, legitimidad y precisin.
34
d) El evaluador/es como problema. En este caso, los principales problemas que se presentan son: la falta de competencia metodolgica del propio evaluador. Este necesita una formacin especfica para acometer las tareas que implica tanto el diseo-planificacin como la ejecucin de la evaluacin. Adems, aunque exista tal competencia, no siempre es una garanta para una evaluacin de calidad, sobre todo desde la ptica de la evaluacin externa como veremos. la relacin entre evaluadores y las dems personas implicadas en el hecho evaluativo ("esponsors", docentes, gestores, etc. y la derivada de la complementariedad entre evaluacin interna y evaluacin externa, para evitar el sesgo unidireccional que puede producirse cuando se acometen evaluaciones exclusivamente desde una u otra ptica. Los primeros generan recelos, temores, suspicacias, con sus consabidas repercusiones sobre la aceptacin o inhibicin de los segundos. Adems, al no estar implicados en el programa, no conocer todas las dimensiones y dinmicas subyacentes que se originan o presentan durante el desarrollo del mismo. Los segundos, por contra, dada su implicacin afectiva, tienen falta de miras, y deficiencias para evaluar por estar dedicando sus energas a otros quehaceres, no propiamente evaluativas. e) Los destinatarios y su participacin. La participacin en los procesos de evaluacin es hoy da una exigencia tcnica (aporta validez a las variables, preguntas, indicadores y criterios) y social (necesaria como garanta de la utilidad y aplicabilidad de lo obtenido) pero no por ello ha de incidir en el intercambio de papeles (Gairn, 1992:224). Adems de todo lo apuntado en el apartado anterior, existen puntos de friccin entre los implicados en los procesos de evaluacin que hay que tener presentes igualmente como problemticas y dificultades del propio proceso y que se pueden concretar en torno a: Diferencias de personalidad entre evaluadores, responsables, gestores, etc. (evaluadores, como aspticos, neutrales, responsables-gestores como extrovertidos, etc.) Falta del diferenciacin funcional (o de papeles en el propio proceso) entre responsables, gestores, ejecutores, evaluadores. Falta de definicin ntida de los distintos papeles en el proceso. Metas, valores, intereses, expectativas y marcos de referencia en conflicto. Caractersticas institucionales (larga/corta historia, experiencia, conflictos institucionales, cultura, clima organizacional, etc.). Estos puntos de friccin se pueden concretar en acciones-tareas del proceso que igualmente quedan afectadas en su desarrollo. En este sentido sencillamente queremos puntualizar en torno a: Recoleccin de datos
35
Cambios en los procedimientos para llevar registros (falta de univocidad de criterios). Seleccin de los participantes en el programa. Eleccin de grupos (muestra: grupos experimentales y controles). Retroalimentacin de la informacin en el programa. Rivalidad de rango Ante tales situaciones no es de sorprender la presencia de las resistencias en los afectados por la evaluacin. Resistencias, consubstanciales al propio proceso, que pueden concretarse entre otras por: Miedo que las evaluaciones impidan el desarrollo del programa Miedo a que el programa finalice. Miedo a que la informacin puede ser abusiva, engaosa, mal utilizada, etc. Miedo a que se agoten los recursos del programa. Miedo a que la comprensin cualitativa del proceso pueda ser suplantada Miedo a prdida de control del programa. Miedo a que la evaluacin tenga escaso impacto Las mismas pueden patentizarse de distintas formas, entre otras destacamos la falta de colaboracin en la evaluacin por parte de los usuarios-afectados, bien sea por recelo u otras motivaciones, pero que posibilitan una informacin sesgada o rechazo directo, no cumplimiento de protocolos o cualquier instrumento. etc. 1.6.1 Patologas generales y abusos de la evaluacin como sntesis de las problemticas-dificultades Este breve anlisis nos permite llegar a las patologas de la evaluacin, bien ilustradas por Santos Guerra (1993:15-31) y que de manera sinttica podemos apuntar:
Ev. unilateralmente (alumnos, resultados, conocimientos...) Ev. lo explcito, lo observable. Ev. negativamente Ev. descontextualizadamente Ev. lo pretendido. Ev. estereotipadamente (planes, instrumentos...) Ev. para controlar, para conservar Ev. slo interna Ev. incoherentemente con el proceso E-A.
36
Ev. competitivamente No evaluar ticamente. No realizar paraevaluacin No realizar metaevaluacin Ev. distemporalmente No se incluye autoevaluacin No se integran diferentes informaciones.
Tabla 8.- Patologas de la evaluacin (Santos Guerra, 1993).
En la misma direccin, podran considerarse igualmente los abusos de la evaluacin, tambin expuestos por Santos Guerra (1993:45-56): Convertirla en un elogio a quien la patrocina o la realiza. Elegir sesgadamente algunas parcelas o experiencias que favorezcan una realidad o una visin de la misma. Hacer una evaluacin de diferente naturaleza y rigor para realidades igualmente importantes. Convertirla en un instrumento de dominacin, control y opresin. Ponerla al servicio de quienes ms tienen o pueden. Atribuir los resultados a causas ms o menos supuestas a travs de procesos atributivos arbitrarios. Encargarla a equipos o personas sin independencia o valor para decir la verdad. Silenciar los resultados respecto a los evaluador o a otras personas. Seleccionar aquellos aspectos que permitan tomar decisiones que apoyan las iniciativas, ideas o planteamiento del poder. Hacer pblicas slo aquellas partes del informe que tienen un carcter halagador. Descalificar la evaluacin achacndole falta de rigor si los resultados no interesan. Dar por buenos los resultados a pesar de la falta de rigor, cuando esto no es lo que interesa. Utilizar los resultados subrepticiamente injustas. para tomas decisiones clara o
Aprovechar la evaluacin para hacer falsas comparaciones entre lo que es realmente incomparable.
37
Atribuir los malos resultados no al desarrollo del programa sino a la torpeza, la pereza o la mala preparacin o voluntad de los usuarios del mismo.
Tabla 9.- Abusos de la evaluacin (Santos Guerra, 1993)
1.6.2 Algunas alternativas para la superacin problemticas en el proceso de evaluacin.-
de
las
dificultades-
Como puede apreciarse, al margen de cualquier comentario especfico, la falta de cultura evaluativa se convierte en el principal problema de los procesos evaluativos. As pues, toda intervencin que procure incrementar la cultura evaluativa automticamente, adems de vencer las resistencias a la evaluacin, incidir en la solucin de las problemticas apuntadas. Esto nos remite a insinuar acciones que afecten al conocimiento de la estructura del programa, sus destinatarios, objetivos, contexto de aplicacin, recursos, etc.; a la estrecha relacin que se ha de establecer entre los evaluadores y los implicados por el programa, bien sean los destinatarios directos de la accin, o bien los responsables del mismo, en aras a la comunicabilidad necesaria para evaluar; al establecimiento de la secuencia temporal, operativa, metodolgica e instrumental de la evaluacin. Todo ello incidir tanto en la objetividad (intersubjetividad), como en factibilidad, viabilidad y utilidad de la evaluacin. De manera ms especfica podemos precisar: 1. Estudio del diseo del programa: identificando sus componentes y analizando las conexiones entre los mismos (institucin que los financia, informes anuales, presupuestos, recursos materiales, personal implicado, contexto de funcionamiento, necesidades que pretende satisfacer, efectos previstos, destinatarios, temporalizacin, etc. 2. Comprobacin del proceso de implementacin-desarrollo del programa: recabando informacin sobre cmo se implementa, quienes son los beneficiarios, quienes son los usuarios -implementadores-, recursos implicados durante el desarrollo, problemticas, obstculos y resistencias, seguimiento de la temporalizacin prevista, etc. 3. Disponer de un plan preciso, claro y negociado sobre la evaluacin y su proceso: El mismo debe reflejar con exactitud los objetos de evaluacin, finalidades y objetivos (claves para la toma de decisiones), momentos (cronograma evaluativo), instrumentos (vlidos, fiables, pertinentes), fuentes de informacin (documentales o personales) y evaluadores (organigrama funcional). 4. Complementar evaluacin interna con la externa: como superadoras de las deficiencias implcitas de cada una de ellas. En el tabla siguiente presentamos las ventajas e inconvenientes de una y otra, asumiendo la complementariedad. EVALUACIN INTERNA EXTERNA
38
Conocimiento del programa Conocimiento aplicacin Experiencia tcnica Implicacin afectiva Evaluacin formativa Evaluacin sumativa del contexto
++ + + -
-+ + +
Tabla 10.- Ventajas e inconvenientes entre evaluacin interna-externa
5. Operar desde enfoques paradigmticos no exclusivistas, sino ms bien complementarios: Esto afecto al diseo y desarrollo metodolgico, los instrumentos y tcnicas de recogida de informacin, as como el papel del evaluador y las finalidades evaluativas. En este sentido, derivado de la propia conceptualizacin de la evaluacin proponemos la grfico siguiente como superadora de tales reduccionismos.
39
PROBLEMA PARADIGMTICO
CIENTFICO POSITIVISTA
INTERPRETATIVO-FENOMENOLFICO
SOCIOCRTICO
Hecho
Valor
Accin
Medida
Valoracin
Toma de decisiones
COMPLEMENTARIEDAD
EVALUACION
Grfico 9.- Implicaciones paradigmticas en la evaluacin (Tejada 1995)
6. Disponer de consenso tanto en el diseo como desarrollo de la evaluacin entre los implicados en la misma: lo que obliga a las pertinentes reuniones y negociaciones y cuya resultante es la unificacin de criterios evaluativos. 7. Trabajar en grupo (equipo de evaluacin): superando las limitaciones derivadas de los individualismos. Dada la complejidad del proceso evaluativo es imposible que una nica persona sea capaz de acometer con garantas todas las tareas que el mismo entraa. Adems, el equipo implica un gran potencial, por cuanto la diferenciacin funcional y competencial (si las definiciones de los roles son claras) posibilita mayor riqueza y posibilidades tanto en el diseo, ejecucin y toma de decisiones. 8. Propiciar recursos y apoyo por parte de los administradores o directivos: Lo que conlleva consecuencias organizativas -espacio y tiempo para evaluar-. Tambin ello puede afectar a la formacin sobre evaluacin, como recurso necesario e imprescindible para que la misma sea acometida con posibilidades de xito. 9. Articular un sistema de retroalimentacin del propio proceso, con informacin til y vlida para la toma de decisiones respecto al seguimiento
40
y desarrollo del propio plan de evaluacin, as como para los propios implicadados tanto en la implementacin-desarrollo del programa como en la evaluacin del mismo. 10.Incorporar la metaevaluacin como herramienta de control y mejora de los procesos de evaluacin, dado que la propia complejidad del proceso evaluativo exige este requisito para poderle ser riguroso, contrarrestando los riesgos del mismo y poderle atribuir valor. En sntesis, queremos concluir en la lnea de Santos Guerra (1993:34-35) que estas aproximaciones nos remiten a una evaluacin ms valiosa que se caracterizara por: Independiente y por ello comprometida. Cualitativa y no meramente cuantitativa. Prctica y no meramente especulativa. Democrtica y no autocrtica. Procesual, no meramente final. Participativa, no mecanicista. Colegiada, no individualista. Externa, aunque de iniciativa interna.
41

Capitulo1 Tejada

Diunggah oleh

Informasi Dokumen

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Capitulo1 Tejada

Diunggah oleh

Hak Cipta:

Format Tersedia

La evaluacin de programas: consideraciones generales

1.- La evaluacin de programas: consideraciones generales.

Jos Tejada Fernndez

Jos Tejada Fernndez, UAB, 1998

La evaluacin de programas: consideraciones generales

Jos Tejada Fernndez, UAB, 1998

La evaluacin de programas: consideraciones generales

PARA QU? FINALIDAD

Diagnstica Formativa Sumativa

Inicial Continua Final Diferida

QU? INSTRUMENTO REFERENTE

Grfico 1.- Dimensiones bsicas de la evaluacin educativa (Tejada 1991:88).-

Jos Tejada Fernndez, UAB, 1998

La evaluacin de programas: consideraciones generales

Funciones relativas a las personas

Funciones relativas a un sistema

a) predictiva b) reguladora h) descriptiva

e) preventiva f) prospectiva g) control calidad l) con.rentabilidad m) est. viabilidad

Jos Tejada Fernndez, UAB, 1998

La evaluacin de programas: consideraciones generales

DECISIONES A TOMAR -Admisin, orientacin, establecimiento de grupos de aprendizaje.

-Adaptacin-ajuste e implementacin del programa

-Promocin, certificacin, reconsideracin de los participantes. -Aceptacin o rechazo del programa.

Tabla 1. Relaciones entre finalidad y el momento evaluativo

Jos Tejada Fernndez, UAB, 1998

La evaluacin de programas: consideraciones generales

Jos Tejada Fernndez, UAB, 1998

La evaluacin de programas: consideraciones generales

Sin referencia a metas

-Cualitativa -Estudio de casos

PARLETT Y HAMILTON -Observacin -Investigacin -Explicacin

EISNER -Descripcin -Interpretacin -Valoracin

Tabla 2. Modelos de evaluacin de programas (Tejada, 1989:114-116)

Jos Tejada Fernndez, UAB, 1998

La evaluacin de programas: consideraciones generales

Jos Tejada Fernndez, UAB, 1998

La evaluacin de programas: consideraciones generales

Jos Tejada Fernndez, UAB, 1998

La evaluacin de programas: consideraciones generales

REALIDAD REALIDAD NUEVA

Final-Corto plazoLargo plazo

Grfico 3.- Relacin entre el nivel de planificacin y evaluacin de un programa

Jos Tejada Fernndez, UAB, 1998

La evaluacin de programas: consideraciones generales

PLANIFICACIN/ DESARROLLO Y RESULTADOS * Identificacin de necesidades

* Programacin, (diseo del programa)

* Evaluacin del diseo

* Eval. producto * Eval. impacto * ...

Grfico 4.- Relacin entre planificacin y evaluacin de programas

Jos Tejada Fernndez, UAB, 1998

La evaluacin de programas: consideraciones generales

Instrumentalizac. Configurar grupo de incidencia

ESTRUCTURAR EVAL. PLANIFICACION ELABORACIN DEL PROGRAMA

DESARROLLO DEL PROGRAMA

Configurar grupo diana. Establecer mecanismos seguimiento y control.

ESTABLECER EVAL. RESULTADOS EVALUACIN DEL PROGRAMA

Jos Tejada Fernndez, UAB, 1998

La evaluacin de programas: consideraciones generales

El proceso de evaluacin de programas.-

TIPO REFERENTE EVALUACIN

Tabla 4.- Estructura metodolgica de la evaluacin en el desarrollo comunitario (Caride 1990)

Jos Tejada Fernndez, UAB, 1998

La evaluacin de programas: consideraciones generales

Funcionamiento normal de la Institucin