Anda di halaman 1dari 4

FORMAS & REFORMAS DE LA EDUCACION

Serie Políticas
ABRIL 2001 - Año 2 / Nº8
Directora responsable: Marcela Gajardo ¿Cómo avanzar en la evaluación
E-mail: mgajardo@preal.org
Tel: (562) 3344302. Fax: (562) 3344303 de aprendizajes en América
Santa Magdalena 75, of. 1002.
Santiago - CHILE
Internet: www.preal.org
Latina?
Se resumen en este número dad de incrementar y utilizar más
Al cabo de una primera etapa de eficientemente los recursos siempre escasos
algunas partes del documento “Los
instalación de sus sistemas nacio- destinados al sector educación, resultará
próximos pasos: ¿Hacia dónde y
nales de evaluación del aprendiza- imprescindible contar con información que
cómo avanzar en la Evaluación de permita evaluar el impacto de una inversión
je —durante la década de los
aprendizajes en América Latina?” adicional y monitorear en forma permanen-
’90—, muchos países de América
—de los autores Pedro Ravela (edi- te y adecuada los avances y retrocesos en
Latina se encuentran ingresando los resultados del sistema educativo.
tor), Richard Wolfe, Gilbert Valverde y
en una fase de revisión de lo El panorama de la primera década de
Juan Manuel Esquivel— producido en
realizado hasta el momento y de experiencia extendida en materia de evalua-
el marco del Grupo de Trabajo sobre ción de aprendizajes a nivel nacional, mues-
consideración de nuevas alternati-
Estándares y Evaluación GRADE/ tra una importante diversidad de: enfoques,
vas en este campo. Es éste, por lo
PREAL en marzo del año 2000. El conocimientos y competencias que son eva-
tanto, un momento propicio para luados; periodicidad de las evaluaciones;
documento completo está disponible
examinar por lo menos tres grados y áreas curriculares en los cuales se
en http://www.grade.org.pe/gtee-preal.
aspectos fundamentales: realizan las mediciones; el tipo de variables
contextuales sobre las que se recoge y re-
• el papel de los sistemas de porta información; y los análisis y formatos
evaluación en la política educativa; de devolución de la información, entre otros.
Más allá de cuán útiles hayan sido los
• la necesidad de mejorar la La incorporación de sistemas nacio- resultados de los distintos sistemas, sí se
calidad técnica de los diversos nales de evaluación de los aprendizajes en puede decir que en la pasada década se dio
aspectos constitutivos de los América Latina empezó en la década de un paso de enorme trascendencia para la
sistemas de evaluación; y los ‘80, cuando algunos países de la Re- Región: los sistemas de evaluación se han
• las estrategias de uso y gión desarrollaron algunas experiencias en instalado en los países, se ha generado una
este campo, sin haber llegado entonces a cierta capacidad para la implementación de
difusión de los resultados de las objetivos nacionales de evaluación a gran
institucionalizar tales prácticas de mane-
evaluaciones. ra sistemática. En los ‘90, sin embargo, escala, y la sociedad y los cuerpos docentes
Ello requiere detenerse se asiste a una fase de instalación formal comienzan a valorar y comprender la nece-
previamente a analizar los de estos sistemas en toda la Región, reali- sidad de este tipo de evaluaciones. Sin em-
distintos fines para los que pueden zándose también una primera experiencia bargo, simultáneamente, al cabo de esta pri-
servir diversos sistemas de de evaluación a nivel regional, conducida mera etapa muchos países se encuentran
por UNESCO/OREALC. ingresando en una fase de revisión de lo
evaluación, los paradigmas que los La multiplicación de estas actividades hecho hasta el momento y de consideración
sustentan, las técnicas e constituye una clara manifestación de la pre- de nuevas alternativas en este campo. Ello
instrumentos más adecuados ocupación de los gobiernos por producir obedece a la constatación de tres tipos de
según los fines particulares que información sobre los aprendizajes que se debilidades:
persigue un país con sus pruebas, logran al interior de los sistemas educati-
vos. En un contexto internacional en el que • Insuficiente aprovechamiento de la infor-
y la información complementaria mación producida por los sistemas de eva-
el conocimiento y las capacidades de los
que puede incorporarse en las individuos serán cada vez más importantes luación, lo que tiene como consecuencia
mediciones para interpretar mejor para el desarrollo y competitividad de los el insuficiente impacto de éstos en el sis-
los resultados del proceso países, es previsible que en los próximos tema educativo.
educativo y los factores que los años esos esfuerzos evaluativos se manten- • Insuficiente calidad y capacidad de eva-
determinan. gan. Asimismo, en la medida en que exista luación de aprendizajes complejos en las
una mayor conciencia respecto a la necesi- pruebas que están siendo aplicadas.

DIALOGO
INTERAMERICANO
FORMAS & REFORMAS DE LA EDUCACION

• Debilidades técnicas en los procesos de Recuadro


desarrollo y validación de los distintos ins-
trumentos de medición.
En la actualidad, parecen estar dadas las Objetivos posibles de los sistemas de evaluación
condiciones para dar un “salto cualitativo”
en materia de evaluación, el cual exige de- Un sistema nacional de evaluación de aprendizajes puede proponerse alguna o
sarrollar un proceso reflexivo en dos gran- varias de las siguientes finalidades, e incluso otras adicionales, pero un sólo tipo
des planos: las opciones de política en ma- de medición no puede cumplir con todas ellas:
teria de evaluación nacional, y las opciones
técnicas para llevar a cabo las evaluaciones • Construir un “mapa de situación” del sistema educativo, con el fin de identificar
en función de las opciones de política esco- áreas prioritarias de intervención y tipos de intervenciones necesarias.
gidas. Para esto es necesario replantearse • Evaluar el impacto de políticas, innovaciones o programas específicos.
tanto los fines que pueden cumplir los dis- • Conocer la dirección y magnitud de los cambios que se están dando en las
tintos sistemas de evaluación (ver recuadro) condiciones y logros de la educación.
y contrastarlos con lo que se desea en cada • Evaluar la productividad de los maestros para efectos de establecer un
caso particular, así como considerar en el sistema de incentivos.
• Brindar a los padres de familia información que les permita evaluar la
diseño de los sistemas las implicancias de-
calidad de las escuelas.
rivadas de los cuatro temas que se presen-
• Devolver información a las escuelas y maestros para que éstos examinen
tan a continuación. los resultados de su trabajo.
• Establecer la acreditación de los alumnos que finalizan un determinado
1. El dilema de la granularidad: nivel de enseñanza.
• Seleccionar u ordenar a los estudiantes.
cobertura curricular versus • Informar a la opinión pública y generar una cultura de la evaluación.
cobertura poblacional • Contribuir a establecer estándares de calidad para el sistema educativo.
• Realizar estudios tipo costo-beneficio.
• Contribuir a la generación del conocimiento (para efectos de investigación sobre
Un asunto crítico en el diseño de los sis- funcionamiento del sistema educativo, prácticas de enseñanza, impacto de
temas nacionales de evaluación es el de la variables sociales sobre aprendizaje, entre otros).
“granularidad”, entendida ésta como la can-
tidad de detalle con que el sistema recoge y La experiencia indica que en muchos países de la Región ha sido insuficiente la
luego reporta los datos. Por ejemplo, puede reflexión acerca de los fines específicos que se espera que cumplan sus sistemas
haber enormes diferencias en el costo y en de evaluación y acerca de las definiciones técnicas más adecuadas para cada fin.
el modo de utilización entre sistemas de
evaluación que sólo proporcionan resulta-
dos nacionales y aquéllos que suministran • Los principales estratos definidos educa- de lectura).
resultados de todos los estudiantes o escue- cional, política y socialmente (ej.: los es- • Logro en niveles particulares de desem-
las individualmente. De igual manera, pue- tudiantes en escuelas públicas, en escue- peño en diferentes estándares en una asig-
den haber grandes diferencias entre las eva- las rurales, en programas bilingües, etc.). natura.
luaciones que dan información general so- • Principales divisiones regionales (provin- • Estadísticas de respuestas para ítemes es-
bre temas amplios, tales como los logros en cias, estados...). pecíficos.
matemáticas o lenguaje, y aquéllas que brin- • Jurisdicciones menores (ciudades, muni- • Registro detallado de las respuestas a una
dan información detallada sobre lo que los cipios). prueba.
estudiantes saben y pueden o no hacer en • Escuelas.
áreas específicas de esas asignaturas. • Salones de clase (profesores). La granularidad del contenido determi-
Así, los sistemas se diferencian según • Estudiantes. na la capacidad de interpretar y compren-
la forma en que combinen dos dimensiones: der la calidad del logro educacional y de
B. ¿Qué es lo que se evalúa? tomar medidas para mejorarla, así como la
A. ¿Quién es evaluado? En este ámbito, hay también varios ni- capacidad para usar información de la eva-
Si bien los estudiantes —y a menudo veles, tales como: luación para diseñar ajustes al currículum y
los padres, los profesores, los directores es- a la enseñanza.
colares y otros— son las fuentes primarias • Resultados globales, incluyendo matrícu- El gran dilema de los sistemas de eva-
de datos de un sistema de evaluación edu- la, participación en la evaluación, sin ver- luación es que atender simultáneamente
cacional, no suelen ser la principal unidad dadera evaluación de contenidos. estas dos dimensiones de granularidad ge-
para la cual se calculan los resultados y se • Éxito o fracaso general, culminación del nera usualmente un conflicto o “trade-off”.
hacen los reportes. En general se encuen- plan de estudios, graduación, certificación, Suele haber una relación inversa entre las
tran los siguientes niveles de análisis y de tal vez basadas en diferentes asignaturas posibilidades de maximizar cobertura
reporte: y otra información. curricular y cobertura poblacional. Cuanto
• Puntajes en asignaturas, tales como el lo- más detalladamente se desee conocer qué
• Poblaciones nacionales o internacionales gro general en matemáticas o en lenguaje. aprenden los alumnos en cierto nivel del
(ej.: la población de escolares de 3er gra- • Puntajes en áreas de asignatura (ej., solu- sistema educativo, menos factible será con-
do de primaria). ción de algoritmos, álgebra, comprensión tar con información desagregada a nivel de
FORMAS & REFORMAS DE LA EDUCACION

distrito y establecimientos educativos. Por que se va a hacer de los resultados. Es decir, minados conocimientos, habilidades y des-
el contrario, si el propósito es generar infor- validar una prueba que persigue un deter- trezas, como sí lo pueden hacer las medi-
mación con estos últimos niveles de minado propósito no significa que queda ciones basadas en criterios. Estas últimas
desagregación, entonces sólo será posible automáticamente validada para otro. La va- requieren el establecimiento previo, a par-
obtener mediciones más globales y menos lidez es también específica a las poblacio- tir de consultas y opciones expertas, de
detalladas de lo que los alumnos aprenden. nes. Una prueba validada para un país o pro- los niveles de desempeño o estándares que
Un desafío central para el diseño de una eva- vincia determinada no puede ser considera- son exigibles a los alumnos en el grado
luación es desarrollar metodologías que per- da como validada para otras poblaciones. Por evaluado. Permiten luego reportar qué por-
mitan combinar diferentes propósitos de la último, es necesario tomar en cuenta que el ción de alumnos ha alcanzado esos
mejor manera. tiempo cambia las características de los fe- estándares en áreas temáticas más circuns-
nómenos y que, por lo tanto, la validación critas, y aportan mejor información para
es una tarea continua y una forma de asegu- promover su mejoría.
2. Validez de las mediciones rar que nuevos factores que puedan apare- Una nueva alternativa en materia de eva-
cer con el tiempo no atenúen la validez de luación que ha cobrado fuerza en los países
¿Qué significan los resultados que ob- las conclusiones que se deriven de las eva- desarrollados en la última década, es la lla-
tienen los estudiantes en nuestras pruebas luaciones. mada “evaluación de desempeño”, según la
nacionales de rendimiento? ¿Estamos real- Es necesario, por lo tanto, realizar un cual los estudiantes deben producir sus res-
mente sacando conclusiones apropiadas, sig- análisis más cuidadoso de la información que puestas o ejecutar tareas, en lugar de sim-
nificativas y útiles a partir de esos resulta- producen los sistemas de evaluación, en el plemente seleccionar la respuesta correcta
dos? ¿En qué medida podemos justificar la sentido de validar las conclusiones e inter- entre varias alternativas. Para esto se em-
manera en que interpretamos el resultado de pretaciones que se derivan de su análisis. Ello plean preguntas de respuesta abierta, reque-
una evaluación? implica una labor de formación permanente rimientos de resolver problemas, producir
Estas son preguntas centrales en el tema de los usuarios (autoridades, opinión públi- un ensayo, materiales o discursos públicos,
de las evaluaciones educacionales, puesto ca, medios de comunicación, maestros) res- artefactos o documentos, y elaborar
que interpretar correctamente y usar apro- pecto de los usos válidos de los distintos ti- portafolios o muestras de trabajos realiza-
piadamente la información que nos dan las pos de información y respecto al tipo de in- dos a lo largo de un periodo. Lo novedoso
pruebas es algo crucial. A esto apunta el con- terpretaciones que no es posible extraer vá- del enfoque es el énfasis en la medición de
cepto de “validez”, definido actualmente lidamente de los resultados de las evalua- conocimientos y habilidades complejas tal
como el grado en que la evidencia empírica ciones, así como mecanismos continuos de y como se le presentan al estudiante en la
y la teoría dan sustento a las interpretacio- consulta para garantizar la validez de los ins- vida real. Es, necesario, sin embargo, tomar
nes de los resultados de una medición. La trumentos para los propósitos viejos y nue- en cuenta dos características de este enfo-
validez se refiere al ámbito del uso legítimo vos que deben servir. que cuando se aplica a muestras masivas de
de esas interpretaciones y también al grado estudiantes: el tiempo que requiere un alum-
en que el uso de la prueba no produce un no para completar una tarea específica y la
impacto negativo no deseado sobre el siste- 3. Enfoques de las mediciones limitación técnica de depender del juicio hu-
ma educativo. La validez no es, como se mano para juzgar la calidad de la respuesta.
pensaba antes, “que se está midiendo lo que Los encargados de diseñar los sistemas Por otra parte, el factor costo en este caso es
se pretende medir”, no es meramente una de medición de logro en América Latina se una seria limitante.
cualidad “técnica” de la medición que se enfrentan a la disyuntiva de desarrollar prue- No obstante, es indudable que es nece-
garantiza con una u otra prueba estadística, bas de rendimiento para comparar el logro sario medir el conocimiento y las habilidades
ni tampoco es algo muy complejo o sofisti- de grupos de estudiantes con otros grupos o complejas y resulta atractiva la idea de aplicar
cado que necesariamente escapa a la com- para descubrir qué aspectos, conocimientos algunos de los medios de la evaluación del
prensión del gran público. La validez se ga- u objetivos específicos logran los estudian- desempeño a las pruebas de la Región.
rantiza con la aplicación de rigor lógico y de tes. Responder a este dilema implica desa-
sensibilidad en la construcción y perfeccio- rrollar pruebas en base a paradigmas con 4. Medición de aspectos
namiento de los instrumentos de medición, fundamentaciones teóricas diferentes. En el
con la consideración sistemática del tipo de primer caso, se trabaja con el paradigma re- contextuales
decisiones que podrían llegar a tomarse usan- ferido a normas y, en el segundo, con el pa-
do como sustentación o evidencia los resul- radigma referido a criterios. Un último aspecto que se requiere tener
tados de esa medición. En la mayoría de los países de la Re- presente en la revisión de los sistemas de
En América Latina, donde los recursos gión, el diseño de las pruebas ha estado evaluación de la Región, es que no sólo es
son tan escasos, a veces se pretende que una marcado fuertemente por el primer paradig- necesario mejorar sustancialmente la cali-
misma prueba sirva para más de un propósi- ma. Las pruebas referidas a normas per- dad de los instrumentos de medición de
to. Por ejemplo, que permita distinguir entre miten la comparación del desempeño rela- aprendizaje, sino también los instrumentos
estudiantes que logran o no los objetivos tivo en un área amplia de contenidos (por de medición de aspectos relevantes del con-
académicos de un nivel y que, al mismo tiem- ejemplo, «matemáticas» o «lenguaje») de texto social y escolar en que los aprendiza-
po, sirva para juzgar la eficacia de distintas distintos grupos de estudiantes. Bajo ciertas jes ocurren. La mayor parte de los países
escuelas y la eficacia de diversos programas condiciones, también permiten hacer un se- recoge información sobre variables socia-
en los cuales participan dichas escuelas. Sin guimiento a lo largo del tiempo de ese des- les y escolares, pero en muchos casos la ca-
embargo, como consecuencia de lo que se empeño relativo general. Sin embargo, ese lidad de la misma no es suficiente y menos
dijo líneas arriba, la validación debe ser es- enfoque no permite obtener información aún el aprovechamiento que de ella se hace
pecífica, según el tipo de interpretación y uso específica y válida sobre el logro de deter- para el análisis de los resultados de aprendi-
FORMAS & REFORMAS DE LA EDUCACION

zaje y la investigación. Al respecto, es ne- dos que, en realidad, obedecen a la se- riquecer el horizonte conceptual y la base
cesario: lección social del alumnado. empírica de la de decisiones de política
•Mejorar la medición de las variables •Mejorar la medición de variables de tipo educativa.
sociofamiliares, con el fin de institucional y pedagógico, con el fin de •Asegurar la recolección de medidas a lo
contextualizar socialmente el análisis y desarrollar trabajos de investigación que largo del tiempo, de manera de poder el
reporte de los resultados y evitar la fala- permitan comprender la compleja trama “valor agregado” que puede atribuirse a
cia de atribuir a los establecimientos edu- de factores que intervienen en el logro variables que el sistema educativo sí pue-
cativos el mérito o la culpa por resulta- de los aprendizajes y, de este modo, en- de contribuir a modificar.

Los próximos pasos


Lo presentado anteriormente permite afirmar que, si bien al cabo de esta primera década de instalación de los sistemas
nacionales de evaluación en la Región se han dado pasos importantes, aún queda mucho por hacer y mejorar en este
campo. En ese sentido, una posible agenda de trabajo para dar los próximos pasos estaría centrada en tres ejes principales.

1. El papel de los sistemas de evaluación en la política educativa.

Se trata de definir con qué estrategia se espera que un sistema de evaluación nacional de aprendizajes tenga algún impacto en
la mejora de los aprendizajes. Esta reflexión debería involucrar preguntas como:
• ¿Conviene que la evaluación tenga consecuencias “fuertes” para las escuelas y maestros —ya sea bajo la forma de incentivos
explícitos o bajo la forma de la publicación de un ranking de resultados— o es preferible que cumpla una función fundamental-
mente informativa?
• ¿De qué modo articular los esfuerzos de reforma y actualización de las currícula? ¿De qué modo pueden las evaluaciones
contribuir a mejorar la definición de las metas e indicadores de logro curriculares?
• ¿Se desea contar con información exhaustiva acerca de las competencias y conocimientos de los alumnos a nivel nacional o
se prefiere producir información menos detallada al respecto, pero a nivel de cada establecimiento?
• ¿Es conveniente desarrollar pruebas nacionales de acreditación —es decir, que determinen la aprobación o reprobación de
los alumnos— al cabo de algún nivel de la enseñanza?
• ¿Se espera que el sistema de evaluación permita constatar avances o retrocesos a lo largo de los años? ¿En qué áreas
curriculares y en qué niveles del sistema educativo?
• ¿Con qué frecuencia realizar operaciones nacionales de evaluación?

2. La necesidad de mejorar la calidad técnica de los diversos aspectos


constitutivos de los sistemas de evaluación.

Esto, principalmente en lo que se refiere al diseño de los instrumentos de recolección de información y a los modos de procesar
y reportar los resultados. Lo anterior exige intensificar los esfuerzos de capacitación de cuadros técnicos y la acumulación de
conocimiento y experiencia en una materia que aún es nueva en la Región y sobre la cual existe escasa “masa crítica”. Para
estos efectos se puede, entre otras cosas:
• Facilitar el contacto de profesionales de la Región vinculados al área de evaluación con especialistas de la comunidad interna-
cional a través, por ejemplo, de seminarios donde representantes de los distintos países sometan sus instrumentos y procedi-
mientos al escrutinio de otros.
• Impulsar la formulación de un conjunto de estándares técnicos y condiciones metodológicas que deberán cumplir las pruebas,
los procedimientos de implementación de los operativos de evaluación, los procesos de conformación y procesamiento de las
bases de datos y los reportes de resultados.

3. Las estrategias de uso y difusión de los resultados de las evaluaciones.

Se requiere propiciar el desarrollo de trabajos de investigación que permitan recoger evidencia empírica acerca de los efectos
que los distintos tipos de informes de resultados de las evaluaciones nacionales tienen en diversos públicos. Por otra parte,
sería muy útil organizar eventos que permitan escuchar la opinión de los destinatarios respecto a:
• ¿Qué tipo de información esperan recibir del sistema de evaluación de aprendizajes las diversas audiencias (periodistas,
padres, maestros, políticos, autoridades y técnicos de los Ministerios de Educación, etc.)?
• ¿Cómo perciben la información que actualmente se les está entregando? ¿Han podido comprenderla? ¿La han utilizado de
algún modo?
• ¿Qué visión general tienen acerca de los sistemas de evaluación de aprendizajes a nivel nacional?
• ¿Cuáles son sus expectativas y prejuicios acerca de los mismos?
Lo anterior permitiría analizar la demanda potencial de información, aprender acerca de los modos de informar a los distintos
usuarios potenciales, además de aportar pistas para desarrollar estrategias de formación de dicha demanda, ya que a través de
estos eventos se estaría informando mejor sobre un tema relativamente nuevo en la Región y para los diversos actores.

Programa de Promoción de la Reforma Educativa en América Latina y el Caribe/ Partnership for Educational Revitalization in the Americas