Ponencia
Educación virtual – evaluación
asalazar@uniandes.edu.co
Fax: 3324053
RESUMEN
INTRODUCCIÓN
1
En http://www.blackboard.com
2
se encuentra incluso en cursos autodirigidos en donde esta retroalimentación es la única
información que obtiene el estudiante sobre su propio desempeño.
En este tipo de cursos, en donde el alumno es el único gestor de su aprendizaje ya
que no cuenta con la guía o apoyo de un tutor o profesor en el desarrollo de los
contenidos, la evaluación cuantitativa permite una rápida retroalimentación a partir de las
posibilidades de pruebas en línea disponibles en las diferentes plataformas. En este
esquema autodirigido, el diseño de las preguntas es el punto determinante de la calidad de
la evaluación y de la posibilidad de dar un feedback apropiado al participante.
Por otra parte, los trabajos on line y de entrega remota permiten al profesor
complementar la evaluación cuantitativa con un feedback basado en la calidad de la
información y su pertinencia ante los postulados definidos inicialmente.
Igualmente, los espacios de discusión (sincrónicos y asincrónicos), en donde se genera
gran parte del intercambio y creación colaborativa de conocimiento de un curso virtual,
dan información sobre la participación, relación entre los compañeros, relación con el
tutor (si lo hay) y desarrollo y apropiación de contenidos. El abordaje de estos espacios,
desde una perspectiva evaluativa, implica la utilización de medios cualitativos y
cuantitativos que den cuenta de la riqueza conceptual y calidad de las intervenciones,
pero a la vez deben arrojar datos sobre asistencia, número de intervenciones y alusión a
contenidos específicos.
Existe entonces una amplia gama de posibilidades a la hora de evaluar Ambientes
Virtuales de Aprendizaje. Sin embargo, es posible afirmar que, aunque las estrategias de
evaluación en línea se basan en el uso de nuevas tecnologías de comunicación e
información, en la mayoría de los casos obedecen a una extrapolación de metodologías
utilizadas en la educación tradicional que por sí mismas no permiten una mirada
comprensiva de los procesos de interacción virtual.
Los ambientes virtuales de aprendizaje, cada vez más comunes, requieren de
metodologías de evaluación tan innovadoras como los medios que utilizan. No es posible
pretender que el aspecto evaluativo virtual se resuelva sencillamente con el uso de las
herramientas evaluativas de la educación presencial en espacios de educación virtual.
La evaluación de la consecución de los objetivos de aprendizaje de los cursos
virtuales se convierte así en un reto que sólo se puede enfrentar a partir de la
investigación y el desarrollo de nuevas estrategias evaluativas que obedezcan a las
características más importantes de estos cursos y que ofrezcan un valor agregado frente al
modelo evaluativo del paradigma educativo tradicional.
3
participantes, tipo de intervenciones a nivel conceptual y creación colectiva del
conocimiento.
• Sean fáciles de aplicar y faciliten la labor del tutor o facilitador para el seguimiento
del grupo, brindando una visión individual y grupal de la apropiación de contenidos.
• Agreguen valor a la evaluación tradicional de aprendizaje y obedezcan a espacios
virtuales antes que presenciales.
• Complementen la información arrojada por otras metodologías de evaluación
utilizadas en el curso.
• Tengan en cuenta las cualidades y puntos de apoyo de los enfoques cualitativos y
cuantitativos integrando ambos modelos en propuestas innovadoras.
A partir de estas necesidades, este documento presenta una nueva propuesta de
evaluación que pretende responder a los requerimientos de los Ambientes Virtuales de
Aprendizaje. Esta propuesta se basa en tres características fundamentales:
1. Apunta a la evaluación de discusiones virtuales que se dan a través de la
herramienta de foro:
La herramienta de foros es una de las más utilizadas en AVA. Este medio permite
crear hilos de discusión sobre un tema determinado a partir de la participación e
intervención de los usuarios. El foro, a diferencia del chat, es una herramienta
asincrónica que permite a los participantes conectarse en cualquier momento y
publicar mensajes que estarán disponibles para ser leídos por el resto del grupo a
cualquier hora. Según Brooks, Nolan y Gallagher (2001), en un curso en el que se
realizan discusiones virtuales los alumnos trabajan entre un 40 y 50% más tiempo
fuera de clase que en otros cursos que no incluyen discusiones. Adicionalmente, la
mayoría de estudiantes sostienen que aprenden más en los cursos que incluyen este
tipo de actividades.
Estas características hacen del foro una herramienta fundamental para el intercambio
de información, la discusión conceptual y la creación colectiva de conocimiento,
convirtiéndose en un espacio determinante para la evaluación que busca centrarse en
aspectos no repetitivos y mecanicistas de la apropiación del conocimiento.
2. Se basa en técnicas de representación gráfica:
La extrapolación de técnicas de estudio propias de diferentes disciplinas y el
complemento de las mismas para el uso de otras áreas o fines investigativos, es una
opción muy valiosa para el crecimiento y desarrollo académico.
Las técnicas de representación visual han sido ampliamente utilizadas en el campo de
la psicología clínica, especialmente en el ámbito de la terapia familiar y grupal, ya
que permiten la organización e ilustración de ideas y relaciones de una manera más
simple y directa que la proporcionada por el lenguaje oral y escrito.
Una de las estrategias más utilizadas en este ámbito es el genograma, que consiste en
la representación gráfica de las relaciones entre los miembros de una familia. Se trata
de un árbol genealógico en el que es posible encontrar y reconocer patrones y
relaciones intergeneracionales a partir de la utilización de líneas, figuras y símbolos
que representan la información de cada miembro de la familia y su relación con los
demás.
Esta técnica permite una gran versatilidad para la observación de interacciones y
relaciones, no sólo en el ámbito psicológico. Por esta razón, esta estrategia es la base
4
para la propuesta de evaluación de discusiones virtuales en Ambientes Virtuales de
Aprendizaje.
3. Centrada en las interacciones:
Dada la importancia de desarrollar metodologías que permitan observar los aspectos
complementarios y fundamentales dentro de la apropiación misma del conocimiento
que han sido mencionados, hace falta centrarse en los procesos relacionales entre los
participantes de la discusión, que permitan al tutor tomar decisiones durante el
proceso y retroalimentar constantemente a los alumnos.
Descripción de la herramienta
Para el seguimiento de discusiones asincrónicas en medios virtuales, se diseñó la
estrategia de forogramas, que se compone por una serie de convenciones que permiten
tener en cuenta tantos elementos como sean necesarios para evaluar un foro determinado.
Estas convenciones se describen a continuación:
- Género: Cada participante está identificado por un círculo o un cuadrado que simboliza
su género ( = Mujer, = Hombre).
- Nombre: Dentro de cada círculo o cuadrado se encuentran las iniciales del nombre de
cada participante.
Es decir, Carlos Pérez aparece simbolizado de la siguiente manera:
CP
CP
2
http://metacursos.com/
5
parte de otros participantes (generador de discusiones).
Aporte o intervención inadecuada: No responde al tema del foro. No se relaciona con la
discusión propuesta. No se ubica en el espacio correspondiente.
Todo participante contará con una línea de mensajes de salida y otra de mensajes de
entrada, en la medida en que responda a otros participantes o sea referenciado por uno o
varios compañeros. El número de mensajes de salida o de llegada estarán determinados
por el número de flechas en estas líneas.
En este caso por ejemplo, Lucas referenció a Eugenia y luego Eugenia respondió a Lucas.
En los casos en los que una persona no tiene línea de entrada, línea de salida o ninguna de
las dos, quiere decir que esa persona no interactuó con otros participantes y sus
compañeros no la referenciaron en ningún momento.
Finalmente, el orden de presentación de los mensajes, se maneja de arriba hacia
abajo, siendo la línea más baja (la más cercana al tutor) la correspondiente al último
mensaje del foro. En la imagen anterior, Lucas envió el primer mensaje a Eugenia y
luego esta le contestó.
A partir de estas convenciones, en el forograma pueden representarse todas las
intervenciones realizadas en un foro. El siguiente es un ejemplo de un forograma
finalizado:
6
En este ejemplo se pueden observar 12 participantes y la moderadora quien es
representada por el círculo central inferior. En total hubo 13 intervenciones contando la
de la moderadora, de las cuales 4 fueron inadecuadas. 5 personas del grupo no
participaron en este foro. La moderadora sólo realizó una intervención dirigida a todo el
grupo, en la que no referencia ningún mensaje en especial.
Algunos resultados
Una vez descrita la herramienta, es interesante ver el tipo de análisis que se puede
inferir a partir de uno o varios forogramas. A continuación se presenta uno de los
forogramas elaborados y algunos resultados obtenidos a partir del análisis de todos los
forogramas realizados en uno de los grupos observados:
3
CAPTIC surge de una alianza estratégica entre el Proyecto Huascarán del Perú y USAID y se
implementa en cumplimiento del proyecto DOT EDU que ejecutan Educational Development
Center y Concord Consortium, con apoyo investigativo del Laboratorio de Investigación y
Desarrollo sobre Informática y Educación – LIDIE de la Universidad de los Andes.
7
Figura 2. Forograma Grupo 2, Semana 1
Grupo 2: La participación de este grupo fue muy alta desde la primera semana,
en la que se registran 71 intervenciones, a diferencia de las 21 intervenciones de la
semana 1 del grupo 1. Desde el principio se presentaron interacciones constantes entre
compañeros, que aumentaron gradualmente a medida que avanzó el seminario. Aunque
estas interacciones las iniciaron sólo 5 participantes, en la tercera y sexta semana son 11 y
15, respectivamente, los participantes que realizaron referencias o respondieron a uno o
varios compañeros.
Adicionalmente, de manera contraria a lo ocurrido en el grupo 1, la interacción
con el moderador aumentó a medida que se desarrolló el seminario, aunque las
referencias fueron muy pocas, primando la interacción con los compañeros. Frente a la
participación de los moderadores, la semana tres presenta el mayor número de mensajes
del moderador, siendo esta la semana de menor participación frente a las otras semanas
evaluadas. Esto muestra que el papel del moderador es el de dinamizar las discusiones y
por la tanto se incrementa en la medida en que los participantes no discuten.
Por otra parte, aunque la interacción fue muy alta en este grupo, la mayoría de
aportes de referencia o respuesta se realizaron hacia un solo compañero, siendo más
escasos los aportes que tomaban en cuenta las intervenciones de varios participantes,
especialmente en la semana 3. Esto último se confirma con el hecho de que sólo se
presentaron 2 intervenciones hiladas, enriquecedoras y generadoras en las tres semanas
valoradas. Al observar los casos particulares, todos los miembros del grupo 2, con
excepción de cuatro personas (16.6%), realizaron en algún momento de las tres semanas
evaluadas un aporte enriquecedor. De esta manera, el nivel de interacción alcanzado fue
mucho más alto que el logrado en el grupo 1 en el que 8 personas (34.7%) no realizaron
aportes que tuvieran en cuenta los de otros participantes en ninguna semana.
8
Por otro lado, el grupo 2 contó con 17 mujeres y 7 hombres, los cuales registran
una mayor participación que las mujeres en la semana 1, sin que esta tendencia continúe
en las semanas 3 y 6. Es interesante observar que en la semana 3 la mayoría de las
interacciones se presenta entre personas del mismo sexo.
En lo referente a las intervenciones inadecuadas, llama la atención que estas
aumentaron en la semana 6, en la que se espera que después de haber pasado por las
anteriores semanas del seminario, no se presentaran este tipo de mensajes. Esto podría
relacionarse con el cierre del seminario, que generó algunas intervenciones de
agradecimiento entre las participantes, inadecuadas para el espacio de discusiones
académicas y más pertinentes para el espacio de diálogo social.
Por último, no se observa una tendencia clara frente a centralizar el diálogo en
pocas personas en las diferentes semanas. Aunque en la semana 1, 3 personas realizaron
un número muy alto de intervenciones, en las siguientes semanas la participación fue más
balanceada entre todos los participantes.
Para complementar esta información, se obtuvieron datos cuantitativos a partir
del análisis de los forogramas, como lo muestra el siguiente cuadro:
9
Uno de los valores agregados del forograma es el de facilitar la labor del docente
o tutor en el seguimiento y retroalimentación a nivel individual y grupal, brindando una
forma rápida de obtener información sobre varias áreas de interés. El análisis de los
forogramas aplicados durante un período de tiempo al mismo grupo de participantes,
permite observar a lo largo del proceso el desempeño de cada estudiante y del grupo en
general. Al final de un curso virtual con estas características, los forogramas se
convierten en el histórico del grupo que arroja información tanto sobre casos puntuales
como sobre la evolución de la interacción y comunicación grupal.
Esta estrategia permite al tutor tener control sobre el desarrollo del proceso y
tomar decisiones al respecto, para intervenir en el foro ya sea al final o durante la
discusión. Obtener esta información a partir de la lectura repetida de cada mensaje y su
relación con los demás aportes, en ese y otros foros anteriores, es una labor muy
dispendiosa a pesar de que se tenga experiencia como tutor en discusiones virtuales. La
labor de facilitación del tutor se apoya en la interpretación de las imágenes del
forograma, cuya sencilla comprensión agiliza el proceso de acompañamiento. Al analizar
uno o varios forogramas se conoce prácticamente de inmediato quién no ha participado
durante varios foros, quién lo ha hecho de manera inadecuada, quién está generando
discusión o quién participa de manera aislada, entre muchas otras posibilidades a
observar.
Sin embargo, la realización del forograma sigue siendo un proceso manual
dispendioso, elaborado en programas de diseño gráfico. El desarrollo y programación de
un software de apoyo a la elaboración del forograma permitiría agilizar enormemente esta
labor de recolección de información. Sobre este punto existe una propuesta de desarrollo
que no se ha implementado aún y que podría ser el tema de un estudio posterior.
Por último, es importante resaltar que el forograma surge como una respuesta a
las necesidades de innovación en el área de la evaluación virtual. Aunque puede ser
utilizada en espacios de discusión presencial, se convierte en una estrategia novedosa con
respecto a las metodologías tradicionales de evaluación utilizadas en la educación
presencial y obedece a las características propias de la virtualidad.
Es necesario continuar la investigación sobre ésta y otras herramientas de
evaluación innovadoras, que se adapten a las características de la virtualidad. La
aplicación y prueba de esta nueva herramienta en diferentes tipos de cursos puede generar
aportes importantes, tanto en la comprensión de las dinámicas de comunicación alrededor
de la educación virtual, como en el desarrollo de nuevas metodologías de evaluación,
flexibles y coherentes con este tipo de aprendizaje.
REFERENCIAS
- Avila, P., Bosco, M. D., (2001), Ambientes Virtuales de Aprendizaje una Nueva
Experiencia. En http://investigación.ilce.edu.mx/dice/articulos/articulo11.htm
- Brooks, D.W., Nolan, D.E., Gallagher, S.M. (2001) Web Teaching. A guide to
designing interactive Teaching for the World Wide Web. New York: Kluwer
Academic/Plenum Publishers.
- Quevedo, L.A. (2000). “El E-mail y los Lazos Sociales en la Era de la Información” en
Signo y Pensamiento. Universidad Javeriana. Vol. 36, pp. 73 – 82.
10