EVALUACIN DE LA ESCRITURA: LA EXPERIENCIA DEL ICFES

Ernesto Cuchimaque2 Carlos Ordez Carlos Pardo

Direccin de Evaluacin del Instituto Colombiano para la Evaluacin de la Educacin ICFES. ecuchimaque@icfes.gov.co, Presentacin El Examen de Estado SABER PRO tiene como propsitos evaluar la calidad de la educacin a nivel profesional, tcnico y tecnolgico del pas con estndares internacionales de calidad y ofrecer informacin que permita introducir ajustes en los programas de formacin (Decreto de Ley 3963 de 2009, ICFES, 2011). Una de las competencias que se ha considerado pertinente evaluar en el examen es la de comunicarse por escrito. Las pruebas de comunicacin escrita hacen parte del conjunto que se ha denominado Competencias Genricas (Mc Curry, 2010). En tanto competencia genrica, se considera que comunicarse por escrito es una construccin que deben hacer todos los estudiantes que han estado en programas de educacin formal. En el caso de quienes cursan programas de educacin superior se espera que, independientemente del programa, hayan desarrollado en mayor grado esta competencia, aunque, por supuesto, como ocurre en todas las pruebas de las competencias genricas, no se espera que el nivel sea el mismo en todas las carreras, en tanto no todos los escenarios de ejercicio profesional van a requerir las mismas herramientas. El documento que se presenta a continuacin busca, por una parte, facilitar la comprensin de las caractersticas de la prueba de Escritura, en tanto ella representa una gran innovacin en el formato de los exmenes de Estado en

Funcionarios de la Direccin de Evaluacin del Instituto Colombiano para la Evaluacin de la Educacin ICFES.

84

Boletn Virtual REDIPE No. 814 ISSN 2256 1536 Julio 3 de 2012

Colombia y, por otra, ofrecer elementos que permitan discutir los resultados de quienes en el futuro se desempearn como docentes.

Conceptualizacin del Objeto de Evaluacin Comunicarse por escrito remite a un quehacer reflexivo que le permite a una persona producir y entender mensajes escritos, en este caso nos referiremos a la evaluacin del componente de produccin de la competencia, la escritura. El lenguaje se considera como vehculo de comunicacin y como constructor y ordenador de conocimiento (Carlston, 1988). Consecuentemente, se destaca que la escritura presenta una dimensin cognitiva y una dimensin interactiva, ella aporta evidencias sobre la forma como se encuentran estructurados en el pensamiento los conocimientos y remite a la capacidad que se tiene de expresarlos. La capacidad de escribir se basa en un ejercicio reflexivo sobre los procesos del sujeto para determinar cules son los esquemas del pensamiento que permiten traer a la situacin comunicativa los conocimientos pertinentes. Se plantea que escribir requiere la aclaracin por parte del sujeto de lo que quiere comunicar al interlocutor, teniendo en cuenta sus caractersticas y las del contexto en que se da la comunicacin, las formas de hacer ms claro y exacto el mensaje y la manera de articularlo en una secuencia de expresiones. De acuerdo con la reflexin anterior, la prueba de escritura se defini desde enfoques que permiten ver el proceso de produccin escrita como una dinmica que involucra la definicin de la intencin comunicativa, la estructuracin de las ideas y la seleccin de las formas idneas de expresarlas. Se ha asumido que la prueba no explora el dominio de conocimientos especficos, sino que remite en primera instancia a la capacidad para organizar distintos elementos relacionados con el tema que se propone desarrollar y a escoger la mejor forma de presentarlos ante determinado auditorio; esto es, a la capacidad para organizar y expresar el pensamiento mediante los recursos que ofrece la lengua y, en particular, la escritura.

El Desarrollo del Instrumento de Evaluacin

85

Boletn Virtual REDIPE No. 814 ISSN 2256 1536 Julio 3 de 2012

La prueba de escritura demanda la produccin de textos por parte del estudiante. El texto se defini como la unidad lingstica comunicativa, producto de la actividad verbal, que posee un carcter social (Bernrdez, 1982 y Van Dijk, 1998). Esto implica que el texto es una estructura, una organizacin que refleja, por un lado, el dominio de los recursos lingsticos que se aplica a alcanzar la finalidad del escrito y, por otro lado, el dominio de los temas que se quieren presentar; desde esta perspectiva, las dimensiones morfosintcticas, semnticas y pragmticas se tienen en cuenta en la medida en que sirven de puente para relacionar el lenguaje y el pensamiento. En el caso del proceso que nos ocupa, se considera que esta produccin textual tiene propiedades susceptibles de ser evaluadas de acuerdo con las dimensiones de la competencia. La evaluacin de las propiedades de los textos implica el establecimiento de rdenes jerrquicos de elaboracin, de acuerdo con los parmetros discutidos en la seccin anterior. Para la construccin de la escala de calificacin se parti de afirmar que, en el caso de la estructura, es posible diferenciar los escritos segn la precisin en la seleccin y delimitacin de los temas, la evidencia de planeacin y la solidez de los vnculos entre proposiciones; en lo que respecta a la intencin comunicativa, las diferencias remiten a la formulacin explcita de la finalidad de los textos y a la adecuacin de los medios utilizados para alcanzarla; y, en relacin con el lenguaje, es posible establecer si se tienen en cuenta las reglas de la lengua para elaborar unidades de sentido e identificar la escogencia de recursos lexicales y estilsticos ms o menos pertinentes que lleven a la concrecin del escrito. Sin embargo, en relacin con la conceptualizacin de los distintos niveles de desarrollo de la competencia, las investigaciones indican que los instrumentos de calificacin deben captar la forma como se diferencian los textos objeto de anlisis, de modo que se aprecie su progresiva cualificacin de un modo integrado. En este sentido, de partida se plantea que los diferentes aspectos involucrados en la escritura no evolucionan de forma aislada, por el contrario, se alude a la articulacin que hay entre ellos; esto es, las dimensiones del texto no son independientes entre s: el manejo del lenguaje no se da en s mismo, sino que aporta a la configuracin del mensaje, a que este pueda ser comprensible y

86

Boletn Virtual REDIPE No. 814 ISSN 2256 1536 Julio 3 de 2012

cumplir una funcin comunicativa. Igualmente la estructura contribuye a trazar la estrategia para llevar a feliz trmino la intencin comunicativa. De acuerdo con estas premisas, el proceso de construccin de las escalas se llev a cabo mediante la exploracin de los mismos textos escritos por los estudiantes en el examen; los niveles se establecieron teniendo en cuenta rasgos de las dimensiones consideradas que permitan identificar niveles de desarrollo del objeto de evaluacin. (ICFES, 2012a). Tras el anlisis del material, se formul una jerarqua de elaboracin de los textos segn el predominio de las caractersticas de estos en las distintas dimensiones consideradas (Ducasse, 2010). Se encontr que el orden dado a los textos dependa del nfasis en caractersticas de alguna de las dimensiones: en los niveles inferiores se ubicaban textos con fallas notables en el lenguaje, en los niveles superiores los textos se caracterizaban por la elaboracin cuidadosa de la intencin comunicativa y la aplicacin de recursos estilsticos, en los niveles intermedios la nota predominante era la organizacin bsica de los

planteamientos. Se estableci que el lugar en la jerarqua de los textos se estableca segn el predominio de fallas en el lenguaje, la presencia de estructura, la elaboracin de la intencin comunicativa y el uso de recursos estilsticos. En particular, se observ que en los niveles bajos, dados los problemas sistemticos en el uso de la convencin, se presentan dificultades para la comprensin de los textos, lo cual impide identificar una estructura, lo que a su vez representa un obstculo para la comunicacin, de hecho an no se puede hablar de intencin comunicativa, ya que solo est en cuestin la configuracin del mensaje y los factores que pueden llegar a generar ruido en su emisin, que tienen que ver con el uso del lenguaje. Por el contrario, cuando exista un manejo del lenguaje, que no comprometa la comprensin del mensaje, la dimensin predominante en la calificacin era la estructura; esto corresponde a la hiptesis de que durante la escritura, la identificacin de una intencin comunicativa, as sea incipiente depende de la organizacin de las ideas; en este caso, el manejo del lenguaje debe trascender el marco de la comprensin de ideas individuales para convertirse en un vehculo del pensamiento y expresin del conocimiento.

87

Boletn Virtual REDIPE No. 814 ISSN 2256 1536 Julio 3 de 2012

En los niveles de mayor desarrollo de la escritura, la elaboracin de la intencin comunicativa era la dimensin predominante sobre los otros aspectos, esto se debe a que tanto la estructura como el uso del lenguaje se proyectan en lo pragmtico. En este caso se apreciaba que la organizacin y configuracin del mensaje no se quedaban en un plano interior del lenguaje, sino que cobraban sentido en un plano interactivo, reconociendo contextos, auditorios, gneros discursivos y situaciones comunicativas con propsitos definidos. De acuerdo con la reflexin anterior, la formulacin de la rejilla de calificacin se hizo en trminos de un rbol de decisiones, que tiene en cuenta las dimensiones predominantes en los niveles de elaboracin de los textos. Se trata de una secuencia de preguntas que se le hacen al texto, cada pregunta le exige un mayor grado de desarrollo de la competencia escrita que la anterior, razn por la cual las preguntas son acumulativas, pues conforme se van superando, segn la respuesta, le permitirn al texto ir ascendiendo de nivel y realizar el siguiente interrogante o detenerse en determinado punto. La secuencia de preguntas que integraron el rbol de de decisiones fue la siguiente: 1. Se aborda la tarea, pero los problemas en el manejo de la convencin o el desarrollo insuficiente, impiden la comprensin y la valoracin del escrito? 2. Se expresan ideas, aunque sean desarticuladas, incongruentes y/o con un mnimo desarrollo? 3. Se evidencia una intencin comunicativa, pese a tener problemas de organizacin, fragmentacin y repeticin? 4. Elabora un texto estructurado con un planteamiento bsico, haciendo uso aceptable del lenguaje? 5. Hay unidad y progresin temtica, aunque pueda presentar fallos en alguna parte de la estructura? 6. Hay conexiones lgico-semnticas consistentes entre las proposiciones del texto? 7. Hay una estrategia comunicativa satisfactoria que se evidencia en un plan textual? 8. Hace un uso contundente de uno o varios recursos estilsticos, semnticos, pragmticos y del manejo del lenguaje? En esta secuencia de interrogantes, se pueden observar algunos que involucran varias dimensiones como es el caso de la 3 y 4, y otras preguntas que solo hacen alusin a un solo aspecto del texto como es el caso de la 5 y la 6. En ningn caso se pierde el sentido integrador de las dimensiones de la escritura, pues se asume que la 5 y 6 aunque sean niveles donde predomine la estructura ya han cumplido

88

Boletn Virtual REDIPE No. 814 ISSN 2256 1536 Julio 3 de 2012

los requerimientos de las preguntas anteriores, lo que hace ms definida y menos relativa la lnea de desarrollo de la competencia escrita, a diferencia de la evaluacin analtica, donde el resultado final careca de una etapas de evolucin que diera cuenta de los momentos de la competencia en s. Respecto de la objetividad de la calificacin, los mtodos psicomtricos destacan la importancia de garantizar altos niveles de confialidad y validez. Para Lumley (2002), la riqueza de los mtodos holsticos de calificacin y las escalas de

calificacin asociadas dependen de que las decisiones se basen en juicios complejos, emitidos por calificadores habilidosos, ricamente informados, que interpretan la importancia y el valor de las habilidades escriturales de los estudiantes. Dos aspectos apuntan a sustentar la validez de la escala propuesta: los altos niveles de consistencia de las calificaciones (confiabilidad del instrumento) y la dispersin de las calificaciones. El primer aspecto tiene que ver con la diferencia de las calificaciones dadas a un texto por distintos calificadores; las discrepancias marcadas entre ellos pueden relacionarse con imprecisin en la definicin de la competencia el constructo que se pretende medir no ha sido identificado exactamente o con la aplicacin idiosincrtica de los criterios de calificacin por parte de los calificadores. En relacin con el desempeo de los calificadores se puede sealar que la confiabilidad siempre ha estado en niveles altos cada texto es calificado por dos calificadores, las discrepancias en las calificaciones, definidas como una diferencia mayor a un punto, no han sido superiores al 10%. Sin embargo, la alta concentracin de las calificaciones en la regin media de una escala puede limitar el alcance de esta observacin, dado que los niveles de confiabilidad pueden deberse en buena parte a dada la concentracin es menos probable que haya discrepancias. Respecto de las tareas de escritura propuestas, se advierte que estas han sido variadas; se ha requerido la sustentacin de opiniones, la produccin de informes, elaboracin de narrativas personales, etc. Tambin se han incluido tareas singulares o pares de tareas, en algunos casos predeterminadas, en otros casos con mrgenes de libertad distintos para escoger cul tarea resolver.

89

Boletn Virtual REDIPE No. 814 ISSN 2256 1536 Julio 3 de 2012

Esta caracterstica adquiere gran importancia, en la medida en que el constructo no est definido en trminos de la habilidad para enfrentar una tarea especfica por ejemplo, escribir un informe, a diferencia de escribir un argumento sino una competencia genrica: escribir para comunicarse. En esas condiciones, la variacin en las calificaciones derivada de la diferencia en las caractersticas de las tareas propuestas en distintas ediciones de un examen, que alteran la facilidad con que los estudiantes enfrentan la prueba o que introducen sesgos en la pauta de puntuacin, requiere ser controlada, dado que es otro factor que condiciona la confiabilidad y la validez de la prueba. Con el propsito de evaluar la incidencia de la definicin de los criterios y la incidencia del tipo de tareas, en el ao 2011, se realiz un estudio con los datos de la aplicacin del examen en el ao 2010, orientado a evaluar la adecuacin de distintas escalas para distribuir las calificaciones y lograr los niveles de confiabilidad ms altos, controlando niveles de experiencia de distintos grupos de calificadores (ICFES, 2012 b). En general, en el caso del estudio realizado, se encontr que al aplicar la escala propuesta se alcanzaban altos grados de confiabilidad y las calificaciones se distribuan adecuadamente. Por otra parte, las calificaciones obtenidas por los estudiantes no presentaban diferencias significativas relacionadas con el tipo de tarea que se planteaba.

Modelo de Anlisis y Calificacin por Niveles Los modelos de anlisis parten de suponer que las respuestas de los evaluados a preguntas de diferente formato son producto de la interaccin entre dos elementos centrales: por un lado el evaluado representado por su habilidad y, por el otro, la pregunta representada por su complejidad o dificultad. En otras palabras, las respuestas de los evaluados dependen de la exigencia de lo que se le pregunte y su propia capacidad para responder sobre aquello que se le pregunta. Un caso especial lo representa la evaluacin de la escritura ya que al momento de calificar una respuesta la situacin se complejiza bastante puesto que, adems del evaluado y la pregunta, se debe involucrar al calificador como una variable trascendental en el proceso que genera los resultados en la evaluacin. Como lo

90

Boletn Virtual REDIPE No. 814 ISSN 2256 1536 Julio 3 de 2012

menciona Carlston (1988), la calidad del escrito es valorada por calificadores de acuerdo con algn referente particular. Durante mucho tiempo y teniendo en cuenta las limitaciones de los marcos matemticos de anlisis en evaluacin educativa (Teora Clsica de los Test), la calificacin de evaluaciones con produccin escrita fundamentaba la calidad tcnica del proceso en varios elementos, entre los que se pueden mencionar como relevantes los siguientes: La necesidad de valorar la produccin escrita por ms de un calificador previamente entrenado para evitar sesgos en la calificacin ocasionados por motivos como cansancio, distraccin, estrs, entre otros. La coincidencia en la calificacin otorgada por los calificadores .

Desde esta perspectiva, los calificadores no se incluyen como variable relevante en el proceso de calificacin, ya que se espera absoluta coincidencia; es decir, los calificadores son considerados como mquinas que asignan un valor al producto escrito basados en reglas y criterios previamente establecidos de manera precisa y clara. Desde esta perspectiva se han diseado sistemas de calificacin de preguntas de produccin escrita en donde lo fundamental consiste en una preparacin y entrenamiento perfecto de los calificadores (Everson y Hines, 2010). De esta forma de entender el proceso de evaluacin con preguntas de produccin escrita han surgido muchas posibilidades para desarrollar sistemas o programas informticos que realizan la calificacin con los mismos resultados de un calificador humano (Klein, 2008), lo que soluciona, en alguna medida, el problema de la calificacin de productos escritos cuando la evaluacin se realiza a grandes poblaciones. No obstante, a pesar de los deseos e intenciones de quienes disean los procesos de evaluacin, los calificadores de la produccin escrita son valoradores (evaluadores) independientes que tienen unas caractersticas personas y de formacin acadmica que son las que determinan su interaccin con el producto escrito que evalan en algn momento (Linacre, 2012). Como lo menciona Pardo (2007), aunque se espera que los calificadores tengan cierta consistencia en las calificaciones o valores que emiten sobre el material que

91

Boletn Virtual REDIPE No. 814 ISSN 2256 1536 Julio 3 de 2012

revisan, no puede desconocerse que el ejercicio de calificar la produccin escrita de los estudiantes les demanda tomar decisiones importantes para la asignacin de la calificacin, especialmente cuando dicha produccin se encuentra en ese espacio en donde la lnea divisoria entre una categora de calificacin y otra se vuelve poco clara. An cuando se establezcan criterios precisos y claros y se generen procesos de entrenamiento para la calificacin, los niveles diferenciales de experticia en el ejercicio de calificacin, as como del grado de dominio y profundizacin en campos especficos de la disciplina llegan a influir en la asignacin de calificaciones. Desde esta perspectiva, la calificacin de produccin escrita demanda el uso de modelos de anlisis que tengan en cuenta la variable calificador para la produccin de resultados. El Modelo de Rasch de facetas, que utiliza el software Facets justamente responde a esa necesidad. Bajo este modelo, se considera que evaluado, tarea (pregunta) y calificador son facetas independientes; el software convierte valoraciones ordinales dadas por distintos calificadores a una misma tarea, en una escala continua, de tipo logstico, que permite calibrar la habilidad del evaluado, reportando adems una serie de indicadores para valorar la calidad de las preguntas y de los calificadores (Linacre, 2012). Uno de los indicadores de los calificadores es el de severidad / indulgencia, entendiendo que un calificador severo es quien aplica estricta y consistentemente los criterios establecidos mientras que el indulgente aplica los criterios de manera flexible. Adicionalmente, se producen varias formas de resultados de los evaluados, siendo las ms importantes la medida de la habilidad del evaluado y un resultado denominado fair o justo, los que tienen en cuenta el grado de sever idad o indulgencia de los calificadores que le han correspondido a un evaluado en particular. Igualmente, hay otra informacin estadstica que permite establecer una calificacin por niveles de desempeo con base en alguna o ambas de las calificaciones mencionadas anteriormente. Aunque esta calificacin por niveles se basa en informacin numrica, es posible generar una interpretacin del

92

Boletn Virtual REDIPE No. 814 ISSN 2256 1536 Julio 3 de 2012

significado y sentido de ser asignado a un nivel particular, es decir informacin descriptiva cualitativa.

Resultados del Examen SABER PRO 2011 2 Uno de los resultados esperados de la aplicacin del examen SABER PRO es la obtencin de informacin especfica que retroalimente los procesos de formacin en distintos programas de educacin superior. En este sentido, una opcin consiste en la identificacin de desempeos diferentes por parte de grupos de estudiantes de distintos programas, que como se dijo inicialmente, pueden diferir en trminos de los niveles de desarrollo que requiere su prctica profesional. En este sentido, con el propsito de aportar elementos de anlisis ms finos, en relacin con los niveles de logro alcanzados en el desarrollo de la escritura, se presenta el siguiente desglose de informacin para el caso de la formacin en programas de Educacin. El nmero de estudiantes evaluados en SABER PRO 2011 2 es el que aparece en la Figura 1, de acuerdo con la clasificacin establecida por el ICFES.

Figura 1. Nmero de estudiantes evaluados en produccin escrita

La figura 2 presenta la distribucin general de calificaciones en la escala cualitativa de escritura.

93

Boletn Virtual REDIPE No. 814 ISSN 2256 1536 Julio 3 de 2012

PORCENTAJE

SABER PRO EDUCACIN

NIVELES

Figura 2. Porcentaje de estudiantes en cada nivel de desempeo de la produccin escrita Finalmente, se ofrece una aproximacin ms detallada del desempeo de los estudiantes de grupos de programas de educacin, de con el fin de posibilitar un anlisis crtico sobre la relacin entre estos logros y las demandas de escritura que pueden enfrentar los egresados en su vida profesional. La Figura 3 presenta los resultados que corresponden al porcentaje de estudiantes en cada nivel segn la clasificacin de estudiantes de educacin propuesta. Como referentes, se incluye el desempeo de toda la poblacin evaluada, el agregado de los programas de educacin y las normales superiores.

94

Boletn Virtual REDIPE No. 814 ISSN 2256 1536 Julio 3 de 2012

NIVEL 1

NIVEL 2

NIVEL 3

NIVEL 4

NIVEL 5

NIVEL 6

NIVEL 7

NIVEL 8

Figura 3. Porcentaje de estudiantes de programas de educacin.

95

Boletn Virtual REDIPE No. 814 ISSN 2256 1536 Julio 3 de 2012

REFERENCIAS

BERNRDEZ, Enrique (1982) Introduccin a la Lingstica del Texto. Madrid: Espasa Calpe. CARLSTON, S. 1988. Relationship of reasoning and writing skills to GRE analytical ability scores. ETS. Princenton, N. J. DECRETO DE LEY 3963 DE 2009 "Por el cual se reglamenta el Examen de Estado de Calidad de la Educacin Superior". Publicado en el Diario Oficial 46502 de octubre 14 de 2009. DUCASSE ANA MARA. (2010). Interaction in Pair Oral Proficiency Assessment in Spanish. En: Language Testing 20. La Trobe University, Melbourne, Au. Everson, P. y Hines, S. 2010. How ETS scores the TOEIC speaking and writing test responses. ETS. Princenton, N. J. INSTITUTO COLOMBIANO PARA LA EVALUACIN DE LA EDUCACIN ICFES. (2011) Lineamientos SABER PRO. Recuperado el 10 de octubre de 2011. En:http://www.icfes.gov.co/index.php?option=com_content&task=view&id=630&Ite mid=1107 ICFES (2012 a). Marco Conceptual Prueba de Escritura. Prximo a publicarse.

ICFES (2012 b). Diseo Experimental para la Evaluacin de la Calificacin de la Prueba Escrita en la Prueba GSA. Prximo a publicarse. Klein, Stephen. 2008. Characteristics of hand and machine assigned scores to college students answers to open - ended tasks. En: Institute of Mathematic Statistics Collections. Vol 2 76 89.

Lumley, T. (2002). Asssessment criteria in a large scale writing test: what do they really mean to the raters? En: Language Testing 19. La Trobe University, Melbourne, Au. Linacre, JM. 2012. A users guide to Winsteps. Wisnteps.com. Oregon. Mc Curry, Doug. (2010). Issues in Examination and Test Design. Material de consulta para los talleres de construccin de Pruebas Genricas en el ICFES.

96

Boletn Virtual REDIPE No. 814 ISSN 2256 1536 Julio 3 de 2012

Pardo, C. 2007. Estimacin del desempeo de estudiantes de arquitectura en el diseo de un proyecto arquitectnico a partir de la evaluacin por jueces aplicando el modelo de facetas. Segunda Reunin Regional Norte, Centroamrica Y Caribe De Evaluacin Educativa, Campeche, Mxico 2007. VAN DIJK, Teun (1998) Texto y Contexto. Madrid: Editorial Ctedra.

97

Boletn Virtual REDIPE No. 814 ISSN 2256 1536 Julio 3 de 2012