Informe del anlisis de copia para la prueba SABER 5 y 9 aplicacin2009 Wilmer Martnez Las pruebas SABER 2009 para

los grados Quinto y Noveno estuvo dividida en dos aplicaciones: Aplicacin de Mayo (aplicacin M) y aplicacin de Octubre (aplicacin O). En cada una de estas aplicaciones la poblacin se dividi en tres estratos (de manera aleatoria) Censal (S), Controlada (C) y Estadstica (E). En el subconjunto censal (S) en el cual estuvo la mayora, el rector (o un delegado) de cada institucin diriga o coordinaba la prueba, esto es, recoga el material de la prueba en un punto de entrega indicado por el ICFES, llevaba a cabo la aplicacin y luego entregaba las hojas de respuesta en el punto de entrega. En el subconjunto de poblacin C (controlada), el ICFES se desplaz directamente a cada una de las sedes jornada de cada institucin (la unidad de aplicacin en cada caso fue la sede jornada), con personal para ejecutar la prueba. Finalmente, en el subconjunto Estadstica (E), el ICFES envi un delegado a cada sede jornada y con apoyo del personal de la institucin llev a cabo la prueba. La aplicacin de SABER 2009 consider tres reas: Matemticas, Ciencias Naturales y Lenguaje. Para la presente aplicacin el ICFES dise formatos (cuadernillos), los cuales estn compuestos por dos reas de tal manera que cada estudiante fue evaluado en dos reas, pero la sede jornada fue avaluada en las tres reas. Cada formato discrimina adicionalmente por grado. Dado que, histricamente se ha observado que en las pruebas, aparecen con frecuencia patrones de respuestas similares, y no necesariamente se trata de respuestas correctas; por tal razn se han considerado algunos procedimientos para detectar estos tipos de comportamiento. El procedimiento de deteccin de copia empleado en el anlisis de datos de las pruebas SABER 2009 consisti en el clculo de la probabilidad de encontrar un patrn de respuestas con cierta similaridad al dado por cada evaluado en la misma sede-jornada formato -rea, en que present el examen. Para evaluar esta probabilidad se propuso el procedimiento que se describe ms adelante teniendo como base lo sealado por Linacre (1992)1 en el sentido que: el criterio est dado por una gran cantidad de respuestas compartidas (correctas o incorrectas) (5)2 y que la prueba debe considerar [] qu tan aceptables son las similitudes a la luz de la distribucin emprica de las respuestas (4). Sin embargo, el procedimiento planteado por Linacre no se consider factible en su totalidad dado que requiere obtener todas las comparaciones dos a dos entre evaluados para determinar el nmero de respuestas compartidas, lo cual en el caso de los evaluados de las pruebas SABER produce un nmero de comparaciones demasiado grande (aprox. 14000002 = 1.960.000.000.000) para poder ser realizado en un tiempo razonable dentro del procedimiento de anlisis y calificacin del examen. Por lo anterior, se consider una aproximacin a la distribucin emprica y el uso de la distribucin binomial de forma similar a lo planteado por Holland (1996) y Sotaridona y Meijer (2002)3, pero a diferencia del indicador empleado por estos autores, se us el patrn de respuestas propiamente dicho, en lugar de utilizar slo el patrn respuestas incorrectas.
1 2

Linacre, J. (1992). Catching Copiers: Cheating Detection. Rasch Measurement Transactions, 6:1, 201 Traduccin del autor 3 Holland, (1996). Assessing unusual agreement between the incorrect answers of two examinees using the K-index. Research report 96-7. Educational Testing Service. Sotaridona, L. & Meijer, R. (2002). Statistical properties of the K-index for detecting answer copying. Journal of Educational Measurement, 39(2), 115-132.

Procedimiento para deteccin de copia Se defini la similitud entre el patrn de respuestas de dos evaluados por d = el nmero de respuestas diferentes entre los dos evaluados, de modo que entre menor fuese el valor, ms se parecen los dos patrones; por ejemplo, un valor de cero quiere decir que ambos patrones de respuesta son exactamente iguales en cuanto a la opcin elegida por cada evaluado, sin importar si esas respuestas son correctas o incorrectas. Si consideramos la distribucin emprica del nmero de evaluados que presenten valores de d tan grandes como los encontrados entre un par de evaluados en una muestra obtenida del conjunto completo, es posible ver que se trata de la distribucin de la cantidad de evaluados que cumplen cierta caracterstica, en una muestra de tamao (n) obtenida de una poblacin finita de tamao (N), donde existe una cierta cantidad de evaluados con dicha caracterstica (D). Esta distribucin corresponde a un proceso hipergeomtrico con parmetros (n, D, N) 4 cuando la muestra es elegida de forma aleatoria. Puesto que, obtener la cantidad D que define la distribucin del nmero de evaluados considerada, implica obtener todas las distancias dos a dos, se decidi aproximar la distribucin hipergeomtrica mediante la distribucin binomial 5 de parmetros (n y p = D/N), y estimar p ( p ) de una muestra aleatoria de M evaluados, obteniendo la distancia a todos los patrones de respuesta incluidos en la muestra, y calculando la razn entre la cantidad de evaluados con una d dmin+2, donde dmin es la menor distancia en la que se encuentra algn evaluado en el sitio para un patrn de respuestas especfico. As, si en un sitio el patrn de respuestas compuesto por elegir A en todas las preguntas se encontr k veces, se considera sospechoso si de acuerdo con la distribucin binomial de parmetros n y p , la probabilidad de encontrar k+1 o ms evaluados a una d=0, es menor de 0,000001. Dadas las caractersticas de la prueba SABER 2009, se definieron sitios (unidades de anlisis de copia) en los cuales fuese coherente analizar copia. Para ello como la unidad de aplicacin fue la sede jornada y en ella se dispuso de varios formatos, el sitio est definido como sede jornada rea formato, por ende para los individuos en cada sitio se hicieron comparaciones dos a dos entre sus patrones de respuesta, garantizando as que los estudiantes comparados estn respondiendo la misma prueba con las mismas preguntas. Luego, para cada estudiante en un sitio se calcularon las distancias a las que se encontraban los patrones de respuestas de los dems. Para cada individuo se calcul cuntos individuos se encontraban a 0, 1,,11 diferencias de su patrn de respuestas. Por cada diferencia se construy una variable, la cual dice cuantos individuos se encuentra a dicha distancia. Ahora, como la cantidad de preguntas en cada rea formato no fue la misma, se estableci el siguiente criterio: si la suma de las primeras k distancias es mayor a cero, donde k es el entero siguiente al 15% del nmero total de preguntas en cada rea formato, entonces ese estudiante es denominado sospechoso de copia. Por ejemplo, si en un sitio la cantidad de preguntas fue 54 el 15% es 8.1, siendo 9 el entero siguiente, luego si para un estudiante la cantidad d 0 + d1 + + d 9 es mayor a cero individuos este estudiante es sospechoso de copia, es decir, si la suma es 1, en el
4

Blanco L., (1996). Probabilidad, Universidad Nacional de Colombia, Facultad de ciencias sede Bogot. Pgina (105) 5 Blanco L., (1996). Probabilidad. Pgina (110)

sitio existen al menos dos personas que presentan en su patrn de respuestas a lo ms 9 diferencias. Puesto que, el objetivo es calcular la probabilidad de encontrar un patrn de respuestas dado en la poblacin y as construir un ndice de copia, en este caso el patrn de respuestas de los sospechosos, se utiliz un modelo binomial siguiendo el siguiente procedimiento: A partir del conjunto de sospechosos que presentaron el rea c (c = 1,2,3 donde 1 es ciencias, 2 lenguaje y 3 matemticas) del formato i (i = 1,,114), se tom una muestra aleatoria, de la poblacin que present el rea c del formato i sin los sospechosos de copia, de tamao ni, contra los que se calcul nuevamente las dk, k= 0,1, ,11 de cada uno de los individuos sospechosos. Con estas distancias y con las encontradas en cada sitio se calcula la probabilidad Ps dada por:
Ps =1 Pba ( xa , pm , na )

donde Pba es la probabilidad binomial acumulada, xa corresponde al nmero de individuos que se encuentran a una distancia dmin_a + 2 + 1, (dmin_a + 2 es la menor distancia en la que se encuentra algn evaluado ms los individuos a dos distancias adelante, en el sitio a, (min_a = 0,1,,11); pm es el cociente entre las distancias acumuladas hasta dpero ahora dentro de la muestra y el tamao de muestra menos los min_b+ 2 + 1, individuos (no sospechosos) del sitio que pertenezcan a la muestra; es decir, pm = #indv(dmin_b+2 +1) / (m - #indva ) con #indv(dmin_b+2 +1) corresponde a la cantidad de estudiantes que se encuentran a la distancia acumulada dmin_b+2 +1 en la muestra b, m. El tamao de muestra y #indva es el nmero de individuos no sospechosos del sitio a que pertenecen a la muestra; na, es la cantidad de individuos en el sitio a simo. As, el ndice de copia por persona est dado por:
1 I s = redondear log 10 P s ,

donde Is se aproxima (redondea) al entero ms cercano, adems se tiene que 0 I s 14 . En los casos en que Ps es nula el ndice Is es igualado a 14, indicando que la probabilidad de encontrar dicho patrn de respuestas en la muestra es cero. Puesto que, el procedimiento como se mencion, no solamente considera respuestas incorrectas sino tambin aquellas correctas, se hace un ajuste por la proporcin de respuestas correctas, esto es:
rc Cs = I s 14 , tr
3

siendo Cs el ndice de copia ajustado, rc la cantidad de respuestas correctas del individuo s y tr el nmero total de respuestas por sitio, luego si C s 6 , se considera que el individuo s tiene indicio de copia. Finalmente, la sede jornada que present el rea c del formato i (sitio a) es denominado como sitio con copia masiva en el rea c si ms del 40% de los estudiantes tiene indicios de copia.

Este procedimiento fue llevado a cabo de manera independiente para cada una de las aplicaciones.

Nota 1. Los individuos que en su patrn de respuestas presentaron ms de 5 omisiones o multimarca no se consideraron en el anlisis. Nota 2. Si la sede jornada grado en dos o ms reas, presenta copia masiva no se public resultados.