Presidente de la Repblica Juan Manuel Santos Caldern Ministra de Educacin Nacional Mara Fernanda Campo Saavedra Viceministro de Educacin Preescolar, Bsica y Media Mauricio Perfetti del Corral
Directora General Margarita Pea Borrero Secretaria General Gioconda Pia Elles Jefe de la Oficina Asesora de Comunicaciones y Mercadeo Ana Mara Uribe Gonzlez Director de Evaluacin Julin Patricio Mario von Hildebrand Director de Produccin y Operaciones Francisco Ernesto Reyes Jimnez Director de Tecnologa Adolfo Serrano Martnez Subdirectora de Diseo de Instrumentos Flor Patricia Pedraza Daza Subdirectora de Anlisis y Divulgacin Maria Isabel Fernandes Cristvo Autores (en orden alfabtico) Yanneth Beatriz Castelblanco Marcelo Vctor Hernando Cervantes Botero Jenyfer Garca Naranjo Carolina Lopera Oquendo Roco del Pilar Mndez Surez lvaro Enrique Uzaheta Berdugo Editores Vctor Hernando Cervantes Botero Carolina Lopera Oquendo Revisor de estilo Fernando Carretero Socha Diagramacin Nicols Bravo Ramrez Alejandra Guzmn Escobar ISBN de la versin electrnica: 978-958-11-0578-6
Instituto Colombiano para la Evaluacin de la Educacin Calle 17 No. 3 - 40 Bogot, D.C., Colombia PBX. 338 7338 - Lnea Gratuita Nacional 018000-110858 www.icfes.gov.co Bogot, D. C., diciembre de 2011
Advertencia Con el fin de evitar la sobrecarga grfica que supondra utilizar en espaol o/a para denotar uno u otro gnero, el ICFES opta por emplear el masculino genrico en el que todas las menciones de este se refieren siempre a hombres y mujeres. ICFES. 2011. Todos los derechos de autor reservados . Todo el contenido es propiedad exclusiva y reservada del ICFES y es el resultado de investigaciones y obras protegidas por la legislacin nacional e internacional. No se autoriza su reproduccin, utilizacin ni explotacin a ningn tercero. Solo se autoriza su uso para fines exclusivamente acadmicos. Esta informacin no podr ser alterada, modificada o enmendada.
INFORMES
Contenido
Presentacin.............................................................................................................................................7 1. Marco de referencia SABER 5o. y 9o. 2009....................................................................................9 1.1 Antecedentes del programa de evaluacin para educacin bsica y secundaria SABER...10. 1.2 Diseo y desarrollo de los instrumentos de evaluacin.....................................................11. 1.3 Armada de pruebas.............................................................................................................25 Bases de datos....................................................................................................................28 Consulta, verificacin y captura de informacin.................................................................29 Unidades de agrupacin.....................................................................................................29 Vinculacin de examinadores y personal asociado al operativo........................................30 Socializacin........................................................................................................................31 Estructura del proceso logstico de las aplicaciones..........................................................31 Materiales.............................................................................................................................31 Control de calidad en el proceso de aplicacin..................................................................32 Poblacin objetivo................................................................................................................40 Marco muestral....................................................................................................................40 Unidades de muestreo y mtodo de seleccin...................................................................41 Tamaos de muestra............................................................................................................42 Proceso de ponderacin.....................................................................................................44
2. Logstica de aplicaciones...............................................................................................................27 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 4. 3.1 3.2 3.3 3.4 3.5
3. Diseo muestral...............................................................................................................................40
Revisin de las estadsticas de los tems.....................................................................................46 4.1 Estadsticas empleadas en el anlisis de tems..................................................................46 4.2 Estadsticas a nivel de prueba.............................................................................................52 4.3 Resultados de la revisin.....................................................................................................55 5.1 5.2 5.3 5.4 5.5 Metodologa para la construccin de las escalas de calificacin.......................................58 Determinacin de la escala de calificacin.........................................................................61 Componentes y competencias............................................................................................66 Determinacin de los puntos de corte y los niveles de desempeo..................................67 Estadsticas calculadas para los reportes...........................................................................71
Bibliografa..............................................................................................................................................74 Anexos 1. Diseo de la evaluacin: modelo de evidencias, especificaciones y construccin de preguntas.........................................................................................................77 2. Esquema de aplicacin de formas................................................................................................91 3. Aspectos logsticos.........................................................................................................................94 4. Descripcin de los niveles de desempeo.................................................................................102
Cuadro 1.11 Distribucin de las preguntas por componente y competencia para la prueba de lenguaje en quinto y noveno grado....................................................................23 Cuadro 1.12 Distribucin de las preguntas por componente y competencia para la prueba de matemticas quinto grado ..................................................................................24 Cuadro 1.13 Distribucin de las preguntas por componente y competencia para la prueba de matemticas noveno grado ................................................................................24 de ciencias naturales quinto grado..........................................................................24 de ciencias naturales noveno grado........................................................................25 Cuadro 1.14 Distribucin de las preguntas por componente y competencia para la prueba Cuadro 1.15 Distribucin de las preguntas por componente y competencia para la prueba Cuadro 1.16 Nmero de preguntas por cuadernillo por rea y grado.........................................25 Cuadro 5.1 Descripcin general de los niveles de desempeo.................................................69
Tablas Tabla 2.1 Tabla 2.2 Tabla 2.3 Tabla 2.4 Tabla 2.5 Tabla 3.1 Nmero de estudiantes y establecimientos educativos participantes en el operativo censal (calendarios A y B)........................................................................ 27 Nmero de estudiantes y establecimientos educativos participantes en el operativo muestral (aplicaciones controlada y estadstica)..................................... 28 Total de sedes seleccionadas para monitoreo segn calendario y aplicacin....... 34 Comparativo de hallazgos en los tres tipos de aplicacin, calendario B................ 37 Comparativo de hallazgos en los tres tipos de aplicacin, calendario A................ 38 Tamaos del marco muestral, SABER 5o. y 9o. 2009............................................. 41
INFORMES
Tabla 3.2
Nmero de estudiantes y tasas de respuesta por estrato segn grado................. 43 Reporte de estadsticas globales y por calendario de un tem con estadsticas .apropiadas y uno anulado........................................................................................ 51 Distribucin porcentual de estudiantes que no alcanzan a responder los tems... 53 Coeficiente alfa de Cronbach pruebas SABER 5o. y 9o. 2009................................ 55 Correlacin tem-prueba y discriminacin tems eliminados en quinto grado ....... 56 Correlacin tem-prueba y discriminacin tems eliminados en noveno grado ..... 57 Ponderaciones para el ndice socioeconmico ..................................................... 64 Constantes para la transformacin a la escala de reporte ..................................... 66 Nmero de docentes en cada una de las reas y grados....................................... 68 Puntos de corte en la escala de calificacin de SABER 5o. y 9o. 2009.................. 70
Tabla 4.1 Tabla 4.2 Tabla 4.3 Tabla 4.4 Tabla 4.5 Tabla 5.1 Tabla 5.2 Tabla 5.3 Tabla 5.4
Figuras Figura 1.1 Metodologa de diseo basado en evidencias..........................................................15 Figura 4.1 Reporte de estadsticas globales y por calendario de un tem con estadsticas apropiadas..............................................................................................49 Figura 4.2 Reporte de estadsticas globales y por calendario de un tem anulado...................50 Figura 4.3 Ejemplo de distribucin de respuestas correctas para dos cuadernillos de una misma prueba.................................................................................................54 Figura 5.1 Ejemplo de curva caracterstica del tem...................................................................62 Figura 5.2 Distribucin y puntos de corte de los residuales estandarizados de componentes y competencias...................................................................................67 Anexos Cuadros Cuadro A1.1 Competencia: la comunicacin, la representacin y la modelacin.....................78 Cuadro A1.2 Competencia: el razonamiento y la argumentacin..............................................78 Cuadro A1.3 Competencia: el planteamiento y resolucin de problemas.................................79 Cuadro A1.4 Competencia: la comunicacin, la representacin y la modelacin.....................80 Cuadro A1.5 Competencia: el razonamiento y la argumentacin..............................................81 Cuadro A1.6 Competencia: el razonamiento y la argumentacin..............................................82 Cuadro A1.7 Competencia: lectora..............................................................................................82 Cuadro A1.8 Competencia: escritora...........................................................................................83 Cuadro A1.9 Competencia: lectora..............................................................................................84 Cuadro A1.10 Competencia: escritora...........................................................................................85 Cuadro A1.11 Competencia: uso comprensivo del conocimiento cientfico................................86
Cuadro A1.12 Competencia: explicacin de fenmenos..............................................................87 Cuadro A1.13 Competencia: indagacin......................................................................................88 Cuadro A1.14 Competencia: uso comprensivo del conocimiento cientfico................................88 Cuadro A1.15 Competencia: explicacin de fenmenos..............................................................89 Cuadro A1.16 Competencia: indagacin......................................................................................90
Cuadro A2.1 Esquema de armada de formas de matemticas para las aplicaciones de calendarios A y B, SABER 5o. y 9o. 2009.........................................................92 Cuadro A2.2 Esquema de armada de formas de lenguaje para las aplicaciones de calendarios A y B, SABER 5o. y 9o. 2009..............................................................93 Cuadro A2.3 Esquema de armada de formas de ciencias naturales para las aplicaciones de calendarios A y B, SABER 5o. y 9o. 2009.........................................................93 Cuadro A3.1 Cronograma calendario B......................................................................................95 Cuadro A3.2 Cronograma calendario A......................................................................................95 Cuadro A3.3 Material de examen para cada tipo de aplicacin.................................................96 Cuadro A3.4 Formatos de aplicacin correspondientes a calendario y tipo de aplicacin.......97 Cuadro A3.5 Examinadores y procedimientos de aplicacin.....................................................98 Cuadro A3.6 Esquema de aplicacin........................................................................................101 Cuadro A4.1 Descripcin general de niveles de desempeo en lenguaje, quinto grado........103 Cuadro A4.2 Descripcin general de niveles de desempeo en lenguaje, noveno grado......106
Cuadro A4.3 Descripcin general de niveles de desempeo en matemticas, quinto grado.........................................................................................................109 Cuadro A4.4 Descripcin general de niveles de desempeo en matemticas, noveno grado.......................................................................................................111 Cuadro A4.5 Descripcin general de niveles de desempeo en ciencias naturales, quinto grado.........................................................................................................113. Cuadro A4.6 Descripcin general de niveles de desempeo en ciencias naturales, noveno grado.......................................................................................................115
INFORMES
Presentacin
SABER 5o. y 9o. es una evaluacin nacional de carcter externo que se aplica peridicamente, cada tres aos, a estudiantes de educacin bsica de todo el pas con el fin de conocer el desarrollo de las competencias bsicas en las reas de lenguaje, matemticas y ciencias naturales. Los datos recopilados en cada aplicacin de SABER 5o. y 9o. son una fuente valiosa para orientar la definicin de polticas y programas de mejoramiento y para profundizar en el estudio de los determinantes de la calidad de la educacin. El diseo y aplicacin de SABER 5o. y 9o. 2009 son metodolgicamente complejos no solo por sus caractersticas de aplicacin sino tambin por su implementacin y produccin de resultados, lo cual ha demandado la utilizacin de tcnicas de anlisis ms precisas. Este Informe tcnico SABER 5o. y 9o. 2009, adems de describir las bases tericas y las metodologas implementadas en el diseo y produccin de resultados de este estudio, presenta las caractersticas relacionadas con la ejecucin del proyecto a un nivel de detalle que les permite a los investigadores comprender y replicar sus resultados. El lector encontrar informacin sobre la prueba y el diseo de la muestra, las metodologas utilizadas para analizar los datos, las caractersticas tcnicas del proyecto y el mecanismo de aplicacin y control de calidad de la informacin. En conjunto, esta informacin permitir un mejor uso y compresin de las bases de datos del estudio, las cuales se encuentran a disposicin de todos los investigadores y encargados de la poltica educativa que deseen profundizar en estudios y anlisis sobre esta evaluacin. El informe se organiza en cinco captulos. En el primero se presenta el marco de referencia de la evaluacin, el cual contiene una descripcin detallada de los procedimientos desarrollados durante el diseo y la ejecucin del estudio SABER 5o. y 9o. 2009. En el segundo, se documentan los procesos y las particularidades de la estructura de aplicacin de la evaluacin y los mecanismos de control de calidad de la informacin. El tercero recoge el diseo muestral utilizado en las aplicaciones controlada y estadstica, y describe el conjunto de especificaciones que definieron la poblacin objeto del estudio, el marco muestral, las unidades de muestreo y el mtodo de seleccin de la muestra. El cuarto captulo presenta las estadsticas utilizadas en el anlisis de tems y se ilustran los reportes obtenidos empleando los resultados reales de algunos de los tems que formaron parte de las pruebas. Finalmente, el captulo 5 expone la metodologa usada en la definicin de las escalas de calificacin de las pruebas SABER 5o. y 9o. 2009 y de los niveles de desempeo reportados. Adicionalmente, el lector encontrar anexos con la informacin complementaria sobre las caractersticas tcnicas del estudio.
La elaboracin de este informe estuvo a cargo de profesionales de las subdirecciones de Diseo de Instrumentos, Estadstica y de Anlisis y Divulgacin de la Direccin de Evaluacin del ICFES. Agradecemos la participacin de Mara Nelcy Rodriguez, quien en su labor como Subdirectora de Estadstica colabor en la definicin y en el desarrollo inicial de los contenidos de este informe, de Martha Snchez, John Jairo Rivera, Carlos Pardo, Martha Ligia Cuevas, Luis Adrin Quintero, Cristian Montao y Aracely Mora por sus valiosos aportes derivados de la revisin tcnica.
INFORMES
Uno de los propsitos de la poltica educativa es garantizar que todos los estudiantes, sin importar su procedencia y contexto socioeconmico y cultural, reciban en la escuela una educacin de alta calidad que contribuya al desarrollo de sus competencias necesarias para vivir, convivir, ser productivos en todos los mbitos y seguir aprendiendo a lo largo de sus vidas. SABER 5o. y 9o., como componente fundamental de la estrategia a favor de la calidad de la educacin en el pas, se encuentra alineada a los Estndares Bsicos de Competencias establecidos por el Ministerio de Educacin Nacional (MEN, 2006). Estos se constituyen como el punto de partida para la definicin de los propsitos de la evaluacin, en la medida en que son los referentes comunes acerca de los conocimientos, habilidades y valores que todos los estudiantes colombianos deben desarrollar durante la trayectoria escolar, independientemente de su procedencia, condiciones sociales, econmicas y culturales. Por tanto, constituyen los criterios comunes de la evaluacin y de los resultados de esta, y tienen como propsito fundamental posibilitar el monitoreo de los avances en el tiempo y el diseo de estrategias focalizadas de mejoramiento acordes con las necesidades particulares de la poblacin. Dentro de la promulgacin de la Ley 715, la prueba SABER 5o. y 9o. se ha aplicado en forma censal en dos ocasiones: una entre 2002 y 2003 y otra entre 2005 y 2006, de acuerdo con el calendario acadmico (A y B) vigente en las entidades territoriales. Los resultados de ambas se han divulgado ampliamente por diversos medios, con el propsito de fortalecer los procesos de autoevaluacin institucional, as como para definir e implementar programas y acciones de mejoramiento en los establecimientos educativos, las secretaras de educacin y el Ministerio de Educacin Nacional. En 2009 se llev a cabo una nueva evaluacin censal en el marco de SABER 5o. y 9o., el Instituto Colombiano para la Evaluacin de la Educacin (ICFES) trabaj desde 2007 en su diseo, basado en la experiencia adquirida en los aos anteriores. Como resultado, se logr un diseo para un conjunto de aplicaciones que garantiza la medicin de la evolucin de los resultados en un periodo de doce aos, lo que corresponde a cinco aplicaciones que se efectuarn entre 2009 y 2021.
Este captulo contiene una descripcin detallada de los procedimientos que se desarrollaron durante el diseo y la ejecucin del estudio SABER 5o. y 9o. 2009.
1.1 Antecedentes del programa de evaluacin para educacin bsica y secundaria SABER
Las pruebas SABER de evaluacin para educacin bsica y secundaria se han aplicado desde comienzos de la dcada de los aos 1990. En 1992 y 1997 se evaluaron los estudiantes de 3o. y 5o. de educacin bsica primaria, y de 7o. y 9o. de educacin bsica secundaria, a travs de muestras representativas a nivel departamental. En las aplicaciones de 1991 y 1992 se evaluaron las reas de matemticas y lenguaje, y se recogieron datos socioeconmicos del estudiante y su familia para identificar los factores asociados con los desempeos. En 1997 y 1998 se evaluaron los mismos grados y reas que en la aplicacin anterior. Las evaluaciones censales trienales, obligatorias desde la expedicin de la Ley 715 de 2001, posibilitan que todas las instituciones educativas dispongan de informacin confiable acerca de lo que sus estudiantes saben y saben hacer y, a partir de esta, adelantar acciones especficas para superar las dificultades encontradas. SABER 5o. y 9o. se ha aplicado en forma censal en tres ocasiones: una entre 2002 y 2003, otra entre 2005 y 2006 y la ltima se realiz en 2009. En 2002 se aplicaron dos pruebas para los grados 5o. y 9o. que evaluaron las reas de matemticas y lenguaje. En 2003 se evaluaron las reas de ciencias naturales y competencias ciudadanas. En 2005 y 2006 se evaluaron, en los mismos grados, las reas de matemticas, lenguaje, ciencias naturales, ciencias sociales y competencias ciudadanas (vese cuadro 1.1). En 2009 se realizaron dos aplicaciones, de acuerdo con el calendario acadmico (A y B) vigente en las entidades territoriales, en las que se evaluaron las reas de matemticas, lenguaje y ciencias naturales en los grados 5o. y 9o. Tanto la estructura de prueba como el esquema de aplicacin de esta evaluacin presentan diferencias en comparacin con las aplicaciones anteriores. Por ejemplo, los tems que conforman las pruebas se construyeron segn la metodologa de especificaciones de contenido del modelo basado en evidencias, la cual permite construir evaluaciones sustentadas en criterios objetivos, que generan informacin confiable y explcita sobre lo que los estudiantes saben y saben hacer en desarrollo del propsito y del objeto de evaluacin en cada rea.
10
INFORMES
Cuadro 1.1 Evolucin de las pruebas SABER para educacin bsica y secundaria
L L L
11
Cuadro 1.2. Etapas, actividades y periodo de realizacin de las fases de SABER 5o. y 9o. 2009
Etapas
I. Diseo de la evaluacin SABER proyectado para 12 aos (2009 al 2021)
Actividades
Definicin y alcance del propsito de la evaluacin reas por evaluar Poblacin objetivo Instrumentos (pruebas y cuestionarios de factores asociados) Resultados Construccin de especificaciones de prueba basada en el modelo de evidencias Construccin de pruebas Elaboracin de cuestionarios de factores asociados Pilotaje de instrumentos Armado y ensamblaje de pruebas Edicin de cuadernillos y cuestionarios Aplicacin de instrumentos definitivos en poblacin censal Aplicacin de instrumentos definitivos y cuestionarios de factores asociados con supervisin y monitoreo del ICFES. Organizacin de material, captura de datos, consolidacin y depuracin de informacin Consolidacin de bases de datos de factores asociados Calibracin de tems, definicin de tems utilizables, generacin de escalas Definicin de niveles de desempeo mediante la metodologa de Standard Setting Publicacin de resultados para establecimientos educativos y sedes-jornada. Resultados agregados por departamentos, municipios y entidades territoriales certificadas Elaboracin de reportes y divulgacin de resultados muestrales (Informe nacional) Publicacin de resultados muestrales (Informe nacional) Estudio de equiparacin SABER 2002-2005-2009. Publicacin estudio de factores asociados
Elaboracin: Direccin de Evaluacin, ICFES
Este captulo se centrar en las etapas I y II relacionadas con la definicin del diseo de SABER 5o. y 9o. 2009 y el diseo y desarrollo de los instrumentos de evaluacin.
12
INFORMES
13
Carcter de la aplicacin: la medicin de SABER 5o. y 9o. combina, en cada uno de los calendarios, una aplicacin muestral controlada y una censal. Adicionalmente, se les ofrecer a las entidades territoriales la posibilidad de financiar sobremuestras adicionales que permiten generar resultados con niveles de confiabilidad suficientes para reportar en cada una de ellas y compararse entre s y con las dems ciudades participantes y, a la vez, mejorar la representatividad de la muestra nacional, con un operativo de caractersticas de aplicacin similares al muestral pero controlado por las secretarias de educacin, denominada aplicacin estadstica. La aplicacin muestral es desarrollada totalmente por el ICFES, con un diseo muestral representativo a nivel nacional, sector y zona. El detalle del diseo muestral se presenta en el captulo 3. La aplicacin censal involucra todas las instituciones educativas a nivel nacional y su control est a cargo de estas, con el apoyo de las secretaras de educacin y la veedura de integrantes de la comunidad educativa.
b. Especificaciones de prueba
Una buena evaluacin, ya sea realizada por los docentes en sus aulas o llevada a cabo a travs de pruebas estandarizadas, debe sustentarse en instrumentos con un alto grado de validez, de manera que permitan establecer con precisin qu saben y saben hacer los estudiantes y, con base en ello, identificar cules son sus fortalezas y debilidades para avanzar en el proceso formativo. De esta manera, para obtener resultados confiables en una evaluacin es necesario que las dimensiones conceptuales y cognitivas y los logros que definen cada nivel de desempeo por evaluar estn adecuadamente representados en especificaciones de contenido, pues en estas se apoyarn las interpretaciones que se hagan de los resultados de una prueba.
14
INFORMES
Caractersticas como la exigencia particular de una pregunta en un cruce de dominios evaluados, la dificultad de la misma, el tipo de estmulos o situaciones en las que se formulan las tareas de evaluacin y el alcance de los conceptos particulares por evaluar en la poblacin objetivo, deben quedar explcitas en las especificaciones de prueba para lograr construir bloques de preguntas paralelos dentro de una misma aplicacin y la comparacin entre aplicaciones. En el caso de SABER 5o. y 9o. 2009, las competencias, los componentes y los logros de cada rea que se esperan cubrir por cada nivel se definieron con suficiente detalle en las especificaciones de contenido, las cuales permitieron replicar los dominios evaluados en formas paralelas de la prueba. Esto es necesario para asegurar que la asignacin de niveles tiene caractersticas y significados comparables de una forma a otra y para garantizar la comparabilidad entre aplicaciones de la prueba en el tiempo. La definicin de las especificaciones para SABER 5o. y 9o. 2009 se estandariz y aline con los Estndares Bsicos de Competencias (MEN, 2006), y se estructur segn la metodologa de diseo basado en evidencias, la cual permiti definir las especificaciones de contenido por evaluar en matemticas, lenguaje y ciencias naturales. Esta metodologa consiste en un conjunto de procesos que parten de la identificacin de las competencias que sern evaluadas y llegan hasta la definicin de las tareas que debe responder un estudiante, de manera que estas ltimas se constituyan en evidencias que den cuenta de los conocimientos, habilidades o capacidades que se quieren medir (vase figura 1.1). En este proceso de construccin de las especificaciones participaron docentes en ejercicio y expertos en la enseanza de las reas evaluadas. Seguir esta metodologa garantiza la homogeneidad de los instrumentos que se elaboren durante un periodo largo, pues provee los elementos necesarios para que grupos diferentes de constructores de preguntas puedan producir pruebas equivalentes.
Figura 1.1 Metodologa de diseo basado en evidencias
Estndares Bsicos de Competencias
Competencia 1
Estndar
Competencia 2
Competencia n
Afirmacin 1
Afirmacin 2
Afirmacin 3
Evidencia 1
Evidencia 2
Evidencia n
Tarea 2
Tarea n
Pregunta 1
Pregunta 2
Pregunta n
15
Al aplicar la metodologa, se parti de los Estndares Bsicos de Competencias (MEN, 2006) que son los referentes comunes acerca de los conocimientos, habilidades y valores que todos los estudiantes colombianos deben desarrollar en su trayectoria escolar, independientemente de su procedencia y condiciones sociales, econmicas y culturales. Los estndares se organizan alrededor de conjuntos de competencias y de componentes, de acuerdo con las caractersticas disciplinares de cada rea. La naturaleza de estas competencias y componentes hace que no todas sean evaluables a travs de pruebas de papel y lpiz; por tanto, dependiendo del proceso de evaluacin que se pretenda desarrollar, se eligen aquellas que, adems de permitir dar cuenta de un conjunto de habilidades y conocimientos fundamentales que los estudiantes deben desarrollar durante su formacin bsica, puedan medirse a travs de pruebas estandarizadas con preguntas de seleccin mltiple. Para cada una de las competencias y los componentes seleccionados de los estndares, se formulan afirmaciones. Estas son enunciados que se formulan acerca de los conocimientos, capacidades y habilidades de los estudiantes, atendiendo a la pregunta Qu se quiere decir sobre los estudiantes a partir de sus respuestas a una evaluacin? Las afirmaciones estn enunciadas a travs de verbos no observables; por ejemplo: comprende, interpreta, analiza. Las evidencias se refieren a enunciados que representan conductas o productos observables mediante los cuales es posible verificar los desempeos a los que se refieren las afirmaciones. Las evidencias responden a la pregunta Qu tiene que hacer el evaluado que permita inferir lo que sabe o sabe hacer? Cada afirmacin debe tener el nmero de evidencias suficiente y necesario para poder sustentarla, y debe ser pertinente con las caractersticas o restricciones de prueba. Finalmente, a partir de la descripcin de las evidencias que dan cuenta de una afirmacin, se proponen tareas que se refieren a lo que se les pide a los evaluados que hagan en una prueba. Estos enunciados representan una tarea especfica, una descripcin de un potencial o una familia de preguntas. Para construir una tarea de evaluacin es necesario identificar y caracterizar qu afecta su dificultad y tambin lo que puede afectar su validez. Con este nuevo diseo de la estructura de las pruebas y del esquema de aplicacin adoptado, SABER 5o. y 9o. 2009 se concibe como la lnea de base de la evaluacin en educacin bsica del pas hasta el ao 2021. A continuacin, se describe brevemente la evaluacin en cada una de las reas y de las especificaciones de las pruebas en trminos de competencias y componentes definidos. As mismo, en el anexo 1 se presentan las afirmaciones que sustentan los dominios evaluados en cada una de las reas.
16
INFORMES
Prueba de matemticas
La evaluacin en matemticas est referida al saber hacer en el contexto matemtico escolar, es decir, a las formas de proceder asociadas al uso de los conceptos y estructuras matemticas. En este sentido, se privilegian las significaciones que el estudiante ha logrado construir y que pone en evidencia cuando se enfrenta con diferentes situaciones y problemticas enmarcadas en las mismas matemticas, la vida diaria y las otras ciencias. De esta manera, en las pruebas es fundamental evaluar el significado de los conceptos matemticos y la prctica significativa, relacionada esta ltima con la matematizacin que exige al estudiante simbolizar, formular, cuantificar, validar, esquematizar, representar y generalizar. Estas actividades le permitirn al estudiante desarrollar descripciones matemticas, explicaciones o construcciones. En los Estndares Bsicos de Competencias y los lineamientos curriculares para el rea se establecen cinco procesos generales de la actividad matemtica: la formulacin, el tratamiento y resolucin de problemas; la modelacin de procesos y fenmenos de la realidad; la comunicacin; el razonamiento y la formulacin, comparacin y ejercitacin de procedimientos. Para los propsitos de la evaluacin, estos procesos se reagruparon en tres competencias especficas, las cuales se detallan en el cuadro 1.3.
Cuadro 1.3. Competencias evaluadas en matemticas
Competencia
La comunicacin, la representacin y la modelacin El razonamiento y la argumentacin
Descripcin
Capacidad del estudiante para expresar ideas, interpretar, representar, usar diferentes tipos de lenguaje y describir relaciones. Dar cuenta del cmo y del porqu de los caminos que se siguen para llegar a conclusiones, es decir, justificar y distinguir los tipos de razonamiento y evaluar cadenas de argumentos para llegar a conclusiones determinadas. Formulacin de problemas a partir de situaciones dentro y fuera de las matemticas, el desarrollo y aplicacin de diferentes estrategias y la capacidad de verificar e interpretar resultados a la luz del problema original y a la generalizacin de soluciones y estrategias para dar solucin a nuevas situaciones.
Por otro lado, en los Estndares Bsicos de Competencias y en los lineamientos curriculares se establecen cinco tipos de pensamientos relacionados con el desarrollo de las competencias matemticas: el pensamiento numrico y sistemas numricos; el pensamiento espacial y los sistemas geomtricos; el pensamiento mtrico y los sistemas de medidas; el pensamiento
17
aleatorio y los sistemas de datos; y el pensamiento variacional y los sistemas algebraicos y analticos. Estos pensamientos se agruparon en los tres componentes evaluados en la prueba: el numrico-variacional, el geomtrico-mtrico y el aleatorio. El cuadro 1.4 describe cada uno de estos.
Cuadro 1.4. Componentes evaluados en matemticas
Componente
Descripcin
Comprensin de los nmeros, la estructura del sistema de numeracin; el significado de las operaciones, la comprensin de sus propiedades y de las relaciones entre ellas; el uso de los nmeros y las operaciones en la resolucin de problemas diversos, la descripcin de fenmenos de cambio y dependencia; conceptos y procedimientos asociados al concepto de funcin. Construccin y manipulacin de representaciones de los objetos del espacio, el desarrollo del pensamiento visual, el anlisis abstracto de figuras y formas en el plano y en el espacio a travs de la observacin de patrones y regularidades, el razonamiento geomtrico y la solucin de problemas de medicin, la comprensin de los procesos de conservacin, la estimacin de magnitudes, la apreciacin del rango, la seleccin de unidades de medida, de patrones y de instrumentos y el uso de unidades, entre otros. Representacin, lectura e interpretacin de datos en contexto; el anlisis cuantitativo de diversas formas de representacin de informacin numrica, el anlisis cuantitativo de regularidades, de tendencias, de tipos de crecimiento, y la formulacin de inferencias y argumentos usando medidas de tendencia central y de dispersin; y el reconocimiento, descripcin y el anlisis de eventos aleatorios.
Numrico-variacional
Geomtrico-mtrico
Aleatorio
Vale destacar que esta divisin no pretende separar las matemticas en elementos discretos; por el contrario, los mismos tienen la intencin de proporcionar un esquema de clasificacin til que describe el espectro total de los componentes matemticos planteados en los Estndares Bsicos de Competencias.
Prueba de lenguaje
Los Estndares Bsicos de Competencias producidos por el Ministerio de Educacin Nacional destacan la importancia del lenguaje como requisito para la adquisicin de conocimientos y como parte fundamental para la interaccin en el entorno social. Los estndares abarcan tanto el lenguaje verbal como el no verbal y estn orientados a las capacidades expresivas y comprensivas de los estudiantes. Por ello, se organizan en torno a cinco factores: (a) produccin
18
INFORMES
textual; (b) comprensin e interpretacin textual; (c) literatura, que comprende la perspectiva esttica del lenguaje; (d) medios de comunicacin y otros sistemas simblicos; y (e) tica de la comunicacin, el elemento transversal a los cuatro factores anteriores. A su vez, en esta diversidad de factores o manifestaciones del lenguaje ocurren varios procesos, dentro de los que se encuentran: la construccin de sistemas de significacin, la interpretacin y produccin de textos, los procesos culturales y estticos asociados al lenguaje, los principios de interaccin y procesos culturales implicados en la tica de la comunicacin y los procesos de desarrollo del pensamiento. En concordancia con los planteamientos de los estndares, la prueba de lenguaje evala la competencia comunicativa a travs de dos procesos: la compresin e interpretacin textual (lectura) y la produccin textual (produccin o escritura), de acuerdo con lo que se presenta en el cuadro 1.5.
Cuadro 1.5. Competencias evaluadas en lenguaje
Procesos
Descripcin
Se refiere a la bsqueda y reconstruccin del sentido y los significados presentes en diferentes tipos de textos (literarios, informativos, descriptivos, avisos, tablas, grficos, entre otros) y otras formas de comunicacin no verbal, tales como gestos, msica y expresiones artsticas. En trminos generales, la prueba de lectura propone a los estudiantes una reflexin en torno a qu dice el texto (contenidos conceptuales e ideolgicos), cmo lo dice (organizacin), para qu y por qu lo dice (pragmtica); cundo lo dice y quin lo dice. Tiene que ver con la generacin de significados, tanto para expresarse como para transmitir informacin o interactuar con los dems. La prueba evala el proceso de escritura y no la escritura en s. Esto significa que no se les solicita a los estudiantes la elaboracin de textos escritos, sino que las preguntas indagan sobre los tipos de textos que ellos utilizaran para lograr un determinado propsito o finalidad comunicativa; la forma como los organizaran para expresar un mensaje o una idea y aspectos relativos al uso adecuado de las palabras y frases para que se produzcan textos con sentido. De esta manera, respecto a este proceso, en la prueba se revisan las siguientes fases o etapas del proceso de escritura: (a) planeacin, preescritura o preparacin; (b) textualizacin, escritura o elaboracin de borradores; y (c) revisin o reescritura.
Lectura
Escritura
19
Por otra parte, en la prueba de lenguaje se consideran tres componentes transversales a las dos competencias evaluadas, los cuales se describen en el cuadro 1.6.
Cuadro 1.6 Componentes evaluados en lenguaje
Componente
Semntico Sintctico Pragmtico
Descripcin
Sentido del texto en trminos de su significado. Este componente indaga por el qu se dice en el texto. Organizacin del texto en trminos de su coherencia y cohesin, por tanto, indaga por el cmo se dice. Para qu se dice, en funcin de la situacin de comunicacin que envuelve el texto, es decir, las particularidades de comunicacin que se emplean en l.
Los Estndares Bsicos de Competencias en Ciencias Naturales (MEN, 2006) resaltan la importancia de la formacin cientfica dado el contexto actual, en un mundo en el que la ciencia y la tecnologa cada vez desempean un papel ms importante en la vida cotidiana y el desarrollo de las sociedades. Por esta razn, se adopta la perspectiva de la ciencia como prctica social, al entenderse como un proceso colectivo de construccin, validacin y debate. De esta manera, por ciencias naturales se entienden los cuerpos de conocimientos, en permanente construccin, que se ocupan del mundo natural, teniendo presente la complejidad del mismo. Las ciencias naturales, a su vez, se dividen en tres grandes categoras entrelazadas entre s: entorno vivo, entorno fsico y ciencia, tecnologa y sociedad. Esta divisin constituye los tres componentes evaluados en la prueba, tal como se muestra en el cuadro 1.7.
Cuadro 1.7. Componentes evaluados en ciencias naturales
Componente
Descripcin
Este componente aborda temas relacionados con los seres vivos y sus interacciones. Se centra en el organismo para entender sus procesos internos y sus relaciones con los medios fsico y bitico. Los temas unificadores que se abordan dentro de este componente son: estructura y funcin, homestasis, herencia y reproduccin, ecologa, evolucin, diversidad y similaridad. Se orienta a la comprensin de los conceptos, principios y teoras a partir de los cuales el hombre describe y explica el mundo fsico con el cual interacta. Dentro de este se estudia el universo; la materia, sus propiedades, su estructura y transformaciones, apropiando nociones o conceptos como mezclas, combinaciones, reacciones qumicas, energa, movimiento, fuerza, tiempo, espacio y sistemas de medicin. Busca estimular en los jvenes la independencia de criterio y un sentido de responsabilidad crtica hacia el modo como la ciencia y la tecnologa pueden afectar sus vidas, las de sus comunidades y las del mundo en general.
Entorno vivo
Entorno fsico
20
INFORMES
Los propsitos o metas de la formacin en ciencias hacen nfasis en la indagacin cientfica, en la formulacin de preguntas y en la capacidad analtica y crtica, sin restarle importancia a los conceptos. Es as como los estndares enfatizan en la forma de aproximacin al conocimiento cientfico, en el manejo de conocimientos propios de las ciencias naturales y en el desarrollo de compromisos personales y sociales. En particular, la prueba de ciencias tiene como objetivo establecer y diferenciar las competencias de los estudiantes para poner en juego sus conocimientos bsicos de las ciencias naturales en la comprensin y resolucin de problemas. La prueba evala, adems, la comprensin que los estudiantes tienen sobre las particularidades y los alcances del conocimiento cientfico y la capacidad que ellos poseen para diferenciar este conocimiento de otros saberes. Esta evaluacin tambin indaga por la capacidad de los estudiantes para establecer relaciones entre nociones y conceptos provenientes de contextos propios de la ciencia y de otras reas del conocimiento, al ejercitar su capacidad crtica, entendida esta como la habilidad para identificar inconsistencias y falacias en una argumentacin, para valorar la calidad de una informacin o de un mensaje y para asumir una posicin propia. Lo anterior forma parte de los requerimientos del mundo moderno que exigen la capacidad de interpretar y actuar socialmente de manera reflexiva, eficiente, honesta y tica. Con este marco, la prueba aborda tres competencias que hacen referencia al aspecto disciplinar y metodolgico del trabajo de las ciencias, tal como se muestra en el cuadro 1.8.
Cuadro 1.8. Competencias evaluadas en ciencias naturales
Competencia
Descripcin
Capacidad para comprender y usar conceptos, teoras y modelos en la solucin de problemas, a partir del conocimiento adquirido. Esta competencia se relaciona con el conocimiento disciplinar de las ciencias naturales, de manera que las preguntas de la prueba buscan que el estudiante relacione conceptos y conocimientos adquiridos con fenmenos que se observan con frecuencia. Capacidad para construir explicaciones y comprender argumentos y modelos, que den razn de fenmenos. Est relacionada con la forma como los estudiantes van construyendo sus explicaciones en el contexto de la ciencia escolar y busca fomentar en el estudiante una actitud crtica y analtica que le permita establecer la validez o coherencia de una afirmacin o un argumento. Capacidad para plantear preguntas y procedimientos adecuados, para buscar, seleccionar, organizar e interpretar informacin relevante para dar respuesta a esas preguntas. Esta competencia involucra los procedimientos, las distintas metodologas que se dan para generar ms preguntas o intentar dar respuesta a una de ellas. Por tanto, el proceso de indagacin en ciencias implica, entre otras cosas, plantear preguntas, buscar relaciones de causa/efecto, hacer predicciones, identificar variables, realizar mediciones y organizar y analizar resultados.
Explicacin de fenmenos
Indagacin
21
22
INFORMES
Cuadro 1.9. Nmero de preguntas por bloque en cada rea para quinto grado
rea
Lenguaje Matemticas Ciencias naturales
Elaboracin: Direccin de Evaluacin, ICFES
Nmero de bloques
8 8 8
Cuadro 1.10. Nmero de preguntas por bloque en cada rea para noveno grado
rea
Lenguaje Matemticas Ciencias naturales
Elaboracin: Direccin de Evaluacin, ICFES
Nmero de bloques
8 8 8
Las tablas siguientes muestran la distribucin porcentual de las preguntas de las pruebas de lenguaje, matemticas y ciencias naturales en cada una de las competencias y los componentes evaluados.
Lenguaje
En el caso de la prueba de lenguaje, la distribucin de preguntas por componente y competencia es la misma en quinto y noveno grado (vase cuadro 1.11).
Cuadro 1.11. Distribucin de las preguntas por componente y competencia para la prueba de lenguaje en quinto y noveno grado
Componente
Semntico Sintctico Pragmtico Total
Elaboracin: Direccin de Evaluacin, ICFES
Lectora
23% 22% 22% 67%
Competencia Escritora
12% 11% 11% 34%
Total
34% 33% 33% 100%
23
Matemticas
En la prueba de matemticas, la distribucin de preguntas por componente y competencia es distinta para los dos grados (vanse cuadros 1.12 y 1.13).
Cuadro 1.12. Distribucin de las preguntas por componente y competencia para la prueba de matemticas quinto grado
Componente
Numrico Geomtrico Aleatorio Total
Razonamiento
10% 19% 6% 35%
Total
40% 40% 20% 100%
Cuadro 1.13. Distribucin de las preguntas por componente y competencia para la prueba de matemticas noveno grado
Componente
Numrico Geomtrico Aleatorio Total
Razonamiento
11% 15% 11% 37%
Total
35% 35% 30% 100%
Ciencias naturales
En la prueba de ciencias naturales, la distribucin de preguntas por componente y competencia es distinta para los dos grados (vanse cuadros 1.14 y 1.15).
Cuadro 1.14. Distribucin de las preguntas por componente y competencia para la prueba de ciencias naturales quinto grado
Competencia Componente
Entorno vivo Entorno fsico CTS Total
Elaboracin: Direccin de Evaluacin, ICFES
Total
42% 42% 16% 100%
24
INFORMES
Cuadro 1.15. Distribucin de las preguntas por componente y competencia para la prueba de ciencias naturales noveno grado
Competencia Componente
Entorno vivo Entorno fsico CTS Total
Elaboracin: Direccin de Evaluacin, ICFES
Total
41% 41% 18% 100%
De esta manera, el nmero de preguntas por prueba que responde un estudiante vara segn el grado y rea. Los estudiantes de quinto grado debieron contestar 36 preguntas en el rea de lenguaje y 48 en matemticas y ciencias; en noveno grado, todas las reas se evaluaron con 54 preguntas (vase cuadro 1.16).
Cuadro 1.16. Nmero de preguntas por cuadernillo por rea y grado
rea
Lenguaje Matemticas Ciencias naturales
Elaboracin: Direccin de Evaluacin, ICFES
Quinto
36 48 48
Noveno
54 54 54
25
Como se mencion, cada forma de prueba que responde un estudiante estuvo conformada por dos bloques de tems. Para el grado quinto, en la prueba de lenguaje se ensamblaron ocho (8) bloques de 18 tems cada uno, mientras que para las reas de matemticas y ciencias naturales se ensamblaron ocho (8) bloques de 24 tems cada uno. Para grado noveno, en las tres reas se ensamblaron ocho (8) bloques de 27 tems cada uno. Los bloques de una prueba se distribuyeron entre bloques tipo A y tipo B, los cuales son ensamblados siguiendo la misma estructura, es decir, tienen la misma cantidad de preguntas por competencia, componente y nivel de dificultad, pero pueden tener distintas evidencias. As, cada uno de los bloques tipo A se arm con la mitad de las evidencias y de tipo B se arm con las evidencias restantes, de manera que al responder los dos bloques se completa la estructura total de la prueba. El anexo 2 muestra la armada de las formas a partir de los ocho (8) bloques para cada una de las aplicaciones. Al cumplir las especificaciones de diseo descritas en el presente captulo, se consolidaron los instrumentos de evaluacin SABER 5o. y 9o. 2009, con los cuales se logr asegurar el cubrimiento de la totalidad del contenido definido para cada una de las dimensiones de la evaluacin, as como con los distintos niveles de dificultad esperados. Con esto se garantizan dos elementos fundamentales de la evaluacin externa, su validez y su confiabilidad.
26
INFORMES
2. Logstica de aplicaciones
Roco del Pilar Mndez Surez* lvaro Enrique Uzaheta Berdugo** y Jenyfer Garca Naranjo***
El proceso logstico de la aplicacin de las pruebas SABER 5o. y 9o. 2009 se constituy en un gran reto por el nmero de establecimientos educativos y estudiantes evaluados y por la magnitud de todos los recursos movilizados para llevar a cabo la aplicacin. En esta se evaluaron ms de un milln de estudiantes y cerca de 17.000 colegios. En el operativo muestral (aplicaciones controlada y estadstica) participaron cerca de 102.000 alumnos de quinto y un poco ms de 87.000 de noveno grado. La aplicacin controlada corresponde a la realizada en su totalidad por el ICFES en los establecimientos seleccionados para la muestra representativa a nivel nacional. La aplicacin estadstica corresponde a la realizada con seguimiento de las entidades territoriales certificadas que participaron con sobremuestras representativas en cada una de ellas1. Las tablas 2.1 y 2.2 presentan la participacin de estudiantes y de establecimientos por calendario para los operativos censal y muestral.
Tabla 2.1. Nmero de estudiantes y establecimientos educativos participantes en el operativo censal (calendarios A y B)
Grado
Quinto
Calendario
A B Total A
Estudiantes
595.768 64.103 659.871 409.227 48.528 457.755
Establecimientos
13.233 2.248 15.481 7.044 913 7.957
Noveno
Elaboracin: Direccin de Evaluacin, ICFES
B Total
Nota. Debido a que muchos establecimientos educativos ofrecen simultneamente ambos grados, la suma de los mismos supera los 17.000 enunciados en el texto.
* Subdireccin de Anlisis y Divulgacin, Direccin de Evaluacin. rmendez@icfes.gov.co ** Subdireccin de Estadstica, Direccin de Evaluacin. auzaheta@icfes.gov.co *** Subdireccin de Estadstica, Direccin de Evaluacin. jnaranjo@icfes.gov.co
1
Realizada en Medelln y Bogot para calendario A; y en Cali, Buenaventura, Buga, Cartago, Palmira, Tulu y Jamund, para calendario B.
27
Tabla 2.2 Nmero de estudiantes y establecimientos educativos participantes en el operativo muestral (aplicaciones controlada y estadstica)
Grado
Quinto
Calendario
A B Total A
Estudiantes
73.658 28.106 101.764 61.781 24.778 86.559
Establecimientos
986 453 1.439 850 366 1.216
Noveno
B Total
En este captulo se describen los procesos y las particularidades de la estructura de los tres tipos de aplicaciones (censal, estadstica y controlada) en los dos calendarios escolares (A y B), a fin de proporcionar el referente de un esfuerzo sin precedentes que debe capitalizarse para el alistamiento logstico de prximas versiones de este proceso de evaluacin que cuenta con un amplio reconocimiento nacional. De esta manera, se describen las principales etapas del operativo, como la consolidacin de la base de datos, la socializacin de la aplicacin, la asignacin del material de aplicacin y de examen, la vinculacin del recurso humano y la definicin de los procedimientos que deban cumplir los examinadores, as como la estructura del proceso logstico y el monitoreo de la calidad de la aplicacin.
Herramienta creada por el Ministerio de Educacin Nacional para facilitar el reporte exacto, por parte de las secretaras de educacin, de los nios y nias que se matriculan en las instituciones educativas del pas. Tomado de http://www.colombiaaprende.edu.co/html/home/1592/article-120491.html
28
INFORMES
En esta etapa se concret el nmero de cuadernillos y el material de aplicacin necesario, as como el personal requerido y se ajustaron las proyecciones en los recursos financieros requeridos para la aplicacin. Por ello, mediante la validacin y actualizacin realizada desde el nivel de entidad territorial hasta el institucional, se implement la consolidacin de la base de datos como el primer paso para el alistamiento logstico (vanse los cronogramas en cada calendario, cuadros A3.1 y A3.2 del anexo 3).
29
Teniendo en cuenta la organizacin de las entidades territoriales, las unidades se conformaron as: Entes certificadosmunicipios: en un solo punto se hizo la entrega del material de examen. Entes certificadosciudad capital: ms de un punto para la entrega del material de examen. Entes departamentales: unidad de agrupacin por municipios. Dentro de cada unidad se seleccion un municipio de ubicacin central para realizar la entrega del material de examen. Esta organizacin facilit el contacto directo con los representantes de los establecimientos educativos en los procesos de socializacin, entrega de material y recepcin de las hojas de respuestas. Asimismo, posibilit descentralizar los procesos de seleccin y capacitacin de examinadores, lo cual minimiz el traslado de personas por los costos que esto puede representar para un proceso de aplicacin en viticos y transporte.
30
INFORMES
2.5 Socializacin
En los dos calendarios, la convocatoria para las jornadas de socializacin dirigida a rectores estuvo a cargo de las secretaras de educacin y se sustent en la organizacin del territorio nacional por unidades de agrupacin. En esta etapa, el apoyo y acompaamiento del ICFES estuvo representado en los desarrollos web anteriormente descritos, y especialmente en un CD interactivo con los procedimientos de aplicacin y el material impreso de manuales y anexos que tenan que manejar durante la aplicacin. Lo anterior permiti unificar la informacin que se suministr en todos los puntos denominados unidades de agrupacin y ser muy claros en los procedimientos establecidos para la aplicacin de las pruebas.
2.7 Materiales
En el operativo hubo dos tipos de materiales: el de examen, constituido por los cuadernillos y hojas de respuestas correspondientes a cada tipo de aplicacin y calendario, como se describe en el cuadro A3.5 del anexo 3; y el de aplicacin, conformado por los insumos que el delegado y el rector o coordinador de sede reciba en la capacitacin del ICFES para que fuese entregado a los aplicadores. Este segundo tipo de material inclua: Cuadro de tiempos para cada sesin. Facsmil en formato ampliado del ejemplo de hojas de respuestas para cada grado. Facsmil en formato ampliado del cuestionario sociodemogrfico. Versin impresa de los manuales de procedimientos para el delegado, rector o coordinador de sede, para los coordinadores de saln y para los aplicadores. Formatos de aplicacin, numerados como anexos (vase cuadro A3.6 del anexo 3)4.
Para la aplicacin censal se gener una menor cantidad de anexos, dado el considerable nmero de evaluados; adems, al contar con una muestra representativa en la cual se aplicaban los mismos cuadernillos, era posible inferir la informacin inconsistente. De otra parte, considerando la experiencia de calendario B en el que se obtuvo informacin redundante mediante la aplicacin de numerosos formatos, para calendario A se redujo su cantidad.
31
Adicionalmente, el delegado, rector o coordinador de sede y las secretaras de educacin disponan de un CD con la siguiente informacin: Lineamientos generales SABER 5o. y 9o. 20095. Los manuales de procedimientos con presentacin interactiva. Archivos en formato PDF de todo el material para utilizar en la aplicacin de las pruebas.
Entregados en versin impresa para calendario B. Se define como sede el espacio fsico donde se desarrollan actividades de enseanza, la cual est a cargo de un responsable que es el coordinador o profesor asignado y puede funcionar en diferentes jornadas.
32
INFORMES
procedimientos estandarizados de aplicacin que disminuyan los posibles efectos causados por condiciones heterogneas, y contribuyan a hacer comparables los resultados entre los diferentes grupos que presentan la prueba. En este apartado se explica cmo fueron los procedimientos de control de calidad de la aplicacin y de la informacin de las pruebas SABER 5o. y 9o. 2009. A pesar de que las pruebas realizadas por el ICFES cuentan con una serie de protocolos bien definidos, cuyo objetivo es proporcionar condiciones de aplicacin homogneas a todos los evaluados, es necesario hacerle seguimiento al proceso de aplicacin para revisar el cumplimiento de las normas y los procedimientos. En este sentido, en las aplicaciones de SABER 5o. y 9o. 2009 se llev a cabo un proceso de monitoreo, cuyo objetivo fue supervisar las condiciones generales de la aplicacin y la capacitacin de los aplicadores y detectar fallas u omisiones en los procedimientos establecidos para identificar los principales errores, a fin de corregirlos en evaluaciones posteriores. Este proceso fue realizado por personal (monitores) contratado por el ICFES en cada una de las etapas que componan los tres tipos de aplicaciones. Para esto, a los monitores se les suministr un formato que serva de gua de trabajo e instrumento para el registro de las observaciones, el cual se acompa de un instructivo con la descripcin de los procedimientos, las pautas de observacin y las indicaciones para el diligenciamiento de las formas de registro. En cada calendario de aplicacin se implement una versin distinta de la herramienta de recoleccin descrita, buscando mejorar preguntas que haban presentado inconvenientes durante el primer periodo. En calendario A, se utiliz un formato nico para los tres tipos de aplicaciones; en el B se gener uno para las aplicaciones censal y estadstica, y otro para la aplicacin controlada. A continuacin se describe detalladamente el proceso de monitoreo en ambas aplicaciones.
33
Tabla 2.3 Total de sedes seleccionadas para monitoreo segn calendario y aplicacin
Calendario Aplicacin
Total Censal Controlada Estadstica Total
Elaboracin: Direccin de Evaluacin, ICFES
Mayo (B) Porcentaje 18,3 25,1 56,6 100 Total 384 96 50 530
46 63 142 251
La aplicacin censal se monitore en Bogot, Medelln, Bucaramanga, Ccuta, Barranquilla, Cartagena, Manizales y Villavicencio. La controlada en calendario B se monitore en los municipios de Pasto, Cali, Andaluca, Buenaventura, Palmira, Tulu, Guaitarilla, Anserma Nuevo, Calima y San Pablo de los departamentos de Valle del Cauca y Nario; en calendario A, se hizo en los municipios de Mosquera, Abrego, Villas del Rosario, Cinaga de Oro, San Diego, Ariguan, Santa Marta, Riohacha y Neiva. Finalmente, la aplicacin estadstica se monitore en Bogot y Medelln. En la aplicacin de calendario B se alcanz una cobertura del 61% de las sedes seleccionadas para el monitoreo (83% en censal, 53% en controlada y 65% estadstica), que a pesar de no ser la esperada, sirvi para detectar algunas fallas y corregirlas, gracias a lo cual la aplicacin de calendario A se consigui una cobertura del monitoreo del 86% (83% en censal, 92% en controlada y 93% en estadstica).
Esta etapa se efectu nicamente en las sedes jornadas con aplicacin controlada. En las sedes con aplicacin estadstica, la reunin previa se llev a cabo el mismo da en que se desarroll la primera jornada de aplicacin controlada7; las de aplicacin censal no
7
34
INFORMES
tuvieron un momento definido para su realizacin. Para la recoleccin de la informacin, el monitor tuvo que asistir a la reunin de capacitacin impartida por el delegado del ICFES el da anterior a la aplicacin y observar su desarrollo. A la reunin asistieron el rector o encargado de la sede jornada y las personas que se desempearon el da de la prueba como aplicadores y coordinadores de salones. Durante el desarrollo de la reunin, el monitor, mediante observacin o indagacin a alguno de los asistentes, capturaba informacin sobre los siguientes aspectos: Datos de bsicos de la sede educativa: se registraron departamento, municipio, nombre, cdigo DANE, jornada, nombre del rector, grados que presentan la prueba y nmero de grupos en cada grado. Comunicacin con la institucin educativa: el rector o encargado de la sede respondi si la institucin recibi la notificacin de la aplicacin de la prueba, medio utilizado para la notificacin y el momento en que la recibi. Capacitacin: se respondieron preguntas referentes a las instrucciones impartidas, entrega de materiales, solucin clara de las dudas expuestas, materiales de ayuda para la capacitacin, organizacin y dominio del proceso por los aplicadores. Estudio de factores asociados8: se tom registro sobre la orientacin dada por el delegado para el diligenciamiento del cuestionario, entrega del material al rector, docentes y estudiantes y almacenamiento seguro de los cuestionarios despus del diligenciamiento. Solo se tom informacin en las sedes jornadas seleccionadas en la muestra para el estudio de factores asociados.
Durante esta etapa se indag en torno a aspectos propios de la aplicacin, con el propsito de recoger informacin sobre el seguimiento de los protocolos de seguridad, la transparencia en los procedimientos y las condiciones de aplicacin. Los aspectos evaluados por el monitor fueron: Preparacin de la aplicacin: mediante observacin o con la ayuda del aplicador, siempre que no se interfiriera en su labor, se recolect informacin sobre las condiciones de seguridad del material antes de su distribucin, presencia de aplicadores suficientes de acuerdo con la cantidad de salones que presentaron las pruebas y el cumplimiento de las instrucciones definidas en el manual del aplicador.
La muestra de factores asociados fue seleccionada nicamente de las sedes jornadas que pertenecan a la aplicacin controlada.
35
Observacin del primer bloque de preguntas: se monitore el desarrollo de la aplicacin durante la primera sesin, en el lapso correspondiente al primer bloque de preguntas (45 minutos), en uno de los salones de la sede jornada y durante la segunda sesin, en el lapso del tercer bloque de preguntas, en un segundo saln (si exista). Del aplicador se recolectaron los datos de identificacin, nivel educativo, ocupacin y si tena experiencia como aplicador. De la aplicacin en particular, se registr informacin relacionada con la utilizacin de materiales de ayuda para la socializacin de las instrucciones y la ocurrencia de situaciones irregulares durante la aplicacin, a los estudiantes o al aplicador. Primera ronda por los salones que presentan la prueba: despus del monitoreo del primer y del tercer bloque de preguntas, se inici un recorrido por los dems salones en que estuviera presentndose la prueba. Durante al menos 5 minutos, se observ la forma en que se desarroll la prueba y se llev registro de aspectos como el ruido, personas ajenas a la aplicacin que pudieran estar interfiriendo, estudiantes conversando entre s, traspaso de papeles u objetos, entre otros. Labor del delegado: los monitores evaluaron la labor que realiz el delegado, teniendo en cuenta las pautas definidas en el respectivo manual de procedimientos para esta figura, y que el monitor deba conocer. Observaciones, impresiones y recomendaciones: se dispuso de secciones para registrar informacin que tal vez no haba sido considerada en las secciones del formato de monitoreo y fueran de importancia para mejorarlos en prximas aplicaciones; por ejemplo, que el monitor diera su opinin sobre el trabajo realizado, la capacitacin recibida, la organizacin del proceso de monitoreo, las dificultades encontradas y las recomendaciones que considerara necesarias para mejorar el proceso. Durante la aplicacin de calendario B las dos etapas se realizaron en sedes jornadas diferentes, es decir, en donde se monitore la reunin previa no se monitore el proceso de aplicacin, y viceversa. En la aplicacin de calendario A, ambas etapas se realizaron sobre un mismo conjunto de sedes jornadas. En las sedes de calendario B seleccionadas para monitoreo, la informacin sobre la reunin previa se obtuvo a partir de una entrevista al aplicador registrada en el formato utilizado para el monitoreo. En la aplicacin de octubre, este formato se ajust de acuerdo con las dificultades observadas durante la aplicacin de mayo. Adems, el formato de monitoreo de las aplicaciones estadstica y censal incluy preguntas sobre la reunin previa y la capacitacin recibida, que se realizaban en el da mismo de la aplicacin, de forma anloga a la recoleccin de la informacin sobre la reunin previa en las sedes jornadas seleccionadas para monitoreo, en el momento de aplicacin.
36
INFORMES
Situaciones presentadas
Salones en los que se observaron estudiantes conversando entre s Salones en los que se observaron estudiantes levantndose de sus asientos durante la prueba Salones en los que se report intercambio de papeles u objetos entre los estudiantes Salones en los que se report el uso de elementos no permitidos durante la prueba Salones en los que se reportaron estudiantes intentando copiar a sus compaeros Salones en los que se report ruido o desorden durante la aplicacin Salones en los que se report entrada de personas ajenas a la aplicacin Salones en los que se reportaron ayudas del aplicador en los temas de la prueba Salones en los que se reportaron interrupciones durante la aplicacin Salones en los que estudiantes siguieron contestando una vez finalizado el tiempo de la prueba El aplicador tom medidas para controlar las situaciones presentadas
Elaboracin: Direccin de Evaluacin, ICFES
Estadstica
67,7 24,2 17,7 1,6 30,6 30,6 11,3 16,1 6,5 8,1 93,5
Censal
36,7 16,5 1,3 2,5 13,9 20,3 6,3 15,2 8,9 5,1 90,5
Para esto se utiliz la informacin de 134 sedes jornadas de la aplicacin de calendario B y 454 de aplicacin calendario A.
37
Situaciones presentadas
Salones en los que se observaron estudiantes conversando entre s Salones en los que se observaron estudiantes levantndose de sus asientos durante la prueba Salones en los que se report intercambio de papeles u objetos entre los estudiantes Salones en los que se report el uso de elementos no permitidos durante la prueba Salones en los que se reportaron estudiantes intentando copiar a sus compaeros Salones en los que se report ruido o desorden durante la aplicacin Salones en los que se report entrada de personas ajenas a la aplicacin Salones en los que se reportaron ayudas del aplicador en los temas de la prueba Salones en los que se reportaron interrupciones durante la aplicacin Salones en los que estudiantes siguieron contestando una vez finalizado el tiempo de la prueba
Elaboracin: Direccin de Evaluacin, ICFES
Estadstica
83,6 43,4 29,6 11,9 45,3 50,9 19,5 11,9 29,6 23,9
Censal
73,9 50,9 22,4 5,7 40,4 38,5 23,0 20,4 25,6 25,7
De forma general, tanto en la aplicacin de mayo como en la de octubre el monitoreo arroj los siguientes aspectos positivos: Notificacin de la aplicacin de la prueba a la sede jornada. En la aplicacin de mayo se encontr que el 37% de las sedes jornadas recibieron la notificacin el da anterior; esta cifra disminuy a 2,2% en octubre. En el 97% y 98%, para mayo y octubre respectivamente, de las sedes jornadas hubo suficientes aplicadores para el desarrollo de la prueba. La persona que recibi el material verific que estuviera debidamente sellado y en las condiciones requeridas. Las sedes jornadas contaron con los espacios fsicos adecuados para la recepcin y custodia del material, antes de la entrega en los salones.
38
INFORMES
Los aplicadores consideraron que las dudas presentadas en las capacitaciones fueron resueltas de forma adecuada. En ms del 80% de las sedes jornadas, las condiciones de iluminacin fueron apropiadas para la aplicacin de la prueba. En ms del 80% de los casos, los delegados cumplieron satisfactoriamente sus funciones. No obstante, se detectaron algunos aspectos negativos que deben corregirse para mejorar en las prximas aplicaciones. Dentro de estos se encuentran: En la aplicacin de mayo se observ que el ingreso y ubicacin de los estudiantes al saln se hizo de forma correcta en el 94% de los casos; sin embargo, en octubre esta cifra disminuy al 87%. La organizacin y distribucin del material de examen a los aplicadores tambin se afect en octubre: del 96% en mayo baj al 85% en octubre. En el 33% y 43%, en mayo y octubre respectivamente, de las sedes jornadas se observ ruido y desorden dentro y fuera del saln. Aproximadamente el 90% de los aplicadores manifestaron haber recibido la capacitacin. En el 44% y 35%, en mayo y octubre respectivamente, de los salones en donde se presentaba la prueba no tenan los materiales de ayuda necesarios para el desarrollo de la misma. En ms del 70% de las sedes se reportaron estudiantes conversando entre s durante la aplicacin. Se observ que hubo estudiantes intercambiando objetos entre s y haciendo intentos de copia. Se observ ayuda de los aplicadores a los estudiantes en la prueba en aproximadamente el 20% de los salones.
39
3. Diseo muestral
Jenyfer Garca Naranjo***
Este captulo describe el diseo muestral usado en la prueba SABER 5o. y 9o. 2009 para las aplicaciones controlada y estadstica. Aborda el conjunto de especificaciones usadas para definir la poblacin objeto del estudio, el marco muestral, las unidades de muestreo y el mtodo de seleccin de la muestra. El diseo muestral de la prueba es multietpico y tiene como objetivo garantizar que los datos proporcionados por el estudio brinden estimaciones confiables y precisas de la poblacin estudiantil a nivel nacional. Adicionalmente, el diseo muestral incluye los procedimientos indicados para la estimacin del error muestral inherente a un estudio realizado mediante una muestra probabilstica. Este y otros componentes se describen en el captulo 4.
40
INFORMES
(nombre, ubicacin, nombre del rector o rectora, cantidad de sedes matrcula, grados, jornadas). Para el momento de la seleccin de la muestra, la informacin ms reciente disponible del SINEB corresponda al ao 2008 para ambos calendarios (A y B). Entre la etapa del diseo muestral y el procesamiento de datos se hizo una actualizacin a 2009, por tanto, los resultados se procesaron con la informacin actualizada. En la tabla 3.1 se presenta de manera resumida la informacin del marco muestral usado en el planteamiento del diseo muestral.
Tabla 3.1 Tamaos del marco muestral, SABER 5o. y 9o. 2009
Calendario A B Total
Establecimientos
Estudiantes 5o. Estudiantes 9o. 797.504 119.716 917.220 552.753 81.142 633.895
41
estratos: (1) establecimientos que ofrecen el grado noveno (el establecimiento tiene quinto, noveno o ambos grados: estrato QN); (2) establecimientos que no ofrecen noveno grado (estrato Q). En total se consideraron 20 estratos en la primera etapa del diseo.
42
INFORMES
El marco de muestreo empleado para la simulacin consisti en los datos de la base de datos SINEB del ao 2008. Los establecimientos incluidos en esta base se ubicaron aleatoriamente en las categoras de establecimientos de bajo y de alto desempeo de acuerdo con los porcentajes de cada categora calculados para el ao 2002. Posteriormente, en la base, cada estudiante fue asignado aleatoriamente al grupo de estudiantes con bajo o con alto desempeo de acuerdo con los porcentajes calculados para el ao 2002 en la categora de establecimientos a la que fue asignado el establecimiento al que perteneca y el municipio en el que este se encuentra. En la simulacin se sigui el diseo de muestra presentado en la seccin 3.3 y se estableci el tamao de muestra adecuado segn las restricciones de precisin y costos para el estudio. Estos tamaos se definieron de acuerdo con la precisin obtenida a nivel nacional y para las entidades territoriales consideradas, de forma que el error estndar para estimar una proporcin del 50% de estudiantes a nivel nacional o en el estrato se encontrara alrededor de 2,5. En la tabla 3.2 se presentan los tamaos de muestra esperados, los efectivos y el porcentaje de respuesta obtenido para cada estrato del diseo muestral, segn el grado.
Tabla 3.2 Nmero de estudiantes y tasas de respuesta por estrato segn grado
Estrato Q QN Q QN Q QN Q QN Q QN Q QN Q QN Q QN Q QN Q QN
Tamao de muestra esperado Quinto Noveno 34.006 5.140 2.936 1.385 11.898 1.806 10.335 4.952 2.310 25.321 1.073 34.589 129 4.712 243 3.455 327 1.578 568 12.012 29 2.074 449 12.252 476 5.292 25 3.549 967 32.666
Tamao de muestra efectivo Quinto 907 30.619 120 4.370 213 2.368 292 1.433 519 10.729 29 1.968 394 11.250 468 4.833 20 2.300 782 27.951 Noveno 27.929 4.248 2.102 1.303 10.159 1.746 9.355 4.405 2.180 22.502
Porcentaje (%) de respuesta Quinto 84,5 88,5 93,0 92,7 87,7 68,5 89,3 90,8 91,4 89,3 100,0 94,9 87,8 91,8 98,3 91,3 80,0 64,8 80,9 85,6 Noveno 82,1 82,6 71,6 94,1 85,4 96,7 90,5 89,0 94,4 88,9
Bogot Bucaramanga Buenaventura Buga Cali Cartago Medelln Pasto Tulu Resto del pas
43
En general, las tasas de participacin superan el 80%, lo cual es favorable para la obtencin de resultados; sin embargo, se realizaron ajustes por no respuesta para corregir este efecto. Este procedimiento se explica en la siguiente seccin. Los estratos con menor tasa de respuesta fueron Tulu y Buenaventura en QN.
f exp
Donde:
= h hj n h
(1)
Nh nh
es el nmero de establecimientos educativos en el estrato h. es el nmero de establecimientos educativos del estrato h seleccionados en la muestra en la primera etapa.
44
INFORMES
f exp
(2)
Donde:
Nhjk nhjk
es el nmero de estudiantes en la sede jornada k del establecimiento j en el estrato h, para el grado fijado. es el nmero de estudiantes seleccionados en la muestra en la sede jornada k del establecimiento j en el estrato h, para el rea y grado fijados.
Por tanto, el peso final para un estudiante l para un rea y grado especficos, se calcula como sigue:
(3)
45
En el proceso de revisin de estadsticas de los tems se tuvieron en cuenta estadsticas derivadas de la Teora Clsica de los Test y de la Teora de Respuesta al tem. El objetivo del anlisis de las estadsticas fue evaluar las propiedades psicomtricas de los tems incluidos en las pruebas SABER 5o. y 9o. 2009, para garantizar su calidad y la de estas al permitir la deteccin de problemas en algunos de los tems de diferentes cuadernillos. Este procedimiento de anlisis de tems y de prueba se llev a cabo antes de realizar la calibracin de los tems para la calificacin de las pruebas, la cual se presenta en el captulo 5 de este informe. En aquellos casos en que en algn tem se detect un valor inusual en las estadsticas analizadas, se verific la versin impresa de los cuadernillos para identificar posibles fallas y determinar la necesidad de anularlo de la calibracin y calificacin definitivas. En este captulo se describen las estadsticas utilizadas para el anlisis de tems y se ilustran los reportes obtenidos empleando los resultados reales de algunos de los tems que formaron parte de las pruebas. Adems, se presentan las estadsticas a nivel de prueba que se obtuvieron por forma de prueba, con anterioridad a la calibracin de los tems.
10
46
INFORMES
N: Nmero de estudiantes a quienes se administr el tem. Dificultad: se define como la proporcin de estudiantes que lo respondi correctamente respecto al total de estudiantes a quienes se administr el tem. Discriminacin: corresponde a la diferencia entre la proporcin de estudiantes de mejor desempeo que contestaron correctamente al tem y la proporcin de estudiantes de ms bajo desempeo que lo contestaron correctamente. Los grupos de desempeos ms altos y ms bajos corresponden respectivamente al 27% de los estudiantes a quienes se les administr el tem con mayor nmero de respuestas correctas y al 27% de los estudiantes con menor nmero de respuestas correctas en la prueba. Correlacin tem-prueba: se calcul usando la correlacin punto-biserial entre el acierto al tem y la suma de respuestas correctas en los dems tems de la prueba (es decir, el total de respuestas correctas no incluy al tem para el cual se calcul la correlacin). Flujo de opciones: corresponde a las proporciones de estudiantes que eligieron cada una de las opciones de respuesta del tem. N. omisiones: nmero de estudiantes a quienes se present el tem en el cuadernillo de prueba y que no marcaron ninguna opcin de respuesta. N. no alcanzado: nmero de estudiantes a quienes se present el tem en el cuadernillo de prueba y que no marcaron ninguna opcin de respuesta en el tem y en ninguno de los siguientes hasta el final del cuadernillo del rea.
47
Pendientes de las curvas empricas por opcin de respuesta: las pendientes por opcin de respuesta se calcularon a partir de la recta de mejor ajuste estimada por mnimos cuadrados ordinarios entre la proporcin de eleccin de la opcin, calculada para la curva emprica, sobre el punto medio de los intervalos de habilidad utilizados para calcular la curva emprica.
De acuerdo con la revisin de las estadsticas de los tems, de las advertencias generadas a partir de las mismas, de la revisin del contenido y de la versin impresa de los tems los revisores emitieron un criterio de aceptacin o anulacin de cada tem para ser incluido en la escala de cada prueba.
48
INFORMES
x x x x x x x x x x x x x
x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x
x x
x x x x
x x
x x x
x x x
x x x
x x x
x x
x x
x x x
x x
x x x
x x
x x x
x x
x x
x x
En la primera seccin de las figuras se encuentra una tabla con las estadsticas relacionadas con conteos (parte superior izquierda), como el nmero de evaluados a quienes se present un tem, cuntos lo respondieron correctamente, cuntos lo omitieron y cuntos no alcanzaron a responderlo, y una tabla con las estadsticas derivadas de la TCT asociadas con la clave (parte superior derecha), donde se encuentran la dificultad del tem, la desviacin estndar del mismo, la correlacin punto-biserial tem-prueba y la discriminacin. Cada tabla muestra las estadsticas calculadas para la aplicacin de calendario B (mayo), la de calendario A (octubre)
49
y en total para ambas aplicaciones. Estas son seguidas por la grfica de la curva caracterstica del tem (lnea slida). Junto a la curva caracterstica del tem se presenta la grfica de la curva emprica asociada con la clave (lnea punteada). La siguiente seccin de la figura incluye una tabla que muestra el flujo de opciones por aplicacin y para el total en ambas aplicaciones y una tabla con los parmetros de los tems estimados a partir del total de evaluados. Puesto que estos fueron estimados empleando los pesos muestrales, esta tabla tambin presenta las correspondientes expansiones del nmero de evaluados y de evaluados que acertaron a la pregunta, as como las estimaciones de correlacin tem-prueba. A continuacin de estas tablas se presenta la grfica con las curvas empricas por opcin de respuestas.
Figura 4.2 Reporte de estadsticas globales y por calendario de un tem anulado
x x x
x x x
x x x x
x x x x
x x x
x x x
x x x x
x x
x x x
x x x x
x x x
x x x
x x x
x x x x x x x x
x x x
x x x x
x x x
x x x
x x x x
x x x x
x x x x
x x x x
x x x x
x x x x
x x x
x x x
x x
x x x
x x x
x x x
x x x x
50
INFORMES
La ltima seccin de la figura contiene el espacio para observaciones al tem que podan emplear los revisores, un espacio para indicar si se decidi anular el tem y una tabla que presenta qu advertencias fueron generadas para el tem de acuerdo con los criterios presentados en la seccin anterior.
Tabla 4.1 Reporte de estadsticas globales y por calendario de un tem con estadsticas apropiadas y uno anulado
Con estadsticas apropiadas Forma de prueba 1 N Dificultad Discriminacin Corr. tem-prueba A% B% C% D% N. Omisiones N. no alcanzado 15.000 0,54 0,65 0,42 19,77 16,39 54,13 9,08 71 34 2 15.000 0,60 0,63 0,40 17,67 14,24 59,84 7,71 52 17 3 1.919 0,46 0,58 0,35 23,92 19,23 46,33 9,59 10 0 4 1.924 0,51 0,61 0,38 20,32 19,85 51,30 7,28 20 1 1 15.000 0,25 0,19 0,08 24,92 20,71 30,82 20,99 325 128 2
Anulado 3 1.919 0,22 0,13 0,04 22,30 22,41 30,38 22,09 47 17 4 1.924 0,24 0,20 0,08 24,22 21,41 28,48 20,69 95 58
51
4.2 Estadsticas a nivel de prueba 4.2.1 Distribucin de respuestas correctas y de preguntas no alcanzadas
Se revisaron la distribucin de estudiantes que no alcanzaron a completar cada bloque de tems y la distribucin de estudiantes por cada nmero posible de respuestas correctas, en cada forma de prueba. La revisin de la distribucin de omisiones tuvo como objetivo evaluar un posible efecto de velocidad sobre el rendimiento en las pruebas, visible en caso de encontrar proporciones elevadas de evaluados que no lograran completar las pruebas. La revisin de la distribucin de respuestas correctas tuvo como objetivo comparar la dificultad aproximada de los diferentes bloques y verificar la similitud entre ellos; sin embargo, esta revisin tambin permiti detectar problemas en la distribucin de las hojas de respuestas de algunos cuadernillos en la aplicacin de mayo, para los cuales la asignacin entre forma de hoja de respuesta y cuadernillo correspondiente no fue correcta. La tabla 4.2 presenta las distribuciones porcentuales de tems no alcanzados a responder en dos de los bloques de preguntas de cada uno de los grados de las pruebas SABER 5o. y 9o. 2009. Esta ilustra los bloques de tems en cada grado para los cuales el porcentaje de evaluados que no alcanz a responder al ltimo tem del mismo fue menor y mayor, respectivamente. Para estos clculos, se consider que un estudiante no alcanz a responder un tem si registr omisiones en el tem y en todos los tems subsiguientes del bloque. Finalmente, la figura 4.3 presenta las distribuciones de respuestas correctas para dos formas de prueba de cada grado, en una misma rea.
52
INFORMES
Tabla 4.2 Distribucin porcentual de estudiantes que no alcanzan a responder los tems
Quinto grado Menor 99,1 0,9 0,4 0,1 0,1 0 0,1 0 0 0,1 0 0 0 0,1 0 0 0 0 0 Mayor 92,6 7,4 1,1 0,3 0,3 0,4 0,5 1 0,4 0,7 0,5 0,3 0,4 0,1 0,7 0 0,2 0 0,2 0,1 0,2 0 0 0 0 Menor 98,9 1,08 0,14 0,1 0,2 0,11 0,04 0,04 0,05 0,03 0,03 0,04 0,04 0,03 0,02 0,01 0,03 0,01 0,01 0 0,02 0,01 0,01 0,01 0,02 0 0,01 0
Noveno grado Mayor 94,2 5,76 0,39 0,19 0 0,38 0,39 1,15 0 0 0,19 0,96 0,38 1,15 0,2 0 0 0,19 0 0,19 0 0 0 0 0 0 0 0
53
Figura 4.3 Ejemplo de distribucin de respuestas correctas para dos cuadernillos de una misma prueba
Quinto grado
Noveno grado
Porcentaje
Porcentaje
4.2.2 Confiabilidad
La confiabilidad de las pruebas de cada rea y grado se estim empleando el coeficiente alfa de Cronbach, a nivel de cada una de las formas de prueba utilizadas. El coeficiente para cada forma de prueba se calcul por calendario y globalmente para los dos calendarios juntos11. Para calcular la confiabilidad de las pruebas se tuvo en cuenta la revisin de las estadsticas de cada tem en las diferentes formas de prueba y la ocurrencia en la forma de evaluados que no alcanzaran a completarlo; as, los tems eliminados no se incluyeron en las clculos de confiabilidad, en la calibracin, ni en la calificacin de las pruebas; los tems en las formas de prueba para las que se detectaron problemas en la asignacin de las hojas de respuestas se trataron como no presentados al conjunto de evaluados a quienes les correspondieron. La tabla 4.3 recoge los coeficientes alfa obtenidos para cada una de las formas de prueba y la mediana de los coeficientes de las formas de cada prueba a nivel global.
11
En el caso de las formas de prueba que solamente se emplearon en la aplicacin de uno de los dos calendarios, estos dos valores coinciden.
54
INFORMES
Tabla 4.3 Coeficiente alfa de Cronbach pruebas SABER 5o. y 9o. 2009
Quinto grado Lenguaje 0,82 0,82 0,82 0,80 0,83 0,84 0,80 0,80 0,81 0,82 Matemticas 0,87 0,87 0,89 0,88 0,88 0,84 0,86 0,87 0,87 0,87 Ciencias naturales 0,83 0,84 0,83 0,85 0,81 0,88 0,83 0,84 0,81 0,83 Lenguaje 0,85 0,83 0,83 0,83 0,84 0,86 0,84 0,82 0,83 0,83
Noveno grado Matemticas 0,85 0,82 0,82 0,84 0,84 0,85 0,83 0,83 0,84 0,84 Ciencias naturales 0,81 0,80 0,81 0,83 0,83 0,83 0,83 0,82 0,80 0,82
55
rea
Correlacin tem-prueba 0,057 0,099 0,091 0,074 0,021 0,084 0,109 0,091 -0,021 0,069 0,051 0,105 -0,047 0,091 0,076 0,110 -0,013 -0,060 0,041 0,076 0,043 0,131 0,140 0,156 0,063
Discriminacin 0,188 0,183 0,220 0,178 0,133 0,223 0,261 0,148 0,042 0,133 0,149 0,201 0,056 0,280 0,251 0,218 0,080 0,038 0,150 0,236 0,203 0,308 0,228 0,094 0,107
Ciencias naturales
CD11 CE12 CE19 CF12 CG12 CG14 CG19 LA07 LB01 LB10 LC10
Distractores confusos. Distractores confusos. Distractores confusos. Distractores confusos. Problema de diagramacin.
Lenguaje
Distractores confusos. Distractores confusos. Problema de diagramacin. Distractores confusos. Problema de diagramacin.
Matemticas
MF04 MF24
56
INFORMES
rea
Correlacin tem-prueba 0,141 0,088 -0,009 0,062 0,097 0,061 0,091 0,096 0,017 -0,032 0,092 0,027 0,121 0,021 0,114 0,076 0,021 0,083 0,044 0,098 0,008 -0,095 0,027 0,111 0,003 0,008 0,033
Discriminacin 0,154 0,147 0,083 0,193 0,222 0,161 0,242 0,233 0,128 0,069 0,256 0,161 0,208 0,142 0,264 0,208 0,121 0,172 0,157 0,111 0,129 -0,016 0,129 0,142 0,066 0,103 0,109
Ciencias naturales
CE27 CF24 CF27 CH04 CH12 LA02 LA17 LB01 LB04 LB22 LC04 LD11 LE17 LF10 LF25 LG08 LH05 LH07 LH15 MC23 MC27
Lenguaje
Distractores confusos. Distractores confusos. Distractores confusos. Distractores confusos. Problema de diagramacin.
Matemticas
57
En este captulo se presenta la metodologa usada para la definicin de las escalas de calificacin de las pruebas SABER 5o. y 9o. 2009 y de los niveles de desempeo reportados. En la seccin 5.1 se describen brevemente los aspectos tericos del modelo de respuesta al tem utilizado y de la metodologa de valores plausibles. La seccin 5.2 registra los anlisis especficos realizados para la calibracin, calificacin y trasformacin de la escala. En la 5.3 se presentan los anlisis efectuados para obtener resultados de fortalezas y debilidades por componentes y competencias para los establecimientos educativos en cada grado y rea. En la seccin 5.4 se aborda la metodologa empleada para la determinacin de los puntos de corte y de los niveles de desempeo reportados. Finalmente, en la 5.5 se presentan los procedimientos empleados en el clculo de las principales estadsticas reportadas en los resultados.
**
58
INFORMES
En particular, el modelo utilizado en las pruebas SABER 5o. y 9o. 2009, fue el de respuesta al tem logstico de dos parmetros. Este modelo considera dos parmetros para describir cada tem y se expresa como:
P Ui = 1 qj , ai ,bi
Donde:
ai (qj - bi)
(4)
Ui, es la respuesta al i-simo tem, con 1 representando el caso en que la respuesta fue correcta
y 0 si fue incorrecta.
59
La metodologa de valores plausibles se basa en los procedimientos de imputacin mltiple propuestos por Rubin (1987), que incorpora los modelos de respuesta al tem. Esta metodologa fue propuesta inicialmente por Mislevy (1991, 1992) y se emplea actualmente para la obtencin de estadsticas agregadas en diversas pruebas internacionales como TIMSS (Foy, Galia & Li, 2008) y PISA (Organizacin para la Cooperacin y Desarrollo Econmicos [OECD], 2009), entre otras. Los valores plausibles se obtienen como una muestra aleatoria de la distribucin condicional de la habilidad para cada estudiante, denotada por P (qj U,a,b,Xj ,b,s 2 ), en la cual se condiciona tanto por las respuestas dadas por el evaluado a los tems (U ) y los parmetros estimados para los mismos en el proceso de calibracin (a,b), como por toda la informacin de y sus relaciones con la habilidad de los evaluados en la poblacin (b ) y una varianza comn a todos los evaluados (s 2 ). Dada la calibracin de los tems obtenida, es necesario conocer los valores de b y s 2 para definir la distribucin condicional de la habilidad. Para esto, se asume un modelo lineal para la habilidad P (qj Xj ,b,s 2 ) = N(Xj ,b,s 2 ), con lo cual la distribucin condicional puede ser expresada como: contexto disponible, tal como el nivel socioeconmico del estudiante, para cada evaluado (Xj)
(5)
Los valores de b y s 2 se estiman mediante un algoritmo de Esperanza-Maximizacin (Mislevy, 1991, 1992; Educational Testing Service [ETS], 2009). Para realizar estimaciones relacionadas con los puntajes de los estudiantes con base en los valores plausibles, se debe realizar la estimacin de la estadstica de manera independiente para cada uno de los valores plausibles, teniendo en cuenta, adems, los factores de expansin correspondientes (Mislevy, 1992; Foy et al., 2008; von Davier et al., 2009). De manera que, suponiendo que la estadstica que se desea estimar es h, se deben encontrar las estimaciones h1,...,h5 para los cinco valores plausibles, y la estimacin de inters se obtiene de la forma:
1h 5
(6)
60
INFORMES
Por ejemplo, si se desea estimar el puntaje promedio de todos los estudiantes, se estima el promedio para la variable PV1, as como para las variables PV2 a PV5. Al final se obtienen cinco estimaciones, las cuales se promedian para determinar la estimacin del puntaje promedio. Los errores estndar asociados a las estimaciones que emplean valores plausibles se obtienen a partir de la raz cuadrada de la varianza de las estimaciones, para la cual se toman en cuenta los siguientes dos componentes: (1) la varianza de la estimacin debida al diseo muestral para el caso de la aplicacin en condiciones controladas, y (2) la varianza debida a la incertidumbre de la medicin. As, el error estndar asociado con una estimacin se calcula como:
1 5
1 1 5 4
(7)
Donde h es la varianza del estimador calculada a partir de los valores en la variable PV1 de acuerdo con el diseo muestral (von Davier et al., 2009). Los procedimientos para obtener la estimacin de la varianza de los estimadores mediante el mtodo Jackknife se presentan en la seccin 5.5.
61
Despus de la calibracin de los parmetros de los tems, se verific grficamente que los parmetros obtenidos reprodujeran de forma adecuada la distribucin de las respuestas de los evaluados en los diferentes niveles de habilidad. Este ajuste se evalu comparando la curva caracterstica (CCI)12 de cada tem con la curva emprica dada por las proporciones empricas de respuestas acertadas, en 31 intervalos de las habilidades estimadas para cada evaluado. Si las dos curvas son cercanas entre s, el modelo de respuesta al tem muestra un buen ajuste (Foy et al., 2008). Ntese que las estadsticas de ajuste de los modelos de respuesta al tem son, en general, resultado de la comparacin entre la curva emprica correspondiente a la clave y la curva caracterstica del tem obtenida a partir de los parmetros estimados para cada tem; estas estadsticas siguen, aproximadamente, distribuciones ji-cuadrado con grados de libertad dependientes del nmero de intervalos en que se agrupe la habilidad. El valor de las estadsticas no se presenta puesto que para los tamaos de muestra de SABER 5o. y 9o. 2009 hasta las desviaciones ms pequeas al modelo son, en cualquier caso, detectadas por estas pruebas para valores convencionales de significacin estadstica (Stone, 2003). La figura 5.1 muestra un ejemplo de la CCI para un tem de ciencias en quinto grado, estas curvas, as como las curvas empricas por distractor, tambin fueron obtenidas como parte de las estadsticas de los tems como se presenta en la seccin 4.1 del captulo 4 y ejemplos de estas tambin se encuentran en la seccin 4.3 del mismo.
Figura 5.1 Ejemplo de curva caracterstica del tem
CIENCIAS Grado 5
1.0 Probabilidad 0.8 0.6 0.4 0.2 0.0 -2 -1 01 a = 0.77248 b = -0.6236
-2
q
Elaboracin: Direccin de Evaluacin, ICFES
12
La CCI es la grfica de la funcin del modelo de respuesta al tem empleado, variando valores estimados para el tem.
q y fijando ai y bi en los
62
INFORMES
5.2.2 Condicionamiento
Para cada estudiante se define una funcin de distribucin, como lo indica la ecuacin 5, de acuerdo con las respuestas del estudiante, el bloque de preguntas que le haya correspondido en su prueba y las caractersticas socioeconmicas. A partir de esta distribucin se extraen los valores plausibles. Los puntajes derivados de la metodologa de valores plausibles se obtuvieron empleando el programa DESI (ETS, 2009) y definiendo: Los parmetros de dificultad y discriminacin obtenidos en la calibracin correspondiente al grado y al rea. Produccin de 5 valores plausibles por rea y por cada componente y competencia correspondiente. Condicionamiento por variables socioeconmicas.
Las variables empleadas para el condicionamiento en el modelo descrito fueron: Clasificacin por zona (rural/urbano) y naturaleza (pblico/privado) del establecimiento educativo al que pertenece el evaluado. Clasificacin por sexo del evaluado. ndice socioeconmico calculado a partir de las respuestas del evaluado al cuestionario sociodemogrfico. Puntaje promedio de los alumnos de la sede-jornada en el rea correspondiente proveniente de la estimacin de habilidad producida por el paquete Bilog-MG. En el caso de la clasificacin por zona del establecimiento educativo, cuando un establecimiento administra sedes rurales y urbanas, se emple como zona aquella donde se presentaba la mayor cantidad de estudiantes. El ndice socioeconmico se calcul a partir de las respuestas dadas por los estudiantes a las preguntas del cuestionario socioeconmico y utilizando las ponderaciones que muestra la tabla 5.1, las cuales corresponden a las ponderaciones de estas preguntas en el ndice de calidad de vida (Pieros, L. J., comunicacin personal, Noviembre, 2009). Por su parte, el puntaje promedio a nivel de sede jornada fue incluido entre las variables de condicionamiento de forma que el modelo presentado en esta seccin incorporara informacin de la estructura relacionada con las agrupaciones de las jornadas en sedes y de estas en establecimientos educativos.
63
Parmetro socioeconmico
Caracterstica Madera pulida, alfombra, tapete, mrmol Baldosa, tableta, ladrillo o vinilo Tabla, tabln o madera burda Cemento o gravilla Tierra o arena Menor o igual que 0,1 Mayor que 0,1 y menor o igual que 0,2 Mayor que 0,2 y menor o igual que 0,3 Mayor que 0,3 y menor o igual que 0,4 Mayor que 0,4 y menor o igual que 0,5 Mayor que 0,5 y menor o igual que 0,6 Mayor que 0,6 y menor o igual que 0,7 Mayor que 0,7 y menor o igual que 0,8 Mayor que 0,8 y menor o igual que 0,9 Mayor que 0,9 y menor o igual que 1 Mayor a 1 y menor o igual que 1,2 Mayor que 1,2 y menor o igual a 1,3 Mayor que 1,3 y menor o igual que 1,4 Mayor que 1,4 y menor o igual que 1,5 Mayor que 1,5 y menor o igual que 1,6 Mayor que 1,6 y menor o igual que 1,7 Mayor que 1,7 y menor o igual que 1,8 Mayor que 1,8 y menor o igual que 1,9 Mayor que 1,9 y menor o igual que 1,9 Mayor que 1,9 y menor o igual que 2 Mayor que 2 No tiene servicio sanitario Letrina Inodoro sin conexin Inodoro conectado a pozo sptico Inodoro conectado a alcantarillado, no exclusivo de la familia Inodoro conectado a alcantarillado, exclusivo de la familia
Peso para el ndice 8,0950 5,6395 4,2528 2,5225 0,0000 0,0000 3,3103 3,5408 3,9957 4,6330 5,2813 5,6022 6,7269 6,7337 6,7337 7,8060 7,8060 7,8060 7,8060 7,8060 7,8457 7,8457 7,8457 7,8457 7,8457 8,0686 0,0000 0,7832 0,8596 2,1803 2,9181 5,8473
Servicio sanitario
64
INFORMES
Parmetro socioeconmico Sin educacin Primaria incompleta Primaria completa Educacin del padre Media incompleta Media completa Superior incompleta Superior completa Postgrado Sin educacin Primaria incompleta Primaria completa Educacin de la madre Media incompleta Media completa Superior incompleta Superior completa Postgrado
Elaboracin: Direccin de Evaluacin, ICFES
Caracterstica
Peso para el ndice 0,0000 0,9837 2,0101 2,3299 3,5012 3,7934 4,8725 6,0695 0,0000 1,0122 1,9710 2,7747 4,1592 5,0772 6,0099 6,0099
(8)
Estas constantes se usarn para el reporte de los resultados en prximas ediciones de las pruebas SABER 5o. y 9o., as como para la realizada en el estudio de equiparacin de resultados histricos.
65
Grado
Quinto
rea
Ciencias naturales Lenguaje Matemticas Ciencias naturales
M
76,5806195 77,6548247 75,794025 80,1448589 80,8045757 80,6376679
S
288,907443 290,365 281,916493 289,982145 292,848609 288,95652
Noveno
Elaboracin: Direccin de Evaluacin, ICFES
Lenguaje Matemticas
Para los clculos de fortalezas y debilidades de componentes y competencias no se emplearon valores plausibles, puesto que el modelo para estimar los parmetros b y s 2 y la matriz de varianzas y covarianzas para el modelo multidimensional de los componentes (y de las competencias) de cada grado y rea no lograron convergencia de las estimaciones. Esto implica que las fortalezas y debilidades se han calculado para cada componente y competencia de forma independiente de las otras componentes o competencias del rea. Para obtener las estimaciones de habilidad mediante el modelo logstico de dos parmetros, se utilizaron los parmetros de los tems calibrados para la prueba completa.
14
66
INFORMES
El valor del residuo estandarizado para considerar que el componente o competencia constituye una fortaleza (un resultado relativamente mayor en la misma respecto a los establecimientos con el mismo resultado en el rea) o una debilidad parti de la distribucin emprica de los residuales de todos los componentes y competencias. La figura 5.2 presenta la distribucin de los residuales a partir de la cual se definieron como puntos de corte los valores 0,1 y 0,8. Adicionalmente, para la presentacin grfica de las fortalezas y debilidades los valores se truncaron en 0,15. De este modo, valores residuales estandarizados en un componente o competencia entre -1,5 y -0,8 indican que en promedio los estudiantes del establecimiento presentan una debilidad en la misma, en comparacin con los estudiantes de establecimientos con resultados similares en el rea.
Figura 5.2 Distribucin y puntos de corte de los residuales estandarizados de componentes y competencias
Residuales estandarizados
Elaboracin: Direccin de Evaluacin, ICFES
67
En este sentido, para establecer los puntos de corte existen muchos procedimientos (Livingston & Zieky, 1982). En el caso particular de SABER 5o. y 9o. 2009 se utiliz un esquema de clasificacin objetivo basado en el juicio sobre los tems, conocido como el mtodo de Angoff, con la modificacin de Taube, para la determinacin de los puntos de corte. A continuacin, se describe el procedimiento completo llevado a cabo.
2 4 2
1 4 1 1 1 5 1
2 4 2
1 4 1 1 1 5 1
2 10
4 12
5 11
2 10
4 11
5 12
68
INFORMES
5.4.2 Discusin
Antes de iniciar los juicios de los expertos sobre los tems, se realizaron sesiones en las que se revisaron los Estndares Bsicos de Competencias del rea y grado correspondiente y los lineamientos generales SABER 2009, con el objetivo de contextualizar sobre el propsito y la naturaleza de la evaluacin. Adicionalmente, los jueces tuvieron una induccin bsica sobre Teora de Respuesta al tem (TRI). Posteriormente, en grupos separados para cada rea y grado, cada uno de los jueces recibi la informacin de las pruebas, la cual incluy los tems evaluados y sus caractersticas, tanto estadsticas como conceptuales (componente, competencia, evidencia, afirmacin y tarea). A partir de esta informacin, los jueces discutieron sobre las tareas que deben saber y saber hacer los estudiantes en el nivel de desempeo mnimo, satisfactorio y avanzado, segn los objetivos de aprendizaje establecidos en la evaluacin, consignados en los Lineamientos de evaluacin de SABER 5o. y 9o. 2009 (Pedraza, Castillo, Ortiz, Toro, Castelblanco & Fernandes, 2009). De esta manera, se establecieron los descriptores de cada uno de los niveles de desempeo, para cada una de las reas y grados de manera independiente (vase anexo 4). En el cuadro 5.1 se presenta la descripcin genrica para cada uno de los niveles establecidos, la cual aplica para todas las reas y grados.
Cuadro 5.1. Descripcin general de los niveles de desempeo
muestra un desempeo sobresaliente en las competencias esperadas para el rea y grado evaluado. tiene un desempeo adecuado en las competencias exigibles para el rea y grado evaluado. Este es el nivel esperado que todos, o la gran mayora de los estudiantes, deberan alcanzar. muestra un desempeo mnimo en las competencias exigibles para el rea y grado evaluado. no demuestra los desempeos mnimos establecidos.
Una vez definidos los descriptores para cada nivel de desempeo, los cuales corresponden a una descripcin detallada de las exigencias conceptuales y cognitivas requeridas para responder preguntas de distinta complejidad, se llev a cabo la discusin sugerida bajo el mtodo de Angoff. En esta, a cada juez se le asigna la tarea de que para cada uno de los niveles de desempeo definidos piense en las caractersticas, capacidades, logros, etc., de los cuales es capaz un evaluado que se encuentre en el lmite de llegar al nivel de desempeo y no alcanzarlo.
69
Dadas estas caractersticas, para cada uno de los tems que conforman la prueba, el juez debe responder a la pregunta Cul es la cantidad de individuos, entre 100 evaluados en ese grado de habilidad, que podr responder correctamente al tem? Esta cantidad constituye una estimacin del juez de la probabilidad de que un evaluado que se encuentra en el lmite de llegar al nivel de desempeo pueda responder correctamente al tem. Estos juicios de los expertos se recogen en sesiones de discusin en las cuales cada experto realiza un juicio preliminar sobra cada tem, anuncia su seleccin para el tem, se comentan las razones por las cuales el juez eligi tal probabilidad, se da espacio para que cada juez reafirme o modifique su juicio preliminar y se registran los juicios definitivos de cada experto (Livingston & Zieky, 1982). Para cada rea se realizaron dos sesiones de discusin durante una semana. La diferencia entre la primera y la segunda ronda o sesin de discusin fue que en la primera, los jueces asignaron la proporcin de los estudiantes en cada nivel basados solamente en su conocimiento sobre los tems de la prueba, mientras que en la segunda, lo hicieron considerando adems los estadsticos de los tems, especficamente la dificultad de cada uno.
70
INFORMES
Finalmente, es importante mencionar que los niveles de desempeo de SABER 5o. y 9o. 2009 tienen tres caractersticas: son globales, pues se encuentran definidos para la prueba total y no para competencias y componentes especficos; son jerrquicos, porque tienen complejidad creciente; por tanto, el nivel avanzado es ms complejo que el satisfactorio y, a su vez, este ltimo es ms complejo que el mnimo e inclusivos, ya que para ubicarse en un nivel determinado es necesario superar los niveles precedentes.
(9)
Donde: es el conjunto de estudiantes evaluados en el nivel de agregacin. es el factor de expansin del evaluado . es el valor plausible del evaluado .
(10)
71
Donde n es el nmero de evaluados en el nivel de agregacin y los dems trminos son iguales a los definidos para el promedio. Finalmente, el porcentaje de estudiantes en el nivel de desempeo P para un valor plausible en un nivel de agregacin se calcul como
(11)
Donde: La funcin IP (xi ) es igual a 1 cuando el puntaje xi del estudiante i se encuentra entre los lmites correspondientes al nivel de desempeo P, y es igual a 0 en otro caso. Teniendo en cuenta que los valores plausibles permiten recuperar apropiadamente estimaciones de estadsticas poblacionales agregadas, y que no son apropiadas para estimaciones individuales (von Davier et al., 2009), a nivel de establecimiento educativo y de sede jornada, donde la interpretacin de los porcentajes por nivel de desempeo tiende a tener una interpretacin individual, se utiliz solamente un valor plausible. En particular, para estos niveles de agregacin se emple el valor plausible correspondiente a la mediana para cada estudiante del establecimiento educativo o de la sede-jornada en los clculos de los conteos de estudiantes por nivel de desempeo; por su parte, para las agregaciones a nivel de municipio, entidad certificada y departamento se emplearon los cinco valores plausibles, como se describi anteriormente. Finalmente, en los reportes a partir de los resultados muestrales, y teniendo en cuenta que la informacin recolectada proviene de una muestra probabilstica, es posible abordar los interrogantes acerca de la precisin y bondad de las estimaciones que se obtienen a partir de los datos de la muestra. El proceso de estimar este error se conoce como estimacin de la varianza del estimador. Para SABER 5o. y 9o. 2009, se emple el mtodo de re-muestreo conocido como Jackknife (Wolter, 2007).
72
INFORMES
Segn este mtodo, cada una de estas re-muestras se conoce como una rplica y para el caso de SABER 5o. y 9o. 2009, las rplicas consideran la exclusin de un establecimiento. Para cada rplica, se recalculan los pesos a fin de ajustar la contribucin de las distintas unidades, se obtienen los resultados y se calcula la varianza de los resultados para las distintas composiciones de la muestra. A manera de ejemplo, en una rplica particular se toma un establecimiento seleccionado en muestra y se excluye su informacin para el clculo de la estimacin; para los dems establecimientos en el mismo estrato muestral, se recalculan los pesos de la primera etapa al considerar que es una nueva muestra de tamao (nh 1). El nmero total de rplicas consideradas para la estimacin de la varianza del estimador es igual al nmero de establecimientos en muestra. Si se denomina qj a cada una de las estimaciones con las rplicas y q a la estimacin con la muestra completa, la estimacin de la varianza del estimador queda expresada como
(12)
Este tipo de estimadores de la varianza dan una gran flexibilidad al momento de emplear diferentes tipos de estimadores (promedios, percentiles, porcentajes), ya que el esquema planteado sirve para cualquier estimador de inters. En el captulo 4 se present cmo esta estimacin de la varianza de las estimaciones se combina con los valores plausibles en los casos en que aplica.
73
Bibliografa
Educational Testing Service (2009). DESI. Direct Estimation Software Interactive. [Manual y software de cmputo]. Princeton, NJ: ETS. Foy, P ., Galia, J. & Li, I. (2008). Scaling the Data from the TIMSS 2007 Mathematics and Science Assessments. En: J. Olson, M. Martin & I. Mullis. Eds. (2008). TIMSS 2007 Technical Report. TIMSS & PIRLS Internacional Study Center, Lynch School of Education, Chestnut Hill, MA: Boston College. Hambleton, R.K., Swaminathan, H. & Rogers, J.H. (1991). Fundamentals of item response theory. Sage: Newbury Park, CA, USA. Livingston, S.A. & Zieky, M.J. (1982). Passing scores: A manual for setting standards of performance on educational and occupational tests. Princeton, NJ: Educational Testing Service. Lord, F. (1950). A theory of test scores. Psychometric Monographs No 7. Lord, F. & Novick, M. (1968). Statistical theories of mental test scores. Reading, MA: Addison-Wesley. Martnez, R. (2005). Psicometra: teora de los tests psicolgicos y educativos. Sntesis: Madrid. Ministerio de Educacin Nacional [MEN] (2006). Documento No. 3. Estndares Bsicos de Competencias en lenguaje, matemticas, ciencias y ciudadanas. Lo que los estudiantes deben saber y saber hacer con lo que aprenden. Bogot. Mislevy, R.J. (1991). Randomization-based inference about latent variables from complex samples. Psychometrika, 56, 177196. Mislevy, R.J., Beaton, A.E., Kaplan, B. & Sheehan, K.M. (1992). Estimating population characteristics from sparse matrix samples of item responses. Journal of Educational Measurement, 20(2), 133-161. Organizacin para la Cooperacin y Desarrollo Econmicos. (2009). PISA 2006. Technical Report. Paris: OECD.
74
INFORMES
Pedraza, F. P ., Castillo, M. J., Ortiz, E. F., Toro, L. J., Castelblanco, Y. B. & Fernandes, M. I. (2009). Lineamientos generales SABER 2009 grados 5o. y 9o. Bogot, Colombia: ICFES. Recuperado de: http://www.icfes.gov.co/saber59/ Rubin, D. B. (1987). Multiple imputation for nonresponse in surveys. New York: Wiley. Stone, C. A. & Zhang, B. (2003). Assessing goodness of fit of Item Response Theory Models: A comparison of traditional and alternative procedures, Journal of Educational Measurement, 40(4)), pp 331-352. Taube, K.T. (1997). The incorporation of empirical item difficulty data in the Angoff standardsetting procedure. Evaluation and the Health Professions, 20, 479-498. van der Linden, W. J. (1982) (Ed.). Aspects of criterion-referenced measurement [Nmero especial]. Evaluation in Education: An International Review Series, 5(2). von Davier, M., Gonzalez, E. & Mislevy, R.J. (2009). What are plausible values and why are they useful?. IERI Monograph series: Issues and methodologies in large-scale assessment, 2, 9-36. Wolter K. (2007). Introduction to variance estimation. New York: Springer. Zimowski, M.F., Muraki, E., Mislevy, R.J. & Bock, R.D. (2003). Bilog-MG 3. [Manual y software de cmputo]. Chicago, IL: Scientific Software Internacional, Inc.
75
Anexos
76
INFORMES
77
Componente Numricovariacional
Afirmacin: El estudiante...
1. Reconoce significados del nmero en diferentes contextos (medicin, conteo, comparacin, codificacin, localizacin, entre otros). 2. Reconoce diferentes representaciones de un mismo nmero. 3. Describe e interpreta propiedades y relaciones de los nmeros y sus operaciones. 4. Traduce relaciones numricas expresadas grfica y simblicamente. 1. Diferencia atributos mensurables de los objetos y eventos en diferentes situaciones. 2. Selecciona unidades tanto estandarizadas como no convencionales apropiadas para diferentes mediciones. 3. Utiliza sistemas de coordenadas para especificar localizaciones. 1. Clasifica y organiza la presentacin de datos. 2. Interpreta cualitativamente datos relativos a situaciones del entorno escolar. 3. Representa un conjunto de datos e interpreta representaciones grficas de un conjunto de datos. 4. Hace traducciones entre diferentes representaciones. 5. Expresa el grado de probabilidad de un suceso.
Geomtricomtrico
Aleatorio
Componente 1. 2. 3. 4. 5.
Afirmacin: El estudiante...
Numricovariacional
Reconoce patrones numricos. Justifica propiedades y relaciones numricas usando ejemplos y contraejemplos. Reconoce y genera equivalencias entre expresiones numricas. Analiza relaciones de dependencia en diferentes situaciones. Justifica el valor posicional en el sistema de numeracin decimal en relacin con el conteo recurrente de unidades.
Geomtricomtrico
1. Compara y clasifica objetos tridimensionales y figuras bidimensionales de acuerdo con sus componentes. 2. Reconoce nociones de paralelismo y perpendicularidad en distintos contextos. 3. Hace conjeturas y verifica los resultados de aplicar transformaciones a figuras en el plano. 4. Describe y argumenta relaciones entre permetro y rea de diferentes figuras, cuando se fija una de estas medidas. 5. Representa objetos tridimensionales a partir de representaciones bidimensionales. 6. Construye y descompone figuras planas y slidos a partir de condiciones dadas. 7. Identifica y justifica relaciones de semejanza y congruencia entre figuras.
78
INFORMES
Componente Aleatorio
Afirmacin: El estudiante...
1. Compara datos presentados en diferentes representaciones. 2. Hace arreglos condicionados o no condicionados. 3. Hace conjeturas acerca de la posibilidad de ocurrencia de eventos.
Componente
Afirmacin: El estudiante...
Numricovariacional
1. Resuelve y formula problemas aditivos de transformacin, comparacin, combinacin e igualacin. 2. Resuelve y formula problemas multiplicativos: de adicin repetida, factor multiplicante, razn y producto cartesiano. 3. Resuelve y formula problemas de proporcionalidad directa e inversa. 4. Resuelve y formula problemas que requieren el uso de la fraccin como parte de un todo, como cociente y como razn. 1. Utiliza diferentes procedimientos de clculo para hallar la medida de superficies y volmenes. 2. Reconoce el uso de las magnitudes y de las dimensiones de las unidades respectivas en situaciones aditivas y multiplicativas. 3. Utiliza relaciones y propiedades geomtricas para resolver problemas de medicin. 4. Usa y construye modelos geomtricos para solucionar problemas. 1. Resuelve problemas que requieren representar datos relativos al entorno usando una o diferentes representaciones. 2. Resuelve problemas que requieren encontrar y/o dar significado al promedio de un conjunto de datos. 3. Resuelve situaciones que requieren calcular la posibilidad o imposibilidad de ocurrencia de eventos.
Geomtricomtrico
Aleatorio
79
Componente
Afirmacin: El estudiante...
Numricovariacional
1. Identifica caractersticas de grficas cartesianas en relacin con la situacin que representan. 2. Identifica expresiones numricas y algebraicas equivalentes. 3. Establece relaciones entre propiedades de las grficas y propiedades de las ecuaciones algebraicas. 4. Reconoce el lenguaje algebraico como forma de representar procesos inductivos. 5. Describe y representa situaciones de variacin relacionando diferentes representaciones. 1. Representa y reconoce objetos tridimensionales desde diferentes posiciones y vistas. 2. Identifica caractersticas de localizacin de objetos en sistemas de representacin cartesiana y geogrfica. 3. Reconoce y aplica transformaciones de figuras planas. 4. Identifica relaciones entre distintas unidades utilizadas para medir cantidades de la misma magnitud. 5. Diferencia atributos mensurables de diversos objetos. 1. Interpreta y utiliza conceptos de media, mediana y moda y explicita sus diferencias en distribuciones diferentes. 2. Compara, usa e interpreta datos que provienen de situaciones reales y traduce entre diferentes representaciones de un conjunto de datos. 3. Reconoce la posibilidad o la imposibilidad de ocurrencia de un evento a partir de una informacin dada o de un fenmeno. 4. Reconoce relaciones entre un conjunto de datos y sus representaciones.
Geomtricomtrico
Aleatorio
80
INFORMES
Componente 1. 2. 3. 4.
Afirmacin: El estudiante...
Numricovariacional
Reconoce patrones en secuencias numricas. Interpreta y usa expresiones algebraicas equivalentes. Interpreta tendencias que se presentan en un conjunto de variables relacionadas. Usa representaciones y procedimientos en situaciones de proporcionalidad directa e inversa. 5. Reconoce el uso de propiedades y relaciones de los nmeros reales. 6. Desarrolla procesos inductivos, deductivos desde el lenguaje algebraico para verificar conjeturas acerca de los nmeros reales. 1. Construye argumentaciones formales y no formales sobre propiedades y relaciones de figuras planas. 2. Hace conjeturas y verifica propiedades de congruencias y semejanza entre figuras bidimensionales. 3. Generaliza procedimientos de clculo para encontrar el rea de figuras planas y el volumen de algunos slidos. 4. Utiliza tcnicas y herramientas para la construccin de figuras planas y cuerpos con medidas dadas. 5. Predice y compara los resultados de aplicar transformaciones rgidas (rotacin, traslacin y reflexin) y homotecias (ampliaciones y reducciones) sobre figuras bidimensionales en situaciones matemticas y en el arte. 1. Hace conjeturas acerca de los resultados de un experimento aleatorio usando proporcionalidad. 2. Predice y justifica razonamientos y conclusiones usando informacin estadstica. 3. Calcula la probabilidad de eventos simples usando mtodos diversos. 4. Usa modelos para discutir la posibilidad de ocurrencia de un evento. 5. Fundamenta conclusiones utilizando conceptos de medidas de tendencia central.
Geomtricomtrico
Aleatorio
81
Componente Numricovariacional
Afirmacin: El estudiante...
1. Resuelve problemas en situaciones aditivas y multiplicativas. 2. Resuelve problemas que involucran potenciacin, radicacin y logaritmacin. 3. Resuelve problemas en situaciones de variacin y modela situaciones de variacin con funciones polinmicas y exponenciales en contextos aritmticos y geomtricos. 1. Resuelve problemas de medicin utilizando de manera pertinente instrumentos y unidades de medida. 2. Resuelve y formula problemas usando modelos geomtricos. 3. Establece y utiliza diferentes procedimientos de clculo para hallar medidas de superficies y volmenes. 4. Resuelve y formula problemas que requieran tcnicas de estimacin. 1. Usa e interpreta medidas de tendencia central para analizar el comportamiento de un conjunto de datos. 2. Resuelve y formula problemas a partir de un conjunto de datos presentado en tablas, diagramas de barras y diagrama circular. 3. Hace inferencias a partir de un conjunto de datos. 4. Plantea y resuelve situaciones relativas a otras ciencias utilizando conceptos de probabilidad.
Geomtricomtrico
Aleatorio
Estndar: comprendo diversos tipos de textos, utilizando algunas estrategias de bsqueda, organizacin y almacenamiento de la informacin. Se consideran los siguientes tipos de textos: descriptivos, informativos (noticias, anuncios, propagandas o afiches), narrativos (cuentos, leyendas, mitos y fbulas), historietas, textos explicativos y argumentativos. Componente
Afirmacin: El estudiante...
Semntico
1. Recupera informacin explcita de partes del contenido del texto (lectura literal). 2. Recupera informacin implcita sobre el contenido del texto (lectura inferencial). 3. Evala informacin explcita o implcita sobre el contenido del texto y moviliza informacin (saber previo o del texto hacia otros textos) para explicitar o ampliar contenidos del texto (lectura crtica).
15
Las siguientes tablas presentan las afirmaciones por competencia por cada uno de los componentes evaluados en lenguaje para los ciclos 1o. a 5o. y 6o. a 9o.
82
INFORMES
Componente
Afirmacin: El estudiante...
Sintctico
1. Reconoce estrategias explcitas de organizacin, tejido y componentes de los textos (lectura literal). 2. Reconoce informacin implcita sobre la organizacin, tejido y componentes de los textos (lectura inferencial). 3. Evala estrategias explcitas o implcitas de organizacin, tejido y componentes de los textos (lectura crtica). 1. Reconoce informacin explcita sobre la situacin de comunicacin (lectura literal). 2. Reconoce elementos implcitos de la situacin comunicativa (lectura inferencial). 3. Evala elementos explcitos o implcitos de la situacin comunicativa (lectura crtica).
Pragmtico
Estndar: produzco textos escritos que responden a diversas necesidades comunicativas y que siguen un procedimiento estratgico para su elaboracin. Componente 1. 2. 3. 4. 5. 6.
Afirmacin: El estudiante...
Semntico
Establece posibles lneas de desarrollo del tema (planeacin). Identifica el tpico sobre el cual debe escribir (planeacin). Identifica el tema sobre el cual debe escribir (planeacin). Selecciona las ideas que permiten el desarrollo de un tpico (textualizacin). Identifica las ideas que no pertenecen al tpico propuesto (textualizacin). Selecciona las ideas que deben continuar un escrito para mantener el tpico (textualizacin). 7. Selecciona el contenido en el que puede estar una idea determinada (textualizacin). 8. Anticipa preguntas que le permiten visualizar el cierre de un texto (textualizacin). 9. Selecciona los mecanismos que aseguran la progresin temtica de un escrito (textualizacin). 10. Utiliza las palabras adecuadas (textualizacin). 11. Evita la repeticin (textualizacin). 12. Adeca el tpico a la situacin de comunicacin (textualizacin). 13. Adeca el lxico a la situacin de comunicacin (textualizacin). 14. Identifica omisiones, repeticiones innecesarias, informacin poco clara o que definitivamente sobra (revisin). 15. Evala qu tan cerca est el escrito del punto focal del tpico planteado en la situacin (revisin). 16. Suprime lo que no es apropiado al contenido (revisin).
83
Componente 1. 2. 3. 4. 5. 6. Sintctico
Afirmacin: El estudiante...
Identifica el tipo de texto que debe escribir (planeacin). Identifica la estructura que debe tener el texto (planeacin). Identifica la forma que debe tener el texto (planeacin). Identifica la manera como debe organizar la informacin (planeacin). Organiza y distribuye la informacin para dar coherencia al escrito (textualizacin). Identifica los mecanismos de cohesin que permiten ligar proposiciones en un enunciado (textualizacin). 7. Reacomoda la informacin o algunas partes de la misma para que el significado sea ms claro o ms pertinente (revisin). 8. Evala la pertinencia del tipo de texto respecto a la situacin de comunicacin (revisin). 9. Evala y corrige los signos de puntuacin (revisin). 10. Descubre y corrige errores de ortografa (revisin). 1. Identifica el propsito que debe cumplir un texto (planeacin). 2. Identifica el rol de su interlocutor (planeacin). 3. Identifica el rol que debe asumir como enunciador (planeacin). 4. Usa estrategias textuales y discursivas pertinentes (textualizacin). 5. Usa las palabras o actos de habla que son pertinentes al propsito de comunicacin (textualizacin). 6. Utiliza formas de expresin adecuadas a su interlocutor (textualizacin). 7. Adeca la informacin a la situacin de comunicacin o al propsito comunicativo (revisin). 8. Evala la pertinencia de lo dicho segn el contexto (revisin).
Pragmtico
Estndar: comprendo e interpreto textos, teniendo en cuenta el funcionamiento de la lengua en situaciones de comunicacin, el uso de estrategias de lectura y el papel del interlocutor y del contexto. Se consideran los siguientes tipos de textos: narrativos, lricos, informativos, explicativos y argumentativos. Los textos sobre o de literatura se ubican en el contexto latinoamericano. nfasis en la tradicin oral latinoamericana.
84
INFORMES
Componente Semntico
Afirmacin: El estudiante...
1. Da cuenta de informacin explcita en textos narrativos, expositivos y argumentativos (lectura literal). 2. Recupera informacin implcita sobre el contenido textual (lectura inferencial). 3. Valora informacin implcita o explcita de los textos (lectura crtica). 1. Reconoce estrategias explcitas de organizacin, tejido y componentes de los textos (lectura literal). 2. Deduce y da cuenta de estrategias implcitas de organizacin, tejido y componentes de los textos (lectura inferencial). 3. Valora estrategias explcitas o implcitas de organizacin, tejido y componentes de los textos (lectura crtica). 1. Reconoce informacin explcita sobre la situacin de comunicacin (lectura literal). 2. Deduce e infiere informacin sobre la situacin de comunicacin (lectura inferencial). 3. Evala elementos explcitos o implcitos de la situacin comunicativa (lectura crtica).
Sintctico
Pragmtico
Estndar: produzco textos escritos que evidencian el conocimiento que he alcanzado acerca del funcionamiento de la lengua en situaciones de comunicacin y el uso de las estrategias de produccin textual. Componente
Afirmacin: El estudiante...
Semntico
1. Busca informacin adecuada al tema propuesto (planeacin). 2. Elige un tema para producir un texto escrito teniendo en cuenta un propsito, las caractersticas del interlocutor y las exigencias del contexto (planeacin). 3. Produce la primera versin de un texto informativo, atendiendo a requerimientos de contenido y tpico (textualizacin). 4. Produce textos descriptivos, atendiendo a requerimientos de contenido y tpico (textualizacin). 5. Revisa, socializa y corrige sus escritos, teniendo en cuenta las propuestas de los compaeros y el profesor, y atendiendo algunos aspectos de orden semntico y de contenido (revisin).
85
Componente 1. 2. 3. 4. 5.
Afirmacin: El estudiante...
Sintctico
Elige el tipo de texto que requiere su propsito comunicativo (planeacin). Elabora un plan para organizar sus ideas (planeacin). Disea un plan para elaborar un texto informativo (planeacin). Desarrolla un plan textual para la produccin de un texto descriptivo (planeacin). Elabora la primera versin de un texto informativo siguiendo los requisitos formales y conceptuales de la produccin escrita en lengua castellana, con nfasis en algunos aspectos gramaticales (concordancia, tiempos verbales, nombres, pronombres, entre otros) y ortogrficos (textualizacin). 6. Revisa, socializa y corrige sus escritos, teniendo en cuenta las propuestas de los compaeros y el profesor, y atendiendo algunos aspectos gramaticales (concordancia, tiempos verbales, pronombres) y ortogrficos (acentuacin, maysculas, signos de puntuacin) de la lengua castellana (revisin). 1. Determina el posible lector de su texto y el propsito comunicativo que lo lleva a producirlo (planeacin). 2. Identifica las fuentes que debe consultar y el medio para hacerlo (planeacin). 3. Elabora la versin de un texto informativo siguiendo los requisitos formales y conceptuales de la produccin escrita en lengua castellana, con nfasis en los aspectos relacionados con la enunciacin, situacin de comunicacin, propsitos y finalidades (textualizacin). 4. Revisa, socializa y corrige sus escritos, teniendo en cuenta las propuestas de los compaeros y el profesor, y atendiendo algunos aspectos relacionados con la enunciacin, la situacin de comunicacin, propsitos y finalidades (revisin).
Pragmtico
Estndar Identifico estructuras de los seres vivos que les permiten desarrollarse en un entorno y que puedo utilizar como criterios de clasificacin.
Componente
Afirmacin: El estudiante...
Entorno vivo
1. Analiza algunas diferencias y semejanzas de las caractersticas de los seres vivos. 2. Comprende que los seres vivos atraviesan diferentes etapas durante su ciclo de vida. 3. Comprende que existen relaciones entre los seres vivos y las condiciones y los elementos en un ecosistema.
86
INFORMES
Estndar
Componente
Afirmacin: El estudiante...
Me ubico en el universo y en la Tierra e identifico caractersticas de la materia, fenmenos fsicos y manifestaciones de la energa en el entorno.
Entorno fsico
1. Comprende que existe una gran diversidad de materiales que se pueden diferenciar a partir de sus propiedades. 2. Comprende que existen diversas fuentes y formas de energa y que sta se transforma continuamente. 3. Comprende la estructura bsica y el funcionamiento de los circuitos elctricos. 4. Reconoce los principales elementos y caractersticas de la Tierra y del espacio. 5. Comprende el funcionamiento de algunas mquinas simples y la relacin fuerza / movimiento. 1. Reconoce diferentes materiales describiendo sus usos y propiedades. 2. Comprende la diferencia entre diversos tipos de aparatos elctricos y mecnicos. 3. Reconoce los efectos de la contaminacin atmosfrica en el clima y los cambios terrestres. 4. Reconoce la utilidad de algunos objetos y tcnicas desarrolladas por el ser humano para mantener la salud, y reconoce que somos agentes de cambio en el entorno y en la sociedad.
Identifico transformaciones en mi entorno a partir de la aplicacin de algunos principios fsicos, qumicos y biolgicos que permiten el desarrollo de tecnologas.
Estndar Identifico estructuras de los seres vivos que les permiten desarrollarse en un entorno y que puedo utilizar como criterios de clasificacin.
Componente
Afirmacin: El estudiante...
Entorno vivo
1. Comprende que los seres vivos dependen del funcionamiento e interaccin de sus partes. 2. Analiza la importancia de cada etapa en el desarrollo del ser vivo. 3. Comprende que los organismos dependen de las relaciones que establecen entre s y con el entorno. 1. Comprende que existe una gran diversidad de materiales que se pueden diferenciar a partir de sus propiedades. 2. Explica la estructura bsica y el funcionamiento de los circuitos elctricos. 3. Comprende que existen diversas fuentes y formas de energa y que esta se transforma continuamente. 4. Comprende y describe la ubicacin de la Tierra y los dems cuerpos celestes en el espacio. 5. Comprende el funcionamiento de algunas mquinas simples y la relacin fuerza/movimiento.
Me ubico en el universo y en la Tierra e identifico caractersticas de la materia, fenmenos fsicos y manifestaciones de la energa en el entorno.
Entorno fsico
87
Estndar
Componente
Afirmacin: El estudiante...
Identifico transformaciones en mi entorno a partir de la aplicacin de algunos principios fsicos, qumicos y biolgicos que permiten el desarrollo de tecnologas.
1. Comprende que existe una diversidad de materiales que se diferencian por su uso y sus propiedades. 2. Comprende la utilidad y/o necesidad de los aparatos elctricos y mecnicos. 3. Comprende los efectos de la contaminacin atmosfrica en las transformaciones de la Tierra y el desarrollo tecnolgico. 4. Valora y comprende la utilidad de algunos objetos y tcnicas desarrolladas por el ser humano que permiten mantener la salud y reconoce cmo podemos ser agentes de cambio en el entorno y en la sociedad.
Estndar
Componente
Afirmacin: El estudiante...
Entorno vivo Me aproximo al conocimiento como cientfico (a) natural. Entorno fsico
1. Comprende que a partir de la investigacin cientfica se construyen explicaciones sobre el mundo natural. 2. Utiliza algunas habilidades de pensamiento y de procedimiento para evaluar predicciones. 3. Observa y relaciona patrones en los datos para evaluar las predicciones. 4. Elabora y propone explicaciones para algunos fenmenos de la naturaleza basados en conocimientos cientficos y de la evidencia de su propia investigacin y de la de otros.
Estndar Explico la variabilidad en las poblaciones y la diversidad biolgica como consecuencia de estrategias de reproduccin, cambios genticos y seleccin natural.
Componente
Afirmacin: El estudiante...
Entorno vivo
1. Analiza el funcionamiento de los seres vivos en trminos de sus estructuras y procesos. 2. Comprende la funcin de la reproduccin en la conservacin de las especies y los mecanismos a travs de los cuales se heredan algunas caractersticas y se modifican otras. 3. Comprende que en un ecosistema las poblaciones interactan unas con otras y con el ambiente fsico.
88
INFORMES
Estndar
Componente
Afirmacin: El estudiante...
Explico condiciones de cambio y conservacin en diversos sistemas, teniendo en cuenta la transferencia y el transporte de energa y su interaccin con la materia.
Entorno fsico
1. Comprende las relaciones que existen entre las caractersticas macroscpicas y microscpicas de la materia y las propiedades fsicas y qumicas de las sustancias que la constituyen. 2. Comprende la naturaleza de los fenmenos relacionados con la luz y el sonido. 3. Comprende la naturaleza de los fenmenos relacionados con la electricidad y el magnetismo. 4. Comprende la naturaleza y las relaciones entre la fuerza y el movimiento. 5. Comprende la dinmica de la corteza terrestre a partir de su estructura en trminos de placas tectnicas. 6. Comprende que existen diversas fuentes y formas de energa y que esta se transforma continuamente. 1. Reconoce los recursos renovables y no renovables del entorno, su importancia, los peligros a los que estn expuestos y sus usos para la obtencin de energa. 2. Reconoce el desarrollo cientfico y tecnolgico como una herramienta til al ser humano. 3. Determina la aplicacin de las propiedades de la materia en procesos y productos industriales. 4. Reconoce la utilidad de algunos objetos y tcnicas desarrollados por el ser humano para mantener la salud y reconocer que somos agentes de cambio en el entorno y en la sociedad.
Identifico aplicaciones comerciales e industriales del transporte de energa y de las interacciones de la materia.
Estndar Explico la variabilidad en las poblaciones y la diversidad biolgica como consecuencia de estrategias de reproduccin, cambios genticos y seleccin natural.
Componente
Afirmacin: El estudiante...
Entorno vivo
1. Comprende que los seres vivos dependen del funcionamiento e interaccin de sus partes. 2. Comprende que existen miles de especies que aunque no se parezcan entre s, tienen una unidad que es evidente a partir del anlisis de estructuras internas, procesos qumicos y evidencia de un ancestro comn. 3. Comprende que cada organismo es nico pero muy similar a otros; ningn organismo puede vivir aislado y ninguna poblacin puede vivir sin la interaccin con su medio.
89
Estndar
Componente
Afirmacin: El estudiante...
Explico condiciones de cambio y conservacin en diversos sistemas, teniendo en cuenta la transferencia y el transporte de energa y su interaccin con la materia.
Entorno fsico
1. Comprende las relaciones que existen entre las caractersticas macroscpicas y microscpicas de la materia y las propiedades fsicas y qumicas de las sustancias que la constituyen. 2. Comprende la naturaleza de los fenmenos relacionados con la luz y el sonido. 3. Comprende la naturaleza de los fenmenos relacionados con la electricidad y el magnetismo. 4. Comprende la naturaleza y las relaciones entre la fuerza y el movimiento. 5. Comprende la dinmica de la corteza terrestre a partir de su estructura en trminos de placas tectnicas. 6. Comprende que existen diversas fuentes y formas de energa y que esta se transforma continuamente. 1. Reconoce los recursos renovables y no renovables del entorno, su importancia, los peligros a los que estn expuestos y sus usos en la obtencin de energa. 2. Determina la aplicacin de las propiedades de la materia en procesos industriales y productos industriales. 3. Valora y comprende la utilidad de algunos objetos y tcnicas desarrollados por el ser humano que permiten mantener la salud y reconoce cmo podemos ser agentes de cambio en el entorno y en la sociedad.
Identifico aplicaciones comerciales e industriales del transporte de energa y de las interacciones de la materia.
Estndar
Componente
Afirmacin: El estudiante...
Entorno vivo Me aproximo al conocimiento como cientfico (a) natural. Entorno fsico
1. Comprende que a partir de la investigacin cientfica se construyen explicaciones sobre el mundo natural. 2. Utiliza algunas habilidades de pensamiento y de procedimiento para evaluar predicciones. 3. Observa y relaciona patrones en los datos para evaluar las predicciones. 4. Elabora y propone explicaciones para algunos fenmenos de la naturaleza basadas en conocimientos cientficos y de la evidencia de su propia investigacin y de la de otros.
90
INFORMES
91
A continuacin se presenta el esquema de construccin de las formas de prueba empleadas en las aplicaciones para calendario A (octubre) y calendario B (mayo), de acuerdo con un diseo de Bloques Incompletos Balanceados (BIB, segn su sigla en ingls) empleado para SABER 5o. y 9o. 2009. Los cuadros A2.1 a A2.3 presentan el esquema de armada de las formas de prueba, e indican la forma y la posicin dentro de la misma en que aparecen cada uno de los 8 bloques (denotados por las letras de la A a la H). Se puede apreciar que para cada forma se usan solo dos de los ocho bloques y que el total de veces que aparece un bloque en las diferentes formas es similar, aunque no exactamente el mismo, por lo cual los bloques estn parcialmente balanceados en las aplicaciones de 2009. En la aplicacin de calendario B se emplearon las formas 1 a 6 de cada grado y rea; en la aplicacin de calendario A se emplearon las formas 3 a 5 y 7 a 9 de cada grado y rea. Por lo anterior, para cada aplicacin la asignacin de bloques a formas fue balanceada con cada bloque apareciendo una vez en cada posicin en las formas empleadas. Cada estudiante present una forma de dos reas diferentes; estas fueron repartidas de manera aleatoria y balanceada entre todos los estudiantes evaluados.
Cuadro A2.1 Esquema de armada de formas de matemticas para las aplicaciones de calendarios A y B, SABER 5o. y 9o. 2009 Bloques quinto grado Bloques noveno grado
rea
Formas 1 2 3 4 5
A 1
C 2 1
D 2 1
A 1
B 2 1
G 2
2 1 2 1 2 2 1 2 1 1 2 0 2 0 2 2 2 2 2 2 2 2 0 2 2 2 0 2 2 0 2 0 2 2 2 2 4 2 2 2 2 1 2 1 1 2 1
2 1
2 2 1 1 2 1 2 0 2 2 2 4 2 2 2 4
Matemticas
2 2 2 2 2 2 2 2 4 0 2 2 1
92
INFORMES
Cuadro A2.2 Esquema de armada de formas de lenguaje para las aplicaciones de calendarios A y B, SABER 5o. y 9o. 2009
rea
Formas 1 2 3 4 5
B 1
D 2 1
E 2 1
C 2
D 2 1
E 1
2 2 1 1
1 2 2 2 2 2 1 2 1 2 2 1 2 0 2 2 0 2 2 2 4 2 2 2 2 2 4 1 1 1
2 1
2 1 1 2 1 1 2 2 4 2 0 2 0 2 2 2 2 2 2 4 2 0 2 2
Lenguaje
2 2 2
2 2 2
0 2 2
0 2 2
0 2 2
2 2 2
Cuadro A2.3 Esquema de armada de formas de ciencias naturales para las aplicaciones de calendarios A y B, SABER 5o. y 9o. 2009
rea
Formas 1 2 3 4
D 1
F 2
G 2 1
E 2
F 2 1
G 1
2 1 2 2 2 1 2 1 1 2 2 2 0 2 2 0 2 2 2 0 2 2 2 4 1 1
1 2 1 2 1 2 2 2 2 4 2 0 2 2 2 2 0 2 2
2 1 2 1
1 2 2 2 1 2 2 1 2 0 2 2 0 2 2 2 4 2 2 4 1 1
Ciencias naturales
2 2 2
2 2 2
0 2 2
93
94
INFORMES
Actividad Reunin informativa sobre la aplicacin de las pruebas SABER con secretarios de educacin Reunin de socializacin de la aplicacin convocada por el ICFES para secretarios de Educacin Actualizacin de la base de datos de establecimientos educativos para la aplicacin censal, por parte de las secretaras de educacin Reunin con secretarios de Educacin, en las entidades territoriales, para trabajar los temas que seran objeto de la evaluacin Capacitacin a rectores acerca de los procedimientos para la aplicacin censal Aplicacin controlada Aplicacin censal y estadstica Fechas lmite para la entrega de las hojas de respuestas de la prueba aplicada
Elaboracin: Direccin de Evaluacin, ICFES
Fecha
Febrero 13 Febrero 25 al 27 Marzo 1 al 13 Abril 27 Mayo 4 al 8 Mircoles 20 y jueves 21 de mayo Jueves 21 y viernes 22 de mayo Mayo 22 al 28
Actividad Reunin informativa sobre la aplicacin de las pruebas SABER con secretarios de Educacin Publicacin del documento Lineamientos generales SABER 2009 en el sitio web institucional Actualizacin de la base de datos de establecimientos educativos, por parte de las secretaras de educacin, a travs del aplicativo web Actualizacin de la base de datos de establecimientos educativos, estudiante a estudiante, por parte de los rectores a travs del aplicativo web Capacitacin a rectores acerca de los procedimientos para la aplicacin censal Aplicacin controlada Aplicacin censal y estadstica Entrega de hojas de respuestas
Elaboracin: Direccin de Evaluacin, ICFES
Fecha
A partir de julio 7 Julio 7 Julio, agosto y septiembre Julio, agosto y septiembre De septiembre 28 a octubre 2 Mircoles 21 de octubre Jueves 22 de octubre Viernes 23 de octubre
95
Aplicacin
Calendario B Sesin I El rector o coordinador de sede recogi el material del examen en la unidad de agrupacin. Sesin II Finalizada la sesin, el rector o coordinador de sede conserv los cuadernillos y recogi las hojas de respuestas para hacer la entrega en la unidad de agrupacin. Calendario A Sesin nica El rector o coordinador de sede recogi el material del examen en la unidad de agrupacin. Finalizada la sesin, el rector o coordinador de sede conserv los cuadernillos y recogi las hojas de respuestas para hacer la entrega en la unidad de agrupacin. Calendario B Sesin I La compaa de seguridad entreg el material de examen en cada sede jornada. Finalizada la sesin, se recogi todo el material de examen y se le entreg nuevamente a la compaa de seguridad. Sesin II El delegado del ICFES le entreg al rector los cuadernillos simples con sus hojas de respuestas, una vez terminada la sesin I. Finalizada la aplicacin, el rector conserv los cuadernillos de examen y devolvi las hojas de respuestas en la unidad de agrupacin correspondiente. Calendario A Sesin nica La compaa contratada estuvo a cargo de la entrega y recoleccin del material de examen en cada sede jornada. Calendario B Sesin I El delegado del ICFES recogi el material del examen en la unidad de agrupacin. Finalizada la sesin, el delegado del ICFES recogi las hojas de respuestas y las entreg en la unidad de agrupacin. Los cuadernillos fueron entregados al rector. Sesin II El delegado del ICFES le entreg al rector los cuadernillos simples con sus hojas de respuestas, una vez finalizada la sesin I. Finalizada la aplicacin, el rector conserv los cuadernillos de examen y devolvi el total de las hojas de respuestas (ausentes y presentes) en la unidad de agrupacin que le corresponda. Calendario A Sesin nica Finalizada la aplicacin el rector conserv los cuadernillos y el delegado del ICFES entreg las hojas de respuestas en la unidad de agrupacin respectiva.
Material de examen
Recepcin y entrega
Censal
Calendario B Sesin I - Un (1) cuadernillo doble organizado en cuatro (4) bloques y una (1) hoja de respuestas. Sesin II - Un (1) cuadernillo simple organizado en dos (2) bloques y una (1) hoja de respuestas.
Calendario A Sesin nica - Un (1) cuadernillo doble organizado en cuatro (4) bloques y una (1) hoja de respuestas.
Calendario B Sesin I Dieciocho (18) tipos de cuadernillos dobles organizados en cuatro (4) bloques, seis (6) tipos de hojas de respuestas y hojas de operaciones. Sesin II Tres (3) tipos de cuadernillos simples y Controlada una (1) hoja de respuestas. Calendario A Sesin nica Dieciocho (18) tipos de cuadernillos dobles organizados en cuatro (4) bloques con dos de las tres reas a evaluar, hojas de respuestas y hojas de operaciones.
Calendario B Sesin I Un (1) cuadernillo doble organizado en cuatro (4) bloques y una (1) hoja de respuestas. Sesin II Un (1) cuadernillo simple organizado en dos (2) bloques y una (1) hoja de respuestas. Estadstica Calendario A Sesin nica - Tres (3) tipos de cuadernillos organizados en cuatro (4) bloques con dos de las tres reas a evaluar, una (1) hoja de respuestas y una (1) hoja de operaciones.
96
Calendario Aplicacin
Listado de asistencia Planilla de entrega de Informe del rector y/o y asignacin de material de examen y delegado del ICFES cuadernillos control de tiempos Formato de preguntas dudosas Formato de preguntas dudosas Formato novedades de cuadernillos y/o hojas de respuestas Formato novedades de cuadernillos y/o hojas de respuestas
Anexo 1
Anexo 2
Anexo 3
Anexo 4
Anexo 5
Anexo 6
Anexo 7
Censal
Listado de asistencia Planilla de entrega de Informe del rector y/o y asignacin de material de examen y delegado del ICFES Controlada cuadernillos control de tiempos
Listado de asistencia Planilla de entrega de Informe del rector y/o y asignacin de material de examen y delegado del ICFES Estadstica cuadernillos control de tiempos
Censal
Formato listado de asistencia y asignacin del material de examen pruebas SABER calendario B
Planilla de entrega de material de examen. Sesin I -Aplicacin cuadernillo doble. Sesin II -Aplicacin cuadernillo simple
Formato control de tiempos. Informe Sesin I del rector -Aplicacin cuadernillo doble. Sesin II -Aplicacin cuadernillo simple. Formato de preguntas dudosas
Formato listado de asistencia y asignacin del Controlada material de examen pruebas SABER calendario B Planilla de entrega de material de examen. Sesin I -Aplicacin cuadernillo doble. Sesin II -Aplicacin cuadernillo simple
Planilla de entrega de material de examen. Sesin I -Aplicacin cuadernillo doble. Sesin II -Aplicacin cuadernillo simple
Formato control de tiempos. Informe del delegado Sesin I -Aplicacin cuadernillo doble. Sesin II -Aplicacin cuadernillo simple. Formato control de tiempos. Informe del delegado Sesin I -Aplicacin cuadernillo doble. Sesin II -Aplicacin cuadernillo simple.
Formato listado de asistencia y asignacin del Estadstica material de examen pruebas SABER calendario B
97
Aplicacin Delegado Transmita la informacin suministrada en la capacitacin dada por el ICFES en las unidades de agrupacin. Coordinaba con los aplicadores y el personal de la institucin las actividades para realizar el da de la aplicacin. Elaboraba los listados de asistencia y asignacin de cuadernillos. Coordinador de salones
Quin aplica?
Procedimientos
Censal
Coordinador de salones: docentes o funcionarios administrativos designados por los rectores o coordinadores de sede, en las instituciones educativas donde hubiese ms de cinco (5) salones para la evaluacin.
Apoyaba las labores de distribucin de cuadernillos y control de procedimientos en los salones. Se encargaba de coordinar con los aplicadores y el personal de la institucin las actividades por realizar el da de la aplicacin. Apoyaba al rector o coordinador de sede en el diligenciamiento del formato de control de tiempo. Recoga el material de las pruebas de todos los salones y lo entregaba al rector o coordinador de sede, organizado segn la nomenclatura de los salones. Aplicador Se encargaba de aplicar, organizar y supervisar las pruebas en el saln asignado, de acuerdo con los procedimientos. Aseguraba que cada estudiante recibiera correctamente los materiales de la prueba. Diligenciaba el listado de asistencia y asignacin de cuadernillos.
(Cuadro A3.5, contina en la siguiente pgina).
Aplicador: personal administrativo o docentes (preferiblemente de grados y reas diferentes a los que sern objeto de la evaluacin) designados por los rectores o coordinadores de sede.
98
INFORMES
Aplicacin Delegado Programaba con el rector o coordinador de sede la realizacin de la reunin previa. Coordinaba con los aplicadores y el personal de la institucin el diligenciamiento de los instrumentos adicionales. Realizaba la asignacin del material para cada saln, segn el nmero de estudiantes reportados y siguiendo el ordenamiento de las hojas de respuestas. Garantizaba el cumplimiento de las reglas de aplicacin de la prueba, en particular las relacionadas con las condiciones de seguridad del material y los tiempos de aplicacin. En el caso que le fuera asignado un sitio en un municipio diferente de la sede de nodo, deba seleccionar y capacitar a los aplicadores. Coordinador de salones Apoyaba al delegado en las labores de distribucin de cuadernillos y control de procedimientos de aplicacin en los salones a su cargo, a fin de garantizar que la aplicacin se realizara de acuerdo con los procedimientos establecidos. Recoga el material de las pruebas de todos los salones y lo entregaba al delegado. Aplicador Se encargaba de organizar y supervisar la realizacin del examen en el saln asignado, de acuerdo con los procedimientos. Aseguraba que cada estudiante recibiera correctamente los materiales de la prueba. Diligenciaba el listado de asistencia y asignacin de cuadernillos.
(Cuadro A3.5, contina en la siguiente pgina).
Quin aplica?
Procedimientos
Delegado: ICFES.
Estadstica
Coordinador de salones: designado por el delegado, en las instituciones educativas donde hubiese tres (3) o ms salones para la evaluacin.
Aplicador: personal administrativo o docentes (preferiblemente de grados y reas diferentes a los que sern objeto de la evaluacin) seleccionado por el rector o coordinador de sede cuando se contaba con dos o ms salones; en los establecimientos con un saln el delegado cumpla las funciones del aplicador.
99
Aplicacin Delegado Programaba con el rector o coordinador de sede la realizacin de la reunin previa. Coordinaba con los aplicadores y el personal de la institucin el diligenciamiento de los instrumentos adicionales. Realizaba la asignacin del material para cada saln, segn el nmero de estudiantes reportados y siguiendo el ordenamiento de las hojas de respuestas. Garantizaba el cumplimiento de las reglas de aplicacin de la prueba, en particular las relacionadas con las condiciones de seguridad del material y los tiempos de aplicacin. En el caso que le fuera asignado un sitio en un municipio diferente de la sede de nodo, deba seleccionar y capacitar a los coordinadores de saln y aplicadores. Coordinador de salones Apoyaba al delegado en las labores de distribucin de cuadernillos y control de procedimientos de aplicacin en los salones a su cargo, a fin de garantizar que la aplicacin se realizara de acuerdo con los procedimientos establecidos. Recoga el material de las pruebas de todos los salones y lo entregaba al delegado. Aplicador Organizaba y supervisaba la realizacin del examen en el saln asignado, de acuerdo con los procedimientos. Aseguraba que cada estudiante recibiera correctamente los materiales de la prueba. Diligenciaba el listado de asistencia y asignacin de cuadernillos.
Quin aplica?
Procedimientos
Delegado: ICFES.
Controlada
Coordinador de salones: designado por el ICFES, en las instituciones educativas donde hubiese cinco (5) o ms salones para la evaluacin.
Aplicador: estudiantes universitarios o profesionales (que no estuviesen vinculados con la institucin educativa participante) seleccionados por el ICFES; en los establecimientos con un saln el delegado cumpla las funciones del aplicador.
* Otros miembros de la comunidad educativa convocados a participar en las aplicaciones: Personero o representante de los estudiantes de la institucin: veedor de la aplicacin. Estaba convocado a la reunin previa; se solicitaba su presencia en el momento de la apertura del material de examen y durante la aplicacin verificaba el cumplimiento de los procedimientos establecidos. Dadas las magnitudes del operativo de 2009, se omiti el manual y el informe del personero. Rector o coordinador de sede y coordinador de disciplina: su participacin era requerida para apoyar y garantizar el buen desarrollo de las aplicaciones estadstica y control.
100
INFORMES
Aplicacin
Caractersticas
Monitoreada desde las unidades de agrupacin, para la entrega, aplicacin y recepcin del material de examen.
Tiempo prescrito Calendario B Sesin I: 4 horas Sesin II: 1 hora y 45 minutos. Calendario A Sesin nica: 4 horas
Acompaamiento En los dos calendarios, el rector o coordinador de sede estaba a cargo de la aplicacin.
Censal
Se realiz a una muestra de instituciones educativas, seleccionada por el ICFES a partir de la base de datos suministrada por el Ministerio de Educacin Nacional, la cual fue verificada y actualizada por la Subdireccin de Logstica del ICFES.
Calendario B Sesin I: 4 horas Sesin II: 1 hora y 45 minutos. Calendario A Sesin nica: 4 horas
Calendario B Sesin I: La aplic el ICFES con delegados y aplicadores externos al plantel educativo. La compaa contratada permaneci en el sitio durante el desarrollo de la sesin. Sesin II: La aplic el rector al da siguiente de la sesin I. Calendario A Sesin nica: La realiz el ICFES con delegados y aplicadores externos al plantel educativo. La compaa contratada permaneci en la institucin educativa durante toda la aplicacin.
Todos los procedimientos de aplicacin fueron supervisados por los delegados, coordinadores, aplicadores y observadores externos. Se realiz a una muestra de instituciones educativas, seleccionada por el ICFES a partir de la base de datos suministrada por el Ministerio de Educacin Nacional, la cual fue verificada y actualizada por las secretaras de educacin. Estas se encargaron de informar a los estableEstadstica cimientos elegidos sobre los aspectos relacionados con la aplicacin, informacin que igualmente estaba disponible en el sitio web institucional del ICFES. Todos los procedimientos de aplicacin fueron supervisados por los delegados, coordinadores y observadores externos.
Elaboracin: Direccin de Evaluacin, ICFES
Calendario B Sesin I: 4 horas Sesin II: 1 hora y 45 minutos. Calendario A Sesin nica: 4 horas
Calendario B Sesin I Delegado del ICFES con personal de la institucin. Sesin II El rector realiz la aplicacin al da siguiente de la sesin I. Calendario A Sesin nica La realiz el ICFES con delegados y coordinadores de salones externos, y aplicadores de la institucin educativa.
En las aplicaciones estadstica y control de calendario B se involucraron dos esquemas, el de primera sesin con el delegado y el de segunda sesin con el rector. Esto implic mayores posibilidades de inconsistencias, por tanto, para calendario A se implement una nica sesin.
101
102
INFORMES
Adems de lograr lo definido en los dos niveles Sobre textos cortos y sencillos de contenido poco precedentes, el estudiante promedio de este nivel: habitual:
Avanzado
Logra una comprensin amplia de textos Explica el propsito o la intencin del autor cuando usa una determinada palabra o expresin. cortos y sencillos de carcter cotidiano y relaciona su contenido con informacin de Ubica informacin en el texto para explicar ideas o otras fuentes. dar cuenta de argumentos. Hace inferencias de complejidad media sobre Usa informacin del texto y otros conocimientos para una parte o la totalidad del texto; deduce delimitar significados de palabras o expresiones. informacin implcita de partes del contenido; Evala la adecuacin del uso de ciertas palabras, define palabras a partir del contenido; explica expresiones o recursos retricos. las relaciones entre partes, el propsito y la Identifica las funciones que cumplen los prrafos las intencin del texto. secuencias de textos argumentativos. Puede juzgar el contenido, el uso de recursos retricos y la forma de los textos. Ante situaciones Ordena las secuencias argumentativas. de comunicacin argumentativa poco cotidianas, Evala el contenido y la forma. hace uso de estrategias semnticas, sintcticas y pragmticas para pensar o revisar la escritura de un texto buscando unidad y cohesin.
103
Adems de lograr lo definido en el nivel Sobre textos cotidianos, cortos y sencillos: precedente, el estudiante promedio de este nivel: Ubica informacin relevante en el desarrollo, discriminando entre datos muy similares. Supera la comprensin superficial de los Identifica secuencias enumerativas, descriptivas o textos cortos y sencillos de carcter cotidiano, explicativas sencillas. comprende su contenido global; reconoce Identifica el orden secuencial de los hechos, acciones con precisin el tema; categoriza, deduce o ideas tratados. e infiere informacin; logra identificar funciones y relaciones globales y caracteriza Identifica la funcin que cumple un prrafo dentro del desarrollo del contenido para establecer relaciones los personajes. de contraste, causa, efecto, temporalidad, adicin, comparacin, igualdad, etc., por referencia a conectores Hace uso de un lenguaje no exclusivamente explcitos. familiar. En situaciones de comunicacin cotidiana que requieren cierta formalidad y Diferencia entre ideas principales y secundarias e Satisfactorio identifica el tema o el planteamiento central y la precisin en el mensaje. intencin del autor, aun cuando no aparezca explcita. Es capaz de identificar enunciados que no Reconoce el alcance y profundidad con que se trata se adecan al cumplimiento de un propsito, un tema. las secuencias que deben tener las ideas, Deduce informacin implcita de partes o del texto los recursos retricos o los actos de habla global, relacionando la informacin del mismo con pertinentes y las ideas repetidas en un texto. la que proviene de otras fuentes. Identifica la funcin que cumplen palabras claves en la elaboracin del sentido del texto. Identifica la funcin que cumplen algunos marcadores textuales (signos de admiracin, comillas, parntesis, guiones, etc.) en la estructura informativa del texto. Caracteriza al narrador atendiendo a la distancia que tiene con los hechos narrados. Caracteriza los personajes haciendo uso de informacin proveniente de diferentes partes del mismo. Identifica el medio de publicacin adecuado atendiendo al contenido y a las caractersticas de los posibles lectores.
104
INFORMES
Logra hacer una lectura no fragmentada de Localiza e identifica datos explcitos y puntuales y textos cotidianos y habituales; reconoce su reconstruye la informacin utilizando las mismas estructura superficial. palabras o construyendo parfrasis muy sencillas.
Mnimo
Logra una comprensin especfica de partes Identifica la funcin de un prrafo en el desarrollo del contenido. de los mismos (oraciones, prrafos). Identifica la funcin de temporalidad, orden y adicin En situaciones familiares de comunicacin, que cumplen algunos marcadores en una oracin. prev planes textuales atendiendo a las exigencias de tpico, propsito, intencin y Identifica el tema o la idea central y el propsito por sinonimia con el ttulo o porque su contenido es tipo de texto; identifica el posible interlocutor. muy cercano a sus saberes del mundo.
Revisa y corrige escritos cortos y sencillos, Construye conclusiones y hace inferencias siguiendo reglas bsicas de cohesin sencillas (incluyendo los casos de sinonimia oracional. conceptual) sobre partes del contenido y sobre el posible comportamiento del lector, siempre que el contenido haga alusin a valoraciones usuales y de reflexin cotidiana. Reconoce la estrategia textual que indica que una palabra o expresin tiene un sentido particular en el texto.
Insuficiente El estudiante promedio ubicado en este nivel no demuestra los desempeos mnimos establecidos.
105
Avanzado
Adems de lograr lo definido en los dos niveles Sobre textos narrativos, argumentativos, informativos precedentes, sobre textos narrativos, argumentati- (verbales y no verbales) y lricos, de complejidad media: vos, informativos y lricos de complejidad media el Identifica el propsito y la intencin en textos de estudiante promedio de este nivel: lenguaje figurado, de recursos expresivos y/o estilsticos. Responde a una comprensin ms elaborada Evala la posicin o perspectiva del autor frente al de lo que lee, haciendo uso de conocimiencontenido del texto. tos no habituales y especializados para juzgar, Identifica la intencin y funcionalidad de enunciados valorar y explicar contenidos, funciones y relaclaves dentro del texto, en relacin con el lector. ciones presentes en el texto. Utiliza la informacin para interpretar nuevas situaciones o contenidos. Comprende la estructura cohesiva de los textos, lo que le permite planear, revisar y corregir Evala los matices de estilo, con respecto al efecto que buscan lograr en el lector. escritos, empleando las reglas de la gramtica, usos del lenguaje y pertinencia social de los Identifica y explica el recurso retrico empleado por textos. el autor en el mbito del lenguaje literario. Identifica y caracteriza la estructura informativa del texto. Identifica y explica la relacin que establecen los conectores en el proceso de argumentacin de una idea. Relaciona informacin del texto con informacin sobre tendencias, pocas y escuelas literarias para caracterizar o evaluar el contenido o la forma del texto.
106
INFORMES
Adems de lograr lo definido en el nivel Ante textos narrativos, informativos, argumentativos y precedente, ante textos narrativos, informativos, lricos de complejidad media: argumentativos y lricos de complejidad media, Identifica el propsito. el estudiante promedio de este nivel: Identifica los argumentos y contra argumentos Responde a una lectura global amplia de los expuestos. contenidos para inferir, deducir y categorizar Relaciona informacin proveniente de diferentes informacin, tanto local como global. partes del contenido del texto, para identificar las ideas que permiten sustentar una afirmacin. Ante situaciones de comunicacin especficas, poco habituales y que requieren alguna Identifica los recursos utilizados en el texto para formalidad, el estudiante evala la pertisustentar una idea. nencia de escritos, atendiendo al propsito, Reflexiona y hace valoraciones sobre el contenido contenido y contexto. del texto, relacionndolo con conocimientos procedentes de otras fuentes. Comprende y usa los mecanismos y estrategias de argumentacin y explicacin para Determina la pertinencia de informacin para la cumplir propsitos especficos. consecucin de un propsito. Satisfactorio Deduce informacin no explcita. Aplica categoras o conceptos para describir la estructura del texto y caracterizar personajes. Infiere contenidos ideolgicos o culturales en los textos que lee. Identifica contenidos y estilos en un texto y los relaciona con informacin externa especializada, para situar el texto dentro de una tendencia literaria, poca o periodo histrico. Relaciona cdigos no verbales y cdigos verbales para inferir el sentido o propsito no explcito de una expresin. Clasifica informacin, atendiendo a la funcin que cumple en el desarrollo del contenido.
(Cuadro A4.2, contina en la siguiente pgina). Informe tcnico SABER 5o. y 9o. 2009
107
Mnimo
El estudiante promedio de este nivel, ante textos Ante textos informativos, explicativos o narrativos cortos: informativos, explicativos o narrativos cortos: Selecciona ideas y datos relevantes. Comprende y explica los elementos de su Identifica el propsito, los temas y el mensaje estructura cohesiva, a nivel de oraciones y principal. entre prrafos, y alcanza una comprensin Relaciona informacin de partes del texto, para hacer global del (o de los) contenido (s). conclusiones o deducir informacin. Ante situaciones de comunicacin habitual, Identifica las causas o consecuencias de un pblica o formal, el estudiante prev la escrifenmeno o situacin problema, usando la informatura de un texto, su forma de organizacin y la cin presentada en el texto. estructuracin de la informacin, conservando Categoriza informacin del texto, atendiendo a un la unidad temtica, atendiendo a la pertinencia saber previo sobre estructuras textuales y formas de con el propsito y a las caractersticas de los organizacin textual. interlocutores. Identifica la voz que habla y la caracteriza de acuerdo con su participacin y distancia con los Aplica las convenciones bsicas de la comunihechos narrados. cacin escrita para corregir los enunciados de Identifica relaciones funcionales de contraste, un texto. comparacin, temporalidad, ejemplificacin o explicacin, entre prrafos. Relaciona cdigos verbales y no verbales, para identificar el sentido de una expresin, palabra o gesto. Ubica el referente de una palabra, pronombre, nombre o sintagma dentro del texto. Identifica el uso de algunos marcadores textuales como: parntesis, guiones, rayas, signos de admiracin o signos de puntuacin en la construccin del sentido de un prrafo o del texto en general. Identifica la funcin de una palabra o expresin dentro del contenido de un prrafo.
Relaciona cdigos verbales y no verbales. Identifica argumentos, ideas, datos o informacin necesaria. Jerarquiza informacin, ordena las ideas y selecciona los conectores que le permiten articularlas. Identifica el tipo de texto, el gnero y el lenguaje requerido. Identifica el contexto sobre el cual debe escribir, para cumplir las exigencias de la audiencia. Identifica el contenido sobre el cual debe consultar, para obtener informacin sobre un tpico particular. Identifica el enunciado que le permite dar continuidad o concluir un texto, atendiendo al tpico y al propsito comunicativo. Revisa y corrige el uso de trminos, en relacin con los conceptos que representan, para determinar su pertinencia en la situacin de comunicacin. Propone correcciones sobre la estructura de textos o enunciados cortos, haciendo uso de convenciones ortogrficas, sintcticas, semnticas y pragmticas.
Insuficiente El estudiante promedio ubicado en este nivel no demuestra los desempeos mnimos establecidos.
108
INFORMES
Descripcin
Reconoce diferentes maneras de representar una fraccin propia en relaciones parte-todo. Identifica patrones y relaciones numricas. Modela situaciones de dependencia cuando existe relacin de proporcionalidad directa entre dos magnitudes. Diferencia y calcula medidas de distintas magnitudes. Establece relaciones entre distintas formas de representacin de datos.
Adems de lograr lo definido en los dos Establece por qu un ejemplo es pertinente niveles precedentes, el estudiante promedio a una propiedad enunciada. ubicado en este nivel: Describe las caractersticas de una figura plana a partir de su ilustracin. Soluciona problemas correspondientes a Clasifica slidos y figuras planas de acuerdo la estructura multiplicativa de los nmeros con sus propiedades. naturales. Reconoce las propiedades que son dejadas invariantes cuando se aplica una transfor Reconoce e utiliza la fraccin como macin en el plano. operador, compara diferentes atributos Avanzado de figuras y slidos a partir de sus medidas Compara figuras planas a partir de sus caractersticas explcitas y algunas no explcitas. y establece relaciones entre ellos. Genera nueva informacin a partir de Establece conjeturas sobre conjuntos distintas representaciones de un conjunto de datos a partir de las relaciones entre de datos. diferentes formas de representacin, e Reconoce el nmero total de arreglos posibles interpreta el grado de probabilidad de un en problemas sencillos de combinacin. evento aleatorio. Interpreta el grado de probabilidad de un evento aleatorio. Adems de lograr lo definido en el nivel Usa ejemplos y contraejemplos para precedente, el estudiante promedio ubicado determinar la validez de propiedades y en este nivel: relaciones numricas. Identifica y utiliza propiedades de las Establece propiedades no explcitas en algunas figuras planas. operaciones para solucionar problemas, modela situaciones de dependencia lineal. Describe algunas trasformaciones en el plano cartesiano. Diferencia y calcula medidas de longitud y superficie. Compara figuras para intuir relaciones de Satisfactorio Identifica y describe transformaciones semejanza entre ellas. en el plano. Reconoce relaciones de semejanza y congruencia entre figuras. Usa la media aritmtica para solucionar problemas. Establece conjeturas a partir de la lectura directa de informacin estadstica. Estima la probabilidad de eventos simples.
Formula y resuelve situaciones problemas correspondientes a la estructura aditiva y multiplicativa de los nmeros naturales. Resuelve problemas que requieren, para su solucin, relacionar diferentes formas de representacin de datos. Calcula algunas medidas de tendencia central, en conjuntos discretos, para solucionar problemas. Estima la probabilidad de un evento para resolver problemas en contextos de juego o eventos cotidianos. Usa representaciones geomtricas de nmeros figurados.
(Cuadro A4.3, contina en la siguiente pgina). Informe tcnico SABER 5o. y 9o. 2009
109
Descripcin
Mnimo
Insuficiente El estudiante promedio ubicado en este nivel no demuestra los desempeos mnimos establecidos.
110
INFORMES
Descripcin
Avanzado
Adems de lograr lo definido en los dos Encuentra las relaciones o propiedades niveles precedentes, el estudiante promedio que determinan la formacin de secuende este nivel: cias numricas. Analiza en representaciones grficas car Pasa de la representacin algebraica a tesianas comportamientos de cambio de las propiedades de una funcin o sucesin algunas funciones. y viceversa. Determina y justifica el valor de verdad de Establece equivalencias entre expresiones algunos enunciados en contextos numrialgebraicas y numricas. cos y geomtricos. Enuncia propiedades relativas a deter Usa definiciones o criterios de semejanza minados subconjuntos numricos. para explicar situaciones. Caracteriza una figura en el plano que Utiliza la descomposicin de figuras plaha sido objeto de varias transformaciones. nas o slidos para determinar el rea o el Halla reas y volmenes a travs de volumen de figuras y cuerpos. descomposiciones y recubrimientos. Describe caractersticas de una figura lue Usa criterios de semejanza y congruencia. go de aplicar varios movimientos o trans Evala la correspondencia entre una formaciones. forma de representacin y los datos. Utiliza algunas tcnicas de conteo para Encuentra probabilidades utilizando asignar probabilidad a eventos simples. tcnicas de conteo. Utiliza el lenguaje verbal y la representacin grfica para modelar situaciones problema. Establece relaciones entre expresiones numricas y expresiones algebraicas. Identifica objetos tridimensionales de acuerdo con sus caractersticas. Identifica la posibilidad o imposibilidad de ocurrencia de un evento segn las condiciones del contexto establecido (experimento aleatorio, tablas de frecuencia, grficos, etc.).
Adems de lograr lo definido en el nivel pre- Utiliza ecuaciones para solucionar situaciones problema. cedente, el estudiante promedio de este nivel: Encuentra relaciones o propiedades que Utiliza las propiedades de la potenciacin, determinan la formacin de secuencias radicacin y/o logaritmacin para solunumricas. cionar un problema. Satisfactorio Utiliza expresiones algebraicas y repre- Analiza situaciones modeladas a travs de funciones lineales o cuadrticas. sentaciones grficas para modelar Establece conjeturas sobre propiedades y situaciones sencillas de variacin. relaciones numricas convencionales. Establece relaciones entre los slidos y Justifica conclusiones sobre varias prosus desarrollos planos. piedades de las figuras planas utilizando Reconoce y aplica movimientos rgidos ejemplos. a figuras planas en un sistema de coordenadas.
Utiliza las propiedades de la potenciacin, radicacin y/o logaritmacin para solucionar un problema. Da significado, en un contexto, a la solucin de una ecuacin. Utiliza distintas unidades de medida para resolver problemas de medicin. Usa informaciones presentadas en diagramas circulares para solucionar problemas en contextos cotidianos o de otras reas.
(Cuadro A4.4, contina en la siguiente pgina). Informe tcnico SABER 5o. y 9o. 2009
111
Descripcin
Compara atributos medibles de uno o Reconoce algunos criterios de semejanza y varios objetos o eventos. congruencia. Pasa de una representacin bidimensional Hace conjeturas acerca de fenmenos a una tridimensional y viceversa. aleatorios sencillos. Satisfactorio Establece comparaciones entre diferentes desarrollos planos para hallar medidas. Describe caractersticas de una figura luego de aplicar un movimiento o transformacin. Predice patrones de variacin en situaciones que presentan relaciones de proporcionalidad. Establece conjeturas a partir de representaciones grficas de algunas funciones. Utiliza algunas propiedades de los nmeros racionales. Identifica algunos movimientos rgidos en el plano. Clasifica figuras planas y tridimensionales de acuerdo con sus propiedades. Justifica algunos procedimientos para calcular reas y volmenes. Reconoce regularidades en fenmenos y eventos aleatorios. Reconoce algunas relaciones funcionales representadas grficamente. Construye tablas a partir de expresiones algebraicas sencillas. Usa lenguaje apropiado para describir diferentes transformaciones. Establece relaciones entre distintas magnitudes. Caracteriza figuras planas y algunos slidos a partir de su ubicacin en el plano cartesiano. Establece y explica relaciones entre dimensionalidad y unidades de medida. Traduce entre diferentes formas de representacin de datos. Modela y describe fenmenos de las ciencias sociales o naturales usando grficas estadsticas.
Determina si una operacin es pertinente a una situacin problema planteada. Utiliza diferentes estrategias para solucionar un problema aditivo o multiplicativo. Utiliza relaciones y determinadas propiedades geomtricas para resolver problemas de medicin. Estima la medida de un atributo a partir de un patrn de medida. Usa informaciones presentadas en tablas y diagramas de barras para solucionar problemas en contextos cotidianos o de otras reas. Interpreta algunas medidas de tendencia central en situaciones problema sencillas.
Mnimo
Utiliza formas de representacin convencionales para describir fenmenos de las ciencias sociales o naturales.
Insuficiente El estudiante promedio ubicado en este nivel no demuestra los desempeos mnimos establecidos.
112
Cuadro A4.5. Descripcin general de niveles de desempeo en ciencias naturales, quinto grado
INFORMES
Avanzado
Adems de lograr lo definido en los dos niveles Diferencia materiales naturales de materiales precedentes, el estudiante promedio de este fabricados por el hombre. nivel: Identifica prcticas para el manejo adecuado Reconoce los elementos y caractersticas de basuras y aguas residuales. de la Tierra y el espacio y algunas Reconoce los principales elementos, mquinas simples en contextos cotidianos. caractersticas y dinmica de la Tierra y el Diferencia entre materiales naturales y espacio. materiales fabricados por el hombre. Identifica algunas mquinas simples en Explica las ventajas de adaptaciones de contextos cotidianos. las plantas en los ecosistemas y las funciones de las partes bsicas de un circuito elctrico.
Diferencia variables, hiptesis y conclusiones y propone algunos diseos experimentales sencillos para contestar preguntas.
Diferencia hiptesis, conclusiones y evidencias en experimentos sencillos en ciencias naturales. Determina si los resultados de experimentos sencillos son suficientes para sacar conclusiones. Propone algunos diseos experimentales sencillos para contestar preguntas. Utiliza grficas de barras para mostrar los datos derivados de experimentos sencillos. Reconoce y relaciona las variables presentes en un experimento para resolver preguntas de investigacin en contextos cotidianos. Identifica y compara datos presentados en tablas y diferentes tipos de grficas que involucran ms de dos variables.
Adems de lograr lo definido en el nivel precedente, el estudiante promedio de este nivel: Determina criterios propios de las ciencias naturales para clasificar seres vivos y materiales del entorno. Reconoce la estructura bsica de circuitos elctricos sencillos. Reconoce la funcin de las plantas, animales y otros organismos en una cadena alimentaria. Reconoce que existen diversas formas y fuentes de energa. Reconoce la importancia del ejercicio en la salud. Reconoce algunas formas de contaminacin ambiental.
Relaciona las estructuras con funciones en sistemas vivos y fsicos. Reconocer las diversas formas y fuentes de energa, la dinmica de una cadena alimentaria y la estructura de circuitos Satisfactorio elctricos sencillos. Clasifica seres y materiales usando un lenguaje cientfico; identifica los beneficios del deporte en la salud.
Explica algunos mtodos adecuados para separar mezclas a partir de las caractersticas de sus componentes. Explica el funcionamiento y las interacciones de algunos sistemas en los seres vivos. Explica las interacciones entre algunos materiales y el entorno a partir de algunas propiedades fsicas y qumicas. Explica, a partir de modelos sencillos, algunos fenmenos naturales. Relaciona y explica el uso de objetos y materiales con sus propiedades fsicas. Explica la importancia de cada etapa en el desarrollo de un ser vivo. Predice y da razn del comportamiento de algunas sustancias frente a variaciones de temperatura.
Interpreta y compara datos presentados en tablas y diferentes tipos de grficas que involucran una o dos variables. Usa evidencias para identificar y explicar fenmenos naturales. Presenta de forma apropiada el proceso y los resultados de experimentos sencillos en ciencias naturales. Reconoce qu preguntas pueden ser contestadas a partir de la descripcin de experimentos sencillos o de sus resultados.
(Cuadro A4.5, contina en la siguiente pgina). Informe tcnico SABER 5o. y 9o. 2009
113
Descripcin
Explica algunas interacciones entre materiales y fenmenos naturales a partir de modelos sencillos, algunos mtodos de separacin de mezclas y la importancia de cada etapa en el desarrollo de un ser vivo. Reconoce preguntas que se pueden Satisfactorio contestar a partir de experimentos sencillos, compara, analiza, relaciona.
Elabora predicciones de acuerdo con datos, grficas o informacin para solucionar una situacin problema.
Utiliza evidencias para identificar y explicar fenmenos naturales. Reconoce relaciones entre los elementos biticos y abiticos en un ecosistema. Explica las diferencias entre materiales a partir de algunas propiedades fsicas. Explica las relaciones entre la fuerza y el movimiento en situaciones de su entorno cotidiano. Explica los efectos de la contaminacin en la salud y el ambiente. Explica el funcionamiento e interaccin de algunos rganos en los seres vivos. Elabora conclusiones a partir de informacin derivada de experimentos sencillos. Reconoce el formato adecuado para registrar datos de un experimento sencillo. Elige instrumentos adecuados para reunir datos. Interpreta datos, grficas de barras e informacin que aparece explcita en diversas situaciones.
Mnimo
Reconoce caractersticas de los seres Compara y clasifica seres vivos y materiales vivos y algunas de sus relaciones con el de su entorno cotidiano. ambiente; representa, a travs de modelos sencillos, algunos eventos naturales. Reconoce algunos usos cotidianos de la energa. Identifica usos de la energa y prcticas cotidianas para el cuidado de la salud y Identifica prcticas cotidianas para el cuidado del ambiente. de la salud y del ambiente.
Explica cmo funcionan algunos rganos Reconoce algunas diferencias y semejanzas en plantas y animales y las relaciones de de las caractersticas de los seres vivos. fuerza y movimiento. Relaciona algunos aspectos ambientales Saca conclusiones de informacin derivada con el estilo de vida de diferentes comunidades. de experimentos sencillos. Representa algunos fenmenos naturales a Interpreta datos, grficas de barras e partir de modelos sencillos. informacin que aparece explcita para Identifica el uso de materiales a partir de solucionar una situacin problema. algunas propiedades fsicas.
Insuficiente El estudiante promedio ubicado en este nivel no demuestra los desempeos mnimos establecidos.
114
INFORMES
Cuadro A4.6 Descripcin general de niveles de desempeo en ciencias naturales, noveno grado
Adems de lograr lo definido en los dos niveles precedentes, el estudiante promedio de este nivel:
Reconoce algunos mecanismos que regulan el tamao de las poblaciones y que las similitudes entre organismos son el resultado de sus adaptaciones al medio.
Avanzado
Relaciona las variables que describen el comportamiento de los gases; representa las fuerzas que actan sobre un cuerpo en movimiento o en reposo.
Explica cmo se relacionan algunas caractersticas de los organismos determinadas genticamente, con las condiciones del medio y el funcionamiento de los seres vivos a partir de las interacciones entre rganos y sistemas.
Determina la funcin de una clula con un determinado rgano y su cantidad. Reconoce el cambio de pH de una solucin cuando se le adiciona otra. Relaciona las variables que describen el comportamiento de los gases. Reconoce que la similitud entre organismos son el resultado de sus adaptaciones al medio. Representa las fuerzas que actan sobre un cuerpo en reposo o en movimiento. Reconoce algunos mecanismos biolgicos para regular el tamao de las poblaciones.
Explica las caractersticas del movimiento rectilneo que sigue un cuerpo, los mtodos adecuados para separar mezclas a partir de las caractersticas de sus componentes y algunos fenmenos de reflexin y refraccin de la luz y evala hiptesis a partir de las evidencias derivadas de investigaciones cientficas.
115
Reconoce la estructura y funcin de la clula en plantas y animales, las caractersticas fsicas de los biomas, algunas prcticas para el cuidado de la salud personal y de la comunidad y el comportamiento de los materiales cuando se someten a cambios de temperatura.
Satisfactorio
Identifica cambios fsicos y qumicos, algunos fenmenos relacionados con las ondas y con la dinmica de la corteza terrestre.
Identifica el funcionamiento de los seres vivos en trminos de su estructura y procesos. Reconoce prcticas para el cuidado de la salud personal y de la comunidad. Reconoce la estructura y funcin de las clulas en plantas y animales. Reconoce modelos adecuados para representar tomos, elementos, compuestos y mezclas. Establece relaciones entre materiales de diferente densidad, masa y volumen. Reconoce el comportamiento de materiales cuando se someten a cambios de temperatura. Reconoce que las enfermedades pueden ser de origen gentico o infeccioso. Identifica cambios qumicos y fsicos en diferentes procesos cotidianos. Reconoce algunos fenmenos asociados con la dinmica de la corteza terrestre.
116
INFORMES
Reconoce algunas adaptaciones de los organismos al entorno, los efectos de su desaparicin en el ecosistema y el uso de productos con determinado valor de pH en situaciones cotidianas.
Mnimo
Identifica el estado fsico de las sustancias a partir de la organizacin de sus partculas; el movimiento de un cuerpo de acuerdo con las fuerzas que actan sobre ste.
Explica las funciones que cumplen las partes bsicas de un circuito elctrico.
Reconoce algunas adaptaciones de los organismos al entorno. Reconoce el uso de productos con determinado valor de pH en la vida cotidiana. Identifica el estado de las sustancias a partir de la organizacin y movimiento de sus partculas. Identifica qu sustancias pueden ser nocivas para la salud y cules deben ser usadas con precaucin. Reconoce los efectos de la desaparicin de organismos en el ecosistema. Establece comparaciones entre las propiedades fsicas de diversos materiales. Identifica el movimiento de un cuerpo de acuerdo con las fuerzas que actan sobre este.
Insuficiente El estudiante promedio ubicado en este nivel no demuestra los desempeos mnimos establecidos.
117
Calle 17 No. 3-40 Telfono:(57-1)338 7338 Fax:(57-1)283 6778 Bogot - Colombia www.icfes.gov.co