DE EVALUACIN EDUCATIVA, 2014-2015 Instituto Nacional para la Evaluacin de la Educacin NDICE 05 1.Antecedentes 06 2.Defnicin de trminos 08 3.Introduccin 09 4.Planeacin del instrumento de evaluacin 4.1 Conformacin de lo cuerpos colegiados de especialistas 4.2 Defnicin del propsito y usos del instrumento de evaluacin 4.3 Defnicin del objeto de medida del instrumento de evaluacin 4.4 Elaboracin de las especifcaciones 11 5.Elaboracin del instrumento de evaluacin 5.1 Elaboracin de tareas evaluativas o reactivos 5.2 Prueba piloto de las tareas evaluativas o reactivos 12 6.Aplicacin o administracin del instrumento 13 7.Procesamiento y anlisis de resultados del instrumento 14 8.Difusin y uso de los resultados 15 9.Informe tcnico del instrumento 5 Criterios Tcnicos para el Desarrollo y Uso de Instrumentos de Evaluacin Educativa, 2014-2015 a Junta de Gobierno del Instituto Nacional para la Evaluacin de la Educacin (INEE), con fundamento en lo dis- puesto en la fraccin IX del artculo 3o. de la Constitucin Poltica de los Estados Unidos Mexicanos; artculos 10, 11, 12, 13, 14, 15 fracciones III y VI, 17 fracciones I a la V, 26, 27 fracciones VII, X, XIII, 29, 38 fracciones VI, IX, X y XXI, 47, 49, 57 y 59 de la Ley del Instituto Nacional para la Evaluacin de la Educacin; as como los Lineamientos iniciales especfcos para llevar a cabo la evaluacin del ingreso al Servicio Profesional Docente en Educacin Bsica y Educa- cin Media Superior y lineamientos iniciales especfcos para llevar a cabo la evaluacin para la promocin a cargos con funciones de Direccin (Directores) en Educacin Media Superior, para el ciclo escolar 2014-2015, LINEE-02-2014, publicados en el Diario Ofcial de la Federacin de fecha 6 de marzo de 2014, emite los siguientes Criterios Tcnicos para el Desarrollo y Uso de Instrumentos de Evaluacin Educativa, 2014-2015 (en adelante Criterios Tcnicos). 1. Antecedentes La reforma constitucional en materia de educacin, estableci en la fraccin IX del artculo 3o. la creacin del Ins- tituto Nacional para la Evaluacin de la Educacin, como un organismo constitucional autnomo que tiene por objeto coordinar el Sistema Nacional de Evaluacin Educativa (SNEE), con la atribucin de evaluar la calidad, el desempeo y los resultados del Sistema Educativo Nacional (SEN) en educacin preescolar, primaria, secundaria y media superior. De conformidad con los preceptos legales antes invocados, la Junta de Gobierno del Instituto disear y expedir los lineamientos generales de evaluacin educativa a los que se sujetarn las Autoridades Educativas en su conjun- to para llevar a cabo las funciones de evaluacin. Asimismo, conforme a lo establecido en el artculo 26 de la Ley del Instituto Nacional para la Evaluacin de la Educacin, el Instituto, en el ejercicio de sus atribuciones, se regir por los principios y criterios tcnicos de objetividad, validez y confabilidad, segn se establece en el artculo men- cionado, as como en el diverso 29 del mismo ordenamiento, el Instituto tambin deber actualizar peridicamente los Criterios Tcnicos, los lineamientos y conceptos que establezca en materia de evaluacin de la educacin. Para ello, la Junta de Gobierno del INEE determinar la periodicidad para su revisin y tomar en cuenta los avances cientfcos y tcnicos en materia de educacin y de evaluacin. Los Criterios Tcnicos servirn de apoyo para cumplir con lo establecido en la fraccin XIII del artculo 27 de la Ley del Instituto Nacional para la Evaluacin de la Educacin, en lo referente a asesorar y, en su caso, supervisar el dise- o y aplicacin de instrumentos de medicin para las evaluaciones de los componentes, procesos o resultados del SEN que realicen las Autoridades Educativas, en el marco de sus atribuciones y competencias. Conforme a lo establecido en las fracciones X y XXI del artculo 38 de la Ley del Instituto Nacional para la Evaluacin de la Educacin, la Junta de Gobierno del Instituto aprobar los proyectos de medicin y evaluacin que correspon- dan a componentes, procesos o resultados del SEN, en el mbito de su competencia. Las autoridades educativas federales, locales, municipales y organismos descentralizados, o las organizaciones e instituciones pblicas o priva- das interesadas en el desarrollo de instrumentos de evaluacin, debern considerar los presentes Criterios Tcnicos para asegurar su calidad tcnica. Para este efecto, el Instituto revisar y, en su caso, har por escrito observaciones a los instrumentos; para ello recurrir a la documentacin y sistematizacin de evidencias sobre su diseo, cons- truccin y uso. El propsito de los Criterios Tcnicos es el de proveer referentes para valorar la calidad de los instrumentos de eva- luacin, de las prcticas evaluativas y de los usos de las evaluaciones. Aunque la valoracin de la calidad de los ins- trumentos de evaluacin educativa y de su aplicacin y usos dependen en gran medida del juicio de profesionales, los Criterios Tcnicos proveen un marco de referencia que asegure sean considerados los aspectos ms importantes de la evaluacin educativa. En general, los Criterios Tcnicos buscan propiciar que, dentro de los lmites posibles, la L 6 Criterios Tcnicos para el Desarrollo y Uso de Instrumentos de Evaluacin Educativa, 2014-2015 informacin tcnica relevante de las evaluaciones sea visible, de tal manera que aquellos involucrados en la toma de decisiones de poltica educativa estn bien informados sobre los alcances y limitaciones de los resultados que arrojan los instrumentos de evaluacin educativa en el pas. Para la integracin de los presentes Criterios Tcnicos se consideraron distintos aspectos de los estndares de calidad tcnica para los instrumentos de evaluacin propuestos por organismos de evaluacin educativa interna- cionales y nacionales, como la European Commission (EC); el Grupo de Evaluacin de las Naciones Unidas (UNEG, por sus siglas en ingls); el Comit para el Desarrollo de Estndares de Pruebas Educativas y Psicolgicas de la American Educational Research Association (AERA), la American Psychological Association (APA) y el National Council on Measurement in Education (NCME); el Joint Committee on Testing Practices (JCTP), el Educational Tes- ting Service (ETS), el Centro Nacional de Evaluacin para la Educacin Superior (Ceneval) y el Instituto Nacional para la Evaluacin de la Educacin (INEE). Especialmente se retoman el enfoque y la lgica de los Estndares para los instrumentos de evaluacin educativos y psicolgicos 1 y el enfoque unitario de la validez 2 . En dichos enfoques, se proveen los fundamentos tericos y las orientaciones que deben tomarse en cuenta para la obtencin de evidencias de calidad tcnica y validez de los resultados de las evaluaciones, tanto educativas como psicolgicas. 2. Defnicin de trminos Para los efectos de los presentes criterios, se emplean las siguientes defniciones: I. Aplicadores: Personas fsicas con la funcin de auxiliar en la aplicacin de los instrumentos de evaluacin. II. Alto impacto: Se indica cuando los resultados del instrumento tienen consecuencias importantes para las personas o las instituciones; por ejemplo, en los procesos de admisin o certifcacin. III. Confabilidad: Cualidad de las mediciones obtenidas con un instrumento, que se caracterizan por ser consistentes y estables cuando este se aplica en distintas ocasiones. IV. Constructo: Elaboracin terica formulada para explicar un proceso social, psicolgico o educativo y cuya adecuada descripcin permite que sea susceptible de ser observable o medible. V. Criterio de evaluacin: Indicador de un valor aceptable sobre el cual se puede establecer o fundamentar un juicio del valor sobre el desempeo de una persona. VI. Desempeo: Es el resultado obtenido por la persona evaluada con un instrumento de evaluacin educativa. VII. Dominio: Conjunto de conocimientos, habilidades, destrezas, actitudes u otros atributos que tienen las siguientes propiedades: lmites, extensin y defnicin. Tambin se puede aplicar a contenidos, procedimientos u objetos. 1 American Educational Research Association (AERA), American Psychological Association (APA) y National Council on Measurement in Education (NCM). (1999). Standards for educational and psychological testing. Washington, D.C.: American Educational Research Association. 2 Messick, S. (1989). Validity. En R.L. Linn (Ed.), Educational measurement (3a. ed., pp 13-104). Nueva York: American Council on Education/MacMillan. 7 Criterios Tcnicos para el Desarrollo y Uso de Instrumentos de Evaluacin Educativa, 2014-2015 VIII. Educacin bsica: Tipo de educacin que comprende los niveles de preescolar, primaria y secundaria en todas sus modalidades, incluyendo la educacin indgena, la especial y la que se imparte en los centros de educacin bsica para adultos. IX. Educacin media superior: Tipo de educacin que comprende el nivel de bachillerato, los dems niveles equivalentes a ste, as como la educacin profesional que no requiere bachillerato o sus equivalentes. X. Especifcaciones de tareas evaluativas o reactivos: Descripcin detallada de las caractersticas relevantes que se espera tengan los sujetos al sustentar el instrumento de evaluacin y que es posible observar a travs de las tareas evaluativas o los reactivos. Tienen el papel de guiar a los comits acadmicos en la elaboracin y validacin de las tareas evaluativas o los reactivos y que estos cuenten con los elementos necesarios para construirlos alineados al objeto de medida o constructo que se desea evaluar a travs del instrumento. XI. Estndar: Principio de valor o calidad en la conduccin y uso de los procedimientos de evaluacin y que son acordados por expertos en evaluacin. XII. Estndar de desempeo: Es un criterio conceptual que delimita el marco interpretativo de las puntuaciones obtenidas en un instrumento de evaluacin y que refere a lo que la persona evaluada es capaz de hacer en trminos de conocimientos, destrezas o habilidades en el contexto del instrumento. XIII. Evaluacin: Accin de emitir juicios de valor que resultan de comparar los resultados de una medicin u observacin con un referente previamente establecido. XIV. Instrumento de evaluacin: Tcnicas de medicin y recoleccin de datos que suelen tener distintos formatos, atendiendo a la naturaleza de la evaluacin, por ejemplo, instrumentos de seleccin de respuesta, instrumentos de respuesta construida, cuestionarios, observaciones, portafolios, entre otros. XV. Jueceo: Mtodo en el cual se utiliza la opinin de expertos (denominados jueces) para determinar, entre otras cosas, la pertinencia de la validez de las tareas evaluativas o los reactivos respecto a un dominio; el establecimiento de estndares o puntos de corte; as como la califcacin de reactivos de respuesta construida. XVI. Medicin: Proceso de asignacin de valores numricos a atributos de las personas, objetos o eventos de acuerdo con reglas especfcas que permitan que sus propiedades puedan ser representadas cuantitativamente. XVII. Muestra: Subconjunto de la poblacin de inters que refeja las variables medidas en una distribucin semejante a las de la poblacin. XVIII. Objeto de medida: Conjunto de caractersticas o atributos que se miden en el instrumento de evaluacin. XIX. Prueba piloto de las tareas evaluativas o los reactivos: Recoleccin preliminar de datos sobre los elementos de un nuevo instrumento de evaluacin a fn de valorar su funcionamiento en una poblacin especfca para realizar ajustes orientados a su mejora y a su posterior aplicacin. XX. Protocolo de aplicacin estandarizado: Procedimiento para la conduccin de la aplicacin de un instrumento de medicin acorde a reglas especfcas y detalladas que garanticen que las condiciones de evaluacin sean las mismas para todos los examinados. 8 Criterios Tcnicos para el Desarrollo y Uso de Instrumentos de Evaluacin Educativa, 2014-2015 XXI. Punto de corte: En instrumentos de evaluacin con referencia a un estndar de desempeo, es la puntuacin mnima o criterio a alcanzar o superar para considerar que el nivel de desempeo de una persona cumple con lo esperado y distinguirlo de otro que no. XXII. Instrumento de evaluacin referido a un criterio: Instrumento que permite comparar el desempeo de las personas evaluadas con un estndar pre-establecido. XXIII. Reactivo: Unidad bsica de medida de un instrumento de evaluacin que consiste en una pregunta o instruccin que requiere una respuesta del sujeto. XXIV. Rbrica: Herramienta que integra los criterios a partir de los cuales se califca una tarea evaluativa. XXV. Sesgo: Error en la medicin de un atributo (por ejemplo, conocimiento o habilidad), debido a una variable no controlada, como las diferencias culturales o lingsticas de las personas evaluadas. XXVI. Tarea evaluativa: Unidad bsica de medida de un instrumento de evaluacin que consiste en la ejecucin de una actividad que es susceptible de ser observada. XXVII. Validez: Juicio valorativo integrador sobre el grado en que los fundamentos tericos y las evidencias empricas apoyan la interpretacin de las puntuaciones de los instrumentos de evaluacin. 3. Introduccin Los Criterios Tcnicos que se presentan a continuacin suponen que un buen instrumento de evaluacin es el pro- ducto de una aplicacin cuidadosa y coherente de principios establecidos para el diseo, elaboracin y revisin de instrumentos de evaluacin. Estos principios referen a un proceso de carcter secuencial en el que los productos de una fase se convierten en los insumos de la siguiente. Las fases del proceso de desarrollo de un instrumento de evaluacin que se consideran para la exposicin de estos Criterios Tcnicos son seis: 1) planeacin del instrumento de evaluacin, 2) elaboracin del instrumento de evaluacin, 3) aplicacin o administracin del instrumento, 4) procesamiento y anlisis de resultados del ins- trumento, 5) difusin y uso de los resultados y 6) informe tcnico del instrumento. Para cada una de estas fases se contemplan diversas acciones de verifcacin documental que permitirn cotejar el nivel de cumplimiento de los criterios tcnicos expuestos. Estos Criterios Tcnicos son aplicables a instrumentos de evaluacin educativa destinados a medir atributos de personas, ya sean de seleccin de respuesta (como los instrumentos de opcin mltiple), de respuesta construida (como los ensayos), o de desempeo (como el desarrollo de un plan de clase o una exposicin en el aula), y cual- quiera que sea su forma de administracin (en lpiz y papel o dispositivos electrnicos). 9 Criterios Tcnicos para el Desarrollo y Uso de Instrumentos de Evaluacin Educativa, 2014-2015 4. Planeacin del instrumento de evaluacin Esta fase incluye las siguientes acciones: Conformacin de los cuerpos colegiados de especialistas; defnicin del propsito y usos del instrumento de evaluacin; defnicin del objeto de medida del instrumento de evaluacin y elaboracin de las especifcaciones. 4.1 Conformacin de los cuerpos colegiados de especialistas 4.1.1 Una vez que se concibe la idea de desarrollar un instrumento de evaluacin, debern integrarse los cuerpos colegiados de especialistas que participarn realizando diversas tareas en las distintas fases del desarrollo del ins- trumento. El principio que debe guiar la integracin de estos cuerpos colegiados es el de contar con expertos del campo o dominio a evaluar. Para su integracin, deber tenerse en cuenta la funcin especfca que cada uno de ellos cumplir en las distintas fases del proceso de desarrollo del instrumento. Los integrantes de estos cuerpos colegiados debern estar debidamente capacitados para las tareas especfcas que habrn de realizar a lo largo del proceso del desarrollo del instrumento de evaluacin. Algunos especialistas podrn participar en ms de un comit con la fnalidad de dar coherencia y continuidad al trabajo, y a los productos que se generen en cada fase. 4.1.2 El Consejo Tcnico ser la instancia responsable de defnir los siguientes aspectos del instrumento: a) prop- sitos; b) usos que se darn a sus resultados; c) poblacin a la que se dirige; d) usuarios de la informacin que derive de su aplicacin y e) tipo de instrumento y modalidad de administracin. Asimismo, vigilar que las distintas acti- vidades realizadas por los comits de especialistas, en los que se apoya para el desarrollo del instrumento, estn debidamente alineadas a estos aspectos. 4.1.3 Debern constituirse al menos cuatro comits de especialistas que apoyen al Consejo Tcnico para la rea- lizacin de distintas tareas durante el proceso de desarrollo del instrumento de evaluacin: a) el Comit Acad- mico, cuya funcin ser seleccionar, delimitar conceptualmente y justifcar el objeto de medida o contenido del instrumento de evaluacin; b) el Comit de Especifcaciones, que tendr como funcin precisar y operacionalizar el objeto de medida del instrumento de evaluacin; c) el Comit de Elaboracin de Tareas Evaluativas o Reactivos, cuyo propsito es elaborar las tareas evaluativas o los reactivos, a partir de las especifcaciones previamente de- sarrolladas por el Comit de Especifcaciones y d) el Comit de Validacin, que tendr como funcin verifcar que las tareas evaluativas o los reactivos del instrumento estn debidamente alineados con las especifcaciones que operacionalizan el objeto de medida del instrumento, as como cuidar que las tareas evaluativas o los reactivos no presenten errores de contenido y se redacten en un lenguaje apropiado para la poblacin evaluada. 4.1.4 Estos cinco cuerpos colegiados (Consejo Tcnico, Comit Acadmico, Comit de Especifcaciones, Comit de Elaboracin de Tareas Evaluativas o Reactivos, Comit de Validacin) debern ser coordinados por la instancia (dependencia o institucin) responsable del desarrollo del instrumento de evaluacin. Dicha instancia tendr como funcin: a) guiar, integrar y coordinar los trabajos de cada uno de los distintos cuerpos colegiados que participarn a lo largo del proceso de evaluacin; b) capacitar a los integrantes de estos cuerpos colegiados para que realicen adecuadamente sus funciones; c) realizar distintos mtodos de aseguramiento de la calidad mtrica del instrumen- to y d) elaborar el informe tcnico del instrumento de evaluacin. Accin para la verifcacin documental. La instancia responsable del desarrollo del instrumento de evaluacin deber documentar la fecha de instalacin de cada uno de estos cuerpos colegiados, as como el nombre, la formacin acadmica, la ocupacin y la institucin de procedencia de cada uno de sus integrantes. Asimismo, debern mostrarse los materiales que se utilizaron para la capacitacin de estos cuerpos colegiados. 10 Criterios Tcnicos para el Desarrollo y Uso de Instrumentos de Evaluacin Educativa, 2014-2015 4.2 Defnicin del propsito y usos del instrumento de evaluacin 4.2.1 Debe defnirse, de manera clara y concisa, lo que se pretende medir con el instrumento de evaluacin, esto es el propsito con el que se desarrolla, as como los usos e interpretaciones que se darn a sus resultados. Este paso es indispensable porque dirige todas las decisiones subsiguientes para el desarrollo del instrumento. Para cada uso que se le d a los resultados del instrumento debern aportarse evidencias sufcientes de que este uso es vlido, especialmente para las evaluaciones de alto impacto, donde las consecuencias de los resultados son importantes para las personas o las instituciones. Junto con el propsito y los usos de los resultados del instrumento, debe defnirse tambien la poblacin objetivo, el tipo de instrumento y la modalidad en que se administrar, as como quines sern los usuarios de la informacin y si los resultados de las evaluaciones tendrn algn tipo de consecuencia, ya sea para la escuela, los directivos, los profesores o los alumnos. Accin para la verifcacin documental. La instancia responsable del desarrollo del instrumento de evaluacin deber documentar la fcha tcnica del instrumento de evaluacin en la que se especifquen los siguientes aspectos: propsito y poblacin objetivo; uso y alcance de sus resultados; tipo de instrumento, impacto o consecuencias de sus resultados; as como la modalidad y condiciones de administracin o aplicacin. 4.3 Defnicin del objeto de medida del instrumento de evaluacin 4.3.1 Toda evaluacin deber contar con un marco terico que justifque los trminos en los que el objeto de medi- da se aborda en el instrumento de evaluacin. En el caso de los instrumentos de evaluacin alineados al currculo, debern contar con un marco explicativo que deje claro la manera en cmo el contenido del instrumento es una muestra signifcativa del currculo por evaluar. Por su parte, las evaluaciones basadas en rasgos o atributos psicol- gicos (tales como habilidad intelectual, competencia o aptitud) debern presentar un marco de la teora sustantiva dado por la investigacin existente en el campo correspondiente. 4.3.2 La manera como se aborda el objeto de medida en el instrumento de evaluacin, debe establecerse funda- mentalmente con base en el propsito y el marco terico del instrumento de evaluacin. Los criterios que se sigan para seleccionar los aspectos o elementos que lo constituyen debern ser explcitos y garantizar que se trata de aspectos o temas relevantes (importantes y signifcativos para el propsito de la evaluacin), pertinentes (con- gruentes con los propsitos y alcances de la evaluacin) representativos (que constituyen una muestra signifcativa de los aspectos cruciales del objeto de medida) y viables para ser evaluados a travs del instrumento. 4.3.3 El contenido especfco del instrumento deber consignarse en una tabla de especifcaciones en la que, por un lado, se ordenen jerrquicamente los aspectos o elementos a medir (por ejemplo, reas, subreas y temas) y, por el otro, el sistema de clasifcacin de estos elementos o aspectos (por ejemplo, para el caso de la evaluacin del aprendizaje, se podra utilizar la clasifcacin cognoscitiva de la versin modifcada de la taxonoma de Bloom o la de Gagn). Para cada uno de los niveles jerrquicos considerados en la tabla, deber especifcarse el nmero de tareas evaluativas o reactivos considerados para su evaluacin. 4.3.4 El grupo de especialistas que integran el Comit Acadmico deber aprobar el marco terico o explicativo del objeto de medida, la defnicin conceptual del mismo y la tabla de especifcaciones del instrumento. Accin para la verifcacin documental. La instancia responsable del desarrollo del instrumento de evaluacin deber documentar el marco terico y la defnicin conceptual del objeto de medida del instrumento, as como los procedimientos empleados para seleccionar los contenidos especfcos y para determinar la distribucin del nmero de tareas evaluativas o reactivos en cada nivel jerrquico del instrumento. Asimismo, deber contarse con el documento donde se detalle la taxonoma utilizada para clasifcar los contenidos especfcos del instrumento. 11 Criterios Tcnicos para el Desarrollo y Uso de Instrumentos de Evaluacin Educativa, 2014-2015 4.4 Elaboracin de las especifcaciones 4.4.1 La fase de elaboracin de especifcaciones forma parte del proceso de delimitacin del objeto de medida y tiene como fnalidad precisar, en trminos observables, los aspectos especfcos que lo constituyen (conocimientos, habilidades, competencias, actitudes o aptitudes). Las especifcaciones son el principal insumo para la elaboracin de las tareas evaluativas o los reactivos que conformarn el instrumento de evaluacin. 4.4.2 Las especifcaciones debern elaborarse cuidando que contengan, al menos, los siguientes aspectos: a) una defnicin de la accin observable del sujeto como evidencia de que presenta el rasgo o atributo medido o domina el contenido evaluado, b) una descripcin de las condiciones especfcas bajo las cuales se espera que esta accin se realice en el contexto de la evaluacin y c) una tarea evaluativa o reactivo que ejemplifque cmo se concreta la medicin de lo que se establece en la especifcacin. Accin para la verifcacin documental. La instancia responsable del desarrollo del instrumento de evaluacin deber contar con las especifcaciones elaboradas para cada aspecto del contenido del instrumento, frmadas por los especialistas participantes. 5. Elaboracin del instrumento de evaluacin Esta fase incluye las siguientes acciones: a) la elaboracin de las tareas evaluativas o los reactivos y b) el pilotaje de las tareas evaluativas o los reactivos. 5.1 Elaboracin de tareas evaluativas o reactivos 5.1.1 Las tareas evaluativas o los reactivos son unidades bsicas de observacin que permiten hacer inferencias so- bre la presencia del atributo medido o el nivel de desempeo alcanzado en el contenido especfco del instrumento de evaluacin. Su elaboracin debe realizarse en estricto apego a las especifcaciones diseadas para cada aspecto del contenido del instrumento. 5.1.2 Debe cuidarse que el vocabulario empleado sea pertinente para la poblacin a la cual est dirigido el instrumen- to, as como que su redacin no produzca sesgo (diferencias artifciales e injustas) en las respuestas de los evaluados por cuestiones culturales, lingsticas, religiosas, socioeconmicas, de gnero o caractersticas del contexto. 5.1.3 Mediante un proceso de jueceo en el que participen los especialistas del Comit de Validacin, debe ve- rifcarse que tareas evaluativas o los reactivos elaborados midan los aspectos que se pretenden medir con el instrumento, que no presenten errores de contenido y de sesgo, y se redacten en un lenguaje apropiado para la poblacin evaluada. Accin para la verifcacin documental. La instancia responsable del desarrollo del instrumento de evaluacin deber documentar la evidencia de que todas las tareas evaluativas o reactivos utilizados en el instrumento fueron aprobados por el comit de validacin (por ejemplo, actas de validacin). 5.2 Prueba piloto de las tareas evaluativas o reactivos 5.2.1 Una vez validadas las tareas evaluativas o los reactivos por el Comit de Validacin, debern someterse a prueba con grupos de participantes que tengan las caractersticas ms cercanas posibles a la poblacin a la cual est destinado el instrumento, a fn de poder detectar fallas en su desarrollo o tener estimaciones preliminares de sus cualidades mtricas. 12 Criterios Tcnicos para el Desarrollo y Uso de Instrumentos de Evaluacin Educativa, 2014-2015 5.2.2 En caso de que sea imposible realizar una prueba piloto antes de su aplicacin fnal, deber incluirse un nme- ro mayor de tareas evaluativas o reactivos a los establecidos en la tabla de especifcaciones del instrumento, para que con base en los resultados se puedan identifcar las tareas evaluativas o reactivos con mejor calidad mtrica para ser utilizados en la califcacin. 5.2.3 En todos los casos se realizar el anlisis de difcultad y discriminacin de las tareas evaluativas o los reactivos sometidos a prueba; adicionalmente, para los reactivos de opcin mltiple tambin se analizar el comportamien- to de sus distractores. Esta informacin servir para identifcar y eliminar aquellas tareas evaluativas o reactivos que no alcancen los ndices de calidad tcnica requerida para este tipo de instrumentos. 5.2.4 En el caso de instrumentos de evaluacin que requieren de jueceo para la califcacin de las tareas evaluativas o reactivos (por ejemplo, cuando se incluyen preguntas de respuesta construida que utilizan rbricas), adems del anlisis de difcultad y discriminacin, debern defnirse y documentarse tanto el procedimiento de jueceo como la concordancia entre las valoraciones de los jueces. Accin para la verifcacin documental. La instancia responsable del desarrollo del instrumento de evaluacin deber documentar los resultados del anlisis de las tareas evaluativas o reactivos probados, as como los protocolos de lectura y califcacin utilizados. 6. Aplicacin o administracin del instrumento De la poblacin evaluada 6.1 Uno de los aspectos cruciales que debe cuidarse es la administracin del instrumento a las personas evaluadas, vigilando que las acciones involucradas permitan que stas lo hagan bajo las mismas condiciones de tiempo, super- visin y apoyos materiales. 6.2 Con al menos un mes de antelacin, deber proporcionarse informacin a las personas evaluadas sobre los si- guientes aspectos: a) caractersticas y contenido del instrumento; b) uso que se dar a los resultados; c) lugar, hora y duracin de la aplicacin del instrumento; d) materiales de apoyo que requerir para resolver el instrumento y e) requisitos que deber cumplir para tener acceso al lugar de la aplicacin del instrumento (por ejemplo, la presentacin de una identifcacin ofcial). 6.3 Las instrucciones y los materiales presentados a la poblacin evaluada debern ser lo sufcientemente claros y detallados para que puedan responder el instrumento de evaluacin. Cuando se utilicen formas no habituales para registrar las respuestas (por ejemplo, aplicaciones por computadora), deber permitirse la realizacin de prcticas previas a las personas que respondern el instrumento de evaluacin. De los aplicadores 6.4 Para la administracin del instrumento, deber desarrollarse un manual del aplicador en el que se establezcan, con toda claridad, las caractersticas de los materiales que manejar (por ejemplo, cuadernillo del instrumento, hojas de respuesta, formatos de registro de incidencias, material de apoyo, etctera), las posibles contingencias que pudieran ocurrir en el transcurso de la aplicacin y las acciones que deber tomar para enfrentarlas adecuada- mente, as como los lmites y responsabilidades de los actores involucrados en la situacin de aplicacin. 13 Criterios Tcnicos para el Desarrollo y Uso de Instrumentos de Evaluacin Educativa, 2014-2015 6.5 El personal responsable de la aplicacin del instrumento de evaluacin deber estar previamente capacita- do para realizar dicha tarea. Asimimismo, deber presentar condiciones de imparcialidad, asegurando que no participen como aplicadores las personas que tengan algn conficto de intereses que puedan llegar a afectar los resultados de la evaluacin (por ejemplo, familiares o amigos de las personas evaluadas). 6.6 Los aplicadores debern estar presentes con sufciente antelacin (al menos dos horas antes) en el lugar en el que se realizar la aplicacin del instrumento, a fn de garantizar que se cumpla con todos los requerimientos fsicos y materiales indispensables para llevar a cabo adecuadamente el proceso de evaluacin. 6.7 Una vez iniciada la administracin del instrumento, el aplicador verifcar que las personas por evaluar hayan comprendido cabalmente las instrucciones del instrumento y, en su caso, atender aquellas dudas que estn dentro de su marco de competencia y en los trminos establecidos en el manual del aplicador. Del resguardo de los materiales y la aplicacin 6.8 Los procedimientos para resguardar todos los materiales y productos que deriven del proceso de evaluacin debern contar con medidas de seguridad que salvaguarden su confdencialidad y el buen estado de los mismos, especialmente en las evaluaciones de alto impacto para los alumnos, docentes o instituciones. 6.9 Los materiales y productos del proceso de evaluacin, debern quedar bajo el resguardo de las autoridades com- petentes, quienes debern cuidar su posterior envo al rea responsable del anlisis del instrumento de evaluacin. 6.10 La aplicacin del instrumento de evaluacin se efectuar en espacios que renan las condiciones adecuadas de comodidad, higiene, iluminacin y ventilacin, as como aquellas especfcas que se deban atender dada la na- turaleza de la evaluacin y donde exista el mnimo posible de distracciones. Accin para la verifcacin documental. La instancia responsable del desarrollo del instrumento de evaluacin deber documentar los materiales utilizados para informar a las personas por evaluar sobre las caractersticas y contenidos del instrumento de evaluacin, as como de las particularidades de su aplicacin. Asimismo, deber contar con el manual del aplicador y con el documento donde se detallen los protocolos de aplicacin y resguardo de los materiales. 7. Procesamiento y anlisis de resultados del instrumento 7.1 Uno de los aspectos fundamentales que debe llevarse a cabo antes de emitir cualquier resultado de un proceso de evaluacin es el anlisis psicomtrico del instrumento con el objetivo de verifcar que cuenta con la calidad tc- nica necesaria para proporcionar resultados confables, acordes con el objetivo de la evaluacin. 7.2 Las tcnicas empleadas para el anlisis del instrumento dependern de su naturaleza, diseo de la muestra o tamao de la poblacin, as como de los objetivos especfcos para el cual fue diseado. Sin embargo, en todos los casos, se debern aportar datos sobre la difcultad y discriminacin de sus reactivos o tareas evaluativas, as como sobre los indicadores de consistencia interna o estabilidad del instrumento y de validez de la interpretacin de sus resultados. 7.3 Los procesos anteriores debern permitir identifcar las tareas evaluativas o los reactivos que contribuyen a la calidad mtrica del instrumento y slo estos deben incorporarse para la califcacin de las personas evaluadas, a fn de estimar con mayor precisin su desempeo. Este procedimiento debe permitir, al mismo tiempo, corroborar las claves de las respuestas correctas. 14 Criterios Tcnicos para el Desarrollo y Uso de Instrumentos de Evaluacin Educativa, 2014-2015 7.4 Deber realizarse el proceso de califcacin con base en protocolos estandarizados que incorporen los algorit- mos y reglas de califcacin, considerando que deben ser claras para el pblico usuario del instrumento y que se correspondan con el propsito de la evaluacin. 7.5 Cuando se incluyan procesos de jueceo en la califcacin de un instrumento de respuesta construida, se docu- mentarn con claridad los procedimientos y criterios que utilizarn los jueces en la califcacin de las respuestas. Tambin se proporcionar evidencia del grado de acuerdo entre las puntuaciones dadas por los jueces a fn de que la califcacin obtenida sea un resultado imparcial y objetivo de la medicin. 7.6 Para los instrumentos de evaluacin en los que se requiera determinar un punto de corte para establecer es- tndares de desempeo, el Comit Acadmico deber ser capacitado especfcamente para ejercer su mejor juicio profesional y poder identifcar cul es la puntuacin requerida para que la persona evaluada alcance un determina- do nivel o estndar de desempeo. 3 Accin para la verifcacin documental. La instancia responsable del desarrollo del instrumento de evaluacin deber documentar los protocolos, algoritmos y reglas de califcacin, as como la manera correcta de interpretar los resultados. En los casos que se utilicen puntos de corte para defnir niveles de desempeo, deber documentarse la racionalidad del proceso y las caractersticas de los juicios emitidos por los expertos, as como la evidencia de la idoneidad de su experiencia profesional y formacin acadmica que sustenten la validez de los niveles establecidos. Asimismo, deber documentarse los materiales utilizados para la capacitacin. 8. Difusin y uso de los resultados 8.1 La informacin de los resultados que se haga pblica deber incluir descripciones breves del propsito y las caractersticas del instrumento, precisando lo que pretende medir, las interpretaciones, conclusiones y decisiones que pueden basarse en sus resultados, as como cualquier informacin que ayude a evitar interpretaciones y usos inapropiados de los resultados. 8.2 Las organizaciones que conserven resultados de instrumentos de evaluacin de individuos, debern tener li- neamientos explcitos en cuanto al tiempo que conservarn los resultados, su disponibilidad pblica y su uso a lo largo del tiempo. Lo anterior deber cumplir con lo establecido en la Constitucin Poltica de los Estados Unidos Mexicanos y leyes secundarias correspondientes, en lo referente a la proteccin de datos personales. 8.3 El reporte de resultados de la evaluacin deber ser consistente con el propsito, el objeto de medida y la tabla de especifcaciones del instrumento de evaluacin. En los casos de los instrumentos de evaluacin referidos a un criterio, las etiquetas que identifquen los estndares o niveles de desempeo, debern ser consistentes con la des- cripcin de lo que se espera sea capaz de hacer la persona evaluada para ser clasifcada en cada categora de logro. Deber evitarse el uso de etiquetas estigmatizantes. 3 Para el caso del Servicio Profesional Docente, le corresponde defnir este aspecto al INEE, de conformidad con lo establecido en el numeral I del Artculo 9 de los Lineamientos iniciales especfcos para llevar a cabo la evaluacin del ingreso al Servicio Profesional Docente en Educacin bsica y Educacin media superior y lineamientos iniciales especfcos para llevar a cabo la evaluacin para la promocin a cargos con funciones de Direccin (Directores) en Educacin media superior, para el ciclo escolar 2014-2015. 15 Criterios Tcnicos para el Desarrollo y Uso de Instrumentos de Evaluacin Educativa, 2014-2015 8.4 Ninguna decisin que tenga consecuencias importantes sobre los individuos o instituciones, se basar ni- camente en los resultados de solo un instrumento de evaluacin, por lo cual, debern considerarse otras fuentes confables de informacin que incrementen la validez de las decisiones que se tomen (por ejemplo, en los procesos de ingreso o admisin, la experiencia previa, el promedio escolar, cartas de recomendacin o entrevistas). Accin para la verifcacin documental. La instancia responsable del desarrollo del instrumento de evaluacin deber documentar los formatos utilizados para reportar los resultados del instrumento, as como la racionalidad en la que se bas su diseo. 9. Informe tcnico del instrumento 9.1 La integracin de las evidencias de las fases del proceso de desarrollo del instrumento de evaluacin hasta aqu expuestos (planeacin del instrumento de evaluacin; elaboracin del instrumento de evaluacin; aplicacin o ad- ministracin del instrumento; procesamiento y anlisis de resultados del instrumento, as como la difusin y uso de los resultados) es fundamental para el uso e interpretacin vlidos de las puntuaciones o califcaciones obtenidas. Es por ello que, como parte fnal de todo este proceso, la instancia responsable del desarrollo del instrumento de evaluacin deber elaborar el informe tcnico correspondiente. 9.2 Dicho informe deber resumir los aspectos sustantivos documentados de cada una de las fases del proceso de desarrollo de un instrumento de evaluacin y que han quedado sealados en los nueve apartados denominados Accin para la verifcacin documental en cada caso. Adems deber contener recomendaciones para mejorar la calidad tcnica del instrumento de evaluacin. Mxico, D.F., a los diez das del mes de abril de dos mil catorce.- As lo aprob la Junta de Gobierno del Instituto Nacional para la Evaluacin de la Educacin en la Quinta Sesin Extraordinaria, celebrada el diez de abril de dos mil catorce. Acuerdo nmero SEAJG/5-14/01.O2,R.- La Consejera Presidenta, Sylvia Irene Schmelkes del Valle.- Rbrica.- Los Consejeros: Eduardo Backhof Escudero, Teresa Bracho Gonzlez, Gilberto Ramn Guevara Niebla, Margarita Mara Zorrilla Fierro.- Rbricas