Instrumentos de Evaluacin y desarrollo de reactivos Capacidades Tcnicas

Direccin General de Ingreso, Capacitacin y Certificacin

Septiembre del 2007

Agenda
1. 2. 3. 4. Bienvenida Presentacin Dinmica Curso Instrumentos de evaluacin y desarrollo de reactivos para Capacidades Tcnicas 5. Receso 6. Curso 7. Evaluacin.
Direccin General de Ingreso, Capacitacin y Certificacin

Objetivo del Curso

Compartir los conocimientos tericos y prcticos que facilitan el desarrollo de instrumentos de evaluacin para las capacidades directas y tcnicas, as como, dar a conocer el funcionamiento de operacin del Mdulo Generador de Exmenes.

Direccin General de Ingreso, Capacitacin y Certificacin

Que conocimientos adquiero

Conocer que es una herramienta de evaluacin. Tipos de herramientas de evaluacin.

Cmo disear una herramienta de evaluacin desde la descripcin de la capacidad, considerando las fases que abarca, y los aspectos a cuidar.
El diseo de reactivos, la validacin y ensamblaje de pruebas

Proceso de carga, edicin, criterios, estructura, programacin, inscripcin y revisin de pruebas en el Mdulo Generador de Exmenes.

Direccin General de Ingreso, Capacitacin y Certificacin

Dinmica de Integracin

Direccin General de Ingreso, Capacitacin y Certificacin

Agosto del 2007

Qu es una herramienta de evaluacin

Es el grupo de preguntas, tareas, casos y/o dilemas, as como sus reglas de aplicacin y de procesamiento e interpretacin de sus resultados, diseados para medir una o ms capacidades de una persona.

Sus caractersticas

Objetiva
Enfocada a los aspectos que se van a medir y sin posibilidad de interpretacin.

Confiable
Que arroje resultados consistentes.

Vlida
Que mida lo que debe medir.

Tipos de evaluaciones
1. Conocimientos:
Pruebas objetivas (examen de opcin mltiple) Mtodo de casos (Solucin de problemas).

2. Conductuales.
Pruebas prcticas 360 Assessment center Bandeja de entrada (desarrollo de caso vivencial) Portafolio (Productos o proyectos finales) Evaluacin tipo sinodales o por pares. Mtodo de casos (Solucin de problemas). Diario de actividades. Mapas mentales.

Etapas para su desarrollo

Calificacin

Validacin
Piloteo Elaboracin Diseo

Diseo
Es la planeacin del instrumento.
a. Perfil de referencia: Es el fundamento de la prueba. Es el objeto de medida de la prueba Relacionado a la capacidad. incluyendo: tema, subtemas y nivel de profundidad del conocimiento que se pide llamado nivel taxonmico de la capacidad.

Diseo
b. Tabla de Especificaciones
Presenta la organizacin lgica de los componentes definidos operacionalmente

Establece el nivel y tipo cognoscitivo con que debern ser medidos en la prueba (descrito en la capacidad)
Seala el nmero de reactivos que debern elaborarse por cada componente Esto puede establecerse: Con un nmero estndar de reactivos por tema, para piloteo. Por nivel de relevancia del tema

Diseo
CONOCIMIENTOS GENERALES CONOCIMIENTOS ESPECIFICOS / SUBTEMAS

PROFUNDIDAD DEL CONOCIMIENTO

NMERO DE REACTIVOS % de importancia

NMERO DE REACTIVOS (por tema)

Contenido del Formato de Descripcin y Perfil del Puesto: Datos de identificacin, Cdigo del Puesto y Nombre del Puesto.

Comprensin: Asociar

Relevancia 5 10

4 4

Criterios Oficiales para la descripcin y perfilamiento de puestos

Estructura de la Descripcin del Puesto: Misin, El o los Objetivos, las Funciones y El Entorno Operativo

Aplicacin: Producir

Relevancia 3 6

4 4 4

Estructura del Perfil del Puesto: Escolaridad y/o reas de Conocimiento, Experiencia Laboral y Condiciones de Trabajo
Formato Oficial para la Descripcin y Perfil de Puesto: partes en que se divide y proceso de llenado Proceso para la descripcin y perfilamiento de un puesto

Aplicacin: Producir

Relevancia 1 2

Aplicacin: Operar
Aplicacin: Construir

Relevancia 4 8
Relevancia 1 2

Elaboracin
Es la construccin de la prueba con base en el diseo y en la tabla de especificaciones
Se debe de partir de la descripcin de la capacidad.

Se realiza a partir de la evaluacin de la capacidad a los diferentes niveles de dominio por medio de reactivos de opcin mltiple, o de puntuaciones asignadas a tipo de respuesta en relacin con una conducta modelo.

Elaboracin
Desarrollo del Instrumento
Deben abarcar todos los aspectos contemplados en la descripcin de la capacidad, el perfil de referencia y la tabla de especificaciones.

a. Conocimientos
Puede estar formado por: Preguntas de opcin mltiple: completamiento, apareamiento, solucin de problemas, jerarquizacin, identificacin de graficas o diagramas y cuestionario directo. Preguntas abiertas Situaciones prcticas, etc.

Elaboracin
I. Pruebas Objetivas
En este tipo de examen se recurre a preguntas de opcin mltiple, donde se recomienda utilizar cuatro posibles opciones de respuesta (una correcta, tres incorrectas).
Se puede presentar en las siguientes modalidades: cuestionamiento directo, resolucin de problemas, jerarquizacin u ordenamiento, completamiento de oraciones, relacin de columnas e identificacin de grficas o diagramas, entro otros.

Elaboracin
II. Reactivos de opcin mltiple
La respuesta de un reactivo, no debe depender de la solucin de otro, ni ayudar a contestar otro. Solamente debe de evaluar un resultado de aprendizaje Evaluar conocimientos muy especficos, solo si el tema y el objetivo de aprendizaje lo requieren. Considerar el nivel intelectual y cultural de la poblacin a la que va dirigido. Evitar el uso de lxico complejo, poco comprensible o ambiguo. El tiempo estimado de su resolucin debe de ser aproximadamente un minuto y medio, por pregunta.

Elaboracin
II. Reactivos
La base de el reactivo o premisa, debe: Ser corta, directa y sin rebuscamientos en su redaccin. Presentarlo en forma declarativa o interrogativa. Debe entenderse sin leer las opciones de respuesta. Es mejor usar frases simples: sujeto + predicado + modificaciones. Formular claramente una pregunta de manera que el examinando pueda entenderla sin recurrir a las alternativas y sin recargarla con material innecesario. Estar libre de indicios (claves) sobre cul es la respuesta correcta y evitar el empleo de trminos que confundan. Debe tener los elementos necesarios para ser contestado .Evitar informacin adicional irrelevante. Evaluar un conocimiento, no la opinin del evaluado. Si se usa un negativo, este debe de ser subrayado. No abusar de las abreviaturas.

Elaboracin
Las alternativas u opciones de respuesta:
Las respuestas correctas deben colocarse al azar, distribuidas equitativamente entre las posiciones. Guardar estrecha relacin con la premisa. Evite usar opciones de respuesta como ninguno de estos, ninguno de los anteriores, etc. Tener la misma estructura gramatical. Excluirse mutuamente. No incluir respuestas parecidas que suponga duplicidad de certeza. Ser homogneas en contenido. Presentarse en la forma ms simple posible.

Elaboracin
Los grficos.
Se emplearn solamente cuando sean necesarios para contestar el reactivo. Deben contener todos los elementos esenciales para su interpretacin.

Elaboracin
Importante
Es indispensable que para cada reactivo se especifique:
Tema Nivel Cognitivo Respuesta correcta Referencia bibliogrfica

Elaboracin
Ejemplos:
Qu significan las siglas de la prueba psicomtrica conocida como DAT? a) Differential Aptitude Test b) Duracin Aproximada del Tratamiento c) Ninguna de las anteriores Tema: pruebas psicomtricas Nivel: Comprensin Respuesta correcta: A Referencia. Bellak (2007). Pruebas proyectivas. Pg. 15.

Cul es la instruccin bsica que reciben los evaluados por medio de la tcnica de Karen Machover? a) Dibuja una persona b) Escribe una historia c) Selecciona 6 colores

Elaboracin
Reactivos de complementacin:
Evitar espacios en blanco porque las oraciones pierden el sentido y la unidad, dificultando la comprensin. Los espacios en blanco que se dejen no deben sugerir la respuesta. Las respuestas no deben constituir frases muy largas. Evitar colocar el artculo delante del espacio en blanco porque sugiere la respuesta. No usar frases ni prrafos textuales porque eso estimula el uso de la memoria mecnica. Las oraciones deben estar redactadas como afirmaciones. Evitar usar datos innecesarios porque esto tiende a confundir o a disminuir el ndice de dificultad del reactivo. Evitar el uso de dobles negativos. Cuando se emplee un negativo, este debe ir subrayado o en negritas.

Elaboracin
Ejemplos:
El _____________________________ es una prueba que permite la evaluacin de la personalidad por medio de una tcnica proyectiva de dibujo.

El Test de la casa rbol persona La Escala de Weschler La Tcnica Cleaver

______ es la prueba psicolgica proyectiva que se basa en tarjetas con dibujos y que sirve para la evaluacin de la personalidad. a) DAT b) TAT c) HTP

Elaboracin
Reactivos de verdadero o falso

La redaccin debe ser clara. Debe poderse determinar inequvocamente que el reactivo es Verdadero o Falso. Evite el uso de determinantes especficos tales como: siempre, nunca, generalmente, ningn, algunas veces, etc. Evite el uso de expresiones frecuentemente, en la mayora de los casos, pues tales expresiones no son interpretadas de la misma manera por las personas. Evite los enunciados negativos y especialmente de doble negacin. No incluir ms de una idea en la enunciacin, especialmente si una es verdadera y la otra es falsa. Procure que aproximadamente la mitad de los reactivos sean verdaderos y el resto falsos. Evite los reactivos obvios. Los reactivos deben medir conocimiento, no opiniones personales.

Elaboracin
Ejemplos:
Un buen empleado es aquel que no evita no asistir puntualmente a su lugar de trabajo. Adems, procura entregar sus reportes en tiempo y forma.

a) Cierto b) Falso Se considera un retardo el que un empleado llegue a su lugar de trabajo despus de 25 minutos de la hora establecida.

a) Cierto b) Falso

Elaboracin
b. Comportamientos

I.

Assessment Center

Tcnica de observacin y recopilacin de evidencias de comportamiento, mediante simulaciones o situaciones equiparables a las que pueden presentarse en el desempeo de un puesto y que permite evaluar las capacidades gerenciales de un servidor pblico o un aspirante.

Elaboracin
I. Assessment Center
Ejercicios: Bandeja de entrada Trabajo en equipo: con o sin soles asignados Solucin de problemas Elaboracin de documentos Elaboracin de presentaciones, entre otros

Ejercicio
Juego de roles

Elaboracin
II. Mapas Mentales
Son representaciones mentales. Es la imagen que la persona se forma acerca del significado de un conocimiento. El mapa mental consiste en una representacin en forma de diagrama que organiza una cierta cantidad de informacin. Parte de una palabra o concepto central (en una caja, crculo u ovalo), alrededor del cual se organizan 5 10 ideas as como palabras relacionadas a dicho concepto. Cada una de estas palabras se pueden convertir en concepto central y seguir agregando ideas o conceptos asociados a l.

Elaboracin
II. Mapas Mentales
Ejercicios:
1. 2. 3. 4. Representaciones de procesos. Representaciones de estructuras organizacionales. Representacin de funciones Representacin de perspectivas, entre otros.

Ejercicio

Elaboracin
III. Portafolio
Su uso permite ir monitoreando la evolucin de la persona, de tal manera que se puedan ir introduciendo cambios durante dicho proceso: cmo piensa, cmo cuestiona, analiza, produce o crea, y cmo interacta (intelectual, emocional y social) con otros.

Arter y Spandel (1991) lo definen como una coleccin de documentos en base a un propsito; esta coleccin representa el trabajo de la persona que le permite a l mismo y a otros ver sus esfuerzos de logros en una o diversas reas de contenido.

Recomendaciones para su elaboracin: (Medina y Verdejo, 1999): Determinar el propsito. Seleccionar el contenido y la estructura. Decidir cmo se va a manejar y conservar el portafolio. Establecer los criterios de evaluacin y evaluar el contenido. Comunicar los resultados

Elaboracin
III. Portafolio
Ejemplo: 1. 2. 3. 4. Productos terminados. Documentos elaborados. Evidencias de trabajo. Reportes de trabajo.

Elaboracin
IV. Rbricas o Matrices de Valoracin
Matrices de Valoracin (Rbricas / Rubric en ingls), se encuentran dentro del sistema de valoracin integral. En su construccin se debe ubicar la escala para calificar los criterios en la fila superior. En la primera columna, se ponen los aspectos o categoras a evaluar (objetivos que se desea alcanzar). Por ltimo, en las celdas centrales se describen con la mayor precisin posible, los criterios para evaluar esos aspectos o temas

Elaboracin
En la escala de calificacin de los criterios (fila superior) puede emplearse una valoracin que incluya: Muy Competente, Competente, Aceptable, No Aceptable y No Aplica. Tambin puede utilizarse una escala progresiva que vaya de Excelente a Pobre o expresarse en forma numrica. Es conveniente agregar una tabla de convenciones que especifique lo que significa cada uno de los grados de la escala. Establecer mnimos necesarios.

Ejemplo
Categora Calidad de Informacin Excelente
La informacin est claramente relacionada con el tema principal y proporciona varias ideas secundarias y/o ejemplos.

Satisfactorio
La informacin da respuesta a las preguntas principales y 1-2 ideas secundarias y/o ejemplos.

Satisfactorio con recomendaciones

La informacin da respuesta a las preguntas principales, pero no da detalles y/o ejemplos.

Necesita Mejorar
La informacin tiene poco o nada que ver con las preguntas planteadas.

Organizacin

La informacin est muy bien organizada con prrafos bien redactados y con subttulos.

La informacin est organizada con prrafos bien redactados.

La informacin est organizada, pero los prrafos no estn bien redactados.

Unos pocos errores de gramtica, ortografa o puntuacin.

La informacin proporcionada no parece estar organizada.

Redaccin Inventario de Recursos Tecnolgicos

No hay errores de gramtica, ortografa o puntuacin. Se identifican de manera clara los recursos tecnolgicos (medio instruccional) necesarios para la implantacin del proyecto.

Casi no hay errores de gramtica, ortografa o puntuacin.

Muchos errores de gramtica, ortografa o puntuacin.

Se identifican de alguna manera los recursos tecnolgicos necesarios.

Se identifican de manera parcial pero clara los recursos tecnolgicos necesarios.

Se identifican de manera incompleta y poco clara los recursos tecnolgicos necesarios.

Recursos

Se identifican claramente los recursos humanos, materiales y econmicos para ejecutar el proyecto.

Se identifican de alguna manera los recursos humanos, materiales y econmicos para ejecutar el proyecto.

Se identifican de una manera parcial pero clara los recursos humanos, materiales y econmicos para ejecutar el proyecto.

Se identifican de manera incompleta y poco clara los recursos humanos, materiales y econmicos para ejecutar el proyecto.

Propuesta

Se complementa la solucin propuesta con la incorporacin de la tecnologa de una manera clara y precisa.

Se complementa la solucin propuesta con la incorporacin de la tecnologa.

Se desarrolla una propuesta de solucin pero se menciona de manera parcial la incorporacin de tecnologa. Se determinan de manera parcial las fechas para el desarrollo, implantacin y evaluacin del proyecto.

Se completa de manera vaga una propuesta de solucin sin el uso de tecnologa.

Cronograma

Se determinan las fechas para el desarrollo, implantacin y evaluacin del proyecto.

Cumple con los tiempos estipulados para entrega del Reporte de la Fase III.

Se determinan las fechas para el desarrollo, implantacin y evaluacin del proyecto.

Se determinan algunas fechas para el desarrollo del proyecto pero de manera vaga, poco concreta o imposibles de cumplir.

Tiempo de Entrega

Entrega el reporte 1 da tarde.

Entrega el reporte 2 da tarde.

Entrega el reporte 3 da tarde.

Ejemplo: Presentacin oral

Excelente Buen proceso de preparacin, muestra profundidad en el desarrollo del tema. Domina el tema propuesto, logra conectarlo y explicarlo en sus diferentes aspectos. La evaluacin logra analizar el tema. Cumpli Bien Cumplido en la presentacin de los resmenes aprovecha el tiempo para aclaraciones. Logra explicar el tema relacionando los diferentes aspectos de ste. La evaluacin tiene en cuenta los diversos aspectos presentados. Cumpli Presenta el resumen y la actividad planeada sucintamente. Conoce el tema superficialmente, logra explicar los puntos planteados. La actividad de evaluacin es poco adecuada. Preparacin

Sustentacin Terica

Manejo de la Discusin

Bien liderada, suscita controversia y participacin.

Es Organizada, puede contestar los diferentes interrogantes.

La dirige, no resalta los puntos ms importantes no llega a conclusiones.

Participacin

Pertinente. Activa, es fundamental para el buen desarrollo de cada uno de los temas.

Oportuna, aporta buenos elementos, presta atencin a las distintas participaciones.

Est presente. Presta poca atencin a las distintas participaciones.

Elaboracin
V. 360 o Evaluacin Integral
Consiste en la apreciacin que tienen diversas personas sobre el los conocimientos o comportamientos de una de ellas o de un tercero, como medio para establecer su dominio o nivel de dominio probable de una capacidad compuesta por esos conocimientos o comportamientos.

Incluye a la propia persona evaluada, pares, superiores, colaboradores y, en ocasiones, clientes y/o proveedores.

Elaboracin
V. 360 o Evaluacin Integral
Superior

Pares

Pares

Persona evaluada

Colaboradores

Colaboradores

Proveedores o clientes

Piloteo
Monitorear la confiabilidad y validez de los exmenes Vigilar el nivel de dificultad y la capacidad de discriminacin de los exmenes Generar bancos de reactivos suficientemente amplios Realizar pilotajes de los exmenes Generar exmenes que evalen el nivel de comprensin de un tema, ir mas all de evaluar la MEMORIA

Validacin
Consiste en analizar los resultados de aplicaciones preliminares de la prueba para confirmar estadsticamente su validez y su confiabilidad as como establecer las condiciones definitivas para el manejo y administracin del instrumento con los usuarios. Antes de calificar se debe de considerar:
ndice de dificultad. Corresponde al ndice obtenido por el nmero de personas que responden correctamente el reactivo. El rango de dificultad aceptable va de .20 a .80 ndice de discriminacin. Un reactivo de discriminacin aceptable, es aquel que diferencia a los que saben de los que no.

Calificacin
Es el mecanismo de ponderacin y valoracin de los resultados obtenidos Utilizar un criterio de calificacin y explicarlo.
En el caso de prueba objetiva: Analizar la dificultad de reactivos, considerando para la calificacin los que se encuentren en el rango de aceptables, mejorar los reactivos que no estn en ese rango. Analizar la discriminacin de estos, en caso de que no discriminen, revisar redaccin del reactivo y los distractores para plantearlo de manera diferente. Establecer con base a lo anterior los puntos de corte. En el caso de prueba prctica, puntaje aprobatorio

Preguntas por etapa

Diseo
Qu tipo de prueba va a ser? Cul es la descripcin de la capacidad? Cul es mi tabla de especificaciones, cmo va a estar estructurado el instrumento?
Cmo se evaluar? Preguntas Casos prcticos Evaluacin de documentos

Elaboracin Piloteo Validacin Calificacin

Cmo se resguardar el instrumento? Con cuntas personas se va a probar el instrumento? Cmo se analizar que sea objetivo, valido y confiable? Cul ser el criterio de calificacin y la asignacin de sta?

Mdulo Generador de Exmenes

Direccin General de Ingreso, Capacitacin y Certificacin

Septiembre del 2007

Proceso de evaluacin
RH
Inicio

Generacin Catlogo Tcnicas

/ Actualizacin del de Competencias

Creacin Tema Examen

del de

Generacin del Pool de reactivos

Configuracin del Examen

Asignacin Examen Consulta Resultados Toma Decisiones del

Candidato
Aplicacin Examen del

de

de

Fin

Administrador del Modulo Generador

Direccin General de Ingreso, Capacitacin y Certificacin

Septiembre del 2007

Men principal

Tipos de usuarios

1. Administrador
2. Elaborador de reactivos

3. Aplicador de Evaluaciones

Usuario del sistema

Men principal

Bitcora de accesos

Bitcora de accesos

Bitcora de accesos

Bitcora de accesos

Men principal

Mantenimiento de catlogos

Mantenimiento de catlogos

Mantenimiento de catlogos

Mantenimiento de catlogos

Men principal

Men principal

Men principal

Ensamblaje de exmenes

Men principal

Programacin de sesiones

Programacin de sesiones

Programacin de sesiones

Programacin de sesiones

Programacin de sesiones

Men principal

Resultados de examen

Resultados de examen

Men principal

Registro de personas

Registro de personas

Men principal

Administracion de inventario

Administracion de inventario

Administracion de inventario

Servidor Publico

Direccin General de Ingreso, Capacitacin y Certificacin

Septiembre del 2007

Inscripcin

Men principal

Inscripcin del SP

Inscripcin del SP

Inscripcin del SP

Men principal

Evaluacin del SP

Evaluacin del SP

Evaluacin del SP

Una vez que el evaluado haya terminado de responder su evaluacin, deber hacer clic en Terminar

Preguntas y Respuestas

Direccin General de Ingreso, Capacitacin y Certificacin

Septiembre del 2007

Evaluacin y Retroalimentacin

Direccin General de Ingreso, Capacitacin y Certificacin

Septiembre del 2007

Gracias por asistir y participar

Direccin General de Ingreso, Capacitacin y Certificacin

Septiembre del 2007