Prueba Sicotecnica Procuraduria Como Modelo

Informe Cientfico
Prueba Psicotcnica
Fortalecimiento del talento humano
Convocatoria 2006-2007
Oficina de Seleccin y Carrera
Informe cientfico Prueba psicotcnica
Convocatoria 2006-2007 Fortalecimiento del talento humano
Edgardo Jos Maya Villazn Procurador General de la Nacin Roco Bernal Garay Jefe Oficina de Seleccin y Carrera Informe Cientfico Prueba psicotcnica Convocatoria 2006-2007 Fortalecimiento del talento humano Instituto de Estudios del Ministerio PblicoIEMP, 2008. Carrera 5 15-80 piso 16 Bogot, D.C., Colombia pbx:(1)3520066-3360011 Exts.: 11603, 11605, 11621, 11622 http://iemp.procuraduria.gov.co Procuradura General de la Nacin, 2007. Carrera 5 15-80, Bogot, D.C., Colombia pbx:(1)3520066-3360011 www.procuraduria.gov.co
Prohibida su reproduccin total o parcial sin la autorizacin de la Procuradura General de la Nacin.
Redaccin: Oficina de Seleccin y Carrera Procuradura General de la Nacin Diseo editorial: Hernn Hel Huertas Olaya Diseador grficoiemp Coordinacin editorial: Jos Patrocinio Castaeda R. Impresin: Imprenta Nacional Impreso en Colombia Marzo de 2008 ISBN: 978-958-8295-66-4
CONTENIDO Agradecimientos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Introduccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. 7 9
GENERALIDADES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 1.1. 1.2. 1.3. 1.4. 1.5. 1.6. Ficha Tcnica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 Objetivo General . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 Justificacin tcnica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 Mtodo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 Marco Legal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 Sntesis del Marco terico . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 1.6.1. Competencias Laborales Concepto y Dimensiones . 20 1.6.2. Las Competencias en el Sector Pblico . . . . . . . . . . . . 22 1.6.3. Pruebas Psicotcnicas para la Evaluacin de las Competencias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.
DISEO DE LA PRUEBA PSICOTCNICA PARA LA CONVOCATORIA 2006 -2007. FORTALECIMIENTO DEL TALENTO HUMANO. PROCURADURA GENERAL DE LA NACIN. . . 25 2.1. 2.2. Estructura de la prueba psicotcnica . . . . . . . . . . . . . . . . . . 26 Factores que intervienen en la elaboracin de una prueba 2.2.1. Validez . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 27
2.2.2. Validacin por jueces . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 2.2.3. Confiabilidad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.2.4. Anlisis de tems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.
APLICACIONES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 3.1. 3.2. Prueba de seleccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 Prueba de orientacin ocupacional y profesional . . . . . . . . 52
3.3. 3.4. 4. 5.
Evaluacin de perfiles personales . . . . . . . . . . . . . . . . . . . . . 52 Instrumento de diagnstico para formacin . . . . . . . . . . . . 52
NORMAS DE APLICACIN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 CALIFICACIN E INTERPRETACIN . . . . . . . . . . . . . . . . . . . . . 53 5.1. Calificacin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 5.2. Interpretacin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 5.2.1. Escala de puntajes para la interpretacin cuantitativa 54
6. 7.
PUBLICACIN DE RESULTADOS . . . . . . . . . . . . . . . . . . . . . . . . . 65 CONCLUSIONES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 REFERENCIAS BIBLIOGRFICAS . . . . . . . . . . . . . . . . . . . . . . . . . 69
ANEXOS Tabla de anexos Anexo 1. Formato de validacin de la estructura de la prueba psicotcnica por expertos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . Anexo 2. Formato de validacin de tems de la prueba psicotcnica por expertos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 77
Anexo 3. Publicacin de resultados prueba psicotcnica. Ejemplo 83
Agradecimientos
Este informe cientfico no se habra concretado de esta manera, sin la ayuda de diversas personas e instituciones. Es por esto que reiteramos nuestro sincero agradecimiento a todos aquellos que, con su aliento, apoyo activo y sugerencias, fortalecieron el desarrollo de la prueba psicotcnica de la convocatoria Fortalecimiento del Talento Humano Convocatoria 2006-2007 y que dejan su valioso aporte reflejado en cada una de las pginas que hoy presentamos orgullosamente. A todos los funcionarios que conforman la Oficina de Seleccin y Carrera Administrativa de la Procuradura General de la Nacin, porque sin la gua de Dios, el trabajo y compromiso por construir una entidad de resultados, no se hubieran podido sortear todos los obstculos que se presentan para alcanzar una meta. Recibimos una ayuda inestimable de brillantes expertos en el rea de la psicometra: acadmicos, analistas y profesionales entregados y comprometidos con la mejora continua de los procesos de seleccin de personal en el sector pblico. Entre ellos resaltamos al Instituto Colombiano para el Fomento de la Educacin Superior, (ICFES), a su directora, la doctora Margarita Mara Pea, por el apoyo prestado en las diferentes etapas de la convocatoria 2006-2007, al doctor Carlos Pardo y al doctor Ernesto Cuchimaque, profesionales especializados de la Subdireccin Acadmica del ICFES; la doctora Amada Ampudia Rueda de la Universidad Nacional Autnoma de Mxico, UNAM; la doctora Mara Mitsuko Okuda, docente de la Universidad Federal de Gois en Brasil; el doctor Andrs Burga Len, consultor en anlisis estadstico y psicomtrico y coordinador del equipo de Anlisis e Informtica del Ministerio de Educacin de Per; el doctor Carlos Vargas, Decano de la Facultad de Psicologa de la Universidad Catlica de Colombia, y a la doctora tala Camargo, docente en el rea de Medicin de la Universidad Catlica de Colombia. As mismo, agradecemos el apoyo prestado por diferentes dependencias, especialmente a la Oficina de Sistemas, dirigida por el ingeniero Mauricio Lpez; la Oficina de Control Interno, dirigida por el doctor Gonzalo Sierra Vasco, y a la Procuradura Delegada Preventiva para la Funcin Pblica, dirigida por la doctora Mara Fernanda Guerrero Matus.
|
Introduccin
La Procuradura General de la Nacin es un organismo de control en Colombia que tiene como misin vigilar el correcto funcionamiento de la funcin pblica, para salvaguardar los derechos e intereses de los ciudadanos, garantizar la proteccin de los derechos humanos e intervenir en representacin de la sociedad para defender el patrimonio pblico; esta misin es muy importante para el pas y la sociedad colombiana y para lograrlo la entidad requiere un capital humano con altos niveles en sus competencias. La Oficina de Seleccin y Carrera Administrativa tiene como funcin principal ejecutar y coordinar los procesos de seleccin para el ingreso a la entidad y el ascenso de los servidores pblicos inscritos en la carrera administrativa de la Procuradura General de la Nacin. En el marco de este proceso, le corresponde elaborar y aplicar las pruebas que se deban utilizar en los concursos. De acuerdo con el artculo 203 del Decreto 262 de 2000, las pruebas o instrumentos de seleccin tienen como finalidad establecer las aptitudes, habilidades, conocimientos, experiencia y que las condiciones de los aspirantes correspondan con la naturaleza y el perfil de los empleos que deben ser provistos y permitir la clasificacin de dichos aspirantes. La valoracin de estos rasgos se har mediante pruebas escritas, de ejecucin, anlisis de antecedentes, entrevistas, evaluaciones finales de los cursos efectuados por la entidad y otros medios tcnicos que permitan conocer las reas objeto de evaluacin y que respondan a criterios de objetividad e imparcialidad, con parmetros de calificacin previamente definidos por el Procurador General de la Nacin y coherentes con la normatividad vigente. Este documento recopila toda la informacin relacionada con el diseo, aplicacin, calificacin, interpretacin y validacin de la prueba psicotcnica
procuradura general de la nacin
Convocatoria 2006 - 2007
aplicada en el marco de la convocatoria 2006-2007 denominada Fortalecimiento del talento humano. Dentro del conjunto de acciones y actividades que conforman el desarrollo de un concurso, las pruebas como instrumento y la evaluacin como accin son los aspectos que suscitan mayor inquietud, tanto entre los aspirantes, el personal constructor de preguntas, como entre las dependencias que tienen las competencias del diseo, construccin, desarrollo y aplicacin de las pruebas. La forma como se plantean las pruebas, clasificatorias o eliminatorias, as como la interpretacin y uso de los resultados, constituyen una gran inquietud por parte de los usuarios del subproceso de seleccin de carrera. Existe una cierta confusin en torno al concepto de evaluacin para la seleccin, a sus elementos y a sus funciones. La seleccin por medio de la aplicacin de pruebas no se identifica nica y exclusivamente con la calificacin y promocin del aspirante a las siguientes etapas del subproceso; ella tambin reporta una informacin valiosa de los concursantes en lista de elegibles y en perodo de prueba sobre los temas mejor ejecutados por ellos, as como sus caractersticas y destrezas que se convierten en lnea de base para que la entidad establezca planes y programas de capacitacin y desarrollo personal, mejorando la calidad de vida de ese nuevo funcionario. Aclarar esta problemtica requiere mejorar el conocimiento sobre la evaluacin y sobre las pruebas, para que pueda ser asumida y valorada como lo que se espera que sea, una herramienta til. En todo concurso de mritos se busca seleccionar personal idneo para desempear el cargo por proveer; esta seleccin se realiza a travs de las pruebas diseadas, desarrolladas y utilizadas en cada concurso. Las mismas tienen un carcter predictivo; se predice que el concursante de mayor puntaje tendr un mejor ajuste a las funciones del cargo convocado. Bajo este criterio estamos evaluando a los concursantes y esto implica estimar, juzgar el valor, la excelencia, las cualidades o destrezas de cada uno de ellos. La polisemia del concepto evaluacin, facilita que en la prctica el ejercicio mismo de evaluar lo defina categricamente; evaluacin puede significar tanto estimar y calcular como valorar y apreciar. Dentro de la evaluacin, la seleccin, histricamente y an en la actualidad ha cumplido la funcin de dirigir mecanismos de control social. Foucault
10 |
informe cientfico prueba psicotcnica
(1993) la prueba combina las tcnicas de la jerarqua que vigila y las de sancin que normaliza. Es una vigilancia que permite calificar, clasificar y determinar. Establece sobre los participantes una visibilidad a travs de la cual se los diferencia y se los sanciona. Dentro del concepto estimado en los concursos de mritos, est la funcin de promocin y acreditacin; esta funcin tiene una clara dimensin social, supone la exposicin de competencias profesionales. Desde una perspectiva cualitativa, diferente a lo social, la evaluacin se centra en reconocer lo que est sucediendo y comprender qu significado tiene esta para las diferentes personas; en este caso no solo se evala el producto sino tambin el proceso. Existe un tercer paradigma, quizs de los ms importantes para los que tenemos la delicada tarea de utilizar cada da mejores instrumentos de evaluacin: el crtico; la evaluacin no slo se centrar en recoger informacin sino que tambin implica dilogo y autorreflexin. Sin embargo no podemos olvidar que la evaluacin clasifica y el objetivo de una clasificacin es establecer niveles para la toma de decisiones respecto a la organizacin de la poblacin en subgrupos. Estos subgrupos pueden responder a criterios de seleccin homognea o heterognea segn el caso; seleccin supone un criterio de nivel mnimo requerido. Los significados ms frecuentes asociados con la evaluacin, dentro de un concurso de mritos, son las ideas relativas a: La validez de los instrumentos. El clculo del valor de una cosa. La calificacin. El juicio sobre el grado de suficiencia o insuficiencia de determinados componentes. La penalizacin en cualquier etapa del concurso.
Estos significados permean la apreciacin de la evaluacin dentro de un proceso de este tipo y a su vez contribuye a la generacin de un conjunto de estereotipos que dificulta la prctica de seleccin: La Entidad no quiere que yo me vincule, presentemos recurso de reclamacin a ver qu nos contesta la Entidad, entutelemos de pronto mejora mi situacin, espero que la En11 |
tidad haga una diferencia conmigo, etc. Reconocer una definicin de evaluacin ayuda a modificar y a entender estos comportamientos. Ya sea a travs de la observacin o de ciertas formas de medicin se obtiene informacin, esa informacin constituye los indicios visibles de aquellos procesos o elementos ms complejos que son los que pretendemos evaluar. Siempre hay que tener presente que toda accin de evaluacin finalmente se lleva a cabo sobre un conjunto de indicios que se seleccionan de modo no caprichoso sino sistemtico y planificado, pero no por ello dejan de ser indicios. Un componente central en toda accin de evaluacin es la presencia de criterios, es decir elementos a partir de los cuales se puede establecer la comparacin respecto del objeto de evaluacin o algunas de sus caractersticas. Este es uno de los elementos de ms dificultosa construccin metodolgica y a la vez ms objetable en los procesos de evaluacin. La mayor discusin en materia de evaluacin se plantea alrededor de la legitimidad de los criterios adoptados en una determinada accin evaluativa, es decir, quin y cmo se definieron esos criterios. Otra preocupacin dentro de la evaluacin se ubica en la seleccin de las herramientas, las tcnicas y los instrumentos ms adecuados para llevar a cabo la tarea de evaluacin. En la bsqueda de los instrumentos, es necesario tener presentes algunos aspectos fundamentales: Una de las tareas ms importantes es la construccin de instrumentos de evaluacin. Ningn objeto de evaluacin puede ser abarcado en su totalidad con un nico instrumento; por tanto, es necesario abandonar la idea de construir un instrumento que abarque absolutamente el objeto de evaluacin. Cada uno de los diferentes tipos de instrumentos y tcnicas de recoleccin y registro de la informacin posee ventajas y desventajas; la ponderacin de ambos aspectos y la idea de complementariedad de estos deben orientar la seleccin de los instrumentos a emplear. Existen muchas tipologas o clasificacin de instrumentos, pero ms all de la adopcin de unos u otros criterios clasificatorios lo central es poder identificar estas diferentes herramientas como complementarias entre s.
12 |
Para los concursos de mritos adelantados por la Procuradura General de la Nacin, se desarrollan mnimo tres tipos de pruebas. Dos es obligatoriedad: existen en la norma vigente que por lo menos una de las pruebas tenga carcter eliminatorio y dentro de ellas se encuentre el anlisis de antecedentes o estudio de hoja de vida. El sentido de la aplicacin de una prueba psicotcnica es evaluar las competencias personales necesarias que tiene un individuo para desempearse en un cargo. Las competencias individuales corresponden a aspectos distintos a los elementos considerados como conocimientos, dado que las primeras hacen referencia a aspectos particulares y nicos de las personas y los conocimientos son el resultado directo de los procesos educativos en los que ha participado el individuo. Las pruebas permiten una evaluacin objetiva de las competencias y presentan ventajas sobre las entrevistas en la medida en que evitan la emisin de juicios de carcter subjetivo por parte del evaluador; adicionalmente no se restringen al estado motivacional de la persona en el momento de la evaluacin, sino que permiten dar cuenta de la tendencia habitual del comportamiento de un individuo en diferentes situaciones. De acuerdo con las especificaciones de las convocatorias, se trata de una prueba clasificatoria, no eliminatoria, ya que se parte del principio de la existencia de las competencias en diferentes niveles en todas las personas y no de la presencia o ausencia de las mismas. Para la seleccin de las competencias de esta prueba en particular, se tuvo en cuenta el resultado de mltiples investigaciones a nivel nacional e internacional relacionadas con la identificacin de competencias psicolgicas asociadas al comportamiento laboral; en tal sentido cada competencia es considerada igualmente importante a las dems, lo que implica una valoracin igual para cada una. Todo proceso de evaluacin exitoso debe observar algunos requerimientos indispensables o atender a cierto conjunto de premisas: En primera instancia debe entenderse que toda accin evaluativa es una forma particular de intervenir en la realidad; cualquiera que sea la estrategia metodolgica adoptada, los objetos de evaluacin sufren algn tipo de modificacin como consecuencia de esta intervencin. Esta fue una de las circunstancias ms importantes que se tuvo en cuenta para desarrollar la prueba
13 |
psicotcnica en vez de la entrevista, porque presenta ponderadamente menos alteracin de la realidad y su efecto es controlable. En segunda instancia toda evaluacin, por su naturaleza, requiere criterios establecidos respecto de los cuales se formulen los juicios valorativos. La forma como se lleg a los juicios valorativos en la prueba psicotcnica, su formulacin, definicin y construccin, significan uno de los mayores aportes de esta prueba psicotcnica. En tercer lugar y teniendo en cuenta que toda accin evaluativa se sustenta en la produccin de informacin, esta se constituye en el insumo bsico sobre el que se producen los procesos de evaluacin. Por lo tanto el rigor tcnico dirigido hacia la seleccin de las fuentes, las formas de recoleccin, registro, procesamiento y anlisis, as como la confiabilidad y validez, resultan exigencias insoslayables a la hora de llevar a cabo una evaluacin con rigor cientfico, aspectos que la Procuradura General de la Nacin se complace en presentar a partir de este informe. La caracterstica misma del concurso trae como consecuencia un notable juzgamiento de las pruebas por parte de los sujetos que de una u otra manera se ven involucrados en el proceso. Por ello es necesario considerar en trminos generales quines son los sujetos alcanzados de una u otra forma por las acciones evaluativas, a travs de las pruebas de seleccin, y generar entre ellos cierta base de consenso y aceptacin. Esto contribuye a evitar la resistencia que genera todo tipo de evaluacin. La comunicacin amplia sobre las finalidades de las acciones de evaluacin, los procedimientos predominantes, las estrategias que promueven una mayor aceptacin del proceso evaluativo en s, son aspectos que queremos abarcar con esta publicacin, generando espacios de anlisis y reflexin para la Procuradura y para las otras entidades estatales que desarrollan procesos de seleccin por mritos.
14
1. Generalidades
1.1. Ficha Tcnica
NOMBRE: PRUEBA PSICOTCNICA AUTOR INSTITUCIONAL: Procuradura General de la Nacin, Oficina de Seleccin y Carrera AUTORES: Roco Bernal Garay; Anglica Chvez Henrquez; Carlos Forero Aponte; Anne Gil Batista; Martha Luca Gmez Gonzlez; Martha Cecilia Lozano Ardila; Norma Mosos Echeverri; Julio Prez Mogolln y Csar Ivn Velandia Lpez. PROCEDENCIA: Colombia FORMA DE APLICACIN: Individual o colectiva. DURACIN: 60 minutos POBLACIN: Adolescentes mayores de 14 aos y adultos. NIVEL DE EDUCACIN MNIMO: Formacin bsica primaria. PUNTUACIN: Sistematizada, mediante hojas de armada para cada forma. SIGNIFICACIN: Evaluacin de las caractersticas psicolgicas personales del sujeto, que examina conductas humanas en circunstancias determinadas y permite establecer el grado de ajuste con el perfil esperado. Se desarrolla mediante la siguiente clasificacin y agrupacin por niveles ocupacionales: Nivel operativo; nivel tcnico y administrativo; nivel profesional; nivel ejecutivo y asesor. TIPIFICACIN: Poblacin colombiana que particip en la convocatoria 20062007 denominada Fortalecimiento del Talento Humano de la Procuradura General de la Nacin. MATERIAL: Un (1) cuadernillo para cada forma Hoja de respuesta para lectora ptica. Hoja de armada. Manual de calificacin e interpretacin.
15
1.2. Objetivo General

La prueba psicotcnica evala cuatro (4) niveles ocupacionales (nivel operativo; nivel tcnico y administrativo; nivel profesional; nivel ejecutivo y asesor) establecidos en la Forma I, Forma II, Forma III y Forma IV, de acuerdo con la clasificacin de cargos de la entidad. Cada forma est constituida por un ncleo comn y un ncleo especfico compuestos por un conjunto de tems que evalan un nivel ocupacional; permiten examinar comportamientos humanos en diferentes circunstancias, discriminar y medir una multiplicidad de variables psicolgicas, permitiendo constatar el grado de ajuste del desempeo del aspirante con el perfil esperado, en el marco del Decreto 262 de 2000, 263 de 2000, Decreto 2539 de 2005 y la Resolucin 450 de 2000, entre otros. FORMA I: DESCRIPCIN: Compuesto por cargos del empleo Auxiliar de Servicios Generales grado 03. Desarrollan labores que se caracterizan por el predominio de actividades manuales o tareas de simple ejecucin, como labores de aseo y cafetera. MISIN: Realizar actividades relacionadas con cafetera y aseo de las instalaciones de la entidad con el propsito de satisfacer las necesidades de consumo del cliente interno y externo as como mantener las instalaciones en buen estado de limpieza. FORMA II: DESCRIPCIN: Compuesto por cargos de los niveles tcnico y administrativo de los grados 08 al 13. A los tcnicos, sus funciones les demandan la aplicacin de conocimientos tcnicos, habilidades y destrezas que favorezcan la obtencin de resultados bsicos y el prestar apoyo tcnico a los niveles superiores, como elaborar e interpretar cuadros, informes, estadsticas y datos. A los administrativos les corresponde la ejecucin de funciones complementarias de carcter administrativo y de apoyo a los niveles superiores, por ejemplo: recibir, tramitar, distribuir y archivar documentos. MISIN: A los tcnicos, aplicar los conocimientos tcnicos de su competencia con el fin de servir de apoyo a las investigaciones que se desa|
16
rrollen y contribuir en la obtencin de las metas de la dependencia. A los administrativos, realizar actividades secretariales y administrativas con el propsito de contribuir en la consecucin de los objetivos propios de la dependencia. FORMA III: DESCRIPCIN: Compuesto por cargos de los niveles profesional de los grados 15 al 18, y tcnico de los grados 15 al 19. Los tcnicos de estos grados desarrollan funciones semejantes a las del profesional. Las funciones consisten en la aplicacin de conocimientos propios de cualquier profesin avalada por un ttulo o aos aprobados de educacin superior segn el caso; se centran en disear, organizar, coordinar y ejecutar planes, programas y proyectos. MISIN: Aplicar conocimientos, principios y tcnicas propios de una profesin conforme a la naturaleza y funciones del cargo, as como disear, planear y coordinar proyectos con el fin de participar en la adquisicin de las metas de la dependencia. FORMA IV: DESCRIPCIN: Compuesto por cargos de los niveles ejecutivo y asesor de los grados 19 al 24. Las funciones del nivel ejecutivo se relacionan con la ejecucin, supervisin, orientacin, coordinacin y control de las actividades. Las del nivel asesor se especializan en asesorar al Procurador y a las personas del nivel directivo, aportando elementos de juicio para la toma de decisiones. MISIN: Asesorar al superior inmediato; analizar, evaluar y proyectar conceptos, dirigir y coordinar proyectos y equipos de trabajo a cargo con el propsito de participar en la consecucin de las metas de la dependencia.
1.3. Justificacin Tcnica

En Acta 147, la Comisin de Carrera de la Procuradura General de la Nacin en sesin celebrada el 10 de febrero de 2006 determin que para el proceso de seleccin 2006 ... no se utilizar como prueba o instrumento de selec17 |
cin la entrevista sino una prueba psicotcnica. Adems seal ...por medio de la prueba psicotcnica se pretende medir aspectos tales como competencias, caractersticas de personalidad e inteligencia emocional entre otros. Con Resolucin 210 del 6 de agosto de 2007, se adoptan y reglamentan los parmetros para la prueba psicotcnica en los concursos de mritos de la Entidad. En dicha resolucin, se establece que la prueba psicotcnica tendr una estructura soportada mediante marco conceptual, definicin del componente, definicin de las unidades de competencia, con sus respectivos indicadores.
1.4. Mtodo
El diseo para la batera de las pruebas psicotcnicas es un DISEO CUASIEXPERIMENTALM; se trata de un diseo de construccin de pruebas, en el que tanto su elaboracin como su aplicacin permiten poner a prueba el instrumento. Es la especificacin de aspectos de las diferencias individuales que son medidas por una prueba, que se construye seleccionando los tems, de acuerdo a sus propiedades sustantivas. La anterior definicin hace ver al constructor de pruebas como un experimentador que controla las variables tericas, que son representadas en una tarea al seleccionar cuidadosamente, controlar o contrabalancear los estmulos contenidos. (Embreston, S., 1985). La similitud entre los mtodos de la psicologa experimental y la psicologa correlacional hace que el diseo de pruebas sea una tarea posible. Es decir, mediante un grupo de tareas se pueden medir las diferencias individuales. A su vez estas tareas pueden ser diseadas para representar un constructo psicolgico. Pero el diseo de pruebas exige de una teora sustantiva (marco terico) y mtodos psicomtricos que puedan ser aplicados de manera conjunta. Los tests no pueden ser diseados por sus propiedades sustantivas (contenidos del tem), a menos que las variables que determinen las respuestas de los tems puedan ser definidas y explicadas. En esencia, comprender las respuestas a los tems requiere una teora sobre las variables que estn involucradas en el diseo y respuesta a un tem. As, la teora psicolgica es fundamental en el diseo y ejecucin de las pruebas (Embreston, S., 1985).
18 |
Los mtodos psicomtricos son cruciales para relacionar las propiedades sustantivas de los tems con las diferencias individuales. Las variables tericas que influyen en las respuestas a los tems no necesariamente contribuyen a las diferencias individuales. Sin embargo, el modelo psicomtrico es necesario para clarificar cmo la manipulacin de aspectos especficos de las tareas de los tems influye sobre los atributos medidos a travs de la ejecucin de la persona en un test. Dado que las teoras psicolgicas normalmente postulan distintas variables que influyen sobre la ejecucin de una tarea, los mtodos psicomtricos pueden servir para evaluar la contribucin de las mltiples variables independientes requeridas. Por lo tanto el impacto de cada variable independiente puede ser evaluado por tems individuales, lo que marca la relevancia del diseo de pruebas (Embreston, S., 1985). El diseo de pruebas est fuertemente relacionado con la validez de constructo la cual depende de la representacin terica del constructo y la extensin nomottica [generalizacin] que determina. La representacin de constructo tiene que ver con los constructos tericos que explican la respuesta a los tems. Al seleccionar los tems de acuerdo con su impacto relativo en varios constructos, una prueba puede ser diseada para representar aspectos especficos de las diferencias individuales. La extensin nomottica mide la utilidad de la prueba para medir diferencias individuales. Por tanto, la validez externa de la prueba puede ser explicada desde los constructos tericos que han sido operacionalizados en el contenido del tem (Embreston, S., 1985).
1.5. Marco Legal

La definicin de los perfiles ideales para las cargos por convocar y los componentes de la prueba psicotcnica se fundamentaron en el marco estratgico y organizacional de la Procuradura General de la Nacin, en el Decreto 262 de 2000, Decreto 263 de 2000, Resolucin 450 de 2000, Resolucin 210 de agosto 6 de 2007 y dems resoluciones reglamentarias, as como en la Ley 909 de 2004, el Decreto 770 y 785 de 2005 y el Decreto 2539 de 2005.
1.6. Sntesis del Marco terico

El aumento de la flexibilidad y los cambios laborales, tanto internacionales como nacionales, exigen mayores niveles de competencia de los funciona19 |
rios, sea cual sea su nivel de desempeo. Es importante tener en cuenta que en las dos ltimas dcadas se requieren nuevas modalidades de relaciones entre los diferentes sectores de las sociedades. Por ejemplo, entre los sectores industriales y las empresas; las entidades del Estado y la sociedad civil; entre las entidades pblicas y las entidades privadas. As adquieren nuevos significados las relaciones entidades pblicas - territorios o localidades, lo cual supone la articulacin de mltiples actores sociales como empresarios, investigadores, funcionarios pblicos y privados, Estado y ciudadanos, que permitan disponer de condiciones de cambio para lograr un adecuado desarrollo de las organizaciones y de la sociedad en su conjunto. Es responsabilidad de cada uno de los organismos de la administracin pblica propender por la certificacin del Sistema de Gestin de la Calidad ISO 9001:2000 que la diferenciar de las otras entidades pblicas y privadas, de all la importancia de definir, desde su plan estratgico y sus objetivos, las competencias que denoten lo que los funcionarios mejor hacen y saben hacer por los usuarios. Las competencias, como el conjunto de saberes en accin tanto de la organizacin como de los sujetos, determinan las rutas necesarias para alcanzar la calidad esperada. La Procuradura General de la Nacin, en coherencia con su misin y visin, con criterios de transparencia e idoneidad, ha fundamentado y diseado un instrumento con cuatro formatos para la seleccin de los empleados pblicos que por va de seleccin se incorporarn a diferentes labores propias de su naturaleza institucional. Por ello, la Procuradura General de la Nacin con sustento en la normatividad legal vigente opt por el diseo de una prueba psicotcnica por competencias en el marco de la convocatoria 2006-2007 del Fortalecimiento del talento humano, para seleccionar a los mejores aspirantes y cumplir con la misin institucional. 1.6.1 Competencias Laborales: Concepto y Dimensiones Existe abundante informacin en la actualidad sobre el tema de competencias que hace ver el concepto polismicamente. Por ello se recogern en este documento los planteamientos de algunos autores, para luego presentar
20 |
la forma como estas han sido conceptualizadas para la Procuradura General de la Nacin. El concepto de competencia engloba no slo las capacidades requeridas para el ejercicio de una actividad profesional, sino tambin un conjunto de comportamientos, capacidad de anlisis, toma de decisiones, transmisin de informacin, consideradas necesarias para el pleno desempeo de la ocupacin. Gonczi (1996) expresa que La competencia se concibe como una compleja estructura de atributos necesarios para el desempeo de situaciones especficas. Es una compleja combinacin de atributos (conocimientos, valores y habilidades) y las tareas que se tienen que desempear en determinadas situaciones. Segn Claude Levy Leboyer (1997) las competencias son conjuntos estabilizados de saberes, de comportamientos y conductas tipo, de procedimientos estndar y de tipos de razonamiento, que se pueden poner en prctica sin nuevo aprendizaje. Las competencias laborales, por consiguiente, corresponden a las capacidades para llevar a cabo exitosamente una actividad plenamente identificada (OIT, 2005). Por consiguiente, para conseguir un buen desempeo se requieren competencias bsicas, competencias genricas y especficas (Benavides, 2002). De acuerdo con el Servicio Nacional de Aprendizaje, SENA, la competencia laboral es la capacidad real que tiene una persona para aplicar conocimientos, habilidades y destrezas, valores y comportamientos, en el desempeo laboral, en diferentes contextos (2007). Generalmente, las competencias laborales se definen como la capacidad de una persona para desempear, en diferentes contextos y con base en los requerimientos de calidad y resultados esperados en el sector pblico, las funciones inherentes a un empleo; capacidad que est determinada por los conocimientos, destrezas, habilidades, valores, actitudes y aptitudes que debe poseer y demostrar el empleado pblico (Decreto nmero 2539 de 2005). En sntesis, la competencia tiene que ver con una combinacin integrada de conocimientos, habilidades y actitudes conducentes a un desempeo adecuado y oportuno en diversos contextos. La flexibilidad y capacidad de adap21 |
tacin resultan claves para el logro de las actividades laborales de las personas de acuerdo con lo que saben. 1.6.2. Las Competencias en el Sector Pblico Las entidades pblicas se ven abocadas a prestar un servicio de alta calidad a la sociedad, de all que se est prestando atencin a la formacin y desempeo por competencias mediante las cuales los funcionarios puedan emplear sus conocimientos y habilidades para resolver situaciones especficas de las actividades laborales que realizan. Esto requiere que los funcionarios estn en disposicin de modificar sus competencias de acuerdo con las circunstancias laborales de desempeo. En el marco del sector pblico se cuenta con el Decreto 2539 de 2005, por el cual se establecen las competencias laborales generales para los empleos pblicos de los distintos niveles jerrquicos de las entidades a las cuales se aplican los Decretos-ley 770 y 785 de 2005, en l se definen competencias funcionales y competencias comportamentales. Las competencias funcionales precisarn y detallarn lo que debe estar en capacidad de hacer el empleado para ejercer un cargo y se definirn una vez se haya determinado el contenido funcional de aquel, conforme a los siguientes parmetros: Los criterios de desempeo o resultados de la actividad laboral, que dan cuenta de la calidad que exige el buen ejercicio de sus funciones. Los conocimientos bsicos que se correspondan con cada criterio de desempeo de un empleo. Los contextos en donde debern demostrarse las contribuciones del empleado para evidenciar su competencia. Las evidencias requeridas que demuestren las competencias laborales de los empleados.
Las competencias comportamentales se describen en consideracin con los siguientes criterios: Responsabilidad por personal a cargo. Habilidades y aptitudes laborales. Responsabilidad frente al proceso de toma de decisiones. Iniciativa de innovacin en la gestin.
22 |
Valor estratgico e incidencia de la responsabilidad. Adicionalmente, este Decreto plantea algunas competencias comunes a los servidores pblicos y otras comportamentales por nivel jerrquico. De igual manera, se han establecido las normas de competencia laboral. Estas son estndares reconocidos por el sector productivo, que describen los resultados que un trabajador debe lograr en su desempeo; los contextos en que este ocurre, los conocimientos que debe aplicar y las evidencias que debe presentar para demostrar su competencia. Las normas son la base fundamental para la modernizacin de la oferta educativa y para el desarrollo de los correspondientes programas de certificacin. La finalidad de la normalizacin de las competencias laborales es organizar, estructurar y operar procesos para establecer, en concertacin con los sectores productivo y educativo y el Gobierno, normasde competencia laboral colombiana que faciliten la operacin de procesos de evaluacin, certificacin, formacin y gestin del talento humano. El Gobierno Nacional ha previsto en el Plan Nacional de Desarrollo que el SENA sea el organismo normalizador de competencias laborales para Colombia. 1.6.3. Pruebas Psicotcnicas para la Evaluacin de las Competencias La evaluacin de competencias laborales es un proceso de verificacin de evidencias de desempeo en relacin con el estndar definido en la norma tcnica de competencia laboral. Por ende, la medicin se constituye en un referente importante para la evaluacin de las competencias, en tanto permite cuantificar los atributos de los concursantes, mediante la asignacin de valores numricos de acuerdo con las respuestas de los participantes (Martnez, 1995). La evaluacin de competencias laborales se constituye en un proceso que implica: 1. Definicin de los objetivos. 2. Recoleccin de evidencias. 3. Comparacin de evidencias con los objetivos. 4. Formacin de un juicio (competente o todava no competente). La evaluacin de competencias se caracteriza por: 1. Centrarse en los resultados del desempeo laboral (definidos en la norma). 2. No tener tiempo determinado.
23
3. Ser individualizada. Con el propsito de obtener mediciones vlidas y confiables, la psicometra se orienta al anlisis de los datos producto de las mediciones de las caractersticas de los evaluados; de all la importancia de los modelos estadsticos y matemticos para tales fines (Pardo, 1998). La psicologa aporta su conocimiento en el campo de la construccin de pruebas desde una perspectiva tica y de rigor (APA, 2002).
24
2. Diseo de la prueba psicotcnica para la convocatoria 2006-2007. Fortalecimiento del talento humano. Procuradura General de la Nacin
La Prueba psicotcnica fue construida por personal experto, validada tcnicamente antes de la aplicacin. Se realiz tambin una validacin estadstica con los datos obtenidos en la aplicacin, cumpliendo con los procedimientos y los protocolos de seguridad establecidos y contando con el apoyo permanente del Instituto Colombiano para el Fomento de la Educacin Superior -ICFES, en desarrollo y cumplimiento del Convenio 017 de 2006, suscrito con la Procuradura General de la Nacin. Para el diseo de la prueba psicotcnica, se determin una estructura de prueba identificando componentes, unidades de competencia e indicadores para cada una de las cuatro formas por realizar, con base en los perfiles esperados para cada cargo y teniendo en cuenta los trminos legales y cientficos, estableciendo los siguientes parmetros:
DEFINICIN CONCEPTUAL UNIDAD DE COMPETENCIA INDICADORES DE COMPETENCIA
COMPONENTE
Con fundamento en la revisin terica y en la normatividad vigente, la propuesta se organiz en dos componentes, un componente comn empleado para evaluar los cuatro grupos y un componente especfico para cada grupo. Es importante anotar que para el componente comn, si bien se utilizaron preguntas iguales en todas las pruebas, tambin se emplearon preguntas especficas para cada nivel ocupacional.
25
2.1. Estructura de la prueba psicotcnica

El siguiente cuadro muestra la estructura de la prueba. Se construyeron cuatro formas (pruebas) (FORMA I, FORMA II, FORMA III, FORMA IV), cada una constituida por competencias transversales comunes en las cuatro formas y por competencias especficas para cada una de ellas, de acuerdo con los cargos de cada grupo.
No. DE NOMBRE DE TIPO DE CDIGO POSICIN PREGUNLA PRUEBA COMPETENCIA TAS PORCENTAJE NMERO DE NMERO DE PREGUNTAS PREGUNTAS POR COMPEPOR PRUEBA TENCIA
CP01A CP02A FORMA I CP03 ESPECFICO CP04 COMN CP01B CP02B FORMA II CP03 ESPECFICO CP05 COMN CP01C CP02C FORMA III CP03 CP06 ESPECFICO CP07 COMN CP01D CP02D CP03 FORMA IV CP08 ESPECFICO CP09 COMN
1-15 16-30 46-60 31-45 1-15 16-30 46-60 31-45 1-15 16-30 61-75 31-45 46-60 1-15 16-30 61-75 31-45 46-60
15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15 15
25 25 25 25 25 25 25 25 20 20 20 20 20 20 20 20 20 20
45 15
60
45 15
60
45 75 30
45 75 30
Los tems de la prueba se construyeron teniendo en cuenta la estructura definida, especficamente las conductas asociadas esperadas determinadas por indicadores de competencia. Se definieron tres niveles para cada indicador, nivel bajo, medio y alto. La tabla de conductas asociadas por competencia es reserva de la prueba de acuerdo con el artculo 208 del Decreto 262 de 2000.
26 |
2.2. Factores que intervienen en la elaboracin de una prueba

La elaboracin de una prueba nueva se da como respuesta a la necesidad de evaluar un aspecto necesario para tomar una adecuada decisin. Al mismo tiempo, la creacin de una buena prueba, tal como lo rescata Cohen & Swerdlik (2000), es el resultado de un minucioso trabajo en la conceptualizacin, construccin, ensayo, anlisis de reactivos y revisin total de la prueba. De all la gran importancia que adquiere la validacin de los tems de una prueba y en consecuencia de la prueba misma. 2.2.1. La validez Se define como la proporcin de varianza real que es atribuible a la variable que mide la prueba (Brown, 1980). Por consiguiente, se tomaron en consideracin la de constructo, de criterio y de contenido. El concepto de validez, descrito por Nunnally (1995), denota la utilidad cientfica de un instrumento de medida, en el que puede establecerse ampliamente qu tan bien mide el instrumento lo que pretende medir, es decir, si una prueba es justificada, significativa y til. La validez se establece con base en la evidencia de qu tan precisa es la informacin proporcionada por la prueba en funcin de los propsitos para los que fue construida. En los Standards for Educational and Psychological Testing, se menciona que la validez es la consideracin ms importante en el desarrollo y evaluacin de instrumentos (test) (American Educational Research Association, American Psychological Association y National Council on Measurement and Education, 1999; citado por Pardo 2006). Se define la validez como el grado en el cual la evidencia y la teora soportan las interpretaciones de las puntuaciones (resultados) de un test en el marco de los usos propuestos para el mismo. A finales de los aos 80, se actualizan los conceptos previos de validez que, de acuerdo con Messick (1995) citado por Pardo (2002), se deben interrelacionar elementos previos de validez de contenido, criterio y constructo como aspectos fundamentales de una teora ms comprensiva de la validez de constructo que tiene en cuenta tanto el significado del puntaje como la valoracin social en la interpretacin y uso de la prueba. Esto es, la validez unificada integra consideraciones del contenido, los criterios y las consecuencias en un
27 |
marco para la comprobacin emprica de hiptesis acerca del significado de los puntajes y las relaciones tericas relevantes, incluyendo aquellas de naturaleza aplicada. Se privilegian seis aspectos distinguibles de la validez de constructo que explicitan la nocin de validez unificada. Estos son: aspectos de contenido, sustantividad, estructura, generalizabilidad, aspectos externos y de consecuencia. En efecto, estos seis aspectos funcionan como criterios o estndares para la medicin psicolgica y educativa. La validez de constructo tiene que ver con la argumentacin emprica y terica alrededor de las competencias por evaluar. La validez de contenido est relacionada con el muestreo adecuado de tems que pertenecen a cada competencia. Para tal fin, el instrumento fue sometido a la evaluacin por jueces expertos en el tema de competencias laborales internacionales y nacionales, bajo los criterios de relevancia, pertinencia, redaccin y claridad de cada uno de los tems. La validez de criterio tiene que ver directamente con la prediccin y, por lo tanto, est relacionada con la toma de decisiones para la evaluacin. Se establece a travs del instrumento como predictor de medida y el criterio como un nivel de ejecucin futuro. Dentro de este tipo de validez se tomaron en consideracin la validez predictiva, la concurrente y la de postdiccin. De otra parte, en la validez de criterio se tuvo en cuenta que: a) que la confiabilidad, en tanto el criterio y el predictor no cambien constantemente y el instrumento sea confiable; b) La pertinencia, en la medida en que se evale lo que se quiere evaluar; c) La relevancia al evaluar las conductas ms importantes de las competencias a evaluar; d) Que no se produzcan desviaciones tendenciosas, para lo cual, los criterios de ejecucin deben estar adecuadamente definidos; e) La utilidad tanto del predictor como del criterio. 2.2.2. Validacin por jueces Este tipo de validacin se refiere al grado de acuerdo o consistencia que existe entre dos o ms jueces, evaluadores o calificadores; este grado de acuerdo debe tener un coeficiente alto para poder validar tanto los tems como la prueba. Estos jueces deben contar con un alto grado de capacitacin y experiencia en el manejo del tema por evaluar para que esta validacin sea confiable.
28 |
Al validar una prueba, se calcula la razn de validez para cada tem. Lawshe (1975), retomado por Cohen (2000), recomienda que, si la cantidad de acuerdo observado tiene una probabilidad de ms de 5% de ocurrir al azar, el tem debera eliminarse. Para la validacin de la prueba psicotcnica, se utilizaron dos instrumentos uno para evaluar la estructura de la prueba y otro para evaluar los tems (ver anexos 1 y 2), teniendo en cuenta los siguientes criterios: Verificar que los contenidos de los enunciados hagan referencia a los tpicos, temas o problemticas. El contenido debe ser contextualizado, es decir, se plantea a partir de situaciones o problemas reales, pertinentes e interesantes y ofrece informacin que no se considera obligatorio conocer de memoria. El problema debe circunscribirse alrededor de ciertas variables o condiciones especficas en cada componente evaluado. Por ejemplo para el componente orientacin a resultados, las variables o condiciones son: adaptabilidad y logro de objetivos (Ver cuadro de estructura de la prueba). Los enunciados de tems de seleccin mltiple se plantean en forma de una proposicin. De acuerdo con estos cuatro (4) aspectos, se hicieron las precisiones para una evaluacin detallada de los tems, a saber: PERTINENCIA. Si corresponde o no al cargo y al objetivo de evaluacin. SUFICIENCIA. Si basta para el cargo y el objetivo que se pretende evaluar. COHERENCIA. Si tiene conexin lgica con el cargo y el objetivo de evaluacin. RELEVANCIA. Si el tem es importante y por consiguiente se debe tener en cuenta. SINTAXIS. Si el orden de los trminos y la relacin entre ellos, en la construccin de la frase, son adecuados al cargo y el objetivo. SEMNTICA. Si los trminos empleados son adecuados en cuanto al significado en cada frase del instrumento. OBSERVACIONES. Sugerencias que considere pertinentes.
29 |
De acuerdo con los criterios anteriores, en el proceso de validez de la prueba psicotcnica diseada para la seleccin de cargos para la Procuradura General de la Nacin, se tomaron en consideracin los siguientes aspectos: Evidencia basada en el contenido de un instrumento de evaluacin que incluye la evidencia de la relevancia, que se manifiesta en el enfoque particular utilizado como marco conceptual de la prueba en donde aparecen los criterios especficos que se han tenido en cuenta para definir cada uno de los componentes de la misma; representatividad, que se observa en el peso relativo asignado a los componentes de la prueba en relacin con el marco conceptual, y calidad tcnica del contenido de la prueba, que se evidencia a travs del proceso de anlisis de tem y de prueba. Este anlisis involucra aspectos cualitativos y cuantitativos dentro del marco de anlisis seleccionado para esta prueba (Teora de Respuesta al tem y Modelo de Rash). Evidencia basada en el proceso de respuesta: argumentos que hacen patentes las consistencias entre las respuestas al instrumento (evidencia emprica) y los procesos que, desde la teora, se plantea que asumen los evaluados en las tareas propuestas (tipo de tem). Evidencia basada en la estructura interna: se valora la relacin entre los tems del instrumento y de ellos con los componentes de la prueba para determinar si todos ellos conforman el constructo establecido en el marco conceptual. Se tomaron en cuenta las especificaciones psicomtricas en cuanto a: Formato. tem de seleccin mltiple con nica respuesta. Tiempo de aplicacin. Se estableci una hora para el desarrollo total de la prueba. Calificacin. Se trata de una prueba de Crdito Parcial por Rangos (rating) en la que la opcin tiene un valor dentro de la perspectiva terica de soporte de la prueba. Poblacin. La prueba est dirigida a cualquier persona que aspire a ocupar un cargo de acuerdo con los requisitos especificados por la Procuradura General de la Nacin, segn la Convocatoria. La construccin de la prueba psicotcnica con sus diferentes componentes implic la adecuada seleccin de los tems o reactivos que mejor se ajustaran a las dimensiones evaluadas. Dentro de esta perspectiva se plantea la existencia de dos modelos generales: a) dicotmicos y b) politmicos.
30 |
Los modelos dicotmicos son aquellos que pueden ser calificados como correctos o incorrectos, en tanto que los modelos politmicos son aquellos que pueden ser calificados por categoras de rdenes mltiples. Los modelos politmicos presentan diversas clasificaciones entre las que se encuentran: a) el modelo de crdito parcial, b) el modelo de crdito parcial generalizado y c) el modelo de respuesta graduada (Tang, 1996). En la prueba diseada para la Procuradura General de la Nacin, se ha considerado el uso de tems dentro de los modelos politmicos, particularmente el modelo de respuesta graduada, ya que estos modelos se caracterizan por evidenciar la discriminacin entre los tems (Tang, 1996). Los modelos de respuesta graduada son una extensin de los mtodos de Thurstone (1928), citado por Tang (1996), y describen la probabilidad de obtener una categora de puntaje por diferencias de probabilidades. Bajo este modelo, cada tem tiene un parmetro de discriminacin y unos umbrales de discriminacin para esos parmetros. Cada umbral de discriminacin distingue las probabilidades de obtener un valor inferior que una categora o mayor que otra. Los modelos de crdito parcial se pueden aplicar a distintas subpoblaciones dentro de una poblacin general, aspecto que se sigui en el diseo y aplicacin de los instrumentos. Tales modelos han tenido xito en la evaluacin de aspectos como la velocidad de respuesta en una prueba, identificacin de estilos de personalidad, identificacin de estrategias de solucin de problemas, as como clasificacin (Von Davier & Yamamoto, 2004). Por otra parte, este modelo ha resultado exitoso en la aplicacin a numerosos problemas con muestras poblacionales distintas en subpoblaciones que han tomado la misma prueba (Birenbaum, Tatsuoka & Gutvirtz, 1992; Tang, 1996; Von Davier & Yamamoto, 2004). Si bien se asume que los grupos pueden diferir respecto a la distribucin de una habilidad, esta suposicin no es necesaria en los parmetros de los tems a travs de los grupos. Otro aspecto por considerar es que, en disciplinas como la medicina, la mercadotecnia, la educacin y las ciencias del comportamiento se ha preferido el uso de modelos politmicos, ya que a) un relativamente pequeo nmero de tems politmicos permite la obtencin de altos grados de confiabilidad; b) algunas caractersticas son ms fciles de evaluar con modelos escalares o de
31 |
respuesta graduada y c) las respuestas a ciertos tipos de tems pueden ser mejor expresadas en escalas ordinales (Segn Van der Ark, 2001). Para la prueba psicotcnica de la Convocatoria 2006-2007, se cont con jueces nacionales e internacionales expertos, entre ellos, Dr. Carlos Pardo y el Dr. Ernesto Cuchimaque, profesionales especializados de la subdireccin acadmica del Instituto Colombiano para el Fomento de la Educacin Superior ICFES; la Dra. Amada Ampudia Rueda de la Universidad Nacional Autnoma de Mxico - UNAM; la Dra. Mara Mitsuko Okuda, docente de la Universidad Federal de Gois en Brasil; el Dr. Andrs Burga Len, consultor en anlisis estadstico y psicomtrico y coordinador del Equipo de Anlisis e Informtica del Ministerio de Educacin de Per; Dra. tala Camargo, docente en el rea de medicin de la Universidad Catlica de Colombia. Ellos fueron seleccionados por su amplia experiencia y trayectoria. 2.2.3. Confiabilidad La confiabilidad de la prueba est relacionada con la consistencia de los datos de los formatos aplicados varias veces, ya sea del mismo instrumento o de instrumentos equivalentes aplicados a los mismos sujetos, y con la consistencia interna de los tems mediante la interrelacin de estos dentro de cada formato. La confiabilidad del instrumento se puede ver afectada por el error estndar de medida, el cual se presenta de forma diferencial y vara de caso en caso. Son circunstancias que se pueden presentar en el momento de la aplicacin de la prueba, por ejemplo con las instrucciones. Los resultados obtenidos al aplicar el modelo Rasch (TEORA DE RESPUESTA AL TEM TRI) en cada una de las pruebas permiten ver el buen ajuste que tienen los tems evaluados. El resultado del modelo de Rasch indica, adems, la relacin existente entre los tems de las pruebas y corrobora la validez de los instrumentos utilizados. 2.2.4. Anlisis de tems Con los criterios del INFIT y OUTFIT entre 0.5 y 1.7 (los niveles de ajuste), se hicieron los anlisis de ajuste de cada uno de los instrumentos. El INFIT y el OUTFIT muestran que todas las preguntas se ajustan con el rango establecido. Dado que la poblacin que respondi la prueba corresponde
32 |
al grupo de personas que pasaron la prueba de conocimientos, la prueba psicotcnica muestra alta discriminacin para los niveles medio y alto. A continuacin se presentan las cuatro tablas que indican el margen de error de medicin y los ajustes correspondientes de cada uno de los tems.
33
Tabla 1 Infit (ajuste cercano) y Outfit (ajuste lejano) Procuradura 2007 PRUEBA PSICOTCNICA (PS001) Jan 8 11:27 2008
0.7<X<1.3 POSICIN 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 ERROR .0723 .0650 .0617 .0617 .0780 .0505 .0392 .0535 .0593 .0656 .0576 .0527 .0367 .0474 .0449 .0389 .0616 .0465 .0408 .0874 .0650 .0532 .0424 .0407 .0618 .0603 .0385 .0410 .0549 .0561 .0505 .0380 INFIT 1.00 .98 1.02 .93 .97 1.00 .97 .98 1.05 1.01 .97 1.06 1.02 1.03 1.06 1.06 .99 .98 1.06 1.01 .99 1.06 1.08 1.06 1.04 .94 1.05 1.03 1.00 1.04 .94 1.02 0.7<X<1.3 OUTFIT .88 .97 1.01 .85 .88 .86 .94 .93 1.12 .96 .91 1.08 1.04 1.02 1.05 1.11 .98 .93 1.09 .94 .94 1.05 1.16 1.07 1.03 .91 1.04 1.04 1.00 1.07 .89 1.04 CORRELACIN PUNTO BISERIAL .38 .29 .25 .43 .40 .37 .35 .34 .21 .30 .35 .19 .26 .29 .24 .16 .27 .36 .21 .32 .36 .14 .11 .21 .25 .38 .27 .23 .26 .26 .40 .26
34
0.7<X<1.3 POSICIN 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 ERROR .0780 .0563 .0369 .0454 .0360 .0656 .0479 .0407 .0583 .0411 .0461 .0507 .0472 .0380 .0614 .0364 .0340 .0525 .0384 .0340 .0370 .0359 .0353 .0362 .0410 .0505 .0415 .0417 INFIT .96 .95 1.04 .96 1.00 .92 .95 .99 .88 1.08 .97 .90 .88 1.07 .99 1.03 1.02 .92 .97 1.08 1.00 .97 1.03 1.00 1.02 .97 1.06 .98
0.7<X<1.3 OUTFIT .67 .93 1.06 .94 1.00 .81 .87 1.01 .75 1.10 .99 .85 .80 1.10 .99 1.12 1.04 .91 1.01 1.14 1.02 .98 1.05 1.00 1.02 .95 1.07 1.02 CORRELACIN PUNTO BISERIAL .45 .37 .23 .35 .29 .48 .39 .29 .48 .16 .34 .43 .46 .24 .24 .22 .29 .39 .34 .20 .31 .34 .26 .30 .24 .34 .22 .35
De acuerdo con los datos de la tabla, se observa que los errores son muy pequeos, tan slo llegan a valores de centsimas. Las correlaciones son positivas y significativas entre las preguntas que conforman la prueba.
35 |
0.7<X<1.3 POSICIN 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 36 | ERROR .0339 .0264 .0253 .0385 .0441 .0239 .0195 .0257 .0248 .0294 .0136 .0554 .0231 .0280 .0360 .0148 .0284 .0224 .0169 .0374 .0373 .0244 .0168 .0291 .0164 .0211 .0279 .0791 .0197 .0145 .0235 .0128 .0228 INFIT 1.01 1.00 1.01 .99 1.00 .97 1.00 1.00 1.01 .98 1.03 1.00 1.00 .99 .98 1.00 1.03 .98 1.00 .98 .99 1.00 1.04 1.01 1.00 1.02 1.00 .98 1.03 1.07 1.00 1.00 1.00 0.7<X<1.3 OUTFIT .98 1.00 1.01 .92 .86 .83 .97 .97 1.00 .92 1.06 .80 .98 .94 .91 1.01 1.07 .86 .99 .86 .90 1.00 1.06 1.03 .99 1.03 .98 .72 1.02 1.11 1.01 1.03 .99 CORRELACIN PUNTO BISERIAL .16 .17 .12 .20 .21 .27 .22 .17 .15 .24 .21 .23 .19 .21 .24 .23 .01 .27 .23 .28 .19 .16 .13 .12 .22 .12 .16 .21 .14 .14 .16 .27 .18
0.7<X<1.3 POSICIN 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 ERROR .0426 .0284 .0193 .0400 .0551 .0294 .0233 .0184 .0188 .0276 .0288 .0567 .0187 .0241 .0135 .0136 .0232 .0172 .0139 .0170 .0145 .0136 .0154 .0196 .0206 .0160 .0194 INFIT .97 1.01 .98 .98 .98 .98 1.00 1.03 .97 .99 .96 .93 .99 .99 1.02 .98 .96 1.01 1.06 .97 1.00 1.03 1.00 1.02 1.02 1.04 .99
0.7<X<1.3 OUTFIT .82 1.03 .96 .78 .84 .94 1.01 1.04 .96 .97 .86 .66 .95 .99 1.04 .97 .91 1.01 1.13 .93 1.02 1.04 1.00 1.02 1.04 1.09 .97
CORRELACIN PUNTO BISERIAL .25 .10 .25 .20 .19 .21 .15 .13 .27 .18 .24 .29 .25 .19 .22 .29 .27 .21 .14 .29 .25 .22 .24 .15 .14 .15 .23
37
Tabla 3 Infit (ajuste cercano) y Outfit (ajuste lejano) Procuradura 2007 PRUEBA PSICOTCNICA 003 Jan 8 12:12 2008
0.7<X<1.3 POSICIN 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 38 | ERROR 0,0359 0,0264 0,0254 0,0419 0,0516 0,0292 0,0212 0,0272 0,0258 0,0315 0,0226 0,0137 0,0143 0,0184 0,0143 0,0154 0,0276 0,0284 0,0169 0,0409 0,0491 0,0257 0,0169 0,0171 0,0297 0,0225 0,0347 0,0521 0,0178 0,0414 0,0146 0,0212 0,0218 0,017 0,0174 INFIT 1,03 0,99 1 0,99 1,01 1,01 1,01 1 1,01 1,01 1 1,05 1,06 1,03 1,03 1 1,03 1 1,01 1 1,03 1,01 1,02 1 1,01 1,01 1 1 1 0,99 1,05 0,99 1,01 1 0,99 0.7<X<1.3 OUTFIT 1 0,99 0,99 0,94 0,83 0,86 0,96 0,97 1,01 0,98 1 1,07 1,12 1,04 1,06 1,01 1,05 0,86 1,03 0,87 0,84 1,01 1,04 0,99 1,02 1,01 0,92 0,83 0,99 0,87 1,09 0,98 1,01 0,99 0,99 CORRELACIN PUNTO BISERIAL 0,15 0,17 0,17 0,18 0,22 0,21 0,19 0,16 0,13 0,16 0,15 0,15 0,11 0,12 0,17 0,2 0,03 0,23 0,17 0,22 0,19 0,11 0,13 0,2 0,09 0,12 0,21 0,25 0,2 0,21 0,09 0,2 0,13 0,21 0,2
0.7<X<1.3 POSICIN 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 39 | ERROR 0,0165 0,0249 0,0361 0,0647 0,0183 0,0152 0,0235 0,0178 0,036 0,0258 0,0223 0,0224 0,0147 0,0379 0,0212 0,0205 0,0368 0,0239 0,0199 0,019 0,0179 0,0188 0,0172 0,0224 0,0216 0,019 0,0249 0,0137 0,0133 0,0146 0,018 0,0147 0,0175 0,0138 0,0133 0,0151 0,0207 0,0192 0,0155 0,0174 INFIT 1,02 1,01 1 1,01 0,99 0,98 0,96 0,97 0,97 1,04 0,97 0,97 1,04 0,94 0,96 0,96 0,95 0,99 0,98 0,98 1,04 1,02 0,99 0,98 0,97 0,96 0,98 1,02 1 1,07 0,98 1,04 0,95 0,99 1,03 1,01 1 0,99 1,03 0,97
0.7<X<1.3 OUTFIT 1,02 1,01 0,79 0,9 0,97 0,96 0,85 0,93 0,95 1,05 0,95 0,97 1,04 0,78 0,92 0,92 0,79 0,98 0,96 0,98 1,04 1,02 0,99 0,98 0,95 0,92 0,97 1,05 1 1,15 0,97 1,12 0,91 1 1,05 1,01 0,99 0,99 1,04 0,96
CORRELACIN PUNTO BISERIAL 0,14 0,12 0,21 0,2 0,23 0,26 0,26 0,27 0,19 0,01 0,25 0,24 0,14 0,29 0,29 0,26 0,28 0,19 0,24 0,22 0,09 0,13 0,22 0,21 0,25 0,26 0,21 0,18 0,24 0,07 0,22 0,12 0,28 0,24 0,18 0,2 0,15 0,19 0,15 0,25
0.7<X<1.3 POSICIN 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 40 | ERROR .0585 .0412 .0434 .0715 .0838 .0534 .0350 .0395 .0403 .0507 .0559 .0387 .0408 .0368 .0308 .0251 .0428 .0508 .0269 .0606 .0867 .0368 .0263 .0282 .0435 .0245 .0353 .0583 .0435 .0419 .0239 .0256 .0553 .0333 INFIT .99 .99 .99 .99 .98 .97 .99 .99 .98 .98 1.01 .99 .97 .99 .98 1.01 1.03 .98 1.00 .97 .99 .99 1.02 .99 .99 1.00 .97 .97 .96 .98 .99 .96 .97 1.02 0.7<X<1.3 OUTFIT .91 .98 .98 .94 .81 .79 .94 .97 .97 .91 1.13 .98 .92 .99 .96 1.01 1.05 .82 1.00 .83 .90 .99 1.03 .97 .99 1.00 .93 .84 .90 .91 .99 .92 .82 1.03 CORRELACIN PUNTO BISERIAL .15 .16 .16 .13 .17 .20 .18 .17 .18 .19 .04 .19 .22 .16 .21 .17 .00 .19 .19 .23 .11 .17 .14 .20 .14 .21 .24 .24 .29 .20 .22 .28 .22 .07
0.7<X<1.3 POSICIN 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 41 | ERROR .0376 .0504 .0245 .0374 .0560 .0269 .0347 .0216 .0507 .0315 .0254 .0281 .0644 .0227 .0234 .0267 .0280 .0380 .0346 .0343 .0270 .0278 .0610 .0354 .0239 .0326 .0275 .0420 .0217 .0213 .0227 .0307 .0232 .0306 .0223 .0210 .0251 .0360 .0312 .0250 .0300 INFIT 1.02 .98 1.02 .99 .98 1.02 .98 1.01 .99 .98 1.00 1.04 .99 1.01 1.03 1.02 1.02 .99 .99 .98 1.02 1.03 .98 1.00 1.00 1.02 .98 .98 1.02 .98 1.07 1.02 1.03 .98 1.00 1.06 1.04 1.02 1.04 1.05 .99
0.7<X<1.3 OUTFIT 1.02 .94 1.05 .98 .82 1.02 .98 1.01 .95 .97 .99 1.03 .90 1.01 1.04 1.03 1.02 .99 1.00 .97 1.00 1.03 .89 1.00 1.00 1.02 .96 .98 1.03 .96 1.13 1.03 1.05 .94 1.00 1.08 1.05 1.02 1.05 1.06 .98
CORRELACIN PUNTO BISERIAL .06 .21 .13 .16 .17 .14 .22 .21 .16 .21 .21 .07 .14 .19 .13 .13 .13 .16 .16 .20 .14 .10 .18 .13 .19 .10 .23 .20 .17 .27 .06 .11 .15 .22 .23 .12 .10 .05 .03 .09 .19
En la Teora de Respuesta al Item, la confiabilidad est dada por la funcin de informacin () que representa la mxima cantidad de informacin que se puede obtener a partir de las respuestas dadas a los tems de la prueba. La cantidad de informacin vara con los niveles de aptitud, para este caso con los niveles de competencia. La funcin de informacin de los tems contribuye en la evaluacin de la prueba, ya que permite determinar la contribucin de los tems a la estimacin de la competencia en los distintos puntos del continuo de la curva de desempeo (Santisteban, 1990; Martnez, 1996). Los resultados obtenidos al aplicar el modelo Rasch en cada una de las pruebas permiten ver el buen ajuste que tienen los tems evaluados. Los valores de ajuste (infit) para cada uno de los tems en el modelo Rasch se encuentran dentro del margen 0.5 - 1.3, lo cual indica un buen ajuste como se puede observar en las tablas 1, 2, 3 y 4. Lo ideal seran valores infit de 1; no obstante, los valores entre 0.5 y 1.3 son generalmente aceptables; valores mayores seran inapropiados y menores de 0.5 se consideran sobreajustados (Bond & Fox, 2001). El resultado del modelo de Rasch indica, adems, la relacin existente entre los tems de las pruebas y corrobora la validez de los instrumentos. Los alfas de Cronbach encontrados en cada una de las pruebas indican: una alta homogeneidad y equivalencias de las respuestas en los aspirantes de la prueba PS001 y ms heterogeneidad en las pruebas PS002, PS003 y PS004. Tabla 5 tems revisados
PRUEBA TEM 16477 PS001 16774 16246 PS002 16477 16774 16477 17343 16477 UBICACIN PREGUNTA 20 PREGUNTA 50 PREGUNTA 12 PREGUNTA 20 PREGUNTA 50 PREGUNTA 20 PREGUNTA 47 PREGUNTA 20
PS003 PS004
42
El anlisis de los datos se llev a cabo con el Winstep 3.63. En el modelo de Rasch la confiabilidad se da por la funcin de informacin, dada por las grficas para cada una de las pruebas y los mrgenes de error de medicin, que en todos los casos fueron muy bajos, entre .19 y .22; corresponde a parte de 1 logit. (APA, cap2). PRUEBA PS001
Test Information Function (Funcin de la informacin de la prueba)
42
36
30
Information
24
18
12
0
-9 -8 -7 -6 -5 -4 -3 -2
Measure (Medida)
-1
De acuerdo con la grfica, se observa que entre -6 y 5 hay buena informacin sobre el grupo, con un margen de error de .19; en los extremos hay poca informacin. La mayor parte de la informacin se concentra hacia el centro; por tanto, se puede decir que la prueba es suficientemente confiable.
43 |
PRUEBA PS002
32
28 24
20
Information
16 12
4 0
-10 -8 -6 -4 -2 0 2 4 6 8 10
Measure (Medida)
De acuerdo con la grfica, se observa que entre -7 y 6 hay buena informacin sobre el grupo, con un margen de error de .22; en los extremos hay poca informacin. La mayor parte de la informacin se concentra hacia el centro con un ligero sesgo hacia la derecha; por tanto, se puede decir que la prueba es suficientemente confiable.
44
PRUEBA PS003
41 36,9 32.8 28.7 24.6
Information
20.5 16.4 12.3 82 4.1 0

-10 -9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 9
Measure (Medida)
De acuerdo con la grfica, se observa que entre -7 y 6 hay buena informacin sobre el grupo, con un margen de error de .19; en los extremos hay poca informacin. La mayor parte de la informacin se concentra hacia el centro con un mayor sesgo hacia la derecha; por tanto, se puede decir que la prueba es suficientemente confiable.
45
PRUEBA PS004
38 34.2 30.4 26.6 22.8 19 15.2 11.4 7.6 3.8 0
Information
-10
-9
-8
-7
-6
-5
-4
-3
-2
-1
Measure (Medida)
De acuerdo con la grfica, se observa que entre -6 y 5 hay buena informacin sobre el grupo, con un margen de error de .19; en los extremos hay poca informacin. La mayor parte de la informacin se concentra hacia el centro; por tanto, se puede decir que la prueba es suficientemente confiable.
Criterios para la confiabilidad

Haciendo uso de los datos, se ha construido una variable terica que es concebida como una variable latente, lo que nos ha permitido estudiar
|
1.
46
2. 3. 4. 5.
distintos aspectos cualitativos de los componentes psicotcnicos. As, la regularidad de los aspirantes en los componentes puede ser considerada como una variable latente. Las competencias transversales son las que se producen una mayor regularidad en los componentes psicotcnicos evaluados. La prueba que demuestra mayor homogeneidad en los aspirantes a los cargos de la Procuradura General de la Nacin es la PS001. Los desajustes identificados contribuyeron en la revisin de los tems mencionados anteriormente. Para el caso de los aspirantes, la confiabilidad dentro del modelo de Rasch est dada por la separacin, lo cual indica el nmero de grupos que se puede conformar con la poblacin participante en la prueba, como se observa en las siguientes tablas: Tabla 6
Procuradura 2007 PRUEBA PSICOTCNICA (PS001) 0 ZOU759WS.TXT Jan 9 8:55 2008 INPUT: 979 Aspirantes 60 Items MEASURED: 979 Aspirantes 60 Items 240 CATS SUMMARY OF 979 MEASURED Aspirantes
RAW SCORE MEAN S.D. MAX. MIN. REAL RMSE 145.2 13.4 169.0 3.0 .20 COUNT MEASURE 59.9 1.0 60.0 43.0 ADJ.SD ADJ.SD 1.68 .43 2.82 -4.93 .39 .39 MODEL ERROR .19 .02 .60 .16 INFIT MNSQ 1.00 .21 3.21 .64 ZSTD .0 1.0 7.4 -2.3 OUTFIT MNSQ .98 .30 4.30 .48 ZSTD .0 1.1 7.5 -2.1 .80 .81
SEPARATION 1.98 SEPARATION 2.06
Aspira RELIABILITY Aspira RELIABILITY
MODEL RMSE .19
S.E. OF Aspirantes MEAN = .01
VALID RESPONSES: 99.8% Aspirante RAW SCORE-TO-MEASURE CORRELATION = .97 (approximate due to missing data)
47
CRONBACH ALPHA (KR-20) Aspirante RAW SCORE RELIABILITY = .83 (approximate due to missing data). Para el caso de la Prueba PS001 se conforma un grupo bastante homogneo. De otro lado el grado de precisin con el que se pueden hacer las observaciones (mediciones) es bueno dado que da ms de 1. El valor de confiabilidad estimado a partir de las escalas Logit es de .80 en tanto que el de Cronbach (KR-20) es de .83. La SD esperada era de 1 y la alcanzada fue de .39, lo cual es producto del tipo de personas que se present a la prueba. Se trata de una poblacin cuatro veces ms homognea que lo esperado en la Teora Clsica de los Test (TCT). Tabla 7
SUMMARY OF 60 MEASURED Items
RAW SCORE MEAN S.D. MAX. MIN. 2369.5 305.7 2822.0 1655.0 .05 COUNT MEASURE 976.9 1.6 979.0 971.0 ADJ.SD ADJ.SD .00 .42 1.45 -1.10 .42 .42 MODEL ERROR .05 .01 .09 .03 INFIT MNSQ 1.00 .05 1.08 .88 ZSTD .2 1.1 3.2 -2.1 OUTFIT MNSQ .98 .10 1.16 .67 ZSTD .2 1.7 4.5 -3.1 .99 .99
REAL RMSE
SEPARATION 8.11 Item RELIABILITY SEPARATION 8.17 Item RELIABILITY
MODEL RMSE .05
S.E. OF Item MEAN = .05
UMEAN=.000 USCALE=1.000 data) Item RAW SCORE-TO-MEASURE CORRELATION = -.74 (approximate due to missing 58612 DATA POINTS. APPROXIMATE LOG-LIKELIHOOD CHI-SQUARE: 90841.25
48
Tabla 8
RAW SCORE MEAN S.D. MAX. MIN. REAL RMSE 151.6 7.0 167.0 5.0 .23 COUNT MEASURE 60.0 .3 60.0 44.0 ADJ.SD ADJ.SD 2.39 .32 3.34 -5.30 .23 .23 MODEL ERROR .22 .02 .51 .18 INFIT MNSQ 1.00 .21 4.16 .49 ZSTD .0 1.0 8.0 -3.0 OUTFIT MNSQ .96 .43 9.73 .33 ZSTD .0 .9 9.9 -2.1 .49 .53
SEPARATION .98 SEPARATION 1.05
Aspira RELIABILITY Aspira RELIABILITY
MODEL RMSE .22
S.E. OF Aspirantes MEAN = .00 VALID RESPONSES: 99.9%
Aspirante RAW SCORE-TO-MEASURE CORRELATION = .99 (approximate due to missing data) CRONBACH ALPHA (KR-20) Aspirante RAW SCORE RELIABILITY = .55 (approximate due to missing data).
Tabla 9
RAW SCORE MEAN S.D. MAX. MIN. 16883.5 2535.7 19937.0 10355.0 COUNT MEASURE 6675.6 8.5 6680.0 6636.0 .00 .44 1.14 -.82 MODEL ERROR .03 .01 .08 .01 INFIT MNSQ 1.00 .02 1.07 .93 ZSTD .4 1.4 4.8 -1.6 Item Item OUTFIT MNSQ .96 .09 1.13 .66 ZSTD -.1 2.6 8.4 -4.0
REAL RMSE
.03 ADJ.SD .44 ADJ.SD .44
RELIABILITY 1.00 RELIABILITY 1.00
MODEL RMSE .03
400535 DATA POINTS. APPROXIMATE LOG-LIKELIHOOD CHI-SQUARE: 482091.56 49 |
data)
UMEAN=.000 USCALE=1.000 Item RAW SCORE-TO-MEASURE CORRELATION = -.79 (approximate due to missing
Tabla 10
Procuradura 2007 PRUEBA PSICOTCNICA (PS003) 0 ZOU068WS.TXT Jan 8 12:01 2008 INPUT: 6598 Aspirantes 75 Items MEASURED: 6598 Aspirantes 75 Items 289 CATS SUMMARY OF 6597 MEASURED (NON-EXTREME) Aspirantes
RAW SCORE MEAN S.D. MAX. MIN. 185.8 8.3 210.0 84.0 COUNT MEASURE 75.0 .4 75.0 52.0 2.10 .27 3.25 -.69 MODEL ERROR .19 .01 .28 .16 INFIT MNSQ ZSTD 1.00 .20 3.33 .53 .99 .0 1.0 8.1 -3.1 Aspira Aspira OUTFIT MNSQ ZSTD .97 .35 6.65 .43 .0 1.0 8.4 -2.2
REAL RMSE .19 MODEL RMSE .19
ADJ.SD .19 ADJ.SD .20
SEPARATION
RELIABILITY .49 RELIABILITY .52
SEPARATION 1.05
S.E. OF Aspirante MEAN = .00
MINIMUM EXTREME SCORE: 1 Aspirantes VALID RESPONSES: 99.9%
Tabla 11
SUMMARY OF 6598 MEASURED (EXTREME AND NON-EXTREME) Aspirantes
RAW SCORE MEAN S.D. MAX. MIN. REAL RMSE 185.8 8.6 210.0 .0 COUNT MEASURE 75.0 .5 75.0 52.0 2.09 .30 3.25 -8.94 .23 .24 MODEL ERROR .19 .02 1.84 .16 SEPARATION 1.20 SEPARATION 1.26 Aspira Aspira RELIABILITY RELIABILITY .59 .61 INFIT MNSQ ZSTD OUTFIT MNSQ ZSTD
.20 ADJ.SD ADJ.SD
MODEL RMSE .19
Aspirante RAW SCORE-TO-MEASURE CORRELATION = .97 (approximate due to missing data) CRONBACH ALPHA (KR-20) Aspirante RAW SCORE RELIABILITY = .60 (approximate due to missing data)
50
Tabla 12
SUMMARY OF 75 MEASURED (NON-EXTREME) Items
RAW SCORE MEAN S.D. MAX. MIN. REAL RMSE 16344.3 2476.8 19573.0 9760.0 .03 COUNT MEASURE 6593.4 8.2 6597.0 6537.0 ADJ.SD ADJ.SD .72 .72 .00 .72 2.19 -1.11 MODEL ERROR .02 .01 .06 .01 INFIT MNSQ 1.00 .03 1.07 .95 ZSTD .4 .97 1.6 6.0 -1.9 Item Item OUTFIT MNSQ .0 .07 1.15 .79 2.8 9.1 -3.7 ZSTD
MODEL RMSE .03
494506 DATA POINTS. APPROXIMATE LOG-LIKELIHOOD CHI-SQUARE: 656340.44
data)
Tabla 13
RAW SCORE MEAN S.D. MAX. MIN. REAL RMSE 185.0 7.4 205.0 136.0 .20 COUNT 75.0 .3 75.0 67.0 ADJ.SD ADJ.SD .16 .17 MEASURE 2.02 .26 2.88 .58 MODEL ERROR .19 .01 .24 .16 INFIT MNSQ 1.00 .18 2.31 .54 ZSTD .0 1.0 6.1 -3.0 Aspira Aspira OUTFIT MNSQ .98 .33 3.43 .44 ZSTD .0 1.0 5.6 -2.2
SEPARATION .84 SEPARATION .91
RELIABILITY .41 RELIABILITY .45
MODEL RMSE .19
VALID RESPONSES: 99.9% Aspirante RAW SCORE-TO-MEASURE CORRELATION = .99 (approximate due to missing data) CRONBACH ALPHA (KR-20) Aspirante RAW SCORE RELIABILITY = .46 (approximate due to missing data). 51 |
Tabla 14
RAW SCORE MEAN S.D. MAX. MIN. REAL RMSE 6633.6 1036.8 7989.0 3996.0 .04 COUNT MEASURE 2687.5 3.4 2689.0 2672.0 ADJ.SD .70 ADJ.SD .70 .00 .70 2.56 -1.27 MODEL ERROR .04 .01 .09 .02 INFIT MNSQ 1.00 .02 1.07 .96 ZSTD .2 .9 3.5 -1.4 Item Item OUTFIT MNSQ .98 .07 1.13 .79 ZSTD -.1 1.5 4.9 -2.6
MODEL RMSE .04
201562 DATA POINTS. APPROXIMATE LOG-LIKELIHOOD CHI-SQUARE: 269220.46.
data)
3. Aplicaciones
Permite examinar comportamientos humanos en diferentes circunstancias, discriminar y medir una multiplicidad de variables psicolgicas, constatando el grado de ajuste con el perfil esperado, describiendo el perfil especfico del sujeto. Ofrece al individuo una valoracin sobre sus caractersticas con una multiplicidad de variables psicolgicas, que pueden orientar la toma de decisiones a nivel ocupacional. Describe diferentes componentes, concretando el nivel del individuo en cada uno de ellos. Orienta la planeacin de estudios futuros, bien sea perfeccionando los indicadores altos o desarrollando los bajos.
52 |
3.1. Prueba de seleccin
3.2. Prueba de orientacin ocupacional y profesional
3.3. Evaluacin de perfiles personales
3.4. Instrumento de diagnstico para formacin
4. Normas de aplicacin
Para la aplicacin de la prueba psicotcnica, se elabor un manual queespecifica los lineamientos para la adecuada implementacin de la prueba. Material necesario para la aplicacin: Un cuadernillo para cada sujeto, en la portada del mismo se encuentran las instrucciones de aplicacin. Una hoja de respuestas para cada sujeto; este deber disponer de un lpiz de mina negra nmero 2, tajalpiz, borrador de nata. La sala del examen deber tener buena iluminacin y ventilacin; los sujetos no deben ser interrumpidos una vez iniciada la prueba. Los sujetos dispondrn de 60 minutos para responder toda la prueba.
5. Calificacin e interpretacin
5.1. Calificacin
Para la calificacin de la prueba psicotcnica; se emplearon los referentes tericos y matemticos de la Teora de Respuesta al tem. De acuerdo con estos criterios, se emplea un modelo de evaluacin que es una funcin matemtica que relaciona la probabilidad de respuesta correcta a una pregunta con las caractersticas de la persona (habilidad) y las caractersticas de la pregunta (dificultad) (Stenner et l., 1983). Por consiguiente el significado de los resultados son escalas particulares que estn dadas por el constructo o marco conceptual seleccionado. El modelo de respuesta estocstica de Rasch (TEORA DE RESPUESTA AL TEM - TRI), describe la probabilidad de xito de una persona en un tem como una funcin de la habilidad de la persona y la dificultad de la pregunta, siendo una aproximacin estadstica el anlisis de las respuestas a una prueba y de otros tipos de observacin ordinal.
5.2. Interpretacin
Estuvo orientado por el marco conceptual de referencia que permiti describir las caractersticas propias para cada nivel de las competencias. Las categoras cualitativas fueron generadas a partir de intervalos de puntajes cuanti53 |
tativos; ello implica la posibilidad de presentar valores diferenciales en las puntuaciones en tanto puede pertenecerse a una misma categora cualitativa.
Anlisis cualitativo por componente

Se enlazan anlisis cualitativos con mtodos cuantitativos, con el propsito de comprender los datos observados. Esta tcnica de medida fundamentada en la Teora de la Respuesta al tem (tem Response Theory, IRT) va ms all que la mera descripcin de datos como cualquier modelo logits. La medida de Rasch especfica como las personas, tareas, investigaciones y tests, deben estadsticamente obrar de forma recproca para construir medidas lineales de observaciones ordinales. El anlisis de Rasch requiere la cuantificacin de exactitud, precisin, confianza, seguridad, validez del constructo terico definido, la estadstica de desajuste de control de calidad, informacin estadstica, linealidad, dependencia local y unidimensionalidad, e implementa una ordenacin estocstica de Guttman, aditividad conjunta, concatenacin de Campbell, suficiencia e infinita divisibilidad (Wright, 1989). 5.2.1 Escala de puntajes para la interpretacin cuantitativa Para cada uno de los componentes se harn las equivalencias correspondientes de acuerdo con los porcentajes otorgados al peso relativo de cada uno. PRUEBA PS001 Oscilacin entre 1-100
RANGO DE PUNTAJES BAJO MEDIO ALTO PUNTAJES EN LA PRUEBA PSICOTCNICA 30 31 A 70 70
PS002 Oscilacin entre 1-100

54


La calidad tcnica del contenido de la prueba se evidenci a travs del proceso de anlisis de tem y de prueba desde la perspectiva de la teora de respuesta al tem (TRI). Este anlisis involucr aspectos cuantitativos. La valoracin cualitativa se hizo a partir de las especificaciones tericas de cada uno de los componentes de acuerdo con tres niveles: bajo, medio y alto, como se especifica en el siguiente cuadro.
55

TABLA INTERPRETACIN DE RESULTADOS POR PRUEBAS*
BAJO MEDIO ALTO
56
Prueba Componentes
Intenta realizar correctamente el trabajo. Expresa frustracin ante la ineficiencia o la prdida de tiempo, aunque no realice mejoras concretas. Identifica las PS001 Competencia 1 metas de la institucin. Orienta sus esfuerzos laborales al logro especfico de las funciones que le corresponden. Muestra permanente motivacin para incrementar y fortalecer sus relaciones y para conformar o participar en un equipo de trabajo con intereses comunes.
Hace cambios especficos en los mtodos de trabajo para conseguir mejores resultados dependiendo de las exigencias, sus posibilidades personales y laborales. Busca el logro de las metas especficas que le competen.
Crea un ambiente organizacional que estimula el mejoramiento continuo del servicio. Desarrolla o modifica procesos organizacionales que contribuyan a mejorar la eficiencia. Orienta sus esfuerzos personales y laborales hacia el logro de las metas propuestas en la institucin, de acuerdo con su cargo. Planifica y desarrolla redes de relaciones con colegas, compaeros de trabajo y usuarios. Acude a sus redes de relaciones para mantenerse informado. Identifica oportunidades de trabajo sobre las que comunica a sus superiores, teniendo en cuenta la relevancia institucional.
Se relaciona informalmente con su grupo de trabajo, se comunica con poca asertividad y hace poco reconocimiento de las necesidaPS001 Competencia 2 des de los dems.
* ps001 - ps002 - PS003 - PS004.
57
Denota inestabilidad emocional en la mayor parte de las situaciones, a travs de rasgos como los siguientes: ansiedad, hostilidad, depresin, preocupacin, inseguridad, angustia, pensamientos irracionales, conductas impulsivas, mal humor, hipocondriasis, descontento. Se caracteriza por la introversin, manifestada en rasgos como: ser reservado, serio, poco exuberante, orientado hacia el deber, retrado, callado, dePS001 Competencia 3 masiado calmado, solitario, con baja energa fsica, poco arriesgado y no asertivo. Denota poco sentido de responsabilidad, a travs de rasgos como: el desorden, la incapacidad, la imprudencia, la insensibilidad, la inescrupulosidad, la pereza, la indisciplina, el descuido, la informalidad, la laxitud extrema, la carencia de objetivos, el hedonismo pleno, la negligencia y lo poco confiable.
Extroversin: La persona evidencia rasgos como: Impulsividad, agitacin, reserva, escasa asertividad, variabilidad, poco reflexividad, dificultad para establecer vnculos de amistad. Estabilidad emocional: La persona evidencia rasgos como: Despreocupacin, mal humor, pesimismo, tensin y nerviosismo moderados, poco disfrute de las amistades. Responsabilidad: La persona evidencia rasgos como: Dependencia, desorganizacin moderada, carcter complicado, lentitud al realizar las tareas, con preferencia por las actividades relajadas que requieren poca presin.
La persona en este nivel manifiesta caractersticas estables de personalidad. Se distingue por la extroversin evidente en rasgos como: sociabilidad, ser activo, conversador, orientado a la gente, optimista, divertido, afectivo, clido, lder. Busca emociones positivas, se propone metas, es alegre, entusiasta. Denota Estabilidad Emocional a travs de rasgos como los siguientes: Autoconciencia, control, sensibilidad, tolerancia, autoesquemas positivos, habilidades de afrontamiento positivas, relajacin, poca emocionalidad, seguro, satisfecho consigo mismo, resistente a la presin y tensin del ambiente laboral. Evidencia responsabilidad al ser: organizado, cauteloso, prudente, eficaz, bien preparado, escrupuloso, cuidadoso. Se adhiere a sus principios ticos; tiene autodisciplina y automotivacin; es prctico, minucioso y trabajador.

Comprueba la calidad y exactitud de las tareas de su dependencia y de su propio trabajo. Se preocupa por cumplir las normas y procedimientos establecidos por la institucin. Realiza el seguimiento de tareas y proyectos, planifica acciones y procedimientos para evitar errores y cumplir todos los procesos establecidos. Se preocupa por mejorar el orden de los sistemas establecidos por la institucin. procuradura general de la nacin
58
Muestra preocupacin por el orden y la claridad de funciones, tareas, datos y expectativas y prefiere tenerlos por escrito. Se niePS001 Competencia 4 ga firmemente a realizar acciones que van en contra de las normas y procedimientos de la institucin. Intenta realizar correctamente el trabajo. Expresa frustracin ante la ineficiencia o la prdida de tiempo, aunque no realice mejoras concretas. Identifica las mePS002 Competencia 1 tas de la institucin. Orienta sus esfuerzos laborales al logro especfico de las funciones que le corresponden. Hace cambios especficos en los mtodos de trabajo para conseguir mejores resultados dependiendo de las exigencias, sus posibilidades personales y laborales. Busca el logro de las metas especficas que le competen. Muestra permanente motivacin para incrementar y fortalecer sus relaciones y para conformar o participar en un equipo de trabajo con intereses comunes. Crea un ambiente organizacional que estimula el mejoramiento continuo del servicio. Desarrolla o modifica procesos organizacionales que contribuyan a mejorar la eficiencia. Orienta sus esfuerzos personales y laborales hacia el logro de las metas propuestas en la institucin, de acuerdo con su cargo. Planifica y desarrolla redes de relaciones con colegas, compaeros de trabajo y usuarios. Acude a sus redes de relaciones para mantenerse informado. Identifica oportunidades de trabajo sobre las que comunica a sus superiores, teniendo en cuenta la relevancia institucional.
59
Denota inestabilidad emocional en la mayor parte de las situaciones, a travs de rasgos como los siguientes: ansiedad, hostilidad, depresin, preocupacin, inseguridad, angustia, pensamientos irracionales, conductas impulsivas, mal humor, hipocondriasis, descontento. Se caracteriza por la introversin, manifestada en rasgo como: ser reservado, serio, poco exuberante, orientado hacia el deber, retrado, callado, demaPS002 Competencia 3 siado calmado, solitario, con baja energa fsica, poco arriesgado y no asertivo. Denota poco sentido de responsabilidad, a travs de rasgos como: el desorden, la incapacidad, la imprudencia, la insensibilidad, el descuido, la inescrupulosidad, la pereza, la indisciplina, la informalidad, la laxitud extrema, la carencia de objetivos, el hedonismo pleno, la negligencia y lo poco confiable. La persona en este nivel manifiesta caractersticas estables de personalidad. Se distingue por La Extroversin evidente en rasgos como: sociabilidad, ser activo, conversador, orientado a la gente, optimista, divertido, afectivo, clido, lder. Busca emociones positivas, se propone metas, es alegre, entusiasta. Denota Estabilidad Emocional a travs de rasgos como los siguientes: Autoconciencia, control, sensibilidad, tolerancia, autoesquemas positivos, habilidades de afrontamiento positivas, relajacin, poca emocionalidad, seguro, satisfecho consigo mismo, resistente a la presin y tensin del ambiente laboral. Evidencia responsabilidad al ser: organizado, cauteloso, prudente, eficaz, bien preparado, escrupuloso, cuidadoso. Se adhiere a sus principios ticos; tiene autodisciplina y automotivacin; es prctico, minucioso y trabajador.
Extroversin: La persona evidencia rasgos como: Impulsividad, agitacin, reserva, escasa asertividad, variabilidad, poco reflexividad, dificultad para establecer vnculos de amistad. Estabilidad emocional: La persona evidencia rasgos como: Despreocupacin, mal humor, pesimismo, tensin y nerviosismo moderados, poco disfrute de las amistades. Responsabilidad: La persona evidencia rasgos como: Dependencia, desorganizacin moderada, complicado, lentitud al realizar las tareas, con preferencia por las actividades relajadas que requieren poca presin.
60
PS002
Competencia 4
Pone en marcha con poca diligencia los cambios que se le propone. Consulta con su superior sobre todos los pequeos problemas del da a da.
Responde con rapidez a las situaciones contando con los recursos acordes a los cambios requeridos, de forma clara y sencilla. Es flexible para visualizar los cambios como oportunidad. Propone mejoras sin esperar que se presente un problema concreto, de manera que logre transformar sus actividades como ventajas de desempeo.
Intenta realizar correctamente el trabajo. Expresa frustracin ante la ineficiencia o la prdida de tiempo, aunque no realice mejoPS003 Competencia 1 ras concretas. Identifica las metas de la institucin. Orienta sus esfuerzos laborales al logro especfico de las que le corresponden. Muestra permanente motivacin para incrementar y fortalecer sus relaciones y para conformar o participar en un equipo de trabajo con intereses comunes.
Responde con rapidez a las situaciones, contando con los recursos necesarios para los cambios requeridos por su superior. Propone metas dentro de su rea de responsabilidad. Propone metas dentro de su rea de responsabilidad. Resuelve las pequeas complicaciones cotidianas con efectividad. Hace cambios especficos en los mtodos de trabajo para conseguir mejores resultados dependiendo de las exigencias, sus posibilidades personales y laborales. Busca el logro de las metas especficas que le competen.
Crea un ambiente organizacional que estimula el mejoramiento continuo del servicio. Desarrolla o modifica procesos organizacionales que contribuyan a mejorar la eficiencia. Orienta sus esfuerzos personales y laborales hacia el logro de las metas propuestas en la institucin, de acuerdo con su cargo. Planifica y desarrolla redes de relaciones con colegas, compaeros de trabajo y usuarios. Acude a sus redes de relaciones para mantenerse informado. Identifica oportunidades de trabajo sobre las que comunica a sus superiores, teniendo en cuenta la relevancia institucional.
61
Denota inestabilidad emocional en la mayor parte de las situaciones, a travs de rasgos como los siguientes: ansiedad, hostilidad, depresin, preocupacin, inseguridad, angustia, pensamientos irracionales, conductas impulsivas, mal humor, hipocondriasis, descontento. Se caracteriza por la introversin, manifestada en rasgos como: ser reservado, serio, poco exuberante, orientado hacia el deber, retrado, callado, demaPS003 Competencia 3 siado calmado, solitario, con baja energa fsica, poco arriesgado y no asertivo. Denota poco sentido de responsabilidad, a travs de rasgos como: el desorden, la incapacidad, la imprudencia, la insensibilidad, la inescrupulosidad, la pereza, la indisciplina, el descuido, la informalidad, la laxitud extrema, la carencia de objetivos, el hedonismo pleno, la negligencia y lo poco confiable.
Extroversin: La persona evidencia rasgos como: Impulsividad, agitacin, reserva, escasa asertividad, variabilidad, poca reflexividad, dificultad para establecer vnculos de amistad. Estabilidad emocional: La persona evidencia rasgos como: Despreocupacin, mal humor, pesimismo, tensin y nerviosismo moderados, poco disfrute de las amistades. Responsabilidad: La persona evidencia rasgos como: Dependencia, desorganizacin moderada, carcter complicado, lentitud al realizar las tareas, con preferencia por las actividades relajadas que requieren poca presin.
La persona en este nivel manifiesta caractersticas estables de personalidad. Se distingue por la extroversin evidente en rasgos como: sociabilidad, ser activo, conversador, orientado a la gente, optimista, divertido, afectivo, clido, lder. Busca emociones positivas, se propone metas, es alegre, entusiasta. Denota Estabilidad Emocional a travs de rasgos como los siguientes: Autoconciencia, control, sensibilidad, tolerancia, autoesquemas positivos, habilidades de afrontamiento positivas, relajacin, poca emocionalidad, seguro, satisfecho consigo mismo, resistente a la presin y tensin del ambiente laboral. Evidencia responsabilidad al ser: organizado, cauteloso, prudente, eficaz, bien preparado, escrupuloso, cuidadoso. Se adhiere a sus principios ticos; tiene autodisciplina y automotivacin; es prctico, minucioso y trabajador.

Establece objetivos y plazos para la realizacin de tareas, define prioridades controlando la calidad del trabajo y verificando la informacin para asegurarse de que sean ejecutadas las acciones previstas. Anticipa los puntos crticos de una situacin o problema con un gran nmero de variables, estableciendo puntos de control y mecanismos de coordinacin, verificando datos y buscando informacin externa para asegurar la calidad de los procesos. Es capaz de administrar simultneamente diversos proyectos complejos. Propone soluciones innovadoras o de acuerdo con la naturaleza del problema teniendo en cuenta los objetivos y metas de la entidad. procuradura general de la nacin
62
Organiza el trabajo y trata de administrar adecuadamente el tiempo. Le es difcil administrar varios proyectos complejos, al PS003 Competencia 4 mismo tiempo.
Cuenta con poca capacidad para la identificacin, el anlisis de problemas y la identificacin de los datos relevantes. Propone una solucin al problema de acuerdo PS003 Competencia 5 con las caractersticas del mismo y que responda puntualmente a la problemtica que se presenta.
Intenta realizar correctamente el trabajo. Expresa frustracin ante la ineficiencia o la prdida de tiempo, aunque no realice mejoPS004 Competencia 1 ras concretas. Identifica las metas de la institucin. Orienta sus esfuerzos laborales al logro especfico de las que le corresponden.
Identifica problemas y analiza la informacin, identifica la que es relevante, la organiza y presenta estableciendo relaciones relevantes entre ellos para la solucin del problema. Propone alternativas de solucin a los problemas involucrando a otras personas sobre la base de sus conocimientos y experiencia. Hace cambios especficos en los mtodos de trabajo para conseguir mejores resultados dependiendo de las exigencias, sus posibilidades personales y laborales. Busca el logro de las metas especficas que le competen.
Crea un ambiente organizacional que estimula el mejoramiento continuo del servicio. Desarrolla o modifica procesos organizacionales que contribuyan a mejorar la eficiencia. Orienta sus esfuerzos personales y laborales hacia el logro de las metas propuestas en la institucin, de acuerdo con su cargo.
63 Muestra permanente motivacin para incrementar y fortalecer sus relaciones y para conformar o participar en un equipo de trabajo con intereses comunes. Extroversin: La persona evidencia rasgos como: Impulsividad, agitacin, reserva, escasa asertividad, variabilidad, poca reflexividad, dificultad para establecer vnculos de amistad. Estabilidad emocional: La persona evidencia rasgos como: Despreocupacin, mal humor, pesimismo, tensin y nerviosismo moderados, poco disfrute de las amistades. Responsabilidad: La persona evidencia rasgos como: Dependencia, desorganizacin moderada, carcter complicado, lentitud al realizar las tareas, con preferencia por las actividades relajadas que requieren poca presin. Planifica y desarrolla redes de relaciones con colegas, compaeros de trabajo y usuarios. Acude a sus redes de relaciones para mantenerse informado. Identificar oportunidades de trabajo sobre las que comunica a sus superiores, teniendo en cuenta la relevancia institucional. La persona en este nivel manifiesta caractersticas estables de personalidad. Se distingue por la Extroversin evidente en rasgos como: sociabilidad, ser activo, conversador, orientado a la gente, optimista, divertido, afectivo, clido, lder. Busca emociones positivas, se propone metas, es alegre, entusiasta. Denota Estabilidad Emocional a travs de rasgos como los siguientes: Autoconciencia, control, sensibilidad, tolerancia, autoesquemas positivos, habilidades de afrontamiento positivas, relajacin, poca emocionalidad, seguro, satisfecho consigo mismo, resistente a la presin y tensin del ambiente laboral. Evidencia responsabilidad al ser: organizado, cauteloso, prudente, eficaz, bien preparado, escrupuloso, cuidadoso. Se adhiere a sus principios ticos; tiene autodisciplina y automotivacin; es prctico, minucioso y trabajador.
PS004
Se relaciona informalmente con su grupo de trabajo, se comunica con poca asertividad y hace poco reconocimiento de las necesidades de los Competencia 2 dems.
PS004
Denota inestabilidad emocional en la mayor parte de las situaciones, a travs de rasgos como los siguientes: ansiedad, hostilidad, depresin, preocupacin, inseguridad, angustia, pensamientos irracionales, conductas impulsivas, mal humor, hipocondriasis, descontento. Se caracteriza por la introversin, manifestada en rasgos como: ser reservado, serio, poco exuberante, orientado hacia el deber, reCompetencia 3 trado, callado, demasiado calmado, solitario, con baja energa fsica, poco arriesgado y no asertivo. Denota poco sentido de responsabilidad, a travs de rasgos como: el desorden, la incapacidad, la imprudencia, la insensibilidad, la inescrupulosidad, la pereza, la indisciplina, el descuido, la informalidad, la laxitud extrema, la carencia de objetivos, el hedonismo pleno, la negligencia y lo poco confiable.

Comprende los cambios del entorno y las oportunidades. Detecta nuevas opciones de proyectos y de alianzas estratgicas.
64 El grupo lo percibe como lder, fija objetivos que el equipo de trabajo acepta, realizando un adecuado seguimiento de los mismos. Escucha a los dems y es escuchado. Comprende rpidamente los cambios del entorno, las oportunidades, las amenazas competitivas y debilidades de su entidad, cuando debe identificar la mejor respuesta estratgica. Detecta nuevas oportunidades de trabajo, de proyectos, de realizacin de alianzas estratgicas. Orienta la accin de su grupo de trabajo en una direccin determinada, inspirando valores de accin y anticipando escenarios. Fija objetivos, realiza su seguimiento y da retroalimentacin sobre su avance, integrando las opiniones de los diferentes integrantes del equipo de trabajo. Tiene motivacin y la transmite a otros en pro de objetivos comunes fijados por l mismo.
PS004
Tiene poca percepcin sobre los cambios del entorno que modifican las formas tradicionales de desempeo laboral. En pocas ocasiones Competencia 4 detecta las oportunidades de proyeccin de su entidad.
En el grupo no lo percibe como lder; tiene dificultades para fijar objetivos, aunque puede poner algunos en marcha y hacer su seguimiento.
PS004
Competencia 5
6. Publicacin de resultados
Para la publicacin de los resultados, se desarroll un mdulo de consulta en el sitio web de la Entidad, a travs de la cual el concursante tena acceso al resultado cuantitativo obtenido, a la interpretacin y a la grfica de su perfil (ver anexo 3). Para realizar esta publicacin, se cre una base de datos en SQL Server.
Conclusiones
La prueba psicotcnica diseada para la convocatoria 2006-2007 de la Procuradura General de la Nacin, denominada Fortalecimiento del talento humano, evala las caractersticas personales del sujeto, examina conductas humanas en circunstancias determinadas y permite establecer el grado de ajuste con el perfil esperado en el nivel operativo, tcnico-administrativo, profesional y ejecutivo - asesor, a la vez que asigna un valor numrico de acuerdo con las respuestas de los participantes. Esto tiene coherencia con lo que mencionan diferentes autores, entre ellos Martnez (1995), quien afirma la evaluacin de competencias laborales es un proceso de verificacin de evidencias de desempeo contra el estndar definido; por tanto, la medicin se constituye en un referente importante para la evaluacin de las competencias, en tanto permite cuantificar los atributos de los concursantes, mediante la asignacin de valores numricos de acuerdo con las respuestas de los participantes. De acuerdo con los datos, se observ que los errores en todas las formas de la prueba fueron muy pequeos; igualmente, las correlaciones fueron positivas y significativas entre las preguntas que conformaron la prueba, reverenciando los rangos establecidos por Bond y Fox (2001). Esto muestra consideracin por los criterios establecidos en la prueba que compone el sistema de evaluacin utilizado en el concurso. Hubo respeto por la forma en la obtencin de la informacin de la poblacin que fue admitida al proceso de mritos de la Procuradura 2006- 2007, en cada uno de los niveles convocados. As mismo el rigor tcnico utilizado para definir las competencias a medir en cada uno de los grupos fijados, con las unidades de conducta establecidas, permiti determinar unos criterios adecuados para la construccin de la prueba y por ende para la interpretacin de los resultados.
65 |
Esto se pudo corroborar en el procesamiento, calificacin e interpretacin de los resultados. La prueba fue validada con los datos arrojados por toda la poblacin que se present a pruebas, sobre la base cientfica: a mayor nmero de datos analizados mayor ndice de confiabilidad en su resultado (Hernndez, Fernndez y Baptista, 1998). La tendencia de la poblacin no fue diferente a lo esperado, se comport de modo que las personas con valores altos en las pruebas de conocimiento tendan a valores significativos en las competencias evaluadas en la prueba psicotcnica. De este modo fueron validados los criterios adoptados en la construccin de la herramienta de seleccin, en el sentido de coherencia y pertinencia con la poblacin objeto de evaluacin; tasmbin fue ratificada la posicin de muchos autores en teoras de la personalidad, sobre el supuesto terico de que a mayor exigencia en la preparacin de conocimientos, mayor la tendencia a adquirir habilidades y destrezas competitivas. Adicionalmente, teniendo en cuenta el anlisis de los datos obtenidos, se evidenci, como lo mencionaba Van Der Ark (2001), que un nmero relativamente pequeo de tems politmicos permite la obtencin de altos grados de confiabilidad. Igualmente, siguiendo con este autor, las caractersticas definidas se evaluaron fcilmente, utilizando las respuestas graduadas, en las cuales se establecieron tres niveles diferentes de competencia. Lo anterior demuestra conexin en todas las pruebas utilizadas para este proceso de seleccin, cada una de ellas midi lo que pretendi medir y, teniendo en cuenta que un solo instrumento no abarca absolutamente el objeto de evaluacin, las tres pruebas utilizadas se complementaron y ponderaron, constituyndose en un sistema de seleccin completo. De acuerdo con la forma como se obtiene la poblacin n, el diseo utilizado para el desarrollo de la herramienta de seleccin fue el ms adecuado. Esta muestra est constituida por los concursantes admitidos al concurso; es decir aquellos que, previo estudio del cumplimiento de los requisitos mnimos establecidos en cada convocatoria, son admitidos mediante acto administrativo suscrito por el Jefe de la Oficina de Seleccin y Carrera de la Procuradura. Para esta ocasin, los cargos convocados pertenecan a seis niveles ocupacionales, de diferentes profesiones, ubicados en las 32 capitales de Departamentos de Colombia. Las variables tericas fueron controladas en la divisin de cada
66 |
subgrupo y a travs de cada criterio establecido, medido con conductas asociadas; esto permiti establecer diferencias individuales. La elaboracin de la prueba psicotcnica ha sido una valiosa experiencia para la Procuradura General de la Nacin, no slo por el conocimiento organizacional que genera, sino por el aporte que hace a la medicin de competencias, en especial, para el sector pblico, con procesos ms eficientes, ms controlados y brindando mayor satisfaccin tanto al usuario interno como externo.
67
7. Referencias bibliogrficas
American Psychological Association (2002). Ethical principles of psychologists and code of conduct. American Psychologist, 47, 1597-1611. Anduli: revista andaluza deficiencias sociales, 2005 - dialnet.unirioja.es Birenbaum, M., Tatsuoka, K. & Gutvirtz, Y. (1992). Effects of response format on diagnostic assessment of scholastic achievement. Applied Psychological Measurement, 16 (4), 353 363. Bond, T. & Fox, C. (2007). Fundamental Measurement in the Human Sciences. (2nd Ed.) Chicago: USA Brown, F. (1980). Principios de la Medicin en Psicologa y Educacin. Mexico. Ed. El Manual Moderno. Benavides, O. (2002). Competencias y competitividad, diseo para organizaciones Latinoamericanas. Colombia: Nomos. Cohen, R. J. y Swerdlick, M. E. (2000). Pruebas y Evaluacin Psicolgicas: Introduccin a las pruebas y a la medicin. (4 Ed.). Mxico: Ed. McGraw Hill. Embreston, S. E. (1985). Introduction to the problem of test design. En Susan. E. Embreston: Test Design: Developments in psychology and psichometrics. Orlando, Fl. EE. UU. Academic Press. INC. Stenner, A. J., Smith, M. & Burdick, D. S. (1983). Toward a theory of construct definition. Journal of Educational Measurement, 20 (4), 305-315. Foucault, M. (1993). Volver a pensar la Educacin. Congreso Internacional de Didctica. Madrid, Espaa. Pablo Manzano. Gonczi A., Athanasou J. (1996) Instrumentacin de la educacin basada en competencias: perspectiva de la teora y la Prctica. La experiencia Australiana. Recuperado en febrero 20, 2003 disponible en: webmaster@cinterfor.org.uy Hernndez, R., Fernndez C. & Baptista P. (1998). Metodologa de la Investigacin. (2nd Ed). Mxico. McGraw-Hill. Lawshe, C. H. (1975). A Quantitative approach to Content Validity. Personnel Psychology, 28 (4), 563-575
69 |
Lvy-Leboyer C. (1997) Gestin de las Competencias. Barcelona. Ediciones Gestin 2000 S.A. Martnez, R. (1995). Psicometra: Teora de los tests psicolgicos y educativos. Madrid: Sntesis. Messick, S. (1995). Standards of validity and the validity of standards in performance assessment. Educational Measurement: Issues and Practice, 15, 5-12. Nunnally, J. & Bernstein, I. (1995). Teora Psicomtrica. 3a. Edicin. Mxico: McGraw-Hill. Pardo, C. (1998). Hablemos de Validez. Documento presentado en el curso de Metodologas y tcnicas para la evaluacin de la Calidad de la Educacin, del Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin, realizado por la oficina regional de la UNESCO - OREALC, en Santiago de Chile, septiembre de 1998. Santisteban, C. (1990). Psicometra. Teora y prctica en la construccin de test. Madrid: Norma. G Tang, L. (1996). Polytomous items response theory models and their applications in large-sclae testing programs: Review of literature. Educational testing Service, Princeton, New Jersey. EE. UU. Thurstone, L. L. (1928). Attitudes can be measured. American Journal of Sociology, 33, 529-544. Van Der Ark, L. A. (2001). Relationships and properties of polytomous item response theory models. Applied Psychological Measurement, 25(3), 273 282. Von Davier, M. & Yamamoto, K. (2004). Partially observed mixtures or IRT models: An extension of the generalized partial-credit model. Applied Psychological Measurement, 28 (6), 389 406.
70
ANEXO 1 Formato de validacin de la estructura de la prueba psicotcnica por expertos
PROCESO GESTION DEL TALENTO HUMANO SUB-PROCESO SELECCIN DE EMPLEADOS DE CARRERA FORMATO DE VALIDACIN DE LA ESTRUCTURA DE LA PRUEBA PSICOTCNICA POR EXPERTOS REG-GH-SC- 014
Fecha de Revisin Fecha de Aprobacin Versin Pgina
19/09/2007 19/10/2007
1 1 de 3
NOMBRE Y APELLIDO DEL EVALUADOR CONVENIO PROFESIN ESTUDIOS DE POSTGRADO REAS DE EXPERIENCIA FECHA DE DILIGENCIAMIENTO Por favor evale las siguientes competencias segn el nivel de pertinencia y relevancia, dependiendo si es de tipo transversal o especfica para el grupo ocupacional, siendo 1 la calificacin ms baja y 5 la ms alta. PERTINENCIA: la competencia corresponde al perfil del grupo ocupacional (Ncleo Especfico) o a las caractersticas generales de la Entidad (Ncleo Comn). RELEVANCIA: la competencia es importante para predecir el buen desempeo del funcionario en ese grupo o dentro de la organizacin. NCLEOS COMPETENCIA PERTINENCIA RELEVANCIA
NCLEO COMN
Grupo I (Servicios Generales)

Lugar de Archivo: Oficina de Seleccin y Carrera - Archivo de Seguridad. Tiempo de Retencin: Cinco (5) aos. Disposicin Final: Digitalizacin y Destruccin.
Verifique que sta es la versin correcta antes de utilizar el documento
73
19/09/2007 19/10/2007
1 2 de 3
NCLEO ESPECFICO
Grupo II (Administrativo Tcnico) Grupo III (Profesionales Asesores)
Grupo IV (Asesores Jefes Oficina)
Registre las observaciones que considere pertinentes para cada competencia: No. Competencia Observaciones
Lugar de Archivo: Oficina de Seleccin y Carrera - Archivo de Seguridad.
Tiempo de Retencin: Cinco (5) aos.
Disposicin Final: Digitalizacin y Destruccin.
74
19/09/2007 19/10/2007
1 3 de 3
75
ANEXO 2 Formato de validacin de tems de la prueba psicotcnica por expertos
PROCESO GESTION DEL TALENTO HUMANO SUB-PROCESO SELECCIN DE EMPLEADOS DE CARRERA FORMATO DE VALIDACIN DE ITEMS DE LA PRUEBA PSICOTCNICA POR EXPERTOS REG-GH-SC- 015
19/09/2007 19/10/2007
1 1 de 3
NOMBRE Y APELLIDO DEL EVALUADOR Por favor evale los siguientes tems segn el nivel de pertinencia, coherencia, relevancia, sintctica y semntica, segn la siguiente escala a. tem que obtiene puntuaciones entre 0.0 y 1.0 SE DESCARTA. b. tem que obtiene puntuaciones entre 2.0 y 3.0 SE MODIFICA c. tem que obtiene puntuaciones entre 4.0 y 5.0 SE CONSERVA PERTINENCIA: el tem corresponde a la competencia evaluada. COHERENCIA: el tem tiene conexin lgica entre el enunciado y las alternativas de respuesta. RELEVANCIA: el tem es importante para predecir la ejecucin adecuada de la competencia. SINTCTICA: el tem est redactado con adecuado estructura gramatical SEMNTICA: el tem est redactado en lenguaje adecuado para la poblacin evaluada.
COMPETENCIA: No. Item Pertinencia Coherencia Relevancia Sintctica Semntica Observaciones
79
19/09/2007 19/10/2007
1 2 de 3
80
19/09/2007 19/10/2007
1 3 de 3
La cantidad de tems presentados evalan suficientemente el contenido propuesto? S___ NO ____ Concepto y observaciones finales
Firma _________________________________
Gracias por su colaboracin
81
ANEXO 3 Publicacin de resultados prueba psicotcnica. Ejemplo
85
www.imprenta.gov.co PBX (0571) 457 80 00 Carrera 66 No. 24-09 Bogot, D. C., Colombia

Prueba Sicotecnica Procuraduria Como Modelo

Diunggah oleh

Informasi Dokumen

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Prueba Sicotecnica Procuraduria Como Modelo

Diunggah oleh

Hak Cipta:

Format Tersedia

Informe Cientfico

Fortalecimiento del talento humano

Oficina de Seleccin y Carrera

Informe cientfico Prueba psicotcnica

Convocatoria 2006-2007 Fortalecimiento del talento humano

Oficina de Seleccin y Carrera

CONTENIDO Agradecimientos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Introduccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1. 7 9

2.2.2. Validacin por jueces . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 2.2.3. Confiabilidad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.2.4. Anlisis de tems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

APLICACIONES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 3.1. 3.2. Prueba de seleccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 Prueba de orientacin ocupacional y profesional . . . . . . . . 52

Evaluacin de perfiles personales . . . . . . . . . . . . . . . . . . . . . 52 Instrumento de diagnstico para formacin . . . . . . . . . . . . 52

PUBLICACIN DE RESULTADOS . . . . . . . . . . . . . . . . . . . . . . . . . 65 CONCLUSIONES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 REFERENCIAS BIBLIOGRFICAS . . . . . . . . . . . . . . . . . . . . . . . . . 69

Anexo 3. Publicacin de resultados prueba psicotcnica. Ejemplo 83

procuradura general de la nacin

Convocatoria 2006 - 2007

informe cientfico prueba psicotcnica

Fortalecimiento del talento humano

procuradura general de la nacin

Convocatoria 2006 - 2007

informe cientfico prueba psicotcnica

Fortalecimiento del talento humano

procuradura general de la nacin

Convocatoria 2006 - 2007

informe cientfico prueba psicotcnica

Fortalecimiento del talento humano

procuradura general de la nacin

Convocatoria 2006 - 2007

1.2. Objetivo General

informe cientfico prueba psicotcnica

Fortalecimiento del talento humano

1.3. Justificacin Tcnica

procuradura general de la nacin

Convocatoria 2006 - 2007

informe cientfico prueba psicotcnica

Fortalecimiento del talento humano

1.5. Marco Legal

1.6. Sntesis del Marco terico

procuradura general de la nacin

Convocatoria 2006 - 2007

informe cientfico prueba psicotcnica

Fortalecimiento del talento humano

procuradura general de la nacin

Convocatoria 2006 - 2007

informe cientfico prueba psicotcnica

Fortalecimiento del talento humano

procuradura general de la nacin

Convocatoria 2006 - 2007

informe cientfico prueba psicotcnica

Fortalecimiento del talento humano

procuradura general de la nacin

Convocatoria 2006 - 2007

2.1. Estructura de la prueba psicotcnica

informe cientfico prueba psicotcnica

Fortalecimiento del talento humano

2.2. Factores que intervienen en la elaboracin de una prueba

procuradura general de la nacin

Convocatoria 2006 - 2007

informe cientfico prueba psicotcnica

Fortalecimiento del talento humano

procuradura general de la nacin

Convocatoria 2006 - 2007

informe cientfico prueba psicotcnica

Fortalecimiento del talento humano

procuradura general de la nacin

Convocatoria 2006 - 2007