PSICOMETRA

1 Cuatrimestre

Bloque I. Introduccin a la Psicometra

Bloque II. Mtodos de Escalamiento para la construccin de escalas y tests
Bloque III. Teora de los Tests I: Teora Clsica de los Tests
2 Cuatrimestre

Bloque IV. Validez

TEMA 7. Validez. Introduccin
TEMA 8. Validez. Fuentes de evidencia externas
TEMA 9. Validez. Fuentes de evidencia internas
TEMA 10. Otros aspectos de la validez del test
Bloque V: Interpretacin de pnuntuaciones
TEMA 11. Interpretacin de puntuaciones
Bloque VI: Teora de los Tests II: Teora de la Respuesta al tem
TEMA 12. Modelos de la TRI, estimacin y Ajuste en TRI
TEMA 13. Aplicaciones de la TRI

Tema 8. Validez
Fuentes de evidencia externas
1. Relaciones del test con otras variables
1.1. Evidencia convergente y discriminante
1.2. Relaciones test-criterio

2. Sesgo y funcionamiento diferencial del tem

3. Otras fuentes de evidencia
3.1. Basada en el proceso de respuesta
3.2. Basada en las consecuencias de la aplicacin

1. Relaciones del test con otras variables

Concluir sobre el grado en que las relaciones de las
puntuaciones del test con otras medidas
reproducen las relaciones implicadas en la red nomolgica

Objetivos

Demostrar que los constructos no son productos artificiales

creados por los instrumentos de medida utilizados
3

Un caso particular:
1.1. Evidencia Convergente - Discriminante

Convergente

Medidas del mismo

rasgo efectuadas con
diferentes mtodos
tienen una alta
correlacin

Discriminante

Medidas del mismo

rasgo efectuadas con
diferentes mtodos
correlacionan ms
que medidas de
diferentes rasgos con
el mismo mtodo
4

Hay que medir varios rasgos

por diferentes mtodos

Anlisis de matrices
multirasgo-multimtodo
MRMM

Campbell y Fiske (1959)

5

Ejemplo:
Test DAT:
Test de Aptitudes Diferenciales

Razonamiento Verbal
Clculo
Razonamiento Abstracto
Velocidad y precisin
Razonamiento Mecnico
Relaciones Espaciales
Ortografa
Lenguaje

Test P.M.A.:
Test de Aptitudes Mentales Primarias

Comprensin Verbal (Factor V)

Comprensin Espacial (Factor E)
Razonamiento (Factor R)
Clculo Numrico (Factor N)
Fluidez Verbal (Factor F)
6

Matriz multirasgo-multimtodo

Convergente
Criterios de
Campbell y
Fiske
Discriminante

MRHM

Significativos
Positivos y altos
HRMM
HRHM
8

La validez convergente, discriminante y si existen efectos de mtodo,

puede evaluarse ms sistemticamente con procedimientos como el
AFC de matrices MRMM (ej. Byrne y Goffin, 1993)

Tema 8. Validez
Fuentes de evidencia externas
1. Relaciones del test con otras variables
1.1. Evidencia convergente y discriminante
1.2. Relaciones test-criterio

2. Sesgo y funcionamiento diferencial del tem

3. Otras fuentes de evidencia
3.1. Basada en el proceso de respuesta
3.2. Basada en las consecuencias de la aplicacin 10

1. Relaciones del test con otras variables

1.2. Relaciones test-criterio
OBJETIVO
Concluir sobre la existencia de relacin
entre las puntuaciones del test
y las medidas del criterio que se pretende
predecir
Especial relevancia en el mbito de la seleccin
11

Cundo medir el criterio?

Primero el test,
despus el
criterio

Estudios
predictivos

Test y criterio
a la vez

Estudios
concurrentes

Primero el
criterio, despus
el test

Estudios
retrospectivos
12

Procedimientos para la recogida de

evidencia
Coeficiente de validez
Regresin lineal
simple y mltiple

13

Coeficiente de validez
Correlacin entre las puntuaciones
del test (X) y del criterio (Y)
Rango de valores
admisibles

Interpretacin:
General: como cualquier correlacin
Existencia: contraste de hiptesis

Importancia:
coeficiente de determinacin

14

Coeficiente de validez
Ejemplo:

15

Regresin lineal simple

Depresi
Depresin

16

Regresin lineal mltiple

17

Otro ejemplo

18

Tema 8. Validez
Fuentes de evidencia externas
1. Relaciones del test con otras variables
1.1. Evidencia convergente y discriminante
1.2. Relaciones test-criterio

2. Sesgo y funcionamiento diferencial del tem

3. Otras fuentes de evidencia
3.1. Basada en el proceso de respuesta
3.2. Basada en las consecuencias de la aplicacin 19

2.2. Sesgo y funcionamiento diferencial del tem

Un tem presenta
funcionamiento diferencial (DIF)
cuando individuos con el mismo nivel de
habilidad tienen diferente probabilidad de
acertar (estar de acuerdo...) por el simple
hecho de pertener a grupos distintos

20

Si individuos de diferentes grupos culturales,

sociales o tnicos responden de manera
distinta a los tems del test, qu reflejan los
resultados?
Diferencias reales entre los individuos de esos
grupos?, o
son producto de factores secundarios e
irrelevantes respecto a lo que mide el test (por
ejemplo, experiencias y oportunidades educativas
distintas)?
21

DIF - IMPACTO
Impacto

Cuando las diferencias existentes entre grupos

de personas se deben a diferencias reales

DIF

Cuando aparecen diferencias entre individuos

de dos grupos que tienen el mismo nivel de
habilidad (producto de factores secundarios)

DIF - SESGO
Sesgo
DIF

Explicacin terica de las diferencias

Explicacin estadstica de las diferencias

22

PROCEDIMIENTOS PARA LA DETECCIN

DE DIF

No paramtricos

Paramtricos

Basados en tablas
de contingencia

Regresin logstica
TRI ajustada a
diferentes grupos
23

2. Sesgo y Funcionamiento Diferencial del tem

DIF no-uniforme
DIF uniforme
Grupo R
1.00

1.00

Grupo R
0.75

P ( ) Grupo R
i

P ( ) Grupo R
i

0.75

Grupo F

0.50

Pi ( )

0.50

Grupo F

P ( ) Grupo F
i

P ( ) Grupo F
i
0.25

0.25

0.00

0.00
-4

-2

rasgo)
rasgo)

-4

-2

rasgo)
24

Tema 8. Validez
Fuentes de evidencia externas
1. Relaciones del test con otras variables
1.1. Evidencia convergente y discriminante
1.2. Relaciones test-criterio

2. Sesgo y funcionamiento diferencial del tem

3. Otras fuentes de evidencia
3.1. Basada en el proceso de respuesta
3.2. Basada en las consecuencias de la aplicacin 25

3.1. Evidencia basada en el proceso de respuesta

OBJETIVO
Concluir sobre el grado en que las estrategias
usadas para responder
son acordes con la definicin del constructo a medir

Se encuentran implicados en el proceso de respuesta

de los individuos
los componentes cognitivos que definen el constructo?
26

3.1. Evidencia basada en el proceso de respuesta

Psicologa Cognitiva
Paradigma del
procesamiento de la
informacin

Teora Psicomtrica

El enfoque tradicional de la validez es incompleto

Necesidad de considerar el anlisis ms profundo

de los mecanismos implicados en el proceso de respuesta
27

3.1. Evidencia basada en el proceso de respuesta

Identificar cules son los componentes
cognitivos implicados

Proporciona
evidencia de
validez

Enriquece la
definicin del
constructo

28

Tema 8. Validez
Fuentes de evidencia externas
1. Relaciones del test con otras variables
1.1. Evidencia convergente y discriminante
1.2. Relaciones test-criterio

2. Sesgo y funcionamiento diferencial del tem

3. Otras fuentes de evidencia
3.1. Basada en el proceso de respuesta
3.2. Basada en las consecuencias de la aplicacin 29

3.2. Evidencia basada en las

consecuencias de la aplicacin
Incorporar en la conceptualizacin de la validez
las consecuencias deseadas y no deseadas
derivadas de la aplicacin y uso de los tests
SAMUEL MESSICK (1989)
ACUERDO en que el anlisis de las consecuencias
del uso de los tests es IMPORTANTE

Pero,
Debe ser considerado como parte de la validacin?
30

3.2. Evidencia basada en las

consecuencias de la aplicacin
Detractores

Defensores

Wiley (1991)

Messick (1975, 1989, 1995)

Maguire, Hattie y Haig (1994)

Cronbach (1988)

Tenopyr (1996)

Shepard (1993, 1997)

Popham (1997)

Linn (1993, 1997)

Mehrens (1997)

Moss (1995)
31

3.2. Evidencia basada en las

consecuencias de la aplicacin
Argumentos de los detractores

Es importante, pero debe considerarse a parte del estudio

de validacin
Implica anlisis sociales, polticos y morales que quedan
fuera de la competencia de los estudios de validacin
Su consideracin complica la conceptualizacin de la
validez
Inviabilidad de carcter institucional y econmico
32

3.2. Evidencia basada en las

consecuencias de la aplicacin
Argumentos de los defensores

Son parte esencial del proceso de validacin y no un

problema
La conceptualizacin de la validez no es simple, pero la
solucin no est en reducir artificialmente el concepto
para hacerlo ms sencillo
Reconocen problemas prcticos, pero no incluirlo es darle
menos importancia
33

3.2. Evidencia basada en las

consecuencias de la aplicacin
Aspecto polmico
Espero que los autores de la revisin de las Normas
reconozcan el debate y releguen cualquier discusin
sobre las consecuencias a un contexto separado del
concepto de validez
(Mehrens, 1997, pg. 18)
Este aspecto fue incluido en la edicin de 1999 de las
Normas de la APA
34