Anda di halaman 1dari 66

PSICOMETRA

Tema 6.2
Evaluacin del instrumento de medida:
VALIDEZ II
TEMA 6.2: VALIDEZ II

Salvador Chacn Moscoso


Susana Sanduvete Chaves

Agradecemos a Francisco Pablo Holgado Tello su inestimable colaboracin en la elaboracin de este


material
TEMA 6.2.
EVALUACIN DEL INSTRUMENTO DE MEDIDA:
VALIDEZ (II)
1. Validacin con varios predictores y un solo indicador del criterio
1.1. El coeficiente de validez mltiple
1.2. El modelo de regresin lineal mltiple
1.2.1. Ecuaciones de regresin
1.2.2. La varianza residual y el error tpico de estimacin mltiple
1.3. Interpretacin de la evidencia obtenida acerca de la capacidad predictora
del conjunto de variables utilizadas
1.3.1. Coeficiente de determinacin mltiple
1.3.2. Coeficiente de alineacin mltiple
1.3.3. Coeficiente de valor predictivo mltiple
1.4. Mtodos para seleccionar las variables predictoras ms adecuadas
2. Validez y utilidad de las decisiones
2.1. ndices de validez
TEMA 6.2: VALIDEZ II

2.2. Dnde situar el punto de corte?


2.3. Ejemplo
2.4. Modelos de seleccin
2.5. Cmo estimar la eficacia de una seleccin?
3. Factores que influyen en el coeficiente de validez
3.1. La variabilidad de la muestra
3.2. La fiabilidad de las puntuaciones del test y del criterio
3.3. Validez y longitud
4. Generalizacin de la validez
5. Bibliografa bsica
2
Validacin referida al
criterio; varios
predictores y un
TEMA 6.2: VALIDEZ II

ndicador del criterio

3
Validacin con varios predictores y un solo
indicador del criterio
Varios predictores y un indicador del criterio:
El modelo de Regresin Lineal Simple en la prctica es
insuficiente Raramente se utiliza una nica variable predictora
para tomar decisiones.

El problema es que los predictores


X1 adems de estar relacionados con el
Y criterio puede que estn relacionados
entre s lo que plantea problemas con
X2 la prediccin e interpretacin de
TEMA 6.2: VALIDEZ II

resultados.

Ejemplo: seleccionar comerciales de automviles.


Criterio = n de ventas (Y) . Predictores: extraversin
(X1) y capacidad verbal (X2). Probablemente ambos
predictores estn correlacionados entre s en qu 4
grado la variabilidad de Y se debe a X1 o X2, o a la
Validacin con varios predictores y un solo
indicador del criterio
Varios predictores y un indicador del criterio:
Una forma de controlarlo es mediante la correlacin parcial y
semiparcial.
1. Correlacin parcial: permite interpretar el grado de
correlacin entre la variable criterio (Y) y una de las variables
predictoras, eliminando de antemano el efecto que sobre dicha
correlacin pueda estar ejerciendo el resto de variables
rYX1 rYX 2 rX 1 X 2
R YX1 .X 2
(1 rYX2 2 )(1 rX21 X 2 )
TEMA 6.2: VALIDEZ II

La correlacin entre el
X1 nmero de ventas (Y) y la
Y extraversin (X1),
eliminando la influencia que
X2 en esa correlacin ejerce la
fluidez verbal (X2) 5
Validacin con varios predictores y un solo
indicador del criterio
2. Correlacin semi-parcial: permite interpretar el grado de
correlacin entre la variable criterio (Y) y una de las variables
predictoras, eliminando, de antemano el efecto que sobre dicha
variable predictora pueda estar ejerciendo el resto de
variables
rYX1 rYX 2 rX 1 X 2
RY(X1 . X 2 )
1 rX21 X 2
TEMA 6.2: VALIDEZ II

X1
Y La correlacin entre el
nmero de ventas (Y) y la
X2 extraversin (X1)
eliminando la influencia
que en X1 ejerce la
fluidez verbal (x2) 6
Coeficiente de validez mltiple
Varios predictores y un indicador del criterio:

Coeficiente de validez: viene dado por la correlacin entre


la variable predictora y el indicador del criterio.
-Cuando slo tenemos 1 predictor; y 1 criterio utilizamos
la correlacin simple.
-Sin embargo, cuando tenemos varios predictores (dos por
ejemplo), el anlogo es la correlacin mltiple que viene
dada por:
TEMA 6.2: VALIDEZ II

rYX2 1 rYX2 2 2rYX1 rYX 2 rX 1 X 2


RY.X 1 X 2
1 rX21 X 2

7
El modelo de regresin lineal
mltiple
Varios predictores y un indicador del criterio:

En suma, es habitual trabajar con mltiples


predictoresobtener una ecuacin de prediccin que
pondere adecuadamente cada uno de los predictores para
pronosticar el criterio. Y eliminar los predictores que
aportan poca informacin Regresin Lineal
Mltiple que es una generalizacin de la simple.

Y a b1 X 1 b2 X 2 ... bn X n i
TEMA 6.2: VALIDEZ II

Donde:
a = ordenada en el origen.
b1, , b2 ,..., bn = coeficientes de regresin
; el error aleatorio.
8
El modelo de regresin lineal mltiple.
Ecuaciones de regresin
Normalmente se expresa en notacin matricial debido
al gran volumen de operaciones que habra que
realizar. En este caso:
y Xb

Donde:
y = vector de puntuaciones de los N sujetos en la
variable dependiente o criterio (N*1).
TEMA 6.2: VALIDEZ II

b = vector con (p+1) coeficientes de regresin.


X= matriz de puntuaciones en las p variables
predictoras, con una primera columna de unos.
= vector de errores aleatorios (N*1).

9
10 El modelo de regresin lineal mltiple.
Ecuaciones de regresin
Ecuaciones de regresin:

1. El vector de puntuaciones
observadas en el criterio, es
igual a la matriz de
y1 1 X 11 ... X 1 p b0 1 puntuaciones observadas en
y 1 X los predictores, por el vector
... X 2 p b1 2
2 21
de coeficientes de regresin
... 1 ... ... ... ... ... + el vector de errores
aleatorios
yn 1 X N 1 ... X Np b p p
2. As por ejemplo, un
TEMA 6.2: VALIDEZ II

vendedor ha vendido 13
coches, otro 10 y otro 15. Y
13 1 4 8 5 2 que es igual a la matriz de las
10 1 5 6 3 4 puntuaciones de los sujetos

15 1 6 2 1 6 en extraversin y fluidez
verbal (primer vendedor 4y
8), por los coeficientes de 10
regresin, ms el vector de
El modelo de regresin lineal mltiple.
Ecuaciones de regresin
Ecuaciones de regresin:
Centrndonos con dos variables tendremos una ecuacin con dos
v. Predictoras (X1 y X2);
2. b es el coeficiente de
Y a b1 X 1 b2 X 2 correlacin semi-parcial
(elimina la influencia del
1. a es la ordenada en el
resto de variables
origen predictoras del modelo)
Donde : por la razn de la
varianza del criterio entre
a Y b1 X 1 b2 X 2 la del predictor
TEMA 6.2: VALIDEZ II

correspondiente
rYX1 rYX 2 rX1 X 2 S y rYX 2 rYX1 rX 1 X 2 S y
b1 ; b2
1 r 2
X1X 2 S X1 1 rX21 X 2 SX2
Rregresin simple :
a Y bX
La Regresin Lineal Mltiple,
Sy
supone una generalizacin de la b rxy 11
SX
Simple
Varianza residual o varianza error y el
error tpico de estimacin mltiple
Varianza residual:
Si recordamos, el coeficiente de validez indica la eficacia
del predictor para estimar el criterioel Coeficiente de
validez mltiple indicar la eficacia del conjunto de
variables predictoras para estimar el criterio.

De tal forma que:

R Y.X1X2 Mejor sern las estimaciones del criterio error (Y-Y`)


TEMA 6.2: VALIDEZ II

A la varianza de todos los (Y-Y) se le denomina


Varianza residual, varianza error, o error tpico
de estimacin

SY2. X1 X 2
(Y Y )2

N 12
Intervalos de confianza.

Intervalos de confianza:
Debido a los errores de estimacin, mas que estimaciones
puntuales es conveniente hacerlas por intervalos.
Asumiendo que los errores se distribuyen normalmente:
1. Determinar el nivel de confianza y su puntuacin tpica
asociada (NC. 99% Zc=2.58).
2. Calcular el error tpico de estimacin (a mayor error,
ms amplios sern los intervalos).
TEMA 6.2: VALIDEZ II

3. Calcular el error mximo que estamos dispuesto a


asumir (Emax = Zc Sy.x).
4. Aplicar la ecuacin de regresin y obtener la
puntuacin pronosticada. (Y`= a + b1X1+ b2X2)
5. Establecer el intervalo de confianza. Y`Emax 13
Interpretacin de la evidencia obtenida
acerca de la capacidad predictora del
Al igual que en el
conjunto decaso de la regresin simple, la varianza
variables
total de las puntuaciones obtenidas en el criterio puede
descomponerse en la varianza de las puntuaciones
pronosticadas ms de la varianza error.
SY2 SY2 SY2. X 1 X 2
Si dividimos todos los miembros por varianza de las
puntuaciones en el criterio obtenemos que el error
tpico de estimacin se puede obtener a partir de la
TEMA 6.2: VALIDEZ II

varianza de las puntuaciones en el criterio y del coef.


validez mltiple:
RY2. X X 1 2

S 2
S 2
SY2. X 1 X 2 SY2. X 1 X 2

Y
2
Y
2
; 1 RY2. X 1 X 2
S Y S Y SY2 SY2

SY2. X 1 X 2 SY2 (1 RY2. X 1 X 2 ); SY . X 1 X 2 SY2 (1 RY2. X 1 X 2 ) 14


VALIDACIN REFERIDA AL CRITERIO.
Interpretacin. Coeficiente de
determinacin
Interpretacin mltiple
del coeficiente de validez mltiple:
1. Coeficiente de Determinacin mltiple: equivale al
coeficiende de validez al cuadrado y representa la proporcin de
varianza de las puntuaciones de los sujetos en el criterio que se
puede pronosticar a partir del conjunto de variables predictoras.
S y2
C.D RY2. X 1 X 2
El C.D est acotado en el intervalo [0_1] S y2
Cuando la varianza error es pequea, implica que los valores
TEMA 6.2: VALIDEZ II

pronosticados de Y` estn prximos a los reales; el error tpico


de estimacin ser pequeo y por tanto el C.D tomar valores
prximos a uno.

Expresa, la proporcin de variacin de Y ligada a


las variables predictoras, determinada por las
vv.predictoras, explicada por las vv. predictoras, o 15
que se puede predecir a partir de las vv.
VALIDACIN REFERIDA AL CRITERIO.
Interpretacin. Coeficiente de alienacin
mltiple.
2. Coeficiente de alienacin mltiple: indica la proporcin
que representa el error tpico de estimacin mltiple respecto a
la desviacin tpica de las puntuaciones en el criterio
SY . X 1 X 2
C. A K 1 RY2. X 1 X 2
SY
El C.A est acotado en el intervalo [0_1]
Cuando la varianza error es alta, implica que los valores
pronosticados de Y` estn lejanos de los reales; el error tpico
TEMA 6.2: VALIDEZ II

de estimacin ser elevado y por tanto el C.A tomar valores


prximos a uno.
Expresa la proporcin de variacin de Y que no
est ligada al conjunto de vv.predictoras,
determinada por las vv.predictoras, explicada por
las vv.predictoras, o que no se puede predecir a
partir de ellas inseguridad, azar que afecta a 16
los pronsticos
17 VALIDACIN REFERIDA AL CRITERIO.
Interpretacin. Coeficiente de valor
predictivo mltiple
3. Coeficiente de valor predictivo mltiple:
complementario al C.A, es otra forma de expresar la
capacidad del test para pronosticar el criterio

C.V .P 1 1 RY2. X 1 X 2
TEMA 6.2: VALIDEZ II

El C.V.P est acotado en el intervalo [0_1]


Cuando mayor sea el C.A menor ser la capacidad del
test para pronosticar el criterio.

17
VALIDACIN REFERIDA AL CRITERIO.
Ejemplo
Se quiere averiguar si la fluidez verbal y la extraversin son
variables que favorecen el nmero de ventas en comerciales de
automviles. Se ha seleccionado a una muestra de 6 vendedores
que han sido evaluados por dos pruebas de extraversin (X1) y
fluidez verbal (X2), respectivamente.
Y X1 X2 Y2 X12 X22 YX1 YX2 X1 X2
4 2 4 16 4 16 8 16 8
8 6 5 64 36 25 48 40 30
TEMA 6.2: VALIDEZ II

6 5 6 36 25 36 30 36 30
6 7 6 36 49 36 42 36 42
5 4 7 25 16 49 20 35 28
7 8 8 49 64 64 56 56 64
36 32 36 226 194 226 204 219 202
18
VALIDACIN REFERIDA AL CRITERIO.
Ejemplo
1. Calculamos las intercorrlaciones entre las variables:
6 204 32 36
rYX1 0.79
(6 194 32 )(6 226 36 )
2 2

6 219 36 36
rYX 2 0.30
(6 226 36 )(6 226 36 )
2 2

6 202 32 36
rX1 X 2 0.65
(6 194 32 )(6 226 36 )
2 2

2. A continuacin, ya disponemos todos los datos para


TEMA 6.2: VALIDEZ II

calcular el coeficiente de correlacin mltiple o coef. de


validez:
Dado que el valor
YX 2 2rYX1 rYX 2 rX 1 X 2
2 2
rYX1 r
R Y.X 1X 2
2
0.70; mximo del
1 rX 1 X 2
2
coeficiente de
R Y.X 1X 2 0.70 0.84 validez es 1 se
puede decir que X1
y X2 tienen una19
20 VALIDACIN REFERIDA AL CRITERIO.
Ejemplo
3. En tercer lugar, habra que calcular las correlaciones parciales
y semiparciales
-Correlacin parcial entre extraversin y ventas:
1. Si antes la correlacin
entre extraversin y ventas
rYX rYX rX X era 0.79, ahora, cuando
rYX . X 1 2 1 2
0.82 hemos eliminado la
1 2
(1 rYX )(1 rX X )
2 2
influencia de F.verbal es
2 1 2
0.82. Es decir, ha
TEMA 6.2: VALIDEZ II

aumentado, que la fluidez


verbal podra estar
-Correlacin parcial entre F.verbal y ventas: afectando negativamente.
2. Si antes la correlacin
rYX rYX rX X
rYX 2 1 1 2
0.46 entre ventas y F.verbal era
2 . X1 0.30, ahora es 0.46 la
(1 r )(1 r
2
YX1
2
X1 X 2 )
extraversin est afectando
muy positivamente en la 20
correlacin.
VALIDACIN REFERIDA AL CRITERIO.
Ejemplo
3. En tercer lugar, habra que calcular las correlaciones y
semiparciales
-Correlacin semi-parcial entre extraversin y ventas:
1. Si antes la correlacin
rYX rYX rX entre extraversin y ventas
1X 2
rY ( X 1 2
0.78
1. X 2 ) era 0.79, ahora, cuando
(1 r 2
X1 X 2 ) hemos eliminado de
extraversin el efecto de
F.Verbal pasa a ser 0.78.
-Correlacin semi-parcial entre F.Verbal y ventas:
TEMA 6.2: VALIDEZ II

2. Si antes la correlacin
rYX rYX rX entre F.Verbal y ventas era
1X 2
rY ( X 2 1
0.28
2 . X1 ) 0.30, ahora, cuando hemos
(1 r 2
X1 X 2 )
eliminado de F.Verbal el
efecto de extraversin pasa
a ser -0.28.
Todo ello nos indica que, en la medida de lo posible
hay que evitar correlaciones altas entre los
21
predictores (Extraversin con F.verbal; r=0.65)
VALIDACIN REFERIDA AL CRITERIO.
Ejemplo
4. Calcular la ecuacin de regresin :
1. Calculamos el origen
Y a b1 X 1 b2 X 2 de ordenadas; y ambos
a Y b1 X 1 b2 X 2 4.64 coeficientes de
regresin
rYX1 rYX 2 rX 1 X 2 SY
b1 0.66
1 rX 1 X 2
2
S X1
b2 0.36
2. As por ejemplo, un
TEMA 6.2: VALIDEZ II

sujeto que en extraversin


haya obtenido 2, y 4 en
Y=a+b1X1+ b2X2 F.Verbal, se le pronostica
que venda
Y=4.64+0.66X1 0.36X2 aproximadamente 5
coches
Y(x1=2; x2=4)=4.64+0.66*2-0.36*4=4.52
22
VALIDACIN REFERIDA AL CRITERIO.
Ejemplo
Una vez construida la recta de regresin, podemos predecir para
cada valor de X, cul sera la puntuacin del sujeto en el criterio (Y

- Una vez estimados todos


los valores Y, podemos
obtener los correspondientes
errores de pronstico, si al
valor real le restamos el
pronosticado. Ejemplo (4-
4.52) Error de estimacin
Y X1 X2 Y=a+b1X1+ b2X2 Y Y-Y
TEMA 6.2: VALIDEZ II

4 2 4 Y=4.64+0.66*2 4.52 (4-4.52)-.52


0.36*4
8 6 5 Y=4.64+0.66*6 6.8 1.2
0.36*5
6 5 6 Y=4.64+0.66*5 5.78 .22
0.36*6
6 7 6 Y=4.64+0.66*7 7.1 -1.1 23
0.36*6
VALIDACIN REFERIDA AL CRITERIO.
Ejemplo

A partir de los datos de tabla podemos


calcular:
-La varianza de las `puntuaciones pronosticadas
S 2
2


Y `2
Y
222.71
6 1.12
y
N 6
-La varianza de los errores o el error tpico de estimacin
mltiple.

(Y Y `) 2
TEMA 6.2: VALIDEZ II

SY2. X 1 X 2 0 0.51; SY2. X 1 X 2 0.51 0.71


N

Sy
Dado que Cov(e,Y`)=0
2
S y2 SY2. X

24
VALIDACIN REFERIDA AL CRITERIO.
Ejemplo
5. Intervalos confidenciales.
Supongamos que queremos saber cuntos coches debera
vender un comercial que en extraversin punta en 5 y 6 en
fluidez verbal construir los intervalos confidenciales en torno a
la estimacin puntual:
1. Nivel de confianza (95%) Zc=1.96
SY . X 1 X 2 0.71
2. Calcular el error tpico de estimacin mltiple:
2

3. Calcular el error mximo: Emax=ZcSy.x;


Emax=1.96*0.71=1.39
TEMA 6.2: VALIDEZ II

4. Estimar el valor en el criterio para una puntuacin de 5


y `6:
Y( X1 5; X 2 6 ) a b1 X 1 b2 X 2 4.64 0.66 * 5 0.36 * 6 5.78

5. Establecer el intervalo de confianza.



Y`Emax=5.781.39=4.39 Y 7.17
25
VALIDACIN REFERIDA AL CRITERIO.
Ejemplo
Coeficiente de determinacin mltiple: la proporcin de
varianza de las puntuaciones de los sujetos en el criterio que
se puede pronosticar a partir de los predictores.
SY2`
C.D RY2. X 1 X 2 2 0.70
SY
Coeficiente de alienacin mltiple: proporcin que
representa el error tpico de estimacin respecto a la
desviacin tpica de las puntuaciones en el criterio
SY . X 1 X 2
C. A K 0.55;
TEMA 6.2: VALIDEZ II

SY
C. A2 0.552 0.30
Es decir, el 70 % de las puntuaciones en el
criterio se podra pronosticar a partir X 1 y X2
mientras que el resto, el 30% equivale a la
variabilidad de las puntuaciones en el 26
criterio sin explicar por los predictores.
Mtodos para seleccionar las
variables predictoras ms
adecuadas.
Segn Thorndike y Hagen (1989), los
predictores han de ser:
- a) Relevantes: en qe medida el
indicador se corresponde con el criterio?
- b) Libres de sesgo: evitar seleccionar
variables que afectan de manera
TEMA 6.2: VALIDEZ II

diferencial entre grupos.


- c) Fiables: las medidas obtenidas han de
ser precisas y mantenerse estables a lo
largo del tiempo.
27
- d) Accesibles
Mtodos para seleccionar las
variables predictoras ms adecuadas.

Cuanto ms predictores mejor, dado que


R aumenta. Sin embargo, hemos de
prestar especial atencin a la
MULTICOLINEALIDAD existencia de
correlaciones altas entre los predictores
TEMA 6.2: VALIDEZ II

(un predictor puede explicarse mediante


la combinacin lineal de otros)
informacin redundante, lo que hace que
se sobre-estime el coeficiente de
determinacin 28
Mtodos para seleccionar las
variables predictoras ms
adecuadas.
Mtodos para la seleccin de las variables:
-Mtodo Forward (hacia delante)
-1. Calcular las intercorrelaciones entre las variables.
-2. Selecciona la variable predictora cuya correlacin con el
criterio sea ms alta y se construye la ecuacin de
regresin.
-3. Se van aadiendo a la ecuacin, una a una, las dems
TEMA 6.2: VALIDEZ II

variables en funcin de su contribucin de acuerdo con la


correlacin semi-parcial.
-4. Cada vez que se introduce una variable, se calcula el
aumento en el porcentaje de varianza explicado, analizando
si es estadsticamente significativo. El proceso se detiene
29
cuando el aumento no es significativo.
Mtodos para seleccionar las
variables predictoras ms
adecuadas.
Mtodos para la seleccin de las variables:
- Mtodo Backward (hacia atrs)
1. Calcular la correlacin mltiple al cuadrado
entre el criterio y el conjunto de variables
predictoras.
2. Se van eliminando, una a una, las variables
menos relevantes, calculando la reduccin que
TEMA 6.2: VALIDEZ II

se produce en el coeficiente de determinacin.


3. El proceso se detiene, al contrario que en el
caso anterior, cuando la reduccin observada
sea significativa. 30
31

Validez y utilidad de las


decisiones; TRC
TEMA 6.2: VALIDEZ II

31
VALIDEZ Y UTILIDAD DE LAS
DECISIONES
VALIDEZ Y UTILIDAD DE LAS DECISIONES:
Se incluyen una serie de procedimientos que
permiten analizar la validez de las decisiones
tomadas a partir de las puntuaciones obtenidas en un
test en relacin a un criterio dicotmico. En este caso,
las puntuacin del test se dicotomizan (aptos-no
aptos; enfermo-no enfermo, etc). Diferenciamos
entre:
TEMA 6.2: VALIDEZ II

-Punto de corte en el test: puntuacin en el test que


diferencia entre sujetos que se encuentran por
encima o por debajo del punto de corte (aptos-no
aptos; clnicos-no clnicos,...).
-Punto de corte en el criterio: puntuacin en el criterio
por encima de la cual el resultado se considera un 32
33 VALIDEZ Y UTILIDAD DE LAS DECISIONES.
ndices de validez y de seleccin.
La dicotomizacin del test y del criterio, llevan a la
clasificacin de todos los sujetos en una tabla de
contingencia de Test
2 * 2:
Si (sobre el punto de No (bajo el punto de
corte) corte)

Si A C (falsos A+C
Criterio
(verdaderos negativos)
positivos) FN
VP
TEMA 6.2: VALIDEZ II

No B (falsos D (verdadero B+D


positivos) negativos)
FP VN
A+B C+D A+B+C+D
El objetivo es que con el test se puedan tomar el mayor nmero
de decisiones correctas test y criterio coincidan en las
clasificaciones (A y D). Y el menornmero de decisiones33
incorrectas, es decir, que no coincidan (B y C)
VALIDEZ Y UTILIDAD DE LAS
DECISIONES
Se ha aplicado un test que trata de diagnosticar
demencia a una muestra de 50 sujetos. Como criterio
se ha utilizado la entrevista clnica realizada por un
experto. Las clasificaciones realizadas han sido las
siguiente:

Test
Si (sobre el punto de No (bajo el punto de
corte) corte)
TEMA 6.2: VALIDEZ II

Si A C (falsos A+C = 21
Criterio
(verdaderos negativos)=3
positivos)=18
No B (falsos D (verdaderos B+D = 29
positivos)=2 negativos)=27
A+B = 20 C+D = 30 50
34
VALIDEZ Y UTILIDAD DE LAS DECISIONES. ndices
de validez
INDICES DE VALIDEZ:
A partir de los datos, es necesario obtener algn indicador de
validez:
1. Coeficiente Kappa: permite evaluar la consistencia de
las clasificaciones, o en qu medida las clasificaciones de
test y criterio han coincidido por azar. Se expresa mediante:
Fc Fa
K
N Fa
TEMA 6.2: VALIDEZ II

Donde:
Fc= n de casos en los que coinciden test y criterio (A+D)
Fa= nmero de casos en los que coinciden por azar.
N= n de personas de la muestra.
35
36 VALIDEZ Y UTILIDAD DE LAS DECISIONES. ndices
de validez
INDICES DE VALIDEZ:
A partir de los datos, es necesario obtener algn indicador de
validez:
1. Coeficiente Kappa:
Fc A D 18 27 45
21* 20 29 * 30
Fa 25.8
50 50
45 25.8
K 0.79
TEMA 6.2: VALIDEZ II

50 25.8

Puesto que el valor mximo es 1, podemos decir


que la validez de la prueba de diagnstico (test)
es alta
36
VALIDEZ Y UTILIDAD DE LAS DECISIONES.
ndices de validez

2. Proporcin de clasificaciones correctas: grado


en que test y criterio coinciden en las clasificaciones
No se tiene en
cuenta el efecto
A(V .Positivos ) D(V .Negativos ) 18 27 del azar
PCC 0.90
A B C D 50

3. Sensibilidad (tasa de verdaderos positivos):


TEMA 6.2: VALIDEZ II

grado en que el test es bueno para detectar


exclusivamente a las personas con trastorno.

A(V . positivos ) 18
S 0.86
A C ( Falsos negativos) 17 3

37
38 VALIDEZ Y UTILIDAD DE LAS DECISIONES.
ndices de validez
INDICES DE VALIDEZ:

4. Especificidad (tasa de verdaderos negativos):


grado en que el test es bueno para excluir a los que
realmente no tienen el trastorno.
D(V .negativos ) 27
E 0.93
B ( Falsos positivos ) D 2 27
TEMA 6.2: VALIDEZ II

5. Razn de eficacia: grado en que el test es bueno


para seleccionar a sujetos que tendrn el trastorno.

A(V . positivos ) 18
RE 0.90
A B ( Falsos positivos ) 18 2

38
VALIDEZ Y UTILIDAD DE LAS DECISIONES.
ndices de seleccin
Test
Si (sobre el punto No (bajo el punto de
de corte) corte)
Criterio Si A (verdaderos C (falsos A+C =
positivos)=18 negativos)=3 20
No B (falsos D (verdaderos B+D =
positivos)=2 negativos)= 30
A+B = 20 C+D = 29 50
Otro tipo de ndices son los de SELECCIN:
1. Razn de idoneidad: proporcin de sujetos que superaron el
punto de corte en el criterio
TEMA 6.2: VALIDEZ II

AC 21
RI 0.42
A B C D 50

2. Razn de seleccin: proporcin de sujetos que superaron el


punto de corte en el test.
A B 20
RS 0.40
A B C D 50 39
VALIDEZ Y UTILIDAD DE LAS DECISIONES.
Dnde situar el punto de corte?
DNDE SITUAR EL PUNTO DE CORTE?
Dado que es necesario dicotomizar las puntuaciones, dnde se
site el punto de corte va a traer consecuencias en las
decisiones tomadas con el test.

Falsos negativos Aciertos,


Verdaderos
Aceptados positivos
TEMA 6.2: VALIDEZ II

C A
CRITERIO P. Corte
D B del test

Rechazad Rechazos,
os Verdaderos Falsos positivos
negativos
40
Rechazad TEST Aceptados
41 VALIDEZ Y UTILIDAD DE LAS DECISIONES.
Dnde situar el punto de corte?
Consecuencias de desplazar el punto de corte del test hacia
la derecha criterio ms estricto
-positivos.
Consecuencia positiva: Disminuye la tasa de falsos

-Consecuencia negativa: Aumenta la tasa de falsos


negativos.
Falsos negativos Aciertos,
Verdadero
Aceptados s positivos
TEMA 6.2: VALIDEZ II

C A
CRITERIO
D B

Rechazad Rechazos,
os Verdaderos negativos Falsos
positivos
Rechazad TEST Aceptados 41
os
VALIDEZ Y UTILIDAD DE LAS DECISIONES.
Dnde situar el punto de corte?
Consecuencias de hacer ms estricto el punto de corte del
Criterio:
-Consecuencia positiva: Disminuye la tasa falsos negativos.
-Consecuencia negativa: Aumenta la tasa de falsos
postivos. Falsos negativos Aciertos,
Verdaderos
Aceptados positivos
C A
D B
CRITERIO
TEMA 6.2: VALIDEZ II

Rechazad Rechazos, Falsos positivos


os Verdaderos
negativos
Rechazad TEST Aceptados
os 42
43 VALIDEZ Y UTILIDAD DE LAS DECISIONES.
Dnde situar el punto de corte?
Dnde situar el punto de corte?
En general, en aquel punto que maximice la capacidad
predictiva del test. Es decir, en aquel valor donde se
cometa un menor nmero de errores. Para ello hay que:

Analizar las consecuencias de las decisiones


tomadas, ya que no siempre tiene la misma
importancia cometer un tipo de error u otro (falsos
TEMA 6.2: VALIDEZ II

negativos, o falsos positivos).


Ejemplo, tests diagnsticos de SIDA: es ms grave la
existencia de falsos negativos, es decir sujetos que lo
padecen, pero que el test determina que no. Ya que
los sujetos no recibirn tratamiento y el riesgo de
contagio a otras personas ser mayor. 43
VALIDEZ Y UTILIDAD DE LAS DECISIONES.
Modelos de seleccin

MODELOS DE SELECCIN: cmo combinar toda la


informacin sobre un sujeto para tomar una
decisin (tests, entrevista, actitud,...).
1. Compensatorio: modelo aditivo, en el que al sujeto se
le asigna una nica puntuacin global. Por ello, puede
compensar una baja puntuacin en el test, por ejemplo,
con una alta puntuacin en el criterio. No siempre tiene
sentido, ya que la ausencia de una destreza no tiene
TEMA 6.2: VALIDEZ II

porqu compensarse con otra.


2. Conjuntivo: se fijan previamente unos mnimos que
han de cumplir los sujetos en ambas pruebas.
3. Disyuntivo: slo se exige superar un determinado nivel
en alguna de las pruebas utilizadas.
44
VALIDEZ Y UTILIDAD DE LAS DECISIONES.
Modelos de seleccin

MODELOS DE SELECCIN:
2-1: conjuntivo-compensatorio: en un primer
momento se aplica el modelo conjuntivo (superar
todas las pruebas), y a continuacin se calcula una
puntuacin global (compensatorio).
3-1: disyuntivo-compensatorio: se hace una
primera seleccin aplicando el modelo disyuntivo
TEMA 6.2: VALIDEZ II

(superar al menos, alguna de las pruebas), y a


continuacin se les aplica el compensatorio
(puntuacin global).

45
Factores que influyen
en el coeficiente de
validez
TEMA 6.2: VALIDEZ II

46
FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ

FACTORES QUE INFLUYEN EN EL COEF. VALIDEZ:


Coeficiente de validez: correlacin entre las puntuaciones
del test y del criterio muy sensible a ciertos aspectos
de las variables utilizadas.
Schmidt y Hunter (1990) refieren 11 aspectos que pueden
alterar los tamaos de las correlaciones:
1.Error muestral, o diferencia entre el coeficiente de
correlacin muestral y poblacional.
TEMA 6.2: VALIDEZ II

2.Error de medida, o ausencia de fiabilidad perfecta en la


variable de predictora.
3.Error de medida en la variable criterio.
4.Utilizar criterios muy simplificados, reducidos a dos
valores (apto-no apto). 47
FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ

FACTORES QUE INFLUYEN EN EL COEF. VALIDEZ:


5. Dicotomizacin de la variable predictora.
6. Cambios de variabilidad en la variable criterio en otras
muestras o condiciones.
7. Cambios de variabilidad en la v. predictora en otras
muestras o condiciones
8. Definicin incorrecta del constructo en la variable
TEMA 6.2: VALIDEZ II

predictora.
9. Definicin incorrecta del constructo en el criterio.
10. Errores de codificacin, clculo, etc.
11. Factores extraos ligados a las caractersticas de la
muestra (experiencia, edad,...)
48
FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ

-Variabilidad.
-Fiabilidad.
-Longitud.
TEMA 6.2: VALIDEZ II

49
50 FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ. Variabilidad de la muestra

FACTORES QUE INFLUYEN EN EL COEF. VALIDEZ:


1. La variabilidad de la muestra: A medida que aumenta sta,
el coeficiente de validez aumenta. Por el contrario, a medida que
disminuye el coeficiente de validez disminuye. la muestra
dnde se calcule va a determinar el coeficiente de validez
obtenido.
Supongamos que en una Universidad se utiliza un test para
seleccionar a los alumnos. Para conocer la capacidad predictiva
del test, tenemos dos opciones:
1. Aplicar el test y Admitirlos a todos. Al finalizar tendramos
TEMA 6.2: VALIDEZ II

que evaluarles en el criterio. Entonces calcularamos la


correlacin para obtener el coeficiente de validez. A
continuacin habra que expulsar a los que en un principio no
superaron el test.
2.Aplicar el test, y realizar la seleccin (muestra ms
homognea). Al finalizar se aplicara el criterio y basndonos en
una serie de supuestos, hacer una estimacin del coeficiente de
50
validez que se hubiera obtenido en el grupo total de aspirantes.
FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ. Variabilidad de la muestra
Supuestos para la estimacin de la validez en muestras
con distinta variabilidad:
1. La pendiente de la recta de regresin es la misma en el grupo
de aspirantes (R) que en el de seleccionados (r).
Muestra total de
aspirantes
Muestra de
seleccionados
SY sy
1. B b; R XY rxy
SX sx
2. Por el principio de homocedasticidad, los errores tpicos de
TEMA 6.2: VALIDEZ II

estimacin son iguales en los dos grupos


2. SY . X s y . x ; SY 1 RYX
2
sY 1 ryx2

Para conocer la validez en el grupo total de aspirantes, basta con


sustituir y despejar:
S X rxy
RXY
S X2 rxy2 s x2 s x2 rxy2
51
FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ, Variabilidad de la muestra

Suponemos que el nmero de aspirantes era 300 y que obtuvieron


una desviacin tpica de 12 puntos. De entre todos ellos se
seleccionaron a 40, cuya desviacin tpica fue de 6 puntos. Al cabo
del ao, fueron calificados en el criterio, siendo la correlacin con
el test de 0.30.
Cul sera el coeficiente de validez estimado si se hubiese
calculado en la muestra total?
S X rxy 12 * 0.30
RXY 0.53
S r s s r
2 2 2 2 2
12 * 0.30 6 6 * 0.30
2 2 2 2 2
TEMA 6.2: VALIDEZ II

X xy x x xy

Se aprecia que al estimarse en una


muestra con mayor variabilidad, el
incremento es notable. Ya que pasa de 0.30
a 0.53. 52
FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ. Fiabilidad de las puntuaciones

FACTORES QUE INFLUYEN EN EL COEF. VALIDEZ:


2. La Fiabilidad de las puntuaciones del test y del criterio:
las puntuaciones del test y criterio estn afectadas por los
errores de medida, que pueden estar afectando al coeficiente
de validez que se estime. Spearman (1904) propuso las
frmulas de atenuacin que permiten corregir la atenuacin o
disminucin del coeficiente de validez debido a los errores de
2.1. Estimacin del coeficiente de validez en el caso de
medida.
que tanto test como criterio tuvieran una fiabilidad
perfecta calcular la correlacin entre las puntuaciones
verdaderas deldonde
test y: del criterio.
TEMA 6.2: VALIDEZ II

RVxV y coeficiente de validez terico cuando test y


rxy criterio tuvieran una fiabilidad perfecta.
RVxV y
rxx ryy rxy coeficiente de validez emprico.
rxx coeficiente de fiabilidad emprico del test
ryy coeficiente de fiabilidad emprico del criterio
53
FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ. Fiabilidad de las puntuaciones

Aplicado un test a una muestra de sujetos se obtuvo un


coeficiente de fiabilidad de 0.64. El coeficiente de fiabilidad del
criterio result ser 0.60 y el coeficiente de validez de 0.56.
Cul sera el coeficiente de validez estimado en el caso de que
tanto las puntuaciones del test como del criterio estuvieran libres
de errores de medida?
rxy 0.56 0.56 0.56
RVxV y 0. 9
rxx ryy 0.64 * 0.6 0.38 0.62
TEMA 6.2: VALIDEZ II

2.2. Estimacin del coeficiente de validez en el caso de


que el TEST tuviera una fiabilidad perfecta. Calcular la
correlacin entre las puntuaciones verdaderas del test y las
empricas del criterio.
rxy rxy 0.56
RVxY ; RVxY 0.70
rxx rxx 0.64
54
FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ. Fiabilidad de las puntuaciones

2.3. Estimacin del coeficiente de validez en el caso de


que el CRITERIO tuviera una fiabilidad perfecta.
calcular la correlacin entre las puntuaciones empricas del test
y las verdaderas del criterio.
rxy
RXVY
ryy
rxy 0.56
RXVY 0.73
ryy 0.60
TEMA 6.2: VALIDEZ II

El coeficiente de validez aumenta en todos los


casos. Sin embargo, se trata de supuestos
hipotticos ya que es imposible eliminar los
errores, pero s es posible tratar de reducirlos
mejorando los coeficientes de fiabilidad. Para ello,
55
contamos con las siguientes situaciones:
FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ. Fiabilidad de las puntuaciones

2.4. Estimacin del coeficiente de validez en el caso


de que se mejorase la fiabilidad tanto del TEST como
del CRITERIO.
rxy
R XY
rxx ryy
Rxx R yy

Continuando con el ejemplo anterior, Cul sera el


coeficiente de validez, si se consiguiera un coeficiente de
TEMA 6.2: VALIDEZ II

fiabilidad en el test de 0.75 y en el criterio de 0.64?

0.56
RXY 0.63
0.64 0.60
0.75 0.64
56
FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ. Fiabilidad de las puntuaciones

2.5. Estimacin del coeficiente de validez en el caso


de que se mejorase la fiabilidad del TEST.
rxy
RXY
rxx
Rxx

Continuando con el ejemplo anterior, Cul sera el


coeficiente de validez, si se consiguiera un coeficiente
TEMA 6.2: VALIDEZ II

de fiabilidad en el TEST de 0.75?

0.56
R XY 0.61
0.64
0.75

57
FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ. Fiabilidad de las puntuaciones

2.6. Estimacin del coeficiente de validez en el caso


de que se mejorase la fiabilidad del CRITERIO
rxy
R XY
ryy
R yy

Continuando con el ejemplo anterior, Cul sera el


coeficiente de validez, si se consiguiera un
TEMA 6.2: VALIDEZ II

coeficiente de fiabilidad en el CRITERIO de 0.70?


0.56
RXY 0.58
0.64
0.70

58
FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ. Valor mximo del coeficiente de validez

El valor mximo del coeficiente de validez es menor-igual


que el ndice de fiabilidad. Para ello, sabemos que el coeficiente
de validez del test cuando se eliminan los errores de medida es
menor-igual que 1: rxy
RVxVy 1
rxx ryy
1. Suponiendo que efectivamente sea 1. Se deduce que el coef.
validez es menor-igual que el producto de las races del coef.
fiabilidad del test por el criterio:
rxy rxx ryy
TEMA 6.2: VALIDEZ II

2. Y suponiendo que el valor mximo del coef. fiabilidad del


criterio es 1, entonces el coef. validez es menor-igual que la raz
del coef. de fiabilidad del test
rxy rxx
3. Y dado que la raz del coef. De fiabilidad es el ndice de
fiabilidad, entonces el coef. validez es menor-igual que el ndice de
fiabilidad:
rxy rvx 59
FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ. Validez y longitud.

FACTORES QUE INFLUYEN EN EL COEF. VALIDEZ:


3. Longitud del test. Para ello, utilizamos la frmula
de Spearman-Brown que relaciona fiabilidad y longitud:
nrxx
RXX
1 (n 1)rxx
Y la sustituimos en la frmula que relaciona validez y
fiabilidad:
TEMA 6.2: VALIDEZ II

rXY rXY rXY n


RXY
rxx rxx 1 (n 1)rxx
R XX nrxx
1 (n 1)rxx Rxx. Spearman-
Brown que relaciona
fiabilidad y longitud
60
FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ. Validez y longitud.

3. Longitud del test.


Tambin nos puede interesar al nmero de veces que hay
que aumentar o disminuir la longitud de un test para
lograr un determinado valor del coeficiente de validez. En
cuyo caso: 2
R XY (1 rxx )
n 2
rxy R XY
2
rxx
Supongamos que un test de 30 elementos tiene un coeficiente
de validez de 0.60 y uno de fiabilidad de 0.64 cuntos
elementos habra que aadir para obtener un coeficiente de
TEMA 6.2: VALIDEZ II

validez de 0.70? Es decir, para obtener un


0.70 2 (1 0.64) coeficiente de validez de
n 3.80 0.70, partiendo de uno de .
0.60 2 0.70 2 * 0.64 60, habra que hace 3.80
veces ms largo el test114
tems
Habra que valorar hasta qu punto merece la
pena hacer ms largo un test; ya que a veces 61
no compensa
GENERALIZACIN DE LA VALIDEZ.

GENERALIZACIN DE LA VALIDEZ:
Hace referencia a la posibilidad de utilizar y aplicar la
evidencia obtenida en una situacin a otras similares. Este
problema es de especial relevancia en los estudios a gran
escala, dado que suelen utilizarse muestras muy diversas,
incluso de culturas distintas. Para analizar este punto se han
utilizado tcnicas estadsticas derivadas del meta-anlisis.
TEMA 6.2: VALIDEZ II

Meta-anlisis: sntesis cuantitativas de estudios, que


permiten analizar diversos estudios de validacin del mismo
test ya que traducen los resultados a una mtrica comn.

62
A MODO DE SNTESIS

-Tema anterior: Concepto de validez, evolucin


histrica; validez criterio con 1 predictor y 1 criterio.
1.Validacin con varios predictores (Correlacin parcial
y semi-parcial RL.Mltiple)

2. C.D, C.A, y V.P mltiple.

3.Mtodos para la eleccin de los criterios


TEMA 6.2: VALIDEZ II

(relevantes,libres de sesgo, fiables, accesibles);


MULTICOLINEALIDAD (correlacin entre predictores).

4. Validez de las decisiones dicotomizar test y


criterio (ndices de validez, ndices de seleccin).
63
A MODO DE SNTESIS

5. Dnde situar el punto de corte? importancia de


las decisiones.

6. Modelos de seleccin (compensatorio; conjuntivo,


disyuntivo; conjuntivo-compensatorio; disyuntivo-
compensatorio).
TEMA 6.2: VALIDEZ II

7. Factores que afectan a la validez (variabilidad,


fiabilidad, longitud).

-Siguiente tema: Anlisis de la calidad mtrica


de los tems. Cuyo objetivo es maximizar la
fiabilidad y validez de un test.
64
BIBLIOGRAFA COMENTADA

1. Barbero, I., Garca, E. Vila, E., y Holgado, F.P. (2010).


Psicometra: Problemas resueltos. Madrid: Sanz y Torres.
Se trata de un libro de ejercicios y problemas en el que se incluye
el desarrollo de la solucin. El alumno podr completar desde un
punto de vista aplicado los conceptos y contenidos vistos en la
parte terica; as como adquirir las destrezas necesarias para la
resolucin de problemas.

2. Barbero, I. (Coord) , Vila, E. y Holgado, F.P. (2010).


Psicometra. Madrid: Sanz y Torres.
TEMA 6.2: VALIDEZ II

En el captulo 7 hace un repaso sobre los principales aspectos


relativos a la validez de criterio cuando se dispone de ms de un
predictor. Y en su segunda parte presenta, de manera clara y
directa la validez desde los TRC.

65
66 BIBLIOGRAFA COMENTADA

3. Martnez Arias, R. (1995). Psicometra: Teora de los Tests


Psicolgicos y Educativos. Madrid: Sntesis.
Se tratan los principales aspectos relacionados con la validez tanto
en su vertiente terica como aplicada. Tras una presentacin
conceptual de los tipos tradicionales de validez (Captulo 12),
profundiza en los aspectos formales de la validez relativa al
criterio (Captulos 13 al 15).

4. Meli, J.L. (2000). Teora de la Fiabilidad y la Validez. Valencia:
TEMA 6.2: VALIDEZ II

Cristbal Serrano.
En el Captulo 11 se realiza un recorrido por algunas de las
definiciones tradicionales de la validez. Tambin se presentan las
implicaciones de los tipos tradicionales de validez as como la
relacin existente entre la fiabilidad y la validez. El Captulo
termina con un apartado en el que realizan algunas
consideraciones generales sobre la importancia de la validez.
66