Tema 6.2
Evaluacin del instrumento de medida:
VALIDEZ II
TEMA 6.2: VALIDEZ II
3
Validacin con varios predictores y un solo
indicador del criterio
Varios predictores y un indicador del criterio:
El modelo de Regresin Lineal Simple en la prctica es
insuficiente Raramente se utiliza una nica variable predictora
para tomar decisiones.
resultados.
La correlacin entre el
X1 nmero de ventas (Y) y la
Y extraversin (X1),
eliminando la influencia que
X2 en esa correlacin ejerce la
fluidez verbal (X2) 5
Validacin con varios predictores y un solo
indicador del criterio
2. Correlacin semi-parcial: permite interpretar el grado de
correlacin entre la variable criterio (Y) y una de las variables
predictoras, eliminando, de antemano el efecto que sobre dicha
variable predictora pueda estar ejerciendo el resto de
variables
rYX1 rYX 2 rX 1 X 2
RY(X1 . X 2 )
1 rX21 X 2
TEMA 6.2: VALIDEZ II
X1
Y La correlacin entre el
nmero de ventas (Y) y la
X2 extraversin (X1)
eliminando la influencia
que en X1 ejerce la
fluidez verbal (x2) 6
Coeficiente de validez mltiple
Varios predictores y un indicador del criterio:
7
El modelo de regresin lineal
mltiple
Varios predictores y un indicador del criterio:
Y a b1 X 1 b2 X 2 ... bn X n i
TEMA 6.2: VALIDEZ II
Donde:
a = ordenada en el origen.
b1, , b2 ,..., bn = coeficientes de regresin
; el error aleatorio.
8
El modelo de regresin lineal mltiple.
Ecuaciones de regresin
Normalmente se expresa en notacin matricial debido
al gran volumen de operaciones que habra que
realizar. En este caso:
y Xb
Donde:
y = vector de puntuaciones de los N sujetos en la
variable dependiente o criterio (N*1).
TEMA 6.2: VALIDEZ II
9
10 El modelo de regresin lineal mltiple.
Ecuaciones de regresin
Ecuaciones de regresin:
1. El vector de puntuaciones
observadas en el criterio, es
igual a la matriz de
y1 1 X 11 ... X 1 p b0 1 puntuaciones observadas en
y 1 X los predictores, por el vector
... X 2 p b1 2
2 21
de coeficientes de regresin
... 1 ... ... ... ... ... + el vector de errores
aleatorios
yn 1 X N 1 ... X Np b p p
2. As por ejemplo, un
TEMA 6.2: VALIDEZ II
vendedor ha vendido 13
coches, otro 10 y otro 15. Y
13 1 4 8 5 2 que es igual a la matriz de las
10 1 5 6 3 4 puntuaciones de los sujetos
15 1 6 2 1 6 en extraversin y fluidez
verbal (primer vendedor 4y
8), por los coeficientes de 10
regresin, ms el vector de
El modelo de regresin lineal mltiple.
Ecuaciones de regresin
Ecuaciones de regresin:
Centrndonos con dos variables tendremos una ecuacin con dos
v. Predictoras (X1 y X2);
2. b es el coeficiente de
Y a b1 X 1 b2 X 2 correlacin semi-parcial
(elimina la influencia del
1. a es la ordenada en el
resto de variables
origen predictoras del modelo)
Donde : por la razn de la
varianza del criterio entre
a Y b1 X 1 b2 X 2 la del predictor
TEMA 6.2: VALIDEZ II
correspondiente
rYX1 rYX 2 rX1 X 2 S y rYX 2 rYX1 rX 1 X 2 S y
b1 ; b2
1 r 2
X1X 2 S X1 1 rX21 X 2 SX2
Rregresin simple :
a Y bX
La Regresin Lineal Mltiple,
Sy
supone una generalizacin de la b rxy 11
SX
Simple
Varianza residual o varianza error y el
error tpico de estimacin mltiple
Varianza residual:
Si recordamos, el coeficiente de validez indica la eficacia
del predictor para estimar el criterioel Coeficiente de
validez mltiple indicar la eficacia del conjunto de
variables predictoras para estimar el criterio.
SY2. X1 X 2
(Y Y )2
N 12
Intervalos de confianza.
Intervalos de confianza:
Debido a los errores de estimacin, mas que estimaciones
puntuales es conveniente hacerlas por intervalos.
Asumiendo que los errores se distribuyen normalmente:
1. Determinar el nivel de confianza y su puntuacin tpica
asociada (NC. 99% Zc=2.58).
2. Calcular el error tpico de estimacin (a mayor error,
ms amplios sern los intervalos).
TEMA 6.2: VALIDEZ II
S 2
S 2
SY2. X 1 X 2 SY2. X 1 X 2
Y
2
Y
2
; 1 RY2. X 1 X 2
S Y S Y SY2 SY2
C.V .P 1 1 RY2. X 1 X 2
TEMA 6.2: VALIDEZ II
17
VALIDACIN REFERIDA AL CRITERIO.
Ejemplo
Se quiere averiguar si la fluidez verbal y la extraversin son
variables que favorecen el nmero de ventas en comerciales de
automviles. Se ha seleccionado a una muestra de 6 vendedores
que han sido evaluados por dos pruebas de extraversin (X1) y
fluidez verbal (X2), respectivamente.
Y X1 X2 Y2 X12 X22 YX1 YX2 X1 X2
4 2 4 16 4 16 8 16 8
8 6 5 64 36 25 48 40 30
TEMA 6.2: VALIDEZ II
6 5 6 36 25 36 30 36 30
6 7 6 36 49 36 42 36 42
5 4 7 25 16 49 20 35 28
7 8 8 49 64 64 56 56 64
36 32 36 226 194 226 204 219 202
18
VALIDACIN REFERIDA AL CRITERIO.
Ejemplo
1. Calculamos las intercorrlaciones entre las variables:
6 204 32 36
rYX1 0.79
(6 194 32 )(6 226 36 )
2 2
6 219 36 36
rYX 2 0.30
(6 226 36 )(6 226 36 )
2 2
6 202 32 36
rX1 X 2 0.65
(6 194 32 )(6 226 36 )
2 2
2. Si antes la correlacin
rYX rYX rX entre F.Verbal y ventas era
1X 2
rY ( X 2 1
0.28
2 . X1 ) 0.30, ahora, cuando hemos
(1 r 2
X1 X 2 )
eliminado de F.Verbal el
efecto de extraversin pasa
a ser -0.28.
Todo ello nos indica que, en la medida de lo posible
hay que evitar correlaciones altas entre los
21
predictores (Extraversin con F.verbal; r=0.65)
VALIDACIN REFERIDA AL CRITERIO.
Ejemplo
4. Calcular la ecuacin de regresin :
1. Calculamos el origen
Y a b1 X 1 b2 X 2 de ordenadas; y ambos
a Y b1 X 1 b2 X 2 4.64 coeficientes de
regresin
rYX1 rYX 2 rX 1 X 2 SY
b1 0.66
1 rX 1 X 2
2
S X1
b2 0.36
2. As por ejemplo, un
TEMA 6.2: VALIDEZ II
Y `2
Y
222.71
6 1.12
y
N 6
-La varianza de los errores o el error tpico de estimacin
mltiple.
(Y Y `) 2
TEMA 6.2: VALIDEZ II
Sy
Dado que Cov(e,Y`)=0
2
S y2 SY2. X
24
VALIDACIN REFERIDA AL CRITERIO.
Ejemplo
5. Intervalos confidenciales.
Supongamos que queremos saber cuntos coches debera
vender un comercial que en extraversin punta en 5 y 6 en
fluidez verbal construir los intervalos confidenciales en torno a
la estimacin puntual:
1. Nivel de confianza (95%) Zc=1.96
SY . X 1 X 2 0.71
2. Calcular el error tpico de estimacin mltiple:
2
SY
C. A2 0.552 0.30
Es decir, el 70 % de las puntuaciones en el
criterio se podra pronosticar a partir X 1 y X2
mientras que el resto, el 30% equivale a la
variabilidad de las puntuaciones en el 26
criterio sin explicar por los predictores.
Mtodos para seleccionar las
variables predictoras ms
adecuadas.
Segn Thorndike y Hagen (1989), los
predictores han de ser:
- a) Relevantes: en qe medida el
indicador se corresponde con el criterio?
- b) Libres de sesgo: evitar seleccionar
variables que afectan de manera
TEMA 6.2: VALIDEZ II
31
VALIDEZ Y UTILIDAD DE LAS
DECISIONES
VALIDEZ Y UTILIDAD DE LAS DECISIONES:
Se incluyen una serie de procedimientos que
permiten analizar la validez de las decisiones
tomadas a partir de las puntuaciones obtenidas en un
test en relacin a un criterio dicotmico. En este caso,
las puntuacin del test se dicotomizan (aptos-no
aptos; enfermo-no enfermo, etc). Diferenciamos
entre:
TEMA 6.2: VALIDEZ II
Si A C (falsos A+C
Criterio
(verdaderos negativos)
positivos) FN
VP
TEMA 6.2: VALIDEZ II
Test
Si (sobre el punto de No (bajo el punto de
corte) corte)
TEMA 6.2: VALIDEZ II
Si A C (falsos A+C = 21
Criterio
(verdaderos negativos)=3
positivos)=18
No B (falsos D (verdaderos B+D = 29
positivos)=2 negativos)=27
A+B = 20 C+D = 30 50
34
VALIDEZ Y UTILIDAD DE LAS DECISIONES. ndices
de validez
INDICES DE VALIDEZ:
A partir de los datos, es necesario obtener algn indicador de
validez:
1. Coeficiente Kappa: permite evaluar la consistencia de
las clasificaciones, o en qu medida las clasificaciones de
test y criterio han coincidido por azar. Se expresa mediante:
Fc Fa
K
N Fa
TEMA 6.2: VALIDEZ II
Donde:
Fc= n de casos en los que coinciden test y criterio (A+D)
Fa= nmero de casos en los que coinciden por azar.
N= n de personas de la muestra.
35
36 VALIDEZ Y UTILIDAD DE LAS DECISIONES. ndices
de validez
INDICES DE VALIDEZ:
A partir de los datos, es necesario obtener algn indicador de
validez:
1. Coeficiente Kappa:
Fc A D 18 27 45
21* 20 29 * 30
Fa 25.8
50 50
45 25.8
K 0.79
TEMA 6.2: VALIDEZ II
50 25.8
A(V . positivos ) 18
S 0.86
A C ( Falsos negativos) 17 3
37
38 VALIDEZ Y UTILIDAD DE LAS DECISIONES.
ndices de validez
INDICES DE VALIDEZ:
A(V . positivos ) 18
RE 0.90
A B ( Falsos positivos ) 18 2
38
VALIDEZ Y UTILIDAD DE LAS DECISIONES.
ndices de seleccin
Test
Si (sobre el punto No (bajo el punto de
de corte) corte)
Criterio Si A (verdaderos C (falsos A+C =
positivos)=18 negativos)=3 20
No B (falsos D (verdaderos B+D =
positivos)=2 negativos)= 30
A+B = 20 C+D = 29 50
Otro tipo de ndices son los de SELECCIN:
1. Razn de idoneidad: proporcin de sujetos que superaron el
punto de corte en el criterio
TEMA 6.2: VALIDEZ II
AC 21
RI 0.42
A B C D 50
C A
CRITERIO P. Corte
D B del test
Rechazad Rechazos,
os Verdaderos Falsos positivos
negativos
40
Rechazad TEST Aceptados
41 VALIDEZ Y UTILIDAD DE LAS DECISIONES.
Dnde situar el punto de corte?
Consecuencias de desplazar el punto de corte del test hacia
la derecha criterio ms estricto
-positivos.
Consecuencia positiva: Disminuye la tasa de falsos
C A
CRITERIO
D B
Rechazad Rechazos,
os Verdaderos negativos Falsos
positivos
Rechazad TEST Aceptados 41
os
VALIDEZ Y UTILIDAD DE LAS DECISIONES.
Dnde situar el punto de corte?
Consecuencias de hacer ms estricto el punto de corte del
Criterio:
-Consecuencia positiva: Disminuye la tasa falsos negativos.
-Consecuencia negativa: Aumenta la tasa de falsos
postivos. Falsos negativos Aciertos,
Verdaderos
Aceptados positivos
C A
D B
CRITERIO
TEMA 6.2: VALIDEZ II
MODELOS DE SELECCIN:
2-1: conjuntivo-compensatorio: en un primer
momento se aplica el modelo conjuntivo (superar
todas las pruebas), y a continuacin se calcula una
puntuacin global (compensatorio).
3-1: disyuntivo-compensatorio: se hace una
primera seleccin aplicando el modelo disyuntivo
TEMA 6.2: VALIDEZ II
45
Factores que influyen
en el coeficiente de
validez
TEMA 6.2: VALIDEZ II
46
FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ
predictora.
9. Definicin incorrecta del constructo en el criterio.
10. Errores de codificacin, clculo, etc.
11. Factores extraos ligados a las caractersticas de la
muestra (experiencia, edad,...)
48
FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ
-Variabilidad.
-Fiabilidad.
-Longitud.
TEMA 6.2: VALIDEZ II
49
50 FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ. Variabilidad de la muestra
X xy x x xy
0.56
RXY 0.63
0.64 0.60
0.75 0.64
56
FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ. Fiabilidad de las puntuaciones
0.56
R XY 0.61
0.64
0.75
57
FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ. Fiabilidad de las puntuaciones
58
FACTORES QUE INFLUYEN EN EL COEFICIENTE DE
VALIDEZ. Valor mximo del coeficiente de validez
GENERALIZACIN DE LA VALIDEZ:
Hace referencia a la posibilidad de utilizar y aplicar la
evidencia obtenida en una situacin a otras similares. Este
problema es de especial relevancia en los estudios a gran
escala, dado que suelen utilizarse muestras muy diversas,
incluso de culturas distintas. Para analizar este punto se han
utilizado tcnicas estadsticas derivadas del meta-anlisis.
TEMA 6.2: VALIDEZ II
62
A MODO DE SNTESIS
65
66 BIBLIOGRAFA COMENTADA
Cristbal Serrano.
En el Captulo 11 se realiza un recorrido por algunas de las
definiciones tradicionales de la validez. Tambin se presentan las
implicaciones de los tipos tradicionales de validez as como la
relacin existente entre la fiabilidad y la validez. El Captulo
termina con un apartado en el que realizan algunas
consideraciones generales sobre la importancia de la validez.
66