Anda di halaman 1dari 45

VALIDEZ Y CONFIABILIDAD

CONFIABILIDAD
La confiabilidad hace referencia a si la escala funciona
de manera similar bajo diferentes condiciones


Toda medicin que se hace de un objeto fsico o psicolgico lleva implcito un
error; es decir, se considera que toda puntuacin que se obtiene en una
prueba est formada por dos componentes aditivos, que son la puntuacin
verdadera y el error aleatorio. (Pt = Pv + Pe)



La puntuacin verdadera se define como el valor promedio de un nmero
grande de administracin de una prueba a la misma persona (Thorndike,
1989; Kerlinger, 2002).




La puntuacin verdadera puede ser considerada como la puntuacin
obtenida por un individuo si todas las condiciones, tanto internas como
externas, estuvieran controladas y el instrumento de medicin fuera
perfecto.

Lo anterior es una condicin slo hipottica, ya que en toda medicin hay un
error de medicin implcito. En la prctica nunca se puede conocer
directamente el componente de medicin verdadera de la caracterstica de
un objeto.


En trminos prcticos la varianza verdadera es igual a la varianza total
menos la varianza error. (Vv = Vt Ve). O dicho de otro modo, el puntaje
verdadero corresponde al puntaje total, mas-menos el error de
medicin.

Error de medicin entonces:


entonces
Si la confiabilidad de un instrumento es 0,95, y su DT (S) es 25,84.

Em = 25,84 x 1 0,95

Em = 25,84 x 0,22 = 5,68

Continuando con el paradigma entonces, si el puntaje obtenido fue por
ejemplo de 57 puntos.

Pv = 57 5,68 = 51,32
57 + 5,68 = 62,68

Lo anterior nos permite asegurar un intervalo de un 68% de
confianza ??????????????????????

Para obtener un intervalo de un 95%, entonces debemos multiplicar el
Eem con la constante 1,96 y luego sumarlo y restarlo del puntaje observado.

Siguiendo el caso anterior.

Eem=5,68 x 1,96 = 11,13

De modo que con un 95% de probabilidad, el puntaje real sera

57 11,13 = 45,87
57 + 11,13 = 68,13






EJERCICIOS
ESCALA CONFIABILIDAD dt
CAPS
43 - 54
0.80 9.71
SDP
8 - 15
0.68 3.82
APEN
6 - 16
0.70 3.17
BCP
10 - 12
0.65 3.55
DIP
11-22
0.61 3.72
Reproducibilidad: Se refiere al hecho de que los resultados obtenidos con el
instrumento en una determinada ocasin, bajo ciertas condiciones, deberan
similares si volviramos a medir el mismo rasgo en condiciones idnticas.

Estabilidad: se refiere a la obtencin de puntajes similares obtenidos en
condiciones distintas.

Predictibilidad: a partir de un valor, es posible predecir cual ser el resultado a
futuro del mismo sujeto.

Seguridad; Hasta dnde los resultados obtenidos con un instrumento de
medicin constituyen la medida verdadera de la propiedad que se pretende
medir? .

Precisin: De acuerdo con esto, la confiabilidad puede ser definida como la
ausencia relativa de error de medicin en el instrumento
CONFIABILIDAD
Valoracin de la confiabilidad. Thorndike,
1986
0,81 a 1,00 Muy Alta
0,61 a 0,80 Alta
0,41 a 0,60 Moderada
0,21 a 0,40 Baja
0,01 a 0,20 Muy Baja
Tipos de
Confiabilidad
10
Relacin con el
Calificador
En el Curso
del Tiempo
Relacin al Contenido de la
Prueba
Relacionado con el evaluador
Dos o ms evaluadores, valoran a los mismos
sujetos o fenmenos.

Si se trata de escalas de medicin se correlacionan
los resultados (producto momento de Pearson).

Si se evala un atributo o sujeto en trminos
nominales (presente /ausente),entre dos
evaluadores se emplea coeficiente Kappa de
Cohen.






Ejemplo Kappa de Cohen
Dos evaluadores independientes, valoraron si cada atributo estaba o no
presente (1 presente, 0 ausente) en un taller de habilidades sociales.
Evaluador1 Evaluador2
Contacto visual 1 1
Pedir favores 1 1
Responder
asertivamente
1 0
Expresar necesidades 1 0
Recibir crticas 1 1
Preguntar dudas 0 1
Symmetric Measures

Value
Asymp. Std.
Error
a

Approx.
T
b

Approx.
Sig.
Measure of Agreement Kappa -,286 ,212 -,775 ,439
N of Valid Cases 6

Valoracin del coeficiente kappa(Landis y
Koch, 1977)

0,00 - Pobre
0,01 - 0,20 Leve
0,21 - 0,40 Aceptable
0,41 - 0,60 Moderada
0,61 - 0,80 Considerable
0,81 - 1,00 Casi perfecta
En el curso del tiempo (test re test) medida de
estabilidad
El investigador obtiene valores diferentes al aplicar el
instrumento a la misma unidad de estudio en ocasiones
diferentes .

Los resultados se correlacionan.

La confiabilidad de reaplicacin de pruebas muestra hasta
donde los puntajes obtenidos en un instrumento pueden ser
generalizados a travs del tiempo. En la medida que la
confiabilidad es mayor, menos susceptibles son los puntajes de
ser modificados por las condiciones aleatorias asociadas con la
situacin de medicin o con los cambios de los propios sujetos.
El coeficiente de confiabilidad obtenido ,es una medida de la
estabilidad de la prueba.
Correlacion test retest
N= nmero de sujetos

X = sumatoria de los puntajes de la 1 aplicacin
Y = sumatoria de los puntajes de la 2 aplicacin
XY= Sumatoria de los mltiplos de la 1 y 2 evaluacin

X= sumatoria de los puntajes al cuadrado de la 1 aplicacin

Y= sumatoria de los puntajes al cuadrado de la 2 aplicacin
2
2
EJEMPLO
SUJETO 1 APLICACIN 2 APLICACIN
X X Y Y XY
1 35 39
2 20 18
3 33 30
4 26 28


2
2
EMPLEO DEL COEFICIENTE DE
CORRELACIN.
TEST- RE TEST



VERSIONES EQUIVALENTES O PRUEBAS
PARALELAS
Consistencia interna
Permite determinar el grado en que los temes de una prueba
estn correlacionados entre si.

Si los diferentes reactivos de un instrumento tienen una
correlacin positiva y, como mnimo, moderada, dicho
instrumento ser homogneo. (Loevinger, 1947; Anastasi,
1961).

Una prueba con un alto grado de consistencia interna, el saber
como se desempea una persona en un tem, nos permite
predecir como lo har en los dems.

si los temes del instrumento correlacionan positivamente entre
s, ste ser homogneo, independientemente del tipo de
contenido que se haya utilizado.
Mtodo de Dos Mitades
consiste en:
A) Dividir los temes de la prueba en dos partes
iguales.

B) correlacionar las puntuaciones totales de
ambas mitades (obtener coeficiente de
correlacin al igual que en mtodo de test re-test)

C) aplicar frmula Spearman - Brown
Frmula Spearman - Brown
Ejemplo, si la correlacin entre dos mitades fu de 0,78, aplicando la
frmula se obtiene rtt = 2 x 0,78 / 1 + 0,78 = 1,56 / 1,78 = 0,876.

El coef de confiabilidad de ambas mitades es de = 0,88
Ejercicio;
sujeto
ITEM total T
par
(x)
T-
impar
(Y)
1 2 3 4 5 6
1
5 4 3 2 1 1
16 7 9
2
4 1 3 3 1 2
3
5 5 5 5 5 5
4
4 4 2 3 1 1
FIABILIDAD Y LONGITUD DEL TEST
Si partimos del supuesto que a mayor varianza,
mayor ser la confiabilidad de un test,

y, que un modo de ampliar la varianza es hacer ms
extenso un test, entonces para incrementar la
confiabilidad, podemos ampliar la extensin de la
prueba.
Fiabilidad y Longitud del test
Rxx = nPxx
1+(n-1)Pxx
Rxx= coeficiente de confiabilidad resultante

n= nmero de veces que se aumenta la longitud del test

Pxx= coeficiente de fiabilidad original

Ejemplo:

Un test de 10 tems con una confiabilidad inicial (Pxx) de 0,47, requiere ser ampliado al
doble (20 tems) .

Rxx = 2 x 0,47 / 1 + (2-1) x 0,47
0,94 / 1 + (1x 0,47)
1,18 / 1,47

= 0,80 (confiabilidad doblando el nmero de tems)
Fiabilidad y Longitud del test
En algunos casos n, representa una fraccin, para
obtenerla entonces empleamos una divisin simple:

Ejemplo 1, un test de 20 tems requiere ser ampliado a 30
items. Entonces
30/20 = 1.5 (n)

Ejemplo 2, un test de 115 tems (que por su extensin se
hace inadecuado), requiere ser reducido a 55 tems,
entonces

55/ 115 = 0.48 (n)
Fiabilidad y Longitud del test
Para obtener el factor (n) de extensin de una
prueba, de acuerdo a una confiabilidad deseada,
entonces empleamos la siguiente frmula.

Donde
n = factor de extensin
Rxx = confiabilidad deseada
Pxx= confiabilidad original
Ejemplo: un test de 18 tems obtiene una fiabilidad de 0,62 (Pxx), se requiere
que aumente su fiabilidad a 0,90 (Rxx) Cuntos tems se deben adicionar al
test original?

n= 0,90 ( 1- 0,62) / 0,62 (1- 0,90)

= 0,342 / 0,062

= 5,5

Luego 5,5 (18) = 99 18 = 81
Para obtener una fiabilidad de 0,90, se deben agregar 81 tems a la prueba.
MTODO ALFA DE CRONBACH
Es un mtodo de multiparticin, que estima la correlacin entre los tems y
el total de la prueba.

Estima consistencia interna, y depende de la variabilidad de las respuestas
en los reactivos (efecto de la varianza).



Pasos;
1) calcular la varianza de c/u tem
2) sumar las varianzas de c/u tem
3) obtener la varianza de la prueba total
4) aplicar frmula alfa de Cronbach


Varianza= X - (X) / n


Donde n = nmero de datos
2 2
n - 1
Ejemplo
Se calcula el coeficiente alfa de Cronbach para
un test con 8 tems
Si la suma de las varianzas de los tems es 9,12
y la varianza total de la prueba es 24,3

Entonces (8/7) x ( 24,3 9,12)


= 1,14 x 0,624 = 0,71




24,3
El coeficiente alfa tambin puede expresarse
como.


alfa = k(1 - Si / St)
k 1
k= nmero de tems

Siguiendo con los datos del ejercicio anterior

Alfa = 8 (1 9.12/24.3) = 8 ( 1 0.375) = 8 (
0.625) / 7
7 7
Alfa = 5/7 = 0.71
2
2
Ejercicio
sujeto
ITEM total
1 2 3 4 5 6
1
3 4 4 2 3 4
15
2
1 1 2 1 2 2
3
5 5 4 4 3 5
4
3 4 3 4 2 2
Varianz
a
Consistencia interna y correlacin tem
escala
FACTORES QUE AFECTAN LA CONFIABILIDAD DE UN INSTRUMENTO
a) La improvisacin. (Se tienen que conocer muy bien las variables de la
investigacin).

b) Aplicacin de instrumentos generados en el extranjero que no han sido
validados para nuestro contexto.

c) El instrumento resulta inadecuado para las personas a quienes se les aplica.
(lenguaje ,diferencias en cuanto a gnero, edad, conocimientos, memoria, nivel
educativo, etc).

d) cuestiones vinculadas con los estilos personales de los sujetos participantes,
tales como: deseabilidad social, dar respuestas inusuales o contestar siempre
negativamente.

e) Las condiciones en las que se aplica el instrumento de medicin (el ruido, la
iluminacin, el frio, una encuesta de casa en cas, un instrumento demasiado
largo o tedioso, etc)





Homogeneidad del grupo; Mientras mayor es la dispersin de las
puntuaciones, mayor es la confiabilidad.

Tamao del cuestionario

Mientras ms largo es el instrumento, mayor es la confiabilidad. Esto ocurre
por dos razones principales:


1. En un cuestionario ms largo la muestra de tems es mayor y el universo del
constructo est mejor representado.



2. La varianza de un cuestionario aumenta cuando aumenta el nmero de tems
(Compuesto). Por lo tanto mientras ms tems, ms varianza y por lo tanto ms
confiabilidad.
VALIDEZ
Se refiere al grado en que un instrumento, mide lo que
se supone debe medirse
TIPOS
Validez de Contenido
Validez de Criterio
Validez de Constructo
Validez de Contenido
Describe la idoneidad del muestreo de reactivos
para el constructo que se pretende medir . La
validez est dada por medio del juicio de
expertos

PSICOMETRIA
VALIDEZ
Validez de Contenido

La adecuacin muestral de los tems de un test, en cuanto
muestras de un dominio ms amplio de items representativos del
constructo/conducta.

APA, 1954/1966
Grado en que el contenido del test representa una muestra
adecuada del contenido del dominio de inters

APA, 1974
grado en el que las conductas exhibidas en el test constituyen
una muestra representativa de las conductas del dominio

APA 1985
grado en el que los procesos empleados por los sujetos para
llegar a la respuesta son tpicos de los procesos subyacentes a
las respuestas del dominio
PSICOMETRIA
VALIDEZ
Validez de Contenido


Validez de Contenido ==> Relevancia y Representatividad


Relevancia: Todos los items estn dentro del dominio de inters


Representatividad Muestra aleatoria del universo .Los items
representan o reproducen las caractersticas esenciales del
universo terico (o del constructo) en sus proporciones.


PSICOMETRIA
VALIDEZ
Validez de Contenido. Procedimientos

Fases

1) Definicin del universo de observaciones admisibles

2) Identificacin de expertos en dicho universo

3) Juicio de los expertos acerca del grado de relevancia
y representatividad

4) Procedimiento de resumen de los datos

PSICOMETRIA
VALIDEZ
Validez de Contenido. Procedimientos

Establecimiento especificaciones del test;
- reas de contenido que se deben cubrir

- Objetivos instruccionales

- Procesos a evaluar

- Importancia relativa de los diferentes tpicos y procesos

PSICOMETRIA
VALIDEZ
Validez de Contenido.

Decisiones prcticas

1) ponderacin de objetivos, categoras, etc.?
2) Estructura de la tarea de emparejamiento items objetivos
3) Aspectos del tem que sern examinados materia, proceso cognitivo,
nivel de complejidad de la respuesta, formato de presentacin
4) Resumen de los resultados
Validez de Criterio
Evala si el instrumento constituye un predictor til de conductas,
experiencias y condiciones subsecuentes. Grado en que la medida de
la prueba refleja el estndar admitido.
Tipos,


Validez concurrente; correlacin entre dos instrumentos que miden el
mismo constructo. (por ejemplo; se adapta un cuestionario de
depresin (test A) y posteriormente sus resultados son
correlacionados con los resultados de un test de depresin ya
validado en la realidad nacional (test B), si el test A, correlaciona con
el test B, entonces obtenemos una medida emprica de validez
concurrente)


Validez Predictiva; grado de relacin entre los puntajes de la prueba y
un criterio fijado en el futuro. ( en otros trminos el resultado de un
test predice el rendimiento en un test o comportamiento futuro) Ej
CAA P, si es bajo a futuro vemos si el paciente deserta o no de la
terapia.
Validez de Constructo
A travs del resultado se evala si el instrumento es valido para inferir el
grado en que el sujeto posee determinadas caractersticas. Est referido
a la concepcin terico- emprica de la variable a trabajar.

En la prctica consiste en la capacidad que tiene un test para
proporcionar datos que se comportan de acuerdo a ciertas hiptesis que
son derivadas de la teora

Etapas

1. Relacin Terica entre los conceptos.
2. Correlacin de Conceptos y anlisis.
3. Interpretacin de la evidencia emprica de acuerdo con el nivel en
que clarifica la validez de un constructo de una medicin en
particular.

Mtodo del Anlisis Factorial. Analiza la dimensionalidad de un
instrumento y la relacin de tems para conformar dimensiones de
un rasgo.



Validez convergente; correlacin entre el puntaje de una prueba y otra que
mide aspectos similares. (ej. Examino la relacin entre un test que mida
autoestima y otro que mida auto concepto / examino la relacin entre una
prueba que mida ansiedad y otra que mida bienestar subjetivo)


Validez Discriminante; baja o negativa correlacin entre pruebas que
miden conceptos distintos pero tericamente relacionados. ( ej. es poco
esperable que un test de asertividad tenga correlaciones con un test que
mida deseabilidad social)


Validez por grupos conocidos; se establecen hiptesis sobre el
desempeo de ciertos grupos en una prueba. (ej. Si estoy validando un
test de creatividad es esperable que los alumnos de arte o arquitectura
tengan puntajes ms altos que los alumnos de ingeniera.)

Tipos de validez que aportan al constructo.
Mtodo del Anlisis Factorial.
Analiza la dimensionalidad de un instrumento y la relacin de tems
para conformar dimensiones de un rasgo.
Permite, organizar los tems de un instrumento en dimensiones empricamente
asociadas (mediante correlaciones multivariadas).

En trminos estadsticos, una dimensin corresponde a un patrn de asociacin
entre tems.

Su propsito es validar el CONSTRUCTO del inventario o escala, buscando
evidencia que respalde la teora empleada para la construccin del inventario.


Ejemplo; Si construimos un inventario de habilidades sociales segn x teora, la
cual seala que existen por ejemplo 4 dimensiones de las habilidades sociales.
por lo anterior los tems creados se basaron en las dimensiones propuestas. El
anlisis factorial permite verificar si empricamente se mantiene esta
configuracin (de 4 dimensiones) o bien los tems se organizan en otras
dimensiones.

Anda mungkin juga menyukai