Técnicas Psicométricas 2019 - Cátedra A

Guía Nº 2: Confiabilidad

A lo largo de esta guía trabajaremos distintos aspectos referidos a la Confiabilidad. Utilizaremos datos de
una aplicación local del Mini-Mental State Examination (MMSE) para las actividades. A continuación se
exponen los objetivos y la bibliografía de referencia, y se informa la modalidad de trabajo de esta guía.
Luego, se presentan las características del instrumento. Posteriormente, se presentan las actividades que se
deberán entregar y el formato de informe.

Objetivos
El desarrollo de las actividades de la presente guía de trabajo práctico pretende contribuir al logro de los
siguientes objetivos específicos de la materia:
Que el/la alumno/a logre:
- Conocer los distintos modelos de medida y comprender su papel dentro de la psicometría y la
psicología.
- Conocer diferentes tests psicológicos y sus ámbitos de aplicación profesional.
- Valorar la importancia de las normas técnicas que regulan la administración e interpretación
responsable de los resultados de tests.
- Adquirir herramientas de lectura, y análisis de textos y datos de investigación.

Bibliografía:

- Santisteban Requena, C. (2012) Principios de Psicometría. Capítulos 3 a 6. Editorial Síntesis:

Mini-Mental State Examination

El incremento de la expectativa de vida (INDEC, 2013) trae aparejado un creciente número de
problemas, entre los que se destacan la depresión y la demencia que aquejan a los adultos mayores (OMS,
2017). Por ello, resulta imperioso contar con instrumentos válidos y confiables para detectar leves
deterioros cognitivos. Al mismo tiempo, es necesario fortalecer la formación en el conocimiento y manejo
de instrumentos que permitan realizar exploraciones cognitivas adecuadas. Si bien el logro de esos
objetivos escapa al presente trabajo práctico, pretendemos acercarlos/as a un instrumento comúnmente
utilizado en etapas iniciales de exploración cognitiva como es el Mini-Mental State Examination
(MMSE). Concretamente, lo tomaremos como ejemplo para poner en práctica conceptos referidos a la
precisión de la medida, tanto desde la TCT como de la TRI.
En las fases iniciales de una valoración cognitiva usualmente se emplean instrumentos de
exploración o screening que permiten realizar una valoración rápida de un amplio abanico de funciones
cognitivas. Uno de los instrumentos de screening más utilizados es el MMSE (Shulman et al., 2006, citado
en Mitchell, 2017), diseñado por Folstein, Folstein y McHugh (1975). Este instrumento permite realizar
una evaluación breve, sencilla y cuantificable del estado mental cognoscitivo. Se emplea en ámbitos
clínicos para exploración cognitiva y permite identificar la severidad de daños cognitivos (Mitchell, 2017).
En contextos de investigación usualmente se emplea en estudios de envejecimiento y demencia (ver p.e.,
Creavin et al., 2016; Guerrero-Berroa et al., 2009).
Es importante destacar que el screening no equivale a diagnóstico, el cual queda en manos de
profesionales expertos/as e implica un proceso más amplio (Mitchell, 2017) que incluye evaluaciones

1
adicionales, desde pruebas cognitivas hasta entrevistas clínicas, entre otras. El Grupo de Trabajo de
Neuropsicología Clínica de la Sociedad Neurológica Argentina (1999) señala que si bien los instrumentos
breves son eficaces para identificar demencia en estudios epidemiológicos, no sustituyen una evaluación
neuropsicológica.

Descripción de MMSE
El MMSE se divide en dos grandes secciones: la primera requiere respuestas verbales y
comprende dominios de orientación, memoria y atención, y la segunda abarca dominios de nominación,
comprensión oral y escrita, escritura y construcción (Folstein et al., 1975). El puntaje total es de 30
puntos. Es una prueba que se aplica sin límite de tiempo. A continuación se recupera una breve
descripción de los distintos dominios que comprende (Robles Arana, 2003):
1) Orientación temporal y espacial: implica ser consciente en relación al entorno espacial y a la historia
propia. Demanda atención, percepción y memoria, y también conocimiento de categorías en relación al
tiempo y al espacio. Se afecta temprano en procesos de demencia.
 Ítems: orientación en el tiempo (día, mes, año, día de la semana, estación) y orientación en el
espacio (nombre, piso/calle, distrito, provincia, departamento).
2) Aprendizaje verbal: en un primer momento se evalúa la amplitud de registro o memoria a corto plazo,
mientras que en un segundo momento se evalúa la capacidad de retención y evocación. Recuperar dos de
los tres estímulos es indicio de problemas de retención, y recordar sólo una de los tres estímulos es indicio
de fallas de aprendizaje.
 Ítems: registro y evocación de tres palabras.
3) Atención: focalización del procesamiento y división de la atención. La resta en serie evalúa
particularmente la atención dividida, esto es, la capacidad de realizar múltiples operaciones trabajando con
varios elementos dentro de una tarea. También evalúa la atención focalizada o selectiva inhibiendo la
atención de otros estímulos. El deletreo inverso evalúa particularmente atención dividida. Un fallo en esta
tarea puede estar asociado a déficit del lenguaje.
 Ítems: serie de restas o deletreo inverso de palabra.
4) Evocación: la denominación de estímulos visuales evalúa la evocación de una palabra concreta a
voluntad. El fracaso en esta tarea es indicio de una dificultad afásica.
 Ítem: denominación de dos objetos.
5) Repetición: la repetición de una frase demanda procesos de atención, memoria y comprensión verbal.
Las dificultades se evidencian como omisiones o sustituciones de las palabras de la frase o como fallas
para comenzar, para articular o para coordinar la secuencia de articulaciones.
 Ítem: repetición de una frase.
6) Comprensión oral: evalúa la comprensión del habla, lo cual supone el registro y retención de la
información, la comprensión y el esquema de actuación, como también el control de la secuencia de
ejecución motora. Fallas en esta tarea pueden reflejar problemas afásicos pero también problemas de
atención, retención, orientación corporal y habilidad motora.
 Ítem: orden oral.
7) Comprensión escrita: evalúa lectura y comprensión de material verbal, demanda también control de la
ejecución motora. Evidencia dificultades afásicas y alexia, y también puede evidenciar inatención
visuoespacial.
 Ítem: orden escrita.
8) Escritura: la escritura de una frase implica varios procesos: generar una idea, traducirla en códigos
lingüísticos, y ejecutarla con movimientos de brazos y manos, controlando coordenadas espaciales. Fallas
en esta tarea reflejan problemas afásicos.
 Ítem: escritura de una frase.
Vale señalar que las dimensiones 4) a 8) se refieren a lenguaje fundamentalmente.
9) Praxis: la copia de un estímulo visual requiere la integración de percepción visual, análisis
visuoespacial, planeamiento y ejecución motora. Las fallas pueden vincularse a problemas en
componentes visuoespaciales (p.e., omitir uno de los estímulos) o motores (p.e., temblor o perseverancia).

2
 Ítem: copia de dibujo de dos polígonos sobrepuestos.

A continuación se aprecia la hoja de registro de las respuestas del MMSE, tomada del artículo del Grupo
de Trabajo de Neuropsicología Clínica de la Sociedad Neurológica Argentina (1999).

Propiedades psicométricas del MMSE

Estudios conducidos en distintas regiones evidencian una consistencia interna moderada del
MMSE, con valores Alfa de Cronbach entre .6 y .9; en tanto que la confiabilidad test-retest evaluada en un
rango de 24 hs ha mostrado ser alta, con correlaciones de Pearson superiores a .85 (Mitchell, 2017).
Análisis de la estructura factorial han identificado tres factores: verbal, memoria y construcción (Lezak,
Howieson, Bigler, & Tranel, 2012).
En el marco de la TRI, algunos estudios han avanzado en la identificación del nivel de dificultad
de los ítems. Por ejemplo, Schultz-Larsen, Kreiner, y Lomholt (2007, citado en Mitchell, 2017) han
identificado como ítems relativamente difíciles a los siguientes: recuerdo de 3 palabras, la identificación
de la fecha, la copia del dibujo y la serie inversa; y como relativamente sencillos a los siguientes: nominar
el país, registrar tres palabras, seguir una indicación y nominar un objeto.
El desempeño en las tareas del MMSE se espera que disminuya con la edad y se incremente con el
nivel educativo (Lezak et al., 2012). Esto es, a mayor edad y menor nivel educativo se espera que las
personas cometan más errores.
Las particularidades contextuales de cada país (y región) hacen que los tests deban adaptarse
siguiendo los lineamientos correspondientes. Además, también se requiere unificar la forma de
administración. En Argentina, a partir de la versión del MMSE utilizada a fines de los 80 por un grupo de
investigación de Buenos Aires, el Grupo de Trabajo de Neuropsicología Clínica de la Sociedad
Neurológica Argentina (1999) unificó las reglas para lograr una adecuada y uniforme administración del
MMSE. Para avanzar en esta línea, Butman et al. (2001) e Infante y Mías (2009) generaron normas del
MMSE por edad y años de educación para la ciudad de Buenos Aires y el Litoral, respectivamente.

Referencias

3
Butman, J. Arizaga, R. L., Harris, P., Drake, M., Baumann, D., de Pascale, A., … Ollari, J. A. (2001). El
“Mini - Mental State Examination” en español. Normas para Buenos Aires. Revista de
Neurología Argentina, 26(1), 11-15.
Creavin, S. T., Wisniewski, S., Noel-Storr, A. H., Trevelyan, C. M., Hampton, T., Rayment, D. …
Cullum, S. (2016). Mini-Mental State Examination (MMSE) for the detection of dementia in
clinically unevaluated people aged 65 and over in community and primary care populations
(Review). Cochrane Database of Systematic Reviews, 1, CD011145.
Folstein, M. F., Folstein, S. E., & McHugh, P. R. (1975). “Mini-Mental State”. A practical method for
grading the cognitive state of patients for the clinician. Journal of Psychiatry Research, 12, 189-
198.
Grupo de Trabajo de Neuropsicología Clínica de la Sociedad Neurológica Argentina (1999). El “Mini-
Mental State Examination” en la Argentina: Instrucciones para su administración. Revista de
Neurología Argentina, 24(1), 31-35.
Guerrero-Berroa, E., Luo, X., Schmeidler, J., Rapp, M. A., Dahlman, K., Grossman, H. T., … Beeri, M. S.
(2009). The MMSE orientation for time domain is a strong predictor of subsequent cognitive
decline in the elderly. International Jounral of Geriatric Psychiatry, 24(12), 1429-1437.
Infante, L., & Mías, C. D. (2009). MMSE: normas para la región litoral argentina. Revista Argentina de
Neuropsicología, 14, 33-53.
Instituto Nacional de Estadísticas y Censos, INDEC (2013). Estimaciones y proyecciones de población
2010-2040.
https://www.indec.gov.ar/nuevaweb/cuadros/2/proyeccionesyestimaciones_nac_2010_2040.pdf
Lezak, M., D., Howieson, D. B., Bigler, E. D., & Tranel, D. (2012). Neuropsychological Assessment (5th
ed.). New York: Oxford Uniersity Press.
Mitchell, A. J. (2017). The Mini-Mental State Examination (MMSE): Update on its diagnostic accuracy
and clinical utility for cognitive disorders. In A. J. Larner (Ed.), Cognitive screening instruments
(2nd ed., pp. 37-48). Liverpool: Springer.
Organización Mundial de la Salud, OMS (2017). La salud mental y los adultos mayores.
http://www.who.int/es/news-room/fact-sheets/detail/mental-health-of-older-adults
Robles Arana, Y. I. (2003). Adaptación del Mini-Mental State Examination. Tesis de Maestría en
Psicología, Universidad Nacional de San Marcos.

Base de datos
A partir de un estudio conducido en el contexto local en el que se aplicó el MMSE, se generó una
base de datos simulados que contiene 600 casos. Los participantes tenían entre 56 y 84 años de edad (M =
71.45 años, DS = 7.08), con distintos niveles educativos, desde nunca asistió hasta universitario completo.
Para este trabajo práctico recuperaremos las respuestas a los ítems de la dimensión “atención”.
Específicamente, ítems donde los participantes tuvieron que calcular restas de 7 puntos a partir del número
100. En la Tabla 1 se sintetizan los resultados en términos de frecuencia absoluta y porcentaje de
respuestas correctas para cada ítem. Como se aprecia, el porcentaje de respuestas correctas disminuye a
medida que se avanza en la tarea.

Tabla 1. Frecuencias absolutas y porcentajes de respuestas correctas a ítems sobre atención: “Dígame:
¿Cuánto es 100-7? … Ahora siga restando de 7 en 7.”

Ítem AC1 Ítem AC2 Ítem AC3 Ítem AC4 Ítem AC5
100-7 = 93 93-7 = 86 86-7 = 79 79-7 = 72 72-7 = 65

560 (93.3%) 249 (41.5%) 371 (61.8%) 317 (52.8%) 291 (48.5%)

4
 Guía 2 – PARTE A
La guía es de resolución y entrega grupal. El grupo debe estar integrado por 5 personas.

Para realizar las actividades que a continuación se presentan, leer la siguiente bibliografía.
- Santisteban Requena, C. (2012) Principios de Psicometría. Capítulos 3 a 6. Editorial Síntesis:
Madrid

Actividad 1
A partir de la lectura del capítulo 3:
1.1 Elabore un concepto de Confiabilidad (fiabilidad) a partir de la lectura de las paginas 75-79.
1.2 Vea el ejemplo del cuadro 3.1 de las páginas 76 y 77 y plantee otra situación en la que se
ejemplifique cómo un test puede tener validez, pero no confiabilidad.
1.3 ¿Qué rango de valores pueden tomar los coeficientes de confiabilidad? ¿Cuáles son los que
indican mayor precisión?
1.4 Enuncie y explique las tres formas para obtener los coeficientes de Confiabilidad detalladas
entre las páginas 84 y 89.
A partir de la lectura del capítulo 4:
1.5 ¿Qué relación existe entre la variabilidad de las puntuaciones exhibidas por el conjunto de
ítems y los niveles de confiabilidad del test?
1.6 ¿Qué implicancias tiene la extensión de una prueba con sus niveles de confiabilidad? ¿Para
qué se utiliza la fórmula de Spearman-Brown? ¿Qué implicancias existen a nivel de la toma
de decisiones cuando los coeficientes de confiabilidad son muy bajos y la cantidad de ítems a
agregar supera ampliamente al número inicial?
A partir de la lectura del capítulo 5:
1.7 ¿Qué es la consistencia interna? ¿Para qué se utiliza el coeficiente Alfa?

Actividad 2
Para cada una de las siguientes acciones, indicar: a) dimensión de la confiabilidad que se pretende medir,
b) método para verificar la confiabilidad, y c) el estadístico que se debería utilizar.

2.1. Correlacionar las puntuaciones totales del Mini Mental State Examinatión obtenidas en una muestra
de 150 adultos en el mes de marzo, con las puntuaciones obtenidas por la misma muestra en el mes de
mayo.

2.2. Correlacionar las puntuaciones de los impares 1, 3, 5, 7 y 9 de la dimensión Cohesión del FACES con
las puntuaciones de los ítems impares 11, 13, 15, 17 y 19 de la dimensión Cohesión.

2.3. Evaluar la covarianza de los ítems que componen la dimensión Flexibilidad del FACES en una
muestra de 150 estudiantes a los que se le administró el test en abril.

Actividad 3
En los siguientes puntos se exponen valores referidos a puntuaciones de participantes en el Mini Mental
State Examination. Responder los interrogantes que se plantean en cada caso.

3.1. El coeficiente de correlación test-retest (lapso: 1 semana) del cuestionario es igual a .75, mientras que
la desviación estándar es de 6. ¿Cuánto vale el error estándar (típico) de medición (EEM)?

3.2. Teniendo en cuenta los valores del punto anterior, y asumiendo una distribución normal, si un
participante obtiene un puntaje total en el cuestionario igual a 50, ¿entre qué valores se encontraría el 95%

5
de los puntajes si respondiese el cuestionario muchas veces? Para ello haga una estimación de Intervalos
de confianza con puntuaciones directas.

3.3. Si el coeficiente de confiabilidad (test-retest) fuera de .90 y la desviación estándar de 6, ¿cuánto

valdría el EEM? Vuelva a calcular los Intervalos de Confianza con este nuevo EEM.

Actividad 4
La Tabla 1 muestra la salida de máquina del análisis de consistencia interna de la subescala de Atención-
Cálculo del MMSE.
4.1. ¿Cuál es el valor del coeficiente obtenido? ¿Cómo se interpreta?
4.2. Teniendo en cuenta el nivel de medición de los ítems, ¿qué coeficiente es el que se utilizó para
realizar el análisis?
4.3. ¿Todos los ítems están igualmente relacionados con los ítems restantes?
4.4. ¿La eliminación de algún/os ítem/s mejorarían la consistencia interna del subtest?

Tabla 1. Análisis de confiabilidad

Estadístico de fiabilidad

Kuder-Richardson20: .724

Estadísticos descriptivos y KR20 para la escala si el ítem es eliminado

Media de la escala Varianza de la Correlación KR20 si se
si se elimina el escala si se elimina Biserial-Puntual elimina el
elemento el elemento corregida elemento
AC1 2.05 2.328 .132 .772
AC2 2.57 1.755 .369 .727
AC3 2.36 1.413 .647 .574
AC4 2.45 1.447 .594 .603
AC5 2.50 1.529 .531 .643

Actividad 5
La Tabla 2 muestra la salida de máquina del análisis de las dos mitades del subtest de Atención-Cálculo
del MMSE.
5.1. ¿Cuál es la correlación entre las dos mitades?
5.2. ¿Cuál es el valor del coeficiente Spearman-Brown? ¿Cómo se interpreta?

6
Tabla 2. Análisis de confiabilidad – Modelo “Dos mitades”

Estadísticos de fiabilidad
Alfa de Cronbach Parte 1 Valor .458
N de elementos 3a
Parte 2 Valor .720
N de elementos 2b
N total de elementos 5
Correlación entre formas .587
Coeficiente de Spearman-Longitud igual .739
Brown Longitud desigual .746
Dos mitades de Guttman .739
a. Los elementos son: AC1, AC2, AC3. b. Los elementos son: AC3, AC4, AC5.

Estadísticos de la escala
Desviación
Media Varianza típica N de elementos
Parte 1 1.97 .780 .883 3a
Parte 2 1.01 .781 .884 2b
Ambas partes 2.98 2.477 1.574 5
a. Los elementos son: AC1, AC2, AC3.
b. Los elementos son: AC4, AC5.