FIABILIDAD Y VALIDEZ DE ENCUESTAS 2009

M. Reyes / P. Reyes enero

FIABILIDAD Y VALIDEZ DE ENCUESTAS

Pgina 1 de 11

FIABILIDAD Y VALIDEZ DE ENCUESTAS 2009

M. Reyes / P. Reyes enero

FIABILIDAD DE ENCUESTAS
Cohen (1996), Davis (1996), Hayes (1998) y Huck (1996) estn de acuerdo en que la fiabilidad de un instrumento de medicin hace referencia a la consistencia de un resultado. Esto es, el cuestionario de datos ser consistente despus de pruebas repetidas, utilizando los mismo o diferentes valores, para las mismas preguntas o similares. Diferentes procedimientos estadsticos han sido desarrollados para probar la fiabilidad (consistencia). Cada una de las diferentes tcnicas proporciona una medida de consistencia llamada coeficiente de fiabilidad. Ese nmero tendr un valor de 0.00 a +1.00. El valor 0.00, establece que la consistencia est ausente, mientras que el valor de +1.00 indica una consistencia total. Huck (1996) establece que el coeficiente de fiabilidad puede ser negativo, pero debera ser cambiado a 0.00. Davis (1996) establece que no existen lineamientos absolutos como el coeficiente de fiabilidad pero proporciona el siguiente paquete de estndares para consideracin: 0.7 0.8 0.9 utilizado para investigacin exploratoria utilizado para investigacin bsica utilizado para escenarios aplicados para decisiones importantes

Cohen (1996) lista las razones (excluyendo al humano) por las que el puntaje o las respuestas de la encuesta pueden variar del valor real: Elaboracin del cuestionario: Variacin entre las preguntas de el cuestionario en contenido o seleccin Administracin del cuestionario: La temperatura de la sala estuvo muy alta, la iluminacin fue pobre, el cuestionario del administrador se entreg tarde pero aplicaciones de prueba con los tiempos lmite originales
Pgina 2 de 11

FIABILIDAD Y VALIDEZ DE ENCUESTAS 2009

M. Reyes / P. Reyes enero

Puntaje e interpretacin del cuestionario: No todas las pruebas son calificadas por una mquina, algunas son calificadas de manera subjetiva por los humanos. Si las calificaciones de el cuestionario no muestran mucha variacin, entonces el coeficiente de fiabilidad debera ser cercano a 1.00. Los fundamentos del estado de fiabilidad establecen que un puntaje observado est compuesto de dos partes bsicas: el puntaje real y el error de valor. Puntaje observado = puntaje real + error de valor Variacin (puntaje observado) = variacin (puntaje real) + variacin (error de valor) Variacin(valorreal ) [ var iacin( valorreal ) + var iacin( errordevalor ) ]

Fiabilidad =

Como la variacin de error disminuye en valor (o como los puntajes de el cuestionario son ms consistentes) el coeficiente de fiabilidad ser ms cercano al valor de 1.00. Esto puede indicar un muy buen juego de datos. Por otro lado, como la informacin en la evaluacin es inconsistente, entonces el coeficiente de fiabilidad caer. Existen 3 pruebas de fiabilidad que pueden ser utilizadas:
- Fiabilidad de prueba: reevaluacin - Fiabilidad de formas paralelas - Fiabilidad de Dos pruebas similares le darn un puntaje consistente Los mismos puntos de el cuestionario producirn los mismos Utilizado para evaluar la consistencia desde la primera prueba hasta la ltima prueba.

Pgina 3 de 11

FIABILIDAD Y VALIDEZ DE ENCUESTAS 2009 consistencia interna

M. Reyes / P. Reyes enero

resultados dentro de el cuestionario

Fiabilidad de cuestionario-reevaluacin Los mismos temas sern medidos dos veces con el mismo instrumento de medicin, con un tiempo de prueba separado. Esto es, una separacin de un da, semana, mes o ao es utilizada antes que la misma prueba sea administrada a los mismos temas. El investigador correlacionar los juegos de puntajes para determinar el monto de consistencia en la informacin. En el reporte, el coeficiente de fiabilidad es renombrado como el coeficiente de fiabilidad de pruebareevaluacin. Fiabilidad de formas paralelas Esta prueba puede estar referida como formas equivalentes o alternar pruebas de fiabilidad. Los sujetos son probados con dos diferentes formas que miden las mismas caractersticas, pero difiere la precisin de las preguntas. Es utilizado un corto periodo de tiempo para realizar el cuestionario. Un coeficiente de equivalencia indica el grado de consistencia entre las dos formas.

Fiabilidad de consistencia interna Esta es una prueba de la consistencia de el cuestionario en s. Un instrumento debera poseer una fiabilidad de consistencia interna alta. Los mtodos disponibles son: Fiabilidad de Dispersin-media: el investigador analizar los puntos de el cuestionario mediante la dispersin de el

Pgina 4 de 11

FIABILIDAD Y VALIDEZ DE ENCUESTAS 2009

M. Reyes / P. Reyes enero

cuestionario a la mitad. Las preguntas con nmero impar sern comparadas con las preguntas de nmeros pares. Kuder-Richardson #20 (K-R 20): Una variacin de la anterior. Se le llama K-R 20 porque fue la 20va frmula en el clculo eventual. Esta es la estadstica de opcin para preguntas de opcin mltiple. Coeficiente Alfa, Cronbachs Alfa o Alfa: Una prueba que es muy til para pruebas con dicotoma (s, no), opcin mltiple o un rango de valores (Huck, 1996) Fiabilidad de interevaluadores Debe existir una necesidad para evaluar el grado de consistencia entre evaluadores. Un ndice de fiabilidad de interevaluadores ser hecho. Los tres mtodos ms utilizados son: Coeficiente de concordancia Kendalls Cohens Kappa Coeficiente e correlacin intraclass

Validacin del examen La validacin representa el alcance de precisin del instrumento de prueba. Mientras que la fiabilidad procura medir la consistencia de la informacin, la validacin se enfocar en la exactitud y consistencia. Existen tres procedimientos frecuentemente utilizados para validar: Validez de contenido Criterio en relacin a la validez

Pgina 5 de 11

FIABILIDAD Y VALIDEZ DE ENCUESTAS 2009

M. Reyes / P. Reyes enero

Construccin de validez

Validez de contenido Los expertos usualmente verificarn que las preguntas del instrumento de prueba pertenezcan al contenido del material bajo cuestin. Una lista de verificacin, resumen, perfil sern utilizados para verificar las preguntas del instrumento. Criterio relativo a la validez Un criterio es definido como el estndar contra el cual una prueba o puntaje de prueba es evaluado. Esto puede ser un nuevo examen de ingreso a la universidad comparado al examen existente. Una prueba es proporcionada sobre el nuevo instrumento con un coeficiente de validez calculado. La validez comn es conducida si la nueva prueba puede ser comparada a el cuestionario vieja si se da dentro de un periodo corto de tiempo una de la otra. La validez proftica es utilizada cuando la nueva prueba es tomada en el periodo de tiempo actual, con el criterio de prueba (prueba estndar) tomado aos despus. Construccin de validez Una construccin es un concepto, un comportamiento, una actitud o una idea cientfica puede utilizada ser la para explicar del un desempeo. La construccin empatar las satisfaccin trabajo, ansiedad,

motivacin o satisfaccin del cliente. La construccin de validez busca preguntas de el cuestionario con las situaciones observadas. Los puntajes altos y bajos de el cuestionario deben coincidir con las conductas observadas.

Pgina 6 de 11

FIABILIDAD Y VALIDEZ DE ENCUESTAS 2009

M. Reyes / P. Reyes enero

La validez convergente es el grado de asociacin (correlacin) que el instrumento de el cuestionario tiene que construir bajo pregunta. La satisfaccin del cliente puede ser medido por un instrumento de muestra y empata al grado de satisfaccin del cliente. La validez discriminante es el uso de un instrumento vlido que medir lo opuesto a lo construido. En este caso, una medicin de la insatisfaccin del cliente puede estar correlacionada de manera negativa a la satisfaccin del cliente. Comentarios finales de validez Huck (1996) noto que cualquier estudio o encuesta puede poseer un alto grado de validez o fiabilidad. El diseo del estudio y el uso de tcnicas apropiadas estadsticas juegan una parte en la obtencin de buenas conclusiones. Valoracin de la encuesta Las encuestas pueden ser utilizadas en la investigacin para obtener informacin cualitativa o cuantitativa. Los proyectos pueden estar basados en informacin pura experimental bajo condiciones controladas, tales como en un laboratorio. Muchos proyectos pueden requerir un campo de datos recolectados va algn mtodo como los cuestionarios o entrevistas. La calidad profesional puede tener una necesidad para recolectar informacin en: Retroalimentacin del cliente Satisfaccin/insatisfaccin del cliente Desempeo del proveedor Satisfaccin del empleado Efectividad de la capacitacin

Pgina 7 de 11

FIABILIDAD Y VALIDEZ DE ENCUESTAS 2009

M. Reyes / P. Reyes enero

Escala Likert Una escala de puntuacin utilizada comnmente para encuestas es la escala Likert. Pueden ser de 5 puntos, 7 puntos o una escala numrica especial. La escala se puede extender de 1 a 7, de 1 a 9, de 1 a 11, etc. dependiendo de la aplicacin. Por ejemplo: Fuertemente en desacuerdo 1 En desacuerdo Indeciso De acuerdo Fuertemente de acuerdo 2 3 4 5

Entre ms favorable el encuestado est inclinado hacia la pregunta, mayor ser el puntaje. As pues, varias estadsticas como la media, la desviacin estndar, coeficientes de correlacin, y otros valores estimados pueden ser sacados de la evaluacin. Las mediciones son parte del proceso de mejora. La comunicacin de qu tan buena o pobre es la calidad ser expresada en trminos numricos. Con las bases estadsticas apropiadas, las mejoras en el proceso, el servicio al cliente, la satisfaccin al cliente, la retencin del cliente, puede ser determinado. Evaluacin cualitativa Muchas evaluaciones no necesariamente se prestan a anlisis cuantitativo. La informacin por naturaleza tiende a ser subjetiva o cualitativa en la naturaleza. Ejemplos: Preguntas de Si/no Respuestas de opcin mltiple Rango de valores

Pgina 8 de 11

FIABILIDAD Y VALIDEZ DE ENCUESTAS 2009

M. Reyes / P. Reyes enero

Evaluaciones subjetivas basadas en el sentido humano o Preferencia de color o Desempeo del empleado o Personalidad o Etc,

Ejemplos cualitativos Es comn correlacionar los rechazos internos de planta con las fallas de campo. Cuando son reportadas cuantitativamente, cierta informacin puede ser determinada. Para encontrar donde las expectativas interna y externas difieren, deben ser comparadas categoras de quejas cualitativas. El uso del anlisis de Pareto es una herramienta poderosa. Assume que la tasa de desperdicio interno es 8% y la tasa de quejas externas es de 3%. Esta informacin puede ser graficada en una grfica de atributos para ver si alguna tendencia o ciclos existen. Una mejora considerable no ocurrir hasta que categoras de un diagnstico de defectos sea determinado. Anlisis y uso de los resultados de la encuesta Los resultados de una encuesta crean deficiencias y oportunidades. Muchos resultados de encuesta son discutidos en detalle entre gerentes clave. El rol de los gerentes de calidad en este intercambio variar de forma considerable. El gerente de calidad puede ser un participante activo en el mejoramiento de la calidad y de la prontitud de los resultados de las encuestas por las siguientes actividades: Proporcionando formatos de encuestas bien diseados

Pgina 9 de 11

FIABILIDAD Y VALIDEZ DE ENCUESTAS 2009

M. Reyes / P. Reyes enero

Proporcionando incentivos para alentar una retroalimentacin adecuada Proporcionando instrucciones simples para la forma del uso de datos Realizar auditoras de la encuesta o el proceso de recoleccin de datos. Promover el uso de tecnologa moderna para recolectar informacin Promover el uso de herramientas modernas para el anlisis de datos Promover el uso de conceptos de muestreo modernos Asegurar que los canales de comunicacin con los que han sido encuestados estn abiertos

Los gerentes de calida y sus departamentos son comnmente llamados para analizar los datos y resumir de una manera digerible para la alta gerencia. De manera colectiva gerentes claves o un comit administrativo revisar los resultados y tomar accin. Comnmente las acciones sern decididas en algn orden de prioridad. Varias versiones (para la misma informacin) pueden ser necesarias: Un despliegue de categora basado en una frecuencia dcil Un despliegue de categora basado en costo Un despliegue de categora basado en el grado de insatisfaccin del cliente Un despliegue de categora basado en regulaciones gubernamentales Un despliegue de categora basado en el peso de varias cuestiones Despus de la asignacin de prioridades por la alta gerencia, las necesidades de mejor son delegadas a fuerzas de tarea, equipos de calidad, equipos contemporneos, etc., para la solucin. El

Pgina 10 de 11

FIABILIDAD Y VALIDEZ DE ENCUESTAS 2009

M. Reyes / P. Reyes enero

departamento de calidad est involucrado en el rastreo de resultados de esta actividad de mejora mediante grficas, tablas, resmenes ejecutivos.

Pgina 11 de 11