La validacin e implementacion de un
cuestionario de satisfaccin.
Dr. Ezequiel Garca Elorrio
Ege@cemic.edu.ar
Objetivos de la
Presentacin
Exponer la poltica de Calidad del CEMIC.
Discutir la importacia de validacin
adecudada de cuestionarios de satisfaccin.
Describir los procesos generales que llevan
desde la ideacin de un instrumento hasta
su implementacin a travs de un caso
prctico.
Comentar cuales son los escollos habituales
en estos procesos.
27/9/02
I Jornada de SACAS
Comit de calidad
Comit de Efectividad Clnica
Crculos de Calidad
Acreditacin y certificacin por normas ISO.
Acreditacin institucional.
Implementacin de procesos de mejoramiento de la
calidad en mbitos mdicos y de gestin.
I Jornada de SACAS
Porque validar un
cuestionario.
La adaptacin e implementacin de
encuestas sin cumplir con las etapas
necesarias, puede llevar a la generacin
de conclusiones errneas.
El PEC promueve el desarrollo de
cuestionarios con criterios adecuados
de
validacin
y
aplicacin
de
cuestionarios de satisfaccin y de
calidad de vida.
27/9/02
I Jornada de SACAS
Porqu medir
satisfaccin?
27/9/02
I Jornada de SACAS
Porqu medir
satisfaccin? II
4- Se cree que la satisfaccin produce un
efecto placebo que puede contribuir hasta en
un 30% del beneficio de los cuidados mdicos.
5- Con el desarrollo de la corriente que ha
transformado a los sistemas de salud en
proveedores de servicios a sus miembros
dentro de un medio altamente competitivo y
con multiples ofertas, la satisfaccin ha
tomado un rol fundamental en su desempeo.
27/9/02
I Jornada de SACAS
27/9/02
I Jornada de SACAS
De que se preocupa la
gente?
La mayora de la gente cree que el la calidad de atencin es
buena, pero que hay mucha variabilidad.
27/9/02
I Jornada de SACAS
Cmo se mide
satisfaccin?
Quejas.
Motivos de baja.
Call centers.
Entrevistas personalizadas.
Grupos focales.
Encuestas estructuradas
Cuantitativas
Cualitativas
27/9/02
I Jornada de SACAS
Caractersticas Del
Proyecto
27/9/02
I Jornada de SACAS
10
Etapas en La Generacin y
Validacin De Un
Instrumento
I Jornada de SACAS
11
Desarrollo De Items
27/9/02
I Jornada de SACAS
12
Instrumentos de
referencia
Member satisfaction survey (MMS) HEDIS 3.0 NCQA 1998
PSQ III (Davies AR, Ware J E) 1987
Ambulatory Patients satisfaction questionnaire. The
Picker Institute 1995
CAHPS Questionnaire (RAND, Harvard Medical School
and Research Triangle institute AHCPR- ) 1997
The consumer satisfaction Survey (Ware- Quality Metric
inc) 1998
Visit Satisfaction questionnaire VSQ- (Ware JE RAND
corporation) 1988
ABIM PSQ (Hulka et al) 1970
27/9/02
I Jornada de SACAS
13
Adaptacin Transcultural
Habitual por el escaso desarrollo original de
cuestionarios de salud en idioma castellano.
Crtica para la acreditacion de resultados
vlidos.
Traduccion y contratraduccion.
Es importante definir correctamente los
trminos involucrados en los items.
Traduccion
por
el
autor
principal
y
contraduccion realizada por traductora
pblica con experiencia en trabajos sobre
ciencias de la salud.
27/9/02
I Jornada de SACAS
14
Mtodo de administracin
Las encuestas se hicieron disponibles en los
centro de atencin de los sistemas de salud
involucrados.
A completar en forma previa o posterior a la
consulta. Annimo para aumentar la tasa de
respuesta. Buzn disponible en las salas de
espera (tasa esperada entre 20-40 %).
Sesgo de seleccin relevante pero no
suficiente para invalidar validacin.
Otros
metodos:
entrevista
personal,
telefonica, Mailing e Internet.
27/9/02
I Jornada de SACAS
15
Lugar y Poblacion a
Evaluar
Poblacin a evaluar: pacientes Adultos que
reciben atencin ambulatoria en sistemas
prepagos privados sin fines de lucro de la
ciudad de Buenos Aires.
Participantes: Centro de educacion mdica e
investigaciones clinicas (CEMIC) y el Plan de
Salud del Hospital Italiano de Buenos Aires.
Pacientes con caractersticas definidas que
tal vez no sean representativos de otros
sistemas de salud de nuestro pas.
27/9/02
I Jornada de SACAS
16
Cuestionario para el
piloto
I Jornada de SACAS
17
Piloto
Realizado entre los pacientes de ambos
sistemas con el fin de determinar si los
pacientes comprendian las preguntas y cuanto
tiempo les llevaba completar el cuestionario.
Duracin dos meses. Pacientes seleccionados y
con alto compromiso de participacin.
Los resultados del piloto fueron satisfactorios.
Modificaciones realizadas: Se reformularon los
enunciados de varias de las preguntas y 2
fueron eliminadas por no ser comprendidas y
decidirse que no eran tiles para nuestro medio.
27/9/02
I Jornada de SACAS
18
Consideraciones
estadsticas
Anlisis univariado- frecuencia,
normalidad y asociacion.
Muestra: cuntas encuestas son
suficientes? Considerar nmero de
items en validacin. Clculo muestral
Confiabilidad
Validez
Respuesta al cambio
27/9/02
I Jornada de SACAS
19
Confiabilidad
Es la capacidad del instrumento de
reproducir los resultados a lo largo del
tiempo. Se basa en un test de
correlacin.
Test- retest.
Instrumento paralelo.
Consistencia interna (alpha de
cobbrach). Ver resultados en tablas
N 5 y 6.
27/9/02
I Jornada de SACAS
20
Items
Correlation
RTT
Name
Label
Q5
0,46
0,912
Q6
Number of doctors
0,56
0,907
Q7
0,56
0,907
Q8
0,69
0,905
Q9
0,68
0,905
Q10
Q11
Q12
Q13
0,69
0,75
0,64
0,60
0,90
0,90
0,90
0,907
Q14
0.57
0,908
Q16
0,67
0,905
Q17
0,49
0,910
Q18
0,49
0,912
Q19
Delay in approvals
0,39
0,910
Q20
0,47
0,910
Q21
0,41
0,912
Q24
Q25
0,79
0,37
0,90
0,912
27/9/02
I Jornada de SACAS
21
Validez
Es la intencin de determinar si el instrumemto
mide lo que queremos medir.
Validez de contenido y de inspeccion: hablan
de la capacidad del instrumento de comprender
todos los aspectos que deben ser evaluados
segn los objetivos previamente planteados. La
primera se evala al final del desarrollo, mientras
que la segunda se evala durante la creacin del
instrumento. Ambas son subjetivas pero
necesarias.
Validez de construccin.
Validez de criterio.
27/9/02
I Jornada de SACAS
22
Validez De Construccin
Es la bsqueda de estructuras dentro de
cuestionario que brinden medidas sumarias
relacionadas con los dominios propuestos.
Factor analysis y principal component
analysis: intenta identificar factores latentes
que son responsables por la correlacin entre
factores entre los items. Comprueban el diseo
de los dominios.
Tambin se evalua la correlacin entre los items
(item-item correlation) y entre los items y el
total (item total correlation) para definir la
integridad del cuestionario.
27/9/02
I Jornada de SACAS
23
Validez de criterio
Variables incluidas exploradas para
deteminar correlacin entre los scores
obtenidos y datos de la realidad
Fuerte correlacin con :Intencin de
cambio de plan y de recomendar a sus
parientes y amigos,Ingreso familiar,
tiempo de espera autoreportado.
Debil correlacion con MCS y PCS del SF12,
Hx de morbilidad o enfermedad actual,
antigedad en el plan.
27/9/02
I Jornada de SACAS
24
Respuesta al cambio.
Es la capacidad del instrumento de
ser lo suficientemente sensible
para lograr identificar cambios
clnicamente importantes a lo largo
del tiempo.
Para ello es necesaria su
implementacin sucesiva a lo largo
del tiempo.
27/9/02
I Jornada de SACAS
25
Formalidades a Cumplir
Presupuesto para conseguir
financiacin.
Confidencialidad de los resultados.
Aprobacin de la direccin de
investigacion.
Aprobacin del director mdico o
responsable de la poblacin a
evaluar.
27/9/02
I Jornada de SACAS
26
Limitaciones y sesgos
Muestra de conveniencia, pacientes
que consultan al sistema de salud.
Validacin necesita ser confirmada
por estudios posteriores.
Baja tasa de respuesta frente a lo
ideal.
Es necesaria la valoracin de la
respuesta al cambio en sucesivas
implementaciones.
27/9/02
I Jornada de SACAS
27
Recursos Necesarios
Tiempo. Es un estudio primario.
Predisposicion de los encuestados
prelinarmente para hacer sugerencias
sobre las modifiacines.
$$$ Para la impresin de los cuestionarios
y su distribucin.
Personal para la carga de datos- data
entry-.
Habilidad para hacer un buen anlisis.
27/9/02
I Jornada de SACAS
28
Sugerencias
Inclusin de preguntas vlidas para
caracterizar adecuadamente la poblacin.
No asustarse por la cantidad de items. La
gente quiere expresarse. Aunque en
forma anonima.
El mailing es el mtodo ms adecuado
para para conseguir los resultados menos
sesgados. Los otros son muy caros.
Negocien tiempo para una adecuada
interpretacin de los resultados
27/9/02
I Jornada de SACAS
29
Implementacin
El instrumento fue nuevamente adaptado y corregido
(aunque no en forma estructural). Nuevo formato de
presentacion para respuesta postal paga. Se mantuvo
el cuestionario central y se adaptaron las preguntas
introductorias a las necesidades del momento.
Con un presupuesto adecuado, fue distribuido entre
los afiliados del CEMIC a principios de este ao. (1850
cuestionarios devueltos sobre 15.500 distribuidos).
El plan de Salud del HIBA decidio Implentar el CAHPS.
Anlisis presentado para mostrar resultados a los
directivos y sugerir oportunidades de mejora.
27/9/02
I Jornada de SACAS
30
El futuro
Aplicacin de mayor cantidad de
cuestionarios validados que valoren
adecuadamente satisfaccin con la
atencin mdica.
Uso de CAHPS del AHRQ por parte de
financiadores locales.
Idealmente regulacin para publicar
resultados y fundamentar la decisin de
elegir un plan de salud.
27/9/02
I Jornada de SACAS
31