Herramientas prcticas

de La calidad:
Valor Sigma para
validacin de mtodos,
seleccin y diseo del CC, y
evaluacin externa de la calidad

James O. Westgard, PhD

Westgard QC, Inc.
Madison, WI
 Seis Sigma
July 2003 Clin Lab News
 Qu es Seis Sigma?
Estado superior de la Gestin Total de la Calidad
Incluye como mejoras ms importantes:
Cuantificacin del objetivo de la prestacin de un
proceso
Alcanzar la prestacin seis sigma
Medida universal de la prestacin de un proceso
Mide defectos por milln (DPM)
Enfatiza la definicin de los lmites de tolerancia de
los procesos o los requisitos de la calidad de los
productos
Qu significa Seis Sigma?

-Especificacin + Especificaicn
V. Diana
de tolerancia de tolerancia

-6 DSs +6 DSs
debera debera
cumplir cumplir
espec. espec.

-6s -5s -4s -3s -2s -1s 0s 1s 2s 3s 4s 5s 6s

Cul es el razonamiento?
Obtener pocos DPM con una
desviacin de 1.5s

1.5s
desviacin Pocos
defectos con
desviacin
de 1.5s

6s -5s -4s -3s -2s -1s 0s 1s 2s 3s 4s 5s 6s

-
 Cmo medir la calidad en
la escala Sigma?
Medir el Resultado Medir la Variacin
Metodologa
MOTOROLLA Inspeccionar Resultados Medir Variacin
y contar Defectos de Procesos
Sigma
Largo-plazo

Calcular Defectos Calcular DS y

Sigma
Corto-plazo
por Milln (DPM) Valor Sigma
Usar columna
pond / desviacin
1.5s
Convertir DPM Resultado del
en Valor Sigma Control del Proceso
 Qu es un defecto?
Un producto que no alcanza las especificaciones
Hay que definir los lmites de tolerancia
Y comparar el producto con estas especificaciones
Un resultado de una determinacin errneo
Se puede usar el criterio de la prueba de aptitud
CLIA como especificacin o lmite de tolerancia
Se comparan los errores observados con los lmites
tolerables de error: si son superiores, se trata de un
resultado defectuoso
Cmo se pueden calcular
DPM?
Un ejemplo: Fabricante de
neumticos para Ford
6,000,000 neumticos
2000 accidentes
100 fallecimientos
Qu es la prestacin de un proceso?
DPM = accidentes/milln neumticos
2000/6,000,000 o 333 DPM
 Cmo convertir DPM en
Sigma?
Usar la tabla Sigma/DPM

Aprox
4.9-5.0 333 DPM
 Cules son algunas
mejores marcas
Aceptacin Mundial de la Calidad: 3.4 DPM o 6 sigma
Manejo de maletas en Lneas Areas:
4000 DPM o un proceso 4.15 sigma
Seguridad de Lneas Areas (accidentes de
pasajeros):
0.43 DPM, mejor que el proceso 6 sigma
Proceso de negocio normal: 4 sigma
Proceso mnimamente aceptable: 3 sigma
Produccin de neumticos en Firestone: 5 sigma
Evaluacin de la calidad de los
procesos pre- y post-analticos

Nevelainen et al. Evaluating laboratory performance with

the six sigma scale. Arch Pathol Lab Med 2000;124:516-9.
Evaluacin de la calidad de los

procedimientos dedemedida
Conoces el Valor Sigma cada uno
de los procedimientos analticos?
Depende del
Lmite de tolerancia o especificacin de la
calidad de cada procedimiento (ET d)
Error sistemtico del procedimiento (ES)
Imprecisin del procedimiento (DS o CV)
Capacidad del proceso

V Diana Desviacin V Diana

-ETd 1.5s +ETd
Sigma = (ETd-ES)/s
Sigma =(6s-1.5s)/s
Sigma = 4.5

6s -5s -4s -3s -2s -1s 0s 1s 2s 3s 4s 5s 6s

-
Capacidad del proceso
en unidades Sigma
Valor Sigma = (ETd - ES)/CV
ETd=12%, ES=0%, CV=2%
Valor Sigma es (12-0)/2 o 6 sigma
ETd=12%, ES=0%, CV=4
Valor Sigma es (12-0)/4 o 3 sigma
ETd = 12%, ES = 3%, CV=2%
Valor Sigma es (12-3)/2 o 4.5 sigma
Cul es el Valor Sigma para el
Colesterol basado en el CLIA y
las recomendaciones del
NCEP?
ETd = 10% criterio CLIA
ES = 3%, CV=3% especificaciones NCEP
Valor Sigma es (10-3)/3 o 2.33 sigma
No es un proceso satisfactorios segn

las guas de produccin industrial !!!

 Validacin de Mtodos:
la confusin!
Resultados mtodo en estudio
Correlacin no es igual a concordancia!
O O
O O
Coeficiente correlacin
de 0.999: O O
O
Puntos cercanos a la lnea
OOO

O O
O
O O
OO
O O
Intercepcin de 15 mg/dL:
O O Mtodo en estudio
O O con valores sistemticamente
superiores

Resultados mtodo de comparacin

 Valor Sigma: la solucin
Elimina la confusin!
Nueva herramienta: la grfica de
decisin
Emplea un requisito de la calidad predefinido
para el mtodo (lmite de tolerancia)
Muestra la precisin y veracidad del mtodo
Caracteriza el Valor Sigma de forma
grfica
Facilita la inspeccin visual y evala la
aceptabilidad de un mtodo
 Secretos de la
Validacin de Mtodos
1er secreto: Enfocar los errores
Se trata de VERIFICACIN DEL ERROR
Cul es la magnitudes de los errores
observados en un nuevo mtodo?
Son tan pequeos como para ser
aceptables, o tan grandes como para
dificultar la interpretacin de los
resultados del mtodo?
Tipos de errores a evaluar
Resultados del mtodo en estudio

oo
Error o
aleatorio o
Error o
sistemtico o
constante
oo
o
o oo
o
o o Error
sistemtico
o proporcional
No error

Resultados del mtodo de comparacin

 2o secreto: Evaluacin
experimental de
distintos tipos de errores
Tipo de Experimento
Error
Analtico Preliminar Final
Error Replicados Replicados
Aleatorio Intra- serie Inter - serie

Error
Interferencias Comparacin
Constante
entre
Error Mtodos
Recuperacin
Proporcional
3er secreto: la estadstica
es una herramienta para
estimar los errores

media
DS, CV
Distribucin Histograma
Dato datos Clculo para
lineales Clculo de DS Decisin

a, b Bias
sy/x ,r SDdiff, t
Regresin Grfica de Prueba Grfica de
Comparacin t-student Diferencias
Clculo de Pares de Datos
Herramientas bsicas para Validacin de Mtodos
 4 secreto: Distintas
estadsticas
son sensibles a distintos
Sensibilidad de laerrores
estadstica EA CE
PE
Regresin

Pendiente, b No No S
Intercepcin en Y No S No
DS sobre eje Y, sY/X S No No

Prueba t- Student

Error sistemtico No No
(sesgo) S?
DS diferencias S No
Coeficiente de S?
S? No?
correlacin No?
 5o Secreto: Significacin
estadstica es distinto que
significacin clnica
Significacin Estadstica: tener datos
suficientes para saber que existe una
diferencia Se trata de un error real?
Significacin Clnica: saber si la diferencia
observada es lo suficientemente grande
para influir en el diagnstico y
tratamiento del paciente Se trata de
un error importante?
6o secreto: Evaluar la aceptabilidad
usando el Valor Sigma en la
Grfica de Decisin de Mtodo
10. 0

9. 0

8. 0

7. 0

6. 0

5. 0
Error sistemtico observado, % ES

4. 0

3. 0

2. 0

1. 0

0. 0
0.0 1. 0 2. 0 3. 0 4.0 5.0

Zona de
Prestacin
Inaceptable

Marca
Mundial
Calidad

Imprecisin observada, % CV,

W ed 8/ 6/ 3 - 13: 45: 46
Grfica de Decisin de Mtodo
(1)
Ejemplo: Colesterol
El ETd es 10%
Construir la Grfica de Decisin de
Mtodo
Escala del eje Y: 0 a 10%
Error sistemtico observado, %ESs
Escala del eje X: 0 a 5%
Imprecisin observada, %CV
Dibujar las lneas para 2s, 3s, 4s, 6s veces el
valor de Error Total
Grfica de Decisin de Mtodo
(2)
Ejemplo: Colesterol
ES + 3s = ETd lnea 3 sigma
Intercep-Y de 10 y intercep-X de 3.3
ES + 4s = ETd lnea 4 sigma
Intercep-Y de 10 y intercep-X de 2.5
ES + 5s = ETd lnea 5 sigma
Intercep-Y de 10 y intercep-X de 2.0
ES + 6s = ETd lnea 6 sigma
Intercep-Y de 10 y intercep-X de 1.7
 Grfica de Decisin de
10.0

9.0
Mtodo
8.0

7.0
Error Sistemtico observado, % ES
6.0

5.0

4.0

3.0

2.0

1.0

0.0
0.0 1.0 2.0 3.0 4.0 5.0

Zona de
Prestacin
Inaceptable

Marca
Mundial
Calidad

Imprecisin observada, %CV

W ed 8/ 6/3 - 13:45
Seleccin/Diseo del CC

Desviacin crtica Lmite de

riesgo
de mal
resultado
del 5%

1.65s

-7s -6s -5s -4s -3s -2s -1s 0s 1s 2s 3s 4s 5s 6s 7s

Riesgo de 5% significa que el requisito de la calidad corta
la distribucin del error a 1.65s de la media
 Relacin entre
Seis Sigma y el CC
Error Sistemtico Crtico (EScrit)
ndice usado para describir la magnitud del error
que debe ser detectado por el procedimiento de
CC
EScrit = [(ETd ES)/CV] 1.65

Sigma

Se puede relacionar el ES con la capacidad de

rechazo de la regla operativa de CC y el n de
determinaciones control, usando las curvas de
potencia conocidas?
Relacin entre Calidad y
CC
Escala Sigma 3 4 5 6
1.65
1.0
2.65 3.65 4.65 5.65 P
fr
P
ed
N R

13s /2of32s /R4s /31s /6x

Probabilidad de rechazo (P)

0.9
0.07 0.07 6 1
0.8 13s /22s /R4s /41s
Deteccin 0.03 0.03 4 1
0.7 de Eerror 12.5s
deseable 0.04 0.04 4 1
0.6 12.5s
Falso 0.03 0.03 2 1
0.5 Rechazo
13s /22s /R4s
deseable
0.4 0.01 0.01 2 1
13s
0.3
0.00 0.00 2 1
0.2 13.5s
0.00 0.00 2 1
0.1 13s
0.00 0.00 1 1
0.0
0.0 1.0 2.0 3.0 4.0

Error Sistemtico (ES, mltiplos de s)

 Qu CC se necesita?
Reglas prcticas
Proceso 6 sigma regla CC simple con
lmites 3.0s y N=2
Proceso 5 sigma - regla CC simple con
lmites 2.5s y Ns de 2-3
Proceso 4-sigma regla CC simple con
lmites 2.5s lmites o multiregla CC y Ns de 4-6
Proceso 3-sigma necesita Ns de 6-8 o ms,
no es prctico para la mayora de laboratorios
No se debe procesar un n grande de controles
para detectar errores clnicamente importantes!
 Cmo seleccionar/disear un CC
adecuado?
Programa QC EZ Rules3 de Westgard

N
materiales
control

Calidad
Requerid
a
Precisin
Observada

ES
Observado
Programa asesor
Bio-Rad Westgard
 Verificacin del Valor Sigma
usando datos EQA/PT
Touchstone Test Methodology
www.westgard.com/essay72.htm
Identifica ejemplos que representan aplicaciones
clnicas y diagnsticas importantes
Requisitos de la calidad definido por el criterio de
aceptabilidad CLIA en Evaluacin Externa (EQA)
Magnitudes reguladas para las que los laboratorios
deben participar en EQA y mostrar los informes EQA a
la Administracin
Disponibilidad de datos de distintos programas EQA,
para una gran variedad de determinaciones del
laboratorio
Estimaciones de la Calidad
National Test Quality (NTQ)
Sigma = ETdCLIA/CVgrupo

National Method Quality (NMQ)

Sigma = Media ponderada [(ETdCLIA ESsubgrupo)/CVsubgrupo]

Local Method Quality (LMQ)

Sigma Media ponderada (ETdCLIA)/CVsubgrupo
Calidad para Colesterol en un
EQA
EQA/ Labs Medi NTQ NMQ LMQ
PT a
AAFP 296 201.0 2.01 2.01 2.54
MLE 577 224.4 2.27 2.38 2.99
AAB 1498 223.0 2.37 2.68 3.51
API 2647 221.3 2.28 2.37 3.19
CAP 4240 198.7 3.57 3.71 4.19
Media
ponderad
9258 210. 2.88 3.02 3.67
a 8
Calidad para Colesterol
MLE API
(NTQ)
CAP NY
AAFP1.65 AAB Escala Sigma
2.65 3.65 4.65 5.65 Pfr Ped N R
1.0
1 /2of3 /R /3 /6
Probabilidad de rechazo (P)

0.9 3s 2s 4s 1s x
0.07 0.07 6 1
0.8 13s /22s /R4s /41s
0.03 0.03 4 1
0.7 12.5s
0.04 0.04 4 1
0.6
12.5s
0.5 0.03 0.03 2 1
13s /22s /R4s
0.4 0.01 0.01 2 1
13s
0.3
0.00 0.00 2 1
0.2 13.5s
0.00 0.00 2 1
0.1 13s
0.00 0.00 1 1
0.0
0.0 1.0 2.0 3.0 4.0

Erro Sistemtico (ES, mltiplos de s)

Calidad para Colesterol, hoy
NTQ NMQ LMQ
Escala Sigma
1.65 2.65 3.65 4.65 5.65 Pfr Ped N R
1.0
1 /2of3 /R /3 /6
Probabilidad de rechazo (P)

0.9 3s 2s 4s 1s x
0.07 0.07 6 1
0.8 13s /22s /R4s /41s
0.03 0.03 4 1
0.7 12.5s
0.04 0.04 4 1
0.6
12.5s
0.5 0.03 0.03 2 1
13s /22s /R4s
0.4 0.01 0.01 2 1
13s
0.3
0.00 0.00 2 1
0.2 13.5s
0.00 0.00 2 1
0.1 13s
0.00 0.00 1 1
0.0
0.0 1.0 2.0 3.0 4.0
Error Sistemtico (ES, mltiplos de s)
 Glucosa
30 Abril 2003
Teleconferencia
Recomendaciones de ADA
para el cribado
Calidad para Glucosa, hoy
ETd CLIA =10%
NTQ NMQ LMQ
Escala Sigma
1.65 2.65 3.65 4.65 5.65 P P N R
1.0 fr ed
13s /2of32s /R4s /31s /6x
0.9
Probabildad de rechazo (P)

0.07 0.07 6 1
0.8 13s /22s /R4s /41s
0.03 0.03 4 1
0.7 12.5s
0.04 0.04 4 1
0.6 12.5s
0.5 0.03 0.03 2 1
13s /22s /R4s
0.4 0.01 0.01 2 1
13s
0.3
0.00 0.00 2 1
0.2 13.5s
0.00 0.00 2 1
0.1 13s
0.00 0.00 1 1
0.0
0.0 1.0 2.0 3.0 4.0

Error Sistemtico (ES, mltiplos de s)

 Calcio
Clin Lab News, Agosto 2004
 Calidad para Calcio, hoy
ETd CLIA =1.0 mg/dL (~10%)
NTQ NMQ LMQ
Sigma Scale
1.65 2.65 3.65 4.65 5.65 Pfr Ped N R
1.0
1 /2of3 /R /3 /6
Probabilidad de rechazo (P)

0.9 3s 2s 4s 1s x
0.07 0.07 6 1
0.8 13s /22s /R4s /41s
0.03 0.03 4 1
0.7 12.5s
0.04 0.04 4 1
0.6
12.5s
0.5 0.03 0.03 2 1
13s /22s /R4s
0.4 0.01 0.01 2 1
13s
0.3
0.00 0.00 2 1
0.2 13.5s
0.00 0.00 2 1
0.1 13s
0.00 0.00 1 1
0.0
0.0 1.0 2.0 3.0 4.0
Error Sistemtico (ES, mltiplos de s)
January 2005, Clin Lab News
Calidad Tiempo Protrombina,
hoy
ETd CLIA =15%, Programa CAP 800 labs, pro 10
NMQ Muestras
LMQ
Escala Sigma
1.65 2.65 3.65 4.65 5.65 Pfr Ped N R
1.0
1 /2of3 /R /3 /6
Probabilidad de rechazo (P)

0.9 3s 2s 4s 1s x
0.07 0.07 6 1
0.8 13s /22s /R4s /41s
0.03 0.03 4 1
0.7 12.5s
0.04 0.04 4 1
0.6
12.5s
0.5 0.03 0.03 2 1
13s /22s /R4s
0.4 0.01 0.01 2 1
13s
0.3
0.00 0.00 2 1
0.2 13.5s
0.00 0.00 2 1
0.1 13s
0.00 0.00 1 1
0.0
0.0 1.0 2.0 3.0 4.0
Error Sistemtico(ES, mltiplos de s)
 Calidad para INR, hoy
ETd CAP =20%, Programa CAP 800 labs, Pro 10
Samples
NMQ LMQ
Escala Sigma
1.65 2.65 3.65 4.65 5.65 Pfr Ped N R
1.0
1 /2of3 /R /3 /6
Probabilidad de rechazo (P)

0.9 3s 2s 4s 1s x
0.07 0.07 6 1
0.8 13s /22s /R4s /41s
0.03 0.03 4 1
0.7 12.5s
0.04 0.04 4 1
0.6
12.5s
0.5 0.03 0.03 2 1
13s /22s /R4s
0.4 0.01 0.01 2 1
13s
0.3
0.00 0.00 2 1
0.2 13.5s
0.00 0.00 2 1
0.1 13s
0.00 0.00 1 1
0.0
0.0 1.0 2.0 3.0 4.0
Error Sistemtico (ES, mltiplos de s)
 Glicohemoglobina
Clin Lab News March 2002
Glicohemoglobina (GHb)
Recomendaciones de NACB
Clin Chem 2002;48:436-472.
Nivel deseable GHb es 7.0% or inferior
Re-evaluar tratamiento a 8.0%
CV Mtodo de 3.0% a 5.0%
Analizar 2 materiales control en la serie
Las guas para interpretacin de la
prueba (criterio de resultados) implican
un cierto nivel de calidad
El intervalo de decisin es 1.0 %Hb o 14.3%
La variacin biolgica intraindividual es
4.1% (Fraser)
Calidad para Glicohemoglobina,
hoy
ETd=10%
NTQ NMQ LMQ
Sigma Scale
1.65 2.65 3.65 4.65 5.65 Pfr Ped N R
1.0
1 /2of3 /R /3 /6
Probabilidad de rechazo (P)

0.9 3s 2s 4s 1s x
0.07 0.07 6 1
0.8 13s /22s /R4s /41s
0.03 0.03 4 1
0.7 12.5s
0.04 0.04 4 1
0.6
12.5s
0.5 0.03 0.03 2 1
13s /22s /R4s
0.4 0.01 0.01 2 1
13s
0.3
0.00 0.00 2 1
0.2 13.5s
0.00 0.00 2 1
0.1 13s
0.00 0.00 1 1
0.0
0.0 1.0 2.0 3.0 4.0
Error Sistemtico (ES, mltiplos de s)
 Qu necesitamos!
CV=2.0%, ES=0% y CC con N=2 y lmites control 2.5s
 Calidad Glicohemoglobina,
hoy
Calidad NTQ NMQ LMQ
Qu
10 % 1.93 1.93 2.57
necesitamos
1.0 %Hb 2.12 2.20 2.85
15 % 2.89 3.21 3.84
20 % 3.86 4.50 5.15
2.0 %Hb 4.24 5.04 5.69
Qu
obtenemos 25 % 4.82 5.79 6.44
2.5 %Hb 5.30 6.47 7.11
 Conclusiones
Mitos vs Medidas
Mito la prestacin analtica es mejor que
la necesaria para fines mdicos!
Defina la calidad necesaria de sus
procedimientos!
Mito- No es necesario mejorar la prestacin
analtica
Determine el valor sigma de sus procedimientos!
Mito Cumplir las recomendaciones de CC
actuales es suficiente!
Determine el valor sigma de su CC