CONFIRMACIÓN Y VALIDACIÓN DE
MÉTODOS
Víctor H. Largo
TEMARIO
1. Introducción
6. ANOVA, r&R, error
2. Concepto e importancia de la
validación de métodos normalizado
3. Criterios de Acreditación para 7. Ejercicios y Talleres de
confirmación y validación de
métodos. aplicación
4. Características de desempeño de 8. Proceso de Validación:
un método 9. Procedimiento
5. Objetivos y Parámetros de 10.Documentación de la
validación:
6. Herramientas Estadísticas: validación
Conceptos, estadística básica 11.Declaración de método
prueba F, T
validado.
1
1/3/2018
2
1/3/2018
El laboratorio debe:
Entregar
Tener
resultados
experiencia
confiables
Satisfacer
las Entregar
necesidade resultado
s de los válidos
clientes
Mantener
Debe ser competencia
responsable técnica
3
1/3/2018
VALIDACIÓN
4
1/3/2018
TOMA DE DECISIONES
5
1/3/2018
ACTIVIDAD PLANIFICADA
5.4.3 Métodos
CON PERSONAL Y RECURSOS
desarrollados por
ADECUADOS
el laboratorio
ACORDADOS CON EL CLIENTE
5.4.4 Métodos NO INCLUIR ESPECIFICACIÓN CLARA DE LOS
deben
normalizados REQUISITOS Y DEL OBJETIVO
VALIDADO
C 5.4.4 NOTA: - Procedimientos de ensayo
A efectos de acreditación, se entenderá como requisito aplicable a: - Procedimientos de calibración interna
- Procedimientos de calibración a clientes
En el caso de métodos normalizados que no contengan toda la información requerida, el laboratorio debe desarrollar
procedimientos internos para completarlos.
1/3/2018 12
6
1/3/2018
a. Linealidad
b. Veracidad
Error
Para laboratorios de calibración, c. Precisión
dependiendo de la magnitud y Repetibilidad
Reproducibilidad
ensayos físicos debe d. Estimación de la Incertidumbre de la
considerarse las siguientes medición
características metrológicas: e. Robustez
Robustez contra las influencias externas,
sensibilidad contra la interferencia del
objeto de prueba
f. Otros como la caracterización (Equipos,
1/3/2018
patrones) 14
7
1/3/2018
ISO/IEC 17025:2017.
7.2.2 VALIDACIÓN DE MÉTODOS
LA VALIDACION DEBE SER
- MÉTODOS NO TAN AMPLIA COMO SEA
7.2.2.1 El NORMALIZADOS NECESARIA PARA
laboratorio - METODOS SATISFACER LAS
debe validar DESARROLLADOS POR NECESIDADES DE LA
EL LAB. APLICACIÓN O DEL
- METODOS CAMPO DE APLICACIÓN
NORMALIZADOS DADOS
MODIFICADOS O
FUERA DEL ALCANCE
8
1/3/2018
9
1/3/2018
RESULTADOS OBTENIDOS
10
1/3/2018
11
1/3/2018
PROCESO DE VALIDACION
FIJACION DE OBJETIVOS PARA LOS PARAMETROS
ESTABLECER LA NECESIDAD DE VALIDACION
(Se establece, por la autoridad del laboratorio, la Teniendo en cuenta bibliografía aplicable y la
necesidad de satisfacción de una demanda) experiencia obtenida en la puesta a punto)
12
1/3/2018
Estadística Básica
Estadística Básica
13
1/3/2018
Definiciones Básicas
Parámetros estadísticos
CENTRALIZACIÓN
- INDICAN VALORES CON RESPECTO A LOS QUE LOS
DATOS PARECEN AGRUPARSE.
• MEDIA. MEDIANA Y MODA
DISPERSIÓN
INDICAN LA MAYOR O MENOR CONCENTRACIÓN DE LOS
DATOS CON RESPECTO A LAS MEDIDAS DE
CENTRALIZACIÓN.
• DESVIACIÓN ESTÁNDAR, COEFICIENTE DE VARIACIÓN,
RANGO, VARIANZA
14
1/3/2018
Centralización
Son medidas que buscan posiciones (valores) con respecto a los que los
datos muestran tendencia a agruparse
MEDIA: es la media aritmética (promedio) de
los valores de una variable. Suma de los n
valores dividido por el tamaño muestral i 1
xi
x
• Media de {2, 2, 3, 7} es (2+2+3+7)/4 = n
n
3.5 i 1
x i = suma de resultados
• Conveniente cuando los datos se n = número de resultados
concentran simétricamente con
respecto a ese valor. Muy
sensible a valores extremos.
• Centro de gravedad de los datos
Dispersión
Las medidas de dispersión muestran la variabilidad de una distribución, indicándolo por medio de un
número, si las diferentes puntuaciones de una variable están muy alejadas de la media. Cuanto mayor sea
ese valor, mayor será la variabilidad, cuanto menor sea, más homogénea será a la media.
15
1/3/2018
Parámetros estadísticos
MEDIA Y
DESVIACION
ESTANDAR
Parámetros estadísticos
16
1/3/2018
Parámetros estadísticos
A: varianza de 9 mm2
B: varianza de 1 mm2
Parámetros estadísticos
17
1/3/2018
Parámetros estadísticos
Desviación estándar de la media
n=1 n=3
n = 10
- 1.96s/n + 1.96s/n - 1.96s/n + 1.96s/n
- 1.96s/n + 1.96s/n
x cae en este rango 95 de 100 veces x cae en este rango menor 95 de 100 veces x cae en este rango aún menor 95 de 100 veces
s
sM sM = Desviación estándar de la media
Prueba-F
Es una prueba estadística empleada para la comparación de varianzas.
18
1/3/2018
Prueba-F
Aplicaciones
Prueba t de Student
es decir
19
1/3/2018
Prueba t de Student
Se calcula el estadístico t:
CRITERIO:
Prueba t de Student
20
1/3/2018
Prueba t de Student
Aplicaciones
• Comparación del valor medio obtenido para un
material de referencia aplicando un determinado
método y el valor de un certificado.
Evaluación de Resultados
Las estadísticas comúnmente utilizadas son:
(x X )
D% *100
X
Donde:
x es el resultado del participante;
X es el valor asignado
21
1/3/2018
Evaluación de Resultados
Las estadísticas comúnmente utilizadas son:
z
desempeño determinado por un experto o por un
reglamento (valor prescrito);
una estimación resultante de rondas de ensayos de
Evaluación de Resultados
Las estadísticas comúnmente utilizadas son:
d) Los valores de zeta ζ, cuyo cálculo es
muy similar al del número En, excepto x X
que se usan las incertidumbres estándar
en vez de las incertidumbres expandidas.
Esto permite la misma interpretación
2
ulab uav2
que para los valores de z tradicionales
Donde:
ulab es la incertidumbre estándar combinada del resultado de un
participante;
uav es la incertidumbre estándar del valor asignado.
22
1/3/2018
Evaluación de Resultados
CRITERIOS DE ACEPTACIÓN
Evaluación de Resultados
e) Error Normalizado
• Se requiere de un valor de referencia con su incertidumbre
• Los errores obtenidos por los técnicos respecto al valor de referencia
siguen una curva normal.
• Las incertidumbres del valor de referencia y las incertidumbres
obtenidas por los técnicos está expresados con el mismo factor de
cobertura, por convención k =2.
• La correlación entre los valores de los técnicos es nula.
• En el caso de evaluar entre técnicos el referencial es el técnico de
mayor experiencia.
23
1/3/2018
Evaluación de Resultados
Error Normalizado
• Para realizar el calculo del error normalizado se utiliza la
siguiente formula:
−
=
Donde: +
PARÁMETROS DE
DESEMPEÑO
intervalo de
exactitud
trabajo
precisión Linealidad
Robustez incertidumbre
24
1/3/2018
EXACTITUD
EXACTITUD
Dimensión
equivocada
Partes Equipo mal
desgastadas calibrado
Factores que
determinan Método
Error valores
exagerados inapropiado
de exactitud
25
1/3/2018
EXACTITUD
Veracidad Precisión
VERACIDAD
La participación en intercomparación
26
1/3/2018
PRECISION
Repetibilidad (de los resultados de las mediciones): proximidad
entre los resultados de mediciones sucesivas del mismo
mesurando, realizadas bajo las mismas condiciones de medición.
(Aplicación de un mismo procedimiento, a un mismo objeto, por
el mismo operador, en intervalos cortos de tiempo, con el mismo
equipamiento instrumental, en el mismo lugar).
PRECISION
– el mismo método
– objetos de prueba idénticos Ej.
Repetibilidad – un solo analista cuando una muestra se
– un mismo equipo analiza por duplicado
– período corto de tiempo
– el mismo método
– objetos de prueba idénticos
Reproducibilidad – diferentes laboratorios
Ej. – diferentes operadores
Estudios – diferentes equipos.
colaborativos
27
1/3/2018
r&R
Repetibilidad y reproducibilidad
Un estudio de r&R, repetibilidad y reproducibilidad, son los dos componentes
de precisión para evaluar en un sistema de medición.
Las aplicaciones del estudio de Repetibilidad y Reproducibilidad son las
siguientes:
• La evaluación de ensayos de aptitud.
• La validación de métodos de ensayo / calibración.
• El análisis de comparaciones interlaboratorio.
• La evaluación de cartas de control.
• La variabilidad de las mediciones e instrumentos.
• La evaluación de la deriva de instrumentos.
28
1/3/2018
r&R
Repetibilidad y reproducibilidad
Repetibilidad.
Capacidad de un operador para repetir de manera
uniforme la misma medición de la misma pieza, A
utilizando el mismo sistema de medición, bajo las
mismas condiciones.
Si el operador mide 10 veces una pieza con un
sistema de medición A y luego mide 10 veces la
misma pieza con el sistema de medición B B
obtendríamos en siguiente grafico.
Se puede apreciar que el sistema de medición A es
más repetible ya que tiene menos variaciones que el
sistema de medición B.
r&R
Repetibilidad y reproducibilidad
Condiciones de repetibilidad
29
1/3/2018
r&R
Repetibilidad y reproducibilidad
Reproducibilidad
Capacidad de reproducir de manera uniforme la medición de la
misma pieza, bajo las mismas condiciones exceptuando uno de
los factores que intervienen en el sistema de medición
Consideremos que variamos de técnicos, Los técnicos 1, 2 y 3
miden 10 veces la misma pieza con el mismo sistema de
medición y bajo las mismas condiciones .
Las tres líneas representan las mediciones los técnicos 1, 2 y 3.
La variación en las mediciones promedio entre los técnicos 1 y 2
es menor y su reproducibilidad es alta en comparación con la
reproducibilidad entre los técnicos 1 y 3 ó 2 y 3. Lo que nos
daría a entender que el técnico 3 debería mejorar su capacidad
de medición.
r&R
Repetibilidad y reproducibilidad
Condiciones de reproducibilidad.
La reproducibilidad se
Para que una expresión de la reproducibilidad sea puede expresar en
válida, es necesario especificar las condiciones que
cambian. forma cuantitativa, en
Las condiciones que cambian pueden ser entre función de las
otras:
características de
• El principio de medición,
• el método de medición, dispersión de los
• El observador, resultados.
• el instrumento de medición,
Los resultados
• el patrón de referencia,
• el lugar, considerados aquí son
• las condiciones de uso y generalmente los
• el tiempo. resultados corregidos.
30
1/3/2018
r&R
Repetibilidad y reproducibilidad
Cuan variable es el sistema de
medición en comparación con la
variabilidad del proceso.
Cuánta variabilidad en el sistema de
A través de un estudio de r&R del medición es causada por
sistema de medición podremos conocer: diferencias de medición entre
técnicos.
Si su sistema de medición es capaz
de distinguir entre repetibilidad y
reproducibilidad
Por ejemplo,
Se pide que tres técnicos miden la masa de esferas las cuales deben cumplir con especificaciones
técnicas . Un estudio r&R del sistema de medición me debe indicar si las desviaciones son producto
de la repetibilidad, de la reproducibilidad o de ambas.
r&R
Repetibilidad y reproducibilidad
Para evaluar la variación de su proceso, compare la contribución del r&R total del
sistema de medición
Porcentaje de variación del
Aceptabilidad
proceso
Menos de 10% El sistema de medición es aceptable.
Entre 10% y 30% El sistema de medición es aceptable
dependiendo de la aplicación, el costo del
dispositivo de medición, el costo de la
reparación u otros factores.
Más de 30% El sistema de medición no es aceptable y
debe ser mejorado.
31
1/3/2018
r&R
Repetibilidad y reproducibilidad
ANOVA
Promedios
Rangos (análisis de
y Rango
varianza)
r&R
Repetibilidad y reproducibilidad
2. Cada técnico realiza los ensayos correspondientes de cada equipo o equipos y consigna los
resultados correspondientes en el formato respectivo para su posterior estudio.
3. Los técnicos repiten las mediciones, pero esta vez en diferente orden y sin observar las
mediciones realizadas anteriormente por sus compañeros.
4. Con los datos, se procede a calcular el rango de cada parte del equipo por medio de la ecuación
32
1/3/2018
r&R
Repetibilidad y reproducibilidad
Donde:
n es el numero de mediciones realizadas por cada operador
Donde:
m : es el número de operadores y Ri es el rango promedio de cada operador
r&R
Repetibilidad y reproducibilidad
7. Se calcula el porcentaje de la repetibilidad de lasmediciones utilizando la
ecuación
• Donde:
• K1 : es una constante que depende del número de
• mediciones realizadas por cada operador y proporciona
• un intervalo de confianza del 99% para estas
• características.
• : es el rango promedio de todos los rangos.
• T : es la tolerancia de la característica medida, en este
• caso del equipo ensayado.
• Nota: Los valores de K1 se encuentran en la Tabla 1.
33
1/3/2018
r&R
Repetibilidad y reproducibilidad
Donde:
n : es el número de ensayos por operador, r es el número de partes y xi
es cada una de las medidas del operador.
r&R
Repetibilidad y reproducibilidad
10. Se calcula el porcentaje de la reproducibilidad por medio de la ecuación
Donde:
K2 : es una constante que depende del número de operadores y proporciona un
intervalo de confianza del 99% para estas características.
: es la diferencia entre el promedio mayor y promedio menor de los operadores.
n : es el número de ensayos por operador.
r : es el número de partes medidas.
T : es la tolerancia de la característica medida, en este caso del equipo ensayado
Notas: Los valores de K2 se encuentran en la Tabla 1 y si el valor dentro de la raíz es un
número negativo, el valor de la reproducibilidad se considera como cero.
34
1/3/2018
r&R
Repetibilidad y reproducibilidad
12. Se interpretan los resultados obtenidos por medio de los siguientes criterios:
r&R
Repetibilidad y reproducibilidad
Evaluación de las causas que originan la variación del sistema o del
instrumento:
Si la repetibilidad es mayor a la Si la reproducibilidad es mayor que
reproducibilidad las posibles causas la repetibilidad, las causas pueden
son: El instrumento necesita ser: El operador necesita mejor
mantenimiento, el equipo requiere entrenamiento en como utilizar y
ser rediseñado para ser más rígido, el como leer el instrumento, la
montaje o ubicación donde se indicación del instrumento no es
efectúan las mediciones necesita ser clara, No se han mantenido
mejorado y/o, existe una variabilidad condiciones de reproducibilidad
excesiva entre las partes. (ambientales, montaje, ruidos, etc.)
y/o el instrumento de medición
presenta deriva.
35
1/3/2018
r&R
Repetibilidad y reproducibilidad
ANOVA
Análisis de Varianza
ANOVA
36
1/3/2018
¿Porqué ANOVA?
El nombre "análisis de
varianza" se basa en el enfoque
en el cual el procedimiento
utiliza las varianzas para
determinar si las medias son
diferentes.
El procedimiento funciona comparando la varianza entre las medias
de los grupos y la varianza dentro de los grupos como una manera
de determinar si los grupos son todos parte de una población más
grande o poblaciones separadas con características diferentes.
Análisis de Varianza
37
1/3/2018
ANOVA
Análisis simple de la varianza La cantidad de datos
Diferencias cuadráticas independientes usados
Origen Grados de Sumas de diferencias
medias para calcular el
de la varianza libertad () cuadráticas (SDC)
(DCM = SDC/) (varianzas) estadístico se conoce
5 como el número de
k= No. Días SDC B p( L i L) 2
p=No de
Entre grupos
1 = k-1 i 1
DCM B
SDC B
grados de libertad.
v
repeticiones (Between)
n= No. Total Se representa por el
de símbolo, (v)
repeticiones 5 5
Dentro del SDCW (Lij Li ) 2 SDC W
grupo 2 = n-k i 1 j 1 DCM W
v
(Within) Grados de
libertad ( )
5 5
ν = k-1
SDC T (Lij L ) 2
= n-1
SDC t νω = n-k
Total i 1 j 1 DCMt
( SDC B SDC W ) vt
νt = n-1
ANOVA
,
Para compararlo con el
• La desviación estándar de repetibilidad correspondiente F tabulado:
(sr) es:
sr DCM W F = DCMB / DCMW ;
VB ; vW
•La desviación estándar de
reproducibilidad (sR) es s R s r2 s L2 Si F cal < F tabulado NO
EXISTEN DIFERENCIAS
s L2
DCM B DCM W SIGNIFICATIVAS
5
38
1/3/2018
Criterio de aceptación:
• Si existe límite legislado: el rango lo incluirá en el intervalo.
• Si no existe límite legislado: será definido por el uso del método
a los requerimientos de los usos del método.
LINEALIDAD
Se define a la linealidad
como la variación de la
exactitud a lo largo del
rango operativo del
instrumento de
medida.
39
1/3/2018
LINEALIDAD
REGION DE CONFIANZA
de la regresión lineal y = a +bx
ROBUSTEZ
40
1/3/2018
ROBUSTEZ
Un aspecto importante de la robustez es la estabilidad de todas las
muestras, estándares y reactivos, tanto en el almacenamiento como
durante las condiciones de ensayo. En este caso pueden ser parámetros a
probar:
· Sensibilidad a la temperatura, humedad.
· Sensibilidad a la luz.
· Hidrólisis p. ej. por la humedad del aire.
· Facilidad de oxidación.
· Descomposición química.
· Efectos catalíticos, p. ej. por las paredes del contenedor.
· Variación pequeña de tiempo.
41
1/3/2018
42
1/3/2018
43
1/3/2018
44