VALIDACIN DE MTODOS ANALTICOS

Prof. Dr. Luis Salazar N. Depto. de Ciencias Bsicas UFRO

Qu caractersticas tengo que considerar cuando selecciono un mtodo para incorporarlo a la rutina del laboratorio?

2004

Se debe considerar:
1. 2. 3. 4. 5. 6. 7. 8. 9. 10.

Fases que debe pasar un kit antes de poder ser comercializado o empleado en el laboratorio
DISEO Y OPTIMIZACIN DEL ENSAYO

Uso que se le dar (rutina, confirmatorio) N de tests a realizar Instrumentacin requerida Sensibilidad, especificidad, exactitud y precisin Costo Tipo de muestra Tipo de analito Seguridad Aceptacin internacional y cientfica Que no sea obsoleto
3

VALIDACIN ANALTICA

VALIDACIN CLNICA
4

Cundo es necesario validar?

VALIDACIN
La validacin de un mtodo analtico es un proceso de evaluacin sistemtico para demostrar que el mtodo cumple con los requisitos necesarios para el uso que se le va a dar.

Cuando se est desarrollando una tcnica nueva. Antes de incorporar una nueva tcnica a la rutina del laboratorio. Cuando se desea comparar el desempeo de dos tcnicas.

QU ES LA VALIDACIN DE UN MTODO ANALTICO?

VALIDACIN ANALTICA
Estudia los parmetros de desempeo analtico del mtodo:

1. Validacin es la confirmacin mediante examen y aporte de evidencia objetiva de que se cumplen los requisitos particulares para el uso especfico previsto (ISO 8402, ISO 17025). 2. La validacin debe ser tan exhaustiva como sea necesario para responder a las necesidades de la aplicacin en cuestin. 3. La validacin puede incluir procedimientos para el muestreo, manejo y transporte de muestras.
7

Precisin Exactitud Especificidad Lmite de deteccin Lmite de cuantificacin. Linealidad e intervalo de linealidad. Robustez
8

Validacin Metodolgica 1. 2. 3. 4. 5. 6. 7. Espectro de absorcin Estabilidad de la reaccin de color Linealidad Lmite de dilucin Recuperabilidad Sensibilidad Lmite de deteccin

VALIDACIN ANALTICA

VALIDACIN METODOLGICA

Validacin Estadstica 1. Precisin 2. Exactitud

9 10

LINEALIDAD
1.

INTERVALO DE LINEALIDAD Y LMITE DE DILUCIN

Absorbancia (A)

Es la capacidad de producir resultados proporcionales a la concentracin del analito en las muestras dentro de un rango determinado de concentracin ya sea directamente o por medio de una transformacin matemtica bien conocida. Se analizan muestras de concentraciones conocidas o series de muestras diluidas en al menos 5 niveles de concentracin. Repetir 3 veces en forma independiente Se grafican los datos resultantes en el eje y y los valores conocidos o esperados en el x.

Rango de linealidad

Rango de Linealidad: 0 10 g/dL

2.

A C

Lmite de Dilucin: 10 g/dL

3.

4.

10

12

g/dL

Concentracin (C)
Rango de linealidad: intervalo entre las concentraciones ms baja y ms alta de analito determinadas, para las cuales se cumple la ley de Beer.
12

11

Errores de una calibracin inadecuada

Curvas de calibracin

13

14

RECUPERABILIDAD

Capacidad de un mtodo de determinar todo el analito presente en la muestra, segn el alcance del mtodo (algunos solo determinan algunas especies del analito). La mejor manera de determinar la eficacia de extraccin del mtodo es adicionar diferentes concentraciones del analito a las muestras y procesarlas por el mtodo completo.

Aunque es la manera ms comn de cuantificar la recuperacin, el analito adicionado puede no enlazarse tan fuertemente a la matriz como el presente de manera natural y dar como resultado la impresin de una elevada eficacia de extraccin. La alternativa es efectuar el proceso con MR en la matriz deseada, si existen; si estos MR han sido generados mediante caracterizacin de muestras naturales el estudio de recuperacin representar con mayor precisin la extraccin de muestras reales.

15

16

ENSAYO DE RECUPERACIN

SENSIBILIDAD
La sensibilidad se refiere a la respuesta obtenida para una determinada cantidad de analito. Tambin se indica mediante dos factores analticos:

Tambin llamado de adicin estndar. Se puede llevar a cabo de dos maneras: con placebo o con muestra, que se enriquece con estndar. Realizar las medidas por triplicado.

1. El Lmite de Deteccin (LOD). 2. El Lmite de Cuantificacin (LOQ).

Criterio de Aceptacin % de recuperacin obtenido entre 85 - 115 %

17

18

LMITE DE DETECCIN (LOD)

LMITE DE CUANTIFICACIN (LOQ)

Es la concentracin ms baja del analito que se puede detectar pero no necesariamente cuantificar. En general, es el punto al que la seal del analito es igual a tres veces el ruido de la medida. Para algunos espectrofotmetros se puede establecer que el LOD es, aproximadamente, tres veces la desviacin estndar.
19

El LOQ es la concentracin ms baja del analito que se puede determinar con una precisin y exactitud aceptables. Para calcular el LOQ se deben de definir por tanto los lmites aceptables de precisin y exactitud. Se puede aproximar a la relacin entre la precisin de la medida analtica y la sensibilidad del mtodo.

20

ROBUSTEZ

Es una medida de la capacidad de un procedimiento de permanecer inalterado por pequeas pero deliberadas variaciones en los parmetros del mtodo y provee informacin de su comportamiento en la rutina. Parmetros estudiados:
1. 2. 3. 4. 5. 6.

ESPECIFICIDAD
Habilidad de evaluar inequvocamente el analito en presencia de componentes que se puede esperar que estn presentes.

Efectos del congelado- descongelado Tiempos de incubacin Temperaturas de incubacin Longevidad de los reactivos Preparacin de la muestra Conservacin de la muestra
21 22

INTERFERENCIAS

COMO DETECTAR Y CHEQUEAR INTERFERENCIAS

Efecto de una sustancia presente en una muestra que causa que el resultado de un test sea erroneo. Puede ser dependiente del analito o independiente del mismo y puede aumentar o disminuir la medida realizada. Son difciles de detectar.
23

Son difciles de detectar pues se desconoce el resultado verdadero. Se saca de los datos del fabricante o de literatura. Prestar atencin a resultados de pacientes con condiciones clnicas asociadas con interferencias (enfermedades hepticas, fallas renales, embarazo). Incongruencias con cuadro clnico. Inspeccionar las muestras visualmente buscando: hemlisis, ictericia, lipemia o mejor evaluarlas usando ndices sricos.
24

FORMAS DE ESTUDIAR LAS INTERFERENCIAS

Anlisis de muestras enriquecidas

1

Test de dilucin lineal (las interferencias no se comportan linealmente con la dilucin). Ensayar la muestra por otro mtodo (se comportan diferentes). Tratar la muestra para remover, destruir o inhibir sustancias potencialmente interferentes. Anlisis de muestras enriquecidas con el interferente.

Se prepara una muestra agregando el material interferente a una muestra real que contenga el analito.

Una segunda alcuota de la muestra original se diluye con un solvente y ambas se analizan determinndose la diferencia entre ambas.

25

26

PRECISIN
Expresa el grado de acuerdo entre valores cuando se analiza la misma muestra estable repetidamente. Se habla de Imprecisin. Puede considerarse a tres niveles:
1. Repetibilidad 2. Precisin intermedia 3. Reproducibilidad
27 28

VALIDACIN ESTADSTICA

REPETIBILIDAD (REPETITIVIDAD): Precisin obtenida bajo las mismas condiciones de operacin en un intervalo corto de tiempo (mismo da), por un mismo analista, en la misma muestra homognea y en el mismo equipo. PRECISION INTERMEDIA: Precisin obtenida dentro del laboratorio por diferentes analistas, diferentes equipos, das distintos con la misma muestra homognea. REPRODUCIBILIDAD: Expresa la precisin entre laboratorios como resultado de estudios interlaboratoriales diseados para estandarizar la metodologa.

1. Se estudia mediante experimentos de replicacin. 2. El propsito es observar la variacin esperada en el resultado de un test bajo las condiciones de operacin normal de un laboratorio.

3. Estima el error causado por factores como el pipeteo, condiciones de reaccin (T, mezclado). 4. Suele ser mayor en sistemas no automatizados.

29

30

CLCULOS:

Las

muestras de ensayo comnmente usadas son: soluciones estndar, materiales de control, pooles de pacientes o muestras frescas de pacientes individuales. emplean los resultados de 20 alcuotas de cada material y se calcula la media, el desvo estndar y el coeficiente de variacin. de tiempo que abarca el experimento: Tiempo ideal 20 das.

Promedio:

Desvo standard :

Se

Coeficiente de variacin:
CV = (s/x)100

Perodo

31

32

EXACTITUD
Expresa la cercana entre el valor que es aceptado, sea como un valor convencional verdadero (material de referencia interno), sea como un valor de referencia (material de referencia certificado o estndar) y el valor promedio obtenido al aplicar el procedimiento de anlisis un cierto nmero de veces. Un test exacto es implicitamente especfico y preciso

Cmo la determino?

A) Comparacin con mtodos de referencia. B) Anlisis de muestras de referencia certificadas. C) Ensayos de recuperacin. D) Ensayos interlaboratorios.

33

34

Nmero de muestras a usar

Comparacin con mtodos de referencia

Se analizan muestras de pacientes por el mtodo en estudio y otro mtodo de comparacin, luego se estima el error sistemtico basndose en las diferencias observadas para ambos mtodos. El mtodo de comparacin debe en lo posible ser el de referencia (gold standard). Es una tcnica cuyos resultados se han comparado con mtodos definitivos y/o trazables a materiales estndar de referencia.

Mnimo de 40 para los dos test. Deben elegirse de modo de cubrir todo el rango de trabajo del mtodo y representar el espectro de enfermedades esperadas en la aplicacin de rutina del mtodo.

Es mejor realizar ensayos de las muestras por duplicado (a partir de dos alcuotas diferentes) en diferentes corridas o por lo menos en diferente orden. Perodo de tiempo: Mnimo de 5 das, lo ideal 20 das, corriendo 2 a 5 muestras de pacientes por da.
36

35

Anlisis de datos:
Existe mucha discusin sobre cual es la mejor forma de analizar los datos: a) Graficar los resultados y hacer una inspeccin visual de los mismos. Cualquier muestra con resultados discrepantes debe ser reanalizada. Para los mtodos que se espera coincidan hacer primero un grfico de diferencias. Las mismas debern oscilar alrededor de la lnea del cero.

37

38

Clculos estadsticos.

Para la comparacin de resultados que cubren un amplio rango analtico lo mejor es el clculo de la regresin lineal. Permite estimar el error sistemtico a ms de una concentracin de decisin mdica. El error sistemtico (ES) a una concentracin mdica dada (Xc) es: Yc = a + b Xc ES = Yc Xc Tambin se puede calcular el coeficiente de correlacin r que permite saber si el rango de datos es lo suficientemente amplio para dar buenos estimados de la pendiente (b) y la ordenada en el origen (a) (r> 0.99).
39

B) Anlisis de muestras de referencia certificadas

Se analiza un mnimo de 3 concentraciones y 5 determinaciones por el mtodo a validar y se compara el resultado obtenido con el valor verdadero declarado.

Criterio de aceptacin: El valor medio debe estar dentro del 15% del valor nominal excepto en el Lmite de cuantificacin (LDC) que puede ser el 20%.
40

Validacin Clnica
La

VALIDACIN CLNICA

toma de decisiones clnicas es un proceso extremadamente complejo en el que deber finalmente ser valorada la utilidad de la prueba diagnstica para el manejo del paciente..

Debo conocer la exactitud, es decir, su capacidad para clasificar correctamente a los pacientes en categoras o estados en relacin con la enfermedad (tpicamente dos: estar o no estar enfermo, respuesta positiva o negativa a la terapia).
41 42

Clasificacin de enfermedades por diagnosis

Tipo I:
Son todas aquellas enfermedades donde la peor equivocacin que se puede cometer en el diagnstico es un falso negativo. Incluye:

Debe tenerse muy en cuenta el tipo de enfermedad que se est analizando y el grado de avance de la misma en el paciente, as como sus consecuencias.

Enfermedad curable si se detecta a tiempo Enfermedad grave que no puede dejarse pasar inadvertida Los falsos positivos no trauman ni psicolgicamente, ni econmicamente al paciente, pero los diagnsticos falsos negativos si lo hacer. Ej. Infarto de miocardio, enfermedades venreas, fenilcetonuria, cncer de mama o tero.

43

44

Tipo II:
Son todas aquellas enfermedades donde la peor equivocacin que se puede cometer en el diagnstico es un falso positivo.

Enfermedad grave, pero difcilmente curable o sin remisin. Es muy importante para el paciente o para la poblacin el saberse un verdadero negativo. Los falsos positivos trauman seriamente al paciente, en cambio los falsos negativos no. El tratamiento de los falsos positivos ocasiona serios perjuicios al paciente.
45

Ej. Estado terminal o sin remisin de la enfermedad, cncer oculto, esclerosis en placa, tratamientos como quimioterapia o radioterapia, ciruga innecesaria, estado IV de la sfilis cuando ya no tiene remedio.

46

Tipo III:
Son las restantes donde no se puede clasificar claramente como una de las anteriores. Ej. Lupus eritematoso, ciertas formas de leucemia o linfoma, diabetes. Aqu tambin se incluye al SIDA pues un caso falso positivo puede ser muy daino para el paciente pero un falso negativo sera muy peligroso para la sociedad y ambos peligros son graves.
47

Notar que una misma enfermedad puede clasificarse de maneras diferentes segn al estado de avance que tiene en el paciente. Un cncer que puede ser curado si se detecta a tiempo es un tipo I pero una vez que se produjo metstasis pasa a ser tipo II.
48

Diseo de los estudios de Validacin clnica

En el diseo debe considerarse:

Seleccin de las muestras

Debe tomarse una porcin que representativa de la poblacin total. sea

Intervalos de referencia o rangos normales. Existe diferencia con la edad, sexo u otro factor? Pueden usarse valores de literatura?. Valores de cut off o umbral de decisin: pueden usarse los generalmente 49 aceptados?.

Idealmente deben elegirse los sujetos por un proceso al azar para evitar sesgos. Es conveniente elegir los sujetos antes de comenzar los ensayos.

50

Determinar la respuesta verdadera a la pregunta clnica

Determinar la respuesta verdadera ... Una respuesta requerir:

definitiva

puede

La validez de la evaluacin del test est limitada por la exactitud con la que est determinada la respuesta a la pregunta clnica. En general los test de rutina tienen una sensibilidad y especificidad alta pero distinta del ideal. Si comparo mis resultados con el puedo concluir errneamente que la tcnica no sirve.

realizacin de biopsias exploracin quirrgica autopsia seguimiento evolucin del paciente

51

52

Ensayo de las muestras

Los test que estn relacionados en forma muy cercana al test a evaluar no deben ser incluidos en los criterios diagnsticos. Si el criterio depende de observaciones subjetivas es preferible que el resultado sea de consenso entre varios expertos.

Para evitar sesgos el ensayo debe hacerse a ciegas, es decir sin que el laboratorista sepa la condicin clnica del paciente. Si se comparan varios test en el mismo estudio, deben hacerse todos los test en todos los sujetos y en el mismo punto del curso de su enfermedad.
54

53

Evaluacin del desempeo

Sensibilidad:
Es la probabilidad de clasificar correctamente a un individuo cuyo estado real sea el definido como positivo respecto a la condicin que estudia la prueba, razn por la que tambin es denominada fraccin de verdaderos positivos (FVP).
55

Especificidad:
Es la probabilidad de clasificar correctamente a un individuo cuyo estado real sea el definido como negativo. Es igual al resultado de restar a uno la fraccin de falsos positivos (FFP)

56

Prevalencia:
Indica la proporcin de sujetos en la poblacin estudiada que realmente tienen la enfermedad.

Un test perfecto tiene S y E de 100%. En realidad existe un par S-E para cada umbral o nivel de decisin. Hay que decidir que par S-E funciona mejor para las circunstancias en que quiero usar el test.

57

58

Tabla 1. Resultado de una prueba y su estado respecto a la enfermedad. Verdadero Diagnstico Enfermo Sano Falso Positivo (FP) Verdadero Negativo (VN) VN + FP

En el momento de decidir que test usar se elige uno de alta sensibilidad para las enfermedades del tipo I, alta especificidad para las de tipo II y el ndice de Youden para las de tipo III.

Prueba Resultado de la Positiva Prueba Prueba Negativa

Verdadero Positivo (VP) Falso Negativo (FN) VP + FN

Sensibilidad Especificidad
59

= VP/(VP + FN) = FVP (fraccin de verdaderos positivos) = VN/(VN + FP) = FVN (fraccin de verdaderos negativos) = 1 - FFP (fraccin de falsos positivos)
60

10

Curva ROC (o caractersticas operativas del receptor)

Despliega grficamente el espectro completo del desempeo de un test para un grupo particular de sujetos afectados y no afectados. Tambin sirve para comparar un test con otro, para ello se grafican ambos en un mismo para de ejes.
61

Supongamos que, tanto para la poblacin sana como para la enferma, la variable de decisin que representa el resultado de la prueba diagnstica se distribuye normalmente, con media y desviacin tpica conocidas.

62

Concentracin Concentracin

Verdaderos positivos (%)

F r e c u e n c i a

No afectados afectados

d
Frec uen cia

Curva ROC

Mediante esta representacin de los pares (1-especificidad, sensibilidad) obtenidos al considerar todos los posibles valores de corte de la prueba, la curva ROC nos proporciona una representacin global de la exactitud diagnstica. Si la prueba no permitiera discriminar entre grupos, la curva ROC sera la diagonal que une los vrtices inferior izquierdo y superior derecho.
64

d c

Nivel de decisin X

a - e : posibles niveles de decisin

Falsos positivos (%)

63

Nota:

Eficiencia y valor predictivo

S y E dependen del umbral de decisin y son independientes de la prevalencia (fraccin de la poblacin que tiene la condicin). Valor predictivo y eficiencia: varan con el umbral de decisin y la prevalencia. Eficiencia: n total de resultados correctos (tanto positivos como neg.) expresado como % del total de resultados.

La fraccin de falsos positivos est influida por la poblacin de sujetos no enfermos incluida en el ensayo.

Verdaderos positivos: si tomo pacientes con enfermedad muy activa o reciente el perfil cambiar.

65

66

11

Sensibilidad = VP x 100 (VP + FN) Especificidad = VN x 100 (FP + VN) Valor predictivo (+) = VP x 100 (VP + FP) Valor predictivo (-) = VN x 100 (FN + VN) Eficiencia = x 100 VP + VN (VP + FP + FN + VN)
67

Costos

Cuando un test no funciona bien y se clasifica errneamente a un paciente esto genera un costo. Falso negativo: se demora el inicio de una terapia Falso positivo: se realiza un tratamiento innecesario y provoca ansiedad en el paciente.
68

Si conozco el costo de estos errores puedo calcular el costo total relativo de todas esas decisiones incorrectas asociadas con cierto umbral de decisin. Falso negativo (FN): indica la proporcin de sujetos en la poblacin estudiada que realmente tienen la enfermedad pero sern diagnosticados como negativos por el test. PREV x FN: proporcin de todos los sujetos testeados que sern clasificados incorrectamente como que estn sanos.
69

Costo de FN: PREV X FN x (costo de decisin FN) Costo de FP: (1- PREV) x (FP) x (costo de decisin FP)

La cuestin es donde ocurre el balance de menor costo. Si grafico el costo total de clasificacin erronea vs el nivel de decisin puedo identificar el nivel menos costoso.
70

12