Escalas de Evaluacin: Perspectivas de Funcionamiento, Propiedades Psicomtricas y Seleccin.

Qu es una Escala de Evaluacin? El trmino escala de evaluacin es amplio y acompaa a mltiples tipos de medidas, entre los que se incluyen listados de sntomas (cheklist), cuestionarios, inventarios, autoinformes, ndices y otras medidas. La escala de evaluacin se refiere a cualquier tipo de medida que proporciona una evaluacin relativamente rpida sobre una informacin especifica. Proporciona una puntuacin numrica que se interpreta con facilidad, y puede ser completada por el joven o por alguien ms, a pesar del formato de la respuesta y lo independiente de la aplicacin. De forma tradicional, el autoinforme ha sido utilizado para evaluar los trastornos internalizados y el funcionamiento emocional, mientras que los informes realizados por los padres y profesores han sido utilizados para evaluar los trastornos externalizados y la conducta. No obstante, las escalas ms recientes han incorporado mltiples informantes. Existen muchos tipos de escalas, especficas o genricas, unidimensionales o multidimensionales. Pueden estar completadas por varios informantes, cada uno proporcionando una perspectiva diferente. Los adolescentes describen sus propias percepciones. Los padres proporcionan el conocimiento ms comprensivo mientras observan las variaciones en el comportamiento a travs de situaciones mltiples. Los profesores informan acerca del comportamiento escolar y relacional. Finalmente, las escalas de evaluacin estn estandarizadas. Poseen sistemas de puntuacin, y procedimientos de administracin que no cambian, son estables respecto a usuarios, aplicaciones, administraciones o tiempo. Cules son las ventajas de estas escalas? Tienen mltiples aplicaciones. Las escalas de evaluacin son utilizadas para: Observar a los grupos en los emplazamientos normativos como la escuela o la comunidad. Observar la aparicin de sntomas en los adolescentes de alto riesgo. Asegurar la seleccin de sujetos homogneos de investigacin. Evaluar los efectos de la intervencin. Determinar los resultados del tratamiento. 3

Cubren de forma sistemtica las conductas, reduciendo por ello la variabilidad en la recoleccin de datos. Proporcionan informacin cuantificable relacionada con la presencia, frecuencia, e importancia de la conducta y los sntomas. Permiten comparaciones con las administraciones mltiples, con amigos en circunstancias similares, y con la poblacin general de otros sujetos. Permiten al paciente confirmar ms fcilmente los sntomas molestos que son reacios a discutir. Pueden tambin revelar los comportamientos difciles de observar. Las escalas de evaluacin son fciles de puntuar e interpretar. Son eficientes y econmicas en cuanto a tiempo, coste y personal. De gran importancia para los tratamientos basados en los resultados es la informacin proporcionada por estos indicadores cuantificables. Finalmente, una ventaja importante es que no es necesario el entrenamiento especializado para utilizar la mayora de escalas. Un breve entrenamiento informa sobre la interpretacin de la escala, las variaciones de informantes, y sus limitaciones. El examinador debe proporcionar instrucciones estandarizadas a los sujetos que completan las escalas. 4

Qu inconvenientes tienen? Los inconvenientes se relacionan principalmente con las habilidades de autoinforme de los nios y adolescentes, los objetivos del examinador acerca de la escala, y las propiedades psicomtricas. Aunque los adolescentes han sido generalmente considerados como autoinformantes competentes, los factores como la evaluacin de lectura, dificultades en el aprendizaje, madurez psicolgica, y la experiencia pueden atenuar su competencia. La competencia de los nios es incluso menos clara. Adems de los factores que afectan a la competencia de los adolescentes, los nios pueden tener limitaciones lingsticas, falta de autoreflexin, alteracin de la capacidad emocional, y pobre habilidad para observar su comportamiento, pensamiento y sentimiento. Pueden tambin tender a responder de una forma socialmente deseable. Pese a todos estos inconvenientes, numerosas investigaciones muestran que tanto los nios como los adolescentes pueden ser autoinformantes fiables y vlidos. Sin embargo, se debe tener precaucin y asegurarse de que existe un marco apropiado entre una escala particular y el joven que la completa. Otro inconveniente de estas escalas es el hecho de que el examinador pueda tener objetivos poco reales o expectativas pobremente formuladas para una escala y por ello no apreciar mtodos alternativos para evaluar la misma informacin. Las escalas de evaluacin no son instrumentos diagnsticos y no deben sustituir a la evaluacin diagnstica. Las expectativas para una escala y la informacin obtenida a partir de esta, deben estar claras antes de elegirla. Las desventajas relacionadas con las propiedades psicomtricas son complejas, pero crticas respecto al funcionamiento de una escala. La mayora de escalas de evaluacin no tienen la suficiente informacin psicomtrica para permitir decisiones ptimas sobre su uso. Existe una falta de datos normativos para interpretar las puntuaciones. La mayora de las escalas tienen falta de validez. No obstante y pese a estos inconvenientes, las escalas de evaluacin pueden ser muy tiles en la evaluacin y tratamiento de los nios y adolescentes. Qu factores afectan al funcionamiento de estas escalas? Aunque la mayora de las escalas discriminan clnicamente a los jvenes que acuden a consulta del resto, los niveles de error llegan hasta el 30%. El resultado de la escala se ve afectado por mltiples factores, los cuales se clasifican en: Factores individuales, contextuales e interpersonales. Factores relacionados con la escala. Factores relacionados con las propiedades psicomtricas. En qu consisten los factores individuales, contextuales e interpersonales? Los factores individuales que pueden afectar al funcionamiento de las escalas incluyen: Los bajos niveles de fiabilidad y validez relacionados con el nivel de desarrollo del paciente. 5

Las diferencias de gnero respecto a la obtencin de puntuaciones (el gnero femenino obtiene mayores puntuaciones en las escalas que miden trastornos internalizados). El factor de deseabilidad social, los jvenes que buscan aceptacin social pueden no informar de todos los sntomas, mientras que aquellos que se sienten sobreprotegidos pueden informar en exceso sus sntomas. Respecto a los factores contextuales, diversas investigaciones muestran que los autoinformes tanto de los nios como de los adolescentes estn influenciados por la situacin. El funcionamiento emocional y de comportamiento de los nios ms jvenes es especialmente reactivo a los factores ambientales. Los jvenes tambin funcionan de forma diferente a travs de los distintos emplazamientos, como entre casa y la escuela, o entre la clase y el patio de juegos. As mismo, existe una pobre concordancia entre los diferentes informantes adultos y entre los informantes juveniles y adultos. Cuatro factores son particularmente importantes relacionados con esta pobre concordancia: factores contextuales, el desarrollo del joven, la psicopatologa paternal y el tipo de sntoma evaluado. Los factores contextuales fueron discutidos con anterioridad en relacin con el funcionamiento diferencial del joven. Generalmente, las madres tienden a elevar los sntomas de los nios ms que los padres, quizs sugiriendo los diferentes contextos que los jvenes experimentan con cada padre. En cuanto al desarrollo se refiere, cuanto mayor el nio, mejor concordancia entre los informes de los jvenes y los adultos. La concordancia en todas las edades desciende cuando las madres estn deprimidas, ya que informan en exceso los sntomas depresivos y posiblemente los problemas de comportamiento en sus hijos. Otros factores que afectan a la madre pueden tambin influir en la percepcin de su hijo. El tipo de sntoma tambin es relevante. Padres e hijos coinciden ms respecto a comportamientos concretos y observables como los suspensos en la escuela o las peleas, pero poco sobre los sntomas psicolgicos como la tristeza o el pensamiento suicida. En general, los padres son mejores informantes de comportamientos observables (conducta) y los jvenes son mejores informantes de sntomas internos (pensamiento y sentimiento). Cules son los factores relacionados con la escala? Es importante conocer el contexto en el que la escala se desarroll y decidir si es suficientemente similar con el contexto en el que se aplica actualmente, para asegurar la variabilidad mnima en su funcionamiento. Una preocupacin particular es el grado con el que la escala mide la complejidad de un problema. El mbito de una escala puede ser demasiado especfico para ayudar a definir las implicaciones clnicas, o por el contrario, demasiado general para medir aquello que es objeto de inters. 6

En ocasiones, las escalas no proporcionan un nmero ptimo de opciones de respuesta para un propsito determinado. El tipo de opciones de respuesta es vago (Ej., nunca, a veces, a menudo) y confunde a los jvenes. Por otra parte, si las opciones de respuesta son demasiado precisas (Ej., nunca, semanalmente, mensualmente), la fiabilidad y validez pueden verse comprometidas. La longitud de la escala tambin es importante. Generalmente, una escala ms larga demuestra mejores propiedades psicomtricas, pero puede hacer afectar a la habilidad del joven para mantener el inters y responder adecuadamente a lo largo de toda la administracin de la escala. Si las propiedades de la escala no se revisan, los cambios y la evolucin de la psicopatologa, los cambios en el desarrollo de los jvenes y otros factores pueden alterar la aplicabilidad de la misma. As mismo, las versiones de una escala han de conllevar una revisin de las propiedades psicomtricas. 7

Qu propiedades psicomtricas son importantes? Las escalas de evaluacin no proporcionan la verdad. Representan medidas de una variable La medida es el proceso sistemtico de asignar un nmero a su variable. Sin embargo, tal medida esta sujeta a error, y por lo tanto a la variabilidad de funcionamiento. Las propiedades psicomtricas proporcionan una estimacin de este error, y por tanto revelan como de relevantes podran ser estas puntuaciones para una aplicacin seleccionada. Desdichadamente, la mayora de escalas no proporcionan todos los datos psicomtricos deseados para seleccionar la mejor escala; e incluso cuando tales datos estn disponibles, pueden no ser ptimos. El usuario debe entonces decidir qu propiedades se acoplan mejor a las necesidades de una aplicacin particular. Un factor psicomtrico importante que afecta a la variabilidad es la eleccin de una puntuacin de corte. stas son tiles para identificar a los individuos para futuras evaluaciones clnicas, pero siempre representan un contravalor entre la sensibilidad y la especificidad. Los puntos de corte pueden alterar enormemente la eleccin de quin ser considerado clnicamente significativo y quien no recibir ms intervencin. La conversin de las puntuaciones simples a puntuaciones T proporciona una mayor estandarizacin as como una comparacin til con relacin a todos los dems examinadores. Las puntuaciones T mayores de 70 representan 2 DS por encima de la media (T=50) y son consideradas estadsticamente significativas, pero puntuaciones inferiores pueden ser clnicamente significativas. La adhesin estricta bien a las puntuaciones de corte simples o a las puntuaciones T para definir la importancia clnica puede desestimar a pacientes con necesidad de tratamiento. Otro aspecto importante de las escalas son los datos normativos. Proporcionan informacin sobre la representatividad del funcionamiento de una escala. Deben ser representativos de la poblacin actual y deben ser estratificados en variables relevantes que muestren diferencias en las puntuaciones, normalmente edad y gnero, pero a menudo tambin la etnia y geografa. Los valores normativos se ven afectados por los niveles basales de la caracterstica que se mide, as como su distribucin en la poblacin. Qu entendemos por fiabilidad? La fiabilidad est relacionada con la precisin del instrumento de medida. Hace referencia a la consistencia con que todos los tems de una escala miden una misma caracterstica, y la consistencia con la que la escala total mide dicha caracterstica de la misma forma cada vez. Existen 4 aproximaciones para la fiabilidad: Fiabilidad interna o consistencia interna: consistencia de los tems que comprenden la escala. Fiabilidad test retest o estabilidad: estabilidad de la escala a travs del tiempo y diferentes medidas. Fiabilidad Inter-jueces: acuerdo entre los diferentes evaluadores que utilizan la escala. Fiabilidad paralela: concordancia entre formas similares de una escala. La fiabilidad interna 8

La fiabilidad interna, o consistencia interna, mide la homogeneidad de la escala. Representa el grado de coherencia entre los diferentes tems de la escala, obtenindose a travs de ellos la misma informacin. Es decir, cuando la correlacin entre las respuestas a los distintos tems es positiva, siempre que todos evalen la caracterstica de que se trata en el mismo sentido. Los tems que no son internamente consistentes son eliminados de la versin final de la escala. Las escalas que miden una sola caracterstica se suponen de mayor fiabilidad interna. Las escalas multifactoriales, o aquellas que comprenden una amplia variedad de sntomas, poseen menor fiabilidad interna. En general, las escalas de evaluacin ms amplias tienden a tener una consistencia interna mayor que las escalas ms exiguas. Existen diversas formas de medir la consistencia interna. La ms comn es el Coeficiente de Cronbach, una medida de la evaluacin de relacin entre todos los tems. Otra forma de medir la consistencia interna es el mtodo de las dos mitades. Consiste en dividir la escala en dos mitades que constituirn dos medidas equivalentes de la misma caracterstica. Estas dos mitades pueden ser elegidas de varias formas, por ejemplo, la primera mitad con la ltima mitad de los tems, incluso nmeros pares con nmeros impares, o seleccin al azar de tems de cada grupo. Este diseo plantea algunos inconvenientes, ya que reduce el nmero de tems evaluados mediante correlaciones. Por ello se aplica un procedimiento donde se aplica la frmula de Spearman-Brown (aplicacin del coeficiente alfa a la suma de tems estandarizados). Para cualquiera de estos diseos de fiabilidad interna, los coeficientes que exceden el 0.80 sugieren que la escala es generalmente consistente. Sin embargo, un coeficiente de 0.80 tambin significa que el 20% de la puntuacin de la escala se debe a un error casual. As, cuanto mayor es el coeficiente de fiabilidad ms confianza da al evaluador. La fiabilidad test-retest La fiabilidad test-retest, o estabilidad, evala si una escala es estable con el tiempo. Si la variable medida no ha cambiado, entonces las puntuaciones de una escala deberan de ser similares a travs de las diferentes administraciones, y la estabilidad debera de ser alta. La fiabilidad test-retest es muy importante cuando una escala se utiliza para evaluar el progreso del tratamiento. Si una escala no es estable, entonces es imposible determinar si un cambio medido es real o representa un error casual en la escala. Una correlacin mayor de 0.80 para dos administraciones (con un intervalo temporal de una a dos semanas) de una escala sugiere una estabilidad adecuada. Para las administraciones con un intervalo superior a un mes, una correlacin mayor de 0.70 se considera una estabilidad razonable. Fiabilidad Inter-jueces 9

La fidelidad inter-jueces representa el acuerdo, o concordancia, entre los diferentes informantes. Los informantes pueden incluir informantes no expertos, como los adultos que son familiares con el joven, pero la fiabilidad inter-jueces es ms relevante para escalas basadas en sntomas que requieren un formato de entrevista estructurada. El entrenamiento es necesario para asegurar que los mltiples evaluadores estn puntuando los tems por igual, es decir, estn utilizando la escala de forma consistente. Para evaluar su concordancia, las correlaciones pueden realizarse entre las puntuaciones totales de la escala as como los tems individuales. De nuevo, las correlaciones mayores de 0.80 son aceptables. Fiabilidad paralela La fidelidad de formas paralelas tambin evala el acuerdo entre diferentes entidades, pero esta vez entre dos formas de una escala. Cuando tales formas paralelas de una escala existen, como las versiones del padre y el hijo o las versiones largas y cortas, deben mantener la misma informacin y sus puntuaciones deben estar muy relacionadas. Las correlaciones mayores de 0.80 apuntan una fiabilidad paralela correcta. Qu es la validez? La validez pertenece a si la escala evala adecuadamente lo que estaba diseada para evaluar. Es el grado en que una determinada inferencia a partir de una escala es apropiada o significativa. Se trata pues, de determinar hasta que punto un test es til para extraer de l determinadas conclusiones. Esto es un aspecto importante para las escalas que miden la psicopatologa infanto-juvenil debido a la cuestionable validez de los diagnsticos infantiles, los criterios diagnsticos cambiantes y la historia natural del curso de los trastornos infanto- juveniles. Existen tres tipos importantes de validez: contenido, criterio y validez de constructo. 10

Validez de contenido La validez de contenido evala si los tems de la escala representan la entidad que se est midiendo. Suele estar asegurada mediante la creacin de tems a partir de los criterios diagnsticos o los sntomas del trastorno de inters o por medio del examen cuidadoso de los nios y adolescentes con el trastorno. Existen dos aproximaciones bsicas con relacin a esta validez: la validez externa y la validez lgica del contenido. La validez externa hace referencia al poder de generalizacin de los resultados obtenidos. Es determinada por el examen simple de los tems y juzga subjetivamente si parecen estar midiendo el rea de contenido. La validez lgica de contenido es ms sistemtica. Hace referencia a si la escala cubre el dominio de contenidos por completo, y si los tems son representativos de todas las reas que deberan estar incluidas. Sin embargo, esta informacin no siempre esta disponible. Validez de criterio La validez de criterio ofrece una mayor profundidad que la validez de contenido. Est basada empricamente, evala la relacin con otras escalas (con validez establecida) que miden la misma caracterstica. Las correlaciones con estas escalas proporcionan mayor seguridad sobre si la escala mide lo que se supone que tiene que medir. Existen 2 tipos de validez de criterio: la validez predictiva y la validez concurrente. La validez predictiva determina si un test es til para predecir el comportamiento futuro de los individuos, para clasificarlos en un determinado grupo clnico o con relacin a cualquier otro criterio interesante. La validez concurrente se refiere a la relacin de una escala con un evento que es evaluado al mismo tiempo que se administra la escala. Tiene a su vez dos tipos: la convergente y la discriminante. La validez convergente es la extensin hacia la cual la escala se relaciona con alguna variable relevante tericamente con la cual debe relacionarse, es decir, cuando dos medidas distintas de la misma variable coinciden en los resultados. La validez discriminante compara la puntuacin de una escala para un grupo que es conocido como poseedor del trastorno con un grupo que es conocido como no poseedor del mismo. Si la escala es vlida, entonces estos dos grupos deben tener diferentes puntuaciones. Validez de constructo La validez de constructo hace referencia al hecho de que la estructura de relaciones de la escala es de la forma prevista por la teora. Para considerar una escala como poseedora de validez de constructo debe poseer validez discriminante y convergente. As la validez de constructo muestra que la escala converge y diverge de otras variables apropiadas. 11

La validez convergente y discriminante de una escala se evala utilizando un procedimiento estadstico conocido como anlisis factorial. Este deriva grupos de variables que miden aspectos separados del trastorno. Si las variables son similares, se relacionan con el mismo tem, demostrando una validez convergente. Las variables no asociadas con un tem particular sugieren una validez discriminante. Alternativamente, la validez factorial esta determinada por la evaluacin de si los tems individuales se relacionan con la puntuacin total de la escala y no se relacionan con las variables no relacionadas. Durante la interpretacin de escalas, la fiabilidad se determina en primer lugar. La habilidad de la escala para actuar de manera similar en cada ocasin debe ser asegurada para evaluar su habilidad para medir una interpretacin. En otras palabras, el error del azar debe ser minimizado para detectar cualquier error sistemtico en la escala. As, para ser vlida, una escala debe ser de alguna forma fiable. No en cambio al contrario. Ninguna escala es completamente fiable y vlida. 12

Qu factores debemos tener en cuenta al seleccionar una escala? Para elegir la mejor escala, varios factores deben tenerse en cuenta: La estabilidad. La utilidad, que representa las ventajas prcticas que la escala ofrece y esta influenciada por el cmo de til ser la informacin y cmo de fcil su utilizacin. La adecuacin, entendida como una estimacin de la propiedad de la escala para las habilidades del joven. Una escala desarrollada para un adolescente no ser aplicable para un joven en tercer grado con una incapacidad en el aprendizaje. La reactividad, que se refiere a como el acto de medir algo puede cambiarlo. Esto puede ser deseable para algunas intervenciones en las que la medida tiene la intencin de provocar un cambio de comportamiento pero no es deseable con las escalas de evaluacin que slo intentan observar el cambio a partir del tratamiento. La apropiacin se refiere a cmo de compatible es una escala con la evaluacin deseada. Las escalas ms apropiadas son vlidas, estables y sensibles; miden el problema de una forma directa y no reactiva; tienen utilidad y son adecuadas