EVALUACIÓN DE LA PRECISIÓN DE LA

CLASIFICACION
 EVALUACIÓN DE LA PRECISIÓN

Los mapas pueden ser elementos para sustentar una toma de decisiones, por lo tanto, requerimos
mapas precisos o por lo menos conocer su grado de precisión. Existen muchas razones para llevar a
cabo una evaluación de la precisión. Quizás la más elemental sea la curiosidad – el deseo de saber
cuan bueno es el mapa que hemos elaborado- además, de la satisfacción obtenida por este
conocimiento, también necesitamos o queremos incrementar la calidad del mapa mediante la
identificación y corrección de las fuentes de error.

En teledetección la evaluación de la precisión determina la calidad del mapa creado. La evaluación

de la precisión puede ser cualitativa o cuantitativa, costosa o poco costosa, rápida o lenta, bien
diseñada y eficiente o al azar. El objetivo de la evaluación de la precisión cuantitativa es la
identificación y medición de errores en los mapas.

EVALUACIÓN DE LA PRECISIÓN VS INCERTIDUMBRE

No debe confundirse la evaluación de la precisión con la estimación de la incertidumbre. Esto

último implica estimar cuán seguro está el intérprete de su estimación. La incertidumbre es
estimada tomando en consideración los errores asociados en las diferentes fases del proceso de
interpretación. Esto comprende los errores relacionados a la sensibilidad del sistema sensor, los
procesos de corrección radiométrica y geométrica, y del algoritmo de clasificación. La
incertidumbre puede ser estimada sin datos de comprobación tomados de campo, pero la evaluación
de la precisión los requiere obligatoriamente, dado que esta tiene por objeto estimar las
desviaciones promedios entre nuestra estimación y el valor real

TIPOS DE EVALUACIONES DE LA PRECISIÓN

Existen dos tipos de evaluaciones del ajuste de los mapas, Posicional y Temático.

La precisión posicional

Se refiere a la precisión de la ubicación de las características del mapa, y mide cuan distante se
encuentra una característica espacial en el mapa a su ubicación real o de referencia en el suelo. La
corrección geométrica de las imágenes busca garantizar esta precisión.

La precisión temática

Se refiere a las descripciones o atributos de las características de un mapa y mide si las

identificaciones asignadas (por ejemplo si un polígono es un bosque, cuerpo de agua u otra
cobertura) son diferentes de la verdadera descripción de la característica.

Esta última es la evaluación que llevamos a cabo para validar el mapa generado de la clasificación
de la imagen de satélite, en la cual nos concentraremos.
Generalmente, la evaluación de la precisión es considerada como la etapa final de la clasificación
digital. Sin embargo, este proceso también puede ser incluido en la interpretación visual, al igual
que en otros análisis digitales, tales como la generación de variables biofísicas (temperatura,
clorofila, índice de área foliar [IAF], etc), o detección de cambios.

FUENTES DE ERROR

La fiabilidad de los resultados depende de los diferentes factores que pueden producir errores (error
potencial), tanto en las fases de adquisición como de interpretación. Deben tenerse en cuenta para
explicar, por una parte, la confianza de los resultados y, por otra, la exactitud del proceso de
validación. A su vez, el proceso de validación también tiene fuentes potenciales de errores, por
ejemplo, los relacionados con el diseño del muestreo y la recopilación de datos de validación en
campo.

1.- Limitaciones del sensor: descritas en el apartado de las resoluciones de los sensores.

2.- Método de análisis seleccionado: visual o digital, híbridos. En el caso específico de las
clasificaciones la selección del clasificador: por pixel (duro), orientado a objetos, información
complementaria. La metodología seleccionada puede generar mejores o peores resultados en ciertas
condiciones.

Otros factores, la selección de la(s) imágenes de la fecha más adecuada, considerando la fenología y
estaciones climáticas.

En la estimación de variables biofísicas los procedimientos de corrección atmosférica y topográfica

pueden influir en la exactitud del resultado.

3.- Complejidad del paisaje: paisajes homogéneos son más fáciles de clasificar que los
heterogéneos, presentando más bordes entre clases y mezclas de coberturas. El contraste espectral
está determinado por los patrones en el paisaje y el grado de mezcla entre las coberturas.

Zonas con una antigua e intensa actividad antrópica, pueden presentar parcelas pequeñas, menores
que el tamaño del pixel de los sensores de media resolución. Los Niveles Digitales de los pixeles en
los bordes serán el resultado de la mezcla de dos o más coberturas, haciendo el proceso de
clasificación más complejo.

La distribución espacial de los tipos de cobertura es otro factor relacionado, si las coberturas
presentan una respuesta espectral distinta serán más fácil de diferenciar, por ejemplo zonas urbanas
que colindan con bosques o cuerpos de agua.

4.- Proceso de verificación: Algunos errores pueden ser originados por el proceso de validación en
sí.

Por ejemplo durante la recolección de datos de campo para validación, como los causados por el
equipo de campo (precisión del termómetro del medidor de humedad del suelo), o por la necesidad
de simplificar algunos procedimientos de recolección de datos. Por ejemplo, al estimar el IAF en el
suelo, todas las hojas del árbol deben ser cortadas y escaneadas para calcular el área de todas las
hojas.

El procedimiento de recolección de datos en campo también puede presentar errores al utilizar

distintas personas para recolectar los datos, debido a que ellos pueden ser inconsistentes.

En la clasificación de imágenes debe prestarse atención al uso de imágenes de alta resolución como
medios de verificación, las fechas y épocas (temporada) de captación de las imágenes deben ser
similares para evitar efectos por cambios temporales.

PASOS PARA LA EVALUACIÓN DE LA PRECISIÓN

Como ya se ha dicho, no existe un procedimiento único para realizar una evaluación de la precisión
de posición o temática. Sin embargo, todas las evaluaciones de precisión incluyen tres pasos
fundamentales:

1. Diseño de la muestra para evaluación de la precisión

2. Recopilación de datos para cada muestra

3. Análisis de los resultados

Cada paso debe ser rigurosamente planificado e implementado. Primero, en la evaluación de la

precisión se diseñan los procedimientos de muestreo, y las áreas de muestreo en el mapa son
seleccionados. Utilizamos el muestreo porque las limitaciones de tiempo y financiamiento impiden
la evaluación de cada unidad espacial en el mapa. Dichas muestras serán asumidas como
representativas de las condiciones del terreno.

A continuación, se recopila información del mapa y datos de validación en campo de cada punto de
muestreo. Dos tipos de información son recolectados de cada sitio de muestreo:

- Muestras para validación en el mapa: descripción o identificación de un sitio ubicado en el

mapa que está siendo evaluado que se ha seleccionado como muestra para la validación.
- Datos de validación de campo: información de la descripción del sitio de muestreo anterior
verificada en campo o por medio que garantice su correcta identificación.
 DISEÑO DEL MUESTREO

Durante el proceso de clasificación hemos realizado una recopilación de datos de campo, los
utilizados para definir los sitios de entrenamiento.

¿Pueden utilizarse los sitios de entrenamiento para evaluar la precisión de la clasificación?

No.

Aunque esta alternativa reduce sustancialmente costos debido a que no deben recolectarse datos
adicionales de campo, a su vez, introduce una gran desviación al proceso de evaluación. Las
observaciones de entrenamiento tienen una mayor probabilidad de ser clasificados correctamente
que otros pixeles en la imagen debido a que las reglas del clasificador están basadas en las
estadísticas del área de entrenamiento. Por lo tanto, datos adicionales e independientes deben ser
recolectados para evaluar la solidez del modelo.

Lógicamente, la selección y recolección de muestras adicionales incrementa los costos del proyecto,
y este aumento no conlleva a una mejora de los resultados pero permitirá su validación

La ejecución de una adecuada validación implica el diseño de una sólida estrategia de selección de
muestras, recolección de datos de campo y comparación de esos datos con las observaciones en la
imagen.

La recolección de datos de campo puede requerir recorrer sitios de difícil acceso

Las dos características principales de un esquema de muestreo sólido son proporcionar una
estimación imparcial de la variable objetivo (en este caso, el error de los resultados) y, al mismo
tiempo, ser eficiente; es decir, debe proporcionar la máxima información al menor costo posible.
 Esquemas de muestreo

Se refiere a los métodos de selección de las muestras que conformaran el conjunto de validación.

1.- Aleatorio simple: es el método de mayor validez estadística, pero es difícil llevarlo a cabo por
motivos de costos y accesibilidad al sitio de muestreo. Todos los puntos de muestreo tienen la
misma probabilidad de ser seleccionados, la escogencia de uno no afecta al siguiente. No es
recomendable debido a que no considera la desigual distribución de las clases

2.- Aleatorio estratificado: utilizando una o más variables adicionales, elevación, pendiente, tipo de
suelo, el área de estudio se divide en regiones y se captan muestras aleatorias.

3.- Sistemático: garantiza el cubrimiento del área de estudio. Las muestras son ubicadas a distancias
fijas de la inicial, la cual, generalmente se ubica aleatoriamente. No garantiza una estimación de la
probabilidad debido a que no hubo aleatoriedad en la selección.

4.- Sistemático desalineado: se modifica el esquema anterior variando para cada línea y columna de
muestreo una coordenada, manteniendo la otra fija. Cubre el área de estudio y aporta cierta
aleatoriedad.

5.- Muestreo por agrupamientos: se distribuye aleatoriamente una serie de sitios de muestreo dentro
del área de estudio, alrededor de cada sitio se selecciona una cantidad específica de otros sitios a ser
verificados, siguiendo un determinado patrón. Reduce costos de transporte pero es menos adecuado
que los anteriores.

Esquemas de muestreo recomendados

Congalton (2009) y colaboradores han realizado múltiples estudios al respecto, en la evaluación de

los errores asociados con la clasificación de tres tipos de paisajes (tierras agrícolas, bosques y
pasturas) encontraron que el muestreo simple aleatorio fue el más efectivo, seguido por el
estratificado aleatorio. El esquema por agrupamiento mostro buenos resultados, siendo
especialmente útil en verificar áreas extensas donde el costo del transporte es crítico. El esquema
sistemático y sistemático desalineado no es recomendable, especialmente cuando las coberturas
presentan errores sistemáticos como tierras con parcelas agrícolas.
 Tamaño de la muestra

En el caso de una imagen clasificada, donde la variable no es cuantitativa sino categórica, se

aconseja utilizar la distribución bimodal de probabilidad. La expresión más simple (sin considerar la
corrección para poblaciones finitas) sería como sigue:

Donde:

P es el porcentaje estimado de aciertos

q es el porcentaje de errores (q = 1 - p)
L es el nivel de error permitido
Z es el eje x de la curva normal estándar (el nivel de probabilidad) asignado a la
estimación

Los valores de p y q se pueden estimar a partir de datos auxiliares, o simplemente se pueden hacer
iguales a 50. Por ejemplo, si queremos conocer el número de puntos de prueba necesarios para
estimar con un 95% de probabilidad el error de un determinado mapa, suponiendo que el éxito
estimado es del 85% y el error máximo permitido es de ±5%, tendríamos:

TAMAÑO DE MUESTRA RECOMENDADO

Este tamaño puede ser muy pequeño si nos referimos al número total de píxeles de la imagen. Hay
que tener en cuenta que en esta aplicación no es necesario seguir las reglas clásicas de la estadística
porque el número de píxeles de referencia (área total clasificada) es muy alto. Como resultado,
algunos autores sugieren un número mínimo de muestras para obtener una estimación fiable del
error. Este umbral se sitúa en 50 píxeles por clase temática

También se recomienda realizar el muestreo por separado para cada clase, empezando por la clase
que tenga el tamaño más pequeño. Esto marcará la proporción de área a muestrear para el resto de
las clases.
 MATRIX DE CONFUSION

En cuanto a los métodos de evaluación de la precisión, las últimas décadas, pueden ser
consideradas como la era de la Matriz de Confusión. Una matriz de confusión compara para un
conjunto de muestras, la información de los sitios de validación tomados en campo con la
información correspondiente tomada del mapa.

La matriz de confusión es una tabulación cruzada de las asignaciones hechas desde la imagen
versus las asignaciones reales de las mismas clases. La matriz de confusión refleja las coincidencias
y desacuerdos entre la clasificación y los datos de validación de campo.

La estructura de la matriz es una tabla cuyas fila superior muestra los identificadores de los sitios de
validación tomados en campo y la columna a la izquierda los identificadores de las muestras
tomadas del mapa. En su interior se representa para una categoría particular el número de muestras
correctamente asignadas (coincide el identificador de la fila con el de las columnas), y la cantidad
de muestras asignadas a una categoría distinta.

Fuente: Congalton et al 2009

La diagonal de la matriz muestra las coincidencias entre la clasificación de las muestras tomadas del
mapa y los sitios de validación, la sumatoria del total de pixeles correctamente clasificados
divididos entre el total de pixeles evaluados nos muestra el nivel de precisión global. Los valores
fuera de la diagonal constituyen errores, llamémoslos residuales. El nivel de precisión global es el
estadístico más utilizado.

Los residuales de las columnas indican sitios de validación de campo que no se identificaron
correctamente en el mapa (errores de omisión), mientras que los residuales de las filas indican
píxeles clasificados en una categoría a la que no pertenecen (comisión).
De esta forma la matriz de confusión nos permite extraer el ajuste global y el de cada categoría, sea
error de omisión o comisión.

De forma más clara, por ejemplo, un error de omisión (columna) para una clase bosque es un pixel
que siendo bosque fue asignado a otra categoría. Por otro lado, un error de comisión (Fila) es
cuando un pixel fue clasificado como bosque y realmente pertenece a otra clase.

La relación entre el total de pixeles de una columna asignados incorrectamente a una categoría en
relación al total de pixeles que realmente pertenecen a esa categoría determina los errores por
omisión. De forma similar se calculan para las filas los errores por comisión.

Al calcular el inverso de los errores por omisión y comisión se pueden expresar en términos de
precisión, como Precisión del Usuario y Precisión del Productor, respectivamente
 ÍNDICE KAPPA

Este estadístico mide el grado de coincidencia entre lo clasificado y los sitios de validación
excluyendo los efectos por errores aleatorios. Este estadístico sería similar a una prueba Chi
Cuadrado, es utilizado en psicología y fue introducido en el sensoramiento remoto por Congalton en
1981.

Un valor de κ = 1 indica una coincidencia total entre las muestras tomadas del mapa y las de
validación de campo, mientras valores cercanos a 0 sugieren que las coincidencias observadas son
debidas a efectos aleatorios, un valor negativo también indica una pobre clasificación debido a otros
factores externos, como el tamaño de la muestra.

CONSIDERACIONES Y LIMITACIONES AL INTERPRETAR

LA EVALUACION DE LA PRECISION

Los valores de kappa se citan a menudo cuando se comparan resultados de las clasificaciones. Si
estas clasificaciones resultan del uso de diferentes clasificadores (como el de máxima verosimilitud
y redes neuronales artificiales) pero, se aplican al mismo conjunto de datos, entonces las
comparaciones de los valores de kappa son aceptables. Sin embargo, la precisión (global y para
cada clase) proporciona más información. Si las dos clasificaciones tienen diferentes números de
categorías, entonces no está claro si es válida una comparación (Jian Guo Liu and Philippa J.
Mason 2016)

Los usuarios del método deben ser cautelosos al interpretar los resultados si los datos del terreno a
partir de los cuales se identificaron los píxeles de prueba no se recogieron en la misma fecha que la
imagen de satélite, ya que los cultivos pueden ser cosechados o los bosques talados. Otros
problemas pueden surgir como resultado de las diferencias de escala entre los datos de pruebas y
entrenamiento y los píxeles de la imagen que se clasifican. La interpretación literal de las medidas
de precisión derivadas de una matriz de confusión puede llevar al error: ¿se habría alcanzado el
mismo nivel de precisión si se hubiera utilizado una muestra de píxeles diferente? (Mather P 2004)

Bibliografia

 Chuvieco E.( 2016) Fundamentals of Satellite Remote Sensing An Environmental

Approach Segunda Edición
 Congalton R y Green K (2009) Assessing the Accuracy of Remotely Sensed Data
Principles and Practices Segunda edición
 Mather P 2004 Computer Processing of Remotely-Sensed Images An Introduction Tercera
Edición.
 Jian Guo Liu and Philippa J. Mason 2016 Image Processing and GIS for Remote Sensing.
Techniques and applications. Segunda Edición