Proyecto de adaptacin al retroceso acelerado de los glaciares en los Andes tropicales PRAA

Memoria Tcnica
Componente Meteorolgica SENAMHI Per
__________________________________________________________________________________________________________

1

Control de calidad de datos para estudios de cambio climtico


O. Sols
1

Servicio Nacional de Meteorologa e Hidrologa del Per
Oficina General de Estadstica e informtica


Resumen

El presente trabajo describe la implementacin de tecnologas de informacin y comunicaciones
(TICs), en el procesamiento y control de calidad de datos hidrometeorolgicos proveniente de la red
de estaciones del SENAMHI-Per, convirtiendo este proceso mecnico y tedioso en una actividad
automtica, dinmica y eficiente. Esta herramienta tecnolgica robusta, flexible y escalable, con
interfases estadsticas y criterios meteorolgicos, fue implementada como un proceso previo a la
caracterizacin climtica de la cuenca del ro Mantaro, en el marco del proyecto PRAA; muestra un
entorno de mdulos amigables, comprensin e identificacin de los elementos meteorolgicos as
como mdulos graficadores de una y mltiples variables; permite hacer comparaciones entre las
variables de las estaciones cercanas, acompaados por sus respectivos coeficientes de correlacin
entre otros estadsticos. Lo que se pretende con sta herramienta es obtener datos con control de
calidad confiable para el desarrollo de estudios y trabajos de investigacin. Para los procedimientos
de control de calidad se ha tomado como gua referencial La gua del sistema mundial de proceso de
datos, OMM-N 305 que consiste en las recomendaciones realizadas por la Organizacin
Meteorolgica Mundial - OMM y criterios especficos desarrollado por el SENAMHI. En general se
basan en un control por rango admisible o umbral para cada parmetro a nivel regional y considera la
metadata.

Palabras clave: Base de datos, control de calidad, umbrales, OMM.

I. Introduccin

Los datos con calidad aceptable se caracterizan por cumplir las condiciones necesarias de
margen de incertidumbre, continuidad, homogeneidad, representatividad entre otros, para que la
aplicacin deseada, con un coste mnimo, sea viable. Por tanto es importante contar con datos de
calidad aceptable y as poder desarrollar estudios e investigaciones de calidad y confiables,
disminuyendo los mrgenes de error. Los datos de calidad no tienen que ser necesariamente
excelentes, pero es esencial que su calidad sea conocida y demostrable.

La cuenca del ro Mantaro es una de las ms y mejor instrumentadas del pas, por lo que la
aplicacin de esta herramienta integrada de control de calidad, permitir contar con una base de
datos climticos confiable y de calidad para la elaboracin de estudios e investigacines.


II. Metodologa

2.1 Criterios para el control de calidad

La disponibilidad real de estaciones meteorolgicas en la cuenca y alrededores (121 estaciones),
se reduce significativamente cuando tras una evaluacin preliminar de sus series temporales,
han de rechazarse aquellas que no cuentan con ms de 90% de datos diarios vlidos continuos
dentro del periodo 1965 2010 (47 aos), o hasta un 85% de datos discontinuos pero que
presenten datos al inicio y final del periodo escogido; as mismo, para el caso de los datos
mensuales se consideraron las estaciones que slo tenan un faltante discontinuo de 12%
(SENAMHI, 2009).


1
osolis@senamhi.gob.pe
Proyecto de adaptacin al retroceso acelerado de los glaciares en los Andes tropicales PRAA
Memoria Tcnica
Componente Meteorolgica SENAMHI Per
__________________________________________________________________________________________________________

2

De esta forma, el nmero total de estaciones evaluadas en el mbito de la cuenca del ro
Mantaro y alrededores, provenientes de la red observacional del SENAMHI, qued reducido a
81, casi dos tercios de las estaciones que originalmente existan en la base de datos del
SENAMHI. Toda esta informacin base, fue sometida al proceso de control de calidad que se
describe a continuacin, depurndose la presencia de datos anmalos para luego evaluar la
homogeneidad de las series climticas. Se completaron datos faltantes, a lo ms de 12 meses
consecutivos y NO durante eventos ENOS.

El resultado final de este proceso, es la obtencin de una base de datos climticos de calidad,
con una apreciable densidad espacial y de una longitud, en la mayora de 30 aos,
correspondiente al periodo 1971-2000, periodo considerado idneo para estudios del clima
segn la Organizacin Meteorolgica Mundial y que est siendo actualmente utilizado como
periodo de referencia y de comparacin.

El control de calidad de la informacin base, se inici en primera instancia, con el control
automtico para determinar indicadores de control de calidad que se muestran en la Tabla 1 En
la comprobacin automtica las tcnicas pueden ser ms complejas y tal vez ms completas
(Sols, 2006; OMM, 1993), pero no es determinante, por lo tanto se realiz el control de calidad
manual por los especialistas, que incluye el anlisis de la metadata.

Tabla 1 Indicador de Control de Calidad
GRUPO INDICADOR DESCRIPCION COLOR
Datos Observados
D Dato Dudoso Azul
M Dato Malo Rojo
FL Dato Malo fuera de Limite Rojo Intenso
MC Dato Observado Para Anlisis ms Detallado Fucsia
Datos Corregidos y
Completados
E Dato Corregido Por Modificacin Manual Marrn
G Dato Corregido Por Generacin Automtica Verde
C Dato Completado Violeta
Datos de Indicador
de Calculo
B Dato Bueno Transparente
-999 Sin Dato Transparente
-888 Traza Transparente

Sobre datos anmalos, el sistema automtico considera dos criterios:

a. Criterios Meteorolgicos

a.1 Evaluacin Global Criterios Bsicos
Aplicacin de criterios bsicos de la meteorologa, para cada una de las variables.










Figura 1 Mtodo de los lmites fsicos
Proyecto de adaptacin al retroceso acelerado de los glaciares en los Andes tropicales PRAA
Memoria Tcnica
Componente Meteorolgica SENAMHI Per
__________________________________________________________________________________________________________

3

Datos m=5 m=3 Filtro de Hann Valor Absoluto Regla de
x
i
x'
i
x''
i
x'''
i
I x
i
- x'''
i
I Decisin
1 x
1
2 x
2
3 x
3
x'
3
4 x
4
x'
4
x''
4
5 x
5
x'
5
x''
5
(0.25X''
i-1
+0.5x''
i
+0.25x''
i+1
) I x
i
- x'''
i
I I x
i
- x'''
i
I > C
6 x
6
x'
6
x''
6
"
7 x
7
x'
7
x''
7
"
8 x
8
x'
8
x''
8
"
9 x
9
x'
9
x''
9
"
10 x
10
x'
10
x''
10
"
11 x
11
x'
11
x''
11
"
12 x
12
x'
12
x''
12
"
13 x
13
x'
13
14 x
14
15 x
15
...
i

Por ejemplo en la aplicacin del filtro por lmites fsicos (umbrales de temperatura y
precipitacin obtenidos de la serie de tiempo aplicando el diagrama el diagrama de cajas Box
plots), el proceso consiste en lo siguiente: A una observacin que tiene un valor inferior a V1 o
superior a V4 se le asignar indicador de confianza M (Malo); a los valores que se encuentran
entre los lmites V1 y V2 y entre V3 y V4 se les asignar un indicador de confianza D
(Dudoso) para su anlisis posterior; finalmente los valores que estn entre los lmites V2 y V3
son considerados Buenos (Figura 1). Esta fase se complementa con el anlisis de los
especialistas, quienes finalmente han aplicado criterios meteorolgicos para observar los datos.

a.2 Evaluacin por Sector Criterios Especficos.

En la Clasificacin climtica de Thornwaite desarrollada por el SENAMHI, se sectorizaron
reas climatolgicamente afines con condiciones especificas de acuerdo a la geografa peruana.
Se obtuvieron umbrales por sectores regionales que fueron aplicados por cada variable.

b. Criterios Estadstico
b.1 Medianas Mviles Filtro de Hann

Aplicacin de medianas mviles de amplitud 5, 3, adems del Filtro de Hann.

Tabla 2 Medianas Mviles Filtro de Hann



















De la Tabla 2 se puede deducir los siguientes:
C = 3* Desviacin Estndar
Filtro_Hann= 0.25X
i-1
+ 0.5X
i
+ 0.25X
i+1

Valor_Absoluto=|Valor_Observado
i
- Filtro_Hann|
Si el Valor_Absoluto>C entonces se Observa los datos como Dudoso

b.2 Tcnica de Cajas de Tukey

El nombre original del grfico es Box Plots, es decir diagrama de caja, permite realizar un
anlisis ms revelador y resistente a la presencia de datos discordantes. Los lmites inferiores
(Li
1
, Li
2
) fueron calculados a partir del primer cuartil (q
1
) menos un mltiplo de 1.5 del rango
intercuartil (RI); asi como los lmites superiores (Ls
1
, Ls
2
) fueron calculados a partir del tercer
cuartil (q
3
) ms un mltiplo de 1.5 del rango intercuartil (RI), tal como se ilustra en la Figura 2.
Proyecto de adaptacin al retroceso acelerado de los glaciares en los Andes tropicales PRAA
Memoria Tcnica
Componente Meteorolgica SENAMHI Per
__________________________________________________________________________________________________________

4

DATOS DATOS DATOS DATOS
MALOS DUDOSOS DUDOSOS MALOS
*** ***
25% 25% 25% 25%
Donde:
Me = Mediana RI = Rango Intercuartil=q3-q1
q1 = Cuartil Inferior
q3 = Cuartil Superior
Li = Lmite Inferior
L
s
= Limite Superior
DATOS
CONTROLADOS
Li
2
= q
1
- ( 3*RI )
Li
1
= q
1
- ( 1.5*RI ) Ls
1
= q
3
+ ( 1.5*RI )
Ls
2
= q
1
+ ( 3*RI )
M
e
q
1
Li1 Li2 q
3
Ls
1
Ls
2


















Figura 2 Esquema de Cajas

La fase de control de calidad manual, lo realizan los especialistas siguiendo los procedimientos
siguientes:

En relacin con la identificacin de datos anmalos, el proceso se realiz en dos fases. En la
primera se evalu en cada serie mensual de cada observatorio la presencia de datos extremos, es
decir, de registros que por su magnitud podramos considerar como sospechosos de ser errores
de observacin o transcripcin. As, se sealaron como tales aquellos registros que se separaban
del valor de la media mensual de la serie en ms de 4 veces el valor de la desviacin estndar.
En una segunda fase, el dato mensual identificado como sospechoso es comparado con el
registrado en un conjunto de observatorios vecinos. El objeto de la comparacin no es otro que
el de comprobar la coherencia del registro en funcin de los valores observados y registrados en
estaciones cercanas. En caso de que el registro sospechoso no muestre coherencia en cuanto a
magnitud con los de los observatorios vecinos, es considerado como un dato anmalo y tratado
en fases posteriores como una laguna de informacin.

La prueba de homogeneidad de la Serie, si se detecta saltos en las series, se realizan las pruebas
estadsticas de homogeneidad considerando para cada prueba la comparacin de dos grupos.

- Se realiza primero la prueba F- fisher de homogeneidad de varianzas.
- Se realiza luego la prueba t-student de homogeneidad de medias.

Si a travs de la prueba estadstica t-student se concluye que existe homogeneidad, entonces la
serie es consistente y por lo tanto el parmetro analizado es validado.

Lo referente a correccin de datos, el muestreo estadstico le permite localizar las estaciones y
fechas de las planillas manuales meteorolgicas a revisar, luego se corrigen los datos de ser el
caso. Los observados son corregidos mediante los siguientes mtodos: Revisin manual de la
planilla, interpolacin de datos, promedio decadal, intercambio de datos, correccin de unidades
y similares.

Finalmente, la completacin de datos se realiz a travs de Mtodos empricos (Valores de la
estacin ms cercana, Promedio aritmtico de estaciones cercanas, Distancia inversa); Mtodos
estadsticos (Anlisis de regresin mltiple) y Mtodos con funciones (Algoritmos tipo spline).

Proyecto de adaptacin al retroceso acelerado de los glaciares en los Andes tropicales PRAA
Memoria Tcnica
Componente Meteorolgica SENAMHI Per
__________________________________________________________________________________________________________

5

Independientemente del tipo de dato que se est procesando un requerimiento bsico es
mantener un estndar de operaciones que no degrade la calidad de los datos. Las decisiones
manuales o automticas efectuadas en los distintos procedimientos de verificacin pueden
expresarse por indicadores de control de calidad. La construccin depende en gran medida de
cmo y en qu fase de los procedimientos se aplican los distintos mtodos de verificacin.


III. Breve anlisis de la data controlada en la cuenca del ro Mantaro


Figura 3 Estadstica de Indicadores de Control de Calidad

En la Figura 3 se puede observar que en trminos generales el sistema de control de calidad
detecto alrededor de 14 % de los datos como Observados (malo y dudoso) , para despus ser
recuperados un pequeo porcentaje.


Figura 4 Estadstica de Indicadores de Control de Calidad de la Precipitacin

En la Figura 4 el sistema solo detecto el 4% como dato observado, ya que la variable
precipitacin no tiene un comportamiento normal y por tanto no tenemos muchos criterios de
deteccin.


Figura 5 Estadstica de Indicadores de Control de Calidad de la Temperatura Mxima del Aire
85.87%
1.44%
12.57%
0.12%
Bueno
Dudoso
Malo
Corregido
95.79%
4.15%
0.06%
Bueno
Dudoso
Corregido
77.27%
22.15%
0.43%
0.15%
Bueno
Dudoso
Malo
Corregido
Proyecto de adaptacin al retroceso acelerado de los glaciares en los Andes tropicales PRAA
Memoria Tcnica
Componente Meteorolgica SENAMHI Per
__________________________________________________________________________________________________________

6


En la Figura 5, el sistema solo detecto un grueso de 22% de dato observado en la variable de la
temperatura mxima del aire, es importante mencionar que gran porcentaje de lo observado fue
recuperado ya sea por el mtodo de correccin o completacin de datos.



Figura 6 Estadstica de Indicadores de Control de Calidad de la Temperatura Mnima del Aire

En la Figura 6, el sistema slo detect un grueso de 19% de dato observado en la variable de la
temperatura mnima del aire, tambin se recupero buen porcentaje mediante tcnica estadstica y
criterios meteorolgicos.


IV. Recomendaciones

- Al tratarse de un gran banco de datos meteorolgicos es muy importante que el control
de calidad sea automtico, en sus diferentes fases hasta inclusive llegando a la
correccin del dato.
- En control de calidad no todo es automtico, ya que existe un proceso de control de
calidad del Hombre, donde finalmente decidir si un dato es de calidad aceptable.
- La estadstica y criterios meteorolgicos juegan un papel muy importante para crear
las reglas de deteccin del dato. Estas reglas fueron creadas por un grupo de
profesionales que entre ellos destacan los meteorlogos y los estadsticos.
- Un punto muy importante en control de calidad es considerar puntos de control por
cada proceso que pasa el dato desde que se origina hasta que finalmente es guardada
en una base de datos.
- Detectar gran cantidad de datos errneos histricos es mucho ms difcil su
recuperacin.


V. Referencias

Secretaria de la Organizacin Meteorolgica Mundial Ginebra Suiza 2000. Gua del sistema mundial de
proceso de datos OMM N 305 Edicin de 1993. Organizacin Meteorolgica Mundial; 1993.
Secretaria de la Organizacin Meteorolgica Mundial Ginebra Suiza 1989. Gua del Sistema Mundial de
Observacin OMM N 488 Edicin de 1989. Organizacin Meteorolgica Mundial; 1989.
Jorge Blanco y Carlos Lpez. Desarrollo de metodologas orientadas al control de calidad e imputacin de datos
faltantes en parmetros meteorolgicos. Direccin Nacional de Meteorologa, Instituto de Estadstica de la
Facultad de Ciencias Econmicas de la Universidad de la Republica de URUGUAY;1999. [Publicacin
Virtual] Disponible en : http://www.thedigitalmap.com/~carlos/p51_94/descr.html
Universidad Politcnica de Catalunya. Simulacin de los campos de viento de la Pennsula Ibrica y el rea
geogrfica de Catalunya Con alta resolucin espacial para distintas situaciones meteorolgicas tpicas.
80.72%
18.56%
0.54%
0.19%
Bueno
Dudoso
Malo
Corregido
Proyecto de adaptacin al retroceso acelerado de los glaciares en los Andes tropicales PRAA
Memoria Tcnica
Componente Meteorolgica SENAMHI Per
__________________________________________________________________________________________________________

7

[Publicacin Virtual] Disponible en : http://www.tesisenxarxa.net/TESIS_UPC/AVAILABLE/TDX-
0317105-174201//07Ojc07de12.pdf
Luis Miguel Molinero Casares , Control de Calidad, Sociedad Espaola de Hipertensin, 2003. [Publicacin
Virtual] Disponible en : http://www.seh-lelha.org/calidad.htm

Servicio Nacional de Meteorologa e Hidrologa. Gua Bsica de meteorologa general. [Publicacin Virtual]
Disponible en : www.senamhi.gob.pe/pdf/manualmeteo/cap3.pdf

Universidad de los ngeles de la Republica de Venezuela. Glosario de Trminos. [Publicacin Virtual] Disponible
en : http://www.cecalc.ula.ve/redbc/html/glosario.html#fuente3