Evaluación del Pronóstico Meteorológico por Municipio

---

La verificación de un pronóstico es el proceso de evaluar su calidad y es una parte indispensable en la investigación meteorológica y en las actividades del pronóstico operacional. Dicho proceso consiste en comparar el pronóstico contra una observación de lo que ocurrió en la realidad o contra alguna buena estimación del resultado verdadero. Existe una amplia variedad de métodos para la verificación de pronósticos, pero todos ellos involucran medidas de la relación entre el valor pronosticado y la observación correspondiente. Si se diseña adecuadamente la metodología, los resultados de la verificación pueden satisfacer efectivamente las necesidades de grupos muy diversos, incluyendo modeladores, pronosticadores y usuarios de la información de los pronósticos.

Desafortunadamente, no siempre se cuenta con datos de buena calidad para llevar a cabo la evaluación de los pronósticos. La base de datos de observaciones de variables meteorológicas a cargo del Servicio Meteorológico Nacional contempla procedimientos de control de calidad que detectan errores, sin embargo, cuando se tratan de grandes volúmenes de información, existe la probabilidad de que datos erróneos puedan presentarse. Entonces, si los datos para la evaluación no tienen la suficiente certidumbre, el pronóstico será verificado contra algo distinto a la realidad, con consecuencias imprevisibles en los puntajes de verificación. Por otra parte, para el caso de datos faltantes, estos pueden ser ignorados o pueden estimarse a partir de datos relacionados y usarse para la verificación. Esto último es lo más recomendable si se tienen buenas estimaciones, ya que evita desperdiciar información, pero si las estimaciones son pobres, los puntajes de verificación resultantes pueden ser engañosos.

En este proyecto se llevó a cabo la construcción de una base de datos diarios de un conjunto nacional de estaciones meteorológicas, utilizando las variables climatológicas de temperatura máxima, temperatura mínima, precipitación y velocidad de viento. Posteriormente se sometieron a un proceso de control de calidad y homogeneización de las estaciones meteorológicas con el paquete del lenguaje R, Climatol (http://www.climatol.eu/), en el que mediante pruebas estadísticas de homogeneidad, los datos se ajustaron con el fin de descartar valores sospechosos en las series y completar datos ausentes; esta herramienta funciona a través de series de referencia de estaciones cercanas, asimismo se puede controlar la calidad de las series y eliminar anomalías que superen un umbral prefijado.

Una vez finalizado el control de calidad y homogeneización de los datos observados, se obtuvieron las rejillas nacionales diarias homogeneizadas en formato Netcdf (Network Common Data Form) para cada variable, la cual fue empleada para la validación de los datos provenientes del ensamble Short-Range Ensemble Forecast (SREF) de NCEP, y con ello poder aplicar esquemas de ajustes de sesgo para mejoramiento de los pronósticos, así como una reducción de la incertidumbre que contribuya en acciones como planeación, monitoreo, prevención de desastres y atención a emergencias, principalmente ante la ocurrencia de eventos severos.

Métodos de verificación

Son herramientas que indican la medida en la que difieren los valores de los pronósticos de los valores de las observaciones. Estos pueden incluir gráficos exploratorios tales como diagramas de dispersión, histogramas y diagramas de caja (box plots), así como también valores de puntajes como la Raíz del Error Cuadrático Medio.

Diagramas de dispersión: representa los valores pronosticados contra los observados mediante un gráfico de puntos en el cual las escalas en los ejes son iguales. Indica la medida de correspondencia entre los valores observados y los pronosticados. Un pronóstico perfecto estará representado por cualquier punto sobre la recta de 45 grados en el diagrama. Si se grafica en el diagrama de dispersión la línea de regresión ajustada a los datos, la correspondencia entre ésta y la recta de 45 grados representa una medida de la confiabilidad de los pronósticos. Otra medida de verificación que puede estimarse a partir de un diagrama de dispersión es el error promedio o sesgo (bias).

Box plots: muestran el rango de datos que cae entre los percentiles 25 y 75, representados por los extremos de la caja. La línea horizontal dentro de la caja muestra el valor de la mediana y los bigotes muestran el rango completo de los datos. También son útiles para identificar valores fuera de rango o outliers, los cuales se identifican mediante un símbolo especial.

Error cuadrático medio (Mean squared error, MSE): mide la diferencia cuadrática media entre los pronósticos y las observaciones. No indica la dirección de las desviaciones. Sus unidades son el cuadrado de las unidades básicas. Rango de valores: 0 a ∞. Puntuación perfecta: 0.

Raíz del error cuadrático medio (Root mean square error, RMSE): es una medida de la precisión total. Proporciona la magnitud promedio de los errores del pronóstico, ponderada de acuerdo al cuadrado del error. Es un puntaje simple y de uso común que se calcula como la raíz cuadrada del MSE.

Al igual que el MSE, el RMSE no indica la dirección de las desviaciones. Es un puntaje que se ve más influenciado por los errores grandes que por los pequeños, lo cual puede ser bueno si los errores grandes son especialmente indeseables. Su sensibilidad a errores grandes también significa que no puede proporcionar estimaciones estables del error si se utilizan muestras pequeñas. Esta medida, al igual que otras reglas de puntuación cuadrática, puede favorecer un pronóstico conservador (pronóstico cercano a la media climatológica). Rango de valores: 0 a ∞. Puntuación perfecta: 0.