Análisis Estadísticode

Datos Climáticos

Análisis Estadísticode

Datos Climáticos

Facultad de Ciencias – Facultad de Ingeniería

2013

Verificación y valor de los pronósticos (Wilks, Cap. 7)

Verificación de pronósticos

Una definición: La verificación de pronósticos es la exploración y evaluación de la calidad de un sistema de pronósticos basado en una muestra de pronósticos previos y en las observaciones correspondientes.

Aquí la calidad tiene que ver con la capacidad de los pronósticos para reducir la incertidumbre sobre el estado futuro (desconocido) de un sistema. (Para eso se hacen los pronósticos…)

Está bastante aceptado que la calidad de un pronóstico

tiene muchos atributos diferentes que no pueden ser

resumidos con un solo indicador o medida (“score”).

En general, son necesarios varios scores para poder

medir la calidad de un pronóstico.

Nota: los métodos para verificar pronósticos son

también útiles para otros problemas como comparar

dos conjuntos de datos (cuando se usa un conjunto

para estimar al otro, p. ej., cuando se estima la

precipitación a partir de imágenes satelitales).

Las razones para realizar verificación de pronósticos son de 3 tipos:

• administrativas (saber cómo funcionan da guías para inversionesfuturas)

• científicas (entender, y a partir de allí mejorarlos)

• económicas (para los usuarios de los pronósticos)

En cada caso los indicadores a utilizar pueden tener distintas características

Además los resultados de la verificación deberían dar información de interés, no realizarse por mera conveniencia.

El predictando (es decir, aquello que se quiere

predecir) puede ser:

• continuo

(temperatura, presión, precipitación, etc)

• discreto (categórico)

(ocurrencia o no ocurrencia, valor por encima o debajo

de una referencia, o en un rango, cobertura de nubes

(ordinal), tipo de nubes (nominal), etc, siempre que se

pueda clasificar en categorías)

• univariado

• multivariado

(viento, varias variables, campos espaciales en

puntos de grilla)

• una probabilidad

(ej., la probabilidad de que mañana haya niebla es un

40%)

• ensembles de pronósticos de modelos (numéricos o estadísticos)

Pronóstico de Tornados (Finley, 1884)

Osí Ono

Psí

Pno

Indicador (o score) de performance de Finley:

Fracción de aciertos:

PC = (28+2680)/2803

= 0.966

Predictando categórico(caso binario)

Matriz de contingencia

Pronóstico alternativo: “Nunca hay Tornado”

Osí Ono

Psí

Pno

Indicador:

Fracción de aciertos

• PC = (0+2752)/2803

= 0.982 (> 0.966!!)

Comentarios

• El esquema de Finley pronosticó correctamente másde la mitad de los tornados ocurridos (28 de 51).

(El otro obviamente no.)

• El score “fracción de aciertos” puede no ser el mejorindicador para sintetizar el valor de este esquema de pronósticos en este caso, porque los pronósticos de “no tornado” son en general correctos. Es decir queno es un buen indicador para eventos “raros”.

• Los aciertos (Psí; Osí) son cruciales en este caso, y este score no los destaca.

El esquema de Finley:

• Cuando pronostica tornado, acierta el 28% de los casos.

• Cuando pronostica “no tornado”, se equivoca menos del 1% de los casos.

El otro esquema:

• Nunca acierta un tornado

• Se equivoca el 1.8% de los casos

Además:

Psí

Pno

Osí Ono

Psí

Pno

Jerga corriente:

a = aciertos

b = falsa alarmac = fallos

d = negativo correcto

a + b + c + d = n

Otros indicadores para pronósticos binariosa partir de la matriz de contingencia

c b a

a CSI TS

++

==

b a

b FAR

+

=

es útil si a << d. Para el caso

Finley da 0.228

false alarm ratio (0.72)

c a

a H

+

=Hit rate (0.55)

o PODetc etc etc…

BIAS= (a+b)/(a+c)

(1.96)

(Threat score = Critical success index)

• No hay un solo score que resuma toda la información

• Al tratar de resumir la información dada por los valores de la tabla en uno solo, se pierde información

• Se suelen analizar varios conjuntamente.

• Aun cuando se tenga un predictando escalar continuo, es posible dividir los valores de los pronósticos en dos rangos separados por un umbral, y así considerarlos como pronósticos categóricos binarios. Así se pueden calcular los scores ya vistos.

• También se puede variar ese umbral y graficar los scores en función del umbral.

Ebert, 2002

Ej: Estimación de precipitación por satélite

• También se puede dividir en K intervalos o rangos, y obtener una tabla de contingencia de KxK

Murphy y Winkler (1987) establecieron un marco general para la verificación de pronósticos basado en las distribuciones de probabilidad conjuntas de los eventos observados y pronosticados.

En el caso de variables discretas, si llamamos x al

valor observado, y x’ al correspondiente valor

pronosticado, se llama distribución conjunta de

pronósticos y observaciones p(x’,x) a la

probabilidad de que el pronóstico tome el valor x’

y, al mismo tiempo, el valor observado tome el

valor x (o sea la probabilidad de la intersección).

A su vez, a partir de la distribución conjunta se definen

las distribuciones marginales y condicionales.

Para variables discretas, las distribuciones marginales

para x’ y x son:

∑=

x

x),(x' p )p(x'

y las condicionales:

∑=

x'

x),(x' p p(x)

(x) p

x), (x' p ) x | (x' p =

)(x' p

x), (x' p ) x'|(x p =

Un sistema de pronóstico es completamente inútil si

los pronósticos son independientes de las

observaciones, o sea si:

p(x) ) x'|(x p = o )p(x' ) x | (x' p =

para todos los valores de x y x’

Habilidad de pronóstico (forecast skill)

• Se define en relación con un sistema de pronóstico de referencia (típicamente, persistencia o climatología).

ref perf

ref

s - s

s - s score Skill =

Si s = sperf, skill = 1 (máximo)Si s = sref skill = 0 (igual que la referencia)Si s < sref , skill < 0 (peor que la referencia)

Predictandos continuos

Medidas de performance usuales

Correlaciones

su raíz cuadrada es el

RMSE

Pronóstico de probabilidades

• “La probabilidad de que llueva mañana es 30%”

• ¿Cómo se evalúa? Con varios (muchos) pronósticos de 30%, y observando cuantas veces ocurrió el evento; si ocurre cerca del 30% de las veces, será correcto.

• El sistema de pronóstico debe ser confiable o consistente.

Confiabilidad (o consistencia): entre las probabilidades pronosticadas y las frecuencias observadas.

• Pero esto no es suficiente, porque si se pronostica la probabilidad climatológica de ocurrencia, se tendrá un pronóstico confiable pero no aportará más información que el conocimiento de la climatología

Se pide entonces que un pronóstico probabilístico tenga también resolución.

Resolución: es la capacidad de un pronóstico de clasificar eventos observados en grupos diferentes entre sí. Por ej., distinguir casos en que los eventos ocurren con mayor o menor frecuencia que la climatológica.

Los pronósticos determinísticos pueden ser considerados como un caso particular de pronósticos probabilísticos, donde los únicos valores de probabilidad que se usan son 0 y 1.

Pronóstico de probabilidades

“Habilidad artificial”

• Es una habilidad aparente que no se conserva cuando se aplica el modelo de pronóstico a un conjunto independiente de datos.

• Cuantos más predictores potenciales se incluyan, es más posible que aparezca esta habilidad artificial.

Para evitar este problema:

• Usar un período de “entrenamiento” y un período de “verificación”

• Usar validación cruzada (esencialmente consiste en suprimir un registro por vez y pronosticarlo a partir de los demás; es útil cuando se tienen pocos registros)

Características deseables de un esquema de

pronóstico

• Que tenga base física

• Estadísticamente correcto

• Reproducible y transparente (NO “caja negra”)

• Mostrar cómo hubiera funcionado en el tiempo (“pronósticos retrospectivos”)

• Que permita tomar decisiones en un área dada.

• Ser sometido al juicio de los pares, a través de publicación arbitrada.

Valor de los pronósticos

•Se refiere al valor económico para el usuario, que está relacionado con la calidad del pronóstico.

•Como dijimos, la calidad tiene que ver con la posibilidad de reducir la incertidumbre sobre el estado futuro del sistema.

Veremos un modelo muy sencillo que define el valor de un pronóstico.

Modelo de decisión “costo-pérdida”

• Se tiene un evento climático cuya ocurrencia produce una pérdida P.

• La frecuencia climatológica del evento es s.

(0 < s < 1), que suponemos no cambia en el tiempo

• Se pueden tomar acciones preventivas, cuyo costo es C. (C<P).

1) Si no se dispone de pronóstico (o sea sólo se conoce la climatología) (y suponiendo que siempre se realiza la misma acción, proteger o no proteger):

Eclim = min (C , sP) (valor esperado del gasto)

• Entonces, según si: C/P < s, o C/P > s,

será más conveniente proteger o no hacerlo.

Modelo de decisión “costo-pérdida” (cont.)

Modelo de decisión “costo-pérdida” (cont.)

2) Disponiendo de un pronóstico perfecto:

Eperf = sC (a éste gasto se quiere llegar; notar además que Eperf < Eclim)

3) Si se tiene un pronóstico que da un gasto esperado Epron , se define:

perfclim

pronclim

EE

EEV

−

−=

(es el valor del sistema de pronóstico)

Si V > 0, el sistema da beneficio (Vmax = 1), es 0 para el caso que no se dispone de pronóstico, pero puede ser negativo

El beneficio de un mismo pronóstico será distinto para distintos usuarios, ya que cada uno tiene su C y P.

El peor caso posible es para el que protege cuando no ocurre, y no protege cuando ocurre:

E peor de todos = C(1-s) + sP

(más que eso, no se puede pagar)