J. Rozante - Metrics for the Evaluation of Numerical Predictions

1.110 visualizações

Publicada em

0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
1.110
No SlideShare
0
A partir de incorporações
0
Número de incorporações
774
Ações
Compartilhamentos
0
Downloads
6
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

J. Rozante - Metrics for the Evaluation of Numerical Predictions

  1. 1. Métricas de Avaliações de Previsões Numéricas José Roberto Rozante
  2. 2. 1) Introdução.2) Por que avaliar as previsões numéricas?3) Como avaliar as previsões numéricas.4) Tipos de Avaliações.5) Página de Avaliação do CPTEC/INPE
  3. 3. 1) IntroduçãoAvaliar : testar o grau de correspondência entre asprevisões numéricas e as observações/análises.A idéia de avaliar as previsões tempo surgiu em1884 (Finley, 1884) . A partir da década 50 essaidéia foi incorporada a previsão numérica.A avaliação é uma das principais etapas duranteo processo de desenvolvimento/aperfeiçoamentode modelos numéricos .
  4. 4. 2) Por que avaliar as previsões numéricas? Melhorar o entendimento no que diz respeito àconfiabilidade, à sensibilidade e as limitações dosistema de previsão; Monitorar a qualidade das previsões ao longo dotempo;Melhorar a qualidade das previsões através deum melhor entendimento dos erros encontrados;Verificar o impacto de inserção de novasimplementações (física, dinâmica, resolução e etc ...)nos modelos numéricos.
  5. 5. 3) Como avaliar as previsões numéricas Avaliar contra análises Avaliar contra observações
  6. 6. Contra as análises Vantagens1) Pontos de grades;2) Facilidade na obtenção dos índices;3) Tamanho maior da amostra;4) Distribuição espacial;5) Não é necessário utilizar métodos de interpolaçõesou aproximação para pontos mais próximos. Desvantagens1) Erros embutidos na própria análises não serãodetectados;2) Não existe a possibilidade de avaliar aprecipitação.
  7. 7. Contra as observações Vantagens1) Em geral, possui maior confiabilidade;2) Em alguns dados, maior freqüência temporal;3) Menor custo para o armazenamento. Desvantagens1) Necessidade de um rigoroso controle de qualidade;2) Distribuição não homogênea;3) Escassez de dados sobre algumas regiões dodomínio (ex: oceanos e florestas);4) Necessidade de Interpolações ou aproximaçõespara o ponto de grade do modelo;5) Dificuldade maior no cálculo de índices.
  8. 8. 4) Tipos de AvaliaçõesAvaliação Objetiva - estabelece padrões de comportamentoentre as previsões e as observações que podem ser medidosatravés de números/índices.Avaliação Subjetiva - estabelece padrões decomportamento entre as previsões e as observações quepodem ser verificados através de fatosobserváveis/interferência humana.Avaliação-Semi Objetiva - estabelece padrões decomportamento entre as previsões e as observações quepodem ser verificados através de algoritmos numéricosjuntamente com a interferência humana.
  9. 9. 4a) Exemplos de Avaliações ObjetivasErro Médio (ME) - diferença entre a média daprevisão e a média das observações/análises. Indicatendências de superestimativas e subestimativas. 1 ME = (Fk  Ok ) n F= previsão O=observação/análiseExemplos Gráficos
  10. 10. 4a) Exemplos de Avaliações ObjetivasRaiz do Erro Quadrático Médio (RMSE) - raiz quadrada do valormédio do quadrado das diferenças entre a previsão e a observação.Indica a magnitude dos erros. RMSE =  (Fk  Ok )2 n F= previsão O=observação/análise Exemplos Gráficos
  11. 11. 4a) Exemplos de Avaliações ObjetivasCorrelação de Anomalia (AC) - Correlação linear entre asanomalias dos valores previstos e as anomalias das análises, ambascalculadas em relação a reanálises do NCEP.  C        C  CC FF AA            AC * 1 C   2  C        CC FF A  A 2   F= Previsão C=Climatologia A= Análises Exemplos Gráficos
  12. 12. 4a) Exemplos de Avaliações ObjetivasCorrelação de Pearson (r) - medida do grau de relação linear entreas previsões e observações.  F    n i  F  Ai  Ai i=1 COV(F, A) r= = var (F)  var (A)  F   A  n n 2 2 i F  i A i=1 i=1 F= Previsão A= Análises R>0 positiva r<0 negativa r=0 não dependem linearmenteExemplos Gráficos
  13. 13. 4a) QPF Índices quantitativos - precipitação Limiares (mm)‫‏‬ 0.254 2.540 6.53 12.7 19.05 25.4 38.1 50.8POD - relação do evento de chuva prevista corretamente POD= acom os eventos previstos correta ou incorretamente. (perf=1) a+cRAF - proporção de previsões de ocorrência de chuva RAF= bque na verdade não ocorreu (+ próx. 1 previsão ruim) a+bBIAS - razão simples das previsões de chuva com as BIAS= a+bchuvas observadas (<1 subestima. >1 superestima) a+c  ( a a R )‫‏‬ETS - definido a partir do threat score (TS) ETS ( a  b  c  a R )‫‏‬com objetivo retirar a tendência de acertos (a + b)(a + c)aleatórios (Mesinger e Black, 1992). aR = nExemplos Gráficos
  14. 14. 4b) Exemplo de Avaliação Subjetivaanálise análise Sistema Avaliado – Baixa Associada ao Sistema Frontal Modelo posição Fct-24 Fct-48 .. .. Eta 20km 30S-40W AC AD AT NP .... N. modelos
  15. 15. 4c)Avaliação Semi-Objetiva - Sistema Frontal Jun/jul 2009DANL/FCT = 300 km => acerto300 km > DANL/FCT <800km => adiantou300 km > DANL/FCT <800km => atrasou (latFCT < latANL)‫‏‬DANL/FCT > 800km => não previu
  16. 16. Obrigado !!!roberto.rozante@cptec.inpe.br
  17. 17. Finley,J. P.,1884:Tornado predictions. Amer. Meteor .J., 1, 85–88. Voltar
  18. 18. ETA 40 CATT-BRAMS T126 24 horas 48 horas
  19. 19. FCT-48hVOLTAR
  20. 20. ETA 40 CATT-BRAMS T126 24 horas 48 horas VOLTAR
  21. 21. VOLTAR
  22. 22. FCT-48hVOLTAR
  23. 23. FCT-48hVOLTAR
  24. 24. VOLTAR
  25. 25. VOLTAR
  26. 26. Altura Geopotencial CPTEC UKMet ECMWF AutráliaT062 T126 T213 voltar

×