1) O documento analisa o desempenho de um modelo de previsão de precipitação para São Paulo para prazos de 1 a 7 meses, calculando vários parâmetros estatísticos como raiz do erro quadrático médio, erro absoluto e viés. 2) Os resultados indicam que as previsões de 1 e 2 meses tiveram melhores resultados nesses parâmetros, enquanto a previsão de 7 meses teve pior desempenho. 3) Quando analisados os parâmetros de taxa de acerto, alarme falso e acurácia

1. 19 de Fevereiro de 2017
Atividade 01
Análise de Sistemas e Modelagem Ambiental
Santo André
2017
Prof.ª Andrea Oliveira Cardoso
Período Noturno
Marco Amaral
Mayara Arrais

2. Atividade 01
Considerando as previsão climáticas de precipitação para os prazos de 1 a 7 meses, do modelo
de circulação geral da atmosfera chamado COLA ( rodado pelo IRI - International Research
Institute for Climate and Society), avalie o desempenho deste modelo para: Previsões de
precipitação para um ponto próximo à cidade de São Paulo (Lat=23,31S; Lon=46,38W), no
período de 1/2006 a 12/2016, a partir de diferentes prazos mensais (antecedência da
previsão). Para tanto, calcule os seguintes parâmetros:
a. Raiz do Erro Quadrático Médio
Fazendo uso da Equação (1) abaixo, obteve-se os seguintes resultados, descritos na
Tabela 01:
𝑅𝐸𝑄𝑀 = √
1
𝑛
∑(𝐹 − 𝑂)² (1)
Tabela 01 – Valores da Raiz do Erro Quadrático Médio para cada um dos Prazos de
Previsão
Prev_Prazo REQM
1 4,71
2 4,71
3 4,99
4 5,03
5 5,01
6 4,90
7 5,09
A REQM é uma medida de precisão, pois como eleva ao quadrado a diferença entre
os valores previstos e observados, é mais sensível a erros. O valor zero indica uma
previsão perfeita e este valor aumenta conforme aumenta a diferença entre valores
de previsão e observação. Dessa forma, é possível perceber que para o prazo de 1 e
2 meses obteve-se as menores diferenças entre a previsão e a observação. Em
contraponto, a previsão para o prazo de 7 meses foi o que teve a maior diferença
entre o observado e o previsto, o que já era de se esperar, pois quanto mais longe é
a previsão, menor a chance de acerto.
b. Erro Absoluto

3. O Erro Absoluto, calculado através da equação (2) abaixo, propiciou os dados
resumidos na Tabela 02:
𝐸𝐴 =
1
𝑛
∑ |𝐹 − 𝑂| (2)
Tabela 02 – Valores do Erro Absoluto para cada um dos Prazos de Previsão
Prev_Prazo EA
1 3,72
2 3,66
3 3,91
4 3,99
5 4,00
6 3,86
7 4,01
O erro absoluto quantifica a amplitude do erro do modelo, através da média dos
módulos das diferenças dos erros. Assim como no caso do REQM, as previsões com
prazo de 1 e 2 meses obtiveram os menores erros, ao passo que a previsão com
prazo de 5 meses possui o maior erro.
c. Erro Bias ou VIES
O Erro Bias ou Vies foi calculado a partir da equaçao (3) abaixo, produzindo a Tabela
03:
𝑉𝐼𝐸𝑆 =
1
𝑛
∑(𝐹 − 𝑂) (3)
Tabela 03 – Valores do Erro Vies para cada um dos Prazos de Previsão
Prev_Prazo VIES
1 2,98
2 3,06
3 3,28
4 3,38
5 3,48
6 3,35
7 3,43

4. O cálculo do Vies ajuda a avaliar se o modelo superestima (Vies positivo) ou
subestima (Vies negativo) os valores observados. A remoção do vies é um método
de correção estatística que ao ser aplicado nas previsões pode aumentar sua
acurácia reduzindo erros.
Analisando os dados, verifica-se que os todos os resultados obtidos são positivos,
isto é, o modelo superestima os valores observados. Além disso, as previsões para o
prazo de 1 e 2 meses são os que mais se aproximam de zero, isto é, são os que
tiveram melhor desempenho do modelo.
d. Correlação simples entre os conjuntos simulados e observados
Fazendo uso da Função CORREL no Excel ®, foi possível obter a correlação entre
os dois conjuntos de dados: os simulados e os observados. Quanto mais próximo
de 1, maior o desempenho do modelo. Abaixo, a Tabela 04 demonstra os valores
de correlação obtidos para cada prazo de previsão:
Tabela 04 – Valores de Correlação para cada um dos Prazos de Previsão
Prev_Prazo CORREL
1 0,71
2 0,71
3 0,69
4 0,69
5 0,72
6 0,71
7 0,71
Dessa forma, é possível verificar que o modelo apresenta um bom desempenho para
todos os prazos apresentados, estando relativamente próximo de 1.
e. Hit Rate (H), False Alarm rate (F) e Acurácia (A), para a ocorrência de um evento de
precipitação menor do que 5 mm/dia
Tabela 05 – Tabela de Contigência
Observado
Sim Não Total
Simulado Sim Acertos Alarmes Falsos Previsto Sim
Não Falhas Negativo Correto Previsto Não
Total Obs. Sim Obs. Não

5. A partir da Tabela 05 e da condição dada do enunciado do exercício, foi possivel
levantar o número de acertos, falhas, alarmes falsos e negativos corretos para cada
prazo de previsão:
Tabela 06 – Número de Acertos, Falhas, Alarmes Falsos e Ngativos Corretos para cada um
dos Prazos de Previsão
Prev_Prazo Acertos Falhas Alarmes
Falsos
Negativos
Corretos
1 48 30 4 50
2 51 27 5 49
3 53 25 5 49
4 49 29 5 49
5 51 27 5 49
6 48 30 6 48
7 51 27 5 49
A Tabela 06 resultou no Gráfico 01 abaixo, que demonstra visualmente o número de
acertos, falhas, alarmes falsos e negativos corretos para cada prazo de previsão:
Gráfico 01 - Comparação entre Previsto e Observado para cada um dos Prazos de Previsão
É possível perceber, que o prazo de previsão de 3 meses é o que teve o maior número
de acertos e o menor número de falhas, ao contrário dos prazo de 1 e 6 meses, que
apresentam os maiores números de falhas e os menores números de acertos. Além
disso, para o prazo de 6 meses, há o maior número de alarmes falsos e o menor
número de negativos corretos.
0
10
20
30
40
50
60
1 2 3 4 5 6 7
Comparação entre Previsto e Observado para cada um
dos Prazos de Previsão
Acertos Falhas Alarmes Falsos Negativos Corretos

6. Ainda com base nas informações da Tabela de Contigencia, calculou-se o número de
“Observados Sim” e “Observados Não”; e também os “Previstos Sim” e “Previstos
Não”, confrome Tabela 07 abaixo:
Tabela 07 – Observados e Previstos para cada um dos Prazos de Previsão
Prev_Prazo Obs. Sim Obs. Não Prev. Sim Prev. Não
1 78 54 52 80
2 78 54 56 76
3 78 54 58 74
4 78 54 54 78
5 78 54 56 76
6 78 54 54 78
7 78 54 56 76
Gráfico 02 – Previstos e Observados para cada um dos Prazos de Previsão
Observa-se que para todos os prazos de previsão, obtiveram-se os mesmo número
de observados sim e não. No caso da previsão, o prazo de previsão de 1 mês foi o
que teve o menor número de previsões sim e o maior número de previsões não.
Por fim, com base nessas inormações, calculou-se os parâmetros para avaliação pro
tipos de eventos, tais como o Hit Hate, Alarm False Hate e Acurácia, onde:
 Taxa de acertos ou Hit Rate (H), quantifica os acertos. Se a categoria
observada é igual a modelada a simulação está correta (hit):
𝐻 =
𝐴𝑐𝑒𝑟𝑡𝑜𝑠
𝑂𝑏𝑠. 𝑆𝑖𝑚
0
10
20
30
40
50
60
70
80
90
1 2 3 4 5 6 7
Previstos e Observados para cada um dos Prazos de
Previsão
Obs. Sim Obs. Não Prev. Sim Prev. Não

7.  Taxa de alarme falso ou False Alarm Rate (F), quantifica os alarmes falsos do
modelo.
𝐹 =
𝐴𝑙𝑎𝑟𝑚𝑒𝑠 𝐹𝑎𝑙𝑠𝑜𝑠
𝑂𝑏𝑠. 𝑁ã𝑜
 Acurácia (A), quantifica as estimativas corretas do modelo para o conjunto
de simulação:
𝐴 =
𝐴𝑐𝑒𝑟𝑡𝑜𝑠 + 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑠 𝐶𝑜𝑟𝑟𝑒𝑡𝑜𝑠
𝑇𝑜𝑡𝑎𝑙
Os dados encontram-se resumidos na Tabela 08 abaixo:
Tabela 08 – Observados e Previstos para cada um dos Prazos de Previsão
Prev_Prazo Hit Hate False
Alarm Hate
Acurácia
1 0,62 0,07 0,74
2 0,65 0,09 0,76
3 0,68 0,09 0,77
4 0,63 0,09 0,74
5 0,65 0,09 0,76
6 0,62 0,11 0,73
7 0,65 0,09 0,76
Para o modelo ser um bom simulador, com alta probabilidade de detecção, o Hit
Hate deve estar próximo de 1. Sendo assim, a previsão com o prazo de 3 meses é a
que mais se aproxima desse valor.
Quanto ao False Alarm Hate, o modelo tem alta probabilidade de falsa detecção
quando aproxima-se a 1. Em geral, o modelo apresenta baixa probabilidade de falsa
detecção, sendo o prazo de previsão de 1 mês o que apresenta menor probabilidade.
Indo em direção ao resultado da análise do Hit Hate, o prazo de previsão de 3 meses
é o que apresenta maior acurácia. Sendo assim, esse prazo de previsão é o que
apresenta maior proximidade entre o valor observado e o valor obtido através do
modelo.
Produza tabelas, gráficos e uma interpretação dos resultados, comparando os parâmetros de
avaliação para cada prazo de previsão, discutindo como varia o desempenho do modelo e
indicando os prazos mais confiáveis.