O documento discute a importância da calibração e validação de modelos para comparar seus resultados com dados reais. Ele explica que a calibração envolve ajustar parâmetros do modelo para minimizar diferenças entre resultados e medidas, e que a validação testa o modelo em novos conjuntos de dados.

1. Aula 03
Calibração e validação de modelos
Sebastian Krieger
(sebastian@nublia.com)

2. Porque validar e calibrar?
● A comparação de resultados dos modelos com
dados reais é indispensável para avaliar o modelo.
● Modelos não podem ser operados em modos
plugue & use.
● Todo modelo requer calibração!
● Pode haver grandes discrepâncias entre os
valores medidos e os primeiros resultados dos
modelos.

3. Para uma boa validação
● Utilizar dados medidos confiáveis.
● Compreender os processos físicos, químicos
e biológicos
● Conhecer as capacidades e limitações do
modelo.

4. Passos
Configuração do
modelo
Calibração do modelo
Validação do modelo
Verificação do modelo
Aplicações
Conjunto de dados
independente
Segundo conjunto de
dados independente
Terceiro conjunto de
dados independente

5. Calibração, verificação e validação
● Trata-se do ajuste dos parâmetros do modelo
dentro de intervalos aceitáveis;
● Faz com que as diferenças (erros) entre os
resultados do modelo e as medidas sejam
minimizadas até uma acurácia aceitável;
● As medidas de calibração devem ser
independentes das medidas de configuração do
modelo;
● O modelo calibrado é válido apenas para um
cenário particular!

6. Calibração, verificação e validação
● Teste subsequente de um modelo calibrado;
● Utiliza-se um segundo conjunto de dados
independentes, geralmente sob condições
externas diferentes;
● Examinar a capacidade do modelo de
representar o corpo de água de forma realista;

7. Calibração, verificação e validação
● Com a utilização de um terceiro conjunto de
dados aumenta-se a confiabilidade do
modelo;
● Agora o modelo pode ser utilizado para
investigar diferentes cenários;
● Mas, cuidado ao utilizar o modelo fora dos
intervalos para os quais ele foi calibrado,
verificado e validado;

8. Calibração
● É difícil recomendar um procedimento geral para
a calibração de um modelo;
● Experiência é importante;
● Ajustar os parâmetros do modelo para que ele
reproduza resultados realistas;
● Os parâmetros são ajustados por tentativa e erro;
● Formulação matemática dos modelos é ciência,
mas calibração é uma arte;

9. Calibração
● Os parâmetros dos modelos devem ser
uniformes no espaço e no tempo;
● A calibração de modelos de qualidade da água
consomem mais esforços e tempo;
● Na prática, utiliza-se valores da
– Literatura;
– Análise de sensibilidade;

10. Como determinar a qualidade do
modelo?
● Comparação gráfica;
● Comparação estatística:

11. Comparação estatística
● Erro médio;
● Erro médio absoluto;
● Erro RMS;
● Erro relativo;
● Erro RRE;

12. Um exemplo
● Modelo de ecológico para o fitoplâncton:

13. Um exemplo

14. E se der errado?
● Possíveis causas caso o modelo não possa ser
calibrado com acurácia aceitável:
– Mau uso ou configuração do modelo;
– Modelo inadequado para uma aplicação em
particular;
– Medidas insuficientes para descrever o corpo de
água;
– Medidas não confiáveis.

15. Perguntas ?