Este documento resume um curso de pós-graduação em econometria avançada. Apresenta informações sobre o professor, dias e horários da aula, métodos de avaliação incluindo simulação e acurácia, e sugestões de leitura adicional.
2501.000145-5 TÓPICOS ESPECIAISEM ECONOMETRIA
C.H.: 68 horas – Turma 2020.1 – sala 2 bloco X
Terça-feira 13h15m a 15h15m e Quinta-feira - 15h25m a 17h25m
Prof. Dr. Adriano Marcos Rodrigues Figueiredo
(UFMS – ESAN – Economia)
E-mail: adriano.figueiredo@ufms.br ou
amrofi@gmail.com
5
**As ideias e opiniões aqui expostas são de responsabilidade do autor e não representam a opinião
da instituição a que pertence.
Esta obra está licenciada com uma Licença Creative Commons Atribuição-CompartilhaIgual 4.0 Internacional.
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
2.
Avaliação da simulação
•HYNDMAN e ATHANASOPOULOS (2018)
https://www.otexts.org/fpp2/accuracy.html
• FERREIRA, Pedro Costa (org.). Análise de Séries Temporais
em R: curso introdutório. São Paulo: FGV/IBRE/Elsevier,
2017.
• FERREIRA, Pedro Costa. Business forecasting: trabalhando
com dados reais para resolver problemas reais. São
Paulo: FGV, 2018. Disponível em:
https://rpubs.com/modelthinkingbr/comentarios_iniciais
• Sugestão de leitura: Pindyck (2004) - Econometria, cap. 13
Prof. Adriano Marcos Rodrigues Figueiredo 2
3.
Avaliação
• Vários métodos:MQO, MQ2E, MQ3E, e vários
de séries temporais (ses, hw, ets, arima, x13,
híbridos, etc...)
• Dadas as especificidades de cada um, qual a
melhor simulação?
• Acurácia
• Propriedades dos resíduos ou do modelo
• Critérios de Informação
3Prof. Adriano Marcos Rodrigues Figueiredo
4.
!! Cuidado
Erro deprevisão é a diferença entre o valor
observado e o valor previsto no conjunto de
teste.
Resíduos são os erros do conjunto de treino,
normalmente 1-passo-a-frente (o erro de
previsão pode ser múltiplos passos-a-frente)
4Prof. Adriano Marcos Rodrigues Figueiredo
5.
Treino x Testex Forecast
• https://www.otexts.org/fpp2/accuracy.html
• Acurácia
• Training set (80%) x test (20%)
– Deseja-se que o tamanho da amostra test seja maior ou
igual a h (horizonte de previsão desejado)
• Forecast
5Prof. Adriano Marcos Rodrigues Figueiredo
6.
Possibilidades – Acurácia
Pindyck(2004)
• Raiz do Erro de Simulação Quadrático Médio (RMSE)
• Raiz do Erro Quadrático Médio Percentual (RMPSE)
• Erro de simulação Médio (ME)
• Erro percentual Médio (MPE)
• Erro absoluto médio (MAE)
• Erro absoluto percentual médio (MAPE)
• Coeficiente de desigualdade de Theil (U):
– Componentes de U para a média, variância e correlação
Prof. Adriano Marcos Rodrigues Figueiredo 6
7.
{forecast} accuracy
• ME:Mean Error
• RMSE: Root Mean Squared Error
• MAE: Mean Absolute Error
• MPE: Mean Percentage Error
• MAPE: Mean Absolute Percentage Error
• MASE: Mean Absolute Scaled Error
• ACF1: Autocorrelation of errors at lag 1
• sMAPE – MAPE simétrico (Symmetric Mean Absolute
Percentage Error) - utilizado na competição M3 (não
recomendado em Hyndman & Koehler, 2006) – usar
pacote Metrics
7Prof. Adriano Marcos Rodrigues Figueiredo
https://robjhyndman.com/hyndsight/smape/
8.
Hyndman e Athanosopoulos
8Prof.Adriano Marcos Rodrigues Figueiredo
Para séries temporais sazonais, utiliza-se um erro escalonado pelas previsões simples sazonais
e calcula-se o erro escalonado absoluto médio:
Comentários
• Raiz doErro de Simulação Quadrático Médio (RMSE)
– EQM: Sensível aos outliers (observações atípicas)
– EQM: Depende das escalas – ponderar pelas variâncias
– A raiz tem menos problemas que o EQM: ideia do desvio-padrão
– Tende a preferir modelos que dão menos “erros grandes ocasionais”
embora com menos ajustamento geral
• Erro absoluto médio (MAE)
– Ideia de desvio-padrão
– Menos sensível aos grandes desvios
– Tende a preferir modelos que dão alguns erros grandes ocasionais mas
com melhor ajustamento geral
Prof. Adriano Marcos Rodrigues Figueiredo 10
11.
Comentários
• Erro absolutopercentual médio (MAPE)
– Problema ao dividir por zero ou valores próximos de zero
– Resolve parte do problema da escala do MSE e MAE
• Theil
– Compara numerador e denominador
• Para a boa previsão, o numerador será pequeno comparado ao
denominador
• Criticado na literatura!
• Decomposição: a maior parte deveria estar concentrado na
covariance proportions
Prof. Adriano Marcos Rodrigues Figueiredo 11
12.
R::: já saemna maioria dos ‘forecasts’
• https://www.otexts.org/fpp2/accuracy.html
• Acurácia (RMSE, MAE, MAPE, outros) e AICc
• Training set x test => Forecast
• Cuidados com quebras e choques
12Prof. Adriano Marcos Rodrigues Figueiredo
13.
Algumas observações
• Asvezes a literatura chama da amostra teste
como “fora da amostra” (neste caso, se
referindo ao conjunto de treino – training –
como a “amostra”)
• A função window será útil no R para separar
as amostras
• A sintaxe é: window(dados, start=ANO)
Ou usar a função subset
13Prof. Adriano Marcos Rodrigues Figueiredo
Prof. Adriano MarcosRodrigues Figueiredo 15
Alternativa
manual
de fazer
acurácia
16.
Ferreira, Pedro Costa.Business forecasting: trabalhando
com dados reais para resolver problemas reais. São Paulo:
FGV, 2018. Disponível em:
https://rpubs.com/modelthinkingbr/comentarios_iniciais
16Prof. Adriano Marcos Rodrigues Figueiredo
17.
Pacote `forecast`
• Olhaa acurácia considerando o forecast da
série treino contra a amostra teste
Prof. Adriano Marcos Rodrigues Figueiredo 17
18.
Acurácia
• Em geraljá consta da saída do forecast
• Census X13 Arima-Seats – precisa calcular
– RMetrics
– Ou fazer as próprias Funções
18Prof. Adriano Marcos Rodrigues Figueiredo
Acurácia
exemplo consumo Morettin– sem divisão do dataset
20
Error measures:
Cons.ses AICc 1333.132
ME RMSE MAE MPE MAPE MASE ACF1
Training set -0.48717 19.84463 13.85645 -2.30761 11.10858 0.776381 0.056343
cons.holttrend.EXP AICc 1313.477
ME RMSE MAE MPE MAPE MASE ACF1
Training set 0.46574 19.83293 13.93578 -1.5169 11.10259 0.780826 0.054319
cons.holttrend.DAMPm AICc 1314.665
ME RMSE MAE MPE MAPE MASE ACF1
Training set -1.53043 19.74074 13.63352 -3.12121 10.98567 0.76389 0.062053
conshw2 AICc 1165.698
ME RMSE MAE MPE MAPE MASE ACF1
Training set 0.091076 8.746246 6.795998 -0.00541 5.6058 0.380782 0.126863
Prof. Adriano Marcos Rodrigues Figueiredo
21.
Exercício varejo MS
•FIGUEIREDO, Adriano Marcos Rodrigues. Séries
Temporais: suavização exponencial e acurácia. Campo
Grande-MS,Brasil: RStudio/Rpubs, 2019. Disponível
em http://rpubs.com/amrofi/smoothing_varejoms.
21Prof. Adriano Marcos Rodrigues Figueiredo
22.
Exemplo
Ver aplicação deHolt-Winters e acurácia em:
• FIGUEIREDO, Adriano Marcos Rodrigues. Séries
Temporais: previsão de ações com ETS. Campo
Grande-MS,Brasil: RStudio/Rpubs, 2019. Disponível
em http://rpubs.com/amrofi/stocks_ETS.
Prof. Adriano Marcos Rodrigues Figueiredo 22