2501.000145-5 TÓPICOS ESPECIAIS EM ECONOMETRIA
C.H.: 68 horas – Turma 2020.1 – sala 2 bloco X
Terça-feira 13h15m a 15h15m e Quinta-feira - 15h25m a 17h25m
Prof. Dr. Adriano Marcos Rodrigues Figueiredo
(UFMS – ESAN – Economia)
E-mail: adriano.figueiredo@ufms.br ou
amrofi@gmail.com
5
**As ideias e opiniões aqui expostas são de responsabilidade do autor e não representam a opinião
da instituição a que pertence.
Esta obra está licenciada com uma Licença Creative Commons Atribuição-CompartilhaIgual 4.0 Internacional.
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
Avaliação da simulação
• HYNDMAN e ATHANASOPOULOS (2018)
https://www.otexts.org/fpp2/accuracy.html
• FERREIRA, Pedro Costa (org.). Análise de Séries Temporais
em R: curso introdutório. São Paulo: FGV/IBRE/Elsevier,
2017.
• FERREIRA, Pedro Costa. Business forecasting: trabalhando
com dados reais para resolver problemas reais. São
Paulo: FGV, 2018. Disponível em:
https://rpubs.com/modelthinkingbr/comentarios_iniciais
• Sugestão de leitura: Pindyck (2004) - Econometria, cap. 13
Prof. Adriano Marcos Rodrigues Figueiredo 2
Avaliação
• Vários métodos: MQO, MQ2E, MQ3E, e vários
de séries temporais (ses, hw, ets, arima, x13,
híbridos, etc...)
• Dadas as especificidades de cada um, qual a
melhor simulação?
• Acurácia
• Propriedades dos resíduos ou do modelo
• Critérios de Informação
3Prof. Adriano Marcos Rodrigues Figueiredo
!! Cuidado
Erro de previsão é a diferença entre o valor
observado e o valor previsto no conjunto de
teste.
Resíduos são os erros do conjunto de treino,
normalmente 1-passo-a-frente (o erro de
previsão pode ser múltiplos passos-a-frente)
4Prof. Adriano Marcos Rodrigues Figueiredo
Treino x Teste x Forecast
• https://www.otexts.org/fpp2/accuracy.html
• Acurácia
• Training set (80%) x test (20%)
– Deseja-se que o tamanho da amostra test seja maior ou
igual a h (horizonte de previsão desejado)
• Forecast
5Prof. Adriano Marcos Rodrigues Figueiredo
Possibilidades – Acurácia
Pindyck (2004)
• Raiz do Erro de Simulação Quadrático Médio (RMSE)
• Raiz do Erro Quadrático Médio Percentual (RMPSE)
• Erro de simulação Médio (ME)
• Erro percentual Médio (MPE)
• Erro absoluto médio (MAE)
• Erro absoluto percentual médio (MAPE)
• Coeficiente de desigualdade de Theil (U):
– Componentes de U para a média, variância e correlação
Prof. Adriano Marcos Rodrigues Figueiredo 6
{forecast} accuracy
• ME: Mean Error
• RMSE: Root Mean Squared Error
• MAE: Mean Absolute Error
• MPE: Mean Percentage Error
• MAPE: Mean Absolute Percentage Error
• MASE: Mean Absolute Scaled Error
• ACF1: Autocorrelation of errors at lag 1
• sMAPE – MAPE simétrico (Symmetric Mean Absolute
Percentage Error) - utilizado na competição M3 (não
recomendado em Hyndman & Koehler, 2006) – usar
pacote Metrics
7Prof. Adriano Marcos Rodrigues Figueiredo
https://robjhyndman.com/hyndsight/smape/
Hyndman e Athanosopoulos
8Prof. Adriano Marcos Rodrigues Figueiredo
Para séries temporais sazonais, utiliza-se um erro escalonado pelas previsões simples sazonais
e calcula-se o erro escalonado absoluto médio:
Eviews/R/Stata – funções prontas
Prof. Adriano Marcos Rodrigues Figueiredo 9
Comentários
• Raiz do Erro de Simulação Quadrático Médio (RMSE)
– EQM: Sensível aos outliers (observações atípicas)
– EQM: Depende das escalas – ponderar pelas variâncias
– A raiz tem menos problemas que o EQM: ideia do desvio-padrão
– Tende a preferir modelos que dão menos “erros grandes ocasionais”
embora com menos ajustamento geral
• Erro absoluto médio (MAE)
– Ideia de desvio-padrão
– Menos sensível aos grandes desvios
– Tende a preferir modelos que dão alguns erros grandes ocasionais mas
com melhor ajustamento geral
Prof. Adriano Marcos Rodrigues Figueiredo 10
Comentários
• Erro absoluto percentual médio (MAPE)
– Problema ao dividir por zero ou valores próximos de zero
– Resolve parte do problema da escala do MSE e MAE
• Theil
– Compara numerador e denominador
• Para a boa previsão, o numerador será pequeno comparado ao
denominador
• Criticado na literatura!
• Decomposição: a maior parte deveria estar concentrado na
covariance proportions
Prof. Adriano Marcos Rodrigues Figueiredo 11
R::: já saem na maioria dos ‘forecasts’
• https://www.otexts.org/fpp2/accuracy.html
• Acurácia (RMSE, MAE, MAPE, outros) e AICc
• Training set x test => Forecast
• Cuidados com quebras e choques
12Prof. Adriano Marcos Rodrigues Figueiredo
Algumas observações
• As vezes a literatura chama da amostra teste
como “fora da amostra” (neste caso, se
referindo ao conjunto de treino – training –
como a “amostra”)
• A função window será útil no R para separar
as amostras
• A sintaxe é: window(dados, start=ANO)
Ou usar a função subset
13Prof. Adriano Marcos Rodrigues Figueiredo
14
Alternativa
manual
de fazer
acurácia
Prof. Adriano Marcos Rodrigues Figueiredo
Prof. Adriano Marcos Rodrigues Figueiredo 15
Alternativa
manual
de fazer
acurácia
Ferreira, Pedro Costa. Business forecasting: trabalhando
com dados reais para resolver problemas reais. São Paulo:
FGV, 2018. Disponível em:
https://rpubs.com/modelthinkingbr/comentarios_iniciais
16Prof. Adriano Marcos Rodrigues Figueiredo
Pacote `forecast`
• Olha a acurácia considerando o forecast da
série treino contra a amostra teste
Prof. Adriano Marcos Rodrigues Figueiredo 17
Acurácia
• Em geral já consta da saída do forecast
• Census X13 Arima-Seats – precisa calcular
– RMetrics
– Ou fazer as próprias Funções
18Prof. Adriano Marcos Rodrigues Figueiredo
<suavizacao exponencial.Rproj>
exemplo consumo Morettin
19Prof. Adriano Marcos Rodrigues Figueiredo
Acurácia
exemplo consumo Morettin – sem divisão do dataset
20
Error measures:
Cons.ses AICc 1333.132
ME RMSE MAE MPE MAPE MASE ACF1
Training set -0.48717 19.84463 13.85645 -2.30761 11.10858 0.776381 0.056343
cons.holttrend.EXP AICc 1313.477
ME RMSE MAE MPE MAPE MASE ACF1
Training set 0.46574 19.83293 13.93578 -1.5169 11.10259 0.780826 0.054319
cons.holttrend.DAMPm AICc 1314.665
ME RMSE MAE MPE MAPE MASE ACF1
Training set -1.53043 19.74074 13.63352 -3.12121 10.98567 0.76389 0.062053
conshw2 AICc 1165.698
ME RMSE MAE MPE MAPE MASE ACF1
Training set 0.091076 8.746246 6.795998 -0.00541 5.6058 0.380782 0.126863
Prof. Adriano Marcos Rodrigues Figueiredo
Exercício varejo MS
• FIGUEIREDO, Adriano Marcos Rodrigues. Séries
Temporais: suavização exponencial e acurácia. Campo
Grande-MS,Brasil: RStudio/Rpubs, 2019. Disponível
em http://rpubs.com/amrofi/smoothing_varejoms.
21Prof. Adriano Marcos Rodrigues Figueiredo
Exemplo
Ver aplicação de Holt-Winters e acurácia em:
• FIGUEIREDO, Adriano Marcos Rodrigues. Séries
Temporais: previsão de ações com ETS. Campo
Grande-MS,Brasil: RStudio/Rpubs, 2019. Disponível
em http://rpubs.com/amrofi/stocks_ETS.
Prof. Adriano Marcos Rodrigues Figueiredo 22

Topicos de econometria de séries temporais 2020_1

  • 1.
    2501.000145-5 TÓPICOS ESPECIAISEM ECONOMETRIA C.H.: 68 horas – Turma 2020.1 – sala 2 bloco X Terça-feira 13h15m a 15h15m e Quinta-feira - 15h25m a 17h25m Prof. Dr. Adriano Marcos Rodrigues Figueiredo (UFMS – ESAN – Economia) E-mail: adriano.figueiredo@ufms.br ou amrofi@gmail.com 5 **As ideias e opiniões aqui expostas são de responsabilidade do autor e não representam a opinião da instituição a que pertence. Esta obra está licenciada com uma Licença Creative Commons Atribuição-CompartilhaIgual 4.0 Internacional. This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
  • 2.
    Avaliação da simulação •HYNDMAN e ATHANASOPOULOS (2018) https://www.otexts.org/fpp2/accuracy.html • FERREIRA, Pedro Costa (org.). Análise de Séries Temporais em R: curso introdutório. São Paulo: FGV/IBRE/Elsevier, 2017. • FERREIRA, Pedro Costa. Business forecasting: trabalhando com dados reais para resolver problemas reais. São Paulo: FGV, 2018. Disponível em: https://rpubs.com/modelthinkingbr/comentarios_iniciais • Sugestão de leitura: Pindyck (2004) - Econometria, cap. 13 Prof. Adriano Marcos Rodrigues Figueiredo 2
  • 3.
    Avaliação • Vários métodos:MQO, MQ2E, MQ3E, e vários de séries temporais (ses, hw, ets, arima, x13, híbridos, etc...) • Dadas as especificidades de cada um, qual a melhor simulação? • Acurácia • Propriedades dos resíduos ou do modelo • Critérios de Informação 3Prof. Adriano Marcos Rodrigues Figueiredo
  • 4.
    !! Cuidado Erro deprevisão é a diferença entre o valor observado e o valor previsto no conjunto de teste. Resíduos são os erros do conjunto de treino, normalmente 1-passo-a-frente (o erro de previsão pode ser múltiplos passos-a-frente) 4Prof. Adriano Marcos Rodrigues Figueiredo
  • 5.
    Treino x Testex Forecast • https://www.otexts.org/fpp2/accuracy.html • Acurácia • Training set (80%) x test (20%) – Deseja-se que o tamanho da amostra test seja maior ou igual a h (horizonte de previsão desejado) • Forecast 5Prof. Adriano Marcos Rodrigues Figueiredo
  • 6.
    Possibilidades – Acurácia Pindyck(2004) • Raiz do Erro de Simulação Quadrático Médio (RMSE) • Raiz do Erro Quadrático Médio Percentual (RMPSE) • Erro de simulação Médio (ME) • Erro percentual Médio (MPE) • Erro absoluto médio (MAE) • Erro absoluto percentual médio (MAPE) • Coeficiente de desigualdade de Theil (U): – Componentes de U para a média, variância e correlação Prof. Adriano Marcos Rodrigues Figueiredo 6
  • 7.
    {forecast} accuracy • ME:Mean Error • RMSE: Root Mean Squared Error • MAE: Mean Absolute Error • MPE: Mean Percentage Error • MAPE: Mean Absolute Percentage Error • MASE: Mean Absolute Scaled Error • ACF1: Autocorrelation of errors at lag 1 • sMAPE – MAPE simétrico (Symmetric Mean Absolute Percentage Error) - utilizado na competição M3 (não recomendado em Hyndman & Koehler, 2006) – usar pacote Metrics 7Prof. Adriano Marcos Rodrigues Figueiredo https://robjhyndman.com/hyndsight/smape/
  • 8.
    Hyndman e Athanosopoulos 8Prof.Adriano Marcos Rodrigues Figueiredo Para séries temporais sazonais, utiliza-se um erro escalonado pelas previsões simples sazonais e calcula-se o erro escalonado absoluto médio:
  • 9.
    Eviews/R/Stata – funçõesprontas Prof. Adriano Marcos Rodrigues Figueiredo 9
  • 10.
    Comentários • Raiz doErro de Simulação Quadrático Médio (RMSE) – EQM: Sensível aos outliers (observações atípicas) – EQM: Depende das escalas – ponderar pelas variâncias – A raiz tem menos problemas que o EQM: ideia do desvio-padrão – Tende a preferir modelos que dão menos “erros grandes ocasionais” embora com menos ajustamento geral • Erro absoluto médio (MAE) – Ideia de desvio-padrão – Menos sensível aos grandes desvios – Tende a preferir modelos que dão alguns erros grandes ocasionais mas com melhor ajustamento geral Prof. Adriano Marcos Rodrigues Figueiredo 10
  • 11.
    Comentários • Erro absolutopercentual médio (MAPE) – Problema ao dividir por zero ou valores próximos de zero – Resolve parte do problema da escala do MSE e MAE • Theil – Compara numerador e denominador • Para a boa previsão, o numerador será pequeno comparado ao denominador • Criticado na literatura! • Decomposição: a maior parte deveria estar concentrado na covariance proportions Prof. Adriano Marcos Rodrigues Figueiredo 11
  • 12.
    R::: já saemna maioria dos ‘forecasts’ • https://www.otexts.org/fpp2/accuracy.html • Acurácia (RMSE, MAE, MAPE, outros) e AICc • Training set x test => Forecast • Cuidados com quebras e choques 12Prof. Adriano Marcos Rodrigues Figueiredo
  • 13.
    Algumas observações • Asvezes a literatura chama da amostra teste como “fora da amostra” (neste caso, se referindo ao conjunto de treino – training – como a “amostra”) • A função window será útil no R para separar as amostras • A sintaxe é: window(dados, start=ANO) Ou usar a função subset 13Prof. Adriano Marcos Rodrigues Figueiredo
  • 14.
  • 15.
    Prof. Adriano MarcosRodrigues Figueiredo 15 Alternativa manual de fazer acurácia
  • 16.
    Ferreira, Pedro Costa.Business forecasting: trabalhando com dados reais para resolver problemas reais. São Paulo: FGV, 2018. Disponível em: https://rpubs.com/modelthinkingbr/comentarios_iniciais 16Prof. Adriano Marcos Rodrigues Figueiredo
  • 17.
    Pacote `forecast` • Olhaa acurácia considerando o forecast da série treino contra a amostra teste Prof. Adriano Marcos Rodrigues Figueiredo 17
  • 18.
    Acurácia • Em geraljá consta da saída do forecast • Census X13 Arima-Seats – precisa calcular – RMetrics – Ou fazer as próprias Funções 18Prof. Adriano Marcos Rodrigues Figueiredo
  • 19.
    <suavizacao exponencial.Rproj> exemplo consumoMorettin 19Prof. Adriano Marcos Rodrigues Figueiredo
  • 20.
    Acurácia exemplo consumo Morettin– sem divisão do dataset 20 Error measures: Cons.ses AICc 1333.132 ME RMSE MAE MPE MAPE MASE ACF1 Training set -0.48717 19.84463 13.85645 -2.30761 11.10858 0.776381 0.056343 cons.holttrend.EXP AICc 1313.477 ME RMSE MAE MPE MAPE MASE ACF1 Training set 0.46574 19.83293 13.93578 -1.5169 11.10259 0.780826 0.054319 cons.holttrend.DAMPm AICc 1314.665 ME RMSE MAE MPE MAPE MASE ACF1 Training set -1.53043 19.74074 13.63352 -3.12121 10.98567 0.76389 0.062053 conshw2 AICc 1165.698 ME RMSE MAE MPE MAPE MASE ACF1 Training set 0.091076 8.746246 6.795998 -0.00541 5.6058 0.380782 0.126863 Prof. Adriano Marcos Rodrigues Figueiredo
  • 21.
    Exercício varejo MS •FIGUEIREDO, Adriano Marcos Rodrigues. Séries Temporais: suavização exponencial e acurácia. Campo Grande-MS,Brasil: RStudio/Rpubs, 2019. Disponível em http://rpubs.com/amrofi/smoothing_varejoms. 21Prof. Adriano Marcos Rodrigues Figueiredo
  • 22.
    Exemplo Ver aplicação deHolt-Winters e acurácia em: • FIGUEIREDO, Adriano Marcos Rodrigues. Séries Temporais: previsão de ações com ETS. Campo Grande-MS,Brasil: RStudio/Rpubs, 2019. Disponível em http://rpubs.com/amrofi/stocks_ETS. Prof. Adriano Marcos Rodrigues Figueiredo 22