Backtesting

502 visualizações

Publicada em

Publicada em: Educação
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
502
No SlideShare
0
A partir de incorporações
0
Número de incorporações
3
Ações
Compartilhamentos
0
Downloads
11
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Backtesting

  1. 1. Backtesting Análise de Risco (7) R.Vicente 1
  2. 2. Resumo Basle Traffic Light Teste de Proporção de Falhas (Kupiec POF) Tempo até Primeira Falha (Kupiec TUFF) Ponderação por tamanho de perda (Lopez) Tempo entre Falhas Bibliografia 2
  3. 3. Basle Traffic Light ⎛N⎞ n P(n N = 250; q = 1%) = ⎜ ⎟ q (1 − q) N −n ⎝n⎠ 30% 25% P(n|N,q) 20% 15% 10% 5% 0% 0 1 2 3 4 5 6 7 8 9 10 11 12 n 3
  4. 4. Basle Traffic Light Para intervalo de confiança = 99% # Exceções Prob. Cumulativa 100% 0 8,11% 1 28,58% 80% SUM(P(k|N,q);k<n) 2 54,32% 60% 3 75,81% 4 89,22% 40% 5 95,88% 20% 6 98,63% 7 99,60% 0% 8 99,89% 0 1 2 3 4 5 6 7 8 9 10 11 12 9 99,97% n 10 99,99% 11 100,00% 12 100,00% 13 100,00% 4
  5. 5. Basle Traffic Light PETR4 EWMA Lambda=0,99 12% 8% 4% 0% -4% -8% -12% nov-01 fev-02 set-01 jul-02 ago-01 out-01 dez-01 jan-02 mar-02 mai-02 jun-02 ago-02 abr-02 EWMA Backtest 9% n=4 8% 7% 6% P&L 5% 4% 3% 2% 1% 1% 2% 3% 4% 5% 6% 7% 8% Previsão com 99% (unicaudal) 5
  6. 6. Basle Traffic Light EWMA Lambda=0,96 PETR4 12% 8% 4% 0% -4% -8% -12% nov-01 fev-02 set-01 mar-02 abr-02 ago-01 out-01 mai-02 dez-01 jan-02 jun-02 jul-02 ago-02 EWMA Backtest 9% n=6 8% 7% 6% P&L 5% 4% 3% 2% 1% 1% 2% 3% 4% 5% 6% 7% 8% 9% Previsão com 99% (unicaudal) 6
  7. 7. Basle Traffic Light EWMA Lambda=0,5 PETR4 12% 8% 4% 0% -4% -8% -12% nov-01 fev-02 ago-01 set-01 out-01 dez-01 jan-02 mar-02 abr-02 mai-02 jun-02 jul-02 ago-02 EWMA Backtest 9% n=10 8% 7% 6% P&L 5% 4% 3% 2% 1% 1% 3% 5% 7% 9% 11% 13% 15% 17% Previsão com 99% (unicaudal) 7
  8. 8. Basle Traffic Light Medida paliativa para corrigir modelos rejeitados: aumentar coeficiente de confiança. EWMA Lambda=0,5# Exceções Prob. Cumulativa Confiança 0 8,11% 2,33 1 28,58% 2,33 12% 2 54,32% 2,33 8% 4% 3 75,81% 2,33 0% 4 89,22% 2,33 -4% -8% 5 95,88% 2,73 -12% nov-01 fev-02 ago-01 set-01 out-01 jan-02 mai-02 jun-02 ago-02 dez-01 mar-02 abr-02 jul-02 6 98,63% 2,83 7 99,60% 2,98 8 99,89% 3,08 EWMA Backtest 9 99,97% 3,18 19% 10 99,99% 3,33 17% 11 100,00% 3,33 15% 12 100,00% 3,33 P&L 13% 11% 13 100,00% 3,33 9% 7% 5% 3% 1% 1% 6% 11% 16% 8 Previsão com 99% (unicaudal)
  9. 9. Proporção de Falhas Hipótese nula: Probabilidade estimada na amostra = 1% . n H 0 : p = p = = 0,01 ˆ N N= # de pontos e n=# de falhas observadas. Teste de razão de verossimilhança: ⎛ ⎞ 14 ⎜ 1% n (1 − 1%) N −n ⎟ ( ) 12 LR = −2 ln ⎜ N −n ⎟ 10 ⎜⎛ n ⎞ ⎛ n n⎞ ⎟ 8 LR ⎜ ⎜ ⎟ ⎜1 − ⎟ ⎟ 6 ⎝⎝ N ⎠ ⎝ N⎠ ⎠ 4 LR tem distribuição χ2 com 1 grau 2 0 de liberdade quando N →∞ 1 2 3 4 5 6 7 8 9 10 9 n
  10. 10. Proporção de Falhas Com 95 % de confiança não rejeitamos a hipótese nula de p=1% se LR < LRMAX P( LR < LRmax ) = 95% 100% 14 90% 80% 12Chi 2 Acumulado 70% 10 60% 8 LR 50% 40% 6 30% 4 20% 10% 2 0% 0 0 2 4 6 8 10 1 2 3 4 5 6 7 8 9 10 LRMAX = 3,84 → n < 7 LR n 10
  11. 11. Proporção de Falhas EWMA Lambda=0,96 12% 8% 4% 0% -4% -8% -12% fev-02 nov-01 ago-01 set-01 jan-02 mar-02 abr-02 jun-02 jul-02 out-01 dez-01 mai-02 ago-02 n=6 Não Rejeita Hipótese Nula. 11
  12. 12. Tempo até a Primeira Falha Hipótese nula: Para q=1%, 1 falha a cada 100 dias. Alternativamente, o tempo médio para a primeira falha na amostra é de 100 dias. 1 H0 : p = p = ˆ = 0,01 1 ν probabilidade de falha em um dia. ν ⎛ ⎞ ⎜ ⎟ 0,01(1 − 0,01)ν −1 ⎟ LRTUFF = −2 ln ⎜ ⎜ ⎛ 1 ⎞⎛ 1 ⎞ν −1 ⎟ ⎜ ⎜ ⎟⎜ 1 − ⎟ ⎟ ⎝ ⎝ ν ⎠⎝ ν ⎠ ⎠ LR tem distribuição χ2 com 1 grau de liberdade quando N →∞ 12
  13. 13. Tempo até a Primeira FalhaCom 95% de confiança ν > ν MIN e ν < ν MAX P ( LR < LRMAX ) = 95% 8 6 LR 4 2 0 2 42 82 122 162 202 242 282 322 362 402 ν LRMAX = 3,84 → 7 < ν < 438 13
  14. 14. Tempo até a Primeira Falha EWMA Lambda=0,96 Lambda=0,9612% 8% 4% 0%-4%-8%-12% fev-02 nov-01 set-01 ago-01 out-01 ago-02 dez-01 mar-02 abr-02 mai-02 jul-02 jan-02 jun-02 ν = 18 Não rejeita Hipótese Nula. 14
  15. 15. Função de Magnitude de Perda Hipótese Nula: Os log-retornos de 1 dia têm distribuição condicional normal com média nula. ⎧ R − VaR ⎪ j ⎪ ⎪ j ⎪ VaR , R j > VaR j Cj = ⎨ ⎪ ⎪ j ⎪ ⎪ 0, c.c. ⎩ 250 C250 = ∑ C j j =1 15
  16. 16. Função de Magnitude de Perda Dada a hipótese nula C 250 pode ser obtido via simulação utilizando am=ostras i.i.d. de uma distribuição Normal N(0,1): 150 100 50 0 0 0. 5 1 1. 5 2 2. 5 3 Com 95% de confiança C250 < 1, 2 16
  17. 17. Função de Magnitude de Perda EWMA Lambda=0,9612% 8% 4% 0%-4%-8%-12% fev-02 nov-01 set-01 ago-01 out-01 mai-02 ago-02 dez-01 mar-02 abr-02 jul-02 jan-02 jun-02 1% 35% 35% 28% 52% e 79%C250 = 2,31 Rejeita Hipótese Nula com 95 % de 17 confiança
  18. 18. Tempo Entre Falhas Hipótese nula: As falhas são independentes e para q=1%, o tempo médio entre falhas na amostra é de 100 dias. ⎛ ⎞ ⎛ ⎞ ⎜ ν k −1 ⎟ ⎜ ν1 −1 ⎟ n ⎜ 0,01(1 − 0,01) ⎟ ⎜ 0,01(1 − 0,01) ⎟ LR = −∑ 2 ln ⎜ ν k −1 ⎟ − 2 ln ⎜ ν1 −1 ⎟ k =2 ⎜ ⎛ 1 ⎞⎛ 1 − 1 ⎞ ⎟ ⎜ ⎛ 1 ⎞⎛ 1 − 1 ⎞ ⎟ ⎜ ⎜ ν ⎟⎜ ν ⎟ ⎟ ⎜ ⎜ ν ⎟⎜ ν ⎟ ⎟ ⎝ ⎝ k ⎠⎝ k ⎠ ⎠ ⎝ ⎝ 1 ⎠⎝ 1⎠ ⎠ νk é o tempo entre as falhas k-1 e k.LR tem distribuição χ2 com n+1 graus de liberdade quando N →∞ 18
  19. 19. Tempo Entre Falhas 100% 80% Chi 2 Acumulado 60% 40% 20% 0% 0 5 10 15 LR Com 95% de confiança LR<12,6. 19
  20. 20. Tempo Entre Falhas EWMA Lambda=0,9612% 8% 4% 0%-4%-8%-12% fev-02 nov-01 set-01 ago-01 out-01 ago-02 dez-01 mar-02 abr-02 mai-02 jul-02 jan-02 jun-02 17 17 43 143 dias dias dias dias 1 dia 4 diasLR >18 Rejeita a Hipótese nula com 95% de confiança 20
  21. 21. Sumário S S S Proporção de Tempo Magnitude Falhas entre falhas ? OK ? ? N N N VaR Correlação entre Caudas pesadas subestimado Falhas 21
  22. 22. Bibliografia• Jorion P., Value at Risk, Irwin, 1997.• RiskMetrics Technical Document (www.riskmetrics.com).• Basle Committee on Banking Supervision, “Supervisory Framework for the use ofBacktesting in Conjunction with the Internal Models Approach to Market RiskCapital Requirements”, Jan/96, www.bis.org Leituras ComplementaresHaas, Marcus, New Methods in Backtesting, 2001, www.gloriamundi.orgBlanco, C. e Ihle, G., How Good is Your VaR ? Using Backtesting to AssessSystem Performance, Financial Engineering News nr. 11, http://fenews.com 22

×