Baixado 11 vezes
Carregado porTazio Vanni
Calibração/Validação de Modelos Econômicos em Saúde
O documento discute metodologias para validação e calibração de modelos em avaliação econômica em saúde. Ele descreve sete passos para o processo de calibração, incluindo determinar quais parâmetros devem ser calibrados, alvos de calibração, medidas de ajuste, estratégias de busca e critérios de convergência. Além disso, discute como incorporar resultados da calibração em análises econômicas.
Calibração/Validação de Modelos Econômicos em Saúde
- 1. Validação/Calibração de Modelos Econômicosem Saúde Tazio Vanni
- 2. Objetivos • Aprender eaplicar as metodologias para validação/calibração de modelos em AES.
- 3. Estrutura • Background • Definições •7 Passos e métodos • Para ir além
- 4. Elementos - Modelo •Modelos são baseados: – Conhecimento atual sobre a doença – Parametros + alvos de validação/calibração – Pressupostos
- 5. O que écalibração? 1. Compara as estimativas produzidas pelo modelo (por exemplo, taxa de prevalência de doença) com dados empíricos. 2. Explora a variação dos parâmetros do modelo 3. Identificar combinações de parâmetros do modelo que proporcionem um melhor ajuste aos dados
- 6. Expressões –Validação –Calibração ou fitting –Validaçãocruzada –Otimização (Optimization Theory)
- 7. Vanni et al.IJC 2011; 129:671–9
- 8. Vanni et al.IJC 2011; 129:671–9
- 9. Vanni et al.IJC 2011; 129:671–9
- 10. Para que servea calibração? • Estimar valores de parâmetro não observados ou indisponíveis • Testar e ajustar a consistência dos modelos com dados empíricos • Ferramenta adicional para lidar com a incerteza sobre a estrutura do modelo de doença • Representar a correlação entre os parâmetros no modelo
- 11. Passos e métodos Oprocesso de calibração do modelo envolve decisões em vários níveis: 1.Quais parâmetros de entrada devem ser incluídos no processo de calibração? 2.Quais alvos de calibração devem ser usados? 3.Que medida de ”goodness-of-fit” (GOF) deve ser usada? 4.Qual estratégia de busca de parâmetros deve ser usada? 5.O que determina que o GOF de conjuntos de parâmetros é aceitável? 6.O que determina o término do processo de calibração (regra de parada)? 7.Como incorporamos os resultados da calibração do modelo e os parâmetros econômicos?
- 12. 1. Quais parâmetrosde entrada devem ser incluídos no processo de calibração? • Parâmetros não observáveis ou indisponíveis • Todos os parâmetros (não observáveis e observáveis) • Estrutura do modelo
- 13. 2. Quais alvosde calibração devem ser usados? • Existência de dados de boa qualidade para usar como metas de calibração • Saídas mais importantes para minha AES • Estrutura do modelo permite obter a saída desejada • Se os dados locais estiverem disponíveis, eles deve ser usados
- 14. 3. Que medidade ”goodness-of-fit” (GOF) deve ser usada? • Least square • Chi-square • Maximum Likelihood
- 15. Curves predicted at differentparameter values: parameter here is infection rate Observed data (number currently infected) 0 2000000 4000000 6000000 8000000 0 10 20 30 40 50 Time 0 2000000 4000000 6000000 8000000 0 10 20 30 40 50 Time
- 16.
- 17. 0 2000000 4000000 6000000 8000000 0 20 4060 Time 0 2000000 4000000 6000000 8000000 0 20 40 60 Time
- 18. 4. Qual estratégiade busca de parâmetros deve ser usada? • Grid search • Random search • Generalized reduced gradient • Downhill simplex (Nelder-Mead) • Genetic algorithm • Simulated Annealing • Combinations
- 19.
- 20. Assign distribution toparameters. Set i=1 Randomly draw values from these distributions Find f(Xi ) Calculate the GOF Record the parameter set values and GOF Is convergence satisfied? Yes No Use set(s) in the EE Store sets Is i ≥ total number of iterations Set i=i+1 Analyze the convergence of all recorded sets Yes No
- 21. Start with initialvector X1, initial temperature and other parameters (T, c, n) Accept or reject each point using Metropolis criterion. Update iteration i = i+1 Generate a new design point, in the vicinity of X1. Computefi + = f(Xi + ), Δf=fi + - fi Update the number of cycles as p=p+1. Set i=1. Reduce temperature Yes Yes No No Find f1=f(X1), Set i=1, cycle p=1 Is the number of iterations ≥ n? Convergence criteria satisfied? Stop Rao 2009 Engineering Optimization: theory and practice If the Δf ≤ 0, accept the new point and set Xi+1 = X. Otherwise, accept the new point with a probability of P(fi + ) = e-Δf/kT
- 22. 5. O quedetermina que o GOF de conjuntos de parâmetros é aceitável? • Ajuste visual plausível de acordo com os analistas • IC de 95% das metas de calibração como intervalos aceitáveis • Menor e os valores mais altos das possíveis alvos de calibração identificados na pesquisa bibliográfica • Construído 95% CI em torno do conjunto de parâmetros de melhor ajuste • Mais de um critério
- 23. 6. O quedetermina o término do processo de calibração (regra de parada)? • Aceitabilidade da convergência das saídas do modelo para os objetivos de calibração observados • Conclusão de um número especificado de pesquisas (ou iterações dentro do espaço de parâmetros)
- 24. 7. Como incorporamosos resultados da calibração do modelo e os parâmetros econômicos? • A maioria dos estudos usa o conjunto de parâmetros de melhor ajuste para executar a análise do caso base • Selecione 50 conjuntos de melhor ajuste e execute o caso base (Goldie et al 2007) • Use todos os conjuntos de melhor ajuste e execute um PSA variando apenas os parâmetros econômicos para cada conjunto (Brisson et al 2007) • A amostra do parâmetro de ajuste melhor define um de cada vez para executar uma iteração alterando os parâmetros de custo e utilidade em PSA. • A probabilidade de um conjunto calibrado sendo amostrado é determinada pelo GOF global (Karnon et al 2007) • Exemplo de diferentes combinações de parâmetros epidemiológicos (estrutura incluída) e econômicos para o PSA (Jit et al 2008)
- 25. Para ir além •Geradores eficientes de números aleatórios – ex: Mersenne-Twister • Maneiras mais eficientes de explorar as combinações de valores – ex: Latin Hypercube Sampling • Bayesian fitting – maneira mais abrangente que considerar as informações disponíveis a priori e estabelecer intervalos de credibilidade a posteriori.
- 26. Referências • Calibrating modelsin economic evaluation: a seven-step approach Vanni T, Karnon J, Madan J, White RG, Edmunds WJ, Foss AM, Legood R Pharmacoeconomics 2011;29(1):35-49. • Calibrating models in economic evaluation: a comparison of alternative measures of goodness of fit, parameter search strategies and convergence criteria Karnon J, Vanni T Pharmacoeconomics 2011; 29:51-62. • Spiegelhalter et al. (2000) Bayesian methods in health technology assessment HTA 4, 38.
Notas do Editor
- #20 Grid Search In most practical problems the grid search methods requires prohibitively large numbers of model evaluations. For example a model including 20 parameters, only considering the pi = 3, would require 320 = 3,486,784,401 evaluations.
- #21 Random search
- #22 Simulated Annealing is based on the thermodynamics of the crystallization of metal, where parameter searching involves the introduction of an artificial parameter called temperature that determines the probability of accepting a set of random parameter values. Can deal with combinatorial minimization problems (travelling salesman problem, circuits in a silicon substrate), if done we loose the concept of continuing downhill in a favourable direction, like in the Downhill simplex The name comes from the cooling of metals and Features: The quality of the final solution is not affected by the initial guesses, except that computational effort may increase with worse points. In a recent study, Chung Yi et al found that simulated annealing outperformed genetic algorithm in the calibration of a micro-simulation model, the Lung Cancer Policy Model.