O documento discute metodologias para validação e calibração de modelos em avaliação econômica em saúde. Ele descreve sete passos para o processo de calibração, incluindo determinar quais parâmetros devem ser calibrados, alvos de calibração, medidas de ajuste, estratégias de busca e critérios de convergência. Além disso, discute como incorporar resultados da calibração em análises econômicas.

1. Validação/Calibração de Modelos
Econômicos em Saúde
Tazio Vanni

2. Objetivos
• Aprender e aplicar as metodologias para
validação/calibração de modelos em AES.

3. Estrutura
• Background
• Definições
• 7 Passos e métodos
• Para ir além

4. Elementos - Modelo
• Modelos são baseados:
– Conhecimento atual sobre a doença
– Parametros + alvos de validação/calibração
– Pressupostos

5. O que é calibração?
1. Compara as estimativas produzidas pelo
modelo (por exemplo, taxa de prevalência de
doença) com dados empíricos.
2. Explora a variação dos parâmetros do
modelo
3. Identificar combinações de parâmetros do
modelo que proporcionem um melhor ajuste
aos dados

6. Expressões
–Validação
–Calibração ou fitting
–Validação cruzada
–Otimização (Optimization Theory)

7. Vanni et al. IJC 2011; 129:671–9

8. Vanni et al. IJC 2011; 129:671–9

9. Vanni et al. IJC 2011; 129:671–9

10. Para que serve a calibração?
• Estimar valores de parâmetro não observados
ou indisponíveis
• Testar e ajustar a consistência dos modelos
com dados empíricos
• Ferramenta adicional para lidar com a
incerteza sobre a estrutura do modelo de
doença
• Representar a correlação entre os parâmetros
no modelo

11. Passos e métodos
O processo de calibração do modelo envolve decisões em vários
níveis:
1.Quais parâmetros de entrada devem ser incluídos no processo de
calibração?
2.Quais alvos de calibração devem ser usados?
3.Que medida de ”goodness-of-fit” (GOF) deve ser usada?
4.Qual estratégia de busca de parâmetros deve ser usada?
5.O que determina que o GOF de conjuntos de parâmetros é
aceitável?
6.O que determina o término do processo de calibração (regra de
parada)?
7.Como incorporamos os resultados da calibração do modelo e os
parâmetros econômicos?

12. 1. Quais parâmetros de entrada devem ser
incluídos no processo de calibração?
• Parâmetros não observáveis ou indisponíveis​​
• Todos os parâmetros (não observáveis e​​
observáveis)
• Estrutura do modelo

13. 2. Quais alvos de calibração devem ser
usados?
• Existência de dados de boa qualidade para
usar como metas de calibração
• Saídas mais importantes para minha AES
• Estrutura do modelo permite obter a saída
desejada
• Se os dados locais estiverem disponíveis, eles
deve ser usados

14. 3. Que medida de ”goodness-of-fit” (GOF)
deve ser usada?
• Least square
• Chi-square
• Maximum Likelihood

15. Curves predicted at
different parameter values:
parameter here is infection rate
Observed data (number
currently infected)
0
2000000
4000000
6000000
8000000
0 10 20 30 40 50
Time
0
2000000
4000000
6000000
8000000
0 10 20 30 40 50
Time

16. 0
2000000
4000000
6000000
8000000
0 20 40 60
Time

17. 0
2000000
4000000
6000000
8000000
0 20 40 60
Time
0
2000000
4000000
6000000
8000000
0 20 40 60
Time

18. 4. Qual estratégia de busca de
parâmetros deve ser usada?
• Grid search
• Random search
• Generalized reduced gradient
• Downhill simplex (Nelder-Mead)
• Genetic algorithm
• Simulated Annealing
• Combinations

19. X2
X1
u2
l2
l1 u1

20. Assign distribution to parameters.
Set i=1
Randomly draw values from these distributions
Find f(Xi
)
Calculate the GOF
Record the parameter set values and GOF
Is convergence satisfied?
Yes
No
Use set(s) in the EE
Store sets
Is i ≥ total number of iterations
Set i=i+1
Analyze the convergence of all recorded sets
Yes
No

21. Start with initial vector X1, initial temperature and other parameters (T,
c, n)
Accept or reject each point using Metropolis criterion. Update iteration i =
i+1
Generate a new design point, in the vicinity of X1.
Computefi
+
= f(Xi
+
), Δf=fi
+
- fi
Update the number of cycles as p=p+1. Set i=1.
Reduce temperature
Yes
Yes
No
No
Find f1=f(X1), Set i=1, cycle p=1
Is the number of iterations ≥ n?
Convergence criteria satisfied?
Stop
Rao 2009
Engineering Optimization:
theory and practice
If the Δf ≤ 0, accept the new point and set
Xi+1 = X.
Otherwise, accept the new point with a probability
of
P(fi
+
) = e-Δf/kT

22. 5. O que determina que o GOF de conjuntos
de parâmetros é aceitável?
• Ajuste visual plausível de acordo com os analistas
• IC de 95% das metas de calibração como intervalos
aceitáveis
• Menor e os valores mais altos das possíveis alvos
de calibração identificados na pesquisa
bibliográfica
• Construído 95% CI em torno do conjunto de
parâmetros de melhor ajuste
• Mais de um critério

23. 6. O que determina o término do processo de
calibração (regra de parada)?
• Aceitabilidade da convergência das saídas do
modelo para os objetivos de calibração
observados
• Conclusão de um número especificado de
pesquisas (ou iterações dentro do espaço de
parâmetros)

24. 7. Como incorporamos os resultados da calibração
do modelo e os parâmetros econômicos?
• A maioria dos estudos usa o conjunto de parâmetros de melhor ajuste
para executar a análise do caso base
• Selecione 50 conjuntos de melhor ajuste e execute o caso base (Goldie
et al 2007)
• Use todos os conjuntos de melhor ajuste e execute um PSA variando
apenas os parâmetros econômicos para cada conjunto (Brisson et al
2007)
• A amostra do parâmetro de ajuste melhor define um de cada vez para
executar uma iteração alterando os parâmetros de custo e utilidade
em PSA.
• A probabilidade de um conjunto calibrado sendo amostrado é
determinada pelo GOF global (Karnon et al 2007)
• Exemplo de diferentes combinações de parâmetros epidemiológicos
(estrutura incluída) e econômicos para o PSA (Jit et al 2008)

25. Para ir além
• Geradores eficientes de números aleatórios –
ex: Mersenne-Twister
• Maneiras mais eficientes de explorar as
combinações de valores – ex: Latin Hypercube
Sampling
• Bayesian fitting – maneira mais abrangente
que considerar as informações disponíveis a
priori e estabelecer intervalos de credibilidade
a posteriori.

26. Referências
• Calibrating models in economic evaluation: a seven-step
approach Vanni T, Karnon J, Madan J, White RG, Edmunds WJ,
Foss AM, Legood R Pharmacoeconomics 2011;29(1):35-49.
• Calibrating models in economic evaluation: a comparison of
alternative measures of goodness of fit, parameter search
strategies and convergence criteria
Karnon J, Vanni T
Pharmacoeconomics 2011; 29:51-62.
• Spiegelhalter et al. (2000) Bayesian methods in health
technology assessment HTA 4, 38.