Curso "Delineamento de um projeto de pesquisa", ministrado por Sandra do Lago Moraes, Instituto de Medicina Tropical, Universidade de São Paulo

1. AVALIAÇÃO DO
DESEMPENHO DE
TESTES DIAGNÓSTICOS
- Estudo sobre um teste diagnóstico
busca determinar se o teste é útil na
prática clínica
- São usadas estatísticas descritivas

2. Para determinar se um teste é útil
precisamos avaliar
• Parâmetros intrínsecos e extrínsecos
do teste
• Factibilidade
• Bem como seus efeitos nas decisões
clínicas e nos desfechos

3. Validação de um teste
intrínseca
extrínseca
desempenho do teste
quando comparado a um
teste referência
capacidade do teste em
detectar a real situação da
população em relação à
doença que está sendo
estudada e também o
desempenho do teste em uma
dada população

4. Para a validação intrínseca
Temos que ter um meio de determinar
qual é a resposta correta:
•Padrão-ouro: indicador da presença (ou
ausência) da doença.
Em alguns casos tem-se um padrão-ouro
de definição
Até que ponto o teste fornece a resposta correta?

5. Parâmetros de validação intrínseca #1
 sensibilidade
 especificidade
 eficiência
são características do teste e não da população
em que está sendo aplicado (independem da
prevalência da doença)

6. Parâmetros de validação intrínseca #2
 valor preditivo do resultado positivo (VPP)
 valor preditivo do resultado negativo (VPN)
dependem da sensibilidade e da especificidade
do teste e da prevalência da doença na
população em estudo

7. Parâmetros de validação intrínseca #3
 Curva ROC
• Razões de verossimilhança
• Riscos relativos e diferenças de riscos

8. As aparências para a mente dão de
quatro tipos:
• as coisas ou são o que parecem ser
• Ou não são e nem parecem ser
• Ou são e não parecem ser
• Ou não são, mesmo assim parecem ser
Identificá-las corretamente todos estes
casos é a tarefa do homem sábio
(Epictetus, 55-135 d.C.)

9. Possibilidades
TESTE
DOENÇA - DIAGNÓSTICO
VERDADEIRO
presente ausente total
Positivo
Negativo
Total
Verdadeiros positivos
(VP)
Falsos positivos
(FP)
Verdadeiros negativos
(VN)
Falsos negativos
(FN)
VP +
FP
VP +
FN
VN +
FP
VN + FN
VP+FP+
VN+FN

10. TESTE DOENÇA- Diagnóstico verdadeiro
presente ausente total
positivo Verdadeiros positivos
(VP)
Falsos positivos
(FP) VP + FP
negativo Falsos negativos
(FN)
Verdadeiros negativos
(VN) VN+FN
total VP + FN VN + FP
SENSIBILIDADE
Proporção de resultados positivos detectados pelo teste
na população de positivos (VP) pela população de
doentes (VP+FN)
FN+VP
VP
=S

11. TESTE DOENÇA- Diagnóstico verdadeiro
presente ausente total
positivo Verdadeiros positivos
(VP)
Falsos positivos
(FP) VP + FP
negativo Falsos negativos
(FN)
Verdadeiros negativos
(VN) VN+FN
total VP + FN VN + FP
ESPECIFICIDADE
proporção de resultados negativos pelo teste na
população de não doentes (VN) pela população de não
doentes
FP+VN
VN
=E

12. Limiar de reatividade (ou “cut-off)
região de corte do teste, ou seja um valor
que acima do qual os resultados são
considerados positivos e indicam os
doentes e abaixo, os resultados são
dados como negativos e correspondem
aos não doentes

15. Máxima sensibilidade

16. Máxima especificidade

17. TESTE DOENÇA- Diagnóstico verdadeiro
presente ausente total
positivo Verdadeiros positivos
(VP)
Falsos positivos
(FP) VP + FP
negativo Falsos negativos
(FN)
Verdadeiros
negativos
(VN)
VN+FN
total VP + FN VN + FP VP+FN+VN+FP
EFICIÊNCIA (acurácia)
(quanto mais próximo de 1, melhor será o teste
em estudo)
FNFP+VNVP
VNVP
++
+
=Eficiência

18. Escolha de testes diagnósticos
 Será um teste de triagem? diagnóstico
individual? Inquérito epidemiológico?
Avaliação de vacina?
 A doença é rara ou freqüente na população a
ser estudada (prevalência)?
 A doença causa sintomas graves e
potencialmente fatais que devam ser
tratados?

19. Para triagem em bancos de sangue
• Testes com máxima sensibilidade
• Falsos positivos deverão ser
confirmados com outros testes mais
específicos

20. Para diagnóstico individual em
laboratório clínico
• Testes com máxima especificidade
• Falsos negativos serão compensados
com história clínica do paciente

21. Para inquéritos epidemiológicos
• Testes com máximas sensibilidade e
especificidade

22. Para avaliação do efeito de uma
vacina
• Teste com máxima especificidade,
considerando o risco da doença ocorrer
em indivíduos vacinados
• Falsos positivos caracterizariam a
vacina como não eficaz

23. A sensibilidade e a especificidade de um
teste são inversamente correlacionadas
1.mais sensível, mas menos específico: vai
fornecer um número considerável de falso-
positivos. São testes aceitáveis para triagem,
principalmente de bancos de sangue.
2.mais específico, mas menos sensível: vai
fornecer uma maior número de falsos
negativos, mas o diagnóstico é mais acurado.
Na prática, existem dois tipos de testes:

24. Para aumentar o valor preditivo de um resultado
positivo de um teste, podem ser combinados dois
ou mais testes diagnósticos. Por exemplo:
1.Testes paralelos:
dois testes independentes, cada um com alta
especificidade
(>>aumento da sensibilidade)
2.Testes sucessivos:
1o
- de triagem (alta sensibilidade)
para todos casos de resultados positivos, fazer
o 2o
- teste diagnóstico (alta especificidade)

25. Curva ROC (Receiver Operator Characteristic)
Teste inútil
Teste perfeito
Pontos de corte
diferentes para
considerar
o teste
positivo
Teste adequado
área sob a curva=
desempenho global
de um teste
(varia de 0,5-1,0)

26. TESTE DOENÇA- Diagnóstico verdadeiro
presente ausente total
positivo Verdadeiros positivos
(VP)
Falsos positivos
(FP) VP + FP
negativo Falsos negativos
(FN)
Verdadeiros
negativos
(VN)
VN+FN
total VP + FN VN + FP VP+FN+VN+FP
PREVALÊNCIA
porcentagem de indivíduos doentes em uma população.
Consideramos como indivíduos doentes, os verdadeiros positivos
somados aos falsos negativos (VP + FN)
FNFP+VNVP
FNVP
Pr
++
+
=evalência

27. TESTE DOENÇA- Diagnóstico verdadeiro
presente ausente total
positivo Verdadeiros positivos
(VP)
Falsos positivos
(FP) VP + FP
negativo Falsos negativos
(FN)
Verdadeiros negativos
(VN) VN+FN
total VP + FN VN + FP
VALOR PREDITIVO DO RESULTADO POSITIVO (VPP)
proporção de indivíduos doentes entre os resultados
positivos obtidos no teste, portanto se refere a
probabilidade de doença quando o resultado do teste é
positivo.
FP+VP
VP
=VPP

28. TESTE DOENÇA- Diagnóstico verdadeiro
presente ausente total
positivo Verdadeiros positivos
(VP)
Falsos positivos
(FP) VP + FP
negativo Falsos negativos
(FN)
Verdadeiros negativos
(VN) VN+FN
total VP + FN VN + FP
VALOR PREDITIVO DO RESULTADO NEGATIVO (VPN)
proporção de indivíduos não doentes entre os resultados
negativos obtidos no teste, portanto se refere a
probabilidade de não doença quando
o resultado do teste é negativo
FN+VN
VN
=VPN

29. Como a prevalência interfere nos
Valores Preditivos
(Positivo e Negativo)???

30. Um teste com 95% de sensibilidade e
95% de especificidade
Prevalência da doença – 1%
20 1980
1881
99
1
19
1882
118
TESTE DOENÇA- Diagnóstico verdadeiro
presente ausente total
positivo
negativo
total
2000

31. Um teste com 95% de sensibilidade e
95% de especificidade
Prevalência da doença – 20%
400 1600
1520
80
20
380
1540
460
TESTE DOENÇA- Diagnóstico verdadeiro
presente ausente total
positivo
negativo
total
2000

32. Razões de verossimilhança (RV) (razões
de probabilidades ou “Likelihood ratios”)
• permite que sejam aproveitadas todas
as informações sobre um teste
• Indica como o resultado de um teste
pode aumentar ou diminuir a
probabilidade de doença
• Para cada resultado (+ ou -) do teste:

33. Ideia por trás das RV
• A não ser que um teste seja
perfeitamente acurado, saber o
resultado do teste não nos diz se a
pessoa testada tem ou não a doença.
• Precisamos olhar para um resultado e
pensarmos: “Em quanto o resultado
aumenta a probabilidade de ocorrência
do resultado em um indivíduo com a
doença em relação a um indivíduo sem
a doença?”

34. ↑ RV Melhor o resultado do teste
para aprovar um diagnóstico
↓ RV Melhor o resultado do teste
para eliminar a possibilidade
de doença

35. Quando os dados avaliados são expressos em
sensibilidade e especificidade, pode-se calcular
RV como:
RV não depende da prevalência da
doença

36. Chances (odds)
Ex. probabilidade de 80% corresponde a 4 chances
de doença contra uma chance de não doença
- Chance e probabilidade são relacionadas, mas não idênticas
•- Chance ou odds é expressa como fração (x chances em 1)
e probabilidade é expressa como fração decimal
variando de zero a um, ou como uma porcentagem)

37. Podemos calcular a chance de
doença pós-teste
Chance de doença pós-teste=
Chance de doença pré-teste x RV

38. Aplicação de um teste com S= 98% e E=99% para triagem
da doença de Chagas em 10.000 amostras de sangue de
banco de sangue onde a prevalência da doença é de 0,5%
50 9.950
9.751
199
1
49
9.752
258
TESTE DOENÇA- Diagnóstico verdadeiro
presente ausente Total
positivo
negativo
total
10.000

39. Imaginemos esse teste para
selecionar cavalos de raça como
potenciais vencedores de corridas
• A chance pré-teste de acertar um
cavalo vencedor entre 10.000 cavalos é
somente de 0,005 (prevalência= 0,5%),
ou seja 0,00502 para 1

40. Aplicamos o teste nos 10.000
cavalos
• 49/248= 1/5= 20%, bem maior que a probabilidade inicial
que era de 1/200 (prevalência de 0,5%)
50 9.950
9.751
199
1
49
9.752
248
10.000
A chance pós-teste aumentou 50x a chance pré-teste
Vencedores
pelo teste
Chance de doença pós-teste= Chance de doença pré-teste x RV
0,0254= 0,00502 x RV ⇒ RV=50

41. Para verificar a acurácia
Delineamento
•Testes diagnósticos:
- caso-controle- indivíduos com e sem a doença são
amostrados separadamente (difícil!!!)
- transversal- produz resultados mais válidos e de
interpretação mais fácil
•Testes prognósticos: coortes prospectivo ou
retrospectivo
Variáveis
•preditoras : resultado do teste
•de desfecho: a doença (ou o seu desfecho)

42. Parâmetros de validação
extrínseca
 precisão
 acurácia ou exatidão
 reprodutibilidade

43. Reprodutibilidade
Refere-se a obtenção de
resultados iguais em testes
realizados com a mesma amostra
do material biológico, quando
feitos por diferentes pessoas em
diferentes locais e se garante
quando a precisão e a exatidão
são sempre avaliadas.

44. Qual é a reprodutibilidade do teste?
Estudos de variabilidade intra e interobservador e
intra e inter-laboratório
•Delineamento: transversal
•Análise: são variáveis categóricas
Coeficiente de concordância: proporção de
observações nas quais a concordância é total
Coeficiente de concordância kappa (κ): mede o
grau de concordância além do que seria esperado
pelo acaso. Varia de -1 a 1.

45. Coeficiente de concordância kappa
(κ)
Valor de kappa Concordância
0 nenhuma
0,00-0,20 Ruim
0,21-0,40 Fraca
0,41-0,60 Moderada
0,61-0,80 Substancial
0,81-1,00 Quase perfeita

46. Precisão
determina existir concordância dos
resultados obtidos quando um
mesmo teste é feito várias vezes.
Mede o erro acidental do método,
que corresponde ao erro
experimental acumulado.

47. Acurácia ou exatidão
é o grau de concordância entre a concentração
do imuno-reagente determinada pelo teste e a
real concentração no material a ser testado.
Determina a capacidade do teste em fornecer
resultados muito próximos ao verdadeiro valor
do que se está medindo.
A medida da exatidão permite detectar erro
sistemático ou a tendência dos resultados de
se desviarem em uma dada direção e
proporção em relação ao valor real.

48. Variações na precisão e exatidão
PRECISO,
mas não EXATO
não PRECISO,
e não EXATO

49. Variações na precisão e exatidão
EXATO,
mas não PRECISO
PRECISO
e EXATO

50. Aula baseada no capítulo 1
“Sorologia” do livro.
Diagnóstico de laboratório
Curso “Delineamento de um projeto de pesquisa” (aula 9)
Sandra do Lago Moraes
Instituto de Medicina Tropical, Universidade de São Paulo
Maio de 2012