O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Validação de Testes Diagnósticos (aula 9)

1.834 visualizações

Publicada em

Curso "Delineamento de um projeto de pesquisa", ministrado por Sandra do Lago Moraes, Instituto de Medicina Tropical, Universidade de São Paulo

Publicada em: Ciências

Validação de Testes Diagnósticos (aula 9)

  1. 1. AVALIAÇÃO DO DESEMPENHO DE TESTES DIAGNÓSTICOS - Estudo sobre um teste diagnóstico busca determinar se o teste é útil na prática clínica - São usadas estatísticas descritivas
  2. 2. Para determinar se um teste é útil precisamos avaliar • Parâmetros intrínsecos e extrínsecos do teste • Factibilidade • Bem como seus efeitos nas decisões clínicas e nos desfechos
  3. 3. Validação de um teste intrínseca extrínseca desempenho do teste quando comparado a um teste referência capacidade do teste em detectar a real situação da população em relação à doença que está sendo estudada e também o desempenho do teste em uma dada população
  4. 4. Para a validação intrínseca Temos que ter um meio de determinar qual é a resposta correta: •Padrão-ouro: indicador da presença (ou ausência) da doença. Em alguns casos tem-se um padrão-ouro de definição Até que ponto o teste fornece a resposta correta?
  5. 5. Parâmetros de validação intrínseca #1  sensibilidade  especificidade  eficiência são características do teste e não da população em que está sendo aplicado (independem da prevalência da doença)
  6. 6. Parâmetros de validação intrínseca #2  valor preditivo do resultado positivo (VPP)  valor preditivo do resultado negativo (VPN) dependem da sensibilidade e da especificidade do teste e da prevalência da doença na população em estudo
  7. 7. Parâmetros de validação intrínseca #3  Curva ROC • Razões de verossimilhança • Riscos relativos e diferenças de riscos
  8. 8. As aparências para a mente dão de quatro tipos: • as coisas ou são o que parecem ser • Ou não são e nem parecem ser • Ou são e não parecem ser • Ou não são, mesmo assim parecem ser Identificá-las corretamente todos estes casos é a tarefa do homem sábio (Epictetus, 55-135 d.C.)
  9. 9. Possibilidades TESTE DOENÇA - DIAGNÓSTICO VERDADEIRO presente ausente total Positivo Negativo Total Verdadeiros positivos (VP) Falsos positivos (FP) Verdadeiros negativos (VN) Falsos negativos (FN) VP + FP VP + FN VN + FP VN + FN VP+FP+ VN+FN
  10. 10. TESTE DOENÇA- Diagnóstico verdadeiro presente ausente total positivo Verdadeiros positivos (VP) Falsos positivos (FP) VP + FP negativo Falsos negativos (FN) Verdadeiros negativos (VN) VN+FN total VP + FN VN + FP SENSIBILIDADE Proporção de resultados positivos detectados pelo teste na população de positivos (VP) pela população de doentes (VP+FN) FN+VP VP =S
  11. 11. TESTE DOENÇA- Diagnóstico verdadeiro presente ausente total positivo Verdadeiros positivos (VP) Falsos positivos (FP) VP + FP negativo Falsos negativos (FN) Verdadeiros negativos (VN) VN+FN total VP + FN VN + FP ESPECIFICIDADE proporção de resultados negativos pelo teste na população de não doentes (VN) pela população de não doentes FP+VN VN =E
  12. 12. Limiar de reatividade (ou “cut-off) região de corte do teste, ou seja um valor que acima do qual os resultados são considerados positivos e indicam os doentes e abaixo, os resultados são dados como negativos e correspondem aos não doentes
  13. 13. Máxima sensibilidade
  14. 14. Máxima especificidade
  15. 15. TESTE DOENÇA- Diagnóstico verdadeiro presente ausente total positivo Verdadeiros positivos (VP) Falsos positivos (FP) VP + FP negativo Falsos negativos (FN) Verdadeiros negativos (VN) VN+FN total VP + FN VN + FP VP+FN+VN+FP EFICIÊNCIA (acurácia) (quanto mais próximo de 1, melhor será o teste em estudo) FNFP+VNVP VNVP ++ + =Eficiência
  16. 16. Escolha de testes diagnósticos  Será um teste de triagem? diagnóstico individual? Inquérito epidemiológico? Avaliação de vacina?  A doença é rara ou freqüente na população a ser estudada (prevalência)?  A doença causa sintomas graves e potencialmente fatais que devam ser tratados?
  17. 17. Para triagem em bancos de sangue • Testes com máxima sensibilidade • Falsos positivos deverão ser confirmados com outros testes mais específicos
  18. 18. Para diagnóstico individual em laboratório clínico • Testes com máxima especificidade • Falsos negativos serão compensados com história clínica do paciente
  19. 19. Para inquéritos epidemiológicos • Testes com máximas sensibilidade e especificidade
  20. 20. Para avaliação do efeito de uma vacina • Teste com máxima especificidade, considerando o risco da doença ocorrer em indivíduos vacinados • Falsos positivos caracterizariam a vacina como não eficaz
  21. 21. A sensibilidade e a especificidade de um teste são inversamente correlacionadas 1.mais sensível, mas menos específico: vai fornecer um número considerável de falso- positivos. São testes aceitáveis para triagem, principalmente de bancos de sangue. 2.mais específico, mas menos sensível: vai fornecer uma maior número de falsos negativos, mas o diagnóstico é mais acurado. Na prática, existem dois tipos de testes:
  22. 22. Para aumentar o valor preditivo de um resultado positivo de um teste, podem ser combinados dois ou mais testes diagnósticos. Por exemplo: 1.Testes paralelos: dois testes independentes, cada um com alta especificidade (>>aumento da sensibilidade) 2.Testes sucessivos: 1o - de triagem (alta sensibilidade) para todos casos de resultados positivos, fazer o 2o - teste diagnóstico (alta especificidade)
  23. 23. Curva ROC (Receiver Operator Characteristic) Teste inútil Teste perfeito Pontos de corte diferentes para considerar o teste positivo Teste adequado área sob a curva= desempenho global de um teste (varia de 0,5-1,0)
  24. 24. TESTE DOENÇA- Diagnóstico verdadeiro presente ausente total positivo Verdadeiros positivos (VP) Falsos positivos (FP) VP + FP negativo Falsos negativos (FN) Verdadeiros negativos (VN) VN+FN total VP + FN VN + FP VP+FN+VN+FP PREVALÊNCIA porcentagem de indivíduos doentes em uma população. Consideramos como indivíduos doentes, os verdadeiros positivos somados aos falsos negativos (VP + FN) FNFP+VNVP FNVP Pr ++ + =evalência
  25. 25. TESTE DOENÇA- Diagnóstico verdadeiro presente ausente total positivo Verdadeiros positivos (VP) Falsos positivos (FP) VP + FP negativo Falsos negativos (FN) Verdadeiros negativos (VN) VN+FN total VP + FN VN + FP VALOR PREDITIVO DO RESULTADO POSITIVO (VPP) proporção de indivíduos doentes entre os resultados positivos obtidos no teste, portanto se refere a probabilidade de doença quando o resultado do teste é positivo. FP+VP VP =VPP
  26. 26. TESTE DOENÇA- Diagnóstico verdadeiro presente ausente total positivo Verdadeiros positivos (VP) Falsos positivos (FP) VP + FP negativo Falsos negativos (FN) Verdadeiros negativos (VN) VN+FN total VP + FN VN + FP VALOR PREDITIVO DO RESULTADO NEGATIVO (VPN) proporção de indivíduos não doentes entre os resultados negativos obtidos no teste, portanto se refere a probabilidade de não doença quando o resultado do teste é negativo FN+VN VN =VPN
  27. 27. Como a prevalência interfere nos Valores Preditivos (Positivo e Negativo)???
  28. 28. Um teste com 95% de sensibilidade e 95% de especificidade Prevalência da doença – 1% 20 1980 1881 99 1 19 1882 118 TESTE DOENÇA- Diagnóstico verdadeiro presente ausente total positivo negativo total 2000
  29. 29. Um teste com 95% de sensibilidade e 95% de especificidade Prevalência da doença – 20% 400 1600 1520 80 20 380 1540 460 TESTE DOENÇA- Diagnóstico verdadeiro presente ausente total positivo negativo total 2000
  30. 30. Razões de verossimilhança (RV) (razões de probabilidades ou “Likelihood ratios”) • permite que sejam aproveitadas todas as informações sobre um teste • Indica como o resultado de um teste pode aumentar ou diminuir a probabilidade de doença • Para cada resultado (+ ou -) do teste:
  31. 31. Ideia por trás das RV • A não ser que um teste seja perfeitamente acurado, saber o resultado do teste não nos diz se a pessoa testada tem ou não a doença. • Precisamos olhar para um resultado e pensarmos: “Em quanto o resultado aumenta a probabilidade de ocorrência do resultado em um indivíduo com a doença em relação a um indivíduo sem a doença?”
  32. 32. ↑ RV Melhor o resultado do teste para aprovar um diagnóstico ↓ RV Melhor o resultado do teste para eliminar a possibilidade de doença
  33. 33. Quando os dados avaliados são expressos em sensibilidade e especificidade, pode-se calcular RV como: RV não depende da prevalência da doença
  34. 34. Chances (odds) Ex. probabilidade de 80% corresponde a 4 chances de doença contra uma chance de não doença - Chance e probabilidade são relacionadas, mas não idênticas •- Chance ou odds é expressa como fração (x chances em 1) e probabilidade é expressa como fração decimal variando de zero a um, ou como uma porcentagem)
  35. 35. Podemos calcular a chance de doença pós-teste Chance de doença pós-teste= Chance de doença pré-teste x RV
  36. 36. Aplicação de um teste com S= 98% e E=99% para triagem da doença de Chagas em 10.000 amostras de sangue de banco de sangue onde a prevalência da doença é de 0,5% 50 9.950 9.751 199 1 49 9.752 258 TESTE DOENÇA- Diagnóstico verdadeiro presente ausente Total positivo negativo total 10.000
  37. 37. Imaginemos esse teste para selecionar cavalos de raça como potenciais vencedores de corridas • A chance pré-teste de acertar um cavalo vencedor entre 10.000 cavalos é somente de 0,005 (prevalência= 0,5%), ou seja 0,00502 para 1
  38. 38. Aplicamos o teste nos 10.000 cavalos • 49/248= 1/5= 20%, bem maior que a probabilidade inicial que era de 1/200 (prevalência de 0,5%) 50 9.950 9.751 199 1 49 9.752 248 10.000 A chance pós-teste aumentou 50x a chance pré-teste Vencedores pelo teste Chance de doença pós-teste= Chance de doença pré-teste x RV 0,0254= 0,00502 x RV ⇒ RV=50
  39. 39. Para verificar a acurácia Delineamento •Testes diagnósticos: - caso-controle- indivíduos com e sem a doença são amostrados separadamente (difícil!!!) - transversal- produz resultados mais válidos e de interpretação mais fácil •Testes prognósticos: coortes prospectivo ou retrospectivo Variáveis •preditoras : resultado do teste •de desfecho: a doença (ou o seu desfecho)
  40. 40. Parâmetros de validação extrínseca  precisão  acurácia ou exatidão  reprodutibilidade
  41. 41. Reprodutibilidade Refere-se a obtenção de resultados iguais em testes realizados com a mesma amostra do material biológico, quando feitos por diferentes pessoas em diferentes locais e se garante quando a precisão e a exatidão são sempre avaliadas.
  42. 42. Qual é a reprodutibilidade do teste? Estudos de variabilidade intra e interobservador e intra e inter-laboratório •Delineamento: transversal •Análise: são variáveis categóricas Coeficiente de concordância: proporção de observações nas quais a concordância é total Coeficiente de concordância kappa (κ): mede o grau de concordância além do que seria esperado pelo acaso. Varia de -1 a 1.
  43. 43. Coeficiente de concordância kappa (κ) Valor de kappa Concordância 0 nenhuma 0,00-0,20 Ruim 0,21-0,40 Fraca 0,41-0,60 Moderada 0,61-0,80 Substancial 0,81-1,00 Quase perfeita
  44. 44. Precisão determina existir concordância dos resultados obtidos quando um mesmo teste é feito várias vezes. Mede o erro acidental do método, que corresponde ao erro experimental acumulado.
  45. 45. Acurácia ou exatidão é o grau de concordância entre a concentração do imuno-reagente determinada pelo teste e a real concentração no material a ser testado. Determina a capacidade do teste em fornecer resultados muito próximos ao verdadeiro valor do que se está medindo. A medida da exatidão permite detectar erro sistemático ou a tendência dos resultados de se desviarem em uma dada direção e proporção em relação ao valor real.
  46. 46. Variações na precisão e exatidão PRECISO, mas não EXATO não PRECISO, e não EXATO
  47. 47. Variações na precisão e exatidão EXATO, mas não PRECISO PRECISO e EXATO
  48. 48. Aula baseada no capítulo 1 “Sorologia” do livro. Diagnóstico de laboratório Curso “Delineamento de um projeto de pesquisa” (aula 9) Sandra do Lago Moraes Instituto de Medicina Tropical, Universidade de São Paulo Maio de 2012

×