Validade e Reprodutibilidade de Exames - Profa. Rilva Muñoz - GESME

5.899 visualizações

Publicada em

Publicada em: Educação
0 comentários
3 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
5.899
No SlideShare
0
A partir de incorporações
0
Número de incorporações
3.205
Ações
Compartilhamentos
0
Downloads
0
Comentários
0
Gostaram
3
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Validade e Reprodutibilidade de Exames - Profa. Rilva Muñoz - GESME

  1. 1. VALIDADE E REPRODUTIBILIDADE DE EXAMES Rilva Lopes de Sousa Muñoz rilva@ccm.ufpb.br Grupo de Estudos em Semiologia Médica - GESME
  2. 2. •A dúvida faz parte do exercício da medicina e da pesquisa epidemiológica no rastreamento populacional de doenças •Exames/testes diagnósticos (bioquímicos, imunológicos, de imagem, questionários) podem ter resultados falsos positivos ou falsos negativos A INCERTEZA DIAGNÓSTICA
  3. 3. PROPRIEDADES DOS EXAMES DIAGNÓSTICOS • Validade • Reprodutibilidade 3
  4. 4. A medicina não é uma ciência exata, mas pelo menos se pode quantificar a incerteza Como quantificar a incerteza?...
  5. 5. Exemplos de estudos de validade em Semiologia Médica 5
  6. 6. • DERRAME PLEURAL - Frêmito tóraco-vocal para diagnóstico clínico de derrame pleural: sensibilidade = 82%, especificidade = 86%, valor preditivo - positivo = 59%. - Expansibilidade torácica assimétrica: sensibilidade = 74%, especificidade: 90% - Percussão: VVP = 55%, VPN: 97% Kalantri et al. (apud DIAZ-GUZMAN; BUDEY, 2007) DIAZ-GUZMAN, E.; BUDEY, M. M. Accuracy of the physical examination in evaluating pleural effusion. Cleve Clin J Med, 75(4): 297-303, 2008 .
  7. 7.  ASCITE - Sinal do piparote: especificidade de 82%, mas sensibilidade de 50%; - Macicez móvel à percussão: sensibilidade de 94%, especificidade de apenas 29%; - Flancos salientes: sensibilidade de 78% e especificidade de 44%. CATTAU, E. L. et al. The accuracy of the physical examination in the diagnosis of suspected ascites. JAMA, 247: 1164, 1982. .
  8. 8. VALIDADE: propriedade de um teste (exame) refletir um resultado de forma acurada quando comparado a outro teste de segurança conhecida = ACURÁCIA A VALIDAÇÃO de um teste presume que haja um padrão-ouro com o qual o teste é comparado 8
  9. 9. VALIDADE (ACURÁCIA) DE UM EXAME OU TESTE Os parâmetros da avaliação da validade são: •SENSIBILIDADE • ESPECIFICIDADE •VALORES PREDITIVOS  RAZÃO DE VEROSSIMILHANÇA 9
  10. 10. SENSIBILIDADE E ESPECIFICIDADE Quando realizam exames, surgem de imediato duas pergunta: • Se a doença está presente, qual é a probabilidade de que o resultado do exame seja positivo? • Se a doença está ausente, qual é a probabilidade de que o resultado do exame seja negativo? 10
  11. 11. SENSIBILIDADE E ESPECIFICIDADE Sensibilidade: probabilidade de um exame ser positivo quando existe a doença Especificidade: probabilidade de um exame ser negativo quando não existe a doença 11
  12. 12. TABELA DE CONTINGÊNCIA (2 x 2)
  13. 13. AS APARÊNCIAS, PARA A MENTE, SÃO DE QUATRO TIPOS... As coisas são o que parecem ser; Ou são e não parecem ser; Ou não são, mas parecem ser, Ou não são, nem parecem ser. Epictetus (53-130 a.C.)
  14. 14. Aplicando em uma tabela de contingência a b c d SER PA- RE- CER + - + -
  15. 15. Sensibilidade: a (considera os verdadeiros positivos) a + c Especificidade: d (considera os verdadeiros negativos) b + d Doença Exame + - + (a) verdadeiros positivos (b) falsos positivos a + b - (c) falsos negativos (d) verdadeiros negativos c + d a + c b + d a + b + c + d (n) 15 SENSIBILIDADE E ESPECIFICIDADE - CÁLCULO
  16. 16.  Uma medida melhor para avaliar acurácia é a Razão de verossimilhança (RV): Usa sensibilidade e especificidade Razão de verossimilhança positiva: Razão entre a probabilidade de um teste ser positivo, dado que existe a doença, e a probabilidade de um teste ser positivo, dado que não existe a doença
  17. 17. RAZÃO DE VEROSSIMILHANÇA (LIKELIHOOD RATIO) •forma de descrever o desempenho de um exame diagnóstico •resume a informação de sensibilidade + especificidade •pode ser usada para calcular a probabilidade de doença com base no exame (+ ou -)
  18. 18. CÁLCULO DA RV (LR) HAYDEN, S. R.; BROWN, M. D. Likelihood ratio: a powerful tool for incorporating the results of a diagnostic test into clinical decision making. Ann Emerg Med, v. 33, p. 575-80, 1999. • Para exames com presença do achado RV+ = Sensibilidade / (1 - Especificidade) • Para exames com ausência do achado RV - = (1 - Sensibilidade) / (Especificidade)
  19. 19. INTERPRETAÇÃO DOS VALORES DE RV+ Richardson e Detsky (1995) RV+ > 10 Sugere mudanças conclusivas após a realização do exame RV+ 5-10 Sugere mudanças moderadas RV+ 1-5 Sugere pequenas mudanças, insuficiente para o diagnóstico RV+ < 1 Não sugere mudanças 19 Quanto maior a RV+, melhor o exame Quanto menor a RV-, melhor o exame Richardson WS, Detsky AS. Users' guides to the medical literature. How to use a clinical decision analysis? JAMA, 1995; 273 (20):1610-3.
  20. 20. VALORES PREDITIVOS  Sempre existe uma margem de erro ao se afirmar, através de um exame, que existe ou não uma doença. • Se o exame é positivo qual a probabilidade de que a doença esteja realmente presente? Valor Preditivo Positivo (VPP) • Se o exame é negativo, qual é a probabilidade de que a doença esteja realmente ausente? Valor Preditivo Negativo (VPN) 20
  21. 21. Valor preditivo positivo: Probabilidade de existir a doença, dado que o exame foi positivo Valor preditivo negativo: Probabilidade de não existir a doença, dado que o exame foi negativo 21 VALORES PREDITIVOS: Indicam quão bom é o exame
  22. 22. VALORES PREDITIVOS POSITIVO E NEGATIVO a b c d VPP + = a a + b VPN - = d c + d D ND E+ E- 22 •VPP: usado em exames que têm o resultado positivo • VPN: expressa a probabilidade de não existir a doença quando o resultado de exame é negativo
  23. 23. CALCULANDO SENSIBILIDADE, ESPECIFICIDADE E VALORES PREDITIVOS Um exame é feito em 50 pessoas com uma doença e 50 pessoas sem a doença. Os resultados são os seguintes: DOENÇA + - EXAME + 48 3 51 - 2 47 49 50 50 100 23
  24. 24. Sensibilidade = 48/50 x 100 = 96% Especificidade = 47/50 x 100 = 94% Valor preditivo positivo = 48/51 x 100 = 94%. Valor preditivo negativo = 47/49 x 100 = 96%. DOENÇA + - EXAME + 48 3 51 - 2 47 49 50 50 100 24
  25. 25. CURVA ROC A Curva ROC é um gráfico de sensibilidade (ou taxa de verdadeiros positivos) versus taxa de falsos positivos
  26. 26. CURVA ROC “Receiver Operating Characteristic”: medida da capacidade discriminativa de um exame; capacidade de um exame classificar corretamente aqueles com e sem a doença Origem: Estudo da capacidade de operadores de radar Receiver Operating Characteristic =“Eficiência do operador de recepção de sinais”: capacidade de um observador classificar corretamente um dado Década de 1970: começa aplicação da técnica em Ciências Médicas
  27. 27. •Área sob a curva: valor da área abaixo da curva •Área 50% (linha diagonal) não tem validade: acertos e erros entram na mesma proporção e são devidos ao acaso •Valor igual a 1,0 ou 100% não chega a ser alcançado: há das proporções dos grupos superposição na distribuição •Quanto mais os resultados estão próximos do canto superior esquerdo do gráfico, maior a acurácia do exame CURVA ROC
  28. 28. ÁREA SOB A CURVA Acima de 0,70 é considerado desempenho satisfatório
  29. 29. Como elaborar a CURVA ROC NO SPSS Analyze ROC curve A curva ROC pode ser construída a partir de softwares estatísticos
  30. 30. Área sob a curva no SPSS
  31. 31. http://www.medcalc.org/calc/diagnostic_test.php
  32. 32. http://ilm.medicine.arizona.edu/EBDM/DTPC/calculator.html
  33. 33. Sinais clínicos Sensibilidade (%) Especificidade (%) VPP (%) VPN (%) RV+ RV- Icterícia 65,5 50 77,5 35,5 1,31 0,69 Ascite 74,1 50 79,6 42,3 1,48 0,51 Edema 48,3 54,5 73,7 28,6 1,06 0,95 Eritema palmar 36,2 90,9 91,3 35,1 3,98 0,70 Aranhas vasculares 39,6 81,8 85,2 34 2,18 0,73 Ginecomastia* 31,2 90 90,9 29 3,12 0,76 Sufusões hemorrágicas 63,7 68,2 84,1 41,6 2,00 0,53 Hipotrofia muscular 47,4 50 71 26,8 0,95 1 Alterações ungueais 40,4 63,2 73,1 30 1,1 0,94 Alterações pilosas 43,9 70,6 78,3 34,3 1,49 0,79 Sinais de encefalopatia 36,2 81,8 84 32,7 1,99 0,78 Asterixis 32,7 86,4 86,3 32,8 2,40 0,78 Hálito hepático 3,5 95,4 66,7 27,3 0,76 1 Tabela 4 – Sensibilidade, especificidade, valores preditivos e razão de verossimilhança dos sinais clínicos de insuficiência hepática para o diagnóstico de hepatopatia crônica em pacientes internados nas enfermarias clínicas do Hospital Universitário Lauro Wanderley (n=80) SOUSA-MUÑOZ, R. L. ; MELO, J. F. G. ; VASCONCELOS, F. G. C. et al. Aporte do exame físico para o diagnóstico de hepatopatia crônica em pacientes internados em um hospital universitário. Revista de Medicina e Saúde de Brasília, v. 3, p. 12- 30, 2014.
  34. 34. Figura 2 – Área sob a curva para a associação dos sinais clínicos que apresentaram valores C entre 50% e 70% (presença simultânea de sufusões hemorrágicas, asterixis, aranhas vasculares, ascite, eritema palmar e icterícia) para a determinação do diagnóstico de doença hepática crônica em pacientes internados nas enfermarias clínicas do Hospital Universitário Lauro Wanderley SOUSA-MUÑOZ, R. L. ; MELO, J. F. G. ; VASCONCELOS, F. G. C. et al. Aporte do exame físico para o diagnóstico de hepatopatia crônica em pacientes internados em um hospital universitário. Revista de Medicina e Saúde de Brasília, v. 3, p. 12-30, 2014.
  35. 35. SOUSA-MUÑOZ, R. L. ; MEDEIROS, J. G. M. ; MOREIRA, I. F. ; MOURA, A. C. L.; SOUZA, C. L. M. . Validade e fidedignidade da Escala de Depressão Geriátrica na identificação de idosos deprimidos em um hospital geral. Jornal Brasileiro de Psiquiatria, v. 56, p. 77-82, 2007.
  36. 36. REPRODUTIBILIDADE (CONFIABILIDADE, PRECISÃO, FIDEDIGNIDADE, ESTABILIDADE)  Avaliação da reprodutibilidade: • Avaliações feitas pelo mesmo observador em diferentes períodos de tempo: REPRODUTIBILIDADE INTRAOBSERVADOR • Avaliações feitas por observadores diferentes ao mesmo tempo: REPRODUTIBILIDADE INTEROBSERVADOR 38
  37. 37. BOA REPRODUTIBILIDADE  A repetição de um teste várias vezes, no mesmo ou em diferentes laboratórios, em circunstâncias similares, resulta em valores iguais ou muito semelhantes A repetição de um teste por diferentes examinadores, no mesmo ou em diferentes laboratórios, em circunstâncias similares, resulta em valores iguais ou muito semelhantes 39
  38. 38. REPRODUTIBILIDADE Exemplo: - São dadas a dois médicos 100 radiografias do tórax para analisar independentemente  Pergunta-se se há imagem compatível com a presença de pneumonia ou não. •Quando ambos os seus diagnósticos são comparados, verifica-se que 95% dos diagnósticos são os mesmos NIGEL PANETH. Validação, Integridade e Monitoramento das Doenças. 2008. http://www.pitt.edu/~super7/13011-14001/13991.ppt 40
  39. 39. USO DO COEFICIENTE KAPPA PARA AVALIAR REPRODUTIBILIDADE  KAPPA é um teste de concordância INTER e INTRA- observadores, amplamente utilizado, que corrige o papel do acaso Pode ser calculado pelo SPSS 41
  40. 40. Interpretação do Indicador Kappa (k) •CRITÉRIO PARA INTERPRETAÇÃO DE KAPPA (LANDIS; KOCH, 1977): KAPPA  0,80: excelente KAPPA 0,60 – 0,80: bom KAPPA 0,40 – 0,60: regular KAPPA  0,40: ruim Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33:159- 75 42
  41. 41. Exemplo de estudo de concordância usando o índice k ITEM KAPPA história de tabagismo 0,95 hiperresonância 0-0,42 sibilos 0,43-0,93 estertores finos 0,30-0,63 expiração prolongada 0,7 Holleman DR Jr, Simel DL. Does the clinical examination predict airflow limitation? JAMA. 1995 Jan 25;273(4):313-9.
  42. 42. Validade versus reprodutibilidade de um exame Examinador 1 Examinador 2 Examinador 3 Casos verdadeiros Boa reprodutibilidade Baixa acurácia 44
  43. 43. Estas propriedades de medida também são avaliadas em caso de instrumentos de coleta de dados Reprodutibilidade (confiabilidade) Habilidade de consistência dos resultados obtidos, quando repetido em tempos diferentes ou por observadores diferentes Validade (acurácia) Habilidade para mensurar o que realmente o instrumento se propõe a medir
  44. 44. “Medicina é a arte da incerteza e a ciência da probabilidade” (Sir WILLIAM OSLER)

×