1. VALIDADE E REPRODUTIBILIDADE DE EXAMES
Rilva Lopes de Sousa Muñoz
rilva@ccm.ufpb.br
Grupo de Estudos em Semiologia Médica - GESME

2. •A dúvida faz parte do exercício da medicina e da pesquisa epidemiológica no rastreamento populacional de doenças
•Exames/testes diagnósticos (bioquímicos, imunológicos, de imagem, questionários) podem ter resultados falsos positivos ou falsos negativos
A INCERTEZA DIAGNÓSTICA

3. PROPRIEDADES DOS EXAMES DIAGNÓSTICOS
• Validade
• Reprodutibilidade
3

4. A medicina não é uma ciência exata, mas pelo menos se pode quantificar a incerteza
Como quantificar a incerteza?...

5. Exemplos de estudos de validade em Semiologia Médica
5

6. • DERRAME PLEURAL - Frêmito tóraco-vocal para diagnóstico clínico de derrame pleural: sensibilidade = 82%, especificidade = 86%, valor preditivo - positivo = 59%. - Expansibilidade torácica assimétrica: sensibilidade = 74%, especificidade: 90% - Percussão: VVP = 55%, VPN: 97% Kalantri et al. (apud DIAZ-GUZMAN; BUDEY, 2007)
DIAZ-GUZMAN, E.; BUDEY, M. M. Accuracy of the physical examination in evaluating pleural effusion. Cleve Clin J Med, 75(4): 297-303, 2008
.

7.  ASCITE - Sinal do piparote: especificidade de 82%, mas sensibilidade de 50%; - Macicez móvel à percussão: sensibilidade de 94%, especificidade de apenas 29%; - Flancos salientes: sensibilidade de 78% e especificidade de 44%.
CATTAU, E. L. et al. The accuracy of the physical examination in the diagnosis of suspected ascites. JAMA, 247: 1164, 1982.
.

8. VALIDADE: propriedade de um teste (exame) refletir um resultado de forma acurada quando comparado a outro teste de segurança conhecida = ACURÁCIA
A VALIDAÇÃO de um teste presume que haja um padrão-ouro com o qual o teste é comparado
8

9. VALIDADE (ACURÁCIA) DE UM EXAME OU TESTE Os parâmetros da avaliação da validade são:
•SENSIBILIDADE
• ESPECIFICIDADE
•VALORES PREDITIVOS
 RAZÃO DE VEROSSIMILHANÇA
9

10. SENSIBILIDADE E ESPECIFICIDADE
Quando realizam exames, surgem de imediato duas pergunta:
• Se a doença está presente, qual é a probabilidade de que o resultado do exame seja positivo?
• Se a doença está ausente, qual é a probabilidade de que o resultado do exame seja negativo?
10

11. SENSIBILIDADE E ESPECIFICIDADE
Sensibilidade: probabilidade de um exame ser positivo quando existe a doença
Especificidade: probabilidade de um exame ser negativo quando não existe a doença
11

12. TABELA DE CONTINGÊNCIA (2 x 2)

13. AS APARÊNCIAS, PARA A MENTE, SÃO DE QUATRO TIPOS...
As coisas são o que parecem ser;
Ou são e não parecem ser;
Ou não são, mas parecem ser,
Ou não são, nem parecem ser.
Epictetus (53-130 a.C.)

14. Aplicando em uma tabela de contingência
a
b
c
d
SER
PA- RE- CER
+ -
+
-

15. Sensibilidade: a (considera os verdadeiros positivos)
a + c
Especificidade: d (considera os verdadeiros negativos)
b + d
Doença
Exame
+
-
+
(a)
verdadeiros positivos
(b)
falsos positivos
a + b
-
(c)
falsos negativos
(d)
verdadeiros negativos
c + d
a + c
b + d
a + b + c + d (n)
15
SENSIBILIDADE E ESPECIFICIDADE - CÁLCULO

16.  Uma medida melhor para avaliar acurácia é a Razão de verossimilhança (RV): Usa sensibilidade e especificidade
Razão de verossimilhança positiva:
Razão entre a probabilidade de um teste ser positivo, dado que existe a doença, e a probabilidade de um teste ser positivo, dado que não existe a doença

17. RAZÃO DE VEROSSIMILHANÇA (LIKELIHOOD RATIO)
•forma de descrever o desempenho de um exame diagnóstico
•resume a informação de sensibilidade + especificidade
•pode ser usada para calcular a probabilidade de doença com base no exame (+ ou -)

18. CÁLCULO DA RV (LR)
HAYDEN, S. R.; BROWN, M. D. Likelihood ratio: a powerful
tool for incorporating the results of a diagnostic test
into clinical decision making. Ann Emerg Med, v. 33,
p. 575-80, 1999.
• Para exames com presença do achado RV+ = Sensibilidade / (1 - Especificidade)
• Para exames com ausência do achado RV - = (1 - Sensibilidade) / (Especificidade)

19. INTERPRETAÇÃO DOS VALORES DE RV+ Richardson e Detsky (1995)
RV+ > 10 Sugere mudanças conclusivas após a realização do exame
RV+ 5-10 Sugere mudanças moderadas
RV+ 1-5 Sugere pequenas mudanças,
insuficiente para o diagnóstico
RV+ < 1 Não sugere mudanças
19
Quanto maior a RV+, melhor o exame
Quanto menor a RV-, melhor o exame
Richardson WS, Detsky AS. Users' guides to the medical literature. How to use a clinical decision analysis? JAMA, 1995; 273 (20):1610-3.

20. VALORES PREDITIVOS
 Sempre existe uma margem de erro ao se afirmar, através de um exame, que existe ou não uma doença.
• Se o exame é positivo qual a probabilidade de que a doença esteja realmente presente? Valor Preditivo Positivo (VPP)
• Se o exame é negativo, qual é a probabilidade de que a doença esteja realmente ausente? Valor Preditivo Negativo (VPN)
20

21. Valor preditivo positivo:
Probabilidade de existir a doença, dado que o exame foi positivo
Valor preditivo negativo:
Probabilidade de não existir a doença, dado que o exame foi negativo
21
VALORES PREDITIVOS: Indicam quão bom é o exame

22. VALORES PREDITIVOS POSITIVO E NEGATIVO
a
b
c
d
VPP + =
a
a + b
VPN - =
d
c + d
D
ND
E+
E-
22
•VPP: usado em exames que têm o resultado positivo
• VPN: expressa a probabilidade de não existir a doença quando o resultado de exame é negativo

23. CALCULANDO SENSIBILIDADE, ESPECIFICIDADE E VALORES PREDITIVOS Um exame é feito em 50 pessoas com uma doença e 50 pessoas sem a doença. Os resultados são os seguintes:
DOENÇA
+
-
EXAME
+
48
3
51
-
2
47
49
50
50
100
23

24. Sensibilidade = 48/50 x 100 = 96%
Especificidade = 47/50 x 100 = 94% Valor preditivo positivo = 48/51 x 100 = 94%.
Valor preditivo negativo = 47/49 x 100 = 96%.
DOENÇA
+
-
EXAME
+
48
3
51
-
2
47
49
50
50
100
24

25. CURVA ROC
A Curva ROC é um gráfico de sensibilidade (ou taxa de verdadeiros
positivos) versus taxa de falsos positivos

26. CURVA ROC
“Receiver Operating Characteristic”: medida da capacidade discriminativa de um exame; capacidade de um exame classificar corretamente aqueles com e sem a doença
Origem: Estudo da capacidade de operadores de radar
Receiver Operating Characteristic =“Eficiência do operador de recepção de sinais”: capacidade de um observador classificar corretamente um dado
Década de 1970: começa aplicação da técnica em Ciências Médicas

27. •Área sob a curva: valor da área abaixo da curva
•Área 50% (linha diagonal) não tem validade: acertos e erros entram na mesma proporção e são devidos ao acaso
•Valor igual a 1,0 ou 100% não chega a ser alcançado: há das proporções dos grupos superposição na distribuição
•Quanto mais os resultados estão próximos do canto superior esquerdo do gráfico, maior a acurácia do exame
CURVA ROC

29. ÁREA SOB A CURVA
Acima de 0,70 é considerado desempenho satisfatório

31. Como elaborar a CURVA ROC NO SPSS
Analyze ROC curve
A curva ROC pode ser construída a partir de softwares estatísticos

32. Área sob a curva no SPSS

33. http://www.medcalc.org/calc/diagnostic_test.php

34. http://ilm.medicine.arizona.edu/EBDM/DTPC/calculator.html

35. Sinais clínicos
Sensibilidade (%)
Especificidade (%)
VPP (%)
VPN (%)
RV+
RV-
Icterícia
65,5
50
77,5
35,5
1,31
0,69
Ascite
74,1
50
79,6
42,3
1,48
0,51
Edema
48,3
54,5
73,7
28,6
1,06
0,95
Eritema palmar
36,2
90,9
91,3
35,1
3,98
0,70
Aranhas vasculares
39,6
81,8
85,2
34
2,18
0,73
Ginecomastia*
31,2
90
90,9
29
3,12
0,76
Sufusões hemorrágicas
63,7
68,2
84,1
41,6
2,00
0,53
Hipotrofia muscular
47,4
50
71
26,8
0,95
1
Alterações ungueais
40,4
63,2
73,1
30
1,1
0,94
Alterações pilosas
43,9
70,6
78,3
34,3
1,49
0,79
Sinais de encefalopatia
36,2
81,8
84
32,7
1,99
0,78
Asterixis
32,7
86,4
86,3
32,8
2,40
0,78
Hálito hepático
3,5
95,4
66,7
27,3
0,76
1
Tabela 4 – Sensibilidade, especificidade, valores preditivos e razão de verossimilhança dos sinais clínicos de insuficiência hepática para o diagnóstico de hepatopatia crônica em pacientes internados nas enfermarias clínicas do Hospital Universitário Lauro Wanderley (n=80)
SOUSA-MUÑOZ, R. L. ; MELO, J. F. G. ; VASCONCELOS, F. G. C. et al. Aporte do exame físico para o diagnóstico de hepatopatia crônica em pacientes internados em um hospital universitário. Revista de Medicina e Saúde de Brasília, v. 3, p. 12- 30, 2014.

36. Figura 2 – Área sob a curva para a associação dos sinais clínicos que apresentaram valores C entre 50% e 70% (presença simultânea de sufusões hemorrágicas, asterixis, aranhas vasculares, ascite, eritema palmar e icterícia) para a determinação do diagnóstico de doença hepática crônica em pacientes internados nas enfermarias clínicas do Hospital Universitário Lauro Wanderley
SOUSA-MUÑOZ, R. L. ; MELO, J. F. G. ; VASCONCELOS, F. G. C. et al. Aporte do exame físico para o diagnóstico de hepatopatia crônica em pacientes internados em um hospital universitário. Revista de Medicina e Saúde de Brasília, v. 3, p. 12-30, 2014.

37. SOUSA-MUÑOZ, R. L. ; MEDEIROS, J. G. M. ; MOREIRA, I. F. ; MOURA, A. C. L.; SOUZA, C. L. M. . Validade e fidedignidade da Escala de Depressão Geriátrica na identificação de idosos deprimidos em um hospital geral. Jornal Brasileiro de Psiquiatria, v. 56, p. 77-82, 2007.

38. REPRODUTIBILIDADE (CONFIABILIDADE, PRECISÃO, FIDEDIGNIDADE, ESTABILIDADE)
 Avaliação da reprodutibilidade:
• Avaliações feitas pelo mesmo observador em diferentes períodos de tempo: REPRODUTIBILIDADE INTRAOBSERVADOR
• Avaliações feitas por observadores diferentes ao mesmo tempo: REPRODUTIBILIDADE INTEROBSERVADOR
38

39. BOA REPRODUTIBILIDADE
 A repetição de um teste várias vezes, no mesmo ou em diferentes laboratórios, em circunstâncias similares, resulta em valores iguais ou muito semelhantes
A repetição de um teste por diferentes examinadores, no mesmo ou em diferentes laboratórios, em circunstâncias similares, resulta em valores iguais ou muito semelhantes
39

40. REPRODUTIBILIDADE Exemplo: - São dadas a dois médicos 100 radiografias do tórax para analisar independentemente
 Pergunta-se se há imagem compatível com a presença de pneumonia ou não.
•Quando ambos os seus diagnósticos são comparados, verifica-se que 95% dos diagnósticos são os mesmos NIGEL PANETH. Validação, Integridade e Monitoramento das Doenças. 2008. http://www.pitt.edu/~super7/13011-14001/13991.ppt
40

41. USO DO COEFICIENTE KAPPA PARA AVALIAR REPRODUTIBILIDADE
 KAPPA é um teste de concordância INTER e INTRA- observadores, amplamente utilizado, que corrige o papel do acaso
Pode ser calculado pelo SPSS
41

42. Interpretação do Indicador Kappa (k)
•CRITÉRIO PARA INTERPRETAÇÃO DE KAPPA (LANDIS; KOCH, 1977):
KAPPA  0,80: excelente
KAPPA 0,60 – 0,80: bom
KAPPA 0,40 – 0,60: regular
KAPPA  0,40: ruim Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33:159- 75
42

43. Exemplo de estudo de concordância usando o índice k
ITEM
KAPPA
história de tabagismo
0,95
hiperresonância
0-0,42
sibilos
0,43-0,93
estertores finos
0,30-0,63
expiração prolongada
0,7
Holleman DR Jr, Simel DL. Does the clinical examination predict airflow limitation? JAMA. 1995 Jan 25;273(4):313-9.

44. Validade versus reprodutibilidade de um exame
Examinador 1 Examinador 2 Examinador 3
Casos verdadeiros
Boa
reprodutibilidade
Baixa acurácia
44

45. Estas propriedades de medida também são avaliadas em caso de instrumentos de coleta de dados
Reprodutibilidade (confiabilidade)
Habilidade de consistência dos resultados obtidos, quando repetido em tempos diferentes ou por observadores diferentes
Validade (acurácia)
Habilidade para mensurar o que realmente o instrumento se propõe a medir

46. “Medicina é a arte da incerteza e a ciência da probabilidade”
(Sir WILLIAM OSLER)