1. Revisão Sistemática de
Estudos de Acurácia
Diagnóstica
Wagner Iared

2. Sumário
 Conceitos
 Método
 Objetivos
 Busca de estudos primários
 Avaliação da qualidade
 Apresentação dos resultados
 Interpretação
 Perspectivas

3. RS de Estudos de Acurácia
Diagnóstica
Leeflang M, et al. Cochrane Database of Systematic Reviews 2008, Issue 4. Art. No.: CD007394

4. RS de Estudos de Acurácia
Diagnóstica
Porcel JM, et al. Chest. 2014 Sep 4. doi: 10.1378/chest.14-0820. [Epub ahead of print]

5. RS de Estudos de Acurácia
Diagnóstica
Iared W, et al. J Ultrasound Med 2010; 29:419–425

6. RS de Estudos de Acurácia
Diagnóstica
Grimberg A, et al. Sao Paulo Med J. 2010; 128(2):90-5

7. RS de Estudos de Acurácia
Diagnóstica
Iared W, et al. Sao Paulo Med J. 2011; 129(4):250-60

8. Conceitos
 Estudos de acurácia
 Revisão Sistemática

9. Conceitos
 Estudos de Acurácia
 Estudos que objetivam dimensionar o valor da
informação fornecida por um dado exame,
teste, prova ou característica
 Critério Diagnóstico → Condição Alvo
em determinado espectro de pacientes

10.  Quantificação do poder de um teste
diagnóstico
 Sensibilidade (Sn)
 Especificidade (Sp)
 Valores preditivos (VP+; VP-)
 Razão de verossimilhança (LR+; LR-)
 Curva ROC
 Área sob a curva
Conceitos

11. Conceitos
 Revisão Sistemática
 Trabalho científico secundário
 Casuística - trabalhos primários
 Ensaios clínicos controlados
 Estudos de acurácia
 Coortes
 Metodologia clara
 Reprodutível

12. Conceitos
 Revisão Sistemática
 Trabalho científico secundário
 Casuística - trabalhos primários
 Ensaios clínicos controlados
 Estudos de acurácia
 Coortes
 Metodologia clara
 Reprodutível

13. Hierarquia das evidências

14. Hierarquia das evidências
intervenção
 Revisões sistemáticas de ensaios clínicos
randomizados
 Ensaio clínico randomizado
 Coortes
 Estudos casos e controles
 Séries de casos
 Estudos in vitro / modelos animais
 Consenso /Opinião de especialista

15. Hierarquia das evidências
acurácia
 Revisões sistemáticas de estudos de
acurácia melhor desenhados
 Estudos de acurácia com bom padrão
referência, cegamento e espectro de
pacientes adequado
 Padrão referência menos confiável
 Estudos sem cegamento
 Consenso, opinião de especialista

16. Método

17. Definição dos objetivos
 Avaliar um novo teste
 Mais barato ou menos invasivo, proposto para
substituir outro existente
 Propor o uso de um teste para rastreamento
(screening) em massa de determinada doença
 Alta sensibilidade
 Especificidade variável
 Propor um teste com potencial para substituir o
atual padrão “ouro”
 altamente sensível e específico
 Comparar testes diferentes
 Comparar critérios diferentes de um mesmo
teste

18. Exemplos
 Acurácia do US Doppler para prever
malignidade em neoplasias foliculares da
tireóide
 Implicação potencial:
Reduzir o número de cirurgias desnecessárias

19. Exemplos
 Acurácia do US para diagnóstico de derrame
pleural em pacientes internados em ambiente
de terapia intensiva
 Implicação potencial: Oferecer um exame
 com acurácia melhor que o RX com raios verticais
 mais disponível e menos oneroso que a TC

20. Pesquisa da literatura
bases de dados
 MEDLINE
 EMBASE
 LILACS
 CENTRAL
 WEB OF SCIENCE / ISI WEB OF KNOWLEGE
 OUTROS
 BUSCA MANUAL
 LITERATURA CINZENTA
 BANCOS DE TESES
 ANAIS DE CONGRESSO

21. Estratégia de busca
 Teste avaliado – index test
 Condição alvo
 Palavras, sinônimos e descritores (DeCS / MeSH)
 Filtros
 Controverso
 Viés de relato (report bias)

22. Exemplo
("Thyroid Gland "[MeSH Terms] OR Thyroid [Text
Word]) AND ("Ultrasonography, Doppler, Duplex
"[MeSH] OR Doppler[Text Word]) AND
(“Follicular “[MeSH] OR Follicular [Text Word])
Estratégia MEDLINE via PubMED:

23. Exemplo
“Sensitivity” OR “Specificity” OR “ROC” OR “accuracy” OR "likelihood
ratio" OR "area under curve"
Proposta de filtro:

24. Avaliação da qualidade
 Aplicabilidade
 Risco de viés

25. Avaliação da qualidade
 Viés de seleção / recrutamento
 Refere-se à maneira (não apropriada) com
que os participantes entram no estudo
 Ex: critérios de seleção inadequados
 Viés de aferição
 Refere-se à maneira (não apropriada) com
que as medidas são realizadas
 Ex: estudos sem cegamento

26. Avaliação da qualidade
 Viés de confusão
 Refere-se à interpretação (não apropriada)
sobre associações encontradas
 Ex: o index test é parte do padrão referência
(maior eixo do baço comparado com o índice
esplênico ou volume esplênico)

27. Avaliação da qualidade
 Validade interna (risco de viés)
 Qualidade metodológica do estudo
 Resultados obtidos não sofreram influência de
outros fatores além daqueles em estudo
 Validade externa (aplicabilidade)
 Capacidade de generalização dos resultados
obtidos
 População estudada corresponde à prática
clínica

28. QUADAS
 Quality assessment of diagnostic accuracy
studies
 14 perguntas (checklist)
 Validade interna (10 perguntas)
 Risco de viés
 Validade externa (2 perguntas)
 Espectro de pacientes / aplicabilidade
 Relato (2 perguntas específicas)

29. QUADAS

30. QUADAS
1. O espectro de pacientes estudados foi significativo (em relação
aos pacientes que vão ser submetidos ao teste na prática
clínica)?
2. Os critérios de seleção foram claramente descritos?
3. O padrão referência é adequado para classificar a condição
alvo?
4. o período de tempo decorrido entre a realização do teste
avaliado e do padrão referência foi suficientemente curto?
5. Todos os pacientes, ou uma amostra randomizada, foram
submetidos ao padrão referência?

31. QUADAS
6. Todos os pacientes foram submetidos ao mesmo padrão
referência, independentemente do resultado do teste avaliado?
7. O padrão referência era independente do teste avaliado?
8. A execução do teste avaliado foi descrita com detalhes
suficientes para a sua reprodução?
9. A execução do padrão referência foi descrita com detalhes
suficientes para a sua reprodução?
10. O teste avaliado foi interpretado sem o conhecimento dos
resultados do padrão referência?

32. QUADAS
11. O padrão referência foi interpretado sem o conhecimento dos
resultados do teste avaliado?
12. Os dados clínicos disponíveis no momento da interpretação do
teste avaliado serão os mesmos disponíveis na prática clínica?
13. Os resultados indeterminados/inconclusivos foram relatados?
14. As eventuais desistências foram relatadas?

33. QUADAS
1. Espectro de pacientes
2. Critérios de seleção
3. Padrão referência
4. Intervalo de tempo
5. Verificação parcial
6. Verificação diferencial
7. Independência entre os testes
8. Detalhamento metodológico – teste avaliado
9. Detalhamento metodológico – padrão referência
10. Cegamento para o teste avaliado
11. Cegamento para o padrão referência
12. Disponibilidade de dados clínicos
13. Resultados indeterminados/inconclusivos
14. Exclusões/desistências
VALIDADE INTERNA

34. QUADAS
1. Espectro de pacientes
2. Critérios de seleção
3. Padrão referência
4. Intervalo de tempo
5. Verificação parcial
6. Verificação diferencial
7. Independência entre os testes
8. Detalhamento metodológico – teste avaliado
9. Detalhamento metodológico – padrão referência
10. Cegamento para o teste avaliado
11. Cegamento para o padrão referência
12. Disponibilidade de dados clínicos
13. Resultados indeterminados/inconclusivos
14. Exclusões/desistências
VALIDADE EXTERNA

35. QUADAS
1. Espectro de pacientes
2. Critérios de seleção
3. Padrão referência
4. Intervalo de tempo
5. Verificação parcial
6. Verificação diferencial
7. Independência entre os testes
8. Detalhamento metodológico – teste avaliado
9. Detalhamento metodológico – padrão referência
10. Cegamento para o teste avaliado
11. Cegamento para o padrão referência
12. Disponibilidade de dados clínicos
13. Resultados indeterminados/inconclusivos
14. Exclusões/desistências
RELATO

36. QUADAS
representação gráfica

37. QUADAS 2
 Domínio 1 - Patient Selection
A) Risco de Viés
B) Preocupação quanto à aplicabilidade
 Domínio 2 - Index Test(s)
A) Risco de Viés
B) Preocupação quanto à aplicabilidade
 Domínio 3 - Reference Standard
A) Risco de Viés
B) Preocupação quanto à aplicabilidade
 Domínio 4 - Flow and timing
A) Risco de Viés
B) Preocupação quanto à aplicabilidade

38. QUADAS 2
 Fase 1
 Definição da questão da revisão
 Fase 2
 Adaptação específica para a revisão
 Fase 3
 Elaboração de um fluxograma
 Fase 4
 Julgamento da aplicabilidade e do risco de
viés (alto, baixo, não claro)

39. QUADAS 2 - FASE 1
 Index test
 Teste único
 Comparar testes
 Comparar diferentes “cut-off”
 Padrão referência
 Único
 Mais de um
 Qual (quais)
 Seleção de pacientes
 Faixa etária
 Gravidade da doença
 Fluxo e tempo
 Intervalo de tempo entre os testes

40. QUADAS 2 - FASE 2
 Adaptação específica para a revisão
 Verificar questões pertinentes
 Pode-se usar o QUADAS como base
 Sugestões no Revman 5.2
 Avaliar questões potencialmente não aplicáveis
 Estipular outras questões potencialmente
pertinentes
 Reprodutibilidade
 Época do estudo / geração dos equipamentos utilizados
 Testar a ferramenta adaptada com ao menos dois
revisores

41. QUADAS 2 - FASE 2
Testar a ferramenta adaptada com ao menos
dois revisores

42. QUADAS 2 - FASE 3
Elaboração de um fluxograma
Fluxograma do processo de
inclusão, razão e número de
pacientes excluídos e/ou que não
receberam o index test ou o padrão
referência

43. QUADAS 2 - FASE 4
Julgamento da aplicabilidade e do risco de viés
Baseado nas questões elaborada anteriormente
(yes, no, unclear)
 Risco de viés
 high risk, low risk, unclear risk
 Preocupações quanto à aplicabilidade à
população de interesse definida quando a
pergunta da pesquisa foi elaborada
 high risk, low risk, unclear risk

44. QUADAS 2
 Seleção de pacientes
 Risco de viés
 Uma série consecutiva de pacientes, ou uma amostra randomizada foi arrolada
no estudo?
 Evitou-se um desenho de estudo tipo caso-controle?
 O estudo evitou exclusões inapropriadas?
 Aplicabilidade
 Há preocupações sobre o espectro de pacientes incluídos não estar de acordo
com a pergunta da revisão?
 Index test
 Risco de viés
 O teste avaliado foi interpretado sem o conhecimento dos resultados do padrão
referência?
 Se um limiar foi usado, ele foi pré especificado?
 Aplicabilidade
 Há preocupações sobre o teste avaliado, sua condução ou interpretação diferirem
da pergunta da revisão?

45. QUADAS 2
 Padrão Referência
 Risco de viés
 O padrão referência é adequado para classificar a condição alvo?
 O padrão referência foi interpretado sem o conhecimento dos resultados do teste
avaliado?
 Aplicabilidade
 Há preocupações sobre o padrão referência, sua condução ou interpretação não
se correlacionar com a pergunta da revisão?
 Fluxo e tempo
 Risco de viés
 O intervalo de tempo decorrido entre a realização do teste avaliado foi
adequado?
 Todos os pacientes foram submetidos ao padrão referência?
 Todos os pacientes foram incluídos na análise?
 Aplicabilidade
 N/A

46. QUADAS 2
representação gráfica

47. QUADAS 2
representação gráfica

48. QUADAS 2
representação gráfica

49. TABULAÇÃO DOS DADOS

50.  Extrair de cada estudo o número de casos:
 Verdadeiros positivos
 Falsos positivos
 Falsos negativos
 Verdadeiros negativos
 Tabela 2 x 2
TABULAÇÃO DOS DADOS

51. Apresentação dos Resultados
Fluxograma do processo de inclusão
Grimberg A, et al. Sao Paulo Med J. 2010; 128(2):90-5

52. Apresentação dos Resultados
Gráfico de floresta
Grimberg A, et al. Sao Paulo Med J. 2010; 128(2):90-5

53. Apresentação dos Resultados
Gráfico de floresta
Boland GW, et al. Radiology.2011;259(1):117-26

54. Apresentação dos Resultados
Curva ROC

55. Comparando testes
Iared W, et al. J Ultrasound Med 2010; 29:419–425

56. Comparando testes
Iared W, et al. J Ultrasound Med 2010; 29:419–425

57. Impacto clínico
Nomograma de Fagan
Boland GW, et al. Radiology.2011;259(1):117-26

58. Conceitos Básicos em Testes Diagnósticos
 Sensibilidade
 Especificidade
 Valor preditivo positivo
 Valor preditivo negativo
 Likelihood Ratio (Razão de Verossimilhança)
 Positivo
 Negativo

59. Doença
D+ D-
Teste + a b a+b
- c d c+d
a+c b+d a+b+c+d
Tabela 2 X 2

60. Doença
D+ D-
Teste
+ a B a+b
- c D c+d
a+c b+d a+b+c+d
Sensibilidade e Especificidade
db
d
ca
a




dadeespecifici
adesensibilid

61. Valor Preditivo
Doença
D+ D-
Teste + a b a+b
- c d c+d
a+c b+d a+b+c+d
ba
a
VP


dc
d
VP



62. Razão de Verossimilhança
(Likelihood ratio)
Doença
D+ D-
Teste + a b a+b
- c d c+d
a+c b+d a+b+c+d
db
b
ca
a
LR


db
d
ca
c
LR



63. dadeespecifici
LR


1
adesensibilid
dadeespecifici
LR
adesensibilid-1

Doença
D+ D-
Teste + a b a+b
- c d c+d
a+c b+d a+b+c+d
Razão de Verossimilhança
(Likelihood ratio)

64. Teorema de Bayes
Thomas Bayes
Pastor presbiteriano, Londres, 1701-1761
Membro da Royal Society em 1742

65. Teorema de Bayes

66. Teorema de Bayes

67. dadeespecifici
LR


1
adesensibilid
Interpretação do Likelihood ratio
 LR positivo (1 a infinito)
Infinito – exclui normalidade
LR >10 – mudança significativa
5 – 10 – mudança moderada
2 – 5 mudança pequena
LR = 1 não há mudança

68. Interpretação do Likelihood ratio
 LR negativo (zero a 1)
Zero – exclui doença
LR < 0,1 – mudança significativa
0,1 – 0,2 – mudança moderada
0,2 – 0,5 – mudança pequena
LR = 1 não há mudança
dadeespecifici
LR
adesensibilid-1


69. Nomograma de Fagan
LR+ = 6,2
LR- = 0,7
Probabilidade pré-teste= 15%
Probabilidade pós-teste
Teste +: =50%
Teste -: =11%

70. Graph of Conditional Probabilities
0,000
0,200
0,400
0,600
0,800
1,000
0,000 0,200 0,400 0,600 0,800 1,000
Pre-Test Probability of Disease
Post-TestProbabilitiyofDisease
Test Negative Test Positive
LR+ e LR- = 1

71. Curva de Probabilidade Condicional
Graph of Conditional Probabilities
0,000
0,100
0,200
0,300
0,400
0,500
0,600
0,700
0,800
0,900
1,000
0,000 0,100 0,200 0,300 0,400 0,500 0,600 0,700 0,800 0,900 1,000
Pre-Test Probability of Disease
Post-TestProbabilityofDisease
Test Positive Test Negative
- The Meaning of Diagnostic Test Results: A Spreadsheet for Swift Data Analysis P.M. MacEneaney, D.E.
Malone. Clinical Radiology (2000) 55, 227-235 ftp://radiography.com/pub/Rad-data99.xls

72. Impacto clínico
Nomograma de Fagan
• Probabilidade pré teste: 14%
• LR+: 6,07
• LR-: 0,18
• Pobabilidade pós teste
•Resultado positivo: 51%
• Condição Alvo: Neoplasia folicular maligna da tireóide
• Critério Diagnóstico: Presença de fluxo central
predominante ao US Color Doppler

73. Impacto clínico
Nomograma de Fagan
• Probabilidade pré teste: 14%
• LR+: 6,07
• LR-: 0,18
• Pobabilidade pós teste
•Resultado negativo: 3%
• Condição Alvo: Neoplasia folicular maligna da tireóide
• Critério Diagnóstico: Presença de fluxo central
predominante ao US Color Doppler

74. INTERPRETAÇÃO DOS RESULTADOS E
DESENVOLVIMENTO DE RECOMENDAÇÕES
 Os objetivos da revisão foram atingidos?
 A revisão foi conclusiva?
 Ressaltar a aplicação dos resultados na
prática
 População a que o teste se destina (espectro)
 Arguir possíveis consequências de testes
falso positivos ou falso negativos
 Testes não conclusivos
 Indicar em que área mais estudos são
necessários

75. Qualidade dos estudos
iniciativas
 CONSORT
 guideline para autores de ensaios clínicos
randomizados
 STARD
 guideline para autores de estudos de acurácia
Lancet 2001; 357: 1191–94
JAMA 2001; 285: 1987–91
Intern Med 2001; 134: 657–62
Radiology 2003; 226:24–28
The Lancet
Annals of Internal Medicine
British Medical Journal
Clinical Chemistry
Journal of Clinical Microbiology
Nederlands Tijdschrift voor Geneeskunde. January, 2003

76. STARD

77. CONSIDERAÇÕES FINAIS
RS Estudos de Acurácia
 Ferramenta valiosa para
 Avaliar testes individuais
 Comparar diferentes testes
 Estudos primários de melhor qualidade
 STARD
 Número maior de RS de estudos de acurácia
 Importância de se familiarizar com esse tipo de
trabalho científico
 Avaliação crítica
 Interpretação dos resultados

78. wagneriared@gmail.com