Slide "Revisão Sistemática" Centro de Estudos - IPUB Maio de 2011

1. 5/14/2011
Departamento de Epidemiologia e Métodos Quantitativos em Saúde
Escola Nacional de Saúde Pública - Fiocruz
Revisão Sistemática
Evandro S F Coutinho
I would like to A Fratura de Sir Iain Chalmers
be randomised
Em 1983 fraturou a fíbula em New Hampshire.
Procurou um cirurgião ortopédico nos EUA que deu a
seguinte orientação terapêutica:
Assim que o edema diminuísse, engessar a perna
por 6 semanas.
36 horas
após
Cirurgião inglês
Não engessar
Usar uma tala removível
Andar apoiando na perna o máximo possível
What do I want from health research and researchers when I am a patient? BMJ 1995;310:1315-1318
Rev.Sistemática
1

2. 5/14/2011
“The scandalous failure of scientists to cumulate scientifically”
Sir Iain Chalmers
Embora atualmente a utilidade de várias intervenções
seja testada repetidamente, ainda assim persiste o
costume de buscar evidências em estudos isolados, ao
invés de olhar para o corpo de evidências produzidas.
Chalmers I. The scandalous failure of scientists to cumulate scientifically. Abstract to paper presented at:
Ninth World Congress on Health Information and Libraries; 2005 Sep 20–23; Salvador, Brazil.
http://www.icml9.org/program/public/documents/Chalmers-131623.pdf
Rev.Sistemática
NECESSIDADE DE SÍNTESE
Em 1940 havia 2.300 revistas biomédicas.
Em 1990 havia 25.000 revistas biomédicas.
A cada mês publicam-se 4.000 fascículos de revistas
biomédicas.
Volume de investigações e publicações. Em 1992 o New
England Journal of Medicine e British Medical Journal
publicaram cerca de 1.100 artigos. No mundo, são
publicados mais de 2 milhões de artigos médicos por ano.
Estima-se que apenas 10-15% dos artigos terão valor
científico duradouro.
Rev.Sistemática
2

3. 5/14/2011
REVISÃO NARRATIVA
Rev.Sistemática
Pergunta: Psicoterapia associada ao tratamento farmacológico é
superior ao tratamento isolado?
“Algumas comparações entre psicoterapia e tratamento medicamentoso
sugeriram que o tratamento combinado pode apresentar vantagens
sobre tratamentos isolados (ref). Outros estudos não mostraram
diferenças entre psicoterapia e psicoterapia associada a medicamentos
(ref) e ainda outros mostraram vantagens para pacientes com terapia
cognitivo-comportamental......”
O que você faria?
Revisão Tradicional
ou Narrativa
Golfried et al cit by Hunt (1997)
Rev.Sistemática
3

4. 5/14/2011
Revisão Narrativa
Revisões narrativas não costumam ser baseadas em um protocolo prévio,
em que os procedimentos para identificação, seleção e avaliação dos
estudos são explicitados.
Frequentemente a pergunta que se deseja responder é ampla.
Não costuma haver:
a) Critério objetivo para identificação dos estudos.
b) Critério objetivo para seleção dos estudos.
c) Critério objetivo para a avaliação da qualidade metodológica dos estudos.
d) Síntese dos resultados.
Rev.Sistemática
O caso de Mathias Egger
Beta-bloqueadores em IAM
No início dos anos 1980, como médico interno de um
hospital na Suíça, ele recebeu um paciente com IAM.
Pergunta: usar ou não usar beta-bloqueador?
Encontrou 4 estudos com conclusões contraditórias
Encontrou ainda uma revisão narrativa que conclui pela ineficácia desses
medicamentos para prevenir um segundo IAM deu alta para o
paciente sem prescrição de beta-bloqueador
Alguns anos mais tarde ele encontrou outra revisão narrativa, publicada na
mesma época da primeira, numa revista que não havia no seu hospital.
Esta revisão concluiu que os beta-bloqueadores eram eficazes para
prevenir um segundo IAM
Fonte: Borenstein, 2007 Rev.Sistemática
4

5. 5/14/2011
The Medical Review Article. State of the Science
C. Mulrow - 1987
Avaliação de 50 artigos de revisão publicados no Ann Int
Med, Arch Int Med, JAMA, NEJM entre 1985-86
Os artigos foram avaliados quanto à explicitação de diversos tópicos.
Ann Intern Med 1987; 106:485-8
Rev.Sistemática
Revisão Sistemática
Uma forma de investigação científica que faz uso de métodos pré-
definidos para avaliar criticamente e integrar estudos, visando
minimizar vieses.
Os componentes dessa estratégia incluem a busca de todos os estudos
potenciamente relevantes e o uso de critérios de seleção explícitos e
reprodutíveis.
Os estudos são avaliados criticamente e seus dados sintetizados.
Possíveis discrepâncias entre os resultados são investigadas.
Decisões devem ser transparentes e estabelecidas antes de se iniciar a
revisão – protocolo.
Rev.Sistemática
5

6. 5/14/2011
ELEMENTOS DA REVISÃO SISTEMÁTICA
Rev.Sistemática
1. Formular a pergunta de forma objetiva e clara
A paroxetina, antidepressivo de segunda geração, é eficaz no
tratamento do transtorno de ansiedade social (fobia social)?
2. Definir critérios de inclusão e de exclusão de estudos
Desenho: ensaio clínico randomizado
Participantes: ambos os sexos, idade igual ou superior a 18 anos,
com diagnóstico de fobia social feito segundo critérios do DSM-III
ou versões mais recentes.
Intervenção: paroxetina, qualquer dose ou duração, versus
placebo.
Desfechos: redução da sintomatologia e melhora.
Rev.Sistemática
6

7. 5/14/2011
3. Identificação de estudos
Dicas de fontes: www.york.ac.uk/inst/crd/revs.htm
Referências bibliográficas de artigos.
Bases eletrônicas: Medline, Cochrane Controlled Trials Register,
Biological Abstracts, Embase, Scisearch, Lilacs, bancos de dados da
industria farmacêutica (Datastar Service e Dialog Service), bases de
estudos por especialidade (PsycLit, Psyndex), entre outros.
Especialistas.
Registros de ensaios clínicos.
Congressos, simpósios.
Busca manual.
RS/metanálise
4. Seleção de estudos
Preenchem critérios de inclusão/exclusão?
Pelo menos 2 investigadores
Estratégia para discordâncias
5. Avaliação da qualidade do estudo
Considerar a avaliação de mais de um observador
Usar “checklists” ao invés de escalas com escore único de qualidade
6. Extração da informação
Formulário para extração de dados
Mínimo de 2 investigadores
Obtenção da informação adicional: contato com autores, re-análise
de estudos individuais
Rev.Sistemática
7

8. 5/14/2011
7. Análise Estatística - Metanálise
Combinar resultados dos diferentes estudos em uma medida única
Avaliação da heterogeneidade.
Avaliação de vieses.
Rev.Sistemática
+ Sim
Rosenstock et al
DeFRonzo et al
Jadizinsky et al
Hollander et al
Chacra et al
- Não
? Sem informação
Geração da sequência adequada
Avaliação de Qualidade
Ocultamento da alocação Cochrane Collaboration
Mascaramento (desfechos laboratriais)
Mascaramento (desfechos auto-referidos)
Manejo de perdas (desfechos laboratoriais)
Manejo de perdas (desfechos auto-relato)
Ausência de relato parcial
Ausência de outros vieses
Geração da sequência adequada
Ocultamento da alocação
Mascaramento (desfechos laboratriais)
Mascaramento (desfechos auto-referidos)
Manejo de perdas (desfechos laboratoriais)
Manejo de perdas (desfechos auto-relato)
Ausência de relato parcial
Ausência de outros vieses |_________|__________|_________|_________|
0% 25% 50% 75% 100%
Sim (baixo risco de viés) Sem informação Não (alto risco de viés)
Rev.Sistemática
8

9. 5/14/2011
Metanálise
Análise estatística que combina e integra os resultados de estudos
independentes, considerados passíveis de combinação, com o propósito de
extrair uma conclusão sobre o conjunto da pesquisa.
Análise estatística que busca explicar diferenças nos resultados entre
os estudos.
Os passos que antecedem a metanálise são os mesmos de uma revisão
sistemática.
Rev.Sistemática
FOREST PLOT
Study %
ID
intervalo de confiança de WMD (95% CI) Weight
95% do estudo de Stein
Stein 1998 -16.00 (-23.33, -8.67) 11.63
Baldwin 1999 -13.80 (-21.42, -6.18) 10.75
Liebowitz 2002 (20 mg) -19.10 (-27.68, -10.52) 8.50
Liebowitz 2002 (40 mg) de médias
diferença -9.50 (-18.15, -0.85) 8.35 Pesos relativos
nos estudo de Stein, atribuídos aos
Liebowitz 2002 (60 mg) -10.20 (-18.83, -1.57) 8.40
Lepolla e Liebowitz estudos de Lepolla e
Algullander 2004 -16.30 (-23.04, -9.56) 13.78 Liebowitz
Lepolla 2004 -13.10 (-18.02, -8.18) 25.83
Liebowitz 2005 -17.00 (-24.00, -10.00) 12.75
Overall (I-squared = 0.0%, p = 0.708) -14.42 (-16.92, -11.92) 100.00
diferença
-27.7 0 combinada das
27.7
médias
Valor nulo - ausência de
diferença entre os grupos
Diferença na variação no escore da escala de Liebowitz (final – início)
entre os grupos paroxetina e placebo Rev.Sistemática
9

10. 5/14/2011
FOREST PLOT
Study %
ID RR (95% CI) Weight
Stein 1998 2.34 (1.56, 3.52) 7.89
Baldwin 1999 2.06 (1.59, 2.67) 12.31
Algullander 1999 8.45 (3.25, 22.03) 2.13
Liebowitz 2002 (20 mg) 1.60 (1.08, 2.35) 8.40
Liebowitz 2002 (40 mg) 1.63 (1.11, 2.40) 8.43
Liebowitz 2002 (60 mg) 1.52 (1.03, 2.25) 8.27
Algullander 2004 1.87 (1.44, 2.42) 12.23
Lader 2004 1.44 (1.21, 1.73) 15.30
Lapolla 2004 1.87 (1.46, 2.41) 12.55
Liebowitz 2005 1.73 (1.34, 2.23) 12.49
Overall (I-squared = 55.8%, p = 0.016) 1.82 (1.57, 2.11) 100.00
NOTE: Weights are from random effects analysis
.0454 1 22
Tratamento piora sintomas Tratamento melhora sintomas
Proporção de melhora no grupo da paroxetina em relação ao grupo
placebo (risco relativo) Rev.Sistemática
Julian Higgins
ESTUDOS COM RESULTADOS HETEROGÊNEOS
Simon Thompson
10

11. 5/14/2011
%
SUBGROUP N PREVALENCE (95% CI) Weight
TYPE OF INSTRUMENT EMPLOYED
Self-reported (35) 19835 10.10 (8.10, 12.20) 92.00
Interview (5) 589 9.30 (2.40, 16.30) 8.00
Subtotal (I-squared = 0.0%, p = 0.829) 10.04 (8.07, 12.00) 100.00
.
DIAGNOSTIC CRITERIA FOR PTSD
Self-reported instruments using cut-off (14) 2329 10.50 (7.10, 14.00) 32.33
Missing (2) 728 16.10 (4.40, 27.90) 2.79
Interview using DSM criteria (5) 589 9.30 (2.40, 16.30) 7.97
Self-reported instruments using DSM criteria (19) 16778 9.20 (6.60, 11.80) 56.92
Subtotal (I-squared = 0.0%, p = 0.685) 9.82 (7.86, 11.78) 100.00
.
REQUIREMENT OF IMPAIRMENT FOR THE DIAGNOSIS
No (33) 19389 10.90 (8.70, 13.10) 35.68
Yes (4) 256 7.50 (3.00, 11.90) 29.76
Missing (3) 779 3.30 (0.60, 6.00) 34.56
Subtotal (I-squared = 89.1%, p = 0.000) 7.26 (2.08, 12.44) 100.00
.
GEOGRAPHIC LOCATION
Oceania (5) 297 5.70 (1.20, 10.30) 16.63
North America (12) 15261 11.80 (8.80, 14.70) 22.14
Africa (1) 34 6.00 (0.00, 14.00) 10.48
South America (1) 180 6.70 (3.00, 10.40) 19.46
Asia (7) 860 17.90 (9.80, 26.00) 8.61
Europe (15) 3792 7.40 (4.60, 10.20) 22.68
Subtotal (I-squared = 62.7%, p = 0.020) 8.71 (5.88, 11.54) 100.00
.
ECONOMICALLY DEVELOPED COUNTRY
Yes (33) 19634 10.00 (7.90, 12.10) 88.76
No (7) 790 10.60 (4.70, 16.50) 11.24
Subtotal (I-squared = 0.0%, p = 0.851) 10.07 (8.09, 12.05) 100.00
.
OCCUPATIONAL GROUP
Firefighters (16) 5680 7.30 (3.60, 11.00) 26.03
Police officers exposed to a major disaster(4) 4953 4.70 (1.20, 8.30) 26.37
Other rescue teams (12) 8526 13.50 (10.00, 17.00) 26.48
Ambulance personnel (8) 1265 14.60 (8.80, 20.30) 21.12
Subtotal (I-squared = 81.7%, p = 0.001) 9.80 (5.14, 14.46) 100.00
.
TYPE OF WORK
Professional (29) 14051 10.40 (8.00, 12.70) 40.45
Unspecified/mixed (1) 134 5.00 (1.30, 8.70) 31.18
Non professional (10) 6239 9.60 (5.40, 13.70) 28.37
Subtotal (I-squared = 66.3%, p = 0.051) 8.49 (5.16, 11.82) 100.00
.
EXPOSURE TO THE SAME MAJOR DISASTER
Yes (20) 16848 10.40 (7.70, 13.10) 53.57
No (20) 3576 9.60 (6.70, 12.50) 46.43
Subtotal (I-squared = 0.0%, p = 0.692) 10.03 (8.05, 12.00) 100.00
.
NATURE OF MAJOR DISASTER
Exposed to a natural disaster (8) 638 17.20 (9.30, 25.10) 15.45
No exposure to a major disaster (20) 3576 9.60 (6.70, 12.50) 43.10
Exposure to a human-made disaster (12) 26342 7.70 (4.60, 10.80) 41.45
Subtotal (I-squared = 59.2%, p = 0.086) 9.99 (6.38, 13.59) 100.00
.
NOTE: Weights are from random effects analysis
-27.9 0 27.9
Rev.Sistemática
PRINCIPAIS VIESES EM METANÁLISE
Mathias Egger
11

12. 5/14/2011
Viés de Publicação
Ocorre quando estudos inteiros, ou parte de seus dados, não são
publicados em função do resultado obtido.
Tal decisão tende a produzir um predomínio de publicações com
resultados positivos (estatisticamente significativos), aumentando a
probabilidade de que uma publicação apresente um resultado falso-
positivo.
85% dos estudos publicados na área médica mostraram resultados
“estatisticamente significativos”.
Egger et al, 2001
Rev.Sistemática
Viés de Idioma
Os estudos são identificados, mas excluídos em função da língua. A
situação mais frequente é a exclusão de artigos publicados em outro
idioma, que não o inglês, em metanálises publicadas em inglês.
P-valores: entre os artigos publicados por autores alemães, 63%
daqueles publicados em inglês tinha achados estatisticamente
significativos (p<0.05) contra 35% daqueles publicados em alemão.
Egger et al (Lancet, 1997)
Rev.Sistemática
12

13. 5/14/2011
Revisão Narrativa vs Revisão Sistemática
Revisões narrativas são apropriadas para:
Descrever a história e o manejo de um problema.
Descrever avanços mais recentes quando os estudos são
raros, preliminares ou apresentam metodologia insuficiente.
Discutir dados a partir de uma teoria ou contexto.
Integrar conceitualmente dois campos de pesquisa.
Revisões narrativas são inapropriadas para:
Avaliar a eficácia de intervenções clínicas.
Avaliar a eficácia de intervenções populacionais.
Avaliar fatores de risco.
Rev.Sistemática
Douglas Altman
COMO APRESENTAR METANÁLISES
David Moher
13

14. 5/14/2011
Quality of Reporting of Meta-analyses Group (QUOROM)
Conferência em outubro de 1996, com 30 pessoas envolvidas com
metanálise, incluindo epidemiologistas, clínicos, estatísticos, editores,
Foi produzida uma lista de 21 tópicos cuja informação foi considerada
imprescindível para que leitores possam julgar a qualidade de
metanálises sobre ensaios clínicos randomizados.
http://www.consort-statement.org/mod_product/uploads/
QUOROM%20Statement%201999.pdf (acessado em 20/05/2009).
Rev.Sistemática
Meta-analysis of Observational Studies in Epidemiology -
MOOSE Group
Conferência 1997 em Atlanta, com 27 pessoas envolvidas com
metanálise, incluindo epidemiologistas, clínicos, estatísticos, editores.
Fizeram uso de 32 artigos sobre relato de metanálise de estudos
observacionais.
Foi produzida uma lista de tópicos cuja informação foi considerada
imprescindível para que leitores possam julgar a qualidade de
metanálises de estudos observacionais.
http://www.consort-statement.org/mod_product/uploads/
MOOSE%20Statement%202000.pdf (acessado em 20/05/2009)
Rev.Sistemática
14

15. 5/14/2011
Preferred Reporting Items for Systematic reviews and Meta-
Analyses - PRISMA
Encontro com 29 autores de revisões em 2005
Foi desenvolvido um checklist com 29 itens
Fez modificações no fluxograma do QUOROM.
http://www.prisma-statement.org/ (acessado em 27/11/2009)
Rev.Sistemática
Richard Smith – Editor do BMJ durante uma conferência no
Cochrane Colloquium na Noruega
15