O documento descreve os principais aspectos de uma revisão sistemática da literatura, comparando-a com uma revisão narrativa. Ele explica o que é uma revisão sistemática, suas características e o método proposto por Rother, E.T., incluindo a formulação da pergunta de pesquisa, a busca de estudos, a avaliação crítica, a extração e síntese dos dados. O documento também apresenta um exemplo de revisão sistemática publicada em uma conferência.

1. Seminários SecondLab – Métodos de Pesquisa
Revisão Sistemática da Literatura
Wallace Ugulino
Seminários SecondLab – Método de Pesquisa
2012.1

2. O que é revisão sistemática?
“É uma revisão planejada para responder uma pergunta
específica e que utiliza métodos explícitos e sistemáticos
para identificar, selecionar e avaliar criticamente os
estudos, e para coletar e analisar os dados destes estudos
incluídos na revisão”
ROTHER, Edna Terezinha. Revisão sistemática X revisão narrativa. Acta paul. enferm.
[online]. 2007, vol.20, n.2, pp. v-vi. ISSN 0103-2100. http://dx.doi.org/10.1590/S0103-
21002007000200001 Versão pt-BR
ROTHER, Edna Terezinha. Systematic literature review X narrative review. Acta paul.
enferm. [online]. 2007, vol.20, n.2, pp. v-vi. ISSN 0103-2100. Versão en-US
Seminários SecondLab
2 / 20 2012.1

3. O que NÃO é revisão sistemática?
“Análise da literatura publicada em livros, artigos de revista
impressas e/ou eletrônicas na interpretação e análise
crítica pessoal do autor.” (Rother, E.T.)
Chamado de “revisão narrativa da literatura”
Seminários SecondLab
3 / 20 2012.1

4. Revisão Narrativa serve para...
Antes de atirar uma pedra, saiba que R.N. serve para...
“(...) descrever ou discutir o desenvolvimento ou o
"estado da arte" de um determinado assunto, sob
ponto de vista teórico ou conceitual (...) (Rother, E.T.)
Seminários SecondLab
4 / 20 2012.1

5. Características de Revisão Narrativa
 Não informa as fontes de informações usadas
 Não informa o método usado para busca de referências
(string de busca)
 Não informa critérios de seleção (inclusão / exclusão)
 Não informa critérios na avaliação dos trabalhos
 São fruto análise crítica pessoal do autor sobre um
conjunto de buscas de trabalhos feito de forma não
sistemática
Seminários SecondLab
5 / 20 2012.1

6. Características de Revisão Sistemática
 Informam-se as fontes de informações usadas
 Informa-se o método usado para busca de referências
(string de busca)
 Informam-se os critérios de seleção
 Informam-se os critérios usados na avaliação dos
trabalhos
 Planejada para responder uma pergunta
específica
Seminários SecondLab
6 / 20 2012.1

7. Revisão Sistemática vs Narrativa
• Revisão Narrativa: o que os revisores questionam?
• Revisão Sistemática: o que os revisores questionam?
Parece difícil de fazer em Computaçao...
Seminários SecondLab
7 / 20 2012.1

8. Base apenas o sublinhado!
Ler
Cochrane
Mas a página é boa para sabermos que existem grupos dedicados a
manter uma base de dados de Revisões Sistemáticas (na medicina)
Seminários SecondLab
8 / 20 2012.1

9. Método Descrito por Rother, E.T.
• 1-) Formulação da pergunta
• 2-) Localização dos estudos
 obrigatório incluir principais bases eletrônicas de Ciência da Computação
 Incluir artigos de conferência, revistas não disponíveis nas bases de dados, etc. (opc)
• 3-) Avaliação crítica dos estudos
 Aplicar critérios para determinar a validade dos estudos selecionados. Os estudos
que não preencherem os critérios devem ser citados e o motivo da exclusão
explicado
• 4-) Coleta de dados
 As variáveis estudadas devem ser observadas nos estudos e resumidas em um
formulário próprio do pesquisador. Objetivo: comparar os estudos (nem sempre é
possível)
• 5-) Análise e apresentação dos dados
 Agrupar os estudos baseados na semelhança (ou criar um critério de agrupamento,
que deve ser explicitado na hora de relatar os resultados)
 Usar estatística descritiva
Seminários SecondLab
9 / 20 2012.1

10. Exemplo: artigo CRIWG 2011
• Context-Awareness on Software Artifacts in Distributed
Software Development: A Systematic Review
• Método usado por esse autor:
 1 – Research questions
 2 – Search strategy
 3 – Criteria and selection procedures
 4 – Quality Assessment
http://goo.gl/dP6tJ
 5 – Data extraction and synthesis link do autor para apresentação
feita no CRIWG’11
• RQ2: What types of software artifacts are addressed by research
concerning context-awareness?
Vivian, R.L.; Huzita, M.H.E.; Leal, G.C.L.; Steinmacher, A.P.C. Context-Awarenes on Software Artifacts in Distributed Software
Development: A Systematic Review. In: Proceedings of the 17th International Conference on Collaboration and Technology (CRIWG'11).
Editor Vivacqua et al. Springer-Verlag, 2011. ISSN 0302-9743. ISBN 978-3-642-23800-0.
Seminários SecondLab
10 / 20 2012.1

11. Exemplo: artigo CRIWG 2011
• Search Strategy:
 1-) buscou artigos num conjunto pré-definido por “especialistas”
(orientador?) de journals e conferências.
• O autor lista todas as conferências e journals consultados nessa
primeira fase de busca
 2-) Realizou busca eletrônica com uma string pequena (resultado
amplo) nas bases: IEEE, ACM, EI Compendex, ScienceDirect,
Scirus.
• Não há uma justificativa para essa seleção, mas parece que se deu
em função da possibilidade de acesso web e dos mecanismos de
busca
Vivian, et al., 2011 (CRIWG’11)
Seminários SecondLab
11 / 20 2012.1

12. Exemplo: artigo CRIWG 2011
Vivian, et al., 2011 (CRIWG’11)
Seminários SecondLab
12 / 20 2012.1

13. Exemplo: artigo CRIWG 2011
Vivian, et al., 2011 (CRIWG’11)
Seminários SecondLab
13 / 20 2012.1

14. Exemplo: artigo CRIWG 2011
Vivian, et al., 2011 (CRIWG’11)
Seminários SecondLab
14 / 20 2012.1

15. Exemplo: artigo CRIWG 2011
• Criteria and Selection procedures (INCLUSION)
Vivian, et al., 2011 (CRIWG’11)
Seminários SecondLab
15 / 20 2012.1

16. Exemplo: artigo CRIWG 2011
• Criteria and Selection procedures (INCLUSION)
Vivian, R.L.; Huzita, M.H.E.; Leal, G.C.L.; Steinmacher, A.P.C. Context-Awarenes on Software Artifacts in Distributed Software
Development: A Systematic Review. In: Proceedings of the 17th International Conference on Collaboration and Technology (CRIWG'11).
Editor Vivacqua et al. Springer-Verlag, 2011. ISSN 0302-9743. ISBN 978-3-642-23800-0.
Seminários SecondLab
16 / 20 2012.1

17. Exemplo: artigo CRIWG 2011
• 4-) Quality Assessment
 Is the article based on research or is it merely a “lessons
learned” report based on expert opinion?
 Is there a clear statement of the aims of the research?
 Is there an adequate description of the context in which the
research was carried out?
 Total de 11 critérios definidos para avaliar a qualidade do artigo. O
julgamento da qualidade foi usado para guiar a interpretação,
análise e síntese dos resultados
Seminários SecondLab
17 / 20 2012.1

18. Exemplo: artigo CRIWG 2011
• Visão geral do processo de seleção
Vivian, et al., 2011 (CRIWG’11)
Seminários SecondLab
18 / 20 2012.1

19. Exemplo: artigo CRIWG 2011
• 5-) Data Extraction and Synthesis
 Usou um formulário pré-definido (pelo autor) para extração dos
dados.
• Possibilitou padronização / tabulação dos dados
• Apoiou o processo de síntese.
• Formulário não foi publicado
– Dados: autor, título, origem, ano, volume, páginas, abstract, keywords e
funcionalidades discutidas no paper
 Classificou cada paper em 1 de 5 categorias:
• (1) Case Study, (2) Experimento, (3) Revisão da literatura, (4) Lessons
Learned, e (5) Simulação
• A classificação nas categorias acima seguiu a forma descrita em
Zelkowitz e Wallace 1
1 Zelkowitz, M.V.; Wallace, D.R.; Experimental models for validating technology. Computer 31(5), 23-31 (1998)
Seminários SecondLab
19 / 20 2012.1

20. Exemplo: artigo CRIWG 2011
• Como apresentar os resultados:
Frequencia de Publicação Sources of Information (RQ1)
Visual Resources (RQ1) Types os Sw Artifacts (RQ2)
Seminários SecondLab
20 / 20 2012.1

21. Links úteis
Exemplo: http://goo.gl/dP6tJ
Exemplo: http://goo.gl/3KsIG
http://goo.gl/AJ2lx
http://www.cochrane.org/
http://goo.gl/OhcnL
Artigo referência: http://goo.gl/o834B
Seminários SecondLab – Método de Pesquisa
2012.1

22. Seminários SecondLab – Métodos de Pesquisa
Revisão Sistemática da Literatura
Wallace Ugulino
Seminários SecondLab – Método de Pesquisa
2012.1