Seminário apresentado sobre a técnica de Revisão Sistemática de Literatura (RSL).

1. Introdução à Revisão
Sistemática de Literatura (RSL)
Mariana de Azevedo Santos
22/10/2013
Universidade Federal de Lavras
Departamento de Ciência da computação (DCC)
Programa de Pós-graduação em Ciência da Computação
(PPGCC)
PCC509 – Engenharia de Software

2. Sumário
 Introdução
 Motivação – Porque realizar uma revisão sistemática?
 Como realizar uma revisão sistemática?
 Etapas da revisão sistemática
 Parte 1 – Planejamento da revisão
 Parte 2 – Execução da revisão
 Parte 3 – Comunicação e divulgação
 Considerações finais
2

3. Introdução
3
É uma técnica que visa identificar, avaliar e interpretar todos
os estudos ou pesquisas disponíveis e relevantes para uma
questão de pesquisa específica, área temática ou fenômeno
de interesse
 Surgimento
 Área da saúde
 2004: guia para revisão sistemática em ES por Kitchenham
(2004)

4. Introdução (cont.)
4
Revisão de literatura tradicional Revisão sistemática
A busca de estudos é mais informal
e subjetiva
Busca abrangente e exaustiva por
estudos seguindo a questão de
pesquisa
Tendência de citar seletivamente
literatura
Critérios de qualificação da citação
rigorosos e claros
Não descreve busca, seleção e
avaliação da qualidade dos estudos
Avaliação crítica dos estudos e
síntese dos resultados de acordo
com um método explícito e pré-
determinado

5. Por que realizar uma revisão sistemática?
5
 De acordo com Justus (2009):
 Delimitar um problema de pesquisa
 Buscar novas linhas de pesquisa
 Busca de insights metodológicos
 Identificar recomendações para pesquisas futuras
 Busca de fundamentação teórica

6. Como realizar uma revisão sistemática?
6
 Primeiro passo - entender tipos de estudo [Kitchenham
2007]:
 Estudos primários: estudos individuais empíricos que estão
diretamente relacionados à questão em pesquisa
 Estudos secundários: são estudos que visam revisar, investigar
e sintetizar as evidências identificadas nos estudos primários
 A revisão sistemática é considerada um estudo secundário

7. Como realizar uma revisão sistemática?
(cont.)
7
 Outros tipos de revisões:
 Estudos terciários: estudos que fazem a revisão de estudos
secundários relacionados a uma mesma questão de pesquisa
 Mapeamento sistemático: visa identificar tipos de estudos
podem ser abordados por uma Revisão Sistemática, indicar o
local no qual os mesmos foram publicados, em que bases de
dados foram indexados e quais os tipos de resultados
apresentaram
 Mais abrangente
 Foca na classificação e categorização dos resultados

8. Etapas da Revisão Sistemática
8
• Identificação da necessidade de revisão
• Elaboração da proposta da revisão
• Desenvolvimento do protocolo da revisão
Planejamento
da revisão
• Identificação das fontes de pesquisa
• Seleção dos trabalhos
• Avaliação da qualidade dos trabalhos
• Extração dos dados
• Síntese dos dados
Execução da
revisão
• Apresentação dos resultados
Comunicação
e divulgação

9. Etapa 1 – Planejamento da revisão
9
 Responda a seguinte pergunta: qual é a necessidade de se
fazer uma RSL?
 Ex.: identificar estudos acerca da definição ou utilização de
métricas para caracterização da qualidade interna de sistemas
de software desenvolvidos em Java

10. Etapa 1 – Planejamento da revisão
10
 Elabore uma proposta para a sua pesquisa
 Defina as questões de pesquisa que a sua RSL irá responder
 Como defini-las?
 Identifique o tema
 Identifique o problema ou o gap, ou seja, uma dificuldade
que ainda não foi apresentada uma solução científica na
teoria atual
 Defina o problema
 Verifique se este problema pode ser
empiricamente verificado e validado

11. Etapa 1 – Planejamento da revisão (cont.)
11
 Desenvolva o protocolo para a sua RSL
 Background: a problemática envolvida (teoria do assunto), os
objetivos da RSL
 Questões de pesquisa: o que se pretende investigar?
 As estratégicas de busca:
 Em quais fontes irei executar minha RLS?
 IEEE, Scopus, ScienceDirect, Emerald, Compendex, ACM Digital
Library, Springer

12. Etapa 1 – Planejamento da revisão (cont.)
12
 Desenvolva o protocolo para a sua RSL (cont.)
 As estratégicas de busca (cont.) :
 Que tipos de estudo irei considerar?
 Em andamento, finalizados (não publicados e/ou
publicados – em periódicos, teses, resumos...)
 Termos de busca: derivar palavras-chave das questões de
pesquisa, buscando sinônimos e palavras relacionadas

13. Etapa 1 – Planejamento da revisão (cont.)
13
 Desenvolva o protocolo para a sua RLS (cont.)
 As estratégicas de busca (cont.):
 String de busca:
 Agrupar sinônimos e palavras relacionadas com o identificador
OR
 Agrupar cada conjunto de termos com o identificador AND

14. Etapa 1 – Planejamento da revisão (cont.)
14
 Desenvolva o protocolo para a sua RSL (cont.)
 Critérios de inclusão e exclusão
 Período
 Área de concentração
 Tipo de publicação
 Tipo de formato de exportação de documentos
 Idioma dos artigos
 Verificar se os resultados encontrados atendem à questão de
pesquisa

15. Etapa 1 – Planejamento da revisão (cont.)
15
 Desenvolva o protocolo para a sua RSL (cont.)
 Avaliação da qualidade dos estudos encontrados
 Verificar a qualidade dos estudos retornados
 Verificar se a String busca formulada precisa ser ajustada (Testes
pilotos podem ajudar)
 Estratégias de extração de dados
 Definir como a informação requerida (questão de pesquisa) será
obtida
 Processo de manipulação de dados, hipóteses, inferências e
validações devem ser previamente especificados
 Síntese dos dados extraídos:
 Técnicas utilizadas para sintetizar dados

16. Etapa 2 – Execução da revisão
16
 Selecionar fontes de pesquisa
Todos os
estudos
Publicados
Periódicos
Testes
Resumos
Etc.
Não
publicados
Base
de
dados

17. Etapa 2 – Execução da revisão (cont.)
17
 Estratégias de busca
 String de busca
Ex.:
(software OR application OR applications OR system
OR systems OR "software system" OR "software
systems") AND (metric OR metrics OR "software
metrics" OR "code metrics" OR measure OR measures
OR measurement) AND (quality OR "internal quality"
OR "code quality" OR "software quality") AND ("object
oriented" OR "object-oriented" OR "oo")

18. Etapa 2 – Execução da revisão (cont.)
18
 Identificação e seleção de estudos primários
Identificados
Selecionados
Incluídos
Excluídos
Não
Selecionados

19. Etapa 2 – Execução da revisão (cont.)
19
 Estudos identificados: são todos os estudos identificados
pelas fontes de busca
 Estudos não selecionados: são aqueles que objetivamente
não atendem os critérios de inclusão
 Estudos selecionados: são aqueles que aparentemente
atendem os critérios de inclusão

20. Etapa 2 – Execução da revisão (cont.)
20
 Estudos excluídos: são aqueles que, após avaliação do texto
completo, não atendem aos critérios de inclusão
 Estudos incluídos: são aqueles que, após avaliação do texto
completo, atendem aos critérios de inclusão

21. Etapa 2 – Execução da revisão (cont.)
21
 Critérios de inclusão e exclusão
 Ex.:
 Critérios de inclusão:
i) ser da área de ciência da computação
ii) ter sido publicado entre 1998 e 2013
iii) ser um artigo de Journal ou Conference Paper
iv) ter sido publicado no idioma Inglês
v) poder ser exportado no formato BibTex
 Critérios de exclusão:
i) texto de acesso restrito;
ii) textos duplicados

22. Etapa 2 – Execução da revisão (cont.)
22
 Avaliação da qualidade
 Estudos primários encontrados esclarece o contexto do que
está sendo pesquisado
 Há evidências de adaptação e resposta do projeto de pesquisa
ao problema descrito na RSL?
 Qualidade das fontes: artigos relevantes encontrados nas
diferentes fontes
 Os resultados podem ser generalizados? E a relevância da
pesquisa está claramente indicada?

23. Etapa 2 – Execução da revisão (cont.)
23
 Extração dos dados
 Busca responder a questão de pesquisa
 Carácter qualitativo e quantitativo
 Métodos complementares:
 Métodos estatísticos
 Metanálise: integrar os resultados de dois ou mais
estudos

24. Etapa 2 – Execução da revisão (cont.)
24
 Síntese dos dados
 Descreve a resposta da questão de pesquisa
 Estado da arte:
 Principais autores
 Principais áreas
 RelaçãoTema x período
 Principais temas
 Trabalhos de maior impacto

25. Etapa 3 – Comunicação e divulgação
25
 Como relatar:
 Artigos, relatórios, etc...
 Formato:
 Justificativa da revisão
 Questão ou questões de pesquisa
 Objetivos
 Descrição do Protocolo
 Execução da revisão
 Descrição dos critérios e métodos de extração
 Análise e síntese dos dados
 Conclusões

26. Considerações finais
26
 Principais vantagens:
 Poder de síntese: permite consolidar um grande volume de
informações
 Objetividade: reduz vieses e subjetividade
 Dinâmica: identifica gaps ou áreas de oportunidade de pesquisa
 Replicável: permite criar um protocolo em que é possível e claro
para o leitor reproduzir as etapas de pesquisa
 Flexível: pode ser adaptado à diferentes contextos (foi criada na área
de medicina e hoje é muito usada na área de computação)

27. Considerações finais (cont.)
27
 Principais desvantagens:
 Demanda maiores esforços de pesquisa
 Conduzir avaliações de qualidade é uma atividade difícil que
pode ser fonte de viés

28. Referências bibliográficas
28
 Kitchenham, B.A. (2004) Procedures for Undertaking
Systematic Reviews, Joint Technical Report, Computer Science
Department, Keele University (TR/SE-0401) and National ICT
Australia Ltd. ( 0400011T.1).
 Kitchenham, B. (2007) “Guidelines for Performing Systematic
Literature Review in Software Engineering”. EBSE Technical
Report, 2.3, Keele University.
 Randolph, Justus (2009) A Guide to writing the dissertation
Literature Review. Practical Assessment, Research &
Evaluation,14(13).

29. Introdução à Revisão Sistemática de
Literatura (RSL)
29
Mariana de Azevedo Santos
mariana@bsi.ufla.br