Elizabete Munzlinger Fabricio Batista Narcizo José Eustáquio Rangel de Queiroz Departamento de Sistemas e Computação (DSC) Universidade Federal de Campina Grande (UFCG) RESUMO Durante o desenvolvimento de uma pesquisa científica na área de Interação Humano-Computador (IHC) é necessário identificar, ler, analisar e interpretar publicações relevantes sobre determinado tema ou assunto. Tal tarefa resulta usualmente em extensos volumes de dados bibliográficos, os quais devem ser integrados em um único documento, com o objetivo de facilitar a avaliação da robustez da evidência em questão. Não obstante, isto não constitui uma tarefa fácil de realizar. As revisões sistemáticas têm o papel de preencher tal lacuna, provendo sínteses abrangentes, confiáveis e imparciais de uma pesquisa sobre um tema específico, integrando em um único relatório grandes volumes de estudos individuais, proporcionando a melhor evidência para a tomada de decisões e também auxiliando a identificar novos nichos de pesquisa.

1. Universidade Federal de Campina Grande UFCG
Departamento de Sistemas e Computação DSC
Programa de Pós-Graduação em Ciência da Computação COPIN
Sistematização de revisões
bibliográficas em pesquisas da área
de IHC
MSc. Elizabete Munzlinger
MSc. Fabricio Batista Narcizo
Prof. Dr. José Eustáquio Rangel de Queiroz

2. Tópicos
Revisão Sistemática (RS):
1. O que é?
2. Quais são os objetivos?
3. Qual é a importância?
4. Onde surgiu?
5. Quais são as suas contribuições?
6. Quais são as suas etapas?
7. Ciclo de vida da RS.
8. Etapas e procedimentos da RS.
9. Qual a documentação gerada?
(88 slides) 2

3. 1. O que é uma Revisão Sistemática?
É um método de revisão bibliográfica do estado da arte.
 Processo de apoio à condução de estudos;
 É um meio de identificar, avaliar e interpretar todas as
pesquisas disponíveis, atuais e relevantes para uma
questão de pesquisa específica, área temática, ou
fenômeno de interesse;
 É uma forma de estudo secundário.
 Os estudos individuais que fornecem subsídios para uma
revisão sistemática são chamados de estudos primários.
3

4. 2. Quais são os objetivos de uma RS?
Buscar fundamentação teórica.
 Levantar o estado da arte;
 Resumir e confrontar as evidências existentes sobre um
dado assunto, tema, problema;
 Buscar novas linhas de investigação, evitando
abordagens infrutíferas;
 Identificar recomendações e lacunas para pesquisas
futuras.
4

5. 2. Quais são os objetivos de uma RS?
Auxiliar o pesquisador.
 Amadurecer o conhecimento sobre o tema a ser visto;
 Posicionar adequadamente novas atividades de
investigação;
 Subsidiar conteúdo para a delimitação do problema de
pesquisa para Tese/Dissertação/Projeto;
 Fornecer conteúdo para a produção científica
(publicações).
5

6. 3. Qual é a importância de uma RS?
Gerar uma revisão de qualidade.
 Robusta e consistente:
 Maior cobertura de publicações pertinentes.
 Oferece melhores resultados do processo de revisão da
literatura.
6

7. 3. Qual é a importância de uma RS?
Gerar uma revisão de qualidade.
 Robusta e consistente:
 Maior cobertura de publicações pertinentes;
 Oferece melhores resultados do processo de revisão da
literatura.
 Íntegra e confiável:
 Permite que a RS seja auditada, reproduzida e continuada.
7

8. 3. Qual é a importância de uma RS?
Gerar uma revisão de qualidade.
 Robusta e consistente:
 Maior cobertura de publicações pertinentes;
 Oferece melhores resultados do processo de revisão da
literatura.
 Íntegra e confiável:
 Permite que a RS seja auditada, reproduzida e continuada.
 Justa e não tendenciosa:
 Sintetiza todos os trabalhos relacionados sem preconceitos;
 Inclui também as publicações cujas hipóteses são contrárias
8
às defendidas.

9. 4. Onde surgiu a RS?
Na medicina.
 Método desenvolvido por uma rede de colaboração para
que médicos pudessem se atualizar acerca de novos
procedimentos sem necessariamente fazer um curso ou
especialização, acompanhando a evolução da
medicina.
 Método proposto em diversos guias:
 (i) Cochrane ReviewersHandbook.
 (ii) Australian National Health and Medical Research Council.
 (iii) Systematic Reviews Group.
 (iv) CRD Guidance.
9

10. 5. Quais são as contribuições da RS?
Revisão abrangente:
 Revisão do estado da arte de temas relativos à área de
IHC, de modo abrangente, incorporando um espectro
maior de resultados relevantes, não limitando as
conclusões à leitura de um número reduzido de artigos,
obtidos a partir de processos de busca ad hoc;
10

11. 5. Quais são as contribuições da RS?
Pesquisas alinhadas:
 Realização de estudos e pesquisas científicas não
enviesadas e com elevado valor científico;
11

12. 5. Quais são as contribuições da RS?
Pesquisas interessantes:
 Auxílio à identificação de problemas atuais não
esgotados na área de IHC;
12

13. 5. Quais são as contribuições da RS?
Encontrar respostas:
 Subsídios para a identificação de soluções para
problemas investigados no foco da pesquisa de
interesse;
13

14. 5. Quais são as contribuições da RS?
Encontrar perguntas:
 Oportunidade de identificar problemas novos e
relevantes no desenvolvimento do estudo;
14

15. 5. Quais são as contribuições da RS?
Promove a produção científica:
 Produção de conteúdo relevante para publicações
científicas;
15

16. 5. Quais são as contribuições da RS?
Atualização constante da pesquisa:
 Rápida atualização do estado da arte sobre o tema ou
área da pesquisa, graças à possibilidade de repetição da
busca, a partir dos mesmos critérios previamente
adotados na RS, o que garante a inclusão de novas
referências em função do período de meses/anos
remanescentes;
16

17. 5. Quais são as contribuições da RS?
Resultados visíveis:
 Rápida produção textual de relatórios, trabalhos de
conclusão de curso, dissertações e teses;
17

18. 5. Quais são as contribuições da RS?
Integração entre pesquisadores:
 Possibilidade de interação mais intensa entre orientador
e orientando no desenvolvimento gradual de pesquisas
caracterizadas pela constante geração/atualização da
documentação produzida;
18

19. 5. Quais são as contribuições da RS?
Nivelamento dos pesquisadores:
 Rápida incorporação e nivelamento de novos membros
no âmbito dos grupos de pesquisa das instituições,
mediante o acesso a relatórios de atividades de RS de
outros pesquisadores;
19

20. 5. Quais são as contribuições da RS?
Reabilitação de pesquisadores:
 Desenvolvimento do hábito da pesquisa científica
sistematizada por uma sequência de etapas e
fundamentada em procedimentos bem definidos a partir
de um protocolo de estudo.
20

21. 6. Quais são as etapas da RS?
Basicamente três etapas de estudo, e muitos procedimentos.
 Etapa 1 – Planejamento e formalização
 Etapa 2 – Condução/execução
 Etapa 3 – Sumarização
Todas as fases devem ser organizadas e documentadas
insistentemente, inadiavelmente, (in)voluntariamente...
21
Figura 1. Etapas-chave de uma RS.

22. 7. Ciclo de vida da RS:
22
Figura 2: Macro-visão do processo de RS (Munzlinger, 2012).

23. 23

24. 24

25. 8. Etapas e procedimentos:
 Etapa 1 – Planejamento e formalização.
 Metatarefas e suas atividades.
25

26. 26

27. 8. Etapas e procedimentos:
Etapa 1 – Planejamento e formalização.
 Metatarefa a) Identificação da necessidade da pesquisa.
O que te move?
(Reflexão e diagnóstico)
27

28. 8. Etapas e procedimentos:
Etapa 1 – Planejamento e formalização.
 Metatarefa a) Identificação da necessidade da pesquisa
(reflexão/diagnóstico).
Cansado do ócio e
resolve voltar
a estudar
Motivações
28

29. 8. Etapas e procedimentos:
Etapa 1 – Planejamento e formalização.
 Metatarefa a) Identificação da necessidade da pesquisa
(reflexão/diagnóstico).
Cansado do ócio e Problemas ao defender
resolve voltar uma ideia
a estudar
Motivações
29

30. 8. Etapas e procedimentos:
Etapa 1 – Planejamento e formalização.
 Metatarefa a) Identificação da necessidade da pesquisa
(reflexão/diagnóstico).
Cansado do ócio e Problemas ao defender Explorar uma ideia (nova?)
resolve voltar uma ideia Trabalhar em um projeto
a estudar
Motivações
30

31. 8. Etapas e procedimentos:
Etapa 1 – Planejamento e formalização.
 Metatarefa a) Identificação da necessidade da pesquisa
(reflexão/diagnóstico).
Não tem certeza
sobre o que resolver
ou como resolver
Motivações
31

32. 8. Etapas e procedimentos:
Etapa 1 – Planejamento e formalização.
 Metatarefa a) Identificação da necessidade da pesquisa
(reflexão/diagnóstico).
Não tem certeza Necessidade
sobre o que resolver de publicação
ou como resolver
Motivações
32

33. 8. Etapas e procedimentos:
Etapa 1 – Planejamento e formalização.
 Metatarefa a) Identificação da necessidade da pesquisa
(reflexão/diagnóstico).
Não tem certeza Necessidade Rever o estado
sobre o que resolver de publicação da arte
ou como resolver
Motivações
33

34. 34

35. 8. Etapas e procedimentos:
Etapa 1 – Planejamento e formalização.
 Metatarefab) Execução dos estudos primários.
Por onde começar?
(Organização e ação)
35

36. 8. Etapas e procedimentos:
Etapa 1 – Planejamento e formalização.
 Metatarefab) Execução dos estudos primários.
Conversar muito
com o orientador
Ações
36

37. 8. Etapas e procedimentos:
Etapa 1 – Planejamento e formalização.
 Metatarefab) Execução dos estudos primários.
Conversar muito Trocar informações
com o orientador com o grupo
de pesquisa
Ações
37

38. 8. Etapas e procedimentos:
Etapa 1 – Planejamento e formalização.
 Metatarefab) Execução dos estudos primários.
Conversar muito Trocar informações Coletar material
com o orientador com o grupo com o orientador
de pesquisa e grupo de pesquisa
Ações
38

39. 8. Etapas e procedimentos:
Etapa 1 – Planejamento e formalização.
 Metatarefab) Execução dos estudos primários.
Conversar muito Trocar informações Coletar material Pesquisar
com o orientador com o grupo com o orientador Revisar
de pesquisa e grupo de pesquisa Ler
Ações
39

40. 40

41. 41

42. 42

43. 43

44. 8. Etapas e procedimentos:
Etapa 1 – Planejamento e formalização.
 Metatarefac) Criação do Protocolo de Estudo.
Redação dos estudos
primários
(Pré-projeto)
Ações
44

45. 8. Etapas e procedimentos:
Etapa 1 – Planejamento e formalização.
 Metatarefac) Criação do Protocolo de Estudo.
Redação dos estudos Delineamento dos critérios
primários de seleção de publicações
(Pré-projeto) relevantes
Ações
45

46. 8. Etapas e procedimentos:
Etapa 1 – Planejamento e formalização.
 Metatarefac) Criação do Protocolo de Estudo.
Redação dos estudos Delineamento dos critérios Definição das bases de
primários de seleção de publicações dados para consulta
(Pré-projeto) relevantes com restrições definidas
Ações
46

47. 47

48. 48

49. 49

50. 8. Etapas e procedimentos:
Etapa 1 – Planejamento e formalização.
 Metatarefa a) Identificação da necessidade da pesquisa.
 Metatarefab) Execução dos estudos primários.
 Metatarefa c) Criação do Protocolo de Estudo.
Revisão primária: Protocolo de Revisão
DOC Pré-projeto com introdução DOC
Sistemática com pré-projeto
problema, objetivos e e critérios de seleção e
questões de pesquisa. definição de bases de busca
Ações → Documentações
50

51. 8. Etapas e procedimentos:
Etapa 2 – Condução/execução.
 Metatarefas e suas atividades.
51

52. 52

53. 8. Etapas e procedimentos:
Etapa 2 – Condução/execução.
 Metatarefa a) Planejamento da execução do PE.
Criação e calibração
da expressão
de busca
Execução da busca
para criar grupo
de controle Ações
53

54. 8. Etapas e procedimentos:
Etapa 2 – Condução/execução.
 Metatarefa a) Planejamento da execução do PE.
Criação e calibração Atualização do
da expressão grupo de
de busca controle e do PE
Execução da busca
para criar grupo
de controle Ações
54

55. 8. Etapas e procedimentos:
Etapa 2 – Condução/execução.
 Metatarefa a) Planejamento da execução do PE.
Criação e calibração Atualização do Adaptação da da
da expressão grupo de expressão
de busca controle e do PE de busca para
Execução da busca cada engenho
para criar grupo
de controle Ações
55

56. 56

57. 57

58. 58

59. 59

60. 60

61. 61

62. 7. Etapas e procedimentos:
Etapa 2 – Condução/execução.
 Metatarefa b) Execução do PE.
Execução da
busca
Download e
catalogação das
publicações nas
ferramentas
Cadastro do PE
na ferramenta de
Ações
62
apoio

63. 7. Etapas e procedimentos:
Etapa 2 – Condução/execução.
 Metatarefa b) Execução do PE.
Execução da Seleção das
busca publicações
Download e por leitura de
catalogação das metadados
publicações nas (critérios de filtragem)
ferramentas
Cadastro do PE
na ferramenta de
Ações
63
apoio

64. 7. Etapas e procedimentos:
Etapa 2 – Condução/execução.
 Metatarefa b) Execução do PE.
Execução da Seleção das Leitura e extração
busca publicações de dados das
Download e por leitura de publicações selecionadas
catalogação das metadados (critérios de filtragem)
publicações nas (critérios de filtragem)
ferramentas
Cadastro do PE
na ferramenta de
Ações
64
apoio

65. 65

66. 66

67. 8. Etapas e procedimentos:
Etapa 2 – Condução/execução.
 Metatarefa a) Planejamento da execução do PE.
 Metatarefa b) Execução do PE.
Protocolo de Revisão
STA
R
Catálogo de metadados
DOC
Sistemática atualizado
T
das
publicações retornadas
na busca
Representações
Coletânea de DOC
DOC
MMI de dados extraídos
publicações
das
publicações
Ações → Documentações
67

68. 8. Etapas e procedimentos:
Etapa 3 – Sumarização.
 Metatarefas e suas atividades.
68

69. 69

70. 8. Etapas e procedimentos:
Etapa 3 – Sumarização.
 Metatarefa a) Análises quantitativas e qualitativas.
Sumarização
dos dados catalográficos
das publlicações
e de conteúdo
Ações
70

71. 8. Etapas e procedimentos:
Etapa 3 – Sumarização.
 Metatarefa a) Análises quantitativas e qualitativas.
Sumarização Criação de fichas de leituras
dos dados catalográficos com registros próprios
das publlicações
e de conteúdo
Ações
71

72. 72

73. 73

74. 8. Etapas e procedimentos:
Etapa 3 – Sumarização.
 Metatarefa b) Análises das publicações.
Representação dos dados
em tabelas, gráficos, etc
Rascunho de relatórios
Ações
74

75. 8. Etapas e procedimentos:
Etapa 3 – Sumarização.
 Metatarefa b) Análises das publicações.
Representação dos dados Criação de
em tabelas, gráficos, etc mapas mentais e/ou
Rascunho de relatórios mapas conceituais
Ações
75

76. 76

77. 77

78. 8. Etapas e procedimentos:
Etapa 3 – Sumarização.
 Metatarefa c) Produção de relatórios e artigos.
Fechamento de
relatórios
Atualização do PE
Ações
78

79. 8. Etapas e procedimentos:
Etapa 3 – Sumarização.
 Metatarefa c) Produção de relatórios e artigos.
Fechamento de Produção
relatórios de artigo(s), capítulos de
Atualização do PE dissertações/teses
Ações
79

80. 8. Etapas e procedimentos:
Etapa 3 – Sumarização.
 Metatarefa c) Produção de relatórios e artigos.
Fechamento de Produção Publicação
relatórios de artigo(s), capítulos de de artigo(s)
Atualização do PE dissertações/teses
Ações
80

81. 81

82. 8. Etapas e procedimentos:
Etapa 3 – Sumarização.
 Metatarefa a) Análises quantitativas e qualitativas.
 Metatarefa b) Análises das publicações.
 Metatarefa c) Produção de relatórios e artigos.
Indicadores Informação adquirida
DOC
quantitativos DOC
Textos e DOC representada em
e qualitativos análises mapas mentais e/ou
mapas conceituais
DOC
Protocolo DOC Relatórios DOC
Capítulo da
atualizado Artigos Tese/Dissertação
Ações → Documentações
82

83. 9. Precisa mesmo de documentação?
Sim!
A documentação constante é a base deste
método S I S T E M Á T I C O !
 Ao final teremos ao menos:
 “Proposta de Projeto.doc”
 “Protocolo de Revisão Sistemática.doc”
 “Artigos Catalogados.start”
 “Relatório de Revisão Sistemática.doc”
 “Mapa Mental.mm”
 “Artigo(s) para Publicação.doc”
 “Capítulo de Tese.doc”
→ Documentações
83

84. 10. Na prática funciona?
Sim!
84

85. Referências
Protocolos completos para leitura nos anexos de:
 Barcellos, Monalessa Perini. “Uma Estratégia Para
Medição De Software E Avaliação De Bases De Medidas
Para Controle Estatístico De Processos De Software Em
Organizações De Alta Maturidade”. Tese de Doutorado.
Programa de Pós-graduação em Engenharia de Sistemas
e Computação, COPPE, da Universidade Federal do Rio
de Janeiro, 2009.
 Souza. Gleison dos Santos. “Ambientes De Engenharia
De Software Orientados A Corporação”. Tese de
Doutorado. Programa de Pós-graduação em Engenharia
de Sistemas e Computação, COPPE, da Universidade
Federal do Rio de Janeiro, 2008.

86. Referências
Ferramenta de execução da RS:
 StArt [http://lapes.dc.ufscar.br/ferramentas/start-tool]
Ferramentas de catalogação de artigos:
 Mendeley [http://www.mendeley.com/]
 EndNote [http://www.endnote.com/]
Ondepublicar (Qualis A1):
 ACM Computing Surveys (CSUR) [http://csur.acm.org/]
 Information Sciences
[http://www.journals.elsevier.com/information-sciences/]
 ACM Transactions on Information Systems (TOIS)
[http://tois.acm.org/]

87. Referências
Links com guias e cursos online:
 Curso de Revisão Sistemática On-line da
Univesp/Cochrane:
[http://www.virtual.epm.br/cursos/metanalise/]
 Alvaro NagibAtallah,
AldemarAraujoCastroRevisãoSistemáticadaLiteraturaeMet
análise:
[http://www.centrocochranedobrasil.org.br/apl/artigos/artig
o_530.pdf]
 Estudos De Revisão Sistemática: Um Guia Para Síntese
Criteriosa Da Evidência Científica
[http://www.scielo.br/pdf/rbfis/v11n1/12.pdf]

88. Referências
Bibliografia:
 Kitchenham,B.A.; Dyba,T.; Jorgensen,M. (2004).
Evidence-based Software Engineering, Proceedings of the
26th International Conference on Software Engineering
(ICSE’04), Scotland.
 Biolchini,J., Mian, P. G., Natali, A. C. C., and Travassos,
G. H. (2005). Systematic review in software engineering.
Technical report, RT–ES 679/05 System Engineering and
Computer Science Dept., COOPE/UFRJ.
 Mafra, S. N., Travassos, G. H. (2006).
riosapoiando a
buscaporevidênciaemEngenharia de Software.
cnico, RT-ES 687/06, Travassos, G. H.

89. Referências
Guias da metodologia:
(i) Cochrane Collaboration. Cochrane Reviewers’ Handbook. Version
4.2.1. December 2003
(ii) Australian National Health and Medical Research Council. How to
review the evidence: systematic identification and review of the
scientific literature, 2000. IBSN 186-4960329.
(iii) Pai, Madhukar., McCulloch, Michael., and Colford, Jack.
Systematic Review: A Road Map Version 2.2. Systematic Reviews
Group, UC Berkeley, 2002.
[www.medepi.org/meta/guidelines/Berkeley_Systematic_Reviews_
Road_Map_ V2.2.pdf viewed 20 June 2004].
(iv) Khan, Khalid, S., terRiet, Gerben., Glanville, Julia., Sowden,
Amanda, J. and Kleijnen, Jo. (eds) Undertaking Systematic Review
of Research on Effectiveness. CRD’s Guidance for those Carrying
Out or Commissioning Reviews. CRD Report Number 4 (2nd
Edition), NHS Centre for Reviews and Dissemination, University of
York, IBSN 1 900640 20 1, March 2001.

90. Universidade Federal de Campina Grande UFCG
Departamento de Sistemas e Computação DSC
Programa de Pós-Graduação em Ciência da Computação COPIN
Elizabete Munzlinger
{elizabete@elizabete.com.br}
Fabricio Batista Narcizo
{narcizo@copin.ufcg.edu.br}
José Eustáquio Rangel de Queiroz
{rangel@computacao.ufcg.edu.br}
Material de apoio em http://www.elizabete.com.br/rs