Este documento apresenta o protocolo de revisão sistemática para identificar e caracterizar abordagens relacionadas a um tema de interesse no contexto acadêmico. Ele descreve os procedimentos de busca, seleção, extração e análise de dados que serão realizados para responder às questões de pesquisa definidas.

1. Universidade Federal de Campina Grande UFCG
Departamento de Sistemas e Computação DSC
Programa de Pós-Graduação em Ciência da Computação COPIN
Protocolo de Revisão
Sistemática
Elizabete Munzlinger, Fabricio da Silva Soares
Orientadores:
Prof. Dr. Herman Martins Gomes
Prof. Dr. José Eustáquio Rangel de Queiroz
Profa. Dra. JoseanaMacêdoFechine Régis de Araújo

2. Protocolo de Revisão Sistemática
 É um documento utilizado para formalizar o estudo
primário e definir, acompanhar e documentar todos os
passos a serem executados no estudo secundário de
Revisão Sistemática
 A seguir, é apresentada toda a estrutura de tópicos que
compõem o documento Protocolo de Revisão Sistemática
baseada no protocolo utilizado por Souza (2008).

3. Protocolo de Revisão Sistemática
Título da Pesquisa
1. Introdução
 {Descrever a introdução ao tema de interesse com uma revisão
bibliográfica inicial que forneça embasamento para o estudo.
Provém dos estudos primários}
2. Protocolo de Estudo Baseado em Revisão Sistemática
2.1. Contexto
 {Descrever um breve relato sobre o problema que motivou a
realização do estudo; delimitar o problema; identificar o que é
importante e o que está fora do escopo; justificar a
necessidade de conduzir o estudo para tratar o problema
apresentado (Por que este tipo de estudo é indicado?).}
2.2. Objetivo e Questões de Pesquisa

4. Protocolo de Revisão Sistemática
2.2.1. Objetivo
 {Pode-se descrever o objetivo do estudo através do seguinte
padrão: Analisar [Fontes de evidências/indícios: relatos de
experiência/publicações científicas/estudos primários/softwares
etc.]; Com o propósito de [caracterizar/identificar] o [objeto de
estudo: abordagens/processo/tecnologia/técnica/método etc.];
Com relação à [características de interesse do objeto de
estudo]; Do ponto de vista [organizações de software/grupo de
processo/alta gerência/Instituições Implementadoras de
Processos/pesquisador/desenvolvedor etc.]; No contexto
[industrial/acadêmico/ambos] [com foco em
estudos/projetos/programas/iniciativas] [com tais
características].}
2.2.2. Questões de Pesquisa
 {Identificar que questões serão respondidas a partir da
identificação e caracterização do objeto de estudo. Ou seja,
uma vez identificados/caracterizados os objetos de estudo, que

5. Protocolo de Revisão Sistemática
2.3. Escopo da Pesquisa
 {Delimitar os tipos de mecanismos que serão utilizados para
realizar as buscas, por exemplo, bibliotecas digitais através
dos seus respectivos engenhos de
busca, bibliotecas, consultas a especialistas, catálogo
especializado de produtos etc.}
2.3.1. Critérios Adotados para Seleção de Fontes
 {Identificar os critérios que devem ser adotados para a seleção
das fontes de pesquisa.}
2.3.2. Restrições
 {Identificar todas as restrições associadas ao estudo. Identificar
o intervalo de tempo válido para as buscas. O acesso aos
dados, em geral, não deve incorrer em ônus para a pesquisa.}

6. Protocolo de Revisão Sistemática
2.4. Idiomas
 {Deve-se identificar os idiomas das publicações que serão
aceitas para a pesquisa. Se possível, deve-se justificar essa
escolha.}
2.5. Métodos de Busca de Publicações
 {Deve-se descrever a forma de busca (manual e/ou eletrônica)
além da expressão de busca: expressão lógica contendo uma
combinação de palavras chaves extraída do objetivo do estudo
relacionada ao objeto de estudo, características de interesse e
respectivos sinônimos.}
2.5.1. Expressão Geral de Busca
 {Deve-se compor a String geral de busca usando os
operadores lógicos (AND, OR, etc.}
2.5.2. Busca Manual
 {Deve-se definir como será efetuada a busca manual com
base}

7. Protocolo de Revisão Sistemática
2.6. Procedimentos de Seleção e Critérios
 {Deve-se descrever os procedimentos para seleção das
publicações, incluindo procedimentos avaliação da inclusão de
publicações no escopo da pesquisa e critérios de inclusão e
exclusão.}
2.6.1. Procedimentos de Seleção
 {Deve-se descrever os procedimentos para seleção das
publicações, incluindo procedimentos avaliação da inclusão de
publicações no escopo da pesquisa e critérios de inclusão e
exclusão.}
i) Seleção e catalogação preliminar das publicações
 {Descrever como e onde serão catalogadas}

8. Protocolo de Revisão Sistemática
ii) 1º Filtro – Seleção das publicações relevantes
Critérios de Inclusão
 {Identificar critérios adicionais para inclusão de publicações no
escopo do estudo.}
Critérios de Exclusão
 {Identificar critérios adicionais para exclusão de publicações no
escopo do estudo.}
iii)2º Filtro – Seleção das publicações a partir de critérios de
qualidade
 {Identificar critérios adicionais para exclusão de publicações no
escopo do estudo.}
iv) 3º Filtro – Seleção dos dados relevantes
 {Identificar os dados a serem avaliados na publicações.}

9. Protocolo de Revisão Sistemática
2.7. Procedimento para Extração de Dados
 {Identificar os procedimentos para extração de dados a partir
das publicações.}
2.7.1. Seleção e Catalogação Preliminar dos Dados
Coletados
 {Definir onde será efetuada a catalogação dos dados
(repositório)}
2.7.2. Na Seleção dos Dados Relevantes
 {Definir como serão identificadas as seleções baseadas nos
filtros}
2.7.3. Extração dos Dados
 {Descrever todos os campos de dados que serão extraídos das
publicações}
2.7.4. Sumarização dos Resultados
 {Descrever como os resultados serão sumarizados}

10. Protocolo de Revisão Sistemática
2.8. Procedimentos para Análise
 {Identificar os procedimentos para análise dos dados
coletados. Incluir totalização das mais diversas e relevantes
para o objetivo do estudo e questões de pesquisa.}
2.8.1. Análise Quantitativa
 {Listar as informações quantitativas a serem extraídas do
montante de publicações}
2.8.2. Análise Qualitativa
 {Listar as informações qualitativas a serem extraídas do
montante de publicações}

11. Protocolo de Revisão Sistemática
3. Planejamento e Execução da Revisão Sistemática
 {Consiste das seguintes atividades: Realizar Prospecção sobre
o Tema de Interesse, Definir Protocolo, Testar Protocolo e
Avaliar o Protocolo; Executar a Pesquisa e Analisar Resultados
da Pesquisa; Empacotar Resultados e Publicar Resultados.}
3.1. Definição do Escopo e Estudos Preliminares
 {Descrever como se deu a escolha do escopo e estudos
primários}
3.2. Definição das Palavras-Chave e Calibração da
Expressão de Busca
 {A partir do estudos primários/preliminares deverá ser definida
uma expressão de busca inicial que será calibrada através das
rodadas de teste. Selecionar um engenho de busca para a
calibração}

12. Protocolo de Revisão Sistemática
3.2.1. Primeira Rodada
 {Registrar data, e o máximo possível de informações sobre
cada palavra-chave adicionada à string, assim como o nº de
publicações retornadas, e se alguma publicação foi adicionada
ao “grupo de controle”. Este grupo é criado com publicações de
altíssima pertinência retornadas na calibração da busca. Deve-
se fazer uma leitura dinâmica destas publicações em busca de
palavras-chaves, termos, sinônimos pertinentes à busca para
serem adicionados à string.}
3.2.2. Segunda Rodada
 {A segunda rodada serve para novos ajustes na string de
busca. Ocorre pela leitura dinâmica das publicações
selecionadas na rodada anterior em busca de
sinônimos, termos e novas palavras-chave que possam
representar resultados na busca. Registrar novamente todos
os dados possíveis.}

13. Protocolo de Revisão Sistemática
3.2.3. Terceira Rodada
 {A terceira rodada serve para ajustes finos na string de busca
seguindo os mesmos procedimentos dos passos anteriores.}

14. Protocolo de Revisão Sistemática
3.3. Definição das Máquinas de Busca
 {Definir quais serão os engenhos de busca (ex:
IEEE, Scopus, ACM, ScienceDirect, Compendex, etc.)}
Expressão de Busca na Biblioteca Digital da
EngineeringVillage
 {Apresentar a expressão de busca para este engenho}
Expressão de Busca na Biblioteca Digital ScienceDirect
 {Apresentar a expressão de busca para este engenho}
Expressão de Busca na Biblioteca Digital da IEEE
 {Apresentar a expressão de busca para este engenho}
Expressão de Busca na Biblioteca Digital da Scopus
 {Apresentar a expressão de busca para este engenho}

15. Protocolo de Revisão Sistemática
3.3.5. Instrumento para Consulta Manual
 {Descrever como será a consulta manual com base nas strings
de busca}
3.4. Identificação do Período de Busca
 {Identificar o período de busca. Par estado da arte
normalmente são os últimos 5 anos}
3.5. Execução do Protocolo
 {Descrição da execução do protocolo com o número geral de
retornos por tema, base de dados, etc. Se possível apresentar
gráficos de sumarização}
3.6. Considerações sobre o Resultado do Estudo
 {Após a finalização de todo o processo, descrever os
resultados, se satisfatórios ou não.}
4. Apoio Ferramental para a Condução do Estudo
 {Listar aplicativos, ferramentas, equipamentos, material, etc.}

16. Protocolo de Revisão Sistemática
5. Dados Coletados
 {Esta seção apresenta os dados coletados no processo de
extração de dados das publicações selecionadas na etapa do
processo de seleção}
5.1. Dados das Publicações Dentro do Escopo do
Estudo
 {Apresentar os dados extraídos da leitura das publicações.
Sugere-se que se crie um documento de registro cobrindo os
dados a serem coletados definidos no item 2.8.2}
5.2. Dados das Publicações Selecionadas a Partir da
Expressão de Busca
 {Apresentar os dados extraídos da seleção das publicações.
Sugere-se que se crie uma tabela de registro que abranja os
critérios de inclusão/exclusão. Manter a lista com todas as
publicações desta etapa e apontamentos de classificação
passo a passo. Usar gráficos.}

17. Protocolo de Revisão Sistemática
5.3. Dados das Publicações Selecionadas no 1º Filtro
 {Apresentar os dados extraídos da seleção das publicações.
Sugere-se que se crie uma tabela de registro que abranja os
critérios de inclusão/exclusão. Manter a lista com todas as
publicações desta etapa, e apontamentos de classificação ou
não. Usar tabelas.}
5.4. Dados das Publicações Selecionadas no 2º Filtro
 {Idem}
Referências Bibliográficas
 {Produção de relatório}
 {Produção de artigos}

18. Referências
Protocolos completos para leitura nos anexos de:
 Barcellos, Monalessa Perini. “Uma Estratégia Para
Medição De Software E Avaliação De Bases De Medidas
Para Controle Estatístico De Processos De Software Em
Organizações De Alta Maturidade”. Tese de Doutorado.
Programa de Pós-graduação em Engenharia de Sistemas
e Computação, COPPE, da Universidade Federal do Rio
de Janeiro, 2009.
 Souza. Gleison dos Santos. “Ambientes De Engenharia
De Software Orientados A Corporação”. Tese de
Doutorado. Programa de Pós-graduação em Engenharia
de Sistemas e Computação, COPPE, da Universidade
Federal do Rio de Janeiro, 2008.

19. Referências
Ferramenta de execução da RS:
 Start [http://lapes.dc.ufscar.br/ferramentas/start-tool]
Ferramentas de catalogação de artigos:
 Mendeley [http://www.mendeley.com/]
 EndNote [http://www.endnote.com/]
Ondepublicar (Qualis A1):
 ACM Computing Surveys (CSUR) [http://csur.acm.org/]
 Information Sciences
[http://www.journals.elsevier.com/information-sciences/]
 ACM Transactions on Information Systems (TOIS)
[http://tois.acm.org/]

20. Referências
Links com guias e cursos online:
 Curso de Revisão Sistemática On-line da
Univesp/Cochrane:
[http://www.virtual.epm.br/cursos/metanalise/]
 Alvaro
NagibAtallah, AldemarAraujoCastroRevisãoSistemáticada
LiteraturaeMetanálise:
[http://www.centrocochranedobrasil.org.br/apl/artigos/artig
o_530.pdf]
 Estudos De Revisão Sistemática: Um Guia Para Síntese
Criteriosa Da Evidência Científica
[http://www.scielo.br/pdf/rbfis/v11n1/12.pdf]

21. Referências
Bibliografia:
 Kitchenham,B.A.; Dyba,T.; Jorgensen,M. (2004).
Evidence-based Software Engineering, Proceedings of the
26th International Conference on Software Engineering
(ICSE’04), Scotland.
 Biolchini,J., Mian, P. G., Natali, A. C. C., and
Travassos, G. H. (2005). Systematic review in software
engineering. Technical report, RT–ES 679/05 System
Engineering and Computer Science Dept., COOPE/UFRJ.
 Mafra, S. N., Travassos, G. H. (2006).
riosapoiando a
buscaporevidênciaemEngenharia de Software.
cnico, RT-ES 687/06, Travassos, G. H.

22. Referências
Guias da metodologia:
(i) Cochrane Collaboration. Cochrane Reviewers’ Handbook. Version
4.2.1. December 2003
(ii) Australian National Health and Medical Research Council. How to
review the evidence: systematic identification and review of the
scientific literature, 2000. IBSN 186-4960329.
(iii) Pai, Madhukar., McCulloch, Michael., and Colford, Jack.
Systematic Review: A Road Map Version 2.2. Systematic Reviews
Group, UC Berkeley, 2002.
[www.medepi.org/meta/guidelines/Berkeley_Systematic_Reviews_
Road_Map_ V2.2.pdf viewed 20 June 2004].
(iv)
Khan, Khalid, S., terRiet, Gerben., Glanville, Julia., Sowden, Amand
a, J. and Kleijnen, Jo. (eds) Undertaking Systematic Review of
Research on Effectiveness. CRD’s Guidance for those Carrying Out
or Commissioning Reviews. CRD Report Number 4 (2nd
Edition), NHS Centre for Reviews and Dissemination, University of

23. Universidade Federal de Campina Grande UFCG
Departamento de Sistemas e Computação DSC
Programa de Pós-Graduação em Ciência da Computação COPIN
Elizabete Munzlinger, Fabricio da Silva Soares
{elizabete, narcizo} @copin.ufcg.edu.br