Apresentação do método Revisão Sistemática da Literatura - Systematic Literature Review (SLR) - na I Capacitação em Metodologia de Pesquisa Científica do Programa de Pós-Graduação e Pesquisa em Administração (PPGA/UFPB) - em 2012.

1. Revisão Sistemática
da Literatura (SLR)
I Capacitação em Metodologia da
Pesquisa Científica
Prof. Miguel Isoni Filho
João Pessoa
Outubro 2012

2. Roteiro da aula
 Introdução
 Métodos de SLR
(1) Narrative Review
(2) Descriptive Review
(3) Vote Counting
(4) Meta-analysis
 Mapping Studies
 Procedimentos extras
(1) Avaliação da qualidade
(2) Análise de redes sociais (ARS)
 Exemplo de SLR: limitação digital
 Resumo e sugestões.
I Capacitação em Metodologia da Pesquisa Científica

4. Introdução
Revisão sistemática de literatura (systematic literature review – SLR) é
o pilar da prática baseada em evidências de literatura
especializada (DYBÅ; DINGSØYR, 2008)
 Diante da literatura em crescimento, cujo conhecimento encontra-se
inexplorado, a SLR merece maior prioridade que a adição de um
novo experimento ou survey (Glass, 1976)
Destaca-se que uma tendência recente na revisão de
literatura é integrar e caracterizar um conjunto de
definições, diferenças e relações entre conceitos, resultando
em um modelo de referência para implicações em
investigações acadêmico-científica ou implicações práticas.
I Capacitação em Metodologia da Pesquisa Científica

5. Introdução
[FATOS]
Há estudos em Sistema de Informação (SI), em torno de 7%, que já
utilizam SLR como a metodologia de pesquisa (KING; HE, 2005).
 A SLR segue como um método importante em SI, especialmente
devido aos inúmeros estudos que vem sido desenvolvidos nos últimos
anos sobre o modelo de aceitação de tecnologia –
(Technology Acceptance Model – TAM), em prol da investigação da
inter/multidisciplinaridade de uma determinada área do conhecimento.
No entanto, a investigação em SI (assim como ocorre em outros campos)
apresenta uma situação que merece análise: conclusões
aparentemente conflitantes sobre o mesmo questionamento de pesquisa.
I Capacitação em Metodologia da Pesquisa Científica

6. Métodos de SLR
O acúmulo de conhecimentos depende cada vez mais da
integração entre estudos anteriores e a descoberta empíricas
(KING; HE, 2005).
 Pesquisadores podem usar uma série de técnicas para fazer
sentido a uma literatura, com o propósito de lançar resultados
atuais de pesquisa sobre contextos e explicações contraditórias
sobre a mesma temática (RUMRILL; FITZGERALD, 2001)
Há uma gama de estudos que dicotomizam
os métodos de SLR entre as abordagens
quantitativas e qualitativas.
I Capacitação em Metodologia da Pesquisa Científica

7. Métodos de SLR
Protocolo da SLR
Para estabelecer as etapas da SLR, necessita-se
definir um protocolo que especifique os
procedimentos a serem utilizados durante a revisão.
Protocolo:
Reduz a possibilidade de ocorrer viés na pesquisa;
Evita a seleção e análise dos estudos primários de forma parcial.
Segundo Cook et al. (1997), os procedimentos
metodológicos, presentes no protocolo, representam as “forças” da
SLR, permitindo tanto avaliar o estado atual dos conhecimentos da
área, como manter a atualização de pesquisas em base avançada.
I Capacitação em Metodologia da Pesquisa Científica

8. Resumo
(Kitchenham, 2004)
I Capacitação em Metodologia da Pesquisa Científica

9. Métodos de SLR
Esta abordagem pode ser excessivamente simplista pelo fato
das técnicas variarem no grau de revisão sistemática de um corpo
literatura existente, que vai desde puramente qualitativa a
moderadamente quantitativa para puramente quantitativo.
I Capacitação em Metodologia da Pesquisa Científica

10. Métodos de SLR
Narrative Review
 Apresentam descrições verbais sobre estudos publicados, a partir da
junção de teorias, modelos e seus fatores elementares
(preditor, moderador ou mediador), além de resultados de pesquisa.
 OBJETIVO: Postular ou avançar novas teorias e modelos (olhar
exploratório), além analisar temas importante e/ou controversos.
Pela falta do rigor metodológico, com base em um protocolo de
pesquisa, ao realizar uma revisão narrativa, os pesquisadores
tendem a consciente ou inconscientemente fazer julgamentos
que suportam seu próprio plano de fundo.
I Capacitação em Metodologia da Pesquisa Científica

11. Métodos de SLR
Descriptive Review
 A revisão descritiva segue a finalidade de introduzir certa quantificação da
literatura investigada, vezes guinada por uma análise de distribuição de
frequência de um corpo de categorias de análise (KING; HE, 2005).
 Objetivo: descobrir em que medida a literatura existente suporta uma
proposição teórica ou revela algo relativo à configuração da pesquisa.
teoria fundamentada
metodologia de pesquisa
CATEGORIAS
DE ANÁLISE abordagem principal
resultados simbólicos de pesquisa
I Capacitação em Metodologia da Pesquisa Científica

12. Métodos de SLR
Vote Counting
 Pesquisadores classificam esse método como sendo uma
revisão moderadamente quantitativo, pelo fato de não se
preocupar em analisar o efeito e a confiabilidade dos estudos
 Uso simples e conveniente.
 Objetivo: fazer inferências qualitativas sobre o foco dos
estudos revisados (ex. interpretar as magnitudes das
correlações) por intermédio da análise comparativa e analítica
entre os estudos.
Este método faz uso de resultados, especialmente,
providos da significância dos testes de hipóteses,
proporcionados a partir da análise do p-valor.
I Capacitação em Metodologia da Pesquisa Científica

13. Métodos de SLR
Meta-analysis
[“Análise das análises”]
 Tendência mais recente nas SLR em SI.
 Mais comumente método utilizado na síntese quantitativa de
pesquisas nas ciências sociais e comportamentais.
 Objetivo: fornecer uma oportunidade alternativa de melhor
visualização do contexto de pesquisa em questão, combinando e
analisando resultados quantitativos de estudos empíricos
(GLASS, 1976), a fim de dar sentido à literatura em rápida evolução.
I Capacitação em Metodologia da Pesquisa Científica

14. Métodos de SLR
Nos últimos anos, meta-análise adiquiriu certa
reputação, especialmente nos campos das ciências ciências sociais e
comportamentais (FIELD, 2001).
Exemplo: Alguns journals revisaram suas políticas editoriais de
publicação a fim de incentivar o uso de meta-análise - Academy of
Management Journal, desde 2002.
Características gerais da meta-análise
 Menos sujeito a críticas por parte de avaliadores
 Menos subjetivo comparado aos outros métodos de revisão.
 Configurado como sendo de confirmação da natureza.
 Sintonizado fortemente com a tradição positivista.
 Concentração em dados, operacionalização de variáveis.
 Resultado global mais preciso e confiável.
I Capacitação em Metodologia da Pesquisa Científica

15. Métodos de SLR
Preocupações com a meta-análise
Mesmo sendo potencialmente eficaz, em muitas áreas do
conhecimento, no entanto, este método é extremamente subutilizado
(Hwang, 1996), sendo suas práticas conceitualmente e
metodologicamente falhas (KING; HE, 2005).
 Viés de amostragem para estudos empíricos
Reflete efeitos de tamanho, visto que os tipos de pesquisas que
podem fornecer dados são: survey, experimento, estudos de campo.
 Garbage In Garbage Out (GIGO)
Pelo fato de diferenciar os estudos via critérios de qualidade, esse
método pode ser influenciado negativamente pela inclusão de
resultados falhos, acarretando em conclusões infundamentadas.
I Capacitação em Metodologia da Pesquisa Científica

16. Métodos de SLR
Preocupações com a meta-análise
 Viés de publicação
Conhecido como o “file-drawer problem” (problema gaveta), o viés
de publicação refere-se à seleção de estudos que fornecem
resultados unicamente significativos, enquanto resultados não
significativos tendem a ser relegados em gavetas.
 Maçãs e laranjas
Uma meta-análise com resultados derivados de estudos com
objetivos, medidas e procedimentos incomensuráveis.
 Pequeno tamanho da amostra
Se o campo de pesquisa for dificilmente envolvido por estudos
empíricos suficientes, seu uso não trará resultados conclusivos.
I Capacitação em Metodologia da Pesquisa Científica

17. Mapping Studies
 Estudos de mapeamento
Estudos que visam encontrar e classificar os estudos primários em
uma área temática específica de interesse da pesquisa.
Questão de pesquisa: O que sabemos sobre o tema X?
De acordo com Kitchenham (2010), os estudos de mapeamento
podem ser utilizados​​ para identificar na literatura a “discussão
sobre o tema X”, antes de iniciar as SLRs convencionais.
Alguns estudos de mapeamentos estão preocupados
em sintetizar de que forma os acadêmicos e as
instituições realizam pesquisas sobre X.
I Capacitação em Metodologia da Pesquisa Científica

18. Procedimentos EXTRAS
Avaliação da qualidade
Uma vez selecionados os estudos primários adequados, necessita-se
estabelecer uma avaliação da qualidade dos mesmos, dado por
meio da utilização de um “instrumento da qualidade”
específico, contendo uma lista de critérios que precisam ser
analisados.
Objetivo: limitar distorções na condução da
revisão, permitir a obtenção de insights sobre
possíveis comparações entre os diferentes
estudos, e fornecer informações que orientem no
procedimento de extração e síntese dos dados.
I Capacitação em Metodologia da Pesquisa Científica

19. Procedimentos EXTRAS
Avaliação da qualidade
Obs. prevenir viéses no desenrolar da revisão.
I Capacitação em Metodologia da Pesquisa Científica

20. Procedimentos EXTRAS
Análise de Redes Sociais (SNA)
 social network analysis (SNA) (WELLMAN, 1988)
Objetivo: conduzir implicações para a ciência que
abrange, fundamentalmente, a proposição e validação preliminar de
uma rede de colaboração científica para a caracterização do estágio
atual de desenvolvimento de pesquisas.
Contribui para a ampliação do conhecimento a respeito da rede de
colaboração investigada, formada pelos autores que desenvolveram
produção acadêmica do tema em questão, ou seja, quais seriam as
principais instituições, grupos e pesquisadores que estão desenvolvendo
estudos sobre o fenômeno, bem como as regiões geográficas e
sociopolíticas que propõem soluções para o mesmo.
I Capacitação em Metodologia da Pesquisa Científica

21. Procedimentos EXTRAS
Análise de Redes Sociais (SNA)
Sugere-se, para tanto, a aplicação de certas ferramentas analíticas de
redes sociais, construídas a partir do método ARS, a fim de identificar
as conexões (laços relacionais ou elos) e pontos (nós ou atores) dentro
de um sistema determinado (rede pessoal/institucional).
Apoiado pelos softwares Ucinet 6.109 e Netdraw 2.28.
Ucinet 6.109: cria matrizes para a análise dos dados da rede.
Netdraw 2.28: constrói gráficos da rede investigada, podendo
observar os laços relacionais (conexões) existentes entre os diferentes
atores (nós) da rede, assim como analisar se tais laços são definidos
por díades, tríades ou grupos.
I Capacitação em Metodologia da Pesquisa Científica

22. Exemplo de SLR
Limitações Digitais
Revisão Sistemática da Literatura
[WORKING PAPER/2012]
Dr. Carlo Gabriel Porto Bellini
Miguel Mauricio Isoni Filho
I Capacitação em Metodologia da Pesquisa Científica

23. Exemplo de SLR: limitação digital
Modelo Tridimensional de Limitações Digitais
(Bellini et al., 2010)

24. I Capacitação em Metodologia da Pesquisa Científica

25. Exemplo de SLR: limitação digital
Sobre o método
Por meio de uma SLR, discute-se a identificação e a síntese, de
forma sistemática e auditável, de uma amostra de estudos relevantes
publicados entre 2006 e 2011 nas áreas de TI, CI, comunicação e
sociologia que abordam temáticas do campo da exclusão digital.
Procedimentos do Protocolo
1. justificativa
2. questão de pesquisa
3. seleção das fontes primárias (periódicos);
4. estratégia de busca e seleção dos estudos primários;
5. extração dos dados;
6. síntese dos dados extraídos.

26. Exemplo de SLR: limitação digital
Etapa 1: Justificativa
Segue-se uma série de pontos para justificar sua aplicação:
1. caracterizar um conjunto essencial de definições, diferenças e
relações entre tipos de limitação digital;
2. identificar lacunas nas pesquisas atuais, a fim de determinar se
uma investigação mais aprofundada seria necessária;
3. para fins futuros, examinar em que medida uma dada hipótese é
suportada ou refutada pela evidência empírica disponível.
Etapa 2: Questão de pesquisa:
A literatura reconhece e discute as três formas de
limitações digitais (acesso, cognição e comportamento)?
I Capacitação em Metodologia da Pesquisa Científica

27. Etapa 3: Seleção das fontes primárias

28. Exemplo de SLR: limitação digital
Etapa 4: Estratégia de busca e seleção dos estudos primários
1. Período 2006-2010.
2. No máximo três estudos
3. Mais recentes.
Uma estratégia de busca bem-estruturada permite a integridade da
pesquisa, visto que a extensão da pesquisa pode ser realizada para
confirmar e refutar hipóteses, ou auxiliar na geração de novas.
I Capacitação em Metodologia da Pesquisa Científica

29. Exemplo de SLR: limitação digital
Etapa 5: Extração dos dados
 Leitura completa de cada um dos estudos selecionados;
 Estudos foram avaliados e sintetizados [2x];
 Perspectiva de pesquisa do tipo top-down.
Após selecionar, avaliar e sintetizar 31 ESTUDOS, foram extraídos os
dados com base nas seguintes categorias organizadas previamente:
1. FORMA DE LIMITAÇÃO DIGITAL
TOP-DOWN
2. ESCOPO (ESC.)
3. MÉTODO (MÉT.)
4. EXTENSÃO (EXT.)
5. CONTEXTO
6. IMPLICAÇÃO (“Por quê?”) Etapa 6: síntese dos
7. CAUSAS E SOLUÇÕES dados extraídos

30. Exemplo de SLR: limitação digital
Discussão dos resultados
 Apenas o estudo de Donat et al. (2009) considera essa três
possibilidades entre 2006 e 2011 nas fontes adotadas.
Entre os 31 estudos primários (artigos):
Predominam aqueles que abordam apenas LA, totalizando 13 artigos (42%); e,
LA junto com LI e LC, eleva-se este total para 22 artigos (71%).
Considerando apenas os 27 estudos que apresentam resultados empíricos:
17 estudos (63%) se concentram no escopo “sociedade” e nenhum em “indivíduo”
No que se refere ao método das pesquisas:
19 artigos (70%) aplicam survey ou análise de dados primários; e,
19 artigos (70%) apresentam extensão transversal.

31. Exemplo de SLR: limitação digital
Em suma...
Percebe-se a necessidade de pesquisas que investiguem o fenômeno
das limitações digitais de modo mais completo, considerando as
potenciais dimensões de análise (acesso, cognição e
comportamento) e as interdependências entre elas, de modo
que ações individuais, comunitárias e governamentais surtam efeito
no que se relaciona à adoção e ao uso efetivo das TICs.
A isto, propõe-se ampla aplicação e validação do modelo
tridimensional de limitações digitais de Bellini et al. (2010), que
pode se beneficiar das evidências encontradas na revisão
sistemática da literatura parcialmente apresentada aqui.

32. Exemplo de SLR: limitação digital
Conclusões do estudo
Esta pesquisa fornece resultados para fins conceituais e práticos
previstos para o campo de estudos sobre limitação digital.
Em especial, entende-se que esta pesquisa apresenta benefícios ao
cobrir fontes internacionais qualificadas sobre a temática e fatores que
descrevem parte dessa literatura e identificar as variáveis que
descrevem parte da variância do fenômeno de interesse.
Por fim, destaca-se que a aplicação de princípios de SLR permite
alguma segurança ao leitor no que diz respeito à confiabilidade
dos resultados, especialmente quanto às áreas consideradas
(tecnologia da informação, ciência da informação, comunicação e
sociologia), às categorias de análise e ao período do
levantamento (2006 a 2011).

33. Resumo
(Kitchenham, 2004)
I Capacitação em Metodologia da Pesquisa Científica

34. Considerações finais
A SLR mudou o curso das pesquisas em diversas áreas.
Por intermédio do uso desse método é possível acompanhar as
mudanças que ocorrem constantemente nos objetos de estudo em
SI, área que, pelo fato de ter uma natureza dinâmica, requer
avaliações precisas e em tempo hábil.
 Ao sintentizar estudos teóricos/empirícos, a SLR pode servir como
uma eficiente ferramenta para satisfazer as necessidades de
conclusões gerais sobre um determinado fenômeno de interesse.
Espero que cada um de VOCÊS também se
beneficie de forma significativa para realizar
revisões sistemáticas da literatura
I Capacitação em Metodologia da Pesquisa Científica

35. Referências
BELLINI, C.G.P.; GIEBELEN, E.; CASALI, R.R.B. Limitações digitais. Informação & Sociedade, v.
20, n. 2, 2010, p. 25-35.
COOK, D.J.; MULROW, C.D.; HAYNES, R.B. Systematic reviews: Synthesis of best evidence for
clinical decisions. Annals of Internal Medicine, v. 126, n. 5, 1997, p. 376-380.
DONAT, E.; BRANDTWEINER, R.; KERSCHBAUM, J. Attitudes and the digital divide: Attitude
measurement as instrument to predict Internet usage. Informing Science, v. 12, 2009, p. 37-56.
DYBÅ, T.; DINGSØYR, T. Empirical studies of agile software development: A systematic review.
Information & Software Technology, v. 50, n. 9, 2008, p. 178-187.
FIELD, A.P. Meta-Analysis of Correlation Coefficients: A Monte Carlo Comparison of Fixed- and
Random-Effects Methods, Psychological Methods, v. 6, n. 2, 2011.
GLASS, G.V. Primary, secondary, and meta-analysis of research. Review of Research in
Education, v. 5, n. 10, 1976.
GUZZO, R.A., S.E.; JACKSON, R.A.; KATZELL Meta-Analysis Analysis”, Research in
Organizational Behavior, v. 9, 1987.
KING, W. R.; HE, J. Understanding the role and methods of meta-analysis in IS research.
Communications of the AIS, v. 15, 2005.
KITCHENHAM, B. Procedures for performing systematic reviews. Technical Report TR/SE-0401.
Keele: Keele University, 2004.
RUMRILL, P.D. JR.; FITZGERALD, S.M. Using Narrative Literature Reviews To Build A Scientific
Knowledge Base, Work: A Journal of Prevention, Assessment and Rehabilitation, v. 16. v.
2, 2011.
WELLMAN, B. Network analysis: From method and metaphor to theory and substance. In:
Wellman, B., Berkowit, D. (Eds.). Social structures: A network approach. New York: Cambridge
University, 1988.
I Capacitação em Metodologia da Pesquisa Científica

36. Revisão Sistemática
da Literatura (SLR)
Muito obrigado!
Miguel Isoni Filho
isonifilho@gmail.com
I Capacitação em Metodologia da Pesquisa Científica