O documento analisa a confiabilidade de mapeamentos sistemáticos na engenharia de software. Ele discute como as decisões dos pesquisadores sobre strings de busca, bases selecionadas e classificação dos artigos podem afetar os resultados, levando a revisões nem sempre confiáveis. O autor relata experiências onde 33 artigos foram classificados de forma diferente e onde foco e modos de classificação variaram entre pesquisadores.

1. ANÁLISE DE ARTIGO:
“On the reliability of mapping
studies in software engineering”
Rafael de Souza Queiroz
Profª. Rejane Maria da Costa Figueiredo
Engenharia de Software Experimental
Engenharia de Software – FGA-UnB
Abril de 2014

2. TEMA
• Confiabilidade dos mapeamento de
estudos na Engenharia de Software;
• Análise do uso de mapeamento
sistemático de estudos e de revisão
sistemática;
• Baseado em 2 artigos na área de testes;
• Confiança depositada no uso de revisões
de revisões;

3. STRING
• “Quão confiáveis são as revisões sistemáticas?”
• “Testing of software product lines”;
• String de busca:
– (Suécia) “product”, “test/testing” e
“line/lines/family/families”;
– (Brasil/EUA) “Verification, Validation”; “Product Line”,
“Product Family”; “Static Analysis”, “Dynamic
Analysis”; “Variability, Commonality, Binding”; “Test
Level”; “Test Effort, Test Measure”; “Nonfunctional
Testing”; “Regression Testing”, “Test Automation”,
“Testing Framework”, “Performance, Security,
Evaluation, Validation”.

4. BASES SELECIONADAS
• GoogleScholar
• IEEEXplore: 3 Papers;
• SpringerLink: 2 Papers;
• ACM Digital Library: 1 Papers;

5. TÉCNICAS DE ANÁLISE DE DADOS
• Caso de estudo Participante-Observador
com dois casos;
• 1º Autor atuou como observador; outros
como participantes nas suas próprias
revisões sistemáticas;

6. TÉCNICAS DE ANÁLISE DE DADOS
Informações a
partir dos
mapas
sistemáticos
Artigos
excluídos/não
encontrados
Processo de
classificação
dos Tipos de
Pesquisa
Sumarização
do material +
feedback dos
autores
Revisão e
evolução

7. EXPERIÊNCIAS RELATADAS
• Pesquisas com mesmo esquema de
classificação 33 papers foram diferentes;
• Experiências dos pesquisadores pode levar ao
favorecimento de um tipo de pesquisa sobre
outro;
• Foco das pesquisas com diferentes modos de
classificação: dificuldade para compará-los;
• Esquema de classificação sugerido para
entendimento e classificação das pesquisas.

8. CONCLUSÕES
• População de artigos feitas a partir da
definição varia conforme pesquisadores.
Idade dos artigos influencia;
• Artigos variam de acordo com decisões de
bases de pesquisa;
• Amostragem segundo as decisões de
inclusão/exclusão;
• Diferenças de classificação variam com a
intenção de resposta dada pela pesquisa;
• Revisões sistemáticas nem sempre são
confiáveis;