Este documento descreve um estudo que avaliou a confiabilidade da revisão por pares anônima e recíproca de propostas de mestrado em Ciência da Informação. Os autores mediram o grau de concordância entre revisores usando o índice ICC e compararam os resultados com estudos anteriores. Os resultados mostraram concordância moderada a boa na maioria das propostas, embora em alguns casos tenha sido menor do que em estudos com pós-graduandos de outras áreas.

1. Confiabilidade da revisão por pares
recíproca anônima de propostas de
mestrado em Ciência da Informação
Vinícius M. Kern, Marta Denisczwicz (Bolsista PIBIC CNPq/UFSC)
Universidade Federal de Santa Catarina
kern@cin.ufsc.br, marta.denisczwicz@gmail.com
Esta apresentação disponível em http://www.slideshare.net/vmkern
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)

2. Problema e objetivo
Críticas ao processo: confiabilidade, validade, generalizabilidade e
potenciais vieses [1]. Faltam indicadores quantitativos de gestão [2]
• Revisão por pares
Formação precária de pareceristas: Há iniciativas na PG [3, 4]
Processo de RP recíproco anônimo de propostas de mestrado em CI
Confiabilidade (concordância entre pares) [-1, +1] = ―Can we trust grads?‖
1 MARSH, H. W.; JAYASINGHE, U. W.; BOND, N. W. Improving the peer-review process for grant applications—reliability,
validity, bias, and generalizability. American Psychologist, v. 63, n. 3, p. 160-168, 2008.
2 JENNINGS, C. G. Quality and value: The true purpose of peer review. What you can't measure, you can't manage: the need
for quantitative indicators in peer review (Nature Peer Review Debate). Nature, 2006.
3 KERN, V. M. et al. Growing a peer review culture among graduate students. In: TATNALL, A.; JONES, A. (Orgs.) Education
and technology for a better world. Proceedings of WCCE. Berlin, Heidelberg, New York: Springer, 2009. p. 388-397.
4 YANKULOV, K.; COUTO, R. (2012), Peer review in class: Metrics and variations in a senior course. Biochem. Mol. Biol.
Educ., v. 40, n. 3, p. 161-168, 2012.
2
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)

3. Trabalhos relacionados
• No Brasil: Processo de avaliação de artigos (não especificamente relacionados;
não enfocam confiabilidade)
COSTA, S. M. S. Controle de qualidade em periódicos científicos eletrônicos disponibilizados na Internet: a questão do
julgamento pelos pares. R. bibl. Brasília, v. 20, n. 2, p. 227-236, 1996.
CASTRO, R. C. F.; NEGRÃO, M. B.; ZAHER, C. R. Procedimentos editoriais na avaliação de artigos para publicação em
periódicos de ciência da saúde da América Latina e Caribe. Ci. Inf., v. 25, n. 3, p. 352-356, 1996.
MUELLER, S. P. M. A seleção de artigos científicos p/ publicação em revistas brasileiras: um levto. de práticas e procedimentos
adotados pelas ver. científicas brasileiras financ. p/ CNPq e INEP, 1995-1996. R. bibl. Brasília, v. 21, n. 2, p. 229-250, 1997.
PESSANHA, C. Critérios editoriais de avaliação científica: notas para discussão. Ci. Inf., v. 27, n. 2, p. 226-229, 1998.
STUMPF, I. R. C. Avaliação pelos pares nas revistas de comunicação: visão dos editores, autores e avaliadores. Perspect. ci.
inf., v. 13, n. 1, p. 18-32, 2008.
PAVAN, C.; STUMPF, I. R. C. Avaliação pelos pares nas revistas brasileiras de ciência da informação: procedimentos e
percepções dos atores. Enc. Bibli, v. 14, n. 28, p. 73-92, 2009.
• Métricas de confiabilidade: metaestudos
WELLER, A. C. Editorial peer review: Its strengths and weaknesses. Second printing (ASIST monograph series).
Medford, New Jersey (EUA): Information Today, Inc. 2002. 342 p.
BORNMANN, L. Scientific peer review. ARIST, v. 45, n. 1, p. 199-245, 2011.
3
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)

4. Procedimentos metodológicos
• Revisão por pares de propostas de mestrado (n=12)
Anônima, recíproca (9 a 11 revisões/proposta), com diretrizes [1]
• 7 pontos de avaliação em escala Likert-6
• Escala de 1 (discordo totalmente) a 6 (concordo totalmente)
• Itens de avaliação: Existe um problema de pesquisa
Problema e objetivos relevante e claramente
Fundamentação enunciado, bem contextualizado na
Abordagem metodológica literatura, com objetivo geral
Resultados esperados e conclusões coerente com o problema e objetivos
Referências específicos
Linguagem e estilo mensuráveis, atingíveis, realistas, re
Formatos
alizáveis no tempo
disponível, específicos e consistentes
entre si.
1 SMITH, A. J. The task of the referee. Computer, v. 23, n. 4, p. 65–71, 1990.
4
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)

5. Procedimentos metodológicos
• Seleção do indicador: intraclass correlation ICC(2,1) [1]
• Para dispor de algum termo de comparação...
• Conduzimos outro processo em artigos (n=11, 2 rev/aluno ou 4/artigo) de
duplas em disciplina de PG de programa interdisciplinar (mestr./dout.)
• Coletamos índices de confiabilidade nos metaestudos de Weller [2] e
de Bornmann [3]
1 SHROUT, P. E.; FLEISS, J. L. Intraclass correlations: Use in assessing rater reliability. Psychol. Bull., v. 86, n. 2, p. 420-428,
1979.
2 WELLER, A. C. Editorial peer review: Its strengths and weaknesses. Second printing (ASIST monograph series). Medford,
New Jersey (EUA): Information Today, Inc. 2002. 342 p.
3 BORNMANN, L. Scientific peer review. ARIST, v. 45, n. 1, p. 199-245, 2011.
5
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)

6. Resultados até o momento
Esperávamos: ICC de mestrandos em CI < ICC de profissionais no fomento e publicação
Não esperávamos: ICCs CI frequentemente < ICCs de pós-graduandos interdisciplinares
6
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)

7. Discussão / conclusão
• Tratamos da formação sistemática de novos revisores
• Um passo na direção de criar indicadores de gestão da RP
(Acordo preliminar c/ Enc Bibli para levar sistemática aos periódicos)
• Confiabilidade (mestrandos em CI): positivo que em ¾ predomine
a concordância
(E slide anterior – confirmação e quebra de expectativas nas comparações)
• Alcance dos resultados: estudo pontual; precisa mais,
preferencialmente estudos longitudinais (pesquisa atual)
7
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)

8. UFSC/CED/CIN – Programa de Pós-Graduação em Ciência da Informação
Grupo de Pesquisa em Informação Científica – InfoCient
OBRIGADO!
kern@cin.ufsc.br, www.kern.prof.ufsc.br
Ao CNPq (bolsa PIBIC)
Ao PGCIN/UFSC (permissão para fazer, input dos colegas
professores)
Aos alunos participantes
8
GT7 ENANCIB 2012: Confiabilidade da revisão por pares recíproca anônima de propostas de mestrado em Ciência da Informação (Kern; Denisczwicz)