Palestra apresentada na disciplina CIN5034 - Editoração Científica, Curso de Biblioteconomia da UFSC, em 07/06/2013. Por Vinícius M. Kern e Marta Denisczwicz.

1. Revisão por pares:
Como funciona (?) e nossas pesquisas no tema
Palestra apresentada na disciplina “CIN5034 - Editoração Científica, Curso de Biblioteconomia da UFSC, em 07/06/2013
Tema da palestra: Avaliação dos pares – direitos e deveres
Vinícius M. Kern, kern@cin.ufsc.br
Marta Denisczwicz, marta.denisczwicz@gmail.com
Grupo de pesquisa: Informação, Tecnologia e Sociedade
ROTEIRO
• O que é
• Modalidades
• História
• Falhas (e virtudes)
• Nossas pesquisas
Estes slides em
http://www.slideshare.
net/vmkern

2. Peer Review
O QUE É
• Principal mecanismo de controle de qualidade na maioria das
disciplinas científicas (BORNMANN, 2011)
• Instrumento mais eficaz para fazer a seleção crítica (BORNMANN,
2011)
• O julgamento é realizado pelos pares a partir de critérios de avaliação
determinados internamente pela própria comunidade científica
(DAVYT GARCÍA; VELHO, 2000)
• Define os rumos que a ciência deve seguir (DAVYT GARCÍA; VELHO,
2000)
2

3. Modalidades de Peer Review
Editorial : usada para selecionar artigos
para publicação
Cega, duplo-cega, aberta...
De fomento: “a revisão por pares para fins de financiamento da
pesquisa originou-se nas agências de fomento, estabelecendo uma relação
da comunidade científica com os organismos do Estado” (DAVYT GARCÍA;
VELHO, 2000)
De docência
De desenvolvimento de software (XP - extreme programming)
...
3

4. História da peer review
Primeiras revistas (journals) em 1665
Peer review usada desde 1731 na Royal Society of
Edinburgh’s Medical Essays and Observations (NIELSEN, 2009)
… mas não que seja usada por todos desde então…
4

5. História da peer review
Questão de poder: na prática, a peer review passou a ser a regra para
avaliar artigos e propostas de pesquisa em torno de 1950 (NIELSEN, 2009).
... mas não foi fácil: no fomento à pesquisa, os burocratas não acharam
maravilhoso ceder seu poder de veto e dádiva para comitês de pares.
5

6. História da peer review
Caso Einstein, o velho rabugento... (NIELSEN, 2009)
Publicou ~300 artigos de 1901 a 1955. Quantos revisados por pares?
R: Aparentemente 1 (Physical Review – submetido em 1936, rejeitado).
A indignação do gênio com o editor:
Dear Sir,
We (Mr. Rosen and I) had sent you our manuscript for publication and had not authorized you
to show it to specialists before it is printed. I see no reason to address the in any case
erroneous comments of your anonymous expert. On the basis of this incident I prefer to
publish the paper elsewhere.
Respectfully,
P.S. Mr. Rosen, who has left for the Soviet Union,
has authorized me to represent him in this matter.
* Depois disso, nunca mais submeteu à Physical Review. O artigo
afinal foi publicado no Journal of the Franklin Institute, com
conclusões dramaticamente alteradas (coincidentemente ou não).
6

7. Falhas da peer review
Confiabilidade: avaliadores pouco concordam
Validade, generalizabilidade e potenciais vieses
Faltam indicadores quantitativos de gestão
Formação precária de pareceristas
Ineficácia para detectar fraude, plágio, baixa qualidade ou
erro.
7

8. Falhas da peer review
Questões éticas sérias,
incluindo o conflito de
interesses...
Indústria farmacêutica e as
conclusões “compradas”
Círculos de amigos
(backscratching)
8

9. Nossas pesquisas em peer review
Projeto Par - desde 1997
• Revisão por pares na aprendizagem. Anônima, dupla-cega. 1000+ alunos.
• Algumas publicações
• Denisczwicz, M. &; Kern, V. M. (2013). Indicadores de gestão na revisão por pares:
confiabilidade da revisão recíproca anônima de propostas de mestrado. Liinc em Revista 9(1),
283-295.
• Kern, V. M., Possamai, O., Selig, P. M., Pacheco, R. C. dos S., Souza, G. de C. de, Rautenberg,
S., & Lemos, R. T. da S. (2009). Growing a peer review culture among graduate students In A.
Tatnall & A. Jones (Eds.), Education and Technology for a Better World (IFIP Advan., Vol. 302,
pp. 388–397). Berlin, Heidelberg: Springer Berlin Heidelberg.
• Kern, V. M., Pacheco, R. C. dos S., Saraiva, L. M. & Pernigotti, J. M. (2007). Peer review in
Computer Science education: Requirements for continuous, large scale application. In F. M.
Mendes Neto & F. V. Brasileiro. (Eds.), Advances in computer supported learning, p. 45-65.
Hershey, PA (EUA): Idea Group Publishing.
• Kern, V. M., Saraiva, L. M., & Pacheco, R. C. dos S. (2003). Peer review in education:
promoting collaboration, written expression, critical thinking, and professional responsibility.
Education and Information Technologies, 8(1), 37–46.
9

10. Pesquisa - MEDIDAS LONGITUDINAIS DE
CONFIABILIDADE EM SÉRIES DE CERTAMES REVISÃO
POR PARES
• Críticas ao processo
• Falta de indicadores de qualidade
• Formação precária de pareceristas
A pesquisa...
Seleção de um indicador: coeficiente de correlação
intraclasse ICC(2,1), que considera que os pareceristas
são selecionados a partir de uma população maior, e
cada parecerista avalia cada proposta (SHROUT;
FLEISS, 1979).
10

11. Processo de revisão por pares: propostas de mestrado (n=12)
Anônima, recíproca (9 a 11 revisões/proposta), com
diretrizes.
7 pontos de avaliação em escala Likert-6
Escala de 1 (discordo totalmente) a 6 (concordo
totalmente)
Itens de avaliação:
Problema e objetivos
Fundamentação
Abordagem metodológica
Resultados esperados e conclusões
Referências
Linguagem e estilo
Formatos
11

12. 12

13. Para dispor de algum termo de
comparação...
Conduzimos outro processo em artigos (n=11,
2 rev/aluno ou 4/artigo) de duplas em
disciplina de PG de programa interdisciplinar
(mestr./dout.)
Coletamos índices de confiabilidade nos
metaestudos de Weller (2002) e de Bornmann
(2011).
13

14. Resultados
Esperávamos: ICC de mestrandos em CI < ICC de profissionais no fomento e publicação
Não esperávamos: ICCs CI frequentemente < ICCs de pós-graduandos interdisciplinares
14

15. Resultados
Mestrado em Ciência da Informação: o ICC (2,1) variou
entre -0,500 e 0,202, com 9 valores positivos e 3
negativos;
Programa de pós-graduação revisões multidisciplinares
de artigos: o ICC (2,1) variou entre -0,254 e 0,540,
com 5 valores positivos, um zero e 4 negativos
Estudos mencionados por Weller (2002, p. 186-187)
apontam valores de ICC no intervalo [-0,15; 0,84].
15

16. Resultados
Revisores em formação apresentam índices
inferiores aos apontados por Weller (2002) e
por Bornmann (2011);
Predominância de valores superiores de ICC
nos certames profissionais em relação aos
certames estudantis.
16

17. Discussão / conclusão
Dentre as 12 medidas de ICC encontradas na
revisão de propostas de mestrado em Ciência da
Informação, 9 são positivas, compatíveis com as
medidas encontradas no levantamento de Weller
(2002).
Os índices são inferiores aos apontados por
Weller (2002) e por Bornmann (2011), no
entanto, trata-se de uma medida pontual – para
um certame de revisão por pares.
17

18. Discussão / conclusão
Os resultados são preliminares. As próximas
etapas da pesquisa incluem a construção de
indicadores de confiabilidade longitudinais,
tanto para os processos acadêmicos discutidos
aqui quanto para outros fóruns, como revistas
científicas.
18

19. Referências
BORNMANN, L. Scientific peer review. ARIST, v. 45, n. 1, p. 199-245, 2011.
DAVYT GARCÍA, A.; VELHO, L. A Avaliação da Ciência e a Revisão por Pares: passado e presente. Como
será o Futuro?. História, Ciência, Saúde – Manguinhos, v. 7, n. 1, p. 93-116, mar./jun. 2000.
JENNINGS, C. G. Quality and value: The true purpose of peer review. What you can't measure, you
can't manage: the need for quantitative indicators in peer review (Nature Peer Review Debate).
Nature, 2006.
NIELSEN, Michael. Three myths about scientific peer review (blog post). January 8, 2009.
http://michaelnielsen.org/blog/three-myths-about-scientific-peer-review/
What you can't measure, you can't manage: the need for quantitative indicators in peer review
(Nature Peer Review Debate). Nature, 2006.
SMITH, A. J. The task of the referee. Computer, v. 23, n. 4, p. 65–71, 1990
SHROUT, P. E.; FLEISS, J. L. Intraclass correlations: Use in assessing rater reliability. Psychol. Bull., v. 86,
n. 2, p. 420-428, 1979.
WELLER, A. C. Editorial peer review: Its strengths and weaknesses. Second printing (ASIST monograph
series). Medford, New Jersey (EUA): Information Today, Inc. 2002. 342 p.
19