O documento discute o processo de avaliação de artigos científicos, incluindo boas práticas para avaliadores, tipos de artigos e novas tendências como avaliação pós-publicação e crowdsourcing.

1. Avaliação
de Artigos
Científicos
UNIVERSIDADE DE AVEIRO - 20 de Maio de 2011
Seminários de Investigação em Didáctica
Programa Doutoral em Didáctica e Formação

2. 1. O PROCESSO DA AVALIAÇÃO
2. BOAS PRÁTICAS DA AVALIAÇÃO
3. GRELHAS DE AVALIAÇÃO
4. O RELATÓRIO DO REVISOR
5. TIPOS DE ARTIGOS
6. NOVAS TENDÊNCIAS

3. 1. O PROCESSO DA AVALIAÇÃO
2. BOAS PRÁTICAS DA AVALIAÇÃO
3. GRELHAS DE AVALIAÇÃO
4. O RELATÓRIO DO REVISOR
5. TIPOS DE ARTIGOS
6. NOVAS TENDÊNCIAS

4. 1. O PROCESSO DA AVALIAÇÃO
Esta é a terminologia para revistas (journals).
No caso das conferências, o papel do editor editor
é exercido pelo presidente da comissão
de programa (ou comissão científica).
Os restantes membros da comissão de
programa actuam como editores associados revisor revisor revisor
revisor = avaliador = árbitro
(reviewer = referee)
editor
ed. assoc. ed. assoc.
revisor revisor revisor revisor revisor revisor

5. 1. O PROCESSO DA AVALIAÇÃO
NÍVEIS DE ANONIMATO:
Revisão duplamente anónima Revisão aberta. Vários níveis de
(double-blind review) – anonimato:
Revisores não sabem quem
• As identidades das duas partes
são os autores e autores não
são conhecidas.
sabem quem são os revisores.
• As avaliações, assinadas, são
Revisão anónima (single- enviadas aos autores.
blind review) – Revisores • São colocadas on-line versões
sabem quem são os autores, preliminares dos artigos e
mas autores não sabem quem pedem-se revisões e
são os revisores. comentários.

6. 1. O PROCESSO DA AVALIAÇÃO
COMPENSAÇÕES:
• Tipicamente, o esforço de • Nas revistas, pode oferecer-se uma
revisão não é remunerado. assinatura ou uma autorização de
acesso gratuito por tempo limitado.
• A principal “remuneração” é o
prestígio, quer seja reconhecido em • Nas conferências, oferece-se às
privado, quer seja tornado público vezes a participação na
em listas de revisores. conferência ou no programa social.
• Nas conferências, por vezes • Apesar de não haver pagamentos,
convidam-se os revisores para as o custo estimado da revisão de
comissões de programa, para que o artigos de revista é da ordem de
destaque possa ser mais evidente. 25% dos custos totais de
publicação e disseminação.

7. 1. O PROCESSO DA AVALIAÇÃO
2. BOAS PRÁTICAS DA AVALIAÇÃO
3. GRELHAS DE AVALIAÇÃO
4. O RELATÓRIO DO REVISOR
5. TIPOS DE ARTIGOS
6. NOVAS TENDÊNCIAS

8. 2. BOAS PRÁTICAS DA AVALIAÇÃO
• A avaliação de artigos científicos deve ser encarada como
uma actividade cívica do cientista na sua contribuição para
melhorar o eco-sistema de produção científica
• O revisor deve auxiliar o editor a defender os interesses do leitor na
obtenção de trabalhos de melhor qualidade e utilidade, mas respeitar o
autor, ajudando-o a melhorar o seu trabalho e a progredir como autor
• Nesse sentido, um avaliador que se limite a preencher
grelhas, sem comentar nem justificar os seus julgamentos,
deve ser excluído e remetido para lista negra
• A decisão de aceitar ou rejeitar um artigo cabe ao editor. O papel do revisor
é fornecer ao editor elementos que sustentem a sua decisão, bem como
propor recomendações que ajudem o autor a melhorar o seu trabalho

9. 2. BOAS PRÁTICAS DA AVALIAÇÃO
• As avaliações devem ser sempre justificadas, eventualmente
com referências que as apoiem (o revisor deve abster-se de
sugerir referências da sua própria autoria, que poderão
denunciar arrogância ou parcialidade da sua parte)
• Na maior parte dos casos, a contribuição do revisor é
importante, por representar experiência e competência
no domínio, mas por vezes é útil que, como advogado
do diabo, assuma um papel exterior ao domínio
• O papel do revisor não é dar largas à sua vaidade e
mostrar como é competente e superior, mas sim
oferecer, discretamente, uma avaliação útil e objectiva

10. 2. BOAS PRÁTICAS DA AVALIAÇÃO
• Um revisor que não seja suficientemente crítico está a prestar um mau
serviço à comunidade, encorajando investigação de má qualidade,
iludindo autores inexperientes, incentivando a progressão de autores
incompetentes, degradando a qualidade do conhecimento tornado
público, incentivando a proliferação de trabalhos que tornam os
processos de revisão insustentáveis. Poderá estar, assim, a contribuir
para um mundo mais ignorante do que aquele em que vivemos
• Um revisor que seja demasiado crítico pode bloquear o progresso
da investigação, matar à nascença ideias promissoras, prejudicar
carreiras, deixar as revistas e conferências sem nada que publicar.
Em particular, não deverá rejeitar, sem boas razões, trabalhos que
se oponham às ideias correntes e que, por esse motivo, poderão
vir a ser embriões de novos e valiosos desenvolvimentos

11. 2. BOAS PRÁTICAS DA AVALIAÇÃO
• Deve-se usar um tom civilizado e não insultuoso nas avaliações.
As críticas devem ser dirigidas ao artigo e não ao autor
• Um revisor deverá evitar, em absoluto, actuar em situação
de conflito de interesses, nomeadamente se for parte
interessada na aprovação ou rejeição de um artigo
• Um artigo submetido a avaliação é confidencial, pelo que, uma vez
avaliado, deverá ser esquecido. Não poderá ser copiado nem
divulgado. A apropriação, mesmo que subconsciente, de ideias
alheias é uma falta grave, e, neste caso, um abuso de um privilégio
• Se um revisor não estiver à vontade num tópico em avaliação,
não tiver tempo para avaliar um artigo, ou tiver conflito de
interesses, deverá comunicá-lo de imediato ao editor

12. 2. BOAS PRÁTICAS DA AVALIAÇÃO
• É frequente os autores de artigos para conferências
serem convidados a actuar também como
revisores. Deverão aceitar, a bem do sucesso da
conferência, entendida como evento de partilha
• Quando um artigo é definitivamente mau e irrecuperável,
não se deve perder tempo a dar sugestões que tentem
melhorá-lo. O papel do revisor é auxiliar o autor, mas não
escrever o artigo por ele. Nesses casos, deve apontar duas
ou três falhas graves e passar ao trabalho seguinte

13. 1. O PROCESSO DA AVALIAÇÃO
2. BOAS PRÁTICAS DA AVALIAÇÃO
3. GRELHAS DE AVALIAÇÃO
4. O RELATÓRIO DO REVISOR
5. TIPOS DE ARTIGOS
6. NOVAS TENDÊNCIAS

14. 3. GRELHAS DE AVALIAÇÃO
Classificar artigo numa escala de 1 (fraco)
a 5 (excelente), para os sucessivos itens:
Relevância. É relevante para a conferência ou revista?
Resolve problemas efectivos? De quem? Permite que o
leitor passe a utilizar as propostas? Ou, pelo contrário,
é uma acrobacia intelectual, sem utilidade?
Significado. Altera de forma significativa a visão que temos da
realidade estudada? Ou, pelo contrário, limita-se a retomar
formulações cujo significado está mais do que esclarecido?
Originalidade. Representa um avanço sensível relativamente ao que
já existe? Abre novas perspectivas para a compreensão do tema?

15. 3. GRELHAS DE AVALIAÇÃO
Classificar artigo numa escala de 1 (fraco)
a 5 (excelente), para os sucessivos itens:
Adequação dos métodos de investigação. Em que medida é que
os métodos de investigação adoptados se adequam ao trabalho
realizado? Há inovações na exploração desses métodos?
Adequação dos processos de investigação. O processo usado para
chegar às propostas é cientificamente sólido? Fundamentou-se em teorias
e dados experimentais credíveis? Justificou essa fundamentação?
Análise e interpretação dos dados. Em que medida é que a
análise e interpretação dos dados são adequadas e rigorosas?

16. 3. GRELHAS DE AVALIAÇÃO
Classificar artigo numa escala de 1 (fraco)
a 5 (excelente), para os sucessivos itens:
Lógica da argumentação. Em que medida é que a lógica da
argumentação é rigorosa, fluente e acessível aos leitores?
Adequação do título, resumo, introdução e conclusões. O título é
esclarecedor? O resumo satisfaz os requisitos de um resumo? A introdução dá
o enquadramento adequado? As conclusões são objectivas e esclarecedoras?
Profundidade. Explora a temática em profundidades, ou
fica-se por generalidades? Deixa em aberto aspectos de
aplicação ou operacionalização das propostas?
Completude e coerência. Há aspectos importantes que deviam ter sido
incluídos? Há aspectos desnecessários que deviam ter sido omitidos?

17. 1. O PROCESSO DA AVALIAÇÃO
2. BOAS PRÁTICAS DA AVALIAÇÃO
3. GRELHAS DE AVALIAÇÃO
4. O RELATÓRIO DO REVISOR
5. TIPOS DE ARTIGOS
6. NOVAS TENDÊNCIAS

18. 4. O RELATÓRIO DO REVISOR
1. Sumário do artigo. Uma a cinco frases. Útil para
o editor, mas também para o próprio revisor.
2. Relevância, significado e originalidade.
3. Qualidade do trabalho. Adequação dos métodos, processos e e
análise, lógica da argumentação, adequação do título, resumo,
introdução e conclusão, profundidade, completude e coerência
4. Recomendação. Aprovação, rejeição, aprovação com reservas. Incluir
justificação da recomendação, para que o editor possa decidir.
5. Sugestões de melhoramentos. Apenas em caso de aprovação
ou se a decisão de rejeição for acompanhada da sugestão de
posterior re-submissão ou de submissão noutro local.

19. 1. O PROCESSO DA AVALIAÇÃO
2. BOAS PRÁTICAS DA AVALIAÇÃO
3. GRELHAS DE AVALIAÇÃO
4. O RELATÓRIO DO REVISOR
5. TIPOS DE ARTIGOS
6. NOVAS TENDÊNCIAS

20. 5. TIPOS DE ARTIGOS
• Criação de teoria (empírica)
• Verificação de teoria (empírica)
• Estudo conceptual-analítico
• Proposta de criação de inovação
• Proposta de avaliação de inovação
• Artigo de opinião
• Levantamento do estado da arte
• Tutorial
(Jarvinen, 2004; Smith, 1990; Wiering, 2006)

21. 1. O PROCESSO DA AVALIAÇÃO
2. BOAS PRÁTICAS DA AVALIAÇÃO
3. GRELHAS DE AVALIAÇÃO
4. O RELATÓRIO DO REVISOR
5. TIPOS DE ARTIGOS
6. NOVAS TENDÊNCIAS

22. 6. NOVAS TENDÊNCIAS
CRÍTICAS À AVALIAÇÃO PELOS PARES:
• Introduz atrasos excessivos
• Nem sempre detecta negligência e más condutas
(falsificação, plágio, encobrimento de conflitos de interesses)
• É prejudicada pela parcialidade dos revisores
• Pode ser subjectiva e incoerente
• Incentiva conservadorismo e reprime inovação
• Prejudica investigação interdisciplinar
• Sobrecarrega os avaliadores (muitas
submissões de má qualidade)

23. 6. NOVAS TENDÊNCIAS
EMERGÊNCIA DA “SCHOLARSHIP 2.0”:
• Circulação dos artigos on-line, em pré-versões, antes da
publicação formal, para recolha aberta dos comentários de uma
população alargada de investigadores (Exemplo: arXiv)
• Avaliações pós-publicação, eventualmente complementadas com
comentários informais em blogs, redes sociais e plataformas de
recomendação (recommender systems), quer sociais, quer algorítmicas.
• Avaliação mista: formal, expedita mas rigorosa na pré-
publicação, seguida, na pós-publicação, por avaliações formais
ou informais com base em comentários e/ou classificações
• Recurso a variantes de crowdsourcing e contagens de
downloads em vez de avaliações formais pelos pares.

24. FIM
Avaliação
de Artigos
Científicos
UNIVERSIDADE DE AVEIRO - 20 de Maio de 2011
Seminários de Investigação em Didáctica
Programa Doutoral em Didáctica e Formação