Avaliação de Artigos Científicos

Avaliação
de Artigos
Científicos
UNIVERSIDADE DE AVEIRO - 20 de Maio de 2011
Seminários de Investigação em Didáctica
Programa Doutoral em Didáctica e Formação

1. O PROCESSO DA AVALIAÇÃO
2. BOAS PRÁTICAS DA AVALIAÇÃO
3. GRELHAS DE AVALIAÇÃO
4. O RELATÓRIO DO REVISOR
5. TIPOS DE ARTIGOS
6. NOVAS TENDÊNCIAS


Esta é a terminologia para revistas (journals).
No caso das conferências, o papel do editor editor
é exercido pelo presidente da comissão
de programa (ou comissão científica).
Os restantes membros da comissão de
programa actuam como editores associados revisor revisor revisor

revisor = avaliador = árbitro
(reviewer = referee)
editor

ed. assoc. ed. assoc.

revisor revisor revisor revisor revisor revisor


NÍVEIS DE ANONIMATO:

Revisão duplamente anónima Revisão aberta. Vários níveis de
(double-blind review) – anonimato:
Revisores não sabem quem
•  As identidades das duas partes
são os autores e autores não
são conhecidas.
sabem quem são os revisores.
•  As avaliações, assinadas, são
Revisão anónima (single- enviadas aos autores.
blind review) – Revisores •  São colocadas on-line versões
sabem quem são os autores, preliminares dos artigos e
mas autores não sabem quem pedem-se revisões e
são os revisores. comentários.


COMPENSAÇÕES:

•  Tipicamente, o esforço de •  Nas revistas, pode oferecer-se uma
revisão não é remunerado. assinatura ou uma autorização de
acesso gratuito por tempo limitado.
•  A principal “remuneração” é o
prestígio, quer seja reconhecido em •  Nas conferências, oferece-se às
privado, quer seja tornado público vezes a participação na
em listas de revisores. conferência ou no programa social.

•  Nas conferências, por vezes •  Apesar de não haver pagamentos,
convidam-se os revisores para as o custo estimado da revisão de
comissões de programa, para que o artigos de revista é da ordem de
destaque possa ser mais evidente. 25% dos custos totais de
publicação e disseminação.


•  A avaliação de artigos científicos deve ser encarada como
uma actividade cívica do cientista na sua contribuição para
melhorar o eco-sistema de produção científica
•  O revisor deve auxiliar o editor a defender os interesses do leitor na
obtenção de trabalhos de melhor qualidade e utilidade, mas respeitar o
autor, ajudando-o a melhorar o seu trabalho e a progredir como autor
•  Nesse sentido, um avaliador que se limite a preencher
grelhas, sem comentar nem justificar os seus julgamentos,
deve ser excluído e remetido para lista negra
•  A decisão de aceitar ou rejeitar um artigo cabe ao editor. O papel do revisor
é fornecer ao editor elementos que sustentem a sua decisão, bem como
propor recomendações que ajudem o autor a melhorar o seu trabalho


•  As avaliações devem ser sempre justificadas, eventualmente
com referências que as apoiem (o revisor deve abster-se de
sugerir referências da sua própria autoria, que poderão
denunciar arrogância ou parcialidade da sua parte)

•  Na maior parte dos casos, a contribuição do revisor é
importante, por representar experiência e competência
no domínio, mas por vezes é útil que, como advogado
do diabo, assuma um papel exterior ao domínio

•  O papel do revisor não é dar largas à sua vaidade e
mostrar como é competente e superior, mas sim
oferecer, discretamente, uma avaliação útil e objectiva


•  Um revisor que não seja suficientemente crítico está a prestar um mau
serviço à comunidade, encorajando investigação de má qualidade,
iludindo autores inexperientes, incentivando a progressão de autores
incompetentes, degradando a qualidade do conhecimento tornado
público, incentivando a proliferação de trabalhos que tornam os
processos de revisão insustentáveis. Poderá estar, assim, a contribuir
para um mundo mais ignorante do que aquele em que vivemos

•  Um revisor que seja demasiado crítico pode bloquear o progresso
da investigação, matar à nascença ideias promissoras, prejudicar
carreiras, deixar as revistas e conferências sem nada que publicar.
Em particular, não deverá rejeitar, sem boas razões, trabalhos que
se oponham às ideias correntes e que, por esse motivo, poderão
vir a ser embriões de novos e valiosos desenvolvimentos


•  Deve-se usar um tom civilizado e não insultuoso nas avaliações.
As críticas devem ser dirigidas ao artigo e não ao autor
•  Um revisor deverá evitar, em absoluto, actuar em situação
de conflito de interesses, nomeadamente se for parte
interessada na aprovação ou rejeição de um artigo
•  Um artigo submetido a avaliação é confidencial, pelo que, uma vez
avaliado, deverá ser esquecido. Não poderá ser copiado nem
divulgado. A apropriação, mesmo que subconsciente, de ideias
alheias é uma falta grave, e, neste caso, um abuso de um privilégio

•  Se um revisor não estiver à vontade num tópico em avaliação,
não tiver tempo para avaliar um artigo, ou tiver conflito de
interesses, deverá comunicá-lo de imediato ao editor


•  É frequente os autores de artigos para conferências
serem convidados a actuar também como
revisores. Deverão aceitar, a bem do sucesso da
conferência, entendida como evento de partilha

•  Quando um artigo é definitivamente mau e irrecuperável,
não se deve perder tempo a dar sugestões que tentem
melhorá-lo. O papel do revisor é auxiliar o autor, mas não
escrever o artigo por ele. Nesses casos, deve apontar duas
ou três falhas graves e passar ao trabalho seguinte


Classificar artigo numa escala de 1 (fraco)
a 5 (excelente), para os sucessivos itens:

Relevância. É relevante para a conferência ou revista?
Resolve problemas efectivos? De quem? Permite que o
leitor passe a utilizar as propostas? Ou, pelo contrário,
é uma acrobacia intelectual, sem utilidade?
Significado. Altera de forma significativa a visão que temos da
realidade estudada? Ou, pelo contrário, limita-se a retomar
formulações cujo significado está mais do que esclarecido?

Originalidade. Representa um avanço sensível relativamente ao que
já existe? Abre novas perspectivas para a compreensão do tema?



Adequação dos métodos de investigação. Em que medida é que
os métodos de investigação adoptados se adequam ao trabalho
realizado? Há inovações na exploração desses métodos?
Adequação dos processos de investigação. O processo usado para
chegar às propostas é cientificamente sólido? Fundamentou-se em teorias
e dados experimentais credíveis? Justificou essa fundamentação?
Análise e interpretação dos dados. Em que medida é que a
análise e interpretação dos dados são adequadas e rigorosas?


Lógica da argumentação. Em que medida é que a lógica da
argumentação é rigorosa, fluente e acessível aos leitores?
Adequação do título, resumo, introdução e conclusões. O título é
esclarecedor? O resumo satisfaz os requisitos de um resumo? A introdução dá
o enquadramento adequado? As conclusões são objectivas e esclarecedoras?
Profundidade. Explora a temática em profundidades, ou
fica-se por generalidades? Deixa em aberto aspectos de
aplicação ou operacionalização das propostas?
Completude e coerência. Há aspectos importantes que deviam ter sido
incluídos? Há aspectos desnecessários que deviam ter sido omitidos?

4. O RELATÓRIO DO REVISOR

1.  Sumário do artigo. Uma a cinco frases. Útil para
o editor, mas também para o próprio revisor.
2.  Relevância, significado e originalidade.
3.  Qualidade do trabalho. Adequação dos métodos, processos e e
análise, lógica da argumentação, adequação do título, resumo,
introdução e conclusão, profundidade, completude e coerência

4.  Recomendação. Aprovação, rejeição, aprovação com reservas. Incluir
justificação da recomendação, para que o editor possa decidir.
5.  Sugestões de melhoramentos. Apenas em caso de aprovação
ou se a decisão de rejeição for acompanhada da sugestão de
posterior re-submissão ou de submissão noutro local.

5. TIPOS DE ARTIGOS

•  Criação de teoria (empírica)
•  Verificação de teoria (empírica)
•  Estudo conceptual-analítico
•  Proposta de criação de inovação
•  Proposta de avaliação de inovação
•  Artigo de opinião
•  Levantamento do estado da arte
•  Tutorial
(Jarvinen, 2004; Smith, 1990; Wiering, 2006)


CRÍTICAS À AVALIAÇÃO PELOS PARES:
•  Introduz atrasos excessivos
•  Nem sempre detecta negligência e más condutas
(falsificação, plágio, encobrimento de conflitos de interesses)
•  É prejudicada pela parcialidade dos revisores
•  Pode ser subjectiva e incoerente
•  Incentiva conservadorismo e reprime inovação
•  Prejudica investigação interdisciplinar
•  Sobrecarrega os avaliadores (muitas
submissões de má qualidade)


EMERGÊNCIA DA “SCHOLARSHIP 2.0”:
•  Circulação dos artigos on-line, em pré-versões, antes da
publicação formal, para recolha aberta dos comentários de uma
população alargada de investigadores (Exemplo: arXiv)
•  Avaliações pós-publicação, eventualmente complementadas com
comentários informais em blogs, redes sociais e plataformas de
recomendação (recommender systems), quer sociais, quer algorítmicas.
•  Avaliação mista: formal, expedita mas rigorosa na pré-
publicação, seguida, na pós-publicação, por avaliações formais
ou informais com base em comentários e/ou classificações
•  Recurso a variantes de crowdsourcing e contagens de
downloads em vez de avaliações formais pelos pares.

FIM
Avaliação
de Artigos
Científicos
UNIVERSIDADE DE AVEIRO - 20 de Maio de 2011
Seminários de Investigação em Didáctica
Programa Doutoral em Didáctica e Formação

Avaliação de Artigos Científicos

Mais conteúdo relacionado

Mais procurados

Destaque

Semelhante a Avaliação de Artigos Científicos

Mais de Antonio Dias de Figueiredo

Avaliação de Artigos Científicos