Políticas de peer review em revistas científicas
•Transferir como PPT, PDF•
2 gostaram•612 visualizações
1) O documento descreve os objetivos, métodos e estrutura de uma pesquisa sobre políticas e práticas editoriais de revisão por pares em revistas científicas. 2) A pesquisa analisou 249 revistas científicas internacionais de alto impacto usando informações sobre políticas editoriais extraídas de instruções para autores. 3) Os resultados da análise serão apresentados e discutidos para caracterizar as práticas de revisão por pares nas revistas científicas.
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (19)
Destaque
Semelhante a Políticas de peer review em revistas científicas
Semelhante a Políticas de peer review em revistas científicas (20)
Último
Último (20)
Políticas de peer review em revistas científicas
- 1. Director: Profesor Doctor D. Emilio Delgado López-Cózar Alumno: Maria Manuela Santos Tavares de Matos Cardoso UNIVERSIDAD DE GRANADA | FACULDAD DE COMUNICACIÓN Y DOCUMENTACIÓN | DEPARTAMENTO DE BIBLIOTECONOMIA Y DOCUMENTACIÓN 21 |Noviembre | 2011 POLÍTICAS E PRÁTICAS EDITORIAIS DECLARADAS Doctorado en Documentación y Información Científica 1
- 2. Trabajo de investigación insertado en el Programa de Doctorado en Documentación y Información Científica de la Universidad de Granada, España, impartido en asociación con la Universidad Portucalense, Oporto, Portugal. Director: Prof. Doctor Emilio Delgado López-Cózar 2
- 3. Objectivos Científicos Justificação Origem e desenvolvimento do tema Amostra Conceitos básicos de partida Procedimentos Instrumentos Tratamento de Dados Apresentação dos resultados da análise das revistas: - Por parâmetros informativos - Por área do conhecimento - Por disciplina científica Conclusões - Seguir melhorando e pistas para investigações futuras MATERIAL E MÉTODOS Considerações Históricas e as Revistas Científicas O processo editorial de peer review nas revistas científicas Estudos empíricos editoriais de peer review 3 INTRODUÇÃO ESTADO DA QUESTÃO RESULTADOS E DISCUSSÃO CONCLUSÕES
- 4. Introdução . . . . . . . . 4
- 5. Crescimento contínuo (e mais acelerado) da publicação científica Maior exigência da qualidade da publicação Novas dinâmicas de produção do conhecimento Neste contexto, como garantir a pertinência, o rigor e oportunidade da publicação científica? Publish or perish… … se não está publicado (na www) não existe! Existe uma pressão académica e institucional contínua muito forte para que os investigadores publiquem conteúdos originais, rigorosos, tempestivos … com muita regularidade
- 6. Analisar os sistemas de revisão por pares (peer review) dominantes nas revistas científicas com maior Factor de Impacto, por áreas e disciplinas científicas Analisar os sistemas de revisão por pares (peer review) dominantes nas revistas científicas com maior Factor de Impacto, por áreas e disciplinas científicas 1 2 3 Estabelecer um das revistas científicas perfil a partir do diagnóstico resultante da análise das políticas de peer review praticadas pelas revistas científicas com maior Factor de Impacto. Estabelecer um das revistas científicas perfil a partir do diagnóstico resultante da análise das políticas de peer review praticadas pelas revistas científicas com maior Factor de Impacto. Analisar, descrever e informar sobre os vários sistemas de selecção e avaliação dos originais, ou seja, as políticas e práticas de peer review adoptadas e declaradas pelas revistas científicas, a partir das Instruções aos Autores destas. Analisar, descrever e informar sobre os vários sistemas de selecção e avaliação dos originais, ou seja, as políticas e práticas de peer review adoptadas e declaradas pelas revistas científicas, a partir das Instruções aos Autores destas. Objectivo Geral Análise e caracterização das políticas e práticas de selecção e avaliação de manuscritos recebidos por revistas científicas Análise e caracterização das políticas e práticas de selecção e avaliação de manuscritos recebidos por revistas científicas
- 7. 7 Avaliação das Revistas Científicas Proliferação meios de difusão do conhecimento Dispersão dos critérios de qualidade Ausência de critérios normalizados Dificuldade de controlar a informação produzida
- 8. A produção editorial de revistas científicas atravessa novos constrangimentos e desafios que convocam critérios de qualidade exigentes na comunicação da informação científica Neste contexto, como garantir a pertinência, o rigor e oportunidade da publicação científica? 8 Qualidade Uniformização e Estandardização Peer Review Limitações e críticas Novas abordagens A comunidade científica concorda que a avaliação por pares é indispensável mas a sua implementação encontra-se a ser repensada
- 9. Estado da Questão . . . . . . . . 9
- 10. 10 O conceito de Peer Review… A avaliação pelos pares em revistas científicas é um mecanismo que consiste na apreciação minuciosa de originais por especialistas externos de uma ou mais disciplinas para indicar a sua aceitação ou recusa para publicação, ou seja, envolve todos os processos de pré- selecção, revisão e comunicação sobre a aceitação ou a rejeição para a publicação dos originais submetidos pelos autores.
- 11. Autores Criação de obras originais Responsabilidade pela qualidade dos manuscritos que submetem Variabilidade e Criatividade Revisores Cabe-lhes limitar o corpo de conhecimento científico apenas àquilo que pode ser cientificamente validado Têm por base a isenção na avaliação de conteúdos Normalização e Delimitação Editores Zelam pela regularidade das publicações e têm a sua actividade orientada para a divulgação do que melhor se faz na produção científica Edição e Publicação 11 Intervenientes …
- 12. 12 Etapas do processo de Peer Review… Autor submete o manuscrito Manuscrito registado,conferidoe confirmação do recebimento Leitura/Apreciação pelo(s) Editor(es) Rejeitado semAvaliação Envio para avaliadores externos Retorno dasAvaliações Apreciação dasavaliaçõespelo(s) editor(es) Rejeitado Re submissão encorajada Re submissão não encorajada Aceite comnecessidade de Revisão Autor submete manuscrito revisto Aceite Produção Publicação Avaliação Adicional Requerida
- 13. Ex: Royal Society de Londres – PhilosophicalTransactions As sociedades científicas desempenharam um papel de destaque para a produção científica e o respectivo desenvolvimento da ciência, pois foram estas que instituíram os alicerces da avaliação pelos pares Sociedades e academias científicas (séc. XVI e XVII ) Pioneiras na avaliação dos resultados da investigação Peer review feito através de cartas pessoais, debates e a partilha de informação acerca dos temas sujeitos a revisão O peer review começa ter um papel destacado e publicamente reconhecido, imediatamente após a segunda guerra, institucionalizou-se, mas não de forma muito sistemática ou organizada Institucionalização do Peer Review (séc. XIX – meados séc. XX) Após a II Guerra Mundial e com a profissionalização da ciência Verifica-se a industrialização do saber e as revistas convertem-se no meio de comunicação por excelência: 13
- 14. Revistas científicas convertem-se no meio de comunicação por excelência e publicações seriadas tiveram um crescimento exponencial A partir da 2ª Guerra Mundial Profundas mudanças do papel da Ciência na sociedade a ciência torna-se numa questão de Estado Publicações períodicas e revistas resumo industrialização do conhecimento Nova etapa da comunicação científica, caracterizada pela explosão da informação e multiplicação dos intervenientes na publicação científica Tecnologias de Informação e Comunicação Internet como meio de publicação formal Disseminação das origens da publicação científica Invisible Colleges Revolução do conhecimento humano 14
- 15. 15 Moldaram o processo de peer review nas revistas científicas os estudos sobre: 1. As práticas e políticaspráticas e políticas editoriaiseditoriais de peer review nas revistas científicas* 2. As atitudesatitudes e visõesvisões dos autores, editores e revisores perante o peer review das revistas científicas (os relatórios oriundos dos inquéritos: ALPSP, WARE, The British Academy, RIN))
- 16. 16 Coe & Weinstock (1967) Beyer (1978) Peter & Ceci (1982) Coloianni (1994) Weller (1990) Wilkes & Kravitz (1995) Freda & Kearny (2005) The British Academy (2007) Ware (2008) RIN (2010) Moldaram o processo de peer review Contribuíram para aperfeiçoar os processo de comunicação científica em geral e das revistas científicas em particular As Ciências Médicas foram percursoras pois desde cedo investiram na melhoria dos processos de revisão, pelo que dispõem hoje de práticas mais exaustivas de declaração de política editorial de peer review -
- 17. 17
- 18. 18
- 19. 19Alternativas mais disseminadas na MEDICINA, FISICA E PSICOLOGIA Misto ou hibrídoMisto ou hibrído
- 20. 20
- 21. Publicação científica internacional Reduzida normalização nos mecanismos de avaliação Diminuta transparência editorial das publicações Limitações do peer review Os critérios e instrumentos de avaliação da ciência são adaptados aos contextos históricos e tendem a traduzir e a incorporar mudanças contextuais 21
- 22. Material e Métodos . . . . . . . . 22
- 23. A amostra de 249 revistas científicas internacionaisamostra de 249 revistas científicas internacionais com maior factor de impactomaior factor de impacto está, naturalmente, longe de abranger o universo total de revistas científicas; A amostra foi referenciada a um critério (o do factor de impacto) o que não exclui que outros critérios pudessem ser utilizados nesta selecção; Não é possível neste trabalho estabelecer uma generalização absoluta mas somente uma análise crítica da amostra em presença e sua comparação com outros estudos realizados em torno desta temática. 23
- 24. Amostra: 249 revistas, num universo de mais de 6 mil títulos Enfoque: Revistas Científicas de prestígio internacional referenciadas na Web of Science (WoS) nas diferentes áreas do conhecimento Critério: De entre as revistas que publicam apenas originais (i.e. excluindo as de tipo Review, foi seleccionada a revista com maior FI em cada categoria temática do ISI, num total de 249 3 bases científicas SSCI, SCIE, A&HCI 27 áreas do conhecimento 5 disciplinas (adaptação de classificação UNESCO) I.Ciências Exactas e Naturais II.Engenharia e Tecnologia III. Ciências Médicas IV. Ciências Sociais, V. Humanidades 24
- 25. 25 Base de Dados Web of Science (WoS) SSCI SCI A&HCI Journal Citation Reports (JCR) (2006) Seleccionada em cada categoria/disciplina da A&HCI uma revista editada/patrocinada por instituições ou editoras de prestigio reconhecido entre a comunidade académica internacional. Não tem JCR
- 26. 26 Instruções aos autores - Páginas que contêm informação sobre a política editorial da revista pautas detalhadas para os autores prepararem os seus originais de acordo com o estilo da revista e informação imprescindível sobre o âmbito temático coberto, o tipo de trabalhos aceites e a política editorial seguida pela revista; Revistas de investigação revistas que publicam fundamentalmente trabalhos de investigação. Revista tipo review: revistas que publicam somente as revisões bibliográficas, os estados da questão ou estados da arte.
- 27. 27 2 tipos de observação
- 28. 28
- 29. Folha de Recolha de DadosFolha de Recolha de Dados contendo: 29 FRD -> :30 parâmetros informativos extraídos dos critérios de avaliação de revistas propostos por Delgado et al. (2007), "La edición de revistas científicas: directrices, criterios y modelos de evaluación", Secção "Procedimento de avaliação e aceitação de manuscritos", (itens relativos ao ponto 10.3.2. desta obra) Do parâmetro 351 ("Mecanismos da Redacção para informar o estado em que se encontra o manuscrito") até ao parâmetro 370 ("Devolução dos trabalhos rejeitados"), (Delgado et al., 2007: 187-192); e Do parâmetro 394 ("Critérios para a aceitação dos manuscritos" até ao parâmetro 401 ("Procedimentos para atender às queixas e/ou reclamações dos autores" (Delgado et al, 2007: 200-204.
- 30. Identificação de Revista Análise e conteúdo das Instruções aos Autores Parâmetros Informativos 30 strutura-se em 4 o informativo; o (SIM, NÃO); o (quando SIM, er: e, s aos Autores.
- 31. Sistema de Avaliação: Tipologia Número e classe de artigos revistos: descrição Existência de Revisão Editorial: descrição Sistema de arbitragem empregue Critérios e Formulários de Avaliação Critérios para a aceitação de manuscritos Formulário de revisão editorial Guias e instruções para os revisores Formulário de avaliação a cumprir pelos revisores Procedimentos e Prazos Prazos gerais do processo de avaliação de manuscritos Mecanismos existentes na Redacção para informar o estado em que se encontra um manuscrito Existência de procedimento rápido de revisão Acuso de recepção e agradecimento Prazos remissão parecer de avaliação Solicitação prévia de aceitação da avaliação do manuscrito por parte dos revisores Procedimento de comunicação da redacção com os revisores Notificação dos autores da decisão provisional Réplica dos autores: forma e conteúdo Decisão definitiva: notificação de aceitação / rejeição e instruções para apresentação versão definitiva Notificação aos autores da decisão definitiva Comunicação decisão final dos revisores Recurso contra a decisão de rejeição Devolução de trabalhos rejeitados Procedimentos para atender às queixas e /ou reclamações dos autores Revisores Procedimento para a selecção de revisores Critérios para a selecção de revisores Responsabilidades e funções dos revisores Número de revisores empregues Existência de revisores metodológicos Existência de revisores de estilo Reconhecimento do trabalho dos revisores Avaliação da qualidade dos revisores 31
- 32. Variável Descrição Título da Revista Título da Revista Título da Revista Abreviado Título da Revista Abreviado Base Base Científica em que a revista se encontra registada Cobertura Área de estudo da revista Lugar de Edição Área geográfica em que a revista é editada Periodicidade Periodicidade de publicação da revista Data da Análise Data de análise do número que serviu de base à análise N.º Analisado Número que serviu de base à análise Editor Editor da revista Factor de Impacto Factor de impacto da revista no ano 2006 ISSN ISSN On-Line ISSN ISSN da revista On-Line URL Endereço electrónico Categoria Categoria da revista, na respectiva base Área Área temática em que a categoria da revista pode ser enquadrada Sub-Área Subárea temática em que a categoria da revista pode ser enquadrada Parâmetro Parâmetro de análise da transparência da política editorial Análise Parâmetros Referência ao parâmetro na política editorial (Sim/Não) Instruções aos Autores Referência ao parâmetro de política editorial nas instruções aos autores (Sim/Não) Criação de base de dados para armazenar a informação recolhida na FRD para posterior tratamento estatístico, por áreas do conhecimento e disciplinas científicas, contendo, para cada revista analisada:
- 33. parâmetros informativos por área do conhecimento por disciplina científica 33
- 34. Resultados e Discussão . . . . . . . . 34
- 35. 35
- 36. A periodicidade mensal é claramente predominante entre as revistas analisadas, seguindo-se as publicações trimestrais. Os EUA detêm a maioria das publicações. Quase metade das revistas são publicadas sob os auspícios das associações e sociedades profissionais 36
- 37. 37 + - Acuso de recepção e agradecimento 88,0 Notificação aos autores da decisão definitiva 85,5 Mecanismos existentes na Redacção para informar o estado em que se encontra um manuscrito 85,1 Sistema de arbitragem empregue 64,3 Decisão definitiva: notificação de aceitação / rejeição e instruções para apresentação versão definitiva 60,2 Critérios para a aceitação de manuscritos 57,0 Existência de Revisão Editorial: descrição 55,4 Procedimento para a selecção de revisores 47,8 Prazos gerais do processo de avaliação de manuscritos 45,8 Critérios para a selecção de revisores 41,4 Devolução de trabalhos rejeitados 21,7 Formulário de avaliação a cumprir pelos revisores 19,7 Recurso contra a decisão de rejeição 17,3 Existência de procedimento rápido de revisão 10,8 Reconhecimento do trabalho dos revisores 10,8 Comunicação decisão final dos revisores 6,4 Procedimentos para atender às queixas e /ou reclamações dos autores 2,8 Existência de revisores metodológicos 2,8 Avaliação da qualidade dos revisores 1,2 Existência de revisores de estilo 0,4
- 38. 38
- 39. 39 Annals of Emergency Medicine CIÊNCIAS MÉDICAS 25 Obstetrics and Gynecology CIÊNCIAS MÉDICAS 23 Nature Medicine CIÊNCIAS MÉDICAS 22 PLOS Pathogens CIÊNCIAS EXACTAS E NATURAIS 22 PLOS Biology CIÊNCIAS EXACTAS E NATURAIS 21 Cell Metabolism CIÊNCIAS MÉDICAS 20 New England Journal of Medicine CIÊNCIAS MÉDICAS 20 Radiology CIÊNCIAS MÉDICAS 20 Journal of Virology CIÊNCIAS EXACTAS E NATURAIS 20 Science CIÊNCIAS EXACTAS E NATURAIS 20 Perspectives in Biology and Medicine HUMANIDADES 1 Research in African Literatures HUMANIDADES 1 Naval Architect ENGENHARIA E TECNONOLOGIA 0 Critical Quarterly HUMANIDADES 0 Dance Chronicle HUMANIDADES 0 English Literary Renaissance HUMANIDADES 0 Journal of Film and Video HUMANIDADES 0 Journal of Musicological Research HUMANIDADES 0 Medieval History Journal HUMANIDADES 0 Oxford Art Journal HUMANIDADES 0 Victorian Literature and Culture HUMANIDADES 0 + -
- 40. 45,4% 43,7% 26,6% 58,2% 42,1% 46,2% 28,9% 62,6% 25,0% 36,8% 18,5% 48,6% 37,5% 35,4% 22,6% 52,4% 19,4% 15,5% 7,7% 32,3% Critérios e Formulários de Avaliação Procedimentos e Prazos Revisores Sistema de Avaliação: Tipologia HUMANIDADES ENGENHARIA E TECNONOLOGIA CIÊNCIAS SOCIAIS CIÊNCIAS MÉDICAS CIÊNCIAS EXACTAS E NATURAIS 40
- 41. 41 CIÊNCIAS EXACTAS E NATURAIS 71 12,3 40,80% CIÊNCIA GERAL 1 20 66,70% CIÊNCIAS AGRÁRIAS 9 10,7 35,60% CIÊNCIAS BIOLÓGICAS 25 13 43,30% CIÊNCIAS DA TERRA E DO ESPAÇO 8 11,1 37,10% FÍSICA 16 13,4 44,60% MATEMÁTICAS 4 5,3 17,50% QUÍMICA 8 13 43,30% CIÊNCIAS MÉDICAS 57 12,8 42,70% CIÊNCIAS MÉDICAS 57 12,8 42,70% CIÊNCIAS SOCIAIS 48 9,7 31,50% CIÊNCIA POLÍTICA, DA ADMINISTRAÇÃO E GESTÃO 5 10,6 35,30% CIÊNCIAS ECONÓMICAS 4 9,8 32,50% CIÊNCIAS JURÍDICAS 2 6,5 21,70% CIÊNCIAS SOCIAIS, GERAL 2 13 43,30% COMUNICAÇÃO E DOCUMENTAÇÃO 2 11,5 38,30% EDUCAÇÃO 3 9,7 32,20% GEOGRAFIA E URBANISMO 8 8,8 29,20% PSICOLOGIA E CIÊNCIAS DO COMPORTAMENTO 13 10,1 33,60% SOCIOLOGIA E CIÊNCIAS AFINS 9 7,8 25,90% ENGENHARIA E TECNOLOGIA 42 10,4 34,00% CIÊNCIA DOS MATERIAIS 5 11,2 37,30% ENGENHARIAS 14 10,1 33,80% INFORMÁTICA 7 10,4 34,80% TECNOLOGIA 16 9,8 32,70% HUMANIDADES 31 5,6 15,60% CIÊNCIAS DAS ARTES 7 1,7 5,70% FILOSOFIA E TEOLOGIA 6 5,8 19,40% HISTÓRIA 5 8,8 29,30% HUMANIDADES, GERAL 1 8 26,70% LINGUÍSTICA 2 5,5 18,30% LITERATURA 10 3,5 11,70% N.º Revistas analisadas N.º de Médio de Parâmetros Explicitados % de parâmetros explicitados
- 42. Número médio de parâmetros declarados, por área científica 42
- 43. 43 Informação proporcionada sobre o tipo de sistema de arbitragem utilizado numa amostra de 249 revistas internacionais indexadas na Web of Science (%)
- 44. 44
- 46. 46
- 47. 47
- 48. A avaliação do mesmo tipo de conteúdos deve ser feita de acordo com os mesmos princípios O peer review, apesar de aceite pela comunidade científica é por inerência subjectivo A transparência da política editorial minimiza situações de fraude, plágio, duplicação, … 48
- 49. 49
- 50. 1. Circunscrever o âmbito da revisão editorial 2. Utilização de revisores Metodológicos especializados Sistema de arbitragem científica aplicada Número de revisores a empregar por artigo; como se realiza a selecção dos revisores Critérios que os revisores terão de ter em conta na revisão dos artigos Informação dos revisores dos prazos de revisão Publicação de guias e instruções de avaliação empregues pelos revisores O sistema de revisão e os critérios de avaliação dos artigos devem ser descritos da forma mais transparente possível O Conselho de Redacção acumula diferentes funções e nem sempre se dedica a tempo inteiro para garantir a qualidade do processo de revisão Remuneração do Conselho de Redacção Informam nas suas instruções para os autores ou nas suas páginas Web sobre as suas práticas de avaliação dos originais das revistas Correcção de estilo Verificação da exactidão de títulos, resumos, palavras-chave e referências bibliográficas Verificação da adequação do método científico 50 Revisores que possam assegurar especificamente: 3. Profissionalização da gestão do processo editorial das revistas
- 51. 51 "Like a democracy, editorial peer review is messy and does not always work as it should, but it is essential to the integrity of science and scholarly communication”. (Weller, 2001) É essa a expectativa dos intervenientes do processo de revisão que, de acordo com os estudos realizados (Ware, ALPSP, RIN, ...). As alternativas propostas como por exemplo o Open Peer Review são opções que visam desenvolver a confiabilidade, imparcialidade/equidade e o valor preditivo do peer review. De facto, estes são também os pressupostos da sua possível aplicação universal a todos os campos do conhecimento!
- 52. 52 Muchas Gracias! Manuela Cardoso manuela-cardoso@netcabo.pt “Explicar e fazer compreender o que pretendemos, não é coisa fácil, pois jamais se compreende o que é novo, senão por analogia, com o que é antigo." Francis Bacon. Novum Organum
Notas do Editor
- A eleição do título “O Peer Review nas revistas científicas: políticas e práticas editoriais declaradas” como tema desta tese de doutoramento deve-se ao facto de ter realizado, em Dezembro de 2007, o Diploma de Estudios Avanzados (DEA) neste tema no contexto português mais concretamente nas revistas científicas portuguesas de Ciências Sociais (Catálogo LATINDEX + Reportoriio Ulrich´s International Periodicals ). No entanto, o acontecimento realmente decisivo foi a sorte de encontrar o Sr. Professor Emilio Delgado López-Cózar, o qual considero ao longo destes anos como um dos mais excelsos especialistas nesta linha de investigação. Neste trabalho de tese de doutoramento, realizado entre Janeiro de 2008 e Julho de 2011 a escolha do tema - O Peer Review nas revistas científicas: políticas e práticas declaradas – para o desenvolvimento desta tese parte do nosso trabalho de pesquisa centrado em conhecer a transparência editorial das revistas científicas internacionais com maior factor de impacto (critério para a selecção ds revistas da nossa amostra), através das instruções ou normas de publicação aos autores sobre o processo que seguem os manuscritos e o sistema de revisão que se aplica e, por outro lado, a transparência informativa que cada revista demonstra sobre o seu sistema de revisão por pares. As revistas deverão demonstrar que utilizam um distema de selecção e avaliação dos manuscritos que recebem.
- Como estrutura desta apresentação destacam-se desde logo as motivações para o enfoque temático e a linha de aproximação ao tema pela qual optámos. De facto, sendo este um tema complexo e multifacetado, optámos por uma análise directa às práticas declaradas pelas próprias revistas. Face aos desafios e constrangimentos que se colocam na actualidade à avaliação por pares .
- O mundo WWW veio trazer novos desafios à produção e, sobretudo, à publicação do conhecimento. Em tempo real se pode fazer o update de conteúdos em qualquer suporte de divulgação de conteúdos, mas quanto ao processo de assegurar a sua qualidade, é todo um outro domínio de desafios que a comunidade científica enfrenta ainda hoje. Encontramo-nos perante um dilema: se os conteúdos não são publicados, é como se não existissem. Há que publicá-los em tempo real, sob pena de se tornarem obsoletos, mas a pertinência e rigor científicos mantêm-se como requisitos essenciais. O mundo académico e científico não se contenta com a produção autónoma de conteúdos sem a respectiva verificação e validação por expertos. A avaliação tem que ser contínua, normalizada e aceite pela comunidade. Sob pena de a world wide web fazer recair o seu ‘peso’ em cada um de nós, é necessário continuar a investir na forma de qualificar a avaliação do material produzido.
- Como objectivo global delieneámos a análise das instruções aos autores das revistas científicas no sentido de estudar a forma como as publicações declaram as suas políticas editoriais. A partir das políticas editoriais declaradas pretendemos empreender uma análise crítica, com base em parâmetros de tipificação e normalização dos aspectos que concorrem para uma base de avaliação sistemática e operativa da produção de conhecimento científico. Como objectivo global delineámos a análise das instruções aos autores das revistas científicas no sentido de estudar a forma como as publicações declaram as suas políticas editoriais. A partir das políticas editoriais declaradas pretendemos empreender uma análise crítica, com base em parâmetros de tipificação e normalização dos aspectos que concorrem para uma base de avaliação sistemática e operativa da produção de conhecimento científico.
- A noção, ao longo de vários anos de trabalho nesta temática, de que a fiabilidade dos conteúdos publicados nas revistas científicas é indispensável para uma difusão credível do conhecimento científico, auxiliou-me a seleccionar uma temática de abordagem a este tema amplo e, sem dúvida, desafiante. A avaliação das revistas científicas tem sido confrontada nas últimas décadas com sucessivos desafios que passam pela proliferação de títulos, pela dificuldade em controlar e avaliar a informação produzida e por uma certa dispersão no que diz respeito aos critérios de qualidade, dada a ausência de critérios normalizados em todos os campos da investigação científica. Nesse sentido, propus-me desenvolver o presente trabalho que visa antes de mais uma análise directa àquilo que as próprias revistas declaram serem as suas práticas editoriais, para assim proceder a uma análise fundamentada naquilo que os próprios títulos científicos colocam nas suas instruções aos autores.
- A eleição do tema O sistema de peer review visa garantir requisitos de qualidade e uma base de uniformização da avaliação de manuscritos, avaliação essa levada a cabo por expertos, ou seja, investigadores credenciados capacitados para emitir pareceres técnicos na sua área de especialização. No entanto, o sistema não é perfeito e está sujeito a um conjunto de limitações e críticas que convocam novas abordagens (daí o surgimento nas últimas décadas de modalidades alternativas de peer review.
- Mas em que consiste segundo a aceitação científica mais comum, o peer review? Trata-se de um processo de avaliação por pares, ou seja, especialistas que desenvolvem a sua actividade no seio da própria comunidade científica
- Os intervenientes na produção de conteúdos científicos e sua publicação são autores, revisores e editores. Cada um destes intervenientes tem um papel diferente no processo de investigação e na produção de conhecimentos científicos, embora estes papéis confluam no objectivo final de garantir a qualidade das publicações de carácter científico. Os autores tendem a criar trabalhos originais em que predominam a variabilidade, a criatividade, necessárias ao conhecimento científico. A existência de regras para a produção de conhecimento baliza de alguma forma o output final que o autor é capaz de produzir. No entanto, o autor tem a responsabilidade de criar trabalhos com o máximo de qualidade possível e de, previamente à submissão de um artigo, verificar os critérios de publicação da revista que seleccionou. A comunidade científica é, naturalmente, beneficiária da informação que é produzida por autores, avaliada por revisores e publicada pelos editores. Mas a própria comunidade científica é também constituída por autores, revisores e editores com responsabilidade em inovar para atingir o melhor sistema de revisão possível.
- Partindo do papel que tiveram as sociedades científicas no século XVI e XVII, iniciámos o nosso percurso de investigação identificando os aspectos mais importantes que servem de pano de fundo a um marco teórico amplo e rico no que diz respeito à forma como a comunicação científica foi aprofundando a sua presença na sociedade. A PREOCUPAÇÃO COM OS TRABALHOS QUE PODERAIM SER PUBLICADOS NASCE, ENTÃO, ENTRE OS CIENTISTAS REUNIDOS EM GRUPOS ORGANIADOS E DISPOSTOS A EXECUTAR A AVALIAÇÃO DE ORIGINAIS Exemplos percursores da criação de uma efectiva avaliação por pares em moldes semelhantes aos que hoje conhecemos são por exemplo o Journal des Sçavans e Philosophical Transactions). Seguidamente, com a profissionalização da ciência entre o século XIX e meados do século XX, profissionalização essa impulsionada pela revolução industrial, francesa e pelas Guerras Mundiais, a ciência emerge como uma actividade que se encontrava no centro da sociedade, deixando de ser uma actividade paralela, reservada a um núcleo restrito de estudiosos. Com esta mudança de paradigma, mudam também os padrões de difusão do conhecimento científico.
- A partir da 2ª Guerra Mundial profundas mudanças tiveram lugar relativamente ao papel da Ciência na sociedade. As revistas científicas convertem-se no meio de comunicação por excelência e publicações seriadas tiveram um crescimento exponencial naquilo que se traduziu numa verdadeira industrialização do conhecimento. Esta tendência foi grandemente aprofundada pelo surgimentos das TIC e da internet em particular como meio de difusão formal do conhecimento. Abre-se uma nova etapa da comunicação científica, caracterizada pela explosão da informação e multiplicação dos intervenientes e alargamento das fronteiras editoriais a nível científico.
- Desde aobra publicada por Lock (1985) em que se descreviam as funções, tipos e procedimentos de peer review aplicados às revistas, não foram poucas as monografias que foram publicando sobre este tema (Meadows, 1998; Godlee & Jefferson, 1999; Frederick, 2001; Weller, 2001; Abel, 2002; Hames, 2007). Sinal deste abundante aluvião de publicações foi o aparecimento de uma bibliografia (Specks, 1993), e de vários estudos sobre esta questão: (Armstrong, 1997; Campanario, 1998, 2002). Inclusivamente, e especialmente no âmbito biomédico, desde principios de 1990 iniciou-se um verdadeiro processo de investigação empírica sobre as fortalezas, debilidades e formas de melhorar o peer review, concretizado na celebração de seis congressos (International Congress on Peer Review and Biomedical Publication (1989, 1994, 1998, 2002, 2003, 2007), organizados pelo Journal of the American Medical Associati vo (JAMA). Desde a década de sessenta do seculo passado que a investigação científica do peer review nas revistas tem sido estimulada devido à decisao da JAMA em realizar conferencias com o propósito de apresentar as actuais pesquisas sobre o peer review nas revistas. 1. Assim, Conhecer QUAIS SÃO AS PRÁTICAS DE PEER REVIEW NAS REVISTAS CIENTÍFICAS converteu-se numa necessidade imperiosa. Portanto, não foram poucos os estudos começados para descrever as políticas e práticas editoriais de peer review nas revistas científicas. Entre eles destacam-se: Falar primeiramente das monografias publicadas desde Lock (1985): *LOCK (1985). A difficul balance: Editirial peer review in medicine. MEADOWS (1998). Communication Research. GODLEE & JEFFERSON (1999).Peer Review im Medicine. FREDERICKSON (2001). A Century of Scientific Publishing WELLER (2001). Editorial Peer Review: its strengts and weaknesses. ABEL (2002). Scholarly Publishing: Books, journals publishers, and libraries in the Twentith Century HAMES (2007). Peer Review and manuscripts management in scientific journals: guidelines for good practice. Em segundo lugar, conhecer as práticas de peer review nas revistas cientificas converteu-se numa necessidade imperiosa. Assim, aparecem muitos estudos com o objectivo de descrever as políticas e práticas editoriais de Peer review nas revistas científicas COE & WEINSTOCK (1964); BEYER (1978); PETERS & CECI (1982); WELLER (1900); COLOIANNI (1994); WILKES & KRAVITZ (1995); FREDA & KEARNEY (2005); THE BRITISH ACADEMY (2007); WARE (2008) RESEARCH INFORMATION NETWORK – RIN-(2010) 2 Uma fonte influente de informação para conhecer as atitudes e opiniões dos autores face às práticas de peer review nas revistas científicas são os inquéritos que se fazem desde há alguns anos pela Associati vo of Learned and Professional Spciety Publishers (ALPSP), (1999, 2000, 2000) ESTES ESTUDOS TÊM QUE TER O RESPECTIVO TÍTULO E ANO.
- Os estudos acerca do peer review ao longo das últimas décadas contribuíram para moldar o processo, dentro dos processos de comunicação científica, em geral, e das revistas científicas em particular E ste ponto vem na sequencia do slide anterior (ponto 1 dos estudos) Falar primeiramente das monografias publicadas desde Lock (1985): LOCK (1985). A difficul balance: Editirial peer review in medicine. MEADOWS (1998). Communication Research. GODLEE & JEFFERSON (1999).Peer Review im Medicine. FREDERICKSON (2001). A Century of Scientific Publishing WELLER (2001). Editorial Peer Review: its strengts and weaknesses. ABEL (2002). Scholarly Publishing: Books, journals publishers, and libraries in the Twentith Century HAMES (2007). Peer Review and manuscripts management in scientific journals: guidelines for good practice. *Em segundo lugar falar dos estudos realizados para descrever as práticas e políticas editoriais de peer review nas revistas científicas (artigos publicados dos autores supra mencionados, no slide) e ainda estudos sobre o estado da questão: ARMSTRONG, 1997 CAMPANÁRIO (1998, 2002) *
- Com os estudos sobre o peer review, passamos da institucionalização do Peer Review para a HISTÓRIA MODERNA DO PEER REVIEW em que se detecta um maior grau de auto crítica por parte de todos os intervenientes no processo UMA FONTE DE INFORMAÇÃO MUITO INFLUENTE PARA CONHECER AS ATITUDES E OPINIÕES DOS AUTORES, EDITIRES E REVISORES FACE ÀS PRÁTICAS DE PEER REVIEW NAS REVISTAS CIENTÍFICAS SÃO: OS INQUÉRITOS QUE FORAM REALIIZADOS DESDE HÁ UNS ANOS A ESTA PARTE PELA A SSOCIATION OF LEARNED AND PROFISSIONAL SOCIETY PUBLISHERS (ALPSP, 1999, 2000, 2002) APENAS REFERENCIAR (por causa das críticas realizadas durante a avaliação do artigo que foi publicado na REDC): Panorama espanhol e iberoamericano Surgiram diversas iniciativas que têm como objectivo a avaliação das revistas científicas desde distintas perspectivas, comprovaram a existencia ou não do peer review como sistema de avaliação dos originais: LATINDEX (Sistema Regional de Informação para América Latina, Caribe, Espanha e Portugal): este contempla 33 critérios de qualidade editorial que compoêm o seu sistema, dois parâmetros sobre a existência de arbitragem científica e de avaliadores externos que vêm comprovando desde a1999 nas revistas científicas iberoameriacanas . Os resultados da avaliação das revistas espanholas incorporadas neste sistema foram publicados por ROMAN & et al. (2002) e Urdín et al (2003) Em Espanha também apareceram surgiram, posteriormente, outros produtos como REVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y HUMANAS (RESH) E DIFUSIÓN Y CALIDAD Editorial de las Españolas de Humanidaes y Ciencias Sociales Y juridicas (DICE), onde também oferece-se informação sobre a utilização de avaliadores externos na avaliação de originais (ALCAÍN Y ROMÁN, 2005*; ROMÁN Y ALCAÍN, 2005)**. Não obstante, até agora, à excepção dos listas de revistas publicadas pelo European Reference Index for the Humanities (ERIH), que exige que exista peer review explícito nas revistas que seleciona, NENHUM outro estudo expos a análise com profundidade dos mecanismos editoriais implicados no peer review nim ambiente internacional e aplicado a um conjunto de revistas de prestígio reconhecido. Por tal razão, este estudo tem como objectivo analisar e descrever os procedimentos editoriais aplicados na avaliação dos trabalhos que publicam um amostra de 249 reputadas revistas científicas internacionais. ______________ *” Hacia una valoración integrada de las revistas españolas de ciencias sociales e Humanas: las revistas de Psicologia, 2005. **Las revistas españolas de Prehistoria y Arqueología en el entorno se un sistema de valoracion integrada.
- Alguns exemplos de estudos que expõem as limitações do peer review apontam para a noção de que as limitações que o peer review apresenta (e existe unanimidade em reconhecer que o sistema apresenta defeitos) não lhe retiram legitimidade, apenas convocam o ensaio de abordagens complementares (slide seguinte)
- As tipologias de peer review, quer as que estão mais amplamente disseminadas como sistemas de avaliação por pares quer aquelas que se assumiram nos últimos anos como alternativas. Efectivamente, novas abordagens ao peer review têm surgido com o objectivo de lidar com o criticismo feito pela comunidade ao single blind review; Na nossa análise examinam-se as revistas que declaram o sistema de revisão utilizado, em sentido amplo do conceito. Assim, de acordo co Delgado et al. (2007), os sistemas de revisão podem classificar-se tendo em conta dois critérios: Origem dos revisores: os revisores podem internos ou externos; O anonimato do processo de revisão: de acordo com a omissao ou nao da identidasde dos autores e revisores do sistema de revisao, admitem-se 3 modalidades: o SINGLE BLIND PEER REVIEW ( sistema cego); o DOUBLE BLIND PEER REVIEW (sistema duplo cego) e o OPEN PEER REVIEW (sistema aberto). O OPEN PEER COMMENTARY ou PEER REVIEW PÓS-PUBLICAÇÃO É UM SISTEMA DE REVISÃO HIBRÍDO. Uma nova abordagem para lidar com o criticismo ao single-blind review é “open peer review": neste modelo, as identidades dos autores e revisores são desconhecidas por ambos, e os nomes os revisores e (opcionalmente) os seus relatórios/pareceres são publicados ao longo da manuscrito (Ware, 2008: 6) Esta modalidade é inovadora e vai de encontro à necessidade de apresentar alternativas aos sistemas actuais mais utilizados (single bling peer review)...noção do open peer review (mais recentemente, a tecnologia electrónica de publicação ("electronic publishing technology") tem permitido desenvolver uma variante do modelo open peer review (no qual todos os leitores, não apenas os revisores seleccionados pelo editor, são capazes de avaliar e comentar no manuscrito e mesmo classificá-los numa escala numérica após a publicação. Os autores em geral fazem referencia às variantes do modelo tradicional do processo de peer review: 1. peer review pré-publicação ( arXiv) e 2. peer review pós-publicação ou peer review commentary (bEHAVIORAL & Brain Sciences; revistas da BioMed Central; BMJ. NOVOS MODELOS E VARIAÇÕES no modelo TRADICIONAL: JIME (Journal of Intractive Media in Education - caso de sucesso: desde 1996 tem o open peer review (tem 3 etapas MJA (Medical Journal of Australia) NATURE PLoS ONE: É MISTO)hibrído (PEER REVIEW PRE E PÓS PUBLICAÇAO)
- A fiabilidade, as questões de enviesamento e a economia e eficácia do peer review são questões que preocupam todos os intervenientes do processo. Neste sentido, verifica-se a necessidade de colmatar a subjectividade que é atribuída ao peer review, aumentar a sua transparência e de buscar FORMAS INOVADORAS DE ABORDAGEM ao peer review A avaliação prévia da publicação do conhecimento científico deve ser sistemática, normalizada e aceite pela comunidade. A evolução das publicações científicas atesta que ao longo dos tempos foram feitos esforços por parte da comunidade científica no sentido de legitimar o processo e conferir-lhe um valor intrínseco. Mas até aos dias de hoje tal ainda não foi cabalmente conseguido, principalmente porque as revistas científicas tanta dificuldade em guiar-se por normas uniformes e procedimentos comuns neste processo? O marco teórico ou estado da questão fornece-nos elementos importantes para compreender que os critérios e instrumentos de avaliação da ciência são adaptados aos contextos históricos e tendem a traduzir e a incorporar mudanças contextuais (slide seguinte)
- Como já tive oportunidade de referir, a realização deste trabalho foi motivada por um conjunto de factores de entre os quais se destacam alguns anos de experiência profissional durante os quais constatei diversas fragilidades na publicação científica internacional. No fundo trata-se de um contributo para o debate relativamente à avaliação por pares. A ausência de um processo sistemático e claramente aceite pela comunidade científica que valide de forma abrangente e transparente para todos os agentes/intervenientes da produção de conteúdos científicos é uma necessidade que se manifesta de diferentes formas. Desde logo, a produção das revistas científicas é de qualidade variável o que é testemunhado, entre outros aspectos, pelo respectivo factor de impacto. Por outro lado, verifica-se que a própria metodologia de avaliação não é explicitada e veiculada pela edição das revistas de forma a que os beneficiários do conhecimento científico tenham perfeita noção de como se chegou à produção científica apresentada. A produção de conhecimento científico encontra-se numa encruzilhada, face aos desafios do mundo moderno em que a informação é produzida a um ritmo intenso e por um conjunto alargado de agentes.
- Seguidamente, passarei a expor a metodologia adoptada para proceder à análise das práticas editoriais das revistas.
- O enfoque da investigação foi direccionado para as revistas científicas de maior prestígio internacional referenciadas na Web of Science. Dado que existem mais de 6 mil títulos referenciados, foram seleccionadas as revistas com maior factor de impacto num total de 249 revistas distribuídas por 4 disciplinas científicas e 27 áreas do conhecimento.
- Para circunscrever o âmbito da amostra e seleccionar as revistas, foram usadas: Listagens Journal Citation Reports (2006) Bases de dados da Web of Science Artes e Humanidades não estando esta área representada no JCR foi usada a base Arts&Humanities
- Para a análise de cada revista foi consultada a sua versão online e identificadas as páginas de informação da revista, sejam elas as páginas que explicitam as normas de publicação, as instruções para os autores ou as instruções para apresentação de manuscritos. Em qualquer uma destas páginas foi identificada a informação pertinente para caracterizar a política editorial da revista de forma sistemática e normalizada. Seguidamente, essa informação foi registada na FRD previamente desenhada para o efeito, folha essa que constituiu o referencial de análise normalizada de cada revista científica na amostra.
- Feita a selecção das revistas, a análise das mesmas foi realizada, como referimos através de uma FRD em que se recolheram não só os elementos de caracterização da revista, mas também as suas práticas editoriais declaradas. Os 30 parâmetros de informativos das práticas editoriais declaradas foram agrupados em 4 grupos direccionadas para o sistema de avaliação, critérios e formulários de avaliação, procedimentos e prazos e, finalmente a questão dos revisores. Uma vez que não se encontra de momento estabelecido nenhum corpo sistemático de análise de manuscritos que seja universalmente seguido pela comunidade científica baseámo-nos no trabalho do Prof. Emílio que, enquanto profissional de referência na área, foi autor de uma série trabalhos neste domínio, o que levou ao estabelecimento de um conjunto de parâmetros que a serem utilizados universalmente na avaliação de manuscritos, garantiriam a cobertura de uma série de aspectos chave na avaliação. Os parâmetros de avaliação de manuscritos considerados foram divididos em 4 grupos que procuram agregar critérios de avaliação referentes a: sistema de avaliação propriamente dito critérios e formulários pré definidos nos quais se baseia a avaliação procedimentos e prazos a respeitar ao longo do processo guias e avaliação do trabalhos dos próprios revisores Este conjunto de parâmetros parte do princípio de que em qualquer avaliação é necessário conhecer a tipologia do seu sistema de avaliação. Por outro lado, é necessário que estejam bem explícitos à partida os critérios que estão na base dessa mesma avaliação. Esses critérios passam nomeadamente pelo estabelecimento de formulários de avaliação que sejam uniformes para todos. Os procedimentos e prazos envolvidos na avaliação de manuscritos são também aspectos importantes na medida em que permitem balizar o processo num horizonte temporal aceitável, prevenindo por assim dizer a ‘caducidade’ dos conteúdos apresentados. Por último, a forma como se processa o trabalho dos revisores é determinante no resultado final do trabalho científico.
- Esta é a FRD utilizada para registar, individualmente para cada revista, as análises efectuadas às instruções aos autores. Para os parâmetros em que cada título apresentava informação, a coluna de Análise era assinalada com “Sim” e para os parâmetros em que as instruções aos autores não apresentavam informação, assinalava-se na coluna de análise com a indicação de “Não”. Seguidamente, transcreveu-se o conteúdo das instruções aos autores relativo a cada parâmetro informativo e assinalou-se se a informação constava das instruções aos autores ou, uma vez que a informação relativa à política editorial está, não raras vezes dispersa, de outra página do site da revista.
- Foram ao todo 30 os parâmetros informativos analisados no conjunto de todos os grupos de parâmetros considerados. Estes parâmetros envolvem aspectos como …. «citar os mais importantes/significativos»
- A base de dados foi concebida de modo a dar resposta às questões de investigação que colocámos no início do trabalho. Neste sentido, foram recolhidos, para cada título, um conjunto de elementos caracterizadores da revista em si e elementos que denotam a transparência da respectiva política editorial. Com base na amostra construída foram recolhidos na FRD as seguintes variáveis, por revista científica:
- Uma vez concluída a análise individual das 249 revistas, procedeu-se à: 1. Sistematização de dados: foram reunidas todas as observações, ou seja, 30 observações por cada revista – correspondentes aos 30 parâmetros informativos – num único documento de compilação de dados 2. Extracçao de Outputs de Resultados - Tratamento de dados com origem na FRD: procedeu-se à análise de frequências i.e. contagens de observações de “Sim” e ”Não” por: parâmetros informativos por área do conhecimento por disciplina científica
- Os resultados obtidos espelham uma situação claramente diferenciada entre a explicitação de determinados parâmetros informativos relativamente a outros. Por outro lado, entre áreas temáticas e entre disciplinas científicas, há também diferenças assinaláveis com as áreas das Ciências Exactas e Ciências Médicas a denotarem um maior investimento na declaração das suas políticas editoriais.
- Foram analisadas as revistas com maior factor de impacto nas bases científicas SCIE, SSCI e Artes & Humanidades, num total de 249 títulos, dos quais 28,9% são pertencentes à área de Ciências Exactas, 22,9% à área de Ciências Médicas, 19,3% à área de Ciências Sociais, 16,5% à área de Engenharia e tecnologia e 12,4% à área de Humanidades.
- As revistas analisadas evidenciam uma periodicidade maioritariamente mensal. Seguidamente, pouco mais de um quinto das revistas são trimestrais e 14,9% Bimensais. Com outras periodicidades tem-se 9,2% das publicações.
- Os parâmetros informativos mais e menos explicitados pelas 249 revistas científicas da nossa amostra encontram-se respectivamente na parte superior e inferior desta projecção. Como se pode observar, os parâmetros mais referenciados prendem-se com Acuso de recepção e agradecimento, com a Notificação aos autores da decisão definitiva e com Mecanismos existentes na Redacção para informar o estado em que se encontra um manuscrito. Inversamente a Existência de revisores metodológicos, a Avaliação da qualidade dos revisores e a Existência de revisores de estilo são os aspectos que recolhem um menor nível de explicitação por parte das revistas.
- Analisando o nível de PED por grupos de parâmetros, verifica-se é o grupo dos Procedimentos e Prazos aquele que apresenta um maior nível de declaração por parte dos títulos analisados. De facto, 53,5% das observações nas 249 revistas recolheram análise positiva ( “Sim”) no que respeita aos parâmetros que compõem este grupo. Seguidamente tem-se os restantes grupos, com níveis de explicitação dos respectivos parâmetros bastante inferiores, 16,4% nos caso do grupo relacionado com parâmetros referentes à utilização de revisores, 16,1% relativamente ao Sistema de Avaliação (Tipologia) e 14% relativamente aos critérios e formulários de avaliação. De salientar que é significativo que sejam precisamente os aspectos relacionados com os critérios de avaliação aqueles que apresentam um menor nível médio de evidenciação por parte das revistas. De facto, a normalização da forma como os manuscritos são avaliados através de formulários e critérios pré definidos é um dos principais aspectos que gera críticas ao sistema de peer review.
- Esta projecção evidencia as revistas em que se identificou existir uma declaração mais e menos exaustiva dos parâmetros. Do lado das 10 revistas que exibiram uma maior declaração de política editorial encontram-se revistas das Ciências Médicas e das Ciências exactas e Naturais como a Annals of Emergency Medicine, Obstetrics and Gynecology e Nature Medicine. Do lado das 10 revistas com uma PED praticamente inexistente relativamente aos parâmetros informativos considerados encontram-se fundamentalmente títulos da área de Humanidades.
- Da análise efectuada na FRD conclui-se que, em média, a disciplina das Ciências Médicas é aquela em que se verifica um maior nível de declaração da política editorial em todos os parâmetros, com 62,6% de observações positivas na FRD ( “Sim”) relativas aos parâmetros que compõem o grupo Sistema de Avaliação: Tipologia, 46,2% para os grupo dos parâmetros que compõem os Procedimentos e Prazos, 42,1% para o grupo dos Critérios e Formulários de Avaliação e 28,9% para a questão dos Revisores. Seguidamente, tem-se as Ciências Exactas e Naturais, disciplina na qual se verifica uma maior percentagem média de observações positivas na FRD para todos os grupos de parâmetros, com destaque para os Critérios e Formulários de Avaliação em que a disciplina de Ciências Exactas supera o nível de evidenciação demonstrado pela área de Ciências Médicas. Com menor nível de explicitação das políticas editoriais tem-se as disciplinas de Ciências Sociais (em que se verifica um nível razoavelmente elevado de declaração de política editorial no grupo Sistema de Avaliação (48,5% de observações positivas na FRD) e Humanidades
- De entre os 30 parâmetros analisados, destaca-se que a disciplina de Ciências Médicas foi aquela em que se registou um maior número médio de parâmetros explicitados nas práticas editoriais dos títulos analisados nesta amostra. Em média, as revistas de Ciências Médicas explicitaram 13 dos 30 parâmetros analisados, enquanto na disciplina de Engenharia e Tecnologia essa média foi de 10 e nas Ciências Exactas e Naturais, foi de 12.
- Nesta análise, o dado mais saliente é o de que grande parte das revistas em cada área não faz declaração do sistema de peer review utilizado em concreto, ainda que possa mencionar este aspecto nas suas políticas editoriais.
- Da análise efectuada
- São mais os aspectos positivos do que negativos subjacentes à revisão por pares
- Neste percurso de investigação, desde logo se formulou uma primeira questão: qual o papel da avaliação na legitimação dos conteúdos científicos alvo de publicação e quais os critérios e parâmetros que podem tornar esta avaliação mais sistemática, transparente e efectiva do ponto de vista dos critérios que se exigem hoje à publicação científica. Com base no trabalho desenvolvido pelo Prof. Emílio e tirando partido da sua experiência de investigação e publicação nestas áreas, suportei-me num conjunto de parâmetros que cobrem as diversas fases do processo de avaliação e que ajudam a analisar até que ponto a avaliação dos manuscritos obedece a critérios definidos, inequívocos e exaustivos de forma a garantir os níveis de qualidade que são exigidos às publicações científicas.
- Com vista a seguir melhorando, salienta-se um conjunto de recomendações de fundamental importância no sentido de colmatar as insuficiências detectadas nas diferentes áreas disciplinares.
- Gostaria, agora, de agradecer aos Exmos. Srs. Membros do Júri e ao Professor Doutor D. Emílio Delgado López-Cózar a disponibilidade para estarem hoje aqui a proceder à avaliação deste trabalho que começou em 2004 dando origem a um primeiro momento de investigação e exploração deste tema (a Tesina) em que recolhi os elementos fundamentais e os rudimentos que me permitiram avançar para a exploração dos caminhos que deram origem a esta tese de doutoramento. Foi com grande persistência e sentido de tarefa que juntamente com o Professor Emílio desenvolvi este trabalho que foi desde logo motivado pela minha própria experiência enquanto docente.