Baixar para ler offline
![Integridade Científica
— Retórica da “Excelência”
— Hipérbole nos impactos reivindicados
— Investigadores no UK e Austrália admitem exageros e sensacionalização dos
impactos dos seus trabalhos (Chubb and Watermeyer 2016)
— Prática “usual” da cultura académica, na competição por fundos para I&D
— Considerada uma questão de “sobrevivência científica/professional!
28.09.2018Smart Research? 19
“If you can find me a single academic who
hasn’t had to bullshit or bluff or lie or
embellish to get grants, then I will find you
an academic who is in trouble with his [sic]
Head of Department” (6; “[sic]” as in Chubb
and Watermeyer).](https://image.slidesharecdn.com/smartresearch-201027123108/85/Smart-research-A-retorica-da-Excelencia-19-320.jpg)
![Performance da “Excelência”
— “Normal Science”
28.09.2018Smart Research? 23
[M]ajor journals simply won't publish replications. This is a real problem:
in this age of Research Excellence Frameworks and other assessments, the
pressure is on people to publish in high impact journals. Careful replication
of controversial results is therefore good science but bad research strategy
under these pressures, so these replications are unlikely to ever get run.
Even when they do get run, they don't get published, further reducing the
incentive to run these studies next time. The field is left with a series of
“exciting” results dangling in mid-air, connected only to other studies run
in the same lab. (Wilson, 2011)](https://image.slidesharecdn.com/smartresearch-201027123108/85/Smart-research-A-retorica-da-Excelencia-23-320.jpg)
Carregado porLuís Gustavo Martins
Smart research? A retórica da Excelência.
O documento discute os problemas da "retórica da excelência" na investigação científica e propõe abordagens alternativas. Argumenta-se que a noção de "excelência" pode encorajar práticas questionáveis e hipercompetitividade em detrimento da colaboração. Sugere-se redistribuir recursos de forma mais uniforme e apostar em instituições menos favorecidas para potenciar resultados científicos.
Smart research? A retórica da Excelência.
- 1. Smart Research? A Retóricada Excelência 28 Setembro 2018
- 2. Notas Prévias — DocumentoDraft, para discussão — Imagens, gráficos e dados — Usados sem permissão (fair use?) — Uso interno, privado — Referências bibliográficas / web — Não respeitam normas de citação — Informais, através de links web 228.09.2018Smart Research?
- 3. Smart Science Retórica daExcelência 28.09.2018Smart Research? 3 https://www.nature.com/articles/palcomms2016105
- 4. “Excelência na Investigação” —“Excelência” como o “Sagrado Graal” do meio académico… 28.09.2018Smart Research? 4
- 5. “Excelência na Investigação” —“Excelência” como o “Sagrado Graal” do meio académico… 28.09.2018Smart Research? 5
- 6. “Excelência na Investigação” —“Excelência” como o “Sagrado Graal” do meio académico… 28.09.2018Smart Research? 6
- 7. Somos todos Excelentes…seremos? — Retórica da “Excelência”? — “Beetle in a box” (Wittgenstein, 2001: section 293) 28.09.2018Smart Research? 7 https://www.youtube.com/watch?v=7QUB7uVMvr4
- 8. A “Excelência” émesmo excelente? — “Excelência” na Ciência — Definição única? — Ou dependente da: — Disciplina? — Caso em análise? — Algo passível de ser identificado ex-ante? — Ou apenas ex-post? — Ferramenta de promoção/penalização? — Institucional — Individual — Será de facto a melhor métrica? — Para distribuição de recursos (escassos) — Promoção de competição e colaboração saudável? 28.09.2018Smart Research? 8
- 9. A “Excelência” serámesmo excelente? — Retórica da “Excelência”? — Combina narrativas de — Escassez — Competição — Potenciais Riscos: — “Gamesmanship” contraproducente — consciente ou inconsciente por parte de investigadores — Concentração, em prejuízo da distribuição, do esforço de desenvolvimento científico — Promoção de hiper-competição entre investigadores — Resulta numa contradição com as qualidades da “boa investigação”? — Reprodutibilidade — Integridade — Heterofilia 28.09.2018Smart Research? 9
- 10. A “Excelência” serámesmo excelente? — Retórica da “Excelência”? — Risco potencial de resultados científicos… — … menos fiáveis e robustos? — … menos exatos? — … menos validados? — Homofilia é letal no processo de peer-review, tornando-o num problema mais social do que técnico… — Diversidade interdisciplinary de peer-reviewers agrava problemas — Definições de excelência diferentes (e frequentemente contraditórias) — Práticas de metodologias de avaliação diferentes e incompatíveis — Falta de sensibilidade para as diferenças disciplinares — Dificuldade de atingir consensos — … menos duradouros? — Impossibilidade de reprodutibilidade torna resultados datados e limitados — Retração de artigos, etc. 28.09.2018Smart Research? 10
- 11. A “Excelência” serámesmo excelente? 28.09.2018Smart Research? 11 “ ‘Excellence’ tells us nothing about how important the science is and everything about who decides” (Stilgoe, 2014).
- 12. “The rejection, resubmit& publish game” — Rejeições de artigos de autoria de Prémios Nobel (e outros), incluindo alguns dos que mais tarde lhes trouxeram reconhecimento (Gans and Shepherd, 1994; Campanario, 2009; Azoulay et al., 2011: 527– 528). — A maioria (51.4%) dos manuscriptos rejeitados, acabaram por ser publicados (Weller, 2001) — a maioria destes (90%), aceites numa segunda submissão — e destes 90% numa revista de prestígio e circulação equiparável 28.09.2018Smart Research? 12
- 13. “The rejection, resubmit& publish game” — Falsos negativos na avaliação de “excelência” — Elevadas perdas por ineficiência — Artigos resubmetidos são aceites com pouca ou nenhuma revisão em outras revistas de ranking equiparável — Aumento de custos para todas as partes envolvidas — Sem evidente melhoria da qualidade dos trabalhos… — Multiplicação de custos editoriais, revisão e gestão — Custo de oportunidade para autores — Reconhecimento de trabalho pioneiro — Contabilização de citações — Reconhecimento de Influência — (Gans and Shepherd, 1994; Campanario, 2009; Şekercioğlu, 2013; Brembs, 2015; Psych Filedrawer, 2016) 28.09.2018Smart Research? 13
- 14. “The rejection, resubmit& publish game” — Falsos positivos na avaliação de “excelência” — Mais procupantes e com impactos potencialmente graves! — (Peters and Ceci, 1982; ver Weller, 2001 para uma crítica) desenvolveram um trabalho (algo controverso) de submissão de artigos ligeiramente alterados a revistas onde os originais já tinham sido aceites — Apenas 8% destas resubmissões foram detectadas — Dos que não foram identificados — ~90% acabaram por ser rejeitados pelas mesmas revistas onde tinham sido anteriormente publicados, por serem considerados cientificamente inadequados – i.e. insuficientemente “excelentes”. 28.09.2018Smart Research? 14
- 15. “The rejection, resubmit& publish game” — Falsos Positivos e Falsos Negativos na avaliação de “excelência” — Trabalhos que não são avaliados multiplas vezes podem acabar por ser: — Injustamente rejeitados para publicação — Injustamente aceites para publicação — Dificuldade em distinguir as duas situações! — Percepções diferentes de “excelência” representam diferenças honestas de opinião sobre o mérito qualitativo de um trabalho ou investigador 28.09.2018Smart Research? 15
- 16. Integridade Científica — Nºde fraudes e erros em trabalhos científicos estão numa evolução crescente... — Medido através de nº de retrações de artigos em revistas, ao longo do tempo — (Claxton, 2005; Dobbs, 2006; Steen, 2011; Fang et al., 2012; Grieneisen and Zhang, 2012; Yong, 2012b; Chen et al., 2013; Andrade, 2016). — Particularmente significativo em revistas de alto prestígio — (Resnik et al., 2015; Siler et al., 2015; Belluz, 2016) 28.09.2018Smart Research? 16
- 17. Integridade Científica — Retóricada “Excelência” — Encorajará/pressionará investigadores a submeterem trabalhos com erros, irreproduzíveis, e/ou fraudulentos? — A maioria (67.4%) dos artigos são retirados devido a má conduta (i.e. fraude, múltipla publicação, plágio, ...) — Enquanto apenas 21.3% são retirados devido a erro… — (Fang, Steen, and Casadevall, 2012; cf Steen, 2011) 28.09.2018Smart Research? 17 https://www.publico.pt/2016/03/03/ciencia/noticia/cientista-portuguesa-retira-artigo-depois-de-ter-sido-acusada-de-manipular-imagens-1725026
- 18. Integridade Científica — Retóricada “Excelência” — Erros e enganos — feitos sem má fé — à são parte natural (e até necessária!) do processo científico. — Mas algumas formas de erros podem configurar uma má conduta — Estratégia semi-deliberada para garantir elevado volume de publicações - “atalhando caminho”: — para garantir uma publicação antes de outros autores – Pioneirismo — (i.e. “crappy but first”) — Para obter um financiamento maior — Para cumprir com metas de publicação anuais — Para obter financiamento — Para se candidatar a posições académicas — Para obter crédito e prestígio na comunidade 28.09.2018Smart Research? 18
- 19. Integridade Científica — Retóricada “Excelência” — Hipérbole nos impactos reivindicados — Investigadores no UK e Austrália admitem exageros e sensacionalização dos impactos dos seus trabalhos (Chubb and Watermeyer 2016) — Prática “usual” da cultura académica, na competição por fundos para I&D — Considerada uma questão de “sobrevivência científica/professional! 28.09.2018Smart Research? 19 “If you can find me a single academic who hasn’t had to bullshit or bluff or lie or embellish to get grants, then I will find you an academic who is in trouble with his [sic] Head of Department” (6; “[sic]” as in Chubb and Watermeyer).
- 20. Integridade Científica Reflections onthe Decline of Science in England: And on Some of Its Causes (Babbage, 1831). — 4 principais tipos de fraude científica (Babbage, 1831: 178; ver Zankl, 2003; e Secord, 2015 para discussão crítica): — Embuste — Forjamento — Ornamentação — Manipulação — 28.09.2018Smart Research? 20
- 21. Performance da “Excelência” —Matthew Effect — Realimentação positiva da competitividade — à Hiper-competitividade — à Hiper-concentração de recursos — à “winner-take-all” 28.09.2018Smart Research? 21
- 22. Performance da “Excelência” —Matthew Effect — Encoraja: — “Gamesmanship” — Enfoque nos resultados positivos (e inflacionados?) — Desvalorização da “Normal Science” — Estudos de replicação/reprodutibilidade… — Pouco glamorosa à pouco reconhecida como “excelente”? — Ainda maior resistência à valorização destes estudos quando invalidam estudos anteriores e alta visibilidade e reputação… — à coloca em causa modelo de negócio de editoras científicas? — No entanto cruciais para o avanço científico… — Falta de incentivos? 28.09.2018Smart Research? 22 Thus, for example, Fanelli (2011) demonstrated a 22% growth between 1990 and 2007 in the “frequency of papers that, having declared to have ‘tested’ a hypothesis, reported a positive support for it”.
- 23. Performance da “Excelência” —“Normal Science” 28.09.2018Smart Research? 23 [M]ajor journals simply won't publish replications. This is a real problem: in this age of Research Excellence Frameworks and other assessments, the pressure is on people to publish in high impact journals. Careful replication of controversial results is therefore good science but bad research strategy under these pressures, so these replications are unlikely to ever get run. Even when they do get run, they don't get published, further reducing the incentive to run these studies next time. The field is left with a series of “exciting” results dangling in mid-air, connected only to other studies run in the same lab. (Wilson, 2011)
- 24. Performance da “Excelência” —Homofilia — Um programa de incentivos focado apenas nos “melhores” investigadores pode conduzir: — Investimento em problemas e abordagens científicas em que a “excelência” possa ser conduzida mais facilmente… — … ao invés de apostar naqueles que poderiam tirar o melhor proveito, e potencialmente criar mais impacto — Mais um exemplo do “Matthew effect”… — Desempenho passado de grupos preferenciais e “excelentes” estabelecem as normas pelas quais os desempenhos futuros serão avaliados 28.09.2018Smart Research? 24
- 25. Performance da “Excelência” —Homofilia 28.09.2018Smart Research? 25 “A programme that seeks to reward Humanists, similarly, by focussing on output in “high impact” academic journals paradoxically reduces the impact of these same disciplines by encouraging researchers to focus on their professional peers rather than broader cultural audiences (Readings, 1996), reducing the domain’s relevance even as its performance of “excellence” improves.”
- 26. Uma Retórica Alternativa? GetSmart(er)? — Existe alguma(s) abordagem(ns) alternativa(s)? — Alterar o paradigma da escassez? — Da escassez física das revistas impressas — Para a abundância (técnica, pelo menos) de uma infraestrutura de publicações na web — (Shirky, 2010; Nielsen, 2012) — Alterar o cultura de Hiper-Competitividade? — Melhor redistribuição — Maior partilha — Maior colaboração — Maiores e melhores resultados científicos? 28.09.2018Smart Research? 26
- 27. Uma Retórica Alternativa? GetSmart(er)? — Existe(m) alguma(s) abordagem(ns) alternativa(s)? — Alterar o paradigma da escassez? — Da escassez física das revistas impressas... — ... para a abundância (técnica, pelo menos) de uma infraestrutura de publicações na web — (Shirky, 2010; Nielsen, 2012) — Alterar o cultura de Hiper-Competitividade? — Melhor redistribuição — Maior partilha — Maior colaboração — Maiores e melhores resultados científicos? 28.09.2018Smart Research? 27
- 28. Uma Retórica Alternativa? GetSmart(er)? — Existe(m) alguma(s) abordagem(ns) alternativa(s)? — Redistribuição uniforme / por Lotaria? — (Health Research Council of New Zealand, 2016; Fang et al., 2016) — Aposta nas “piores” instituições? (Bishop, 2013) — Aquelas que potencialmente mais beneficiariam desse investimento? 28.09.2018Smart Research? 28
- 29. Uma Retórica Alternativa? GetSmart(er)? — Existe(m) alguma(s) abordagem(ns) alternativa(s)? 28.09.2018Smart Research? 29 Gordon and Poulin argued that, for science funding in Canada through the National Science and Engineering Research Council (NSERC, the main STEM funding agency), it would have cost less at a whole system level simply to distribute the average award to all eligible applicants than to incur the costs associated with preparing, reviewing and selecting proposals (2009; although see Roorda, 2009 for a critique of their calculation). A rough calculation of the system costs of preparing failed grant applications would suggest that they are in the same order of magnitude as research grant funding itself (Herbert et al., 2013).
- 30. Uma Retórica Alternativa? GetSmart(er)? — Retórica Alternativa à ”Excelência” na Investigação — Baseada na: — Solidez — Capacitação — Acessibilidade — Abrangência — Impacto — Focada na oportunidade de: — avaliar a prática científica… — em vez de (apenas) resultados científicos? — Valorização de: — Meticulosidade, completude, descrição, evidência, probidade — Ao invés de afirmações chamativas de superioridade científica? 28.09.2018Smart Research? 30
- 31. Uma Retórica Alternativa? GetSmart(er)? — Retórica Alternativa à ”Excelência” na Investigação — “Solidez” 28.09.2018Smart Research? 31 What is “soundness” in the context of the Humanities? Eve (2014, 144) has suggested that “soundness” in a humanities paper might involve the ability to “evince an argument; make reference to the appropriate range of extant scholarly literature; be written in good, standard prose of an appropriate register that demonstrates a coherence of form and content; show a good awareness of the field within which it was situated; pre-empt criticisms of its own methodology or argument; and be logically consistent”.
- 32. Uma Retórica Alternativa? GetSmart(er)? — Retórica Alternativa à ”Excelência” na Investigação — “Solidez”, “Capacitação”, … — Por sí só — não alteram a cultura científica — Não melhoram a redistribuição de recursos escassos — Permitem no entanto alterar o paradigma — Da qualidade do resultado ”excelente”, em si mesma — Para a demonstração de uma prática documentável e socialmente desenvolvida — Re-enfoque da atenção em abordagens científicas que sejam suficientemente valiosas, que justifiquem ser desenvolvidas — A qualidade mais importante da investigação científica é que seja feita, e feita com esmero 28.09.2018Smart Research? 32
- 33. Uma Retórica Alternativa? GetSmart(er)? — Retórica Alternativa à ”Excelência” na Investigação — Revistas tradicionais demonstram “excelência” pelo nº de artigos submetidos que rejeitam… — Propensão para hiper-competitividade (e.g. top ranks) — Ciclo vicioso de performance competitiva que reduz a abrangência dos trabalhos que autores e editores estão dispostos a submeter/publicar… — e.g. tende a limitar submissão de estudos de replicação/reprodução científica… 28.09.2018Smart Research? 33
- 34. Uma Retórica Alternativa? GetSmart(er)? — Retórica Alternativa à ”Excelência” na Investigação — PLOS ONE e outras revistas similares — Competem igualmente por prestígio, reputação e factor de impacto (Solomon, 2014) — Mas favorecem solidez e capacidade (i.e. nº de publicações e velocidade de publicação)… — Em vez de exclusividade e ”excelência” 28.09.2018Smart Research? 34 PLOS ONE was launched with the stated aim of publishing any scientific research that was deemed technically sound, regardless of its perceived novelty or impact. https://journals.plos.org/plosone/
- 35. Uma Retórica Alternativa? GetSmart(er)? 28.09.2018Smart Research? 35 https://www.youtube.com/watch?v=OVfpz1jKIuA
- 36. Open Access — Preconceitofundamentado? — 28.09.2018Smart Research? 36 https://www.economist.com/science-and-technology/2018/06/23/some-science-journals-that-claim-to-peer-review-papers-do-not-do-so nobody gets tenure for publishing to arXiv, no matter how good the quality of their research. https://arxiv.org
- 37. Open Access — What’sthe catch? — Nº crescente de revistas que afirmam fazer peer-review, não o fazem… — Modelo de negócio baseado em APCs (Golden Open Access) — Autores pagam para publicar em Open Access… — Incentivo económico na publicação de artigos por parte dos editores nest modelo de Open Access Revistas Predatórias? — Falta de integridade científica… 28.09.2018Smart Research? 37
- 38.
- 39. Open Access — Preconceitofundamentado? — Nº crescente de revistas que afirmam fazer peer-review, não o fazem… — (O estranho caso) da (desparecida) lista Jeffrey Beall — Nº de artigos publicados em revistas predatórias (nem todas open access!): — 53.000 em 2010 — 400.000 em 2018! — Cabells — lista 8000 revistas “predatórias” 28.09.2018Smart Research? 39 https://www2.cabells.com
- 40. 28.09.2018Smart Research? 40 https://paywallthemovie.com Paywall:The Business of Scholarship is a documentary which focuses on the need for open access to research and science, questions the rationale behind the $25.2 billion a year that flows into for-profit academic publishers, examines the 35-40% profit margin associated with the top academic publisher Elsevier and looks at how that profit margin is often greater than some of the most profitable tech companies like Apple, Facebook and Google.
- 41. Ciência Aberta -Contexto Europeu — Comissão Europeia — Implementation Roadmap for the European Science Cloud — Open Research Publishing Platform (H2020) — OpenAire recommendations for advancing Open Science in FP9 — FOSTER Open Science Training Handbook (“Open Science explained for researchers”) — Mais info em: https://ec.europa.eu/research/openscience/index.cfm 28.09.2018Smart Research? 41
- 42. Ciência Aberta –Contexto Nacional 28.09.2018Smart Research? 42 http://www.ciencia-aberta.pt/sobre-ciencia-aberta
- 43.