Smart research? A retórica da Excelência.

Smart Research?
A Retórica da Excelência
28 Setembro 2018

Notas Prévias
— Documento Draft, para discussão
— Imagens, gráficos e dados
— Usados sem permissão (fair use?)
— Uso interno, privado
— Referências bibliográficas / web
— Não respeitam normas de citação
— Informais, através de links web
228.09.2018Smart Research?

Smart Science
Retórica da Excelência
28.09.2018Smart Research? 3
https://www.nature.com/articles/palcomms2016105

“Excelência na Investigação”
— “Excelência” como o “Sagrado Graal” do meio académico…

Somos todos Excelentes… seremos?
— Retórica da “Excelência”?
— “Beetle in a box” (Wittgenstein, 2001: section 293)
https://www.youtube.com/watch?v=7QUB7uVMvr4

A “Excelência” é mesmo excelente?
— “Excelência” na Ciência
— Definição única?
— Ou dependente da:
— Disciplina?
— Caso em análise?
— Algo passível de ser identificado ex-ante?
— Ou apenas ex-post?
— Ferramenta de promoção/penalização?
— Institucional
— Individual
— Será de facto a melhor métrica?
— Para distribuição de recursos (escassos)
— Promoção de competição e colaboração saudável?

A “Excelência” será mesmo excelente?
— Combina narrativas de
— Escassez
— Competição
— Potenciais Riscos:
— “Gamesmanship” contraproducente
— consciente ou inconsciente por parte de investigadores
— Concentração, em prejuízo da distribuição, do esforço de
desenvolvimento científico
— Promoção de hiper-competição entre investigadores
— Resulta numa contradição com as qualidades da “boa investigação”?
— Reprodutibilidade
— Integridade
— Heterofilia

— Risco potencial de resultados científicos…
— … menos fiáveis e robustos?
— … menos exatos?
— … menos validados?
— Homofilia é letal no processo de peer-review, tornando-o num
problema mais social do que técnico…
— Diversidade interdisciplinary de peer-reviewers agrava problemas
— Definições de excelência diferentes (e frequentemente contraditórias)
— Práticas de metodologias de avaliação diferentes e incompatíveis
— Falta de sensibilidade para as diferenças disciplinares
— Dificuldade de atingir consensos
— … menos duradouros?
— Impossibilidade de reprodutibilidade torna resultados datados e
limitados
— Retração de artigos, etc.

“ ‘Excellence’ tells us nothing
about how important the science is
and everything about who decides”
(Stilgoe, 2014).

“The rejection, resubmit & publish game”
— Rejeições de artigos de autoria de
Prémios Nobel (e outros), incluindo
alguns dos que mais tarde lhes
trouxeram reconhecimento (Gans
and Shepherd, 1994; Campanario,
2009; Azoulay et al., 2011: 527–
528).
— A maioria (51.4%) dos manuscriptos
rejeitados, acabaram por ser
publicados (Weller, 2001)
— a maioria destes (90%), aceites
numa segunda submissão
— e destes 90% numa revista de
prestígio e circulação equiparável

— Falsos negativos na avaliação de “excelência”
— Elevadas perdas por ineficiência
— Artigos resubmetidos são aceites com pouca ou nenhuma revisão
em outras revistas de ranking equiparável
— Aumento de custos para todas as partes envolvidas
— Sem evidente melhoria da qualidade dos trabalhos…
— Multiplicação de custos editoriais, revisão e gestão
— Custo de oportunidade para autores
— Reconhecimento de trabalho pioneiro
— Contabilização de citações
— Reconhecimento de Influência
— (Gans and Shepherd, 1994; Campanario, 2009; Şekercioğlu,
2013; Brembs, 2015; Psych Filedrawer, 2016)

— Falsos positivos na avaliação de “excelência”
— Mais procupantes e com impactos potencialmente graves!
— (Peters and Ceci, 1982; ver Weller, 2001 para uma crítica) desenvolveram um trabalho
(algo controverso) de submissão de artigos ligeiramente alterados a revistas onde os
originais já tinham sido aceites
— Apenas 8% destas resubmissões foram detectadas
— Dos que não foram identificados
— ~90% acabaram por ser rejeitados pelas mesmas revistas onde tinham sido anteriormente publicados,
por serem considerados cientificamente inadequados – i.e. insuficientemente “excelentes”.

— Falsos Positivos e Falsos Negativos na avaliação de “excelência”
— Trabalhos que não são avaliados multiplas vezes podem acabar por ser:
— Injustamente rejeitados para publicação
— Injustamente aceites para publicação
— Dificuldade em distinguir as duas situações!
— Percepções diferentes de “excelência” representam diferenças honestas de opinião sobre o
mérito qualitativo de um trabalho ou investigador

Integridade Científica
— Nº de fraudes e erros em trabalhos
científicos estão numa evolução
crescente...
— Medido através de nº de retrações
de artigos em revistas, ao longo
do tempo
— (Claxton, 2005; Dobbs, 2006; Steen, 2011;
Fang et al., 2012; Grieneisen and Zhang,
2012; Yong, 2012b; Chen et al., 2013;
Andrade, 2016).
— Particularmente significativo em
revistas de alto prestígio
— (Resnik et al., 2015; Siler et al., 2015; Belluz,
2016)

— Retórica da “Excelência”
— Encorajará/pressionará investigadores a submeterem
trabalhos com erros, irreproduzíveis, e/ou fraudulentos?
— A maioria (67.4%) dos artigos são retirados devido a má
conduta (i.e. fraude, múltipla publicação, plágio, ...)
— Enquanto apenas 21.3% são retirados devido a erro…
— (Fang, Steen, and Casadevall, 2012; cf Steen, 2011)
https://www.publico.pt/2016/03/03/ciencia/noticia/cientista-portuguesa-retira-artigo-depois-de-ter-sido-acusada-de-manipular-imagens-1725026

— Erros e enganos
— feitos sem má fé
— à são parte natural (e até necessária!) do processo científico.
— Mas algumas formas de erros podem configurar uma má conduta
— Estratégia semi-deliberada para garantir elevado volume de publicações -
“atalhando caminho”:
— para garantir uma publicação antes de outros autores – Pioneirismo
— (i.e. “crappy but first”)
— Para obter um financiamento maior
— Para cumprir com metas de publicação anuais
— Para obter financiamento
— Para se candidatar a posições académicas
— Para obter crédito e prestígio na comunidade

— Hipérbole nos impactos reivindicados
— Investigadores no UK e Austrália admitem exageros e sensacionalização dos
impactos dos seus trabalhos (Chubb and Watermeyer 2016)
— Prática “usual” da cultura académica, na competição por fundos para I&D
— Considerada uma questão de “sobrevivência científica/professional!
“If you can find me a single academic who
hasn’t had to bullshit or bluff or lie or
embellish to get grants, then I will find you
an academic who is in trouble with his [sic]
Head of Department” (6; “[sic]” as in Chubb
and Watermeyer).

Reflections on the Decline of Science in England:
And on Some of Its Causes (Babbage, 1831).
— 4 principais tipos de fraude científica (Babbage, 1831: 178; ver Zankl, 2003;
e Secord, 2015 para discussão crítica):
— Embuste
— Forjamento
— Ornamentação
— Manipulação
—

Performance da “Excelência”
— Matthew Effect
— Realimentação positiva da competitividade
— à Hiper-competitividade
— à Hiper-concentração de recursos
— à “winner-take-all”

— Matthew Effect
— Encoraja:
— “Gamesmanship”
— Enfoque nos resultados positivos (e inflacionados?)
— Desvalorização da “Normal Science”
— Estudos de replicação/reprodutibilidade…
— Pouco glamorosa à pouco reconhecida como “excelente”?
— Ainda maior resistência à valorização destes estudos quando invalidam estudos
anteriores e alta visibilidade e reputação…
— à coloca em causa modelo de negócio de editoras científicas?
— No entanto cruciais para o avanço científico…
— Falta de incentivos?
Thus, for example, Fanelli (2011) demonstrated a
22% growth between 1990 and 2007 in the
“frequency of papers that, having declared to have
‘tested’ a hypothesis, reported a positive support
for it”.

— “Normal Science”
[M]ajor journals simply won't publish replications. This is a real problem:
in this age of Research Excellence Frameworks and other assessments, the
pressure is on people to publish in high impact journals. Careful replication
of controversial results is therefore good science but bad research strategy
under these pressures, so these replications are unlikely to ever get run.
Even when they do get run, they don't get published, further reducing the
incentive to run these studies next time. The field is left with a series of
“exciting” results dangling in mid-air, connected only to other studies run
in the same lab. (Wilson, 2011)

— Homofilia
— Um programa de incentivos focado apenas nos “melhores”
investigadores pode conduzir:
— Investimento em problemas e abordagens científicas em que a “excelência”
possa ser conduzida mais facilmente…
— … ao invés de apostar naqueles que poderiam tirar o melhor proveito, e
potencialmente criar mais impacto
— Mais um exemplo do “Matthew effect”…
— Desempenho passado de grupos preferenciais e “excelentes” estabelecem as
normas pelas quais os desempenhos futuros serão avaliados

— Homofilia
“A programme that seeks to reward Humanists,
similarly, by focussing on output in “high impact”
academic journals paradoxically reduces the impact
of these same disciplines by encouraging researchers
to focus on their professional peers rather than
broader cultural audiences (Readings, 1996),
reducing the domain’s relevance even as its
performance of “excellence” improves.”

Uma Retórica Alternativa?
Get Smart(er)?
— Existe alguma(s) abordagem(ns) alternativa(s)?
— Alterar o paradigma da escassez?
— Da escassez física das revistas impressas
— Para a abundância (técnica, pelo menos) de uma
infraestrutura de publicações na web
— (Shirky, 2010; Nielsen, 2012)
— Alterar o cultura de Hiper-Competitividade?
— Melhor redistribuição
— Maior partilha
— Maior colaboração
— Maiores e melhores resultados científicos?

Get Smart(er)?
— Existe(m) alguma(s) abordagem(ns) alternativa(s)?
— Alterar o paradigma da escassez?
— Da escassez física das revistas impressas...
— ... para a abundância (técnica, pelo menos) de uma infraestrutura de
publicações na web
— (Shirky, 2010; Nielsen, 2012)
— Alterar o cultura de Hiper-Competitividade?
— Melhor redistribuição
— Maior partilha
— Maior colaboração
— Maiores e melhores resultados científicos?

Get Smart(er)?
— Existe(m) alguma(s)
abordagem(ns)
alternativa(s)?
— Redistribuição uniforme / por
Lotaria?
— (Health Research Council of New
Zealand, 2016; Fang et al., 2016)
— Aposta nas “piores” instituições?
(Bishop, 2013)
— Aquelas que potencialmente
mais beneficiariam desse
investimento?

Get Smart(er)?
— Existe(m) alguma(s) abordagem(ns) alternativa(s)?
Gordon and Poulin argued that, for science funding in Canada through the
National Science and Engineering Research Council (NSERC, the main
STEM funding agency), it would have cost less at a whole system level simply
to distribute the average award to all eligible applicants than to incur the costs
associated with preparing, reviewing and selecting proposals (2009; although
see Roorda, 2009 for a critique of their calculation). A rough calculation of
the system costs of preparing failed grant applications would suggest that they
are in the same order of magnitude as research grant funding itself (Herbert
et al., 2013).

Get Smart(er)?
— Retórica Alternativa à ”Excelência” na Investigação
— Baseada na:
— Solidez
— Capacitação
— Acessibilidade
— Abrangência
— Impacto
— Focada na oportunidade de:
— avaliar a prática científica…
— em vez de (apenas) resultados científicos?
— Valorização de:
— Meticulosidade, completude, descrição, evidência, probidade
— Ao invés de afirmações chamativas de superioridade científica?

Get Smart(er)?
— “Solidez”
What is “soundness” in the context of the
Humanities? Eve (2014, 144) has suggested that
“soundness” in a humanities paper might involve the
ability to “evince an argument; make reference to the
appropriate range of extant scholarly literature; be
written in good, standard prose of an appropriate
register that demonstrates a coherence of form and
content; show a good awareness of the field within
which it was situated; pre-empt criticisms of its own
methodology or argument; and be logically
consistent”.

Get Smart(er)?
— Retórica Alternativa à ”Excelência” na
Investigação
— “Solidez”, “Capacitação”, …
— Por sí só
— não alteram a cultura científica
— Não melhoram a redistribuição de recursos
escassos
— Permitem no entanto alterar o paradigma
— Da qualidade do resultado ”excelente”, em
si mesma
— Para a demonstração de uma prática
documentável e socialmente desenvolvida
— Re-enfoque da atenção em abordagens
científicas que sejam suficientemente
valiosas, que justifiquem ser
desenvolvidas
— A qualidade mais importante da
investigação científica é que seja feita, e
feita com esmero

Get Smart(er)?
— Revistas tradicionais demonstram “excelência” pelo nº de
artigos submetidos que rejeitam…
— Propensão para hiper-competitividade (e.g. top ranks)
— Ciclo vicioso de performance competitiva que reduz a abrangência
dos trabalhos que autores e editores estão dispostos a
submeter/publicar…
— e.g. tende a limitar submissão de estudos de replicação/reprodução
científica…

Get Smart(er)?
— PLOS ONE e outras revistas similares
— Competem igualmente por prestígio, reputação e factor de
impacto (Solomon, 2014)
— Mas favorecem solidez e capacidade (i.e. nº de publicações e
velocidade de publicação)…
— Em vez de exclusividade e ”excelência”
PLOS ONE was launched with the stated aim of publishing
any scientific research that was deemed technically sound,
regardless of its perceived novelty or impact.
https://journals.plos.org/plosone/

Get Smart(er)?
https://www.youtube.com/watch?v=OVfpz1jKIuA

Open Access
— Preconceito fundamentado?
—
https://www.economist.com/science-and-technology/2018/06/23/some-science-journals-that-claim-to-peer-review-papers-do-not-do-so
nobody gets tenure for publishing to arXiv, no
matter how good the quality of their research.
https://arxiv.org

Open Access
— What’s the catch?
— Nº crescente de revistas que afirmam fazer peer-review, não o fazem…
— Modelo de negócio baseado em APCs (Golden Open Access)
— Autores pagam para publicar em Open Access…
— Incentivo económico na publicação de artigos por parte dos
editores nest modelo de Open Access Revistas Predatórias?
— Falta de integridade científica…

Open Access

Open Access
— Preconceito fundamentado?
— Nº crescente de revistas que afirmam fazer peer-review, não o fazem…
— (O estranho caso) da (desparecida) lista Jeffrey Beall
— Nº de artigos publicados em revistas predatórias (nem todas open access!):
— 53.000 em 2010
— 400.000 em 2018!
— Cabells
— lista 8000 revistas “predatórias”
https://www2.cabells.com

https://paywallthemovie.com
Paywall: The Business of Scholarship is a documentary which focuses on
the need for open access to research and science, questions the rationale
behind the $25.2 billion a year that flows into for-profit academic
publishers, examines the 35-40% profit margin associated with the top
academic publisher Elsevier and looks at how that profit margin is often
greater than some of the most profitable tech companies like Apple,
Facebook and Google.

Ciência Aberta - Contexto Europeu
— Comissão Europeia
— Implementation Roadmap for the European Science Cloud
— Open Research Publishing Platform (H2020)
— OpenAire recommendations for advancing Open Science in FP9
— FOSTER Open Science Training Handbook (“Open Science explained for
researchers”)
— Mais info em: https://ec.europa.eu/research/openscience/index.cfm

Ciência Aberta – Contexto Nacional
http://www.ciencia-aberta.pt/sobre-ciencia-aberta

Obrigado
43
Luis Gustavo Martins
lgustavomartins@gmail.com
28.09.2018Smart Research?

Smart research? A retórica da Excelência.

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a Smart research? A retórica da Excelência.

Semelhante a Smart research? A retórica da Excelência. (20)

Mais de Luís Gustavo Martins

Mais de Luís Gustavo Martins (17)

Smart research? A retórica da Excelência.