Integridade em pesquisa e comunicação científica por Lilian N. Calò, coordenadora de comunicação científica - BIREME/OPAS/OMS

1. Fortalecimento das Redes de Informação em Saúde
Série de Webinars Redes BVS e BiblioSUS
Integridade em pesquisa e
comunicação científica
Dra. Lilian Calò
Comunicação Científica em Saúde
BIREME/OPAS/OMS
calolili@paho.org

2. “Most men only care for science so far as they get a
living by it, and they worship even error when it
affords them a subsistence.”
Johann Wolfgang von Goethe1
“A maioria dos homens só se preocupa com a
ciência na medida em que esta lhes provê sustento,
e eles veneram até mesmo o erro, quando este lhes
proporciona subsistência.”
Johann Wolfgang von Goethe1
1GOETHE, J.W., et al. Conversations of Goethe with Eckermann and Soret. London: Smith, 1850, p. 271.
[viewed 17 October 2016] Digitally available
from: http://archive.org/stream/conversationsofg01goetuoft#page/n5/mode/2up

3. Integridade em pesquisa
honestidade
plagiarismo
dever
má condutaavaliação
por pares
viés
fabricação
de dados
alteração de dados
edição de imagens
responsabilidade
autoria indevida
reprodutibilidade

4. Ciência – Pode ser feito?
Ética – Deve ser feito?

5. 1. Is He Jiankui in trouble?
2. Are He's claims accurate?
3. How exactly did CRISPR-CAS9 edit the twins' genomes?
4. When will there be another gene-edited human?
5. Will He's revelations hamper ethical efforts to do germline editing?
6. How will scientists ensure better oversight of germline editing in future?
Sobre a metodologia CRISPR/Cas - https://pt.wikipedia.org/wiki/CRISPR/Cas
Jennifer Doudna (UCLA) e Emanuelle Charpentier (Francesa – Helmholtz Center)
https://www.nature.com/articles/d41586-018-07607-3

6. Códigos de conduta ética em pesquisa
Código de Nuremberg (1947) >> Declaração de Helsinque (1947) – protocolos e comissões de
ética para experimentos envolvendo seres humanos, amostras humanas e dados de humanos –
última atualização 2013
• Privacidade
• Consentimento informado
• Comitês de ética em pesquisa
Experimentos com animais – autores devem informar quais padrões nacionais/institucionais de
cuidados e manutenção de biotérios foram observados. A International Association of Veterinary
Editors fornece diretrizes sobre ética animal em pesquisa, e recomenda que os comitês de ética
institucionais verifiquem as condições experimentais e forneçam autorização para cada estudo.
Os números destas autorizações devem ser publicados na sessão materiais e métodos dos
artigos enviados para publicação.

7. Distorções em pesquisa
• Revisão da literatura
• Relação causa-efeito x fenômenos concomitantes
• Tamanho da amostra influencia resultado
• Desprezar resultados que se opõem à hipótese inicial
• Dados insuficientes para apoiar a conclusão
• Testes estatísticos inadequados
• Priorizar resultados positivos
• Inclusão ou exclusão de autores indevidamente, ghostwriting
• Peer review fraudulenta, plagiarismo por peer reviewers
• Plágio, autoplágio, plágio em mosaico, publicação duplicada, salami publishing
• Alteração de imagens para favorecer resultados
• Dados fabricados
• Artigos gerados por software
• Viés na avaliação por pares
• Submissão duplicada
• Periódicos e publishers predatórios

8. Caso de plagio envolvendo células tronco
Fonte: OBOKATA, H., et al. Stimulus-triggered fate conversion of somatic cells into pluripotency. Nature. 30 January 2014,
vol. 505. Available from: http://www.nature.com/nature/journal/v505/n7485/full/nature12968.html
• Artigo publicado em jan/2014 em Nature relata a descoberta por H. Obokata
do Instituto Riken no Japão no qual descreve um método simples que
permite obter células que têm a capacidade de se converter em qualquer
tipo de célula: células tronco pluripotenciais induzidas
• O trabalho se revelou não reprodutível por
outros laboratórios
• Suspeita de plágio e manipulação de imagens
• Retração por parte da autora e da Nature jul/2014
• Suicídio do coautor Yoshiki Sasai em ago/2014
• Pedido de desculpas público de R. Noyori, diretor do Instituto Riken e
premio Nobel ele próprio, que estabelece um comitê de investigação sobre
o ocorrido

9. Causas das retratações de 2.047 artigos em PubMed em 2015:
• 21,3% - erros
• 67,4% - má conduta científica
• 43,4% fraude
• 14,2% suspeita de fraude
• 9,8% plagiarismo
• 11,3% - disputa de autoria, outras causas
Porque?
• Pressão por publicar
• Busca por resultados de impacto
• Amostras pequenas – maior chances de erro
• Modelo de Ioannidis* – seriam 50% dos resultados de
pesquisa irreprodutíveis?
*Ioannidis JPA (2005) Why Most Published Research Findings Are False. PLoS Med2(8): e124.
https://doi.org/10.1371/journal.pmed.0020124

10. Reprodutibilidade é particularmente caro para companhias farmacêuticas
Droga interessante Droga viável/comercializável
Estudo de 2011 mostrou: taxa de sucesso para novas drogas na Fase II de
ensaios clínicos caiu de 28% para 18% em cinco anos
Principal causa: Baixo índice de eficácia das drogas testadas
Estudo de validação na Bayer com 67 novas drogas em potencial
47 para câncer
12 para a saúde da mulher
8 para doenças cardiovasculares
Resultados: Inconsistências - 43 casos (65%)
Confirmação - 14 casos (21%)
Confirmação parcial - 8 casos (11%)
Estudos na companhia - 2 casos (3%)
Reprodutibilidade de Ensaios Clínicos
$$$$

11. Estudo similar na Amgen em 2011
Apenas 6 (11%) de 53 artigos em oncologia clínica foram reprodutíveis
Possíveis causas:
• Sistemas de avaliação para contratações e progressão na carreira
acadêmica recompensam resultados positivos e publicações em
periódicos de alto impacto
• Resultados negativos e conclusões alternativas são desencorajadas
levando à um alto número de resultados “falso positivos”
• ‘Hot topics’ são particularmente propensos a falsos positivos:
genômica, neurociências, terapia com células tronco, etc.

12. YONG, E. Replication studies: Bad copy. Nature. 17 May 2012. Available from:
<http://www.nature.com/news/replication-studies-bad-copy-1.10634>.
Percentagem de resultados
positivos por disciplina
Hipótese da Hierarquia da
Ciências

13. Causas prováveis da baixa reprodutibilidade
• Treinamento inadequado da equipe técnica e pesquisadores. Orientação
(mentoring) insuficiente ou inadequada
• Incentivo para publicar resultados positivos em periódicos de alto impacto
• Ênfase em tirar conclusões ambiciosas que não são sustentadas pelos
resultados obtidos
• Selecionar apenas os resultados que interessam à hipótese proposta
• Protocolos experimentais mal desenvolvidos
• Baixo número de amostras
• Testes estatísticos inadequados para verificar significância
• Avaliação por pares insuficiente
• Falta de interesse por guias sobre boas práticas em pesquisa – ICMJE,
COPE, WAME, NLM, FAPESP, SciELO, Anvisa, Pró Reitoria de Pesquisa da
USP, outras instituições, etc.
• Dados básicos não disponíveis em forma de Dados Abertos

14. Alguns números sobre reprodutibilidade (ou a falta dela)
• Survey online da Nature* com mais de 1.500 pesquisadores
publicada em 2016:
• Mais de 70% não conseguiu replicar experimentos de terceiros
• Mais de 50% não conseguiu replica seus próprios experimentos
• 20% foram contatados por outros pesquisadores que não
conseguiram reproduzir seus resultados publicados
• 73% dos respondentes consideram que ao menos 50% dos
resultados em suas áreas são reproductíveis, com físicos e
químicos entre os mais confiantes
• “Não conseguir reproduzir os próprios resultados é considerado
um rito de passagem na carreira científica”
*BAKER, M. Is there a reproducibility crisis? Nature [online]. 2016, vol. 533, no. 7604, p. 452 [viewed 24 January 2017].
DOI: 10.1038/533452a. Available from: http://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-
1.19970

15. O que pode ser feito?
Reproducibility Initiative iniciada em 2012
• Facilita a comunicação entre pesquisadores e companhias
farmacêuticas para validação de testes pré-clinicos
• Mais de 1.000 labs e 400 instituições de pesquisa
• Resultados validados recebem um selo de certificação: “validado
independentemente”
• Foi desenhado para avaliar 50 experimentos de maior impacto
de biologia do câncer publicados em 2010-2012, porém em 2018
foi reduzido para 18 experimentos, por questões de orçamento.

16. Projeto Reprodutibilidade: Biologia do Câncer
Resultados dos estudos de replicação trouxeram mais perguntas que respostas
1. Definir replicação
“repetir independentemente a metodologia de um estudo anterior e obter os
mesmos resultados”
2. O que significa “mesmos resultados”?
A não confirmação dos resultados originais não invalida o estudo, mas diminui sua
confiabilidade
3. Detalhes experimentais aparentemente irrelevantes podem ser cruciais
Por isso definir o protocolo experimental em comum acordo com o autor da
pesquisa original e submetê-lo à avaliação por pares é crucial – Relatos Registrados
(Registered Report)
4. Alegações científicas ganham credibilidade acumulando evidências
5. Os estudos de replicação incluem, além dos novos resultados, metanálise da
combinação de resultados para produzir um efeito estatisticamente significativo

17. Experimento original
Experimento de replicação é um sucesso
Maior confiabilidade do estudo primário
Os resultados são mais prováveis de serem
generalizados
Isso não significa que os resultados originais
estavam incorretos, mas a confiabilidade do
estudo primário diminui
Experimento de replicação é um insucesso

18. • Uma das principais características do “ Projeto Reprodutibilidade” reside no
fato de que novas evidências - em caso de insucesso da reprodução -
fornecem indicações importantes quanto à causa da irreprodutibilidade e os
fatores que a influenciam, bem como oportunidades para melhorá-la.
• No entanto, não podemos esperar resultados conclusivos que sejam
simplesmente positivos (reprodutíveis) ou negativos (irreprodutíveis), mas
uma nuance de interpretações.
• A replicação é um experimento em si e ainda não há dados disponíveis para
concluir se foi bem-sucedida.
• O fato de a metodologia de estudos de replicação ter sido pré-estabelecida,
revisada por pares e publicada é uma vantagem

19. “deceptive journals” ou publicação predatória

20. Na publicação acadêmica, publicação predatória
é uma forma exploratória e fraudulenta de
negócio envolvendo periódicos (pseudojournals)
e publishers pretensamente de acesso aberto
que consiste em cobrar dos autores taxas de
publicação sem, entretanto, prover os serviços
editoriais e benefícios associados com periódicos
legítimos – sejam estes de acesso aberto ou não.
São conhecidos também pelo termo deceptive
journals.

21. Breve histórico
2008 – Suspeitas surgem sobre a honestidade e possíveis golpes aplicados por novos
publishers, reportados como sendo as “ovelhas negras” entre os publishers de acesso
aberto (AA).
2008 - Publishers AA líderes criam a OASPA – Open Access Scholarly Publishers
Association
2009 – Scientific Research Publishing é suspeita de duplicar publicações, aceitar
publicar artigos fictícios e non-sense contra recebimento de taxa e recusar retirar
artigos submetidos, evitando que fossem submetidos em outros periódicos
2013 – Experimento de Bohannon – “Who’s Afraid of Peer Review?” publicado na
Science. Tentativa de denegrir o acesso aberto como um todo
2016 – Federal Trade Commission registra uma ação judicial contra o publisher
predatório OMICS Group e empresas-irmãs, incluindo o CEO destas. A defesa alegou
que as grandes corporações de publishers científicos é que ganham bilhões em page
charge e estão por trás da ação.

22. https://science.sciencemag.org/conte
nt/342/6154/60

23. Características de periódicos predatórios
• Prometem publicação rápida – 15-20 dias da submissão – não há peer review, embora
garantam o contrário. São aceitos artigos fabricados, fictícios, non sense
• Há sempre cobrança de taxa de publicação – article processing charge (APC) que varia de
US$ 90 a mais de US$ 1.000.
• Geralmente não estão vinculados a instituições de pesquisa/ensino ou organizações – se
dizem periódicos “independentes”
• O editor-chefe e corpo editorial são fictícios e quase sempre não é possível encontrar
produção científica destes
• Enviam e-mails para autores convidando para submeter artigos (call for papers) ou fazer
parte do comitê editorial. Listam pesquisadores sem sua autorização como integrantes do
comitê editorial
• Mimetizam títulos e sites de periódicos renomados para enganar os autores. Os sites são
atraentes, com recursos multimídia. “American Journal of...
• As vezes os ISSN são falsos e também publicam Fator de Impacto inexistentes
• Não estão indexados em bases de dados renomadas, incluindo DOAJ.
• Periódicos que deixam de realizar revisão por pares e os artigos são avaliados pelo editor e
publicados podem adquirir características de periódicos predatórios.

30. Como evitar os periódicos predatórios?
• O fato de cobrar taxas de publicação (article processing charge, APC)
apenas não qualifica um periódico/publisher como predatório, por ex.
BioMed Central, PubMed Central, PLoS, Redalyc, SciELO, etc.
• Como evitar os periódicos predatórios:
http://thinkchecksubmit.org/
• Em português: https://thinkchecksubmit.org/translations/portuguese/