O documento discute os principais indicadores e métricas para avaliação da produção e impacto científico, como fator de impacto, SJR, Eigenfactor, índice h e novas métricas baseadas em redes sociais. Também aborda as bases de dados e suas funções, além dos desafios da comunicação científica no ambiente digital.

1. Curso de Comunicação e
Redação Científica
Centro Técnico de Documentação
Secretaria de Estado da Saúde
de São Paulo
Maio/2016
Dr. Lilian N. Calò
Comunicação Científica em Saúde
BIREME/OPAS/OMS
calolili@paho.org

2. 5° aula
• Avaliação de periódicos científicos
• Índices de impacto
...”Deveria causar surpresa o fato de que o uso de um indicador
torne elegível um ou outro autor apenas com base no FI, ...e
que é mais importante saber onde ele publicou do que ler seu
trabalho”
Se seu índice h for maior que 10
você entra, caso contrário…

3. Comunicação científica
• Componente essencial do processo de pesquisa: visibilidade e
reconhecimento da propriedade intelectual
• Publish or perish
• O que não conheço não é conhecimento (Bordieu, 1930-2002, filósofo francês)
• O que não está online não existe
• Informação para a comunidade acadêmica, validada por seus pares
• Instrumentos para a comunicação científica:
• Cartas e comunicações pessoais entre autores
• Conferencias e debates
• Revistas científicas
• Livros
• A forma da comunicação depende do tipo de informação
e da audiência

4. Fluxo da comunicação científica no
ambiente eletrônico

5. Atividades relacionadas com a publicação
científica
• Redação do manuscrito: redação científica, formatos,
standards, normas éticas
• Canais de transmissão: seleção do veículo apropriado para
disseminar a informação, público-alvo, idioma, alcance
geográfico
• Avaliação: peer-review, inclusão em bases de dados;
medidas de impacto, uso e download; novas métricas,
• Publicação e difusão: periódicos impressos, online,
conferencias, blogs, twitter, redes sociais, fóruns online,
etc.

6. Avaliação da Produção Científica
• É importante avaliar a produção científica para traduzir os resultados
de pesquisa em programas e políticas públicas e saber o que é
relevante;
• Indicadores de impacto científico: Fator de Impacto, Scimago Journal
Rank, Eigenfactor, Indice h, medidas de uso e download, altmetrics,
novas métricas;
• Indexação em bases de dados regionais e internacionais: Scopus,
LILACS, SciELO, MEDLINE, Web of Science, JCR;
• Redes sociais na avaliação de impacto

7. Fator de Impacto
• Utiliza a base Web of Science (Thomson Reuters)
• FI = Citações recebidas / numero de artigos
• É calculado em base a 2 ou 5 anos para efeito
de comparação de áreas com distintos parâmetros de citação
Por exemplo, FI de NEJM em 2008:
Citações recebidas em 2008 a artigos publicados em 2007 e 2008: 32.311
Artigos publicados em 2007 e 2006: 646
Resultado: 32.311/646 = 50,017 = Fator de Impacto do NEMJ
• Críticas ao FI:
 É impreciso, pois o que conta no numerador não é levado em conta no
denominador;
 Existem artifícios para aumentar o FI de periódicos, como artigos de
revisão, editoriais de impacto que serão muito citados e outros;
 Disponível em uma base de dados de acesso restrito (pago)
www.isiknowledge.com/ - disponível no Portal Capes
• Por que é tão popular? Por ter sido o pioneiro, por ser simples de calcular
• DORA (Declaration on Research Assessment)

8. SCImago Journal Rank
• SCImago Journal Rank é uma medida de impacto científico das
revistas acadêmicas que representa o número de citações
recebidas por uma revista e a importância ou prestigio das
revistas de onde tais citações provem;
• Utiliza a base de dados Scopus (criada em 2004, registra dados
desde 1997) e acumula citações em 3 anos;
• Toma por base o algoritmo PageRank, utilizado pelo Google para
ordenar as páginas mais visitadas em uma busca;
• É um indicador independente de tamanho e seus valores ordenam
os periódicos pelo seu "prestigio médio por artigo" e pode ser
utilizado para comparações de revistas nos processos de
avaliação em ciências;
• Disponível em uma base de dados em acesso aberto,
http://www.scimagojr.com/ apesar da base Scopus
depender de assinatura.

9. Fonte: Rocha e Silva, M. – SciELO - II Seminário de Avaliação do Desempenho dos
Periódicos Brasileiros no JCR 2010

10. Eigenfactor
• Eigenfactor utiliza mesmo algoritmo PageRank do classificador de páginas do
Google;
• O sistema de classificação de periódicos utilizando Eigenfactor leva em conta a
diferença de prestigio entre os periódicos que citam;
• Eigenfactor também se ajusta para diferenças de padrões de citação entre
disciplinas, permitindo comparar desempenhos entre elas utilizando o mesmo
índice. Baseia nas citações recebidas em um período de cinco anos.
• Outra particularidade de Eigenfactor: diferente do fator de impacto, unifica e
contabiliza citações em revistas nos campos de ciências e ciências sociais;
• Elimina autocitações. São descontadas cada referencia de um artigo em uma
revista a outro artigo da mesma revista.
• Utiliza a base de dados Web of Science. O cálculo matemático foi idealizado de
forma que a soma de Eigenfactor de todos os periódicos indexados no JCR seja
igual a 100.
• O índice Eigenfactor se encontra disponível em acesso aberto
(www.eigenfactor.org) e também no site de Web of Science (mediante
assinatura)

11. Article Influence
• O Article Influence de um determinado periódico é a medida do prestigio
deste periódico por artigo. É calculado por meio da divisão do
Eigenfactor pela fração de artigos publicados pelo periódico. Esta fração
se normaliza, para que a soma total de artigos em todos os periódicos
seja igual a 1;
• Assim, enquanto o Eigenfactor leva em conta toda a rede de citações
recebidas nos últimos cinco anos por todos os artigos do periódico,
Article Influence é uma medida do prestigio deste periódico tendo por
base as citações por artigo;
• O valor médio do Article Influence é igual a 1.00. Valores maiores que 1
indicam que cada artigo no periódico exerce una influencia acima da
media e valores menores que 1 indicam que cada artigo do periódico em
questão exerce influencia abaixo da media;
• O índice Article Influence encontra-se disponível em acesso aberto
www.eigenfactor.org e também no site de Web of Science.

13. Índice h
• Idealizado pelo físico norte-americano JE Hirsch (2005) Proc. Natl.
Acad. Sci. USA vol. 102 (46) 16569-16572;
• É um índice para quantificar a produtividade científica de um
pesquisador, departamento o instituição;
• Índice h é definido como o número de publicações com citações > h;
• Este índice normaliza as diferentes áreas de conhecimento;
• Um autor com 20 publicações com 20 citações cada tem um índice h
igual a 20.
• É possível calcular o índice h de una revista. Uma publicação tem
índice h 50 se tiver 50 artigos com 50 citações cada.

15. Bases de Dados
• Permitem organizar e catalogar as revistas;
• Realizar buscas por assunto, autor, periódico,
palavras-chave;
• Sua função primordial é separar os periódicos
tendo como critério a qualidade dos artigos
publicados;
• Os critérios variam pouco entre as varias bases
regionais e internacionais;
• Para que sejam mais representativas, as bases
não devem indexar a totalidade dos periódicos,
e sim os mais representativos.
28 anos

16. Lei de Bradford/Lei de Pareto
• Um número relativamente pequeno de revistas de cada
especialidade publica a maior parte dos resultados científicos
significativos;
• 2000 revistas correspondem a 85% dos artigos publicados e
95% dos artigos citados
• Esta fração de periódicos não é fixa, uma constante reavaliação
e indexação de novas revistas é necessária.

17. Representatividade da
produção científica da
AL&C e outras regiões
na WoS

18. Possíveis causas para a queda de qualidade
das publicações brasileiras
Publish or perish e/ou get cited or perish
• Dados fraudados;
• Plágios e autoplágios;
• Coautoria fictícia;
• Compadrio de citações;
• Divisão de trabalhos em LPU (Least Publishable Unit)
• Desincentivo à produção de livros didáticos;
• Desincentivo ao ensino com qualidade e trabalho de
extensão;
• Desperdício de talentos;
• Perda de credibilidade da comunidade científica;
• Critérios de avaliação da produção científica dos cursos de
pós-graduação baseada em FI

19. Comparação entre critérios de Bases de Dados
(*) International Committee of Medical Journal Editors – Uniform Requirements
for Manuscripts Submitted to Biomedical Journals (http://www.icmje.org/)

20. Influencia da área de pesquisa nas
citações recebidas
Fonte: Halevi G, Moed HF. Ten years of research impact: top cited papers in Scopus 2001-2011.
Research Trends 38, 2014. Available from: http://www.researchtrends.com/issue-38-september-
2014/10-years-of-research-impact/

21. Avaliação Qualis-CAPES
Fontes: http://www.capes.gov.br/ http://qualis.capes.gov.br/

22. Revista de Saúde Pública – FSP-USP
FI (JCR, WoS) = 0.733
SJR = 0.58
Citações/doc (SJR) = 0.86
Índice h = 52 (h5 = 33)
Estratos Qualis-CAPES:

23. Produtividade versus produtivismo científico
• O que se publica tem maior ou menor valor dependendo do
veículo no qual se publica, independentemente do seu valor
intrínseco
• “Publique para existir e seja citado para não desaparecer ou ser
esquecido”
Professor Assistente Professor Associado Professor Titular

24. Redes Sociais na Comunicação Científica
“Rede social é uma estrutura social compota por
atores (indivíduos ou organizações) e as ligações
entre estes atores. A perspectiva da rede social
fornece uma forma simples de analisar a estrutura
de entidades sociais inteiras”
Fonte: Rede social. Wikipedia.
http://pt.wikipedia.org/wiki/Rede_social#Refer.C3.AAncias

25. Redes Sociais mais populares
Blogs - (web logs) conteúdo gerado por usuários, têm sido usados ​​desde o final de
1990 para promover discussões online. Adotados pelos cientistas para se comunicar
e promover discussões públicas sobre resultados de pesquisa. Nature , PLoS ,
Scientific American e a iniciativa Ciência Blogs criaram blogs de sucesso.
Twitter - microblog criado em 2006 para permitir a comunicação por sms , limitado
a 140 caracteres. Tornou-se uma poderosa ferramenta para se comunicar e
compartilhar informação durante crises política ou desastres através de telefones
celulares.
Facebook - Serviço lançado em 2004 , inicialmente projetado para ser
compartilhado entre alunos da Universidade de Harvard. É a maior rede social do
mundo, hoje, com mais de um bilhão de usuários , a maioria deles por meio de
dispositivos móveis. Seu uso na comunicação científica inclui editoras, revistas
pesquisadores, estudantes e público em geral com o objetivo de marketing,
promover a discussão e uma avaliação ampla dos conteúdos publicados.
LinkedIn - Fundada em 2002 , é um site de rede social para as pessoas em
ocupações profissionais. Ele relata mais de 170 milhões de usuários em mais de 200
países

26. Mídias Sociais
Aplicativos com base na Web 2.0 que permitem
a criação e intercâmbio de conteúdos
Imagens
• Flickr
• Instagram
• Pinterest
• 500px
• Picasa
Vídeo/Áudio
• Youtube
• Vimeo
• G+ (Google)

27. Redes sociais e comunicação científica
• Pesquisadores estão expostos à quantidades crescentes
de informação científica publicada
• Redes sociais podem ser usadas para selecionar
informação relevante como filtros de conteúdo
• Redes sociais estão sendo usadas para recomendar,
compartilhar e avaliar artigos e outros conteúdos
científicos expondo à sociedade discussões antes restritas
à comunidade científica
• As redes sociais promovem interação entre todos os
atores envolvidos na comunicação científica: casas
editoriais, editores, autores, leitores, e pareceristas,
levando à ações cooperativas

29. Redes sociais como ferramenta na
comunicação científica
• Redes sociais oferecem novas perspectivas para medir
impacto científico
• Redes sociais fornecem novas possibilidades na
comunicação científica criando formas de
disseminação de conteúdos que catalisam o processo
de publicação e avaliação
• Redes sociais aproximam a ciência de seu público-alvo
encorajando a publicação em acesso aberto e
traduzindo conteúdos complexos para o público leigo
• As redes sociais encorajam a construção de novas
redes e unem pesquisadores, editores, estudantes e
instituições acadêmicas.

37. Redes Sociais e impacto científico
• Métricas existentes baseadas em citações tem limitações conhecidas
• “Menos da metade dos artigos acadêmicos publicados são citados uma
vez ou mais, ou seja, quando discutimos citação como referência para
o uso do artigo, invariavelmente deixamos de lado pelo menos metade
da pesquisa que é feita no mundo” (Entrevista com Atila Iamarino.
SciELO em Perspectiva. [viewed 07 May 2014]. Available from:
http://blog.scielo.org/blog/2013/11/29/entrevista-atila-iamarino/)
• Redes sociais podem ser usadas para prever impacto científico. Por ex.
Tweets podem antecipar se um artigo será altamente citado depois de
três dias de sua publicação
• Altmetric indica o impacto de um artigo com base em sua
disseminação em redes sociais; indicador é atualizado constantemente

38. Movimento Open Data (Dados Abertos)
• Acesso aberto; software livre, Creative Commons >> open data
• Não mais “se” e sim, “como”
• Informação na forma de dados digitais em AA para consulta,
compartilhamento, análise, revisão, reprodução, etc.
• Setores da educação, economia, produtos de consumo, dados
sobre clima, saúde, serviços financeiros, etc.
• Na área científica: disponibilizar e interoperar dados que deram
origem à uma publicação em repositórios para livre acesso, sob
licença CC
• Vantagens:
 Permitir a maior reprodutibilidade dos resultados
 Dar crédito a quem gerou os dados, por ser arbitrados e
citáveis
 Prover maior transparecia à pesquisa científica, limitando
práticas antiéticas
• Repositório da Produção Científica e Intelectual da Unicamp –
lançado em 24/11/2015

39. Bibliografia
• Coimbra Jr CEA. Produção Científica em saúde pública e as bases
bibliográficas internacionais. Cad.Saúde Pública. 1999;15(4)883-888
http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0102-
311X1999000400022&lng=pt&nrm=iso&tlng=pt
• SEGLEN, P.O. Why the impact factor of journals should not be used for
evaluating research. BMJ, February 1997, p. 314-497
• Declaração de São Francisco sobre Avaliação em Pesquisa (DORA) -
http://am.ascb.org/dora/
• SciELO Citation Index no Web of Science. SciELO em Perspectiva.
http://blog.scielo.org/blog/2014/02/28/scielo-citation-index-no-web-of-science/
• Autores cujo idioma nativo não é o inglês e editores, avaliam dificuldades
e desafios para publicar em periódicos internacionais. SciELO em
Perspectiva http://blog.scielo.org/blog/2014/05/19/autores-cujo-idioma-nativo-nao-e-o-
ingles-e-editores-avaliam-dificuldades-e-desafios-para-publicar-em-periodicos-internacionais/
• Países em desenvolvimento liderados pela China ameaçam domínio norte-
americano na ciência. SciELO em
Perspectiva http://blog.scielo.org/blog/2014/04/17/paises-em-desenvolvimento-liderados-
pela-china-ameacam-dominio-norte-americano-na-ciencia/
• Você compartilha, eu curto e nós geramos métricas. SciELO em
Perspectiva. http://blog.scielo.org/blog/2013/08/08/voce-compartilha-eu-curto-e-nos-
geramos-metricas/