O documento discute várias métricas e indicadores para avaliar o impacto científico, incluindo o Fator de Impacto, SCImago Journal Rank, SNIP, Eigenfactor, Índice h, medidas de uso e download, e o potencial das redes sociais. Também aborda bases de dados como Scopus, Web of Science e qualificação Qualis da Capes.

1. Avaliação da ciência: métricas de impacto
Dra. Lilian Calò
Comunicação Científica em Saúde
BIREME/OPAS/OMS
calolili@paho.org

2. Illustration by David Parkins
Fonte: Nature 544 (7651), 411, 2017 | doi:10.1038/544411a

3. Avaliação da Produção Científica
• É importante avaliar a produção científica para traduzir os resultados de
pesquisa em programas e políticas públicas e saber o que é relevante
• Indicadores de impacto científico:
• Fator de Impacto
• SCImago Journal Rank
• SNIP – Source normalized impact per paper
• Eigenfactor/Article Influence
• Índice h
• Medidas de uso e download
• Altmetrics
• Indexação em bases de dados regionais e internacionais:
• LILACS
• Scopus
• SciELO
• MEDLINE
• Web of Science/JCR
• Redes sociais na avaliação de impacto

4. A quem interessa medir impacto imediato?
Agências de fomento Governos Instituições de pesquisa
Pesquisadores Periódicos Bases de dados e publishers

5. Impacto: Capacidade que uma descoberta ou um conjunto de
descobertas têm de mudar a estrutura das redes de
interação entre as formas de pensamento dos seres
humanos, sociedades locais ou globais, gerando
deformações (mudanças) no mundo físico
Uma nova ideia interfere na maneira como nosso cérebro
entende e interpreta os fenômenos
O impacto no campo intelectual causa esse "distúrbio" no cérebro
de uma ou mais pessoas

7. Fator de Impacto
• Criado em 1955 por Eugene Garfield
• Utiliza a base Web of Science (Clarivate Analytics)
• FI = Citações recebidas / numero de artigos por intervalo de tempo
• É calculado em base a 2 ou 5 anos para efeito de comparação de áreas com distintos
parâmetros de citação
Por exemplo, FI de NEJM em 2008:
Citações recebidas em 2008 a artigos publicados em 2007 e 2006: 32.311
Artigos publicados em 2007 e 2006: 646
Fator de Impacto do NEMJ = citações/artigo = 32.311/646 = 50,017
• Críticas ao FI:
✓ É impreciso, pois o que conta no numerador não é levado em conta no
denominador;
✓ É um valor médio por periódico e não por artigo
✓ Existem artifícios para aumentar o FI de periódicos, como artigos de revisão,
editoriais de impacto que serão muito citados e outros;
✓ Disponível em uma base de dados de acesso restrito (pago) disponível
através do Portal Capes
• Por que é tão popular? Por ter sido o pioneiro, por ser simples de calcular
• Limitações: DORA (San Francisco Declaration on Research Assessment), Manifesto
de Leiden

10. SCImago Journal Rank
• SCImago Journal & Country Rank é uma medida de impacto científico das revistas
acadêmicas que representa o número de citações recebidas por uma revista e a
importância ou prestigio das revistas de onde tais citações provem;
• Utiliza a base de dados Scopus (criada em 2004, registra dados desde 1997) e
acumula citações em 3 anos. Publicado por primeira vez em 2008.
• Utiliza o algoritmo PageRank, utilizado pelo Google para ordenar as páginas mais
visitadas em uma busca;
• É um indicador independente de tamanho e seus valores ordenam os periódicos
pelo seu "prestigio médio por artigo" e pode ser utilizado para comparações de
revistas nos processos de avaliação em ciências;
• Disponível em uma base de dados em acesso aberto, http://www.scimagojr.com/
apesar da base Scopus depender de assinatura.

11. Fonte: Rocha e Silva, M. – SciELO - II Seminário de Avaliação do Desempenho dos Periódicos Brasileiros no JCR 2010

12. Source Normalized Impact per Paper (SNIP)
• Utiliza a base Scopus
• Mede o impacto das citações ponderando as citações com base
no número total de citações em uma área específica utilizando
dados da base Scopus
• SNIP corrige as diferenças de práticas de citações entre áreas do
conhecimento, permitindo comparacões mais equilibradas entre
áreas distintas

13. Cite Score Metrics
• Utiliza a base Scopus, foi lançado em Dez/2016
• Não cobre apenas periódicos, mas também séries de livros, anais
de congressos e trade journals – revistas comerciais não arbitradas
de notícias e tendências de uma área industrial específica.
• Cite score metrics é a razão entre número de citações que um
artigo recebe no período de três anos (nas fontes mencionadas
acima) dividido pelo número de artigos indexados (que inclui as
fontes mencionadas acima)
• Ou seja, ao contrário do FI, o Cite Score utiliza no denominador o
mesmo critério do numerador.

15. Eigenfactor
• Eigenfactor utiliza mesmo algoritmo PageRank do classificador de páginas do
Google;
• O sistema de classificação de periódicos utilizando Eigenfactor leva em conta a
diferença de prestigio entre os periódicos que citam;
• Eigenfactor também se ajusta para diferenças de padrões de citação entre
disciplinas, permitindo comparar desempenhos entre elas utilizando o mesmo
índice. Baseia nas citações recebidas em um período de cinco anos.
• Outra particularidade de Eigenfactor: diferente do fator de impacto, unifica e
contabiliza citações em revistas nos campos de ciências e ciências sociais;
• Elimina autocitações. São descontadas cada referencia de um artigo em uma
revista a outro artigo da mesma revista.
• Utiliza a base de dados Web of Science. O cálculo matemático foi idealizado de
forma que a soma de Eigenfactor de todos os periódicos indexados no JCR seja
igual a 100.
• O índice Eigenfactor se encontra disponível em acesso aberto
(www.eigenfactor.org) e também na Web of Science

16. Article Influence
• O Article Influence de um determinado periódico é a medida do prestigio deste
periódico por artigo. É calculado por meio da divisão do Eigenfactor pela fração
de artigos publicados pelo periódico. Esta fração se normaliza, para que a soma
total de artigos em todos os periódicos seja igual a 1;
• Assim, enquanto o Eigenfactor leva em conta toda a rede de citações recebidas
nos últimos cinco anos por todos os artigos do periódico, Article Influence é uma
medida do prestigio deste periódico tendo por base as citações por artigo;
• O valor médio do Article Influence é igual a 1.00. Valores maiores que 1 indicam
que cada artigo no periódico exerce una influencia acima da media e valores
menores que 1 indicam que cada artigo do periódico em questão exerce
influencia abaixo da media;
• O índice Article Influence encontra-se disponível em acesso aberto
www.eigenfactor.org e também na Web of Science.

18. Índice h
• Idealizado pelo físico norte-americano J.E. Hirsch (2005)
Proc. Natl. Acad. Sci. USA vol. 102 (46) 16569-16572;
• É um índice para quantificar a produtividade científica de um pesquisador,
departamento ou instituição;
• Índice h é definido como o número de publicações com citações > h;
• Este índice normaliza as diferentes áreas de conhecimento;
• Um autor com 20 publicações com 20 citações cada tem um índice h igual a
20.
• É possível calcular o índice h de una revista. Uma publicação tem índice h 50
se tiver 50 artigos com 50 citações cada.

19. 1946-2018
Como calculary el índice h de una institución

21. Bases de dados
Permitem organizar e catalogar as revistas;
Realizar buscas por assunto, autor, periódico,
palavras-chave;
Sua função primordial é separar os periódicos
tendo como critério a qualidade dos artigos
publicados;
Os critérios variam pouco entre as varias bases
regionais e internacionais;
Para que sejam mais representativas, as bases
não devem indexar a totalidade dos periódicos,
e sim os mais representativos.

22. Comparação entre critérios de Bases de Dados
Scopus LILACS SciELO Medline
Web of
Science
JCR
Número de títulos na base 25.184 899 1.391 5.249 13.022 11.877
Percentagem de aprovação 40% 30-40% 10-15% 20% 10-15% 10%
Periodicidade e Regularidade Importância relativa Sim Sim Sim
Recomendações ICMJE* Não Sim ou outro padrão Sim ou outro padrão Sim
Peer Review Importância relativa Sim Sim Sim
Análise de Citações Importância relativa Não Sim Importância relativa
Diversidade Internacional de autores Importância relativa Não Sim Importância relativa
Diversidade do Comitê Editorial Importância relativa Sim Sim Sim
Mérito e caráter científico Importância relativa Sim Sim Sim
Título, resumo e descritores em inglês Importância relativa Sim Sim Sim
Registro de Ensaios Clínicos Importância relativa Sim Sim Sim
Acesso Aberto Não Sim Sim Não
Artigos na área da saúde e biomedicina Não Sim Não Sim
Atualizado Set/2020
*ICMJE - Uniform Requirements for Manuscripts Submitted to Biomedical Journals. http://www.icmje.org/
Não
Critérios
Sim
Importância relativa
Sim
Sim
Sim
Não
Sim
Sim
Sim
Sim
Principais Bases de Dados Bibliográficas

23. Medidas de uso e download

24. Qualis - CAPES
https://sucupira.capes.gov.br/sucupira/
Reiteramos [...] que as informações do Qualis - Periódicos disponíveis para consulta
referem-se [...] apenas a 2010-2012 e 2013-2016. [...] Em relação ao novo modelo do
Qualis Referência, ele ainda se encontra em fase de discussão e aprimoramentos
pelas Áreas de Avaliação.
[...] De forma que se tenha uma versão final até a próxima Avaliação Quadrienal em
2021, quando os estratos atualizados serão publicados pela CAPES.
Relatório Qualis Periódicos para MEDICINA 1 – 2019
Indicadores para classificação da produção científica:
1. Fator de Impacto (JCR / Web of Science – Clarivate)
2. CiteScore – Scopus Elsevier
3. H5 - Google Scholar
Cada periódico passa a ter um único estrato, independente
da área, ao contrário do que ocorria até 2016, quando os
periódicos apresentavam inúmeros estratos, um para cada
área em que eram classificados, a depender dos critérios que estas adotavam.
Percentil Estrato
87,5 A1
75 A2
62,5 A3
50 A4
37,5 B1
25 B2
12,5 B3
<12,5 B4
sem índice C

25. As redes sociais podem contribuir para medir
impacto científico?
• Redes sociais oferecem novas
perspectivas para medir impacto
científico
•As redes sociais estimulam a
construção de novas redes e conectam
pesquisadores, editores, estudantes e
instituições acadêmicas
“Menos da metade dos artigos publicados são citados uma vez ou mais, ou seja, quando
discutimos citação como referência para o uso do artigo, invariavelmente deixamos de
lado pelo menos metade da pesquisa que é feita no mundo”
(Entrevista com Atila Iamarino. SciELO em Perspectiva.
http://blog.scielo.org/blog/2013/11/29/entrevista-atila-iamarino/)

27. Redes Sociais e impacto científico
• Métricas existentes baseadas em citações tem limitações conhecidas
• Redes sociais podem ser usadas para prever impacto científico. Tweets podem
antecipar se um artigo será altamente citado depois de três dias de sua
publicação
• Altmetric indica o impacto de um artigo com base em sua disseminação em
redes sociais; indicador é atualizado diariamente

28. Em Altmetrics, as diferentes redes sociais têm pesos distintos
Fonte: https://help.altmetric.com/support/solutions/articles/6000060969-
how-is-the-altmetric-score-calculated-

30. Ainda falta considerar…
É possível (e necessário) normalizar de métricas de citação. Elas dependem,
entre outras variáveis, de:
• Área do conhecimento
• Idade da publicação,
• Tipo de documento
• Cobertura da base de dados
• Dos motivos para citar publicações em artigos
O trabalho mais citado de um pesquisador é seu melhor trabalho?
Possivelmente sim, mas há inúmeras variáveis que sugerem que é necessário
recorrer a outros índices além das métricas baseadas em citações para
complementar a avaliação da ciência.