Os indicadores cienciométricos

1. Curso de cienciometria
Aula 3
Letícia Strehl
Osindicadores
cienciométricos

2.  Indicadores
▪ De impacto de periódicos
 Fator de impacto, SJR, SNIP
▪ De produção e impacto de autores
 Índice H
▪ De impacto de artigos em redes sociais
 Altmetrias

3.  Indicadores
▪ De impacto de periódicos
 Fator de impacto, SJR, SNIP
▪ De produção e impacto de autores
 Índice H
▪ De impacto de artigos em redes sociais
 Altmetrias
E as inúmeras variações,
algumas adequadas, outras
não

4. Indicadores:
tipos e níveis de abrangência
0 Indicadores bibliométricos
0 De impacto (número de citações por artigo):
Fator de Impacto, SJR, SNIP
0 De produtividade e impacto: Índice H
0 Indicadores webométricos
0 Número de acessos e downloads
0 Altmetrias (impacto nas redes sociais)
Periódico
Autores
Artigos
Todavia, todos esses indicadores criados, originalmente, para medir padrões de
comunicação científica nos níveis acima destacados, são aplicáveis em
diferentes contextos: países, instituições, departamentos, áreas, PPGs, etc.

5. Indicadores de impacto
Média de citações por artigo de um periódico: fórmulas
variadas, cada qual com sua fonte de dados
FI
SJR
SNIP

6. Os dados e os indicadores:
Fator de impacto
SCI E SSCI NA WEB OF
SCIENCE
JOURNAL CITATION
REPORTS
Acesso via:Acesso via:

7. Os dados e os indicadores
SJR
Scopus Scimago
Acesso via: Acesso livre!

8. Os dados e os indicadores
SNIP
Scopus CWTS Journal Indicators
Acesso via: Acesso livre!

10. Indicadores
não normalizados
por área:
valores obtidos
para publicações
de áreas diversas
não podem ser
comparados!
Indicador
normalizado
por área:
comparação permitida!

11. O fator de impacto (FI)
0 Há décadas o principal indicador de visibilidade das publicações
0 Indicador criado em 1963 por Eugene Garfield e Irving Sher
0 Publicado anualmente no Journal Citation Reports (JCR) pela
consolidação dos dados de citação concedidas aos periódicos
indexados no:
0 Science Citation Index
0 Social Science Citation Index
Interface de acesso:
Cobertura:
mais 10.100 títulos

12. O FI como critério de avaliação da
produção científica
0Trabalhos publicados em periódicos
com alto FI são considerados melhores
do que os publicados em periódicos com
FI menores.

13. Como o FI é calculado?

14. Como o FI de 5 anos é calculado?
2 anos

15. Comparação entre dois periódicos de
mais alto impacto de áreas diversas
Periódico Área FI SJR SNIP
Ca-A Cancer Journal for Clinicians Oncologia 153,459 29,85 52,92
Journal of the American
Mathematical Society
Matemática 3,567 7,23 4,69
43x 4x 11x
Essa é uma diferença comparável segundo o CWTS

16. O Qualis CAPES para
“periódico”
Avaliação da produção científica na pós-graduação

17. O Qualis CAPES para
“periódico”
0 É o conjunto de procedimentos utilizados pela Capes para
estratificação da qualidade da produção intelectual dos
programas de pós-graduação.
0 O Qualis afere a qualidade [sic] de um artigo pela qualidade [sic]
do periódico científico que o publicou.
0 A classificação de periódicos é realizada pelas áreas de avaliação
e passa por processo anual de atualização.
0 Os periódicos são enquadrados em estratos indicativos da
qualidade [sic] - A1, o mais elevado; A2; B1; B2; B3; B4; B5; C -
com peso zero.
0 Um mesmo periódico, ao ser classificado em duas ou mais áreas
distintas, pode receber diferentes avaliações.
0 O aplicativo que permite a classificação e consulta ao Qualis é o
WebQualis.

18. Informações
sobre a
avaliação na
página da
CAPES
Critérios de
classificação dos
periódicos
Enquadramento
de cada
periódico por
área

20. Critérios e enquadramento
em estratos
Critérios Qualis Classificação

21. Algumas áreas associam os estratos do
Qualis aos valores de outros indicadores

22. Outras áreas associam os estratos do Qualis à
indexação do periódico em bases de dados
específicas

23. O produto de aplicação dos critérios é uma
lista de periódicos por estrato para cada área

24. Crítica 1

25. O uso do FI para definição do Qualis dos periódicos
nas áreas “Medicina” de 1 a 3 na CAPES
Estratos
Faixas de FI por área de avaliação
Medicina I Medicina II Medicina III
A1 >3,8 >3,8 >2,96
A2 Entre 3,799 e 2,5 Entre 3,8 e 2,36 Entre 2,29 e 2, 96
B1 Entre 2,499 e 1,3 Entre 2,36 e 1,1 Entre 1,35 e 2,28
B2 Entre 1,299 e 0,001 Entre 1,1 e 0,11 Entre 0, 1 e 1,34
B3 <0,11
Fonte: Documentos de Área disponível na página da CAPES em: http://www.capes.gov.br/avaliacao/areas-paginas

26. Os diferentes padrões de FI das subáreas de
uma mesma área de avaliação
Subárea da
medicina
Áreas do JCR Mediana do FI FI Agregado
Meia-Vida
Agregada
CANCEROLOGIA ONCOLOGY 2,455 4,604 5,7
CARDIOLOGIA
CARDIAC &
CARDIOVASCULAR
SYSTEMS 1,993 3,769 6,3
DERMATOLOGIA DERMATOLOGY 1,667 2,253 7,5
ENDOCRINOLOGIA
ENDOCRINOLOGY &
METABOLISM 2,796 4,072 6,6
GASTROENTEROLO
GIA
GASTROENTEROLOGY
& HEPATOLOGY 2,210 3,606 6
MEDICINA LEGAL E
DEONTOLOGIA MEDICINE, LEGAL 1,159 1,605 6,6
PNEUMOLOGIA RESPIRATORY SYSTEM 2,272 3,403 6,9
Medicina I

27. Os diferentes padrões de FI das subáreas de
uma mesma área de avaliação
Medicina II
Subárea da medicina Áreas do JCR
Mediana
do FI
FI
Agregado
Meia-Vida
Agregada
ALERGOLOGIA E
IMUNOLOGIA CLÍNICA ALLERGY 1,985 3,623 6
ANATOMIA PATOLÓGICA
E PATOLOGIA CLÍNICA ANATOMY & MORPHOLOGY 1,471 1,689 8,5
DOENÇAS INFECCIOSAS E
PARASITÁRIAS INFECTIOUS DISEASES 2,594 3,79 6
HEMATOLOGIA HEMATOLOGY 2,747 5,173 6,4
NEUROLOGIA CLINICAL NEUROLOGY 1,994 3,006 7
PEDIATRIA PEDIATRICS 1,314 1,858 7,1
PSIQUIATRIA PSYCHIATRY 2,011 3,248 7,3
RADIOLOGIA MÉDICA
RADIOLOGY, NUCLEAR MEDICINE
& MEDICAL IMAGING 1,861 2,832 6,7
REUMATOLOGIA RHEUMATOLOGY 2,594 3,851 5,9

28. Os diferentes padrões de FI das subáreas de
uma mesma área de avaliação
Subárea da
medicina
Áreas do JCR
Mediana do
FI
FI Agregado
Meia-Vida
Agregada
ANESTESIOLOGIA ANESTHESIOLOGY 2,176 2,764 7,5
CIRURGIA SURGERY 1,263 2,105 7,6
GINECOLOGIA E
OBSTETRÍCIA
OBSTETRICS &
GYNECOLOGY 1,616 2,182 6,8
OFTALMOLOGIA OPHTHALMOLOGY 1,362 2,204 7,5
ORTOPEDIA ORTHOPEDICS 1,164 1,875 8,4
CIRURGIA SURGERY 1,263 2,105 7,6
Medicina III

29. Comparação de valores absolutos
de FI de periódicos de diferentes
áreas

30. Pelo menos dois fatores contribuem para
as diferenças de FI
0 Oncologia
0 Densidade dos artigos
0 Idade das citações
0 Matemática
0 Densidade dos artigos
0 Idade das citações

31. Fator de impacto e idade das citações de algumas
das áreas médicas

32. Variação dos valores médios de
FI por área do conhecimento
AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in Publising, n. 1, p. 3, Oct.

34. Motivos do sucesso do FI como critério de
avaliação da produção científica
0 Dificuldades relacionadas com o levantamento de
dados de citações a trabalhos individuais
0
0 Facilidade de compreensão
0 “Robustez” (pequena variação de um ano para outro)
0 Rápida disponibilidade
Fonte: GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics,
v. 53, n.2, p.171-193, 2002.

35. Motivos do sucesso do FI como critério de
avaliação da produção científica
0 Dificuldades relacionadas com o levantamento de
dados de citações a trabalhos individuais
0
0 Facilidade de compreensão
0 “Robustez” (pequena variação de um ano para outro)
0 Rápida disponibilidade
Tópico polêmico: O Fator de Impacto realmente revela
algo sobre o impacto dos artigos?
SILVA, Mauricio Rocha e. E. As certezas e incertezas do Fator de Impacto. Como o periódico Clinics se move nos meandros das citações. In:
Seminário de Avaliação do Desempenho dos Periódicos Brasileiros no JCR. São Paulo, 2011.

36. Além disso, hoje, existem recursos que
facilitam a coleta dos dados sobre as citações
aos trabalhos individualmente
A Plataforma
Lattes é um
exemplo

37. Identificadores digitais de autores em
diferentes bases de dados Integrados com a

38. Identificadores digitais no nível
do artigo: DOI
Digital object identifier (DOI) é
um código usado para identificar
inequivocamente o conteúdo de
vários tipos de redes eletrônicas.
O sistema DOI é particularmente
usado para documentos
eletrônicos tais como artigos de
periódicos.

39. A Plataforma Lattes agora
usa e abusa do DOI,
felizmente
Preenchimento
Visualização: DOI permite a integração com várias bases

40. O que medem os diferentes
indicadores?
LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of
the American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.
Impacto
Produção

41. Novos indicadores para periódicos e países do
Portal Scimago (dados da Scopus)
http://www.scimagojr.com/

43. Source Normalized Impact
per Paper (SNIP)
0 Medida contextual do impacto por citações pela
noramalização das citações com base nas citações
totais obtidas para os periódicos de certas áreas .
0 O impacto de uma única citação é maior nas áreas nas
quais as citações são menos prováveis, e vice-versa.
http://www.journalmetrics.com/snip.php

44. Scival e InCites operacionalizam
brilhantemente os indicadores
normalizados

45. Indicadores normalizados resolveriam
esse tipo de problema do Qualis

46. Crítica 2

47. 0 Contexto:
0 “Há uma necessidade premente de melhorar as maneiras em
que os resultados de pesquisa científica são avaliados por
agências de fomento, instituições acadêmicas e outras
partes.”
0 Crítica central:
0 Uso do Fator de Impacto para avaliação
http://www.ascb.org/dora/

48. http://www.ascb.org/dora/
Adesão das principais sociedades científicas
do mundo todo à Declaração

49. Limitações apontadas para o
uso do Fator de Impacto
0 “é fundamental entender que o Fator de Impacto
tem uma série de deficiências bem documentadas
como uma ferramenta para avaliação de pesquisa.
0 Estas limitações incluem:
0 distribuições de citação dentro periódicos são
altamente enviesada;
0 as propriedades do Fator de Impacto são específicos
do campo: é um composto de vários, altamente
diversos de tipos de artigos, incluindo trabalhos de
pesquisa primária e comentários;
0 os fatores de impacto podem ser manipulado pela
política editorial
0 os dados utilizados para calcular os fatores de
impacto não são transparentes (INVERDADE), nem
abertamente à disposição do público (VERDADE)
Fontes: http://www.ascb.org/dora/
Seglen, O . Why the impact factor of journals should not be used for evaluating research. British Medical
Journal 1997, 314: 497

50. Articles 2003-2007;
Citations 2008
Total of citations = 2195
MENEGHINI, R. Citations to papers from Brazilian institutions: a more effective indicator to assess productivity
and the impact of research in graduate programs. Brazilian Journal of Medical and Biological Research, v.
44, n. 8, p. 738–747, 2011.

51. Corruptela do FI do periódico:
o FI do autor
0 Divide-se o número de citações recebidas por um
dado autor pelo número de artigos que ele publicou
0 Sabidamente é um índice que não funciona, o
tamanho da amostragem dos dados não é suficiente
para eliminar possíveis distorções

52. Indicadores de produção &
impacto: Índice H
Relação entre o número de trabalhos que o
pesquisador publica e o número de citações que
recebe
1 fórmula, várias fontes de dados

53. O que é o índice H
h é o número de artigos publicados por um
pesquisador que obtenham um total de citações
igual ou superior a h
Fonte: HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the National
Academy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.

54. Exemplo de índice H:
Stephen Hawking
Stephen Hawking, autor de
"Uma Breve História do
Tempo": seu h é 74, ou seja,
ele já publicou 74 trabalhos
que receberam pelo menos 74
citações.
índice H calculado na

55. Exemplo de índice H:
Stephen Hawking
Stephen Hawking, autor de
"Uma Breve História do
Tempo": seu h é 74, ou seja,
ele já publicou 74 trabalhos
que receberam pelo menos 74
citações.

57. Fator de impacto e Índice H

58. O que medem os diferentes
indicadores?
LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of the American Society for
Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.
Impacto
Produção

59. O SJR e o FI podem ser
considerados equivalentes?
LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of the American Society for
Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.
Sim!

61. O que é o índice H
0 Definição: h é o número de artigos publicados por um
pesquisador que obtenham um total de citações igual
ou superior a h
Fonte: HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the National
Academy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.

62. Exemplo de índice H: Stephen
Hawking
Stephen Hawking, autor de
"Uma Breve História do
Tempo": seu h é 62, ou seja,
ele já publicou 62 trabalhos
que receberam pelo menos 62
citações.

63. O sentido do Índice H
I H I H
+
+
Produtivos
Citados
+
-
Produtivos
Citados
-
+
Produtivos
Citados
-
-
Produtivos
Citados
Legenda:
I= Impacto
H = Índice H
Alto
Baixo

64. Dificuldades do Índice H para comparação de
desempenho dos cientistas
0Padrões de citação distintos verificados nas
diversas áreas
0Artigos escritos em co-autoria
0Influência do tempo de atividade do pesquisador

65. O índice H calculado com a Web of Science

66. Para visualizar como é obtido o índice H
0 Os artigos de um autor são ordenados de modo
decrescente por número de citações, quando o número de
artigos coincidir com o número de citações obtem-se o
índice H

67. Researcher ID: para facilitar o acesso às
informações sobre um pesquisador (1)

68. Researcher ID: para facilitar o acesso às
informações sobre um pesquisador (2)

69. Researcher ID
www.researcherid.com
Vinculado ao ORCID
Integração somente com
Web of Science e Endnote
Acompanha citações e
índice H
Código numérico
proprietário
Identifica colaboradores

70. Researcher ID (perfil)
Dados do autor
Publicações
Métricas
Colaborações
e citações

71. Researcher ID (métricas)

72. Researcher ID (colaborações)
Autores

73. Researched ID (colaborações)
Áreas de classificação

74. Researched ID (colaborações)
Locais

75. Researched ID (colaborações)
Instituições

76. Researched ID (colaborações)
Apresenta no
mapa os países
de afiliação dos
pesquisadores
colaboradores
Ao clicar sobre a
letra apresenta
dados da publicação
realizada em
colaboração com
pesquisadores
daquela localidade.

77. Researcher ID (citações)
Autores
Apresenta o
o nome dos
pesquisadores
que mais
frequentemente
citaram o autor

78. Researcher ID (citações)
Áreas de publicação
Apresenta as áreas
de classificação
dos periódicos em
que o pesquisador
foi citado.

79. Researcher ID (citações)
Países
Apresenta os
países de afiliação
dos pesquisadores
que mais
frequentemente
citaram o autor

80. Researcher ID (citações)
Instituições
Apresenta as
instituições de
afiliação dos
pesquisadores que
mais
frequentemente
citaram o autor

81. Researcher ID (citações)
Apresenta no mapa
os países de
afiliação dos
pesquisadores que
citaram
publicações do
autor

82. Researcher ID (citações)
Anos

83. Researcher ID (cadastro)
Para fazer um
novo cadastro:
Clique no Item
“Join Now It´s
Free”
Se já possui login
na Web of
Science e
Endnote utilize
aqui o mesmo
login

84. O índice H da Scopus (1)

85. O índice H da Scopus (2)

86. O SJR e o FI podem ser
considerados equivalentes?
LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of
the American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.
Sim!

87. Indicadores altmétricos
Impacto nas redes sociais de um artigo

88. Impacto nas redes sociais:
indicador comparável aos demais ?
O Donut da Altmetric é o indicador mais popular!

89. O desafio em termos de
indicadores
0A avaliação capaz de considerar as diferenças
existentes entre as várias (sub-)áreas
0Desenvolvimento de indicadores que
valorizem os periódicos de qualidade que
tratam de problemas regionais