O documento discute os principais indicadores utilizados para avaliar a produção científica, como o fator de impacto. Apresenta os critérios de avaliação da produção científica, que incluem o que é produzido, quanto é produzido e com que qualidade. Explora em detalhe o cálculo e limitações do fator de impacto, especialmente em diferentes áreas do conhecimento.

1. O fator de impacto e outras
medidas de visibilidade das
publicações científicas
PPGCOM20 out. 2009

2. Conteúdos da apresentação
 Critérios de avaliação da produção científica
 O que é produzido?
 Quanto é produzido?
 Com que qualidade é produzido?
 Fator de Impacto (2 e 5 anos)
 Obsolescência da literatura (meia vida das citações e índice
de citação imediata)
 Densidade
 Scimago Journal Ranking
 Índice H
Indicadores

3. Critérios de avaliação da produção
científica
 O que é produzido?
 Quanto é produzido?
 Com que qualidade é produzido?

4. O que é produzido?

5. Critérios de avaliação da produção científica (1/3):
O que é produzido?
Abordagem de problemas de caráter
predominantemente nacional
(Produção Endógena)
X
Tratamento de temáticas comuns aos interesses
dos países desenvolvidos – mainstream
(Produção Exógena)
FORATTINI, O.P. A tríade da publicação científica. Revista de Saúde Pública, São
Paulo, v. 30, n. 1, 1996.

6. Critérios de avaliação da produção científica
“Em termos de comunicação científica, as duas
principais características do pesquisador são a
quantidade de informações que comunica e a
sua qualidade.“
"Como se pode estudar isto?"
MEADOWS, A.J. A comunicação científica. Brasília: Briquet de Lemos, 1999. p. 85
Quanto? Como?

7. Indicadores

8. Indicadores
 Os indicadores bibliométricos (cientométricos,
webométricos, infométricos, etc.) permitem a
comparação entre um conjunto de agentes
científicos com a finalidade de detectar
diferenças relevantes que sirvam para
caracterizar o comportamento de cada um dos
elos do sistema .
MALTRÁS BARBA, Bruno. Los Indicadores Bibliométricos: fundamentos y aplicación al análisis de la

9. Antecedentes
 Os valores atribuídos aos produtos da
atividade científica são relativos aos padrões
advindos das características dos diferentes
campos científicos
 Qualquer metodologia de avaliação deve
considerar a natureza dos campos
Moya Anegón, Felix de. Análisis bibliométrico de los resultados de investigación en ciencias
sociales y humanidades: limitaciones y oportunidades. Apresentação realizada no "Seminário de

10. Quanto é produzido?

11. Critérios de avaliação da produção científica (2/3):
Quanto é produzido?
Esta é fácil:
Determina-se quantas publicações foram escritas
por um cientista em um dado momento!
Fácil... será?
A questão deixa de ser trivial quando as diferenças
entre as áreas do conhecimento são examinadas.

12. Fonte: Censo 2004 do diretório dos grupos de pesquisa do CNPq. Disponível em:

13. Indicadores
Com que qualidade o trabalho foi
produzido?

14. Critérios de avaliação da produção científica (3/3):
Com que qualidade é produzido?
 Avaliação por pares
 Ex.: consultoria ad hoc, Sistema Qualis
 Indicadores de impacto
(considerando, neste caso, citação=visibilidade =
qualidade?!)
 Ex.: Fator de impacto (Thomson Reuters),
Scimago Journal Ranking

15. Moya Anegón, Felix de. Análisis bibliométrico de los resultados de investigación en ciencias
sociales y humanidades: limitaciones y oportunidades. Apresentação realizada no "Seminário de
Comunicação Científica, São Paulo, 13 de junho de 2008".

16. SPINAK, Ernesto. Indicadores cienciométricos. Ciência da Informação, Brasília, v. 27, n.2, p.142,
maio/ago. 1998. Link

17. Requisitos para o cálculo dos índices de
impacto
 Existência de bases de dados que indexem:
 uma quantidade representativa de documentos;
 as referências citadas nas publicações.
Atualmente, as principais bases de dados para o
cumprimento desta finalidade são a Web of
Science, a Scopus e o Google Acadêmico

18. Todavia...
 Tradicionalmente, as bases de dados capazes
de fornecer informações sobre o impacto dos
trabalhos centram-se basicamente no
conhecimento veiculado em periódicos
internacionais!

19. Moya Anegón, Felix de. Análisis bibliométrico de los resultados de investigación en ciencias sociales
y humanidades: limitaciones y oportunidades. Apresentação realizada no "Seminário de
Comunicação Científica, São Paulo, 13 de junho de 2008".

20. Implicações da limitação do escopo dessas
bases
 A valorização da competitividade, o impacto e
a visibilidade internacionais
-Produção Exógena-

21. Todas as áreas são norteadas por estes
valores?

22. Partindo dos indicadores
desenvolvidos para os trabalhos
publicados em periódicos
internacionais…

23. Fator de Impacto

24. O fator de impacto (FI)
 Há décadas o principal indicador de
visibilidade das publicações
 Publicado anualmente no Journal Citation
Reports (JCR)

25. O FI como critério de avaliação da produção
científica
 Trabalhos publicados em periódicos com alto
FI são considerados melhores do que os
publicados em periódicos com FI menores.

26. Como o FI é calculado?

27. A Origem da Fórmula do FI
 Idealizado por Eugene Garfield e Irving Sher
 Definição dos títulos a serem indexados no
Science Citation Index (SCI)
GARFIELD, Eugene; SHER, I. H. New factors in the evaluation of scientific literature through
citation indexing. American Documentation, New York, v.14, n.3, p. 195-201, July 1963.

28. Definição da Fórmula do FI
 Normalização das citações pelo número de
artigos publicados no periódico
 Periódicos de revisão
 Tipos de documentos citados
 Em 1965, Derek de Solla Price verificou que 12 das 15
referências correspondiam a artigos de periódicos
 Idade das referências citadas
 21 a 25% das referências são a trabalhos publicados
nos últimos três anos ou menos

29. Motivos do sucesso do FI como critério
de avaliação da produção científica
 Dificuldades relacionadas com o levantamento
de dados de citações a trabalhos individuais
 Facilidade de compreensão
 “Robustez” (pequena variação de um ano
para outro)
 Rápida disponibilidade
GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics,

30. Todavia...
 a comparação de fatores de impacto de
periódicos de áreas de diferentes ou, até
mesmo, de sub-áreas diversas de uma mesma
área é impraticável

31. Comparação de valores absolutos de FI de
periódicos de diferentes áreas

32. Variação dos Valores Médios de FI por Áreas
do Conhecimento
AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in Publising, n. 1, p. 3, Oct.

33. FI Médio das Áreas dos Periódicos Citados na CSP

34. Diferenças nos valores de FI das
(sub-)áreas: principais fatores
 Pelo menos dois fatores contribuem para
as diferenças de FI
 Densidade dos artigos: número médio de
referências citadas por artigo
 Idade das citações/Ritmo de obsolescência:
número médio de referências recentes citadas por
artigo, Índice de Citação Imediata, Meia-vida das
citações

35. Densidade e idade das citações: exemplo
 Oncologia
 Densidade dos artigos
 Idade das citações
 Matemática
 Densidade dos artigos
 Idade das citações

36. Densidade

37. Correlação entre o número médio de referências e
de citações feitas aos artigos, por área
Referências por artigos/
citações recebidas em média
Áreas do Conhecimento
Pouca densidade/entre 5 e 6 Engenharia, Tecnologia e Matemática
Média densidade/entre 8 e 10 Psicologia e Biologia
Alta densidade/entre 12 e 15 Astronomia, Geologia, Física, Química e Medicina Clínica
Altíssima densidade/18 e 20 Pesquisa Biomédica
NARIN, F. Evaluative bibliometrics: the use of publication and citation analysis in the evaluation of
Dados possivelmente desatualizados, mas o que vale
é a diferença observada nos padrões de citação

38. Idade das citações/Ritmo de
obsolescência

39. Ritmo de obsolescência
 É a diminuição da utilização da informação no
decorrer do tempo.
 Medidas criadas pelo ISI
 Índice de Citação Imediata (ICI)
 Meia-vida das Citações (MV)

40. Índice de Citação Imediata (ICI)
 Medida da velocidade com que os novos conhecimentos
são incorporados à literatura
 Quanto maior o ICI maior o ritmo de obsolescência da
literatura
 Fórmula:

41. A proximidade dos valores do FI com o ICI
 Os valores de FI e do ICI são freqüentemente
muito próximos.
 Isto ocorre porque não só o ICI, mas também
o FI, coloca em destaque os títulos que
publicam pesquisas correntes, de fronteira.
GARFIELD, Eugene. Use of Journal Citation Reports and Journal Performance Indicators in

42. Proporção de Artigos Indexados pelo ISI e não Citados nos
Primeiros Cincos Anos após sua Publicação, por Área
HAMILTON, David. Research papers: who’s uncited now. Science, Washington, v. 251, n. 25, p. 25,

43. A Meia Vida das Citações (MV)
 A MV é definida como o tempo (em anos) para
que 50% das citações recebidas por um
periódico apareçam na literatura
 Quanto maior a MV menor o ritmo de
obsolescência da literatura
 No JCR são calculados dois indicadores para
medir a MV, de modo a medir a idade das
citações:
 Concedidas; e,
 Recebidas.

44. MV: a fórmula

45. Um jeito mais simples de explicar a MV
 A explicação:
 O " ANAIS DA ACADEMIA BRASILEIRA DE CIENCIAS " foi citado 756 vezes em 2007.
 Metade deste número é: 378.
 Precisa-se saber o tempo transcorrido para que sejam alcançadas estas 378 citações, repassando
os anos em sentido decrescente.
 Somando-se o número de citações para os artigos publicados de 2007 a 2000 tem-se 382 citações
(50,53%), ou seja, 8 anos.
 Contudo, precisa-se calcular o tempo para que os exatos 50% das citações atingidas. Assim, se no
período de 2007 a 2001 (7 anos) tem-se 328 citações, precisa-se de mais 50 citações para que
seja completadas as 378.
 Como estas 50 citações correspondem a 92,6% das 54 citações recebidas em 2007 para os
artigos publicados em 2000, tem-se que a meia-vida dos “Anais da ABC" é 7,9 anos.

46. O FI de 5 anos para áreas que obsolescem
mais lentamente

47. FI de 2 ou de 5 anos? A resposta seria o
valor da MV?

48. A Física no Brasil
Um exemplo de uso desastroso do FI
para avaliação da Produção Científica
 Diferenças entre sub-áreas específicas
 Evolução temporal dos valores

49. Distribuição de Valores de FI em Diferentes
Sub-áreas da Física
STREHL, Letícia. Relação entre algumas características de periódicos de física e seus fatores de impacto. Orientação Ida R.C. Stumpf. 2003. Dissertação
(Mestrado em Comunicação e Informação)- Programa de Pós-graduação em Comunicação e Informação da Universidade Federal do Rio Grande do Sul, Rio
Grande do Sul, 2003.

50. Variação do FI de Três Periódicos com FI
Próximo de 1 no anos de 1993 a 2000
0
0,2
0,4
0,6
0,8
1
1,2
1,4
1,6
1993 1994 1995 1996 1997 1998 1999 2000
ValoresdeFI
J. MAGNETISM AND
MAGNETIC MATERIALS
INTERNATIONAL J. MODERN
PHYSICS B
NUCLEAR INSTRUMENTS &
METHODS IN PHYSICS
RESEARCH A
STREHL, Letícia. Relação entre algumas características de periódicos de física e seus fatores de impacto. Orientação Ida R.C. Stumpf. 2003. Dissertação
(Mestrado em Comunicação e Informação)- Programa de Pós-graduação em Comunicação e Informação da Universidade Federal do Rio Grande do Sul, Rio
Grande do Sul, 2003.

51. Percentual de Periódicos que de um Ano para o
Outro Mudaram de Categoria de FI da CAPES
STREHL, Letícia. Relação entre algumas características de periódicos de física e seus fatores de impacto. Orientação Ida R.C. Stumpf. 2003. Dissertação
(Mestrado em Comunicação e Informação)- Programa de Pós-graduação em Comunicação e Informação da Universidade Federal do Rio Grande do Sul, Rio
Grande do Sul, 2003.

52. Uma alternativa para uso do FI de modo
relativo às sub-áreas
0,000
1,000
2,000
3,000
4,000
5,000
0,000 0,200 0,400 0,600 0,800 1,000 1,200 1,400 1,600 1,800
Percentil 50
Percentil75
F. Aplicada Óptica
F. Atômica, Molecular e Química F. Matéria Condensada
F. Fluídos e Plasmas F. Matemática
Astronomia e Astrofísica F. Nuclear
F. Partículas e Campos
> 0,947 =
Qualis A
> 1,659 =
Qualis A

54. ... a Conclusão
 Complexa rede de fatores associada à forma
como FI é calculado pelo ISI. Influência:
 Tamanho e ritmo de obsolescência na comparação
geral
 Ritmo de obsolescência e densidade na comparação
por sub-áreas

55. Corruptela do FI do periódico:
o FI do autor
 Divide-se o número de citações recebidas por
um dado autor pelo número de artigos que ele
publicou
 Sabidamente é um índice que não funciona, o
tamanho da amostragem dos dados não é
suficiente para eliminar possíveis distorções

56. SCImago is a research group from the Consejo Superior de
Investigaciones Científicas (CSIC), University of Granada,
Extremadura, Carlos III (Madrid) and Alcalá de Henares,
dedicated to information analysis, representation and
retrieval by means of visualisation techniques. SCImago is a
research group from the Consejo Superior de Investigaciones
Científicas (CSIC), University of Granada, Extremadura,
Carlos III (Madrid) and Alcalá de Henares, dedicated to
information analysis, representation and retrieval by means
of visualisation techniques.
Scimago Journal Ranking

57. Novos indicadores para periódicos e países do
Portal Scimago (dados da )
http://www.scimagojr.com/

59. Quanto é produzido?
Com que qualidade é produzido?
Índice H

60. Surgimento do Índice H
 Indicador de produtividade e impacto de um
cientista

61. O que é o índice H
 Definição: h é o número de artigos publicados
por um pesquisador que obtenham um total
de citações igual ou superior a h
HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the

62. Exemplo de índice H: Stephen Hawking
Stephen Hawking, autor de
"Uma Breve História do
Tempo": seu h é 62, ou seja,
ele já publicou 62 trabalhos
que receberam pelo menos 62
citações.

63. Usando a Web of Science, a Scopus e
o Google Acadêmico para calcular o
Índice H

64. O índice H calculado com a Web of
Science

65. Para visualizar como é obtido o índice H
 Os artigos de um autor são ordenados de
modo decrescente por número de citações,
quando o número de artigos coincidir com o
número de citações obtem-se o índice H

66.  A influência das inconsistências das
referências bibliográficas no cálculo
do índice H de um pesquisador:
Possibilidade de checagem com a
busca por referências da WoS

67. Busca por Referências Citadas

68. Campos de pesquisa
 Autor citado (cited author)
 Trabalho citado (cited work)
 Anos citados (cited year)

69. Comparação com os resultados obtidos a
partir da “Busca geral”
 Vantagens:
 Geralmente, inclui um número maior de citações
 Contempla itens não indexados na Wos
 Desvantagem:
 Considera como sendo artigos diferentes
referências citadas de modo incorreto

70. Exemplo Sabarreto FC
Geral Referências citadas
Trabalhos 15 25
Citações 143 267
Estas diferenças não comprometem
o cálculo do índice H?

71. Researcher ID: para facilitar o acesso às
informações sobre um pesquisador (1)

72. Researcher ID: para facilitar o acesso às
informações sobre um pesquisador (2)

73. O índice H da Scopus (1)

74. O índice H da Scopus (2)

75. O índice H do Google Acadêmico com o
aplicativo “Publish or Perish” (1)

76. O índice H do Google Acadêmico com o
aplicativo “Publish or Perish” (2)
 Cobertura extensa, mas indenfinida
 Problemas de recuperação dos registros:
 inconsistência dos dados
 qualidade dos metadados

77. Dificuldades do Índice H para comparação de
desempenho dos cientistas
 Padrões de citação distintos verificados nas diversas
áreas
 Artigos escritos em co-autoria
 Influência do tempo de atividade do pesquisador

78. O desafio
 A avaliação capaz de considerar as diferenças
existentes entre as várias (sub-)áreas
 Desenvolvimento de indicadores que valorizem
as publicações de qualidade que tratam de
problemas regionais e que não são publicadas
em periódicos internacionais

79. O que faz e o que não faz a cientometria
 La ciencimetría puede ser usada para desarrollar
herramientas orientadas a la evaluación de la
investigación, pero no puede evaluar los
resultados de investigación
 La ciencimetría no tiene por objeto reemplazar
métodos cualitativos por cuantitativos
 Por tanto, la ciencimetría no pretende sustituir o
corregir los procesos de evaluación por expertos
(peer review) por métodos cuantitativos, en
todo caso complementarlos
Moya Anegón, Felix de. Análisis bibliométrico de los resultados de investigación en ciencias
sociales y humanidades: limitaciones y oportunidades. Apresentação realizada no "Seminário de
Comunicação Científica, São Paulo, 13 de junho de 2008".