O documento discute os dilemas e indicadores para avaliação da produção científica, incluindo o Fator de Impacto, Qualis, Índice H, e Scimago Journal Ranking. Também aborda critérios como quantidade e qualidade da produção de acordo com a área do conhecimento.

1. Seminário especial de pesquisa
Letícia Strehl
Bibliotecária
Biblioteca Central - UFRGS

2.  Dilemas de avaliação da produção científica
 Indicadores das publicações científicas
 O Fator de Impacto daThomson Reuters
▪ O Qualis da CAPES nas áreas médicas
 O Índice H calculado em diversas bases de dados
 O Scimago Journal Ranking com dados da Scopus

3.  Critérios para analisar
 O que é produzido?
 Quanto é produzido?
 Com que qualidade é produzido?

4. Pesquisa de problemas predominantemente nacionais e
regionais
X
Pesquisa de problemas internacionais
Pesquisa Básica
X
PesquisaAplicada

5. “Em termos de comunicação científica, as duas
principais características do pesquisador são a
quantidade de informações que comunica e a
sua qualidade.“
"Como se pode estudar isto?"
Fonte: MEADOWS, A.J. A comunicação científica. Brasília: Briquet de Lemos, 1999. p. 85
Quanto? Como?

6. Esta é fácil:
Determina-se quantas publicações foram
escritas por um cientista em um dado
momento!
Fácil... será?
A questão deixa de ser trivial quando as
diferenças entre as áreas do conhecimento são
examinadas.

7. Fonte: Dados compilados do Censo 2010 do Diretório dos Grupos de Pesquisa.
http://dgp.cnpq.br/censos/sumula_estatistica/2010/producao/producao.htm
0 20,000 40,000 60,000 80,000 100,000120,000140,000
Ciências Agrárias
Ciências Biológicas
Ciências da Saúde
Ciências Exatas e daTerra
Ciências Humanas
Ciências Sociais Aplicadas
Engenharias e Ciência da
Computação
Lingüística, Letras e Artes
Produção de pesquisadores doutores segundo o tipo de produção e a
grande área no quadriênio 2007-2010
Capítulos de livros
Livros
Trabalhos completos
publicados em anais
Artigos em periódicos
internacionais
Artigos em periódicos
nacionais

8.  Avaliação por pares
 Ex.: consultoria ad hoc
 Indicadores de impacto
(considerando, neste caso, citação=visibilidade =
qualidade?!)
 Ex.: Fator de Impacto e Scimago Journal Ranking

9. Trabalhos importantes são freqüentemente
citados na literatura científica

10.  Existência de bases de dados que indexem:
 uma quantidade representativa de documentos;
 as referências citadas nas publicações.
Atualmente, as principais bases de dados para o
cumprimento desta finalidade são aWeb of
Science, a Scopus e o Google Acadêmico

13.  Tradicionalmente, as bases de dados capazes
de fornecer informações sobre o impacto dos
trabalhos centram-se basicamente no
conhecimento veiculado em periódicos
internacionais!

14. 200
129
62
30
310
266
208
147
0
50
100
150
200
250
300
350
2010 2009 2008 2007
Web of Science
Scopus

15. 0 20,000 40,000 60,000 80,000 100,000120,000140,000
Ciências Agrárias
Ciências Biológicas
Ciências da Saúde
Ciências Exatas e daTerra
Ciências Humanas
Ciências Sociais Aplicadas
Engenharias e Ciência da
Computação
Lingüística, Letras e Artes
Produção de pesquisadores doutores segundo o tipo de produção e a
grande área no quadriênio 2007-2010
Capítulos de livros
Livros
Trabalhos completos
publicados em anais
Artigos em periódicos
internacionais
Artigos em periódicos
nacionais

16. Partindo dos indicadores desenvolvidos para os
trabalhos publicados em periódicos
internacionais

18.  Há décadas o principal indicador de visibilidade das publicações
 Indicador criado em 1963 por Eugene Garfield e Irving Sher
 Publicado anualmente no Journal Citation Reports (JCR) pela
consolidação dos dados de citação concedidas aos periódicos
indexados no:
 ScienceCitation Index
 Social Science Citation Index
Interface de acesso:
Cobertura:
mais 10.100 títulos

19. SCI E SSCI NA WEB OF SCIENCE JOURNAL CITATION REPORTS
Acesso via:

20.  Trabalhos publicados em periódicos com alto
FI são considerados melhores do que os
publicados em periódicos com FI menores.

22. a comparação de fatores de impacto de periódicos de áreas de
diferentes ou, até mesmo, de subáreas diversas de uma mesma
área é impraticável

24.  Oncologia
 Densidade dos artigos
 Idade das citações
 Matemática
 Densidade dos artigos
 Idade das citações

26. 2 anos

27. AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in Publising, n. 1, p. 3, Oct.

29. Estratos
Faixas de FI por área de avaliação
Medicina I Medicina II Medicina III
A1 >3,8 >3,8 >2,96
A2 Entre 3,799 e 2,5 Entre 3,8 e 2,36 Entre 2,29 e 2, 96
B1 Entre 2,499 e 1,3 Entre 2,36 e 1,1 Entre 1,35 e 2,28
B2 Entre 1,299 e 0,001 Entre 1,1 e 0,11 Entre 0, 1 e 1,34
B3 <0,11
Fonte: Documentos de Área disponível na página da CAPES em: http://www.capes.gov.br/avaliacao/areas-paginas

30. Subárea da
medicina
Áreas do JCR Mediana do FI FI Agregado
Meia-Vida
Agregada
CANCEROLOGIA ONCOLOGY 2,455 4,604 5,7
CARDIOLOGIA
CARDIAC &
CARDIOVASCULAR
SYSTEMS 1,993 3,769 6,3
DERMATOLOGIA DERMATOLOGY 1,667 2,253 7,5
ENDOCRINOLOGIA
ENDOCRINOLOGY &
METABOLISM 2,796 4,072 6,6
GASTROENTEROLO
GIA
GASTROENTEROLOGY
& HEPATOLOGY 2,210 3,606 6
MEDICINA LEGAL E
DEONTOLOGIA MEDICINE, LEGAL 1,159 1,605 6,6
PNEUMOLOGIA RESPIRATORY SYSTEM 2,272 3,403 6,9
Medicina I

31. Medicina II
Subárea da medicina Áreas do JCR
Mediana
do FI
FI
Agregado
Meia-Vida
Agregada
ALERGOLOGIA E
IMUNOLOGIA CLÍNICA ALLERGY 1,985 3,623 6
ANATOMIA PATOLÓGICA
E PATOLOGIA CLÍNICA ANATOMY & MORPHOLOGY 1,471 1,689 8,5
DOENÇAS INFECCIOSAS E
PARASITÁRIAS INFECTIOUS DISEASES 2,594 3,79 6
HEMATOLOGIA HEMATOLOGY 2,747 5,173 6,4
NEUROLOGIA CLINICAL NEUROLOGY 1,994 3,006 7
PEDIATRIA PEDIATRICS 1,314 1,858 7,1
PSIQUIATRIA PSYCHIATRY 2,011 3,248 7,3
RADIOLOGIA MÉDICA
RADIOLOGY, NUCLEAR MEDICINE
& MEDICAL IMAGING 1,861 2,832 6,7
REUMATOLOGIA RHEUMATOLOGY 2,594 3,851 5,9

32. Subárea da
medicina
Áreas do JCR Mediana do FI FI Agregado
Meia-Vida
Agregada
ANESTESIOLOGIA ANESTHESIOLOGY 2,176 2,764 7,5
CIRURGIA SURGERY 1,263 2,105 7,6
GINECOLOGIA E
OBSTETRÍCIA
OBSTETRICS &
GYNECOLOGY 1,616 2,182 6,8
OFTALMOLOGIA OPHTHALMOLOGY 1,362 2,204 7,5
ORTOPEDIA ORTHOPEDICS 1,164 1,875 8,4
CIRURGIA SURGERY 1,263 2,105 7,6
Medicina III

33.  Dificuldades relacionadas com o levantamento de
dados de citações a trabalhos individuais

 Facilidade de compreensão
 “Robustez” (pequena variação de um ano para
outro)
 Rápida disponibilidade
Fonte: GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics,
v. 53, n.2, p.171-193, 2002.

34.  Dificuldades relacionadas com o levantamento de
dados de citações a trabalhos individuais

 Facilidade de compreensão
 “Robustez” (pequena variação de um ano para
outro)
 Rápida disponibilidade
Tópico polêmico: O Fator de Impacto realmente revela
algo sobre o impacto dos artigos?
SILVA, Mauricio Rocha e. E. As certezas e incertezas do Fator de Impacto. Como o periódico Clinics se move nos
meandros das citações. In: Seminário de Avaliação do Desempenho dos Periódicos Brasileiros no JCR. São Paulo,
2011.

35. A Plataforma
Lattes é um
exemplo

36.  Divide-se o número de citações recebidas por
um dado autor pelo número de artigos que
ele publicou
 Sabidamente é um índice que não funciona, o
tamanho da amostragem dos dados não é
suficiente para eliminar possíveis distorções

37. Indicador de produtividade e impacto de um cientista

38.  Definição: h é o número de artigos publicados
por um pesquisador que obtenham um total
de citações igual ou superior a h
Fonte: HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the National
Academy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.

39. Stephen Hawking, autor de "Uma
Breve História doTempo": seu h é
62, ou seja, ele já publicou 62
trabalhos que receberam pelo
menos 62 citações.

40. I H I H
+
+
Produtivos
Citados
+
-
Produtivos
Citados
-
+
Produtivos
Citados
-
-
Produtivos
Citados
Legenda:
I= Impacto
H = Índice H
Alto
Baixo

41.  Padrões de citação distintos verificados nas diversas
áreas
 Artigos escritos em co-autoria
 Influência do tempo de atividade do pesquisador

42. Usando aWeb of Science, a Scopus
e o Google Acadêmico para calcular
o Índice H

44.  Os artigos de um autor são ordenados de
modo decrescente por número de citações,
quando o número de artigos coincidir com o
número de citações obtem-se o índice H

49.  O que é:
 Versão especializada do Google para documentos
científicos
 Lançado em nov. 2004
 Como funciona:
 Robôs recompilam as informações disponíveis nos
domínios institucionais, com permissão dos
produtores, na filosofia dos Arquivos Abertos
 Não utiliza os metadados dos editores das
publicações
 Não possui ferramenta própria para sistematização de
informações das citações para cálculo dos indicadores
Torres-Salinas, D., R. Ruiz-Perez, et al. Google Scholar as a tool for research assessment. Profesional De La Informacion, v.18, n.5,
Sep-Oct, p.501-510. 2009.

51. FORMAS DE BUSCA
 Autores
 Periódicos
 Palavras-chave
ÍNDICES PRINCIPAIS
 Número total:
 trabalhos
 Citações
 Número médio de:
 citações por artigo
 citações por autor
 citações por ano
 trabalhos por autor
 Índice H e indicadores
relacionados

52. https://addons.mozilla.org/en-
US/firefox/addon/scholar-h-index-calculator/

53.  Cobertura extensa, mas indefinida
 Forma de coleta dos metadados acarreta
muitas inconsistências nos dados
Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.

54. Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.

55. 1 em
4

56. 7 em 3

57.  Autor fantasma: P Login ou seja Please Login (2.340 artigos)
 Autores perdidos

59. Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.
 Todavia, para Peter Jácso as inconsistências
do GA são tantas que inviabilizam por
completo o uso dos dados para cálculo de
índices bibliométricos
Mas, para a recuperação, o GA é uma
excelente ferramenta

61. SCOPUS SCIMAGO
Acesso via: Acesso livre!

62. http://www.scimagojr.com/

64. LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of
the American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.
Impacto
Produção

65. LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of
the American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.
Sim!

66.  A avaliação capaz de considerar as diferenças
existentes entre as várias (sub-)áreas
 Desenvolvimento de indicadores que valorizem os
periódicos de qualidade que tratam de problemas
regionais

67. leticia.strehl@ufrgs.com