O documento discute os dilemas e indicadores para avaliação da produção científica, incluindo o Fator de Impacto, Qualis, Índice H, e Scimago Journal Ranking. Também aborda critérios como quantidade e qualidade da produção de acordo com a área do conhecimento.
Indicadores de produção e impacto da produção científica
1. Seminário especial de pesquisa
Letícia Strehl
Bibliotecária
Biblioteca Central - UFRGS
2. Dilemas de avaliação da produção científica
Indicadores das publicações científicas
O Fator de Impacto daThomson Reuters
▪ O Qualis da CAPES nas áreas médicas
O Índice H calculado em diversas bases de dados
O Scimago Journal Ranking com dados da Scopus
3. Critérios para analisar
O que é produzido?
Quanto é produzido?
Com que qualidade é produzido?
4. Pesquisa de problemas predominantemente nacionais e
regionais
X
Pesquisa de problemas internacionais
Pesquisa Básica
X
PesquisaAplicada
5. “Em termos de comunicação científica, as duas
principais características do pesquisador são a
quantidade de informações que comunica e a
sua qualidade.“
"Como se pode estudar isto?"
Fonte: MEADOWS, A.J. A comunicação científica. Brasília: Briquet de Lemos, 1999. p. 85
Quanto? Como?
6. Esta é fácil:
Determina-se quantas publicações foram
escritas por um cientista em um dado
momento!
Fácil... será?
A questão deixa de ser trivial quando as
diferenças entre as áreas do conhecimento são
examinadas.
7. Fonte: Dados compilados do Censo 2010 do Diretório dos Grupos de Pesquisa.
http://dgp.cnpq.br/censos/sumula_estatistica/2010/producao/producao.htm
0 20,000 40,000 60,000 80,000 100,000120,000140,000
Ciências Agrárias
Ciências Biológicas
Ciências da Saúde
Ciências Exatas e daTerra
Ciências Humanas
Ciências Sociais Aplicadas
Engenharias e Ciência da
Computação
Lingüística, Letras e Artes
Produção de pesquisadores doutores segundo o tipo de produção e a
grande área no quadriênio 2007-2010
Capítulos de livros
Livros
Trabalhos completos
publicados em anais
Artigos em periódicos
internacionais
Artigos em periódicos
nacionais
8. Avaliação por pares
Ex.: consultoria ad hoc
Indicadores de impacto
(considerando, neste caso, citação=visibilidade =
qualidade?!)
Ex.: Fator de Impacto e Scimago Journal Ranking
10. Existência de bases de dados que indexem:
uma quantidade representativa de documentos;
as referências citadas nas publicações.
Atualmente, as principais bases de dados para o
cumprimento desta finalidade são aWeb of
Science, a Scopus e o Google Acadêmico
11.
12.
13. Tradicionalmente, as bases de dados capazes
de fornecer informações sobre o impacto dos
trabalhos centram-se basicamente no
conhecimento veiculado em periódicos
internacionais!
15. 0 20,000 40,000 60,000 80,000 100,000120,000140,000
Ciências Agrárias
Ciências Biológicas
Ciências da Saúde
Ciências Exatas e daTerra
Ciências Humanas
Ciências Sociais Aplicadas
Engenharias e Ciência da
Computação
Lingüística, Letras e Artes
Produção de pesquisadores doutores segundo o tipo de produção e a
grande área no quadriênio 2007-2010
Capítulos de livros
Livros
Trabalhos completos
publicados em anais
Artigos em periódicos
internacionais
Artigos em periódicos
nacionais
16. Partindo dos indicadores desenvolvidos para os
trabalhos publicados em periódicos
internacionais
17.
18. Há décadas o principal indicador de visibilidade das publicações
Indicador criado em 1963 por Eugene Garfield e Irving Sher
Publicado anualmente no Journal Citation Reports (JCR) pela
consolidação dos dados de citação concedidas aos periódicos
indexados no:
ScienceCitation Index
Social Science Citation Index
Interface de acesso:
Cobertura:
mais 10.100 títulos
19. SCI E SSCI NA WEB OF SCIENCE JOURNAL CITATION REPORTS
Acesso via:
20. Trabalhos publicados em periódicos com alto
FI são considerados melhores do que os
publicados em periódicos com FI menores.
21.
22. a comparação de fatores de impacto de periódicos de áreas de
diferentes ou, até mesmo, de subáreas diversas de uma mesma
área é impraticável
23.
24. Oncologia
Densidade dos artigos
Idade das citações
Matemática
Densidade dos artigos
Idade das citações
27. AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in Publising, n. 1, p. 3, Oct.
28.
29. Estratos
Faixas de FI por área de avaliação
Medicina I Medicina II Medicina III
A1 >3,8 >3,8 >2,96
A2 Entre 3,799 e 2,5 Entre 3,8 e 2,36 Entre 2,29 e 2, 96
B1 Entre 2,499 e 1,3 Entre 2,36 e 1,1 Entre 1,35 e 2,28
B2 Entre 1,299 e 0,001 Entre 1,1 e 0,11 Entre 0, 1 e 1,34
B3 <0,11
Fonte: Documentos de Área disponível na página da CAPES em: http://www.capes.gov.br/avaliacao/areas-paginas
30. Subárea da
medicina
Áreas do JCR Mediana do FI FI Agregado
Meia-Vida
Agregada
CANCEROLOGIA ONCOLOGY 2,455 4,604 5,7
CARDIOLOGIA
CARDIAC &
CARDIOVASCULAR
SYSTEMS 1,993 3,769 6,3
DERMATOLOGIA DERMATOLOGY 1,667 2,253 7,5
ENDOCRINOLOGIA
ENDOCRINOLOGY &
METABOLISM 2,796 4,072 6,6
GASTROENTEROLO
GIA
GASTROENTEROLOGY
& HEPATOLOGY 2,210 3,606 6
MEDICINA LEGAL E
DEONTOLOGIA MEDICINE, LEGAL 1,159 1,605 6,6
PNEUMOLOGIA RESPIRATORY SYSTEM 2,272 3,403 6,9
Medicina I
31. Medicina II
Subárea da medicina Áreas do JCR
Mediana
do FI
FI
Agregado
Meia-Vida
Agregada
ALERGOLOGIA E
IMUNOLOGIA CLÍNICA ALLERGY 1,985 3,623 6
ANATOMIA PATOLÓGICA
E PATOLOGIA CLÍNICA ANATOMY & MORPHOLOGY 1,471 1,689 8,5
DOENÇAS INFECCIOSAS E
PARASITÁRIAS INFECTIOUS DISEASES 2,594 3,79 6
HEMATOLOGIA HEMATOLOGY 2,747 5,173 6,4
NEUROLOGIA CLINICAL NEUROLOGY 1,994 3,006 7
PEDIATRIA PEDIATRICS 1,314 1,858 7,1
PSIQUIATRIA PSYCHIATRY 2,011 3,248 7,3
RADIOLOGIA MÉDICA
RADIOLOGY, NUCLEAR MEDICINE
& MEDICAL IMAGING 1,861 2,832 6,7
REUMATOLOGIA RHEUMATOLOGY 2,594 3,851 5,9
32. Subárea da
medicina
Áreas do JCR Mediana do FI FI Agregado
Meia-Vida
Agregada
ANESTESIOLOGIA ANESTHESIOLOGY 2,176 2,764 7,5
CIRURGIA SURGERY 1,263 2,105 7,6
GINECOLOGIA E
OBSTETRÍCIA
OBSTETRICS &
GYNECOLOGY 1,616 2,182 6,8
OFTALMOLOGIA OPHTHALMOLOGY 1,362 2,204 7,5
ORTOPEDIA ORTHOPEDICS 1,164 1,875 8,4
CIRURGIA SURGERY 1,263 2,105 7,6
Medicina III
33. Dificuldades relacionadas com o levantamento de
dados de citações a trabalhos individuais
Facilidade de compreensão
“Robustez” (pequena variação de um ano para
outro)
Rápida disponibilidade
Fonte: GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics,
v. 53, n.2, p.171-193, 2002.
34. Dificuldades relacionadas com o levantamento de
dados de citações a trabalhos individuais
Facilidade de compreensão
“Robustez” (pequena variação de um ano para
outro)
Rápida disponibilidade
Tópico polêmico: O Fator de Impacto realmente revela
algo sobre o impacto dos artigos?
SILVA, Mauricio Rocha e. E. As certezas e incertezas do Fator de Impacto. Como o periódico Clinics se move nos
meandros das citações. In: Seminário de Avaliação do Desempenho dos Periódicos Brasileiros no JCR. São Paulo,
2011.
36. Divide-se o número de citações recebidas por
um dado autor pelo número de artigos que
ele publicou
Sabidamente é um índice que não funciona, o
tamanho da amostragem dos dados não é
suficiente para eliminar possíveis distorções
38. Definição: h é o número de artigos publicados
por um pesquisador que obtenham um total
de citações igual ou superior a h
Fonte: HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the National
Academy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.
39. Stephen Hawking, autor de "Uma
Breve História doTempo": seu h é
62, ou seja, ele já publicou 62
trabalhos que receberam pelo
menos 62 citações.
40. I H I H
+
+
Produtivos
Citados
+
-
Produtivos
Citados
-
+
Produtivos
Citados
-
-
Produtivos
Citados
Legenda:
I= Impacto
H = Índice H
Alto
Baixo
41. Padrões de citação distintos verificados nas diversas
áreas
Artigos escritos em co-autoria
Influência do tempo de atividade do pesquisador
42. Usando aWeb of Science, a Scopus
e o Google Acadêmico para calcular
o Índice H
43.
44. Os artigos de um autor são ordenados de
modo decrescente por número de citações,
quando o número de artigos coincidir com o
número de citações obtem-se o índice H
45.
46.
47.
48.
49. O que é:
Versão especializada do Google para documentos
científicos
Lançado em nov. 2004
Como funciona:
Robôs recompilam as informações disponíveis nos
domínios institucionais, com permissão dos
produtores, na filosofia dos Arquivos Abertos
Não utiliza os metadados dos editores das
publicações
Não possui ferramenta própria para sistematização de
informações das citações para cálculo dos indicadores
Torres-Salinas, D., R. Ruiz-Perez, et al. Google Scholar as a tool for research assessment. Profesional De La Informacion, v.18, n.5,
Sep-Oct, p.501-510. 2009.
50.
51. FORMAS DE BUSCA
Autores
Periódicos
Palavras-chave
ÍNDICES PRINCIPAIS
Número total:
trabalhos
Citações
Número médio de:
citações por artigo
citações por autor
citações por ano
trabalhos por autor
Índice H e indicadores
relacionados
53. Cobertura extensa, mas indefinida
Forma de coleta dos metadados acarreta
muitas inconsistências nos dados
Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.
54. Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.
57. Autor fantasma: P Login ou seja Please Login (2.340 artigos)
Autores perdidos
58.
59. Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.
Todavia, para Peter Jácso as inconsistências
do GA são tantas que inviabilizam por
completo o uso dos dados para cálculo de
índices bibliométricos
Mas, para a recuperação, o GA é uma
excelente ferramenta
64. LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of
the American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.
Impacto
Produção
65. LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of
the American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.
Sim!
66. A avaliação capaz de considerar as diferenças
existentes entre as várias (sub-)áreas
Desenvolvimento de indicadores que valorizem os
periódicos de qualidade que tratam de problemas
regionais