Fator de Impacto e índice H: medição da produtividade científica

UEZO- Centro Universitário Estadual da Zona
Oeste
V Jornada de Ciência e Tecnologia
Roberto Lopes dos Santos Junior

Fator de Impacto e índice H : o antes
e o agora da medição da
produtividade científica

Pano de fundo
• “Recentemente, houve uma grande divulgação do aumento no número de
publicações de brasileiros em revistas indexadas pela Web of Science. Em
12/05/2009 o então ministro da educação apresentou durante uma seção
conjunta da SBPC-ABC dados que mostravam que o Brasil tinha alcançado
a 13ª posição no ranking dos países com maior produção indexada no Web
of Science.”(Jacques Wagner, Jornal da ciência, 2012)
• Mas produção de artigos científicos, mesmo artigos em revistas indexadas
pelo Web of Science, seria a métrica errada para medir a qualidade da
ciência brasileira? (Jacques Wagner, Jornal da ciência, 2012)
• medição da produtividade científica: quantitativo X qualitativo
• Discussão sobre o desenvolvimento dos métodos de quantificação da
ciência, apresentando e discutindo os dois principais (ou mais conhecidos
e disseminados) meios de quantificação da produção científica.

Tópicos
• Fator de impacto (origens, desenvolvimento,
características e polêmicas)
• Analise de citação (características e
questionamentos)
• Índice H (origens, características e polêmicas)
• Alguns exemplos
• Breve discussão e considerações finais

Fator de impacto (origens)
• Promulgação da lei 81-507, em 1950, estabelecendo a National Science Foundation (NSF),
que tinha como missão interligar centros de pesquisa e de tecnologia nos EUA e de
patrocinar pesquisas realizadas no país.
• Criação do Science Citation Index (SCI), atualmente Thomson Reuters/ Web of Science,
desenvolvido e coordenado por Eugene Garfield (www.garfield.library.upenn.edu/ )- em
colaboração com pesquisadores ingleses e norte-americanos – em 1958, com publicação
regular a partir de 1960.
• Science Citation Index : “base de dados multidisciplinar de onde se pode recuperar os
resumos, em inglês, de todas as revistas da literatura científica indexadas à base de dados
(Pinto, Andrade, 1999)”.
• Consolidação e disponibilização de base de dados mais específicos como o Social Sciences
Citation Index e o Arts and Humanities Citation Index. Algumas informações adicionais
publicados no Current Contents desde 1955. Publicado regularmente no Journal of Citation
Reports desde 1972.
• As informações do SCI foram descobertas como instrumentos para se estudar a distribuição
da ciência no mundo , com considerável utilização nos países desenvolvidos (Velho, 2000)
• Thomson Reuters (thomsonreuters.com) Web Of Science
(http://thomsonreuters.com/products_services/science/science_products/a-
z/isi_web_of_knowledge/)

ISI/ Thomson/ Web of Science
(processo de avaliação)
• A avaliação e a seleção, tanto das revistas incluídas na base de dados
como dos títulos excluídos, são realizadas continuamente pelo ISI a cada
duas semanas. A equipe editorial do Instituto analisa cerca de 2 mil títulos
novos de revistas anualmente, mas apenas 10% - 12% são selecionadas.
Além disso, a cobertura de títulos existente nos produtos do ISI também
passa por constante revisão.
• Cada revista é submetida a um processo amplo de avaliação antes de ser
selecionada ou rejeitada.Os editores do ISI que conduzem as avaliações
das revistas possuem formação educacional apropriada às suas áreas de
responsabilidade, além do suporte de redes instituídas de assessores que
participam do processo de avaliação quando necessário.
• Na avaliação das revistas, muitos fatores qualitativos e quantitativos são
levados em consideração. Os padrões básicos de apresentação, o
conteúdo editorial, a internacionalidade dos autores e a citação de dados
associada a esses autores são analisados. Nenhum fator é considerado de
forma isolada, mas, ao contrário, combinando e inter-relacionando os
dados, o editor é capaz de determinar os pontos fortes e fracos de uma
revista na sua totalidade. (testa, 1998;2006))

Fator de impacto (características)
• Forte participação das áreas relacionadas a Ciência da Informação e Sociologia da
ciência na formulação e discussão dessa ferramenta (Wouters,1999).
• Relação com disciplinas referentes a bibliometria e cientometria (metodologias
que medem quantitativamente as publicações científicas e o campo em Ciência e
Tecnologia)
• No Brasil, primeiras analises sobre essa ferramenta surgem (indiretamente) no
inicio dos anos 1970 (por exemplo, em Braga,1973).

• Fator de Impacto (JIF)- cálculo que reflete o número médio de citações de artigos
científicos publicados em determinado periódico -
• Cálculo :
• sendo A = o número de vezes em que os artigos publicados em 2010 e 2011 foram
citados por periódicos indexados durante 2012
• sendo B = o número total de "itens citáveis" publicados em 2010 e 2011 ("itens
citáveis": geralmente artigos, revisões, resumos de congressos ou notas, não
sendo computados editoriais ou cartas ao editor)
• então, o fator de impacto de 2012 = A/B

Fator de impacto
• Nos anos 2000, outras bases de dados na Internet buscaram criar
alternativas para avaliar a produção científica e medir o impacto de
determinada pesquisa ou pesquisador: Scopus
(http://www.scopus.com/home.url), Bing Search API 2.0
(http://msdn.microsoft.com/en-us/library/dd251056.aspx), Google
acadêmico, Scimago (http://www.scimagojr.com/), entre outros, podem
ser considerados os principais nomes de uma “nova geração” nesse tipo
de ferramenta.
• Segundo algumas pesquisas, essas ferramentas como seu antecessor SCI,
mostram pontos positivos (rápida indexação de material recente; no caso
do Google acadêmico, de acesso gratuíto; cobertura de áreas mais ampla
que o realizado pelo Thomson/Web of Science), porém também
apresentam alguns problemas e inconsistências (não disponibilizam
dados; sem lista clara de jornais e congressos indexados; duplicidade de
resultados, isto é, um artigo que possui versões em diferentes sites e
repositórios acabam sendo incluídos, criando distorções) (Bar-Ilan,
2010;Thelwall,Sud, 2012).

Fator de impacto – America Latina e
Brasil
• Praticamente inexistente base de dados latino americanos e brasileiros
que façam serviços da mesma magnitude aos do ISI/ Thomson ou Scopus.
• America Latina: Bireme (Centro Latino-Americano e do Caribe de
Informação em Ciências da Saúde) -
http://regional.bvsalud.org/php/index.php
• Brasil, o Scielo (Scientific Electronic Library Magazine) - coleção de
periódicos brasileiros publicados e indexados online em acesso aberto
(convênio FAPESP/BIREME): http://www.scielo.br/scielo.php?lng=en
(Bonfá et. al., 2008)
• Políticas de acesso aberto no Brasil – lideradas pelo IBICT – Instituto
Brasileiro de Informação em Ciência e Tecnologia - www.ibict.br - BDTD -
Biblioteca Digital de Teses e Dissertações - http://bdtd.ibict.br/bdtd/ ;
TEDE - Sistema de Publicações Eletrônicas de Teses e Dissertações -
http://tedesite.ibict.br (Bonfá et. al. 2008). Portal Capes
(periodicos.capes.gov.br/)

Fator de impacto (polêmicas)
• Desde meados dos anos 1970, críticas oriundas das mais diversas áreas de pesquisa,
questionam alguns critérios adotados pelo ISI-Thomson na escolha dos periódicos.
• O sistema de comunicação científica internacional é bastante imperfeito e o acesso a
trabalhos varia consideravelmente, o que torna questionável a atitude de mensurar
algo apenas pelas citações. (Velho, 2000)
• Há uma barreira linguística que muitas vezes separa os cientistas de determinadas
publicações indexadas no SCI, de onde são colhidas as citações.(Velho, 2000)
• Práticas de publicação variam entre as áreas do conhecimento. Não se pode, por
exemplo, dizer que a física é mais produtiva que a matemática com base nos trabalhos
publicados de uma e outra. São ciências diferentes, com culturas diferentes no que se
refere à divulgação em revistas científicas. (Velho, 2000)
• Trabalhos são citados sem terem sido lidos e analisados cuidadosamente. (Velho, 2000)
• critérios muitas vezes inconsistentes de avaliação de citações ou sobre o impacto das
pesquisas.
• Produção científica e tecnológica dependentes de critérios excessivamente
quantitativos. (“Publish or Perish”)
• Não identificação imediata da utilização “social” das pesquisas.
• Período coberto pelo Fator de impacto (dois anos) por vezes problemático dependendo
da pesquisa citada.

Fator de impacto (polêmicas)
• Visões equivocadas que a a literatura científica produzida pelos países periféricos
em suas próprias línguas nativas e não indexada pelo SCI é, geralmente, de baixa
qualidade ou sem interesse para a ciência internacional; e que a cobertura
incompleta da produção científica do Terceiro Mundo pelo SCI afeta todos os
países periféricos e todas a áreas do conhecimento da mesma maneira. (Velho,
2000).
• Há também alguns vícios de origem nas avaliações da ciência por meio de índices
como o SCI. Uma delas é a de que o objetivo da ciência é unicamente, ou
principalmente, a produção de novos conhecimentos científicos, como os que são
divulgados em periódicos. Outra é a que o produto da ciência e sua qualidade
refletem-se integralmente nos instrumentos escritos formais de comunicação
científica, particularmente nos periódicos científicos (Velho, 2000).
• o conhecimento tácito -- por exemplo, a aprendizagem de técnicas de laboratório
durante o treinamento e os processos de "negociação" entre colegas -- é parte
constitutiva da ciência e que, por definição, não pode ser descrita na literatura
científica e no Fator de impacto (Velho, 2000).
• Identificação das características do Fator de impacto na realidade web (Analises de
link, Citação na Web, Bookmarking, periódicos eletrônicos, influência de sites
relacionados a “web 2.0” como Twitter, Facebook e You tube, Webometria e
políticas de open acess) (Thelwall, 2012)

Analise de citação
• Objetivo: localiza, organiza, quantifica e discute as citações e referências realizadas
em artigos, pesquisas ou outras obras científicas.
• quinze funções da citação: prestar homenagem aos pioneiros; dar crédito para
trabalhos relacionados; identificar metodologia, equipamento etc.; oferecer leitura
básica; retificar o próprio trabalho; retificar o trabalho de outros; analisar
trabalhos anteriores; sustentar declarações; informar os pesquisadores de
trabalhos futuros; dar destaque a trabalhos pouco disseminados,
inadequadamente indexados ou desconhecidos (não citados); validar dados e
categorias de constantes físicas e de fatos etc.; identificar publicações originais nas
quais uma ideia ou um conceito são discutidos; identificar publicações originais
que descrevam conceitos ou termos epônimos, ou seja, descobertas que
receberam o nome do pesquisador responsável, por exemplo, Doença de Chagas;
contestar trabalhos ou idéias de outros; debater a primazia das declarações de
outros (Weinstock, 1971 apud Vanz, Caregnato, 2003).
• Carvalho (1975) apud Vanz, Caregnato (2003) outras funções das citações
bibliográficas: estabelecimento dos direitos de propriedade e prioridade da
contribuição científica de um autor, a identificação de fontes de informação, o
auxílio na avaliação dos hábitos de coleta de informações e a exposição da
literatura que é indispensável para o trabalho dos cientistas

Analise de Citação / Fator de impacto
• Três tipos de citação: citação positiva, neutra ou
negativa.
• “*...+ a prática da citação seja influenciada por diversos
fatores (lealdade, interesses pessoais, conhecimento
da literatura e do assunto, idioma etc.) pode-se afirmar
que os documentos realmente importantes são
normalmente citados e os sem importância,
ignorados.Além disto, o impacto produzido por um
documento pode ser avaliado por sua incidência de
citação em outros documentos – e apesar de impacto
não significar qualidade, pode-se asseverar que, de
maneira geral, os documentos mais importantes são
mais citados” (Braga, 1973).

Analise de citação (criticas e
questionamentos)
• Visão “transparente” sobre as citações torna-se mais “opaca”, e uma série de
pesquisadores, desde os anos 1970, criticam ou relativizam os resultados das
análises. Baseados nas evidências empíricas das múltiplas motivações e usos das
citações, alguns autores passaram a notar a dificuldade dos dados quantitativos
serem utilizados como conceitos, articulando-se a um sistema teórico de
compreensão da ciência (Romancini, 2010).
• Ainda segundo Romancini (2010), debate sobre a necessidade de uma “teoria da
citação” ou de uma “teoria dos indicadores científicos”.
• Inclusão de teorias do desenvolvimento (e inter-relação) científico relacionadas a
autores como Thomas Kuhn, Bruno Latour e Pierre Bourdieu. (Romancini,2010)
• Problemática principal: muitas vezes ser muito citado não necessariamente
significa pesquisa de qualidade, como o não citado não necessariamente significa
uma pesquisa sem importância ou sem utilização teórica e prática.

Analise de citação (criticas e
questionamentos)
• O número de citações quando usado particularmente para avaliar
pesquisa em países periféricos tem pouca aplicabilidade. (Velho, 2000)
• Trabalhos específicos indicam artigos muito citados baseados em
pesquisas falsas, errôneas, manipuladas, ou com forte tendência a
plágios.
• Citações são muitas vezes feitas de segunda mão, isto é, levantadas de
um outro artigo, sem terem sido lidas e sem dar crédito ao trabalho
que primeiramente as apontou. (Velho, 2000)
• Citações são muitas vezes colocadas depois que o trabalho de pesquisa
está pronto, quase como uma "decoração" para se seguir o "ritual"
acadêmico.(Velho, 2000)
• Há uma reconhecida tendência dos cientistas de se autocitar (fazer
"propaganda" do seu próprio trabalho) e de citar seus amigos, já que
conhece bem seus trabalhos anteriores e os de seus amigos. (Velho,
2000)

Analise de citação (exemplo)

Índice H
• No dia 3 de agosto de 2005, o físico argentino Jorge Hirsch disponibiliza para a
comunidade cientifica um pequeno artigo apresentando um indicador para
quantificar o desempenho individual de um cientista a partir de uma sutil
combinação entre duas variáveis – numero de citações e numero de artigos
publicados (HIRSCH, 2005). Esse novo indicador, índice h, atraiu rapidamente a
atenção de muitos pesquisadores de diferentes áreas do conhecimento (Batista,
2011).
• Entre 2005-10, mais de 850 citações (impacto considerável no meio científico)
(Batista, 2011).
• O índice h tem sido adotado por diversos órgãos financiadores de pesquisa, com
destaque para agências na Austrália, Nova Zelândia, Reino Unido e Espanha, além
de universidades e centros de pesquisa que, também, o utilizam como critério
para a promoção funcional de pesquisadores e avanço dos mesmos na carreira
científica (Lima, Velho, Faria, 2012).
• No Brasil, o índice h tem sido, paulatina,mas sistematicamente, apropriado por
algumas fundações estaduais de amparo à pesquisa (FAPs), pelo Conselho
Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e Coordenação de
Aperfeiçoamento de Pessoal de Nível Superior (CAPES), como critério para
alocação de recursos e benefícios, tais como as bolsas de produtividade científica
concedidas pelo CNPq (Lima, Velho, Faria, 2012).

Indice H (exemplo)
• Um cientista terá um índice h se h de seus N artigos tiverem ao menos h citações cada um. Em
palavras, o índice h é o número de artigos com citações maiores ou iguais a esse número
(Batista,2011).
• Pesquisador que hipoteticamente publicou 10 artigos científicos. A Tabela 1-A apresenta a lista
esses artigos, listados por ordem decrescente em função do ano de publicação. Na Tabela 1-B, a
segunda coluna representa o numero total de citações recebidas por cada artigo, e a primeira
coluna representa o numero acumulado de artigos publicados. Finalmente, o calculo do índice h,
utilizando a Tabela 1-B, consiste em contar a quantidade de células em que o numero total de
citações e maior ou igual ao numero de artigos publicados.

• O índice h e igual a 8 para o pesquisador, ou em outras palavras, esse pesquisador possui 8 artigos
cientificos que receberam, cada um, ao menos 8 citações. (exemplo tirado de Batista, 2011)

Indice H (críticas)
• O índice h tem problemas para avaliar a produção de cientistas em início de
carreira ou com baixa produção.
• Problemas de autocitação não são perceptíveis nesse índice.
• Já as citações feitas de forma incorreta podem acarretar modificações ou
distorções no índice.
• Índice aleatório, por vezes simplista e de difícil mensuração (pelo fato do mesmo
não ter sido formulado por uma equação matemática), com dificuldade em
estipular um número preciso de publicações para a utilização do mesmo.
• Outra consequência dessa fórmula simplista é que o índice h descarta muitos
dados do registro do artigo, detalhes que poderiam revelar fatos latentes da rede
de citação e levar a avaliações mais equilibradas
• Várias tentativas de adaptação desse índice para diferentes tipos de quantificação
de publicações científicas, ocasionando o excesso de variantes e adaptações do
mesmo(índice g, índice p, índice j...) que prejudicam uma”normalização” dele
(segundo Bornmann et. al., em 2011 existiam cerca de 37 variações para o índice
h).

Exemplos II (Curriculo Lattes -
continuação)

Exemplo III (Ministério em ciência, Tecnologia e
Inovação)

Exemplo III (Ministério em ciência,
Tecnologia e Inovação)

Breve discussão e considerações finais
• Apesar das limitações e críticas, o fator de impacto, devido a quase não
existência de outras opções de medições quantitativas da ciência além das
apresentadas, consolidou-se e mantêm-se como importante instrumento
de quantificação da produção científica.
• O índice h, apesar de sua pouca idade (menos de dez anos) e de algumas
inconsistências, também já foi assimilado por diferentes bases de dados,
mas como forma de medição da produtividade científica de determinado
cientista.
• Necessidade de discussão sobre a utilização e interpretação do MCTI
brasileiro dos dados relacionados ao Thomson e Scopus para identificar
algumas características da produção científica do país.
• Discussões sobre o real estado da ciência do Brasil a partir desses dados
quantitativos (uma ciência cada vez mais visível e internacional, ou um
campo cada vez mais irrelevante e esvaziado?) (uma visão geral sobre o
tema pode ser visto em Leta, 2011).

Breve discussão e considerações finais
• Discussão sobre a inclusão desses instrumentos quantitativos no patrocínio
científico de pesquisadores, periódicos, grupos de pesquisa e universidades.
• Base de dados nacionais: além do Scielo e das políticas de acesso aberto de
periódicos, quais outras opções possíveis de medição quantitativa da produção
científica no Brasil?
• Dimensionar a influência do Fator de impacto ou do índice de citações em
decisões do CAPES e CNPQ (por exemplo no QUALIS)
• Analisar de forma cuidadosa o fluxo de produção, disseminação e comunicação
nos campos da ciências humanas e sociais, naturais e exatas, pois existem
diferença entre essas ciências na forma em que a informação científica é trocada
entre seus pares (não somente artigos em periódicos, mas também capítulos de
livros, comunicações em congresso, etc...).
• Por tudo isso, é extremamente importante que as avaliações de produção
científica levem em consideração que os índices podem abrigar, como já foi dito,
inúmeros vícios de origem. A reprodução dessas quantificações em reportagens,
como se tem feito no Brasil, pode "comprar" essas informações e
equivocadamente repassar ao leitor uma visão do meio científico primeiro-
mundista, parcial e totalmente disforme. (Velho,2000)

Bibliografia consultada e sugestões de leitura sobre o
tema
• BAR-ILAN, J.Citations to the ‘Introduction to Informetrics’ indexed by WOS, Scopus and Google Scholar. Scientometrics, vol. 82, n° 3, p.
495-506, 2010.
• BATISTA, P. D. . Ainda é possível pensar o índice h como um indicador quantitativo, qualitativo, fracionário?. PontodeAcesso (UFBA), v.
5, p. 57-71, 2011.
• BOMFÁ, C. R. Z. ; MOCELLIN, E. R. ; Trzeciak D.i S. ; Freitas, M. do C. D. . Acesso livre à informação científica digital: dificuldades e
Tendências. Transinformação, v. 20, p. 309-318, 2008.
• Bornmann, L., Mutz, R., Hug, S. E. & Daniel, H.-D. A multilevel meta-analysis of studies reporting correlations between the h index and
37 different h index variants. Journal of Informetrics, 5(3), 346-359, 2011. Disponível em: http://www.lutz-
bornmann.de/icons/FinalMeta.pdf
• BRAGA, Gilda Maria . Relações bibliométricas entre a frente de pesquisa (research front) e revisões da literatura.. Ciência da
Informação, Rio de Janeiro, v. 2, n.1, p. 9-23, 1973.
• LIMA, R. A. ; VELHO, L. M. L. S. ; FARIA, L. I. L. Bibliometria e “avaliação” da atividade científica: um estudo sobre o índice h. Perspectivas
em Ciência da Informação. Vol. 17, n°3, p.3-17, 2012.
• LETA, J. . Indicadores de desempenho, ciência brasileira e a cobertura das bases informacionais. Revista USP, v. 89, p. 62-77, 2011.
• PINTO, Angelo C. ; ANDRADE, Jailson B. de . Fator de impacto de revistas científicas: qual o significado deste parâmetro?. Química Nova,
Brasil, v. 22, p. 448-453, 1999.
• ROMANCINI, Richard . O que é uma citação? A análise de citações na ciência. In Texto (UFRGS. Online), v. 2, p. 20-35, 2010.
• STREHL, L. . O Fator de Impacto do ISI e a Avaliação da Produção Científica: aspectos conceituais e metodológicos. Ciência da
Informação (Impresso), Brasília, v. 34, n.1, p. 19-27, 2005
• TESTA, James. A base de dados ISI e seu processo de seleção de revistas. Cência da Informação, vol.27, nº.2, p.233-235, 1998.
• TESTA, James. The Thomson Scientific journal selection process. International Microbiology, vol.9, p.135-138, 2006.
• THELWALL, M., & SUD, P. Webometric research with the Bing Search API 2.0. Journal of Informetrics, 6(1), 44-52, 2012. Disponível em:
http://www.scit.wlv.ac.uk/~cm1993/mycv.html
• THELWALL, M. Journal impact evaluation: A webometric perspective, Scientometrics, 92(2), 429-441, 2012. Disponpível em :
http://www.scit.wlv.ac.uk/~cm1993/papers/Journal_impact_evaluation_Webometrics_preprint.pdf
• VANZ, S. ; CAREGNATO, S. E. Estudos de citação: uma ferramenta para entender a comunicação científica. Em Questão (UFRGS), Porto
Alegre, v. 9, n.2, p. 295-307, 2003.
• VELHO, L. . Cuidado com os rankings científicos. Prometeu.com.br, São Paulo, 10 nov. 2000. Dospinível em:
http://www.prometeu.com.br/bb-lea.asp
• WOUTERS, Paul. The Citation Culture. Tese de doutorado. Universidade de Amsterdã, 1999. Disponível em:
www.garfield.library.upenn.edu/wouters/wouters.pdf

Curiosidade: Filme sobre o ISI e o Science Citation Index apresentado por
Eugene Garfield (1967) – Parte 1
(http://www.youtube.com/watch?v=abNZ66ZLbjU)

Fator de Impacto e índice H: medição da produtividade científica

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (13)

Semelhante a Fator de Impacto e índice H: medição da produtividade científica

Semelhante a Fator de Impacto e índice H: medição da produtividade científica (20)

Mais de Roberto Lopes

Mais de Roberto Lopes (10)

Fator de Impacto e índice H: medição da produtividade científica