Uso dos índices K e h para prever premios Nobel

1. Osame Kinouchi
Adriano J. Holanda
Laboratório de Divulgação Científica e Cientometria
DF – FFCLRP – USP
É possível prever o Prêmio Nobel?

2. Web of Science tenta prever ganhadores do
Prêmio Nobel de Física de 2016 (e falha)
2
Marvin L. Cohen
For theoretical studies of solid materials, prediction of their
properties, and especially for the empirical pseudopotential
method
Ronald W.P. Drever, Kip S. Thorne, Rainer Weiss
For the development of the Laser Interferometer Gravitational-
Wave Observatory (LIGO) that made possible the detection of
gravitational waves
Celso Grebogi, Edward Ott, James A. Yorke
For their description of control theory of chaotic systems, the OGY
method

3. Avaliação qualitativa e
avaliação quantitativa
 Avaliação qualitativa = avaliação subjetiva?
 Avaliação quantitativa = avaliação objetiva?
 Tese 1: A avaliação qualitativa inclui a
avaliação quantitativa: não devemos avaliar
apenas quantitativamente, mas não podemos
avaliar menos que quantitativamente,
 Tese 2: Quanto maior o número de índices
quantitativos, maior a aproximação e
correlação com a avaliação qualitativa, por
exemplo prêmios científicos (Nobel, Wolf etc.).

4. Avaliação Multidimensional
N, C, C/N, A, i-10, h
Web of Science
Google Citations
Curriculo Lattes
K
Número de orientados
de Graduação e
Pós-graduação
Experiência Didática
Cartas de Recomendação

5. Concurso de docência: avaliações
qualitativas e quantitativas
 Prova de erudição (semi-quantitativa)
 Prova didática (qualitativa)
 Análise de currículo ou memorial (semi-
quantitativa)
 Cartas de recomendação (qualitativa)
 Entrevista (qualitativa)
 Mas a banca dá notas numéricas!
(quantitativa)
5

6. Exemplo de avaliação qualitativa em
concurso para docência
 “Comente seus três artigos científicos mais
importantes”
 Suposições quantitativas:
 O candidato tem pelo menos três artigos científicos
(N)
 O candidato tem pelo menos três artigos
importantes. Importantes em que sentido?
 Artigo publicado em revista importante com
avaliação rigorosa (Fator de impacto FI etc.)
 Artigo que recebeu muitas citações (C, A)
 Artigo que foi citado por artigos importantes da
área
 Artigo preferido do autor que contém ideias6

7. Avaliando a produção bibliográfica
 Quantidade: Número de artigos N,
citações C, citações por artigo C/N,
artigos que citam A etc.
 Qualidade:
 Contribuição correta mas
incremental
 Impacto científico permanente
(contribuição correta e fundamental)
 Impacto na dinâmica científica
(contribuição polêmica ou mesmo
incorreta mas que promove novas
pesquisas)
 Criatividade "artística" (contribuição
original que não seria feita por outros)

8. Avaliação (qualitativa/quantitativa)
 Aprovação em disciplinas
 Aceite de estudantes em Escolas e Workshops
 Bolsas de IC, Mestrado, Doutorado e Pós-
doutorado
 Prêmios acadêmicos (Ex: prêmio John Cameron)
 Concursos acadêmicos (Prof. Dr., Prof. Livre-
docente, Prof. Titular)
 Bolsas de produtividade
 Fomento para projetos
 Prêmios científicos

9. Exemplo de prêmio baseado em citações
 Capes realiza solenidade de entrega do Prêmio Thomson
Reuters
 No dia 17 de setembro [de 2009], representantes da Coordenação
de Aperfeiçoamento de Pessoal de Nível Superior (Capes) e da
Thomson Reuters se reuniram na sede da Capes, em Brasília, para
a entrega do Prêmio Thomson Reuters de Produtividade de Impacto
Científico, que reconhece pesquisadores vinculados a instituições
brasileiras, autores dos artigos mais citados nos últimos cinco anos,
segundo a análise bibliométrica do Thomson Reuters High Impact
Papers.
 Também foi premiado o autor do melhor trabalho na área de
Bibliometria e Cienciometria e o bibliotecário que mais se destacou
na divulgação do Portal de Periódicos e da base Web of Science em
sua instituição.
 Considerado o melhor trabalho na área de Bibliometria e
Cienciometria, Pablo Diniz Batista [DF-FFCLRP-USP] recebeu o
prêmio pelo artigo Is it possible to compare researchers with
different scientific interests?, publicado no periódico Scientometrics.

10. Academic Research in the 21st Century: Maintaining Scientific Integrity in a
Climate of Perverse Incentives and Hypercompetition
Marc A. Edwards and Siddhartha Roy - ENVIRONMENTAL ENGINEERING SCIENCE 34:51-61
(2017)
10

11. Índice de Hirsch (2005)
 Artigo com mais de 6360
citações no Google Scholar.
 Um pesquisador tem índice de
Hirsch h se possui h papers com
pelo menos h citações.
 Generaliza-se para grupos de
pesquisa, programas de pós-
graduação, revistas (“Abaixo o
FI e o Qualis!”), países, tópicos
quentes de pesquisa etc.
 Generaliza-se como medida de
centralidade (Lobby index) para
redes complexas com bons
resultados (Campiteli, Holanda,
Soles, Soares and Kinouchi,
2010), por exemplo, ranking de
proteínas, palavras em um
dicionário, Twitters etc.

12. Novos índices bibliométricos
 h de Hirsch (2005)
 g de Eggs (2006)
 hI de Batista, Campiteli, Kinouchi e
Martinez (2006)
 F de fulaninho… etc.
 Mais de 120 índices bibliométricos
propostos

13. Quem é o maior físico do século XX?
(uma questão não científica)
Índice h

14. Limitações do índice de Hirsch
 Depende fortemente do número de artigos: h ≤ N
 Depende do tempo de carreira do pesquisador,
não é justo com jovens pesquisadores
 Depende de área e sub-área de pesquisa
 Depende do número de co-autores
 Afetado por auto-citações
 Etc…
 Obs: os índices tradicionais como N, C, C/N etc
são ainda mais injustos e menos robustos

15. Índice h: produtividade vs
reconhecimento científico
 Se Einstein tivesse morrido em 1906: h = 10
eternamente!
 Albert Einstein (h=49) vs Hirsch (h=52): verdadeiro
positivo, mas pouco poder discriminativo
 MS El Naschie: N = 302, C = 4507, h = 34: falso
positivo
 Ernest Ising: N = 1, h = 1: falso negativo
 Juliana M. Kinouchi: N = 1, h =1: verdadeiro negativo

16. A simple impact index for scientific social recognition
Osame Kinouchi, Leonardo D. H. Soares and George C. Cardoso
Submetido ao Physica A
 Número de papers N mede
produtividade (velocidade de escrita,
número de colaboradores etc.), não
impacto científico
 Número de citações C pode medir
impacto, mas também pode gerar
falsos positivos (efeito bola de neve,
efeito Mateus, auto-citações, citações
de amigos, citações sugeridas pelo
editor ou referees dos papers do editor
e referees...)
 Motivação para um novo índice:
 Superar algumas deficiências do h
 Filosofia do Page Rank do Google
 Idéia central: Medir impacto científico
pelo fato do artigo ser citado por
trabalhos importantes (2a geração de
citações)

17. Como calcular o índice K na WoS
 Busca por autor: “Miguel Nicolelis”
 Clique em “Citation Report”
 Clique em “Citing Articles” (K) ou “Citing Articles without self-
citations” (K’)
 Ordene artigos por número de citações
 Quando o (K+1)-ésimo artigo tiver menos que K+1 citações,
encontra-se o K. Ex:
Miguel Nicolelis
N= 174, C = 5458, h = 39, K = 118, K’ = 115
Mohamed S. El Naschie
N= 302, C = 4507, h = 34, K = 37, K’ = 25

18. Predição de prêmios científicos
 Amostra aleatória de 28
pesquisadores da lista
Highly cited researchers
2014 baseada em dados da
WoS.
 Amostra de 28 prêmios
Nobel de Física (1988-
2009)
 Ranqueamento por K prediz
melhor o recebimento de
prêmios Nobel do que o
ranqueamento pelo índice
de Hirsch, citações e outros
dados usados pela
Thomson-Reuters
 Aplicação: bolsa de apostas

19. Plano K versus h
19

20. Web of Science tenta prever ganhadores do
Prêmio Nobel de Física de 2016 (e falha)
20
Marvin L. Cohen
For theoretical studies of solid materials, prediction of their
properties, and especially for the empirical pseudopotential
method
Ronald W.P. Drever, Kip S. Thorne, Rainer Weiss
For the development of the Laser Interferometer Gravitational-
Wave Observatory (LIGO) that made possible the detection of
gravitational waves
Celso Grebogi, Edward Ott, James A. Yorke
For their description of control theory of chaotic systems, the OGY
method

21. Prêmios Nobel de Física de 2016
21

22. Verdadeiros ganhadores
22
12: David J. Thouless; 13: Frederick D. M. Haldane; 14: John M. Kosterlitz;
15: James A. York; 16: Celso Grebogi; 17: Kip S. Thorne; 18: Ronald W. P.
Drever

23. Vantagens do índice K
Muito fácil de calcular
Não depende de N
Possui uma faixa de classificação maior que o h
Discrimina melhor cientistas com o mesmo h
(Paradoxo de Einstein-Hirsh)
Muito robusto quanto a auto-citações
Detecta fraudes em carreiras científicas
Correlaciona bem com avaliações qualitativas tais
como prêmios científicos
23

24. Limitações do índice K
Não mede produção N
• Usar plano K vs h
Afetado por artigos de revisão
• Filtrar artigos de revisão
Afetado por artigos de Big Science
• Filtrar artigos de Big Science (?)
Depende da área de pesquisa
• Normalizar por área de pesquisa
24

25. Próximos passos
 Estudar prêmios Nobel de
Fisiologia e Química.
 Estudar correlações com prêmio
Wolf, medalha Boltzmann,
medalha Fields etc.
 Verificar se podemos fazer
predições melhores que a
Thompson Reuters (WoS) usando
o plano K vs h.
 Continuar estudando o problema
de avaliação qualitativa e
avaliação quantitativa.
25

26. Agradecimentos
 Ao CNPq (pelo auxílio ao Laboratório de Divulgação
Científica e Cientometria (LDCC), bolsa PIBIC (L.H.D.
Soares) e bolsa PQ)
 Ao DF-FFCLRP-USP (pelo espaço físico do
LDCC/FEBiC)
 A todos, pela presença...