ANÁLISE DE INDICADORES
CIENCIOMÉTRICOS NAS
CIÊNCIAS DA SAÚDE
Dr. Tony Meireles dos Santos
Prof. Adjunto do Depto. EFI – Un...
Existe diferenciação?
2
Vs.
Agradecimento
3
Abordagem da Apresentação
• Fontes de informação
• Breve histórico da
cienciometria e sua
conceituação
• Indicadores
cienc...
Fontes Primárias de Informação
5
Abordagem...
6
Texto Produzido...
7
Santos et al. Motricidade 8(S2):15-22, 2012
Abordagem da Apresentação
• Fontes de informação
• Breve histórico da
cienciometria e sua
conceituação
• Indicadores
cienc...
Algumas considerações históricas...
9
Aspectos históricos
• Século XVIII
– Expansão da produção científica
• Quantificação
• Rastreamento
• Disseminação
– Prime...
Aspectos históricos
• Século XX
– Mídia digital
• Maior armazenamento
• Velocidade de divulgação
– Criação da NLM (década ...
Cienciometria
• Conjunto de técnicas matemáticas
aplicadas à quantificação e qualificação
da produção científica.
– Deriva...
Reflexos da Cienciometria
• Qualificação dos periódicos científicos
– Publicação em melhores periódicos
– Visibilidade do ...
Exemplo I: Michael Pollock x Riess (Nobel de Física
2011)
14
http://www.skopus.com
Exemplo II: Cenário Produtivo Brasil 2009/2010
15
http://www.scimagojr.com/mapgen.php?
country=BR&year=2009&maptype=cn&un=...
Transição dos Tempos
16
Publicar
Publicar nos
periódicos
qualificados
Visão Tradicional
Visão Contemporânea
Abordagem da Apresentação
• Fontes de informação
• Breve histórico da
cienciometria e sua
conceituação
• Indicadores
cienc...
JCR - Journal of Citation Report
• Métrica do Thomson Reuters
– International Science Institute
• Número de citações, esti...
IF, Immediacy Index e Cited Half Life
19
Triaridis e Kygidis (2010). Hippokratia 14 (Suppl. 1): 5-12
Onde Encontrar o JCR
20
Índice H
• Indicador de qualidade do
pesquisador
• Impacto acumulativo de um
determinado pesquisador
pela quantidade de ci...
Onde Encontrar o Índice H
22
Scopus
Scimago
Scimago Journal Rank - SJR
• Indicador do Scimago
– Normaliza o impacto de uma
citação em uma determinada
área de conhecim...
Onde Encontrar o Índice SJR
24
http://www.scimagojr.com
Índice H contemporâneo
– Foco: tempo de atividade
– Compensação da não diminuição do índice H
• Pós aposentadoria
– Atribu...
Quociente – M
• Foco: tempo de atividade
• Comparar pesquisadores com tamanho
de produção e tempo de carreira
diferentes
–...
Variações do Índice H (HI, HInorm e hm)
• Foco: Coautoria
• Objetivo de normalizar o efeito da coautoria
• HI
– HI = Índic...
JCR x C/D
28
Rocha-e-Silva. CLINICS 65(4):351-355, 2010
JCR x SJR
29
Rocha-e-Silva. CLINICS 65(4):351-355, 2010
Índice G
• Foco: diferenciação pelo número de citações
• Valoriza os artigos mais citados
• G = # artigos com ^2 imediatam...
Onde Encontrar os Demais Índices
31
http://www.harzing.com/pop.htm
Report Software Publish or Perish
32
Papers: 97 Cites/paper: 35.72 h-index: 23 AWCR: 276.30
Citations: 3465 Cites/author: ...
Abordagem da Apresentação
• Fontes de informação
• Breve histórico da
cienciometria e sua
conceituação
• Indicadores
cienc...
Interferências nos critérios
• JCR - principal indicador
– Auto citações do periódico
• Periódicos
• Pesquisadores
– Artig...
Motivos para Auto Citações
• Tradição entre os pesquisadores
– Valorização do próprio trabalho
– Continuidade e evolução d...
Controle das Auto-Citações - Efeito sobre o
JCR
36
AM J REPROD IMMUNOL 1.931 224 54 170 116 1.466 -24,1%
ANIM REPROD SCI 0...
Exclusão pelo JCR da Revista Brasileira de
Farmacognosia
37
http://www.scielo.org/php/index.php
Babado Recente...
• Suspensão para 2012 do JCR
– Acta Ortopedica Brasileira
– Clinics
– Jornal Brasileira de Pneumologia
–...
Comparação do JCR Entre as Áreas
39
Rose Olthof . How to Get Published. Apresentação Fio Cruz, Rio de Janeiro, 2011
Comparação do JCR Entre as Áreas: CS x
MED
40
0
2
4
6
8
10
Medicina
Ciências Sociais
Fator de Impacto (JCR)
http://www.sci...
JCR - Estratégia para aumento do JCR
• Aumento do numerador
– Auto citações
– Relevância dos estudos
– Relevância dos pesq...
Recurso do Número de Artigos de Revisão
42
http://www.skopus.com
Considerações Sobre o Índice H
• Vantagem
– Sensível à produção x impacto
– Múltiplas aplicações
• Pesquisadores, países, ...
Utilidades do Índice H - Países
44
Brasil Argentina Portugal EUA
Índice H 253 183 191 1190
Documentos 325549 93075 99351 5...
Utilidades do Índice H - Países
45
http://www.scimagojr.com
Br x Ar x Pt - # de Documentos
• > produção
Br
• Mudanças
2003/2004
46
Br x Ar x Pt - Colaboração Internacional
• Pt: >
interação
internacional
• Tendência “-”
• Br = Ar
47
Br x Ar x Pt - Índice H
• Índice H:
Integração
Quant x
Quali
• Br > Ar ≥ Pt
48
Br x Ar x Pt - Ameaça ao Índice H: Auto Citação
• Padrão
semelhante
ao #
Citações
• Tendência
Natural
49
Possível diferenciação / superioridade
50
SJR x IF - Scimago 2010: Orthopedics and Sports Medicine
51
http://www.scimagojr.com/journalrank.php?
area=2700&category=2...
Indexação
• PubMed
– Escopo e cobertura
– Qualidade do conteúdo
– Qualidade do trabalho e corpo editorial
– Qualidade da p...
Revisão por pares
• Qualidade do manuscrito
• Entretanto...
– Histórico e prestígio dos autores
– Instituição de origem
– ...
PitBull Reviewers
54
Walbot. J Biol 8:24, 2009
Impacto direto sobre os PPG nacionais
• CAPES
– Quantidade de produção
• Nº de produtos
– Qualidade da produção (Área
21, ...
Considerações Finais
• Informações fundamentais para
pesquisadores e alunos
• Interpretação crítica do JCR
• Necessidade d...
Colaboradores
57
Bruno Oliveira Bruno Viana
Agradecimento...
58
Perguntas?
59
Santos TM, Barra da Tijuca - Recreio, 18.9.2011
Próximos SlideShares
Carregando em…5
×

Indicadores cienciométricos - Curso SBPC 2013 - UFPE

527 visualizações

Publicada em

A sequência de slides desta apresentação foi utilizada no curso oferecido na SBPC em 2013 na UFPE. O objetivo principal desta apresentação foi humanizar um assunto relevante e emblemático para os interessados na produção de conhecimento. Buscou-se definir e desmistificar o uso de indicadores como fator de impacto (JCR, J ou FI), índice H etc.

Publicada em: Educação
0 comentários
1 gostou
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
527
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
9
Comentários
0
Gostaram
1
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Indicadores cienciométricos - Curso SBPC 2013 - UFPE

  1. 1. ANÁLISE DE INDICADORES CIENCIOMÉTRICOS NAS CIÊNCIAS DA SAÚDE Dr. Tony Meireles dos Santos Prof. Adjunto do Depto. EFI – Universidade Federal de Pernambuco
  2. 2. Existe diferenciação? 2 Vs.
  3. 3. Agradecimento 3
  4. 4. Abordagem da Apresentação • Fontes de informação • Breve histórico da cienciometria e sua conceituação • Indicadores cienciométricos • Análise crítica dos indicadores 4
  5. 5. Fontes Primárias de Informação 5
  6. 6. Abordagem... 6
  7. 7. Texto Produzido... 7 Santos et al. Motricidade 8(S2):15-22, 2012
  8. 8. Abordagem da Apresentação • Fontes de informação • Breve histórico da cienciometria e sua conceituação • Indicadores cienciométricos • Análise crítica dos indicadores 8
  9. 9. Algumas considerações históricas... 9
  10. 10. Aspectos históricos • Século XVIII – Expansão da produção científica • Quantificação • Rastreamento • Disseminação – Primeiras bibliotecas • Século XIX – Lenta expansão dos bancos de dados Santos et al. (2011/2012, dados não publicados)
  11. 11. Aspectos históricos • Século XX – Mídia digital • Maior armazenamento • Velocidade de divulgação – Criação da NLM (década de 1980) • Novos desafios – “Quantificação da ciência” (cienciometria) • Índices matemáticos – Journal Citation Report (JCR) - 1955 Santos et al. (2011/2012, dados não publicados)
  12. 12. Cienciometria • Conjunto de técnicas matemáticas aplicadas à quantificação e qualificação da produção científica. – Derivada da bibliometria; – Foco em periódicos e patentes: • # de produtos (quantidade) • # citações (utilidade, aplicação prática, relevância) – Útil na avaliação de periódicos, pesquisadores, instituições e países. 12 http://pt.wikipedia.org/wiki/Cienciometria
  13. 13. Reflexos da Cienciometria • Qualificação dos periódicos científicos – Publicação em melhores periódicos – Visibilidade do produto científico – Valorização da citação • Diferenciação dos pesquisadores • Concessão de recursos • Progressão profissional Santos et al. (2011/2012, dados não publicados)
  14. 14. Exemplo I: Michael Pollock x Riess (Nobel de Física 2011) 14 http://www.skopus.com
  15. 15. Exemplo II: Cenário Produtivo Brasil 2009/2010 15 http://www.scimagojr.com/mapgen.php? country=BR&year=2009&maptype=cn&un=a&x=h&y=citasxitem&z=item&area=0
  16. 16. Transição dos Tempos 16 Publicar Publicar nos periódicos qualificados Visão Tradicional Visão Contemporânea
  17. 17. Abordagem da Apresentação • Fontes de informação • Breve histórico da cienciometria e sua conceituação • Indicadores cienciométricos • Análise crítica dos indicadores 17
  18. 18. JCR - Journal of Citation Report • Métrica do Thomson Reuters – International Science Institute • Número de citações, estimado, para um periódico em dois anos • Comparação e avaliação entre diferentes periódicos – Desde que de uma mesma área de conhecimento JCR (2011)= # Citações em (2011) das publicações (2009 e 2010) # de Publicações (2009 e 2010) http://thomsonreuters.com/
  19. 19. IF, Immediacy Index e Cited Half Life 19 Triaridis e Kygidis (2010). Hippokratia 14 (Suppl. 1): 5-12
  20. 20. Onde Encontrar o JCR 20
  21. 21. Índice H • Indicador de qualidade do pesquisador • Impacto acumulativo de um determinado pesquisador pela quantidade de citações da sua produção • X trabalhos com pelo menos X citações – Michael L. Pollock • H = 17 # Artigos Citações 1 22 2 19 3 10 4 4 5 3 6 2 7 1 8 1 Harzing A-W. The Publish or Perish Book. 1st ed. Melbourne VIC: Tarma Software Research Pty, 2011. 256 p.
  22. 22. Onde Encontrar o Índice H 22 Scopus Scimago
  23. 23. Scimago Journal Rank - SJR • Indicador do Scimago – Normaliza o impacto de uma citação em uma determinada área de conhecimento – Citação realizada em uma área menos provável possui maior valor • Migração de informação – Tenta prever o tempo em que um artigo impactaria uma determinada área http://www.scimagojr.com/help.php#rank_journals
  24. 24. Onde Encontrar o Índice SJR 24 http://www.scimagojr.com
  25. 25. Índice H contemporâneo – Foco: tempo de atividade – Compensação da não diminuição do índice H • Pós aposentadoria – Atribui pesos para cada publicação conforme a sua “idade” • Artigos citados precocimente (< 4 anos) valem mais • Artigos citados com 4 anos valem 1 • Artigos citados tardiamente (> 4 anos) valem menos Harzing A-W. The Publish or Perish Book. 1st ed. Melbourne VIC: Tarma Software Research Pty, 2011. 256 p.
  26. 26. Quociente – M • Foco: tempo de atividade • Comparar pesquisadores com tamanho de produção e tempo de carreira diferentes – Corrige a vantagem do # de anos ativos de um pesquisador antigo x pesquisador jovem • Quociente-M = Índice H / # Anos em produtividade Harzing A-W. The Publish or Perish Book. 1st ed. Melbourne VIC: Tarma Software Research Pty, 2011. 256 p.
  27. 27. Variações do Índice H (HI, HInorm e hm) • Foco: Coautoria • Objetivo de normalizar o efeito da coautoria • HI – HI = Índice H / # de autores dos artigos • Hinorm – Hinorm = # de citações do artigo / # de autores do artigo • Índice H multi-autoral (hm) – Contagem reduzida das citações para casos de co-autoria Harzing A-W. The Publish or Perish Book. 1st ed. Melbourne VIC: Tarma Software Research Pty, 2011. 256 p.
  28. 28. JCR x C/D 28 Rocha-e-Silva. CLINICS 65(4):351-355, 2010
  29. 29. JCR x SJR 29 Rocha-e-Silva. CLINICS 65(4):351-355, 2010
  30. 30. Índice G • Foco: diferenciação pelo número de citações • Valoriza os artigos mais citados • G = # artigos com ^2 imediatamente < soma de citações – G = 7 – H = 4 # Artigos Citações # Artigos ^2 8 22 64 7 19 49 6 10 36 5 4 25 4 3 16 3 2 9 2 1 4 1 1 1 Soma 62 Harzing A-W. The Publish or Perish Book. 1st ed. Melbourne VIC: Tarma Software Research Pty, 2011. 256 p.
  31. 31. Onde Encontrar os Demais Índices 31 http://www.harzing.com/pop.htm
  32. 32. Report Software Publish or Perish 32 Papers: 97 Cites/paper: 35.72 h-index: 23 AWCR: 276.30 Citations: 3465 Cites/author: 1179.81 g-index: 58 AW-index: 16.62 Years: 16 Papers/author: 32.05 hc-index: 16 AWCRpA: 104.00 Cites/year: 216.56 Authors/paper: 3.52 hI-index: 6.78 e-index: 51.22 hI,norm: 18 hm-index: 10.85 Query date: 14/10/2011 Hirsch a=6.55, m=1.44 Contemporary ac=4.32 Cites/paper 35.72/3.0/0 (mean/median/mode) Authors/paper 3.52/4.0/4 (mean/median/mode) 4 paper(s) with 1 author(s) 15 paper(s) with 2 author(s) 24 paper(s) with 3 author(s) 35 paper(s) with 4 author(s) 19 paper(s) with 5 author(s) Índices do desempenho e estratégias do pesquisador Contagens absolutas das informações do pesquisador Indicadores derivados do índice HÍndices ajustados pela “vida” de cada produção Alguns índices contemporâneos, com correções diversas Distribuição da estratégia de colaboração http://www.harzing.com/pop.htm
  33. 33. Abordagem da Apresentação • Fontes de informação • Breve histórico da cienciometria e sua conceituação • Indicadores cienciométricos • Análise crítica dos indicadores 33
  34. 34. Interferências nos critérios • JCR - principal indicador – Auto citações do periódico • Periódicos • Pesquisadores – Artigos com grande potencial de citação • Textos metodológicos (novos procedimentos) • Textos de revisão – Redes de relacionamento • Ghost writers
  35. 35. Motivos para Auto Citações • Tradição entre os pesquisadores – Valorização do próprio trabalho – Continuidade e evolução de projetos – Prática espúria – Isso é monitorado! • Indicação de algumas revistas – Textos metodológicos • Rhea MR. Determining the magnitude of treatment effects in strength training research through the use of the effect size. J Strength Cond Res. 2004 Nov;18(4):918-20. – Sugestões declaradas • “Be sure to include appropriate articles from the Journal to which the article is submitted.” 35
  36. 36. Controle das Auto-Citações - Efeito sobre o JCR 36 AM J REPROD IMMUNOL 1.931 224 54 170 116 1.466 -24,1% ANIM REPROD SCI 0,701 110 23 87 157 0,554 -21,0% BIOL REPROD 3.257 726 265 461 530 2.757 -15,4% EUR J OBSTET GYN R B 0,449 169 19 150 376 0,399 -11,1% HUM REPROD 1.328 627 * 627 472 1.328 0,0% INVERTEBR REPROD DEV 0,899 98 8 90 109 0,826 -8,1% J REPROD FERTIL 2.211 1287 209 1078 582 1.852 -16,2% J REPROD IMMUNOL 1.442 137 20 117 95 1.232 -14,6% MOL REPROD DEV 2.003 597 107 490 298 1.644 -17,9% OXFORD REV REPROD B 1.765 30 * 30 17 1.765 0,0% REPROD DOMEST ANIM 0,565 39 2 37 69 0,536 -5,1% REPROD FERT DEVELOP 1.493 221 40 181 148 1.223 -18,1% REPROD NUTR DEV 0,579 84 10 74 145 0,51 -11,9% REPROD TOXICOL 0,859 79 26 53 92 0,576 -32,9% SEMIN REPROD ENDOCR 0,347 25 * 25 72 0,347 0,0% SEX PLANT REPROD 1.659 136 38 98 82 1.195 -28,0% Reproductive Systems Journals Delta % (A/D) JCR Impact Factor Cites in 1992 to 1990-91 Articles Self-Cites in 1992 to 1990-91 Articles (A-B) Minus self- Cites Articles Published 1990-91 (C/D) Revised Impact Factor http://thomsonreuters.com/
  37. 37. Exclusão pelo JCR da Revista Brasileira de Farmacognosia 37 http://www.scielo.org/php/index.php
  38. 38. Babado Recente... • Suspensão para 2012 do JCR – Acta Ortopedica Brasileira – Clinics – Jornal Brasileira de Pneumologia – Revista da Associação Médica Brasileira 38
  39. 39. Comparação do JCR Entre as Áreas 39 Rose Olthof . How to Get Published. Apresentação Fio Cruz, Rio de Janeiro, 2011
  40. 40. Comparação do JCR Entre as Áreas: CS x MED 40 0 2 4 6 8 10 Medicina Ciências Sociais Fator de Impacto (JCR) http://www.scimagojr.com
  41. 41. JCR - Estratégia para aumento do JCR • Aumento do numerador – Auto citações – Relevância dos estudos – Relevância dos pesquisadores – Número de pesquisadores • Ameaça da auto citação • Diminuir o denominador – Baixa quantidade de artigos aceitos por revista • Estratégia da revista x benefício da ciência – Impacto sobre os PPG JCR (2011)= # Citações em (2011) das publicações (2009 e 2010) # de Publicações (2009 e 2010)
  42. 42. Recurso do Número de Artigos de Revisão 42 http://www.skopus.com
  43. 43. Considerações Sobre o Índice H • Vantagem – Sensível à produção x impacto – Múltiplas aplicações • Pesquisadores, países, instituições etc. • Limitações – Sensível à idade do pesquisador – Não regride – Influenciado pela auto citação – Influenciado pela multi-autoria 43 Harzing A-W. The Publish or Perish Book. 1st ed. Melbourne VIC: Tarma Software Research Pty, 2011. 256 p.
  44. 44. Utilidades do Índice H - Países 44 Brasil Argentina Portugal EUA Índice H 253 183 191 1190 Documentos 325549 93075 99351 5285514 Documentos citáveis 315102 90135 95994 4934052 Citações 2203616 814586 873105 94410591 Auto citações 716178 185945 183305 43892266 (%) 33% 23% 21% 46% Citações por documento 6,77 8,75 8,79 17,86 1996-2010 Indicadores http://www.scimagojr.com
  45. 45. Utilidades do Índice H - Países 45 http://www.scimagojr.com
  46. 46. Br x Ar x Pt - # de Documentos • > produção Br • Mudanças 2003/2004 46
  47. 47. Br x Ar x Pt - Colaboração Internacional • Pt: > interação internacional • Tendência “-” • Br = Ar 47
  48. 48. Br x Ar x Pt - Índice H • Índice H: Integração Quant x Quali • Br > Ar ≥ Pt 48
  49. 49. Br x Ar x Pt - Ameaça ao Índice H: Auto Citação • Padrão semelhante ao # Citações • Tendência Natural 49
  50. 50. Possível diferenciação / superioridade 50
  51. 51. SJR x IF - Scimago 2010: Orthopedics and Sports Medicine 51 http://www.scimagojr.com/journalrank.php? area=2700&category=2732&country=all&year=2010&order=sjr&min=0&min_type=
  52. 52. Indexação • PubMed – Escopo e cobertura – Qualidade do conteúdo – Qualidade do trabalho e corpo editorial – Qualidade da produção – Audiência – Tipos de conteúdo – Periódicos de língua estrangeira (inglês) – Cobertura geográfica http://www.pubmed.com
  53. 53. Revisão por pares • Qualidade do manuscrito • Entretanto... – Histórico e prestígio dos autores – Instituição de origem – Proteção à ideologias pessoais – Tendência à aprovação dos estudos com “significância estatística” (2/3) – Circuito extremamente fechado • Muitas vezes independente da qualidade do manuscrito • Periódicos em plataforma aberta – Revisão metodológica – Adequação à revista
  54. 54. PitBull Reviewers 54 Walbot. J Biol 8:24, 2009
  55. 55. Impacto direto sobre os PPG nacionais • CAPES – Quantidade de produção • Nº de produtos – Qualidade da produção (Área 21, 2007-2009) • A1 – JCR ≥ 1,85 – H ≥ 70 • A2 – JCR ≥ 1,35 – H ≥ 25 • B1 – JCR < 1,35 – H < 25 • Desvalorização dos livros – Sem julgamento prévio – Incertezas sobre a pontuação
  56. 56. Considerações Finais • Informações fundamentais para pesquisadores e alunos • Interpretação crítica do JCR • Necessidade de adequação dos critérios brasileiros – Área 21 trabalhando nesta proposta – Minha sugestão (se é que posso...): • Se for utilizar o JCR – Normatização dos impactos pelo pico das subáreas • Investigar outras opções – SJR – Variações do H 56
  57. 57. Colaboradores 57 Bruno Oliveira Bruno Viana
  58. 58. Agradecimento... 58
  59. 59. Perguntas? 59 Santos TM, Barra da Tijuca - Recreio, 18.9.2011

×