Curso de cienciometria. Aula 3, Os indicadores cienciométricos

632 visualizações

Publicada em

Os indicadores cienciométricos

Publicada em: Ciências
0 comentários
2 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
632
No SlideShare
0
A partir de incorporações
0
Número de incorporações
6
Ações
Compartilhamentos
0
Downloads
21
Comentários
0
Gostaram
2
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Curso de cienciometria. Aula 3, Os indicadores cienciométricos

  1. 1. Curso de cienciometria Aula 3 Letícia Strehl Osindicadores cienciométricos
  2. 2.  Indicadores ▪ De impacto de periódicos  Fator de impacto, SJR, SNIP ▪ De produção e impacto de autores  Índice H ▪ De impacto de artigos em redes sociais  Altmetrias
  3. 3.  Indicadores ▪ De impacto de periódicos  Fator de impacto, SJR, SNIP ▪ De produção e impacto de autores  Índice H ▪ De impacto de artigos em redes sociais  Altmetrias E as inúmeras variações, algumas adequadas, outras não
  4. 4. Indicadores: tipos e níveis de abrangência 0 Indicadores bibliométricos 0 De impacto (número de citações por artigo): Fator de Impacto, SJR, SNIP 0 De produtividade e impacto: Índice H 0 Indicadores webométricos 0 Número de acessos e downloads 0 Altmetrias (impacto nas redes sociais) Periódico Autores Artigos Todavia, todos esses indicadores criados, originalmente, para medir padrões de comunicação científica nos níveis acima destacados, são aplicáveis em diferentes contextos: países, instituições, departamentos, áreas, PPGs, etc.
  5. 5. Indicadores de impacto Média de citações por artigo de um periódico: fórmulas variadas, cada qual com sua fonte de dados FI SJR SNIP
  6. 6. Os dados e os indicadores: Fator de impacto SCI E SSCI NA WEB OF SCIENCE JOURNAL CITATION REPORTS Acesso via:Acesso via:
  7. 7. Os dados e os indicadores SJR Scopus Scimago Acesso via: Acesso livre!
  8. 8. Os dados e os indicadores SNIP Scopus CWTS Journal Indicators Acesso via: Acesso livre!
  9. 9. Indicadores não normalizados por área: valores obtidos para publicações de áreas diversas não podem ser comparados! Indicador normalizado por área: comparação permitida!
  10. 10. O fator de impacto (FI) 0 Há décadas o principal indicador de visibilidade das publicações 0 Indicador criado em 1963 por Eugene Garfield e Irving Sher 0 Publicado anualmente no Journal Citation Reports (JCR) pela consolidação dos dados de citação concedidas aos periódicos indexados no: 0 Science Citation Index 0 Social Science Citation Index Interface de acesso: Cobertura: mais 10.100 títulos
  11. 11. O FI como critério de avaliação da produção científica 0Trabalhos publicados em periódicos com alto FI são considerados melhores do que os publicados em periódicos com FI menores.
  12. 12. Como o FI é calculado?
  13. 13. Como o FI de 5 anos é calculado? 2 anos
  14. 14. Comparação entre dois periódicos de mais alto impacto de áreas diversas Periódico Área FI SJR SNIP Ca-A Cancer Journal for Clinicians Oncologia 153,459 29,85 52,92 Journal of the American Mathematical Society Matemática 3,567 7,23 4,69 43x 4x 11x Essa é uma diferença comparável segundo o CWTS
  15. 15. O Qualis CAPES para “periódico” Avaliação da produção científica na pós-graduação
  16. 16. O Qualis CAPES para “periódico” 0 É o conjunto de procedimentos utilizados pela Capes para estratificação da qualidade da produção intelectual dos programas de pós-graduação. 0 O Qualis afere a qualidade [sic] de um artigo pela qualidade [sic] do periódico científico que o publicou. 0 A classificação de periódicos é realizada pelas áreas de avaliação e passa por processo anual de atualização. 0 Os periódicos são enquadrados em estratos indicativos da qualidade [sic] - A1, o mais elevado; A2; B1; B2; B3; B4; B5; C - com peso zero. 0 Um mesmo periódico, ao ser classificado em duas ou mais áreas distintas, pode receber diferentes avaliações. 0 O aplicativo que permite a classificação e consulta ao Qualis é o WebQualis.
  17. 17. Informações sobre a avaliação na página da CAPES Critérios de classificação dos periódicos Enquadramento de cada periódico por área
  18. 18. Critérios e enquadramento em estratos Critérios Qualis Classificação
  19. 19. Algumas áreas associam os estratos do Qualis aos valores de outros indicadores
  20. 20. Outras áreas associam os estratos do Qualis à indexação do periódico em bases de dados específicas
  21. 21. O produto de aplicação dos critérios é uma lista de periódicos por estrato para cada área
  22. 22. Crítica 1
  23. 23. O uso do FI para definição do Qualis dos periódicos nas áreas “Medicina” de 1 a 3 na CAPES Estratos Faixas de FI por área de avaliação Medicina I Medicina II Medicina III A1 >3,8 >3,8 >2,96 A2 Entre 3,799 e 2,5 Entre 3,8 e 2,36 Entre 2,29 e 2, 96 B1 Entre 2,499 e 1,3 Entre 2,36 e 1,1 Entre 1,35 e 2,28 B2 Entre 1,299 e 0,001 Entre 1,1 e 0,11 Entre 0, 1 e 1,34 B3 <0,11 Fonte: Documentos de Área disponível na página da CAPES em: http://www.capes.gov.br/avaliacao/areas-paginas
  24. 24. Os diferentes padrões de FI das subáreas de uma mesma área de avaliação Subárea da medicina Áreas do JCR Mediana do FI FI Agregado Meia-Vida Agregada CANCEROLOGIA ONCOLOGY 2,455 4,604 5,7 CARDIOLOGIA CARDIAC & CARDIOVASCULAR SYSTEMS 1,993 3,769 6,3 DERMATOLOGIA DERMATOLOGY 1,667 2,253 7,5 ENDOCRINOLOGIA ENDOCRINOLOGY & METABOLISM 2,796 4,072 6,6 GASTROENTEROLO GIA GASTROENTEROLOGY & HEPATOLOGY 2,210 3,606 6 MEDICINA LEGAL E DEONTOLOGIA MEDICINE, LEGAL 1,159 1,605 6,6 PNEUMOLOGIA RESPIRATORY SYSTEM 2,272 3,403 6,9 Medicina I
  25. 25. Os diferentes padrões de FI das subáreas de uma mesma área de avaliação Medicina II Subárea da medicina Áreas do JCR Mediana do FI FI Agregado Meia-Vida Agregada ALERGOLOGIA E IMUNOLOGIA CLÍNICA ALLERGY 1,985 3,623 6 ANATOMIA PATOLÓGICA E PATOLOGIA CLÍNICA ANATOMY & MORPHOLOGY 1,471 1,689 8,5 DOENÇAS INFECCIOSAS E PARASITÁRIAS INFECTIOUS DISEASES 2,594 3,79 6 HEMATOLOGIA HEMATOLOGY 2,747 5,173 6,4 NEUROLOGIA CLINICAL NEUROLOGY 1,994 3,006 7 PEDIATRIA PEDIATRICS 1,314 1,858 7,1 PSIQUIATRIA PSYCHIATRY 2,011 3,248 7,3 RADIOLOGIA MÉDICA RADIOLOGY, NUCLEAR MEDICINE & MEDICAL IMAGING 1,861 2,832 6,7 REUMATOLOGIA RHEUMATOLOGY 2,594 3,851 5,9
  26. 26. Os diferentes padrões de FI das subáreas de uma mesma área de avaliação Subárea da medicina Áreas do JCR Mediana do FI FI Agregado Meia-Vida Agregada ANESTESIOLOGIA ANESTHESIOLOGY 2,176 2,764 7,5 CIRURGIA SURGERY 1,263 2,105 7,6 GINECOLOGIA E OBSTETRÍCIA OBSTETRICS & GYNECOLOGY 1,616 2,182 6,8 OFTALMOLOGIA OPHTHALMOLOGY 1,362 2,204 7,5 ORTOPEDIA ORTHOPEDICS 1,164 1,875 8,4 CIRURGIA SURGERY 1,263 2,105 7,6 Medicina III
  27. 27. Comparação de valores absolutos de FI de periódicos de diferentes áreas
  28. 28. Pelo menos dois fatores contribuem para as diferenças de FI 0 Oncologia 0 Densidade dos artigos 0 Idade das citações 0 Matemática 0 Densidade dos artigos 0 Idade das citações
  29. 29. Fator de impacto e idade das citações de algumas das áreas médicas
  30. 30. Variação dos valores médios de FI por área do conhecimento AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in Publising, n. 1, p. 3, Oct.
  31. 31. Motivos do sucesso do FI como critério de avaliação da produção científica 0 Dificuldades relacionadas com o levantamento de dados de citações a trabalhos individuais 0 0 Facilidade de compreensão 0 “Robustez” (pequena variação de um ano para outro) 0 Rápida disponibilidade Fonte: GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics, v. 53, n.2, p.171-193, 2002.
  32. 32. Motivos do sucesso do FI como critério de avaliação da produção científica 0 Dificuldades relacionadas com o levantamento de dados de citações a trabalhos individuais 0 0 Facilidade de compreensão 0 “Robustez” (pequena variação de um ano para outro) 0 Rápida disponibilidade Tópico polêmico: O Fator de Impacto realmente revela algo sobre o impacto dos artigos? SILVA, Mauricio Rocha e. E. As certezas e incertezas do Fator de Impacto. Como o periódico Clinics se move nos meandros das citações. In: Seminário de Avaliação do Desempenho dos Periódicos Brasileiros no JCR. São Paulo, 2011.
  33. 33. Além disso, hoje, existem recursos que facilitam a coleta dos dados sobre as citações aos trabalhos individualmente A Plataforma Lattes é um exemplo
  34. 34. Identificadores digitais de autores em diferentes bases de dados Integrados com a
  35. 35. Identificadores digitais no nível do artigo: DOI Digital object identifier (DOI) é um código usado para identificar inequivocamente o conteúdo de vários tipos de redes eletrônicas. O sistema DOI é particularmente usado para documentos eletrônicos tais como artigos de periódicos.
  36. 36. A Plataforma Lattes agora usa e abusa do DOI, felizmente Preenchimento Visualização: DOI permite a integração com várias bases
  37. 37. O que medem os diferentes indicadores? LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of the American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009. Impacto Produção
  38. 38. Novos indicadores para periódicos e países do Portal Scimago (dados da Scopus) http://www.scimagojr.com/
  39. 39. Source Normalized Impact per Paper (SNIP) 0 Medida contextual do impacto por citações pela noramalização das citações com base nas citações totais obtidas para os periódicos de certas áreas . 0 O impacto de uma única citação é maior nas áreas nas quais as citações são menos prováveis, e vice-versa. http://www.journalmetrics.com/snip.php
  40. 40. Scival e InCites operacionalizam brilhantemente os indicadores normalizados
  41. 41. Indicadores normalizados resolveriam esse tipo de problema do Qualis
  42. 42. Crítica 2
  43. 43. 0 Contexto: 0 “Há uma necessidade premente de melhorar as maneiras em que os resultados de pesquisa científica são avaliados por agências de fomento, instituições acadêmicas e outras partes.” 0 Crítica central: 0 Uso do Fator de Impacto para avaliação http://www.ascb.org/dora/
  44. 44. http://www.ascb.org/dora/ Adesão das principais sociedades científicas do mundo todo à Declaração
  45. 45. Limitações apontadas para o uso do Fator de Impacto 0 “é fundamental entender que o Fator de Impacto tem uma série de deficiências bem documentadas como uma ferramenta para avaliação de pesquisa. 0 Estas limitações incluem: 0 distribuições de citação dentro periódicos são altamente enviesada; 0 as propriedades do Fator de Impacto são específicos do campo: é um composto de vários, altamente diversos de tipos de artigos, incluindo trabalhos de pesquisa primária e comentários; 0 os fatores de impacto podem ser manipulado pela política editorial 0 os dados utilizados para calcular os fatores de impacto não são transparentes (INVERDADE), nem abertamente à disposição do público (VERDADE) Fontes: http://www.ascb.org/dora/ Seglen, O . Why the impact factor of journals should not be used for evaluating research. British Medical Journal 1997, 314: 497
  46. 46. Articles 2003-2007; Citations 2008 Total of citations = 2195 MENEGHINI, R. Citations to papers from Brazilian institutions: a more effective indicator to assess productivity and the impact of research in graduate programs. Brazilian Journal of Medical and Biological Research, v. 44, n. 8, p. 738–747, 2011.
  47. 47. Corruptela do FI do periódico: o FI do autor 0 Divide-se o número de citações recebidas por um dado autor pelo número de artigos que ele publicou 0 Sabidamente é um índice que não funciona, o tamanho da amostragem dos dados não é suficiente para eliminar possíveis distorções
  48. 48. Indicadores de produção & impacto: Índice H Relação entre o número de trabalhos que o pesquisador publica e o número de citações que recebe 1 fórmula, várias fontes de dados
  49. 49. O que é o índice H h é o número de artigos publicados por um pesquisador que obtenham um total de citações igual ou superior a h Fonte: HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.
  50. 50. Exemplo de índice H: Stephen Hawking Stephen Hawking, autor de "Uma Breve História do Tempo": seu h é 74, ou seja, ele já publicou 74 trabalhos que receberam pelo menos 74 citações. índice H calculado na
  51. 51. Exemplo de índice H: Stephen Hawking Stephen Hawking, autor de "Uma Breve História do Tempo": seu h é 74, ou seja, ele já publicou 74 trabalhos que receberam pelo menos 74 citações.
  52. 52. Fator de impacto e Índice H
  53. 53. O que medem os diferentes indicadores? LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of the American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009. Impacto Produção
  54. 54. O SJR e o FI podem ser considerados equivalentes? LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of the American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009. Sim!
  55. 55. O que é o índice H 0 Definição: h é o número de artigos publicados por um pesquisador que obtenham um total de citações igual ou superior a h Fonte: HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.
  56. 56. Exemplo de índice H: Stephen Hawking Stephen Hawking, autor de "Uma Breve História do Tempo": seu h é 62, ou seja, ele já publicou 62 trabalhos que receberam pelo menos 62 citações.
  57. 57. O sentido do Índice H I H I H + + Produtivos Citados + - Produtivos Citados - + Produtivos Citados - - Produtivos Citados Legenda: I= Impacto H = Índice H Alto Baixo
  58. 58. Dificuldades do Índice H para comparação de desempenho dos cientistas 0Padrões de citação distintos verificados nas diversas áreas 0Artigos escritos em co-autoria 0Influência do tempo de atividade do pesquisador
  59. 59. O índice H calculado com a Web of Science
  60. 60. Para visualizar como é obtido o índice H 0 Os artigos de um autor são ordenados de modo decrescente por número de citações, quando o número de artigos coincidir com o número de citações obtem-se o índice H
  61. 61. Researcher ID: para facilitar o acesso às informações sobre um pesquisador (1)
  62. 62. Researcher ID: para facilitar o acesso às informações sobre um pesquisador (2)
  63. 63. Researcher ID www.researcherid.com Vinculado ao ORCID Integração somente com Web of Science e Endnote Acompanha citações e índice H Código numérico proprietário Identifica colaboradores
  64. 64. Researcher ID (perfil) Dados do autor Publicações Métricas Colaborações e citações
  65. 65. Researcher ID (métricas)
  66. 66. Researcher ID (colaborações) Autores
  67. 67. Researched ID (colaborações) Áreas de classificação
  68. 68. Researched ID (colaborações) Locais
  69. 69. Researched ID (colaborações) Instituições
  70. 70. Researched ID (colaborações) Apresenta no mapa os países de afiliação dos pesquisadores colaboradores Ao clicar sobre a letra apresenta dados da publicação realizada em colaboração com pesquisadores daquela localidade.
  71. 71. Researcher ID (citações) Autores Apresenta o o nome dos pesquisadores que mais frequentemente citaram o autor
  72. 72. Researcher ID (citações) Áreas de publicação Apresenta as áreas de classificação dos periódicos em que o pesquisador foi citado.
  73. 73. Researcher ID (citações) Países Apresenta os países de afiliação dos pesquisadores que mais frequentemente citaram o autor
  74. 74. Researcher ID (citações) Instituições Apresenta as instituições de afiliação dos pesquisadores que mais frequentemente citaram o autor
  75. 75. Researcher ID (citações) Apresenta no mapa os países de afiliação dos pesquisadores que citaram publicações do autor
  76. 76. Researcher ID (citações) Anos
  77. 77. Researcher ID (cadastro) Para fazer um novo cadastro: Clique no Item “Join Now It´s Free” Se já possui login na Web of Science e Endnote utilize aqui o mesmo login
  78. 78. O índice H da Scopus (1)
  79. 79. O índice H da Scopus (2)
  80. 80. O SJR e o FI podem ser considerados equivalentes? LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of the American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009. Sim!
  81. 81. Indicadores altmétricos Impacto nas redes sociais de um artigo
  82. 82. Impacto nas redes sociais: indicador comparável aos demais ? O Donut da Altmetric é o indicador mais popular!
  83. 83. O desafio em termos de indicadores 0A avaliação capaz de considerar as diferenças existentes entre as várias (sub-)áreas 0Desenvolvimento de indicadores que valorizem os periódicos de qualidade que tratam de problemas regionais

×