El documento habla sobre las herramientas e indicadores bibliométricos para la evaluación de la investigación en ciencias de la salud. Explica que los diferentes campos científicos tienen naturalezas de conocimiento muy diferentes y formas distintas de investigación, comunicación y evaluación. También describe varios indicadores bibliométricos comunes como producción, colaboración, impacto y fuentes de datos, y discute sus usos y limitaciones para medir la calidad de la investigación.

1. Herramientas e indicadores bibliométricos para la evaluación de la investigación en Ciencias de la Salud Emilio Delgado López-Cózar Profesor de Metodología de la Investigación

4. Heterogeneidad de la ciencia los campos científicos Juicios de valor Citas = Impacto Evaluación trabajos ex post CONSENSO COGNITIVO ¿Peer review? Peer Review Evaluación trabajos ex ante Descriptivos / Cualitativos Exprimentales Métodos de investigación Cualitativas Cuantitativas Técnicas análisis datos Realidad humana (Subjetiva / contextual) Realidad natural (Objetiva / universal) Objeto de investigación Lenguaje natural Matemático Lenguaje Individuo Grupo Organización Libros Revistas Medio publicación Humanidades Sociales CyT Inglés Lengua vernácula Lenguaje publicación

5. Los hábitos de comunicación científica Los medios de publicación Experimentales Sociales Humanidades

6. RIN 2009. Communicating knowledge: How and why UK researchers publish and disseminate their findings. Publicación de resultados de investigación por tipo de documento Científicos británicos ( N=944 )

7. RIN 2009. Communicating knowledge: How and why UK researchers publish and disseminate their findings. Importancia de la revistas científicas como canales de publicación Científicos británicos

8. Los hábitos informativos Porcentaje citas a revistas Bases de datos SCI / SSCI (1993) (600.000 artículos, 10.000.000 referencias ) Glänzel, W. and Schoepflin, U. 1999. A bibliometric study of reference literature in the sciences and social sciences. Inf. Process. Manage. 1999; 35(1): 31-44

9. Biomedicina Ingenierías Psicología Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): 997-1004

10. Los hábitos informativos Distribución edad de las citas en tres disciplinas Citas en Web of Science )

11. Las comunidades científicas el tamaño Científicos = Publicaciones = Referencias bibliográficas = + + Citas Indicadores bibliométricos de mayor tamaño Mayores Impact Factor, Índice H… + +

14. ¿Qué es la calidad de una trabajo científico? Algo fácil de percibir pero difícil de medir Consenso implícito: cualquier científico competente puede distinguir los trabajos buenos de los malos y clasificar unos como mejores que otros Multidimensional No existen medidas absolutas y directas de la calidad sino indicadores parciales

16. RIN 2009. Communicating knowledge: How and why UK researchers publish and disseminate their findings. Trabajos de investigación publicados y presentados a evaluación en el RAE por investigadores biomédicos británicos

17. ¿Y si le preguntamos a los científicos españoles? Muestra: 1294 Profesores TU y Catedráticos con 1 o 2 tramos Buela-Casal, G. y Sierra, J. C. (2007). Criterios, indicadores y estándares para la acreditación de Profesores Titulares y Catedráticos de Universidad. Psicothema, 19, 357-369 * * * Opinión científicos españoles

18. “ Se valorarán preferentemente las aportaciones que sean artículos en revistas de reconocida valía, aceptándose como tales las que ocupen posiciones relevantes en los listados por ámbitos científicos en el «Subject Category Listing» del « Journal Citation Reports » del « Science Citation Index » (Institute for Scientific Information -ISI- Philadelphia, PA, USA). Las revistas electrónicas se considerarán cuando aparezcan en los listados del ISI ” “ Con carácter orientador se considera que para obtener una evaluación positiva en las áreas de Ciencias Biomédicas, tanto básicas como clínicas, al menos dos de dichas aportaciones deben ser artículos publicados en revistas de alto impacto entre las recogidas bajo cualquiera de los epígrafes del Science Citation Index ” Las agencias de evaluación Criterios evaluación científicos

19. Se puede considerar un menor número de trabajos si corresponden a publicaciones de elevada calidad “ [Publicar artículos en revistas científicas] es el elemento fundamental de la evaluación y la autoría de un buen número de publicaciones en revistas de calidad permite conseguir casi todos los puntos (…) para obtener la puntuación máxima en este apartado se requiere la aportación por el solicitante de un mínimo de (…) publicaciones científicas recogidas en Science Citation Index , si la mitad de ellas pertenecen al primer tercio de la categoría ” Las agencias de evaluación Criterios evaluación científicos Número de publicaciones para obtener la puntuación máxima Total primer tercio Total artículos ISI-JCR 6 10 20 12 20 40 Contratados Dr. Titulares Catedráticos

20. Los indicadores bibliométricos

21. Evaluación de la actividad científica Marcando el territorio

23. Unidades de análisis Grandes números = estabilidad Pequeños números = alta variabilidad Deficiente Departamentos, grupos, investigadores Micro Buena Regiones, Instituciones, áreas temáticas Meso Máxima Países Macro Fiabilidad y Validez Agregado Nivel

25. Instituciones firmantes y factor de impacto de los artículos publicados por autores con filiación española en las revistas Nature, Science, PNAS, New England Journal of Medicine, Lancet y JAMA distribuidos según posición firmante (2004-2005) Jiménez-Contreras, Evaristo; Torres Salinas, Daniel; Ruiz-Pérez, Rafael; Delgado-López-Cózar, Emilio. Investigación de excelencia en España: ¿actores protagonistas o papeles secundarios? Medicina Clinica (Barcelona) ; 134(2):76-81

29. Bases de datos nacionales versus internacionales Sociales / Humanidades Biomedicina Ciencia y Tecnología

32. Torres-Salinas, D.; Jiménez-Contreras, E.; Delgado López-Cózar, E. Rankings for departments and researchers within a university using two different databases: Web of Science versus SCOPUS. Scientometrics. 2009, 80(3): 761-774 Comparando WoS y Scopus Biomedicina en la Universidad de Navarra (1999-2005)

35. Producción

37. Colaboración

40. Impacto

41. M. Amin & M. Mabe. (2000). Impact factors: Use and abuse. Perspectives in publishing Thomson ISI-JCR

42. Factor de impacto Ese anhelado objeto del deseo

43. Número de citas recibidas en 2006 por los trabajos publicados en 2004 y 2005 Número de trabajos publicados en 2004 y 2005 Impact Factor = A/B 2006 2005 2004 2006 Impact Factor 2003 2007 Tiempo JCR La fórmula mágica

50. La impactitis Responsables y gestores de instituciones evaluadoras del rendimiento científico que adoptan acríticamente el factor de impacto como único criterio de evaluación bajo el manto de adoptar calificaciones pretendidamente objetivas que hacen innecesarias las valoraciones de calidad de los expertos en cada área y proporcionan una especie de coartada para evitar los debates y enfrentamientos que éstas plantean Cautelas

52. Las alternativas al Impact Factor Citas con pesos Torres-Salinas, Daniel ; Jiménez-Contreras, Evaristo . Introducción y estudio comparativo de los nuevos indicadores de citación sobre revistas científicas en Journal Citation Reports y Scopus. El profesional de la información , 2010, v. 19, n. 2, pp. 201-207.

53. Loet Leydesdorff. How are new citation-based journal indicators adding to the bibliometric toolbox?, Journal of the American Society for Information Science and Technology 60(7) (2009) 1327-1336 Las alternativas al Impact Factor Citas con pesos

55. El Índice H

57. Nuevos indicadores Redes Sociales

58. Nuevos indicadores El uso • “ a number of initiatives have attempted to measure scientific impact from usage log data” • “ derivation of metrics to assess the quality and impact of scholarly communication units” Johan Bollen, Herbert Van de Sompel, Aric Hagberg., Ryan Chute A Principal Component Analysis of 39 Scientific Impact Measures. PLOS One 2009 Los datos de uso tienen diferentes ventajas sobre los de citas • Inmediatos Consisten en procesar la información derivada de los ficheros log de consulta, donde que recogidos las sesiones de consulta de los usuarios – Fechas/duración – Identificador de la sesión – Identificador de los artículos – Tipo/resultados de la consulta Los indicadores de uso. • ¿Han venido para quedarse? • ¿Aportan nueva información? • ¿La información es complementaria?, ¿alternativa?, ¿mejor? ¿distinta? • ¿Son una alternativa real a las citas?

60. Johan Bollen, Herbert Van de Sompel, Aric Hagberg., Ryan Chute A Principal Component Analysis of 39 Scientific Impact Measures. PLOS One 2009

61. Johan Bollen, Herbert Van de Sompel, Aric Hagberg., Ryan Chute A Principal Component Analysis of 39 Scientific Impact Measures. PLOS One 2009

64. Nuevos indicadores El uso: métrica de PLOS One Uso real Prestaciones

66. Las herramientas

76. PROYECTO científica_ugr El sistema de información y evaluación científica de la Universidad de Granada Vicerrectorado de Investigación y Política Científica. En colaboración con el grupo EC3

78. EJEMPLO: DEPARTAMENTOS Niveles de consulta: Univ, Dpt, GI, Ponenca, Investigador

79. EJEMPLO: DEPARTAMENTOS 1. Seleccionamos el nivel 2. Seleccionamos DPT 3 Menú de opciones

80. EJEMPLO: DEPARTAMENTOS OPCIONES DEL MENÚ (para todos los niveles) TABLEROS (opción de consulta de la información en pantalla). - Tablero ejecutivo (es un resumen del agregado) - Producción en revistas científicas y visibilidad (ciencias y sociales/humanidades) - Producción de libros, capítulos y congresos - Recursos Económicos: Proyectos I+D y contratos - Rankings INFORMES DE DATOS - La misma información que en los tableros pero dispuesta a modo de informe A4 e imprimible en pdf. INFORMES DESGLOSADOS. - Son las referencias de artículos, proyectos, etc… (por ejemplo referencias bibliográficas) TABLERO EXPORTACIÓN - Permite exportar toda la información en diferentes formatos (.doc, .xls, . Txt, etc…)

81. EJEMPLO: DEPARTAMENTOS, TABLERO EJECUTIVO 1. Tablero ejecutivo permita comparativas 2. Los tableros incluyen varias fichas

85. EJEMPLO: RANKING GRUPOS DE INVESTIGACIÓN

86. EJEMPLO: CONSULTA DE PONENCIAS

87. EJEMPLO: DPT, OTRAS OPCIONES: INFORMES

89. Un ejemplo

90. Cuidado con los nombres

92. Autores más productivos instituciones paises Tipos documentales

93. Organismo financiador Áreas temáticas Revistas

95. Essential Science Indicators

96. Essential Science Indicators

97. La investigación de más impacto a nivel mundial Ruiz Pérez, R.; Jiménez Contreras, E.; Delgado López-Cózar, E. Complementos bibliométricos de Thomsom Scientific en la Web: buenos, bonitos y gratuitos. El Profesional de la Información 2008, 17(5): 553-557 ACCESIBLE EN http://ec3. ugr.es /publicaciones

105. Muchas gracias por su atención Emilio Delgado López-Cózar [email_address] ec3.ugr.es/emilio Grupo de investigación Evaluación de la Ciencia y de la Comunicación Científica www.ec3.ugr.es ec 3