1) El documento discute las tendencias internacionales en la evaluación de la ciencia y la tecnología, incluidos los desafíos con los métodos tradicionales basados en revistas y el surgimiento de métricas alternativas como las altmetrías. 2) Propone que se debe evaluar la investigación en base a sus propios méritos más que en la revista donde se publica y ampliar la definición de contribución científica. 3) También aboga por la liberación de datos bibliográficos para generar bases de datos de citas abiertas
PINTURA DEL RENACIMIENTO EN ESPAÑA (SIGLO XVI).ppt
Trends in bibliometrics
1. Tendencias internacionales en la
evaluación de la ciencia y la tecnología.
Bibliometría y Altmetría
Jornada de intercambio y debate sobre la medición de la producción científico-tecnológica: políticas, experiencias
y desafíos. Instituto de Investigaciones en Humanidades y Ciencias Sociales (UNLP-CONICET), Facultad de
Humanidades y Ciencias de la Educación, Universidad Nacional de la Plata , 3 de diciembre de 2013
Zaida Chinchilla-Rodríguez
SCImago Research Group – IPP - CSIC
2. Situación actual de la investigación
• Conference themes and Plenary Sessions:
Topic 1 Scientometrics Indicators:
- Criticism and new developments
- Their disciplinary relevance: Science and Technology, Social Sciences and Humanities
Topic 2 Old and new of data sources for scientometric studies: coverage, accuracy and
reliability
Topic 3 Citation and co-citation analysis
Topic 4 Science Policy and Research Evaluation: Quantitative and qualitative approaches
Topic 5 Measuring Innovation and Emergence incl. Patent Analysis
Topic 6 Collaboration studies
Topic 7 Webometrics
Topic 8 Visualisation and Science Mapping: tools, methods and applications
Topic 9 Management and measurement of bibliometric data within scientific organizations
Topic 10 Open Access and Scientometrics
Topic 11 Scientometrics in the History of Science
Topic 12 Sociological and philosophical issues and applications
Social Network Analysis
Introduction to ORCID
The wondrous world of bibliometric indicators:
• Citation Indicators
• Usage Indicators
• Altmetrics
3. Research Trends
Table Compound Big Datasets and their objects of study. Source: Henk F. Moed
The use of Big Datasets in bibliometric research. Research Trends, 30, september 2012
5. Total
output
Liderazgo y excelencia científica
(país o institución)
Participated
output
Output as main
contributor
Excellence
output
Exclusive
output
Author/s only from one
domain
Authors from different
domains
Excellence
Output as
main
contributor
6. Principales Indicadores Latinoamérica
Country % LAC
Cites
per
docume
nt
% Cited
docum
ents
International
collaboration
Normalized
Citation
% Output
in Q1
% Excellence % Leadership
% Excellence
with Leadership
Brazil 51,19 7,61 72,39 24,92 0,78 36,64 7,17 86,99 4,76
Mexico 17,77 7,33 66,52 38,81 0,77 39,77 7,30 78,40 3,62
ARGENTINA 11,60 9,48 75,89 41,50 0,92 48,69 8,45 76,30 4,31
Chile 7,43 10,15 74,20 52,42 0,94 46,14 9,62 68,79 4,34
Colombia 4,06 7,86 63,49 51,18 0,81 34,93 7,86 67,43 2,50
Venezuela 2,74 6,33 58,11 43,38 0,61 31,08 5,65 73,91 2,07
Cuba 2,34 4,74 48,70 40,94 0,44 24,13 4,38 75,67 1,85
Latin America 100,00 5,84 60,47 32,85 0,78 37,23 7 82,93 4,06
15. • Críticas al modelo tradicional de evaluación y financiación científica
– Descontento generalizado de investigadores, editores y gestores de investigación científica
sobre el modelo actual (San Francisco Declaration of Research Assessment) → Factor de
impacto de las revistas, no de los artículos → Único indicador de referencia en agencias de
promoción y financiación de la investigación →Re-diseñar estrategias y criterios de evaluación
de la actividad científica
– Múltiples fuentes de recogida de datos y plataformas abiertas y gratuitas
• Auge del acceso abierto
– Criterio para la financiación de la investigación (Leyes nacionales, Comisión Europea, Welcome
Trust, NIH, Russell Group …)
– Cumplir mandato institucional
– Difusión, divulgación, democratización de la actividad científica, visibilidad…
• Mayor repercusión y visibilidad de la actividad científica
– Nuevos canales de comunicación científica → se consolida el concepto de impacto social de
la actividad investigadora? → tercera misión de las universidades? → nuevos criterios de
evaluación → pro-actividad de investigadores e instituciones
16. • 1) “La necesidad de eliminar el uso de métricas basadas en revistas, como el índice de impacto de revistas, en las consideraciones
sobre financiación, nombramientos y promoción”. Si bien la DORA contempla mecanismos de transición, su diagnóstico es inapelable:
no se trata de remendar los “abusos” o “distorsiones” del factor de impacto, sino de abandonarlo.
• 2) “La necesidad de evaluar la investigación a partir de sus propios méritos y no a partir de la revista donde se publica”. Tres aspectos
me parecen especialmente reseñables de esta perogrullada/herejía (táchese lo que no proceda): primero, el acento en trasladar este
cambio de enfoque a los investigadores en fase inicial (los más sensibles a estos índices); segundo, la ampliación de la definición de
contribución científica para abarcar los programas informáticos y los conjuntos de datos (basta ver las charlas TED de Hans Rosling para
entender por qué); y tercero, la promoción de indicadores de impacto cualitativos como la influencia en las políticas públicas y en la
práctica social. Obviamente, evaluar esto es complejo (desde luego más complejo que transcribir un índice de impacto prefijado), pero
merece la pena si con ello potenciamos el diálogo enriquecedor entre ciencia y sociedad.
• 3) Finalmente, la DORA propone a los editores de revistas “eliminar toda limitación a la reutilización del listado de referencias de los
artículos y ponerlo a libre disposición bajo la licencia Creative Commons de Dominio Público”. ¿Qué pretenden con ello? Ni más ni
menos que reeditar la apuesta por la web semántica y los datos abiertos en el campo de las métricas científicas. Aquí también la opción
por el acceso abierto frente a lo que el reciente Nobel de Medicina Randy Schekman denomina “la tiranía de las revistas de lujo” se
evidencia como perentoria. Ahora bien, aun si las revistas no fueran de acceso abierto, bastaría la libre disposición y reutilización de sus
metadatos bibliográficos para generar una base de datos de citas que abriría el código de los índices de impacto y, por ende, de las
decisiones de evaluación... ¡Sería el fin de los “resultados irreproducibles” porque cualquier persona (científica o no) podría
comprobarlos!
En suma, la DORA propone una alternativa a los índices científicos establecidos que halla resonancia en muchos otros ámbitos sociales.
Al fin y al cabo, atender a los índices es atender a las creencias, esto es, a cómo una sociedad atribuye su crédito (financiero, político,
periodístico y también científico). Y creer a ciegas no es solo la antítesis de la actitud que se nos presupone a los académicos, sino
también una amenaza antidemocrática que ningún ciudadano comprometido puede permitirse ignorar. He aquí el sentido último de mi
invitación a la necedad: si deseamos apuntar bien a la Luna, debemos impedir que, a fuerza de no mirarlos, nuestros índices se nos
vayan de las manos hasta llegar a eclipsarla.
17. • Redes sociales
– Facebook y Twitter
• Redes sociales académicas
– Academia.edu
– ResearchGate
– Mendeley
– SlideShare
• Perfiles bibliográficos
– Google Citations
– MS Academic Search
Nuevas plataformas y herramientas
Altmetrics.com
18. Nuevos indicadores
• Medidas generadas a partir de las interacciones de los usuarios con
materiales generados por los propios investigadores
– Presencia en redes académicas
– Número de veces que un trabajo se marca como favorito (bookmarking)
– Número de veces que ha sido añadido a una colección bibliográfica
– Menciones en blogs y medios de comunicación
– Número de retwits…
• Fortalezas:
– Aporta una dimensión distinta a la bibliometría convencional
– Impacto social de la investigación científica
– Proporcionan datos a nivel artículo (documento)
– Proporcionan datos en tiempo real de la repercusión de la investigación
– Especie de revisión por pares colectiva posterior a la publicación
• Debilidades:
– Son muy recientes
– Problemas de normalización para la recuperación de la información
– Disponibilidad de datos
21. Twitter moves open science forward in real time
Source: Darling, Emily. It’s time for scientists to tweet . The Conversation, 28 May 2013.
http://theconversation.com/its-time-for-scientists-to-tweet-14658
30. ¿Qué es Mendeley?
Mendeley e un programa académico
gratuito (Win, Mac & Linux) para
gestionar, compartir, anotar y citar tu
bibliografía científica…
...y una red social académica para
gestionar tu bibliografía online,
descubrir tendencias y estadísticas y
conocer a otros investigadores con
intereses communes
35. Perfiles bibliográficos
• Dos nuevas herramientas en la evaluación de la investigación (bases de datos de
citas)
• Diferentes perfiles y funcionalidades
– Google Scholar Citations: Perfil creado por el usuario, GS lo actualiza automáticamante.
Permite añadir manual o automáticamente registros, su exportación en distintos formatos
y unificar registros duplicados
– MS Academic Search: permite editar el perfil, incorporarlo en una web externa y tienes
más funcionalidades que Google Scholar Citations
Google Scholar
scholar.google.com
MS Academic Search
academic.research.microsoft.com
Size +100 million ~40 million
Sources (Un)reliable Reliable
Current Yes No
Quality control At the source By end user
42. PROS
• Participación en redes
sociales y académicas
• Incremento de visibilidad
• Posibilidad de interactuar
con otros grupos
• Acceso abierto de los
documentos
• Cumplimiento de
mandato institucional
CONTRAS
• Evanescencia de los datos
y las fuentes
• Posibilidad de incurrir en
ilegalidad por los
derechos de autor
• Aumenta el trabajo del
investigador
52. Consejos básicos
• Enlazar nuestras páginas personales con el mayor número
posible de sitios (redes sociales, perfiles bibliograficos,
web institucionales: IPP, CSIC…) Cualquier enlace es mejor
que ninguno
• Subir todo el contenido posible (mayor probabilidad de
ser visibles) respetando los permisos de autoarchivo
• Etiquetar los grupos e intereses de investigación
• Poner perfiles o un identificador estandarizado en la firma
del correo electrónico
53. Conclusiones finales…
• Los nuevos indicadores aún no se utilizan en la evaluación pero se recomienda su incorporación
paulatina en los currícula
• Resolver problemas de normalización a nivel individual e institucional
• La nueva generación de sistemas de información científica (CRIS) y las métricas basadas en el uso y
consumo de la información, pueden aportar nuevos criterios y soluciones en la evaluación científica
• También aporta la oportunidad de que el investigador pueda incrementar la visibilidad más allá de la
publicación en revistas, ya que puede compartir en muchas otras fuentes de interés
• Cualquier indicador que complemente los que ya existen (bibliométricos, de transferencia tecnológica,
etc.) son bienvenidos y hay que explorar sus utilidades y sus limitaciones