Evaluación de la investigación. Escuela Nacional de Sanidad. Marzo 2014.

1. Evaluación de la investigación
Dr. Antonio García Romero
IE University
Master Internuversitario en Dirección y Gestión de la I+D+i en
Ciencias de la Salud
Escuela Nacional de Sanidad
Universidad de Alcalá de Henares
UNED
Madrid, 28 de marzo de 2014

2. Estructura de la presentación
1. ¿Por qué es necesario evaluar la I+D?
2. Algunos retos de las políticas de investigación
e implicaciones sobre su evaluación
3. ¿Qué es la evaluación de la I+D?
4. Métodos y herramientas para evaluar la I+D
5. Epílogo

3. ¿Por qué es
necesario
evaluar la I+D?

4. Asia’s Ascent — Global Trends in Biomedical R&D Expenditures
Justin Chakma, Gordon H. Sun, Jeffrey D. Steinberg, Stephen M. Sammut, and
Reshma Jagsi.
N Engl J Med 370;1 January 2, 2014

5. 354.626 M€
488.781 M$

10. Número de publicaciones en todas las áreas y tasa de variación
Total mundial

12. 73/hora
Número de publicaciones en Ciencias de la Salud y tasa de variación
Total mundial

15. Algunos retos de las
políticas de
investigación e
implicaciones sobre su
evaluación

16. Una reciente serie de artículos en la revista The Lancet señaló que, en
2010, alrededor de 200.000 mill. $ (un sorprendente 85% del gasto
mundial en investigación médica) se desperdiciaron en estudios que
tuvieron fallos en su diseño, fueron redundantes, nunca fueron publicados
o se publicaron con errores.
“Why most published research findings
are false”

17. Mayor competencia por los (escasos) recursos
The Scientist ©
“Este es el mejor modo que conozco para decidir
quien consigue la plaza de investigador”

18. Gallup, ORI 2008
Mala conducta científica
D. Parkins Nature ©

19. Mala conducta científica (cont.)
Déjà Vu: a Database of Highly Similar Citations
Errami & Garner, Nature (2008)

20. Mayor grado de especialización
© The Economist 2010
Grupos más grandes,
multidisciplinares y
complejos
Dificultad para evaluarlos
mediante peer review

21. Richard Smith
Editorial de BMJ (2001):323-528
Creciente interés en conocer los retornos socioeconómicos
de la investigación biomédica

22. Creciente interés
por conocer los
retornos
socioeconómicos
de la investigación
biomédica

23. Qué es la evaluación
de la investigación
(Incluye una muy breve historia)

24. • “La investigación es una actividad incierta dado que sobre un
espectro de posibles resultados se desconoce, a priori, la
probabilidad que se tiene de alcanzar cualquiera de ellos”
(Nelson, 1959)
• El carácter incierto e impredecible de la investigación la
convierte en una actividad difícil de gestionar. En particular, es
necesario disponer de la mayor información posible para
tomar decisiones.
• Se puede definir la evaluación de la investigación como el
conjunto de procedimientos que permiten obtener información
útil para la toma de decisiones en Política de Investigación.
(García-Romero, 2003)
• La evaluación no es lo mismo que la monitorización. No basta con
describir lo que ha pasado sino responder cuestiones como por qué
ha pasado? o ¿qué hubiera ocurrido si las condiciones hubieran sido
otras?
Analogía con otras decisiones públicas o privadas

25. La evaluación de la
investigación es crucial
para asignar los
recursos (escasos) de
modo eficiente

26. 1665: 1-2
Se establece el Peer Review para poder publicar en Philosophical
Transactions
Se generan incentivos a publicar al atribuir la propiedad de los
descubrimientos
Mejora sensiblemente la calidad de los avances científicos
Sir Isaac Newton

27. 1958
Bibliometría, ISI
(SCI, SSCI,
A&HCI)
Factor de Impacto
Eugene Garfield
El Efecto Mateo
en la Ciencia
“Porque a quien
tiene se le dará y le
sobrará; pero a
quien no tiene, aún
lo que tiene se le
quitará” (Mateo
13:12)
Robert K. Merton
1968
Vannevar Bush
1945
Proyecto
Manhattan
National Science
Foundation
Años 70 en adelante: tres hechos importantes
32ª Conferencia
de la OPEC.
1973. Viena.
Derek de Solla Price.
Ley de crecimiento
exponencial de la
Ciencia.
Coste de los
equipos para
investigación se
dispara

28. Hoy … >1.750 … 10-15 …. 40%... 80%
Derek de Solla Price
9.740 revistas
1.593.000 artículos
23.406 artículos
1.350 $ / artículo
30 M$

29. Las políticas de I+D y
evaluación deben
evolucionar para
adaptarse a los cambios
experimentados en la
Ciencia

30. Métodos y
herramientas
para evaluar la
Investigación

31. ¿Cómo NO debemos evaluar? Paradoja de Procrusto

32. ¿Cómo?
© The Scientist

33. INPUTS
Stock conocimiento
Recursos humanos
Recursos materiales
e infraestructuras
Recursos financieros
Graduados
“Problemas”
Naturaleza
PROCESO
Trabajo investigadores
(organización)
Difusión investigación
Apoyo técnico
Apoyo administrativo y
gestión
Formación nuevos
investigadores
Interacción con la tarea
asistencial y docente
OUPUTS
Publicaciones
Patentes
Investigadores
formados
IMPACTOS
Científico (FI, citas)
Económico (empleo,
innovación, LYL)
Social (calidad de vida,
calidad asistencial)
Político (toma de
decisiones)
Marco conceptual para la evaluación de la I+D

34. Indicadores y Métricas
• Inputs: Recursos materiales, humanos, financieros
(Manual de Frascati, Snowball metrics)
• Proceso: sistemas de información, encuestas,
indicadores sobre la organización, interacciones,
difusión de conocimiento.
• Output: Publicaciones científicas, patentes.
• Impacto: Resultados en Salud, ahorro de costes,
mejora de la eficiencia, calidad.
• Altmetrics

35. Herramientas
• Indicadores bibliométricos:
Los más extendidos son número de artículos, número de citas,
factor de impacto, citas/documento e índice h.
Fuentes: Web of Knowledge / Thomson Reuters
Scopus / Elsevier, Google Scholar Citatios / Google (usando por
ejemplo Publish or Perish)
• Recomendaciones:
Usar indicadores apropiados para cada ítem: Por ejemplo, el FI es
un indicador para revistas. No puede usarse para un hospital.
Usar indicadores validados por especialistas (Scientometrics,
ENID, Snowball metrics).
Los indicadores de output tienen muchos sesgos y deben usarse
teniendo en cuenta todas sus limitaciones.

36. Herramientas
• Indicadores bibliométricos:
Sistemas de información de valor añadido
SciVal (Scopus) o Incites (Web of Science)
Scimago country, journal and instituton rankings.

37. Herramientas
• Indicadores de input:
Sistemas de información científica (comerciales)
ICONO (Fecyt) datos agregados
PAID: Acceso a través de Fecyt a datos desagregados

38. Altmetrics:
• Nueva corriente en materia de indicadores de I+D
Considera el impacto en un sentido amplio incluyendo
referencias en redes sociales tanto científicas
(Mendeley o Zotero) como generalistas (Twitter,
Facebook, enlaces blog, etc.).
También incluye indicadores de uso como descargas y
de usuario (opiniones).
• Tienen la ventaja de la inmediatez respecto de otros
indicadores como las citas.
• Article level metrics de PLOS One.

39. Métricas para cada artículo
Uso del artículo
Vistas HTML
Descargas PDF
Descargas XML
Citas recibidas
PubMed
Crossref
Scopus
Otros indicadores de impacto
Valoración de lectores
Rankings
Comentarios recibidos
Cobertura en blogs

40. Muchas gracias por su atención
agr22@faculty.ie.edu
@Agarciarome
lnkd.in/SgKSD3
upib.blogspot.com