Emilio Delgado Lopez-Cozar Clarosocuros de la evaluación científica en España Madrid 2009
•Transferir como PPT, PDF•
2 gostaram•920 visualizações
El documento resume los principales aspectos del sistema de evaluación científica en España, incluyendo su crecimiento, desarrollo de una cultura evaluativa, y algunos desafíos como la obsesión por publicar y el énfasis en la investigación básica sobre la aplicada. Aunque el sistema ha mejorado la producción y visibilidad científica española, también ha llevado a problemas como la descuido de la docencia y la adopción acrítica del factor de impacto como único criterio de calidad.
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Destaque
Destaque (20)
Semelhante a Emilio Delgado Lopez-Cozar Clarosocuros de la evaluación científica en España Madrid 2009
Semelhante a Emilio Delgado Lopez-Cozar Clarosocuros de la evaluación científica en España Madrid 2009 (20)
Mais de Emilio Delgado Lopez-Cozar, Universidad de Granada
Mais de Emilio Delgado Lopez-Cozar, Universidad de Granada (20)
Último
Último (20)
Emilio Delgado Lopez-Cozar Clarosocuros de la evaluación científica en España Madrid 2009
- 1. Clarosocuros de la evaluación científica en España Emilio Delgado López-Cózar Profesor de Metodología de la Investigación
- 2. • Orienta la investigación de un país La evaluación científica
- 3. Continuidad y estabilidad en las políticas de evaluación El sistema de evaluación de la investigación en España Descentralización en los sistemas y políticas de evaluación
- 4. Inspirado y gestionado con y por los valores de la propia comunidad científica El sistema de evaluación de la investigación en España Empleo generalizado de la evaluación por pares “peer review” • Ex ante: proyectos de investigación, personas (becas, contratos…), instituciones (raramente) • Ex post: personas (sexenios, acreditación), proyectos de investigación, programas, instituciones
- 5. Implantación generalizada cultura evaluativa Se acabó el café para todos ANEP (1986), CNEAI (1989), ANECA (2002)
- 6. Implantación generalizada cultura evaluativa • Proliferación de agencias e instancias administrativas de evaluación (agencias nacionales, autonómicas, universitarias) • Exceso de burocracia. Sistema costoso • Consume el precioso tiempo de los científicos españoles que se ven abrumados con complejos y rebuscados formularios y aplicaciones informáticas que les aturden.
- 7. Implantación inmediata un curriculun vitae nacional
- 8. Crecimiento de la producción científica y aumento de su visibilidad internacional Apertura de la ciencia española: visibilidad internacional Crecimiento de la producción científica y de su impacto Homologación del quehacer científico de los científicos españoles: rigor técnico y metodológico
- 9. 9Source: Thomson Reuters, National Science Indicators, 1981-2007 Tasa de crecimiento de artículos españoles en la Web of Science es del 9% desde 1981, mientras que la tasa de crecimiento del mundo está en el 3%. Artículos 0 5000 10000 15000 20000 25000 30000 35000 40000 1 9 8 1 1 9 8 2 1 9 8 3 1 9 8 4 1 9 8 5 1 9 8 6 1 9 8 7 1 9 8 8 1 9 8 9 1 9 9 0 1 9 9 1 1 9 9 2 1 9 9 3 1 9 9 4 1 9 9 5 1 9 9 6 1 9 9 7 1 9 9 8 1 9 9 9 2 0 0 0 2 0 0 1 2 0 0 2 2 0 0 3 2 0 0 4 2 0 0 5 2 0 0 6 2 0 0 7 Citas Artículos
- 10. Delgado López-Cózar, E.; Jiménez Contreras, E.; Ruiz Pérez, R. España y los 25 grandes de la ciencia mundial en cifras (1992- 2008). El Profesional de la Información 2009, 18(1): 81-86. Los cinco países que más han crecido del mundo entre los 25 más desarrollados en la Web of Science en el período 1992/02 – 1998/08 Artículos Citas En 2004-2008 España genera el 3,44% de la producción científica mundial indizada en la Web of Science
- 11. Impacto relativo de los artículos publicados por España en la WoS respecto al mundo distribuidos según campos científicos (1996-2007) Delgado-López-Cózar, Emilio; Jiménez-Contreras, Evaristo; Ruiz-Pérez, Rafael. La ciencia española a través del Web of Science (1996-2007): las disciplinas. El Profesional de la Información, 2009, julio-agosto, v. 18, n. 4, pp. 437-443
- 12. Instituciones firmantes y factor de impacto de los artículos publicados por autores con filiación española en las revistas Nature, Science, PNAS, New England Journal of Medicine, Lancet y JAMA distribuidos según posición firmante (2004-2005) Jiménez-Contreras, Evaristo; Torres Salinas, Daniel; Ruiz-Pérez, Rafael; Delgado-López-Cózar, Emilio. Investigación de excelencia en España: ¿actores protagonistas o papeles secundarios? Medicina Clinica (Barcelona) 2009, en prensa
- 13. Mejora de los sistemas españoles de producción y comunicación del conocimiento científico
- 15. Masiva emigración de los mejores trabajos de investigación a revistas extranjeras y progresivo abandono de las revistas españolas ATENCIÓN: Variable según disciplinas Cambio en los hábitos de publicación de los científicos españoles 0 10000 20000 30000 40000 50000 1985 1995 2005 2008 WOS CSIC Artículos de autores españoles en las bases de datos CSIC y Web of Science (1985-2008) LOS CIENTÍFICOS ESPAÑOLES NO QUIEREN PUBLICAR SUS MEJORES TRABAJOS EN REVISTAS ESPAÑOLAS ?
- 16. 0% 20% 40% 60% 80% 100% 1975 1985 1995 2005 2008 ESPAÑOL INGLÉS 0% 20% 40% 60% 80% 100% 1975 1985 1995 2005 2008 ESPAÑOL INGLÉS 99,7 9098 96 93 32 11 28 10 7 CSIC Web of Science Lenguaje de los artículos publicados en las bases de datos del CSIC y WoS 1975-2008 Pérdida de protagonismo del español como lengua científica ?
- 17. Preeminencia de la investigación básica frente a la aplicada, de la investigación frente a la innovación Los criterios de evaluación privilegian la publicación científica como principal output científico y a las citas como unidad de medida del impacto científico Cambio en las agendas de investigación: temas básicos orientados a la publicación frente a desarrollo de aplicaciones ¡Que publiquen ellos, inventemos nosotros! I-d=i España necesita más inventos que publicaciones, o al menos, que las segundas conduzcan directamente a los primeros
- 18. Descuido e incluso abandono de la docencia Investigación Docencia Gestión Formación Los criterios de evaluación del rendimiento del profesorado privilegian los méritos investigadores sobre los docentes La investigación otorga ascenso profesional y reconocimiento científico y social ¿y la docencia? Catedrático Investigación Docencia Gestión ANECA Criterios evaluación profesorado Titular
- 19. El síndrome de publicar La publicación como problema INVESTIGAR ES PUBLICAR En ciencia si no se escribe no se existe Al científico se le juzga por lo que publica PUBLICA O PERECE PERECER POR PUBLICAR PUBLICAR PARA INVESTIGAR
- 20. La impactitis Obsesión compulsiva por utilizar el factor de impacto como único e incontestable criterio de calidad del trabajo científico Autores que seleccionan la revista donde publicar tomando como criterio exclusivo el factor de impacto de la revista sin considerar el público y la audiencia a la que se dirige el trabajo
- 21. La impactitis Autores que se autocitan desmedidamente o intercambian citaciones formando auténticos colegios invisibles con el fin de inflar el impacto de sus publicaciones 10,8%21,8% Autocitación de autores españoles (IN-RECS) 19,6%
- 22. La impactitis Editores que en su afán de incrementar el impacto de su revista se aprestan a manipular las políticas editoriales Favorecen la publicación de trabajos que tienen una alta potencialidad de citación, que no computan en el denominador pero sí en el numerador de la fórmula que calcula el factor de impacto Recomiendan directamente a los autores que citen masivamente artículos publicados en la propia revista Autocitación en revistas españolas (IN-RECS)
- 23. La impactitis Responsables y gestores de instituciones evaluadoras del rendimiento científico que adoptan acríticamente el factor de impacto como único criterio de evaluación bajo el manto de adoptar calificaciones pretendidamente objetivas que hacen innecesarias las valoraciones de calidad de los expertos en cada área y proporcionan una especie de coartada para evitar los debates y enfrentamientos que éstas plantean
- 24. El sistema de incentivos y recompensas se dirige fundamentalmente a las personas y no a los grupos Se promueve el rendimiento individual
- 25. Salvo intentos puntuales no existe una auténtica y sistemática evaluación ex post, ni un seguimiento efectivo del cumplimiento de los objetivos de las acciones financiadas, y mucho menos, un análisis del rendimiento obtenido con repercusión en las futuras peticiones de investigadores o grupos.
- 26. Aunque se han dado pasos en la monitorización del sistema de evaluación, sobre todo, en agencias como la ANEP, pocos son los organismos que realizan auditorías destinadas a fijar un control de calidad global del sistema de evaluación que permita valorar la correcta aplicación de los procedimientos, modelos, criterios, protocolos, y personas implicadas
- 27. Diseño de herramientas y sistemas para la evaluación de la calidad de las publicaciones científicas en el ámbito de las ciencias sociales y las humanidades que es donde son más necesarios
- 28. Herramientas y sistemas para la evaluación de la calidad de las publicaciones científicas Lamentablemente se han financiado proyectos y sistemas, con objetivos y ámbitos de aplicación concurrentes por no decir idénticos, que han supuesto un gasto innecesario de recursos y han contribuido a desorientar a los científicos a los que iban destinados ¿Quién los financiará en el futuro?
- 29. Aplicaciones informáticas utilizadas para la evaluación de proyectos
- 30. la medición del impacto económico y social de la investigación ¿Y para cuando? la prospectiva los sistemas de evaluación que relacionen inputs con outputs
- 31. Muchas gracias por su atención Emilio Delgado López-Cózar edelgado@ugr.es ec3.ugr.es/emilio Grupo de investigación Evaluación de la Ciencia y de la Comunicación Científica www.ec3.ugr.es ec3
Notas do Editor
- Pretende esta charla pasar revista de forma sumaria a las características del sistema de evaluación de la investigación imperante en España, analizar los efectos que ha tenido en el sistema de I+D, y sugerir posibles líneas de actuación futuras para la mejora de los modelos e instrumentos empleados.
- La evaluación de la investigación es un elemento clave en todo sistema de ciencia pues condiciona la orientación de la investigación de un país en la medida en que actúa como mecanismo de distribución de los recursos (humanos y financieros) del sistema y como medio directo para otorgar recompensas (estatus, promoción profesional y reconocimiento social). En definitiva, el modelo de evaluación imperante opera sobre los propios engranajes del motor que hace girar la ciencia de un país. Es la gasolina que hace andar el motor del coche
- Se trata de un sistema autoorganizado por la propia comunidad científica que inspira sus valores y criterios de actuación, que no ha sufrido apenas cambio en sus principales líneas políticas quedando al margen de la alternancia partidaria en el poder político, y que posee un esquema bastante descentralizado. Continuidad en las políticas de evaluación desde 1985: la alternancia PSOE/PP no ha cambiado el rumbo (puede que las marchas o los nudos con los que circule el coche o el barco). Y, finalmente, la clamorosa valoración (9,2) de la deseable coordinación de las diferentes administraciones con competencias en materia de investigación científica choca con la situación real (puntuada con tan sólo 3,9, es la única puntuación del Cuadro que queda por debajo del punto medio de la escala valorativa utilizada). “…la falta de coordinación se manifiesta en que los gobiernos autonómicos tienen sus propios programas de investigación, con frecuencia muy diferentes de los nacionales e internacionales” “Mi opinión es que los programas europeos, nacionales y regionales deberían tener una coordinación en cuanto a líneas prioritarias y debería ser independiente del gobierno de turno” Evaluación y Priorización de la Investigación Científica en España- El punto de vista de los Investigadores 2007/8- RESULTADOS DE LA ENCUESTA A UNA MUESTRA NACIONAL DE INVESTIGADORES BIO-MÉDICOS (SANITARIOS Y NO SANITARIOS), FÍSICOS Y QUÍMICOS
- Se trata de un sistema autoorganizado por la propia comunidad científica que inspira sus valores y criterios de actuación, que no ha sufrido apenas cambio en sus principales líneas políticas quedando al margen de la alternancia partidaria en el poder político, y que posee un esquema bastante descentralizado. Inspirado y gestionado con y por los valores de la propia comunidad científica, especialmente la académica (punto negativo: se hace con, por y para los propios intereses de la misma; alejamiento de la investigación técnica y de los valores aplicados) Empleo generalizado de la evaluación por pares “peer review” como herramienta Ex ante: proyectos (nacionales y autonómicos), instituciones (pocos nunca en grupo), personas (becas, contratos…) Ex post: personas (CNEAI, ANECA), proyectos (existe realmente? ¿tiene consecuencias?)
- España en estado de excepción evaluativa: Parafraseando al clásico bien podría decirse que un fantasma recorre la Universidad Española, es el fantasma de la evaluación, de repente todo el mundo se ha puesto a evaluar a todo el mundo a todas horas. Hace 25 años este verbo solo lo conjugaba el profesor en su voz activa cuando evaluaba a sus alumnos pero no en su voz pasiva o lo hacía ocasionalmente cuando accedía la plaza o ganaba la oposición (uno o dos ascensos) Hoy se conjuga en su voz activa (evalúo) o pasiva (soy evaluado). Y se hace a todos los niveles (personas, programas, instituciones, titulaciones, proyectos, publicaciones), en los diversos ámbitos geográficos en que despliega su actividad (internacional, nacional, regional y local) y - Tesis: informes valoración, tribunal, premio extraordinario - Artículos, libros: revisor o asesor - Proyectos de investigación - Acceso a plazas: comité - Promoción: tribunal - Sexenios de investigación - Tramos autonómicos - Evaluación institucional: autoevaluación, evaluación externa Cuando uno se levanta por la mañana dice a quien evaluaré o hoy o quien me evaluará a mi Cabe aquí destacar la labor desplegada por la ANEP, auténtica difusora en España de la evaluación por pares. El lado oscuro de la implantación súbita de esta cultura evaluativa es la proliferación de agencias e instancias administrativas de evaluación (agencias nacionales, autonómicas, universitarias) cuya eficacia se ve disminuida por la cercanía a los agentes evaluados y que, en muchos casos, no suponen más que un aumento de la burocracia que consume recursos del propio sistema y el precioso tiempo de los científicos españoles que se ven abrumados con complejos y rebuscados formularios y aplicaciones informáticas que les aturden. Sopa de letras (agencias nacionales, autonomicas, universitarias) ¿Realmente eran necesarias tantas para realizar el mismo trabajo? Costes: cuantas personas se ocupan en el sistema, cuánto tiempo tardan los evaluados en rellenar complejos formularios o aplicaciones, en muchos casos con la misma información. Necesidad de normalizar y simplificar.
- El lado oscuro de la implantación súbita de esta cultura evaluativa es la proliferación de agencias e instancias administrativas de evaluación (agencias nacionales, autonómicas, universitarias) cuya eficacia se ve disminuida por la cercanía a los agentes evaluados y que, en muchos casos, no suponen más que un aumento de la burocracia que consume recursos del propio sistema y el precioso tiempo de los científicos españoles que se ven abrumados con complejos y rebuscados formularios y aplicaciones informáticas que les aturden. Sopa de letras (agencias nacionales, autonomicas, universitarias) ¿Realmente eran necesarias tantas para realizar el mismo trabajo? Costes: cuantas personas se ocupan en el sistema, cuánto tiempo tardan los evaluados en rellenar complejos formularios o aplicaciones, en muchos casos con la misma información. Necesidad de normalizar y simplificar. “El principal problema del investigador español es la burocracia a todos los niveles. No existe un banco de datos nacional de investigación y eso obliga a introducir los datos en cada convocatoria con diferentes formatos, lo que supone una grave pérdida de tiempo”.
- El lado oscuro de la implantación súbita de esta cultura evaluativa es la proliferación de agencias e instancias administrativas de evaluación (agencias nacionales, autonómicas, universitarias) cuya eficacia se ve disminuida por la cercanía a los agentes evaluados y que, en muchos casos, no suponen más que un aumento de la burocracia que consume recursos del propio sistema y el precioso tiempo de los científicos españoles que se ven abrumados con complejos y rebuscados formularios y aplicaciones informáticas que les aturden. Sopa de letras (agencias nacionales, autonomicas, universitarias) ¿Realmente eran necesarias tantas para realizar el mismo trabajo? Costes: cuantas personas se ocupan en el sistema, cuánto tiempo tardan los evaluados en rellenar complejos formularios o aplicaciones, en muchos casos con la misma información. Necesidad de normalizar y simplificar. “El principal problema del investigador español es la burocracia a todos los niveles. No existe un banco de datos nacional de investigación y eso obliga a introducir los datos en cada convocatoria con diferentes formatos, lo que supone una grave pérdida de tiempo”.
- España figura con los grandes leones (China e India) y tigres asiáticos. Es el lince europeo. Para frenar la euforia de los datos decir que cuando se parte de muy abajo es fácil crecer de esta manera
- Positivo: hemos mejorado mucho en el impacto científico de nuestra ciencia en todas las disciplinas científicas. Si en los 90 solo cinco disciplinas estaban por encima de la media mundial ahora son ocho y en todas prácticamente hemos mejorado. Pero todavía globalmente estamos ligeramente por debajo de la media mundial. Seguramente en este cuatrienio estemos en la media.
- La brillantez de estas cifras, que indudablemente reflejan un despegue cierto de la ciencia española, no deberían sin embargo cegarnos e impedir un análisis crítico sobre su solidez. El método de recuento habitual en los estudios bibliométricos, consistente en distribuir el mismo crédito a todos los firmantes de un trabajo y asignar idéntico reconocimiento con la atribución mimética de su impacto a través de las citas a que da lugar, independientemente del grado de contribución y responsabilidad de los autores puede producir un cierto espejismo en países como España. Si acercamos la lente e intentamos medir el grado real de participación española en la producción y en el impacto atribuido a nuestros trabajos, y concentramos el análisis, en las revistas de máxima calidad y visibilidad científica (y este no es un ejercicio meramente académico o un simple refinamiento metodológico por sus obvias implicaciones), los resultados obtenidos son otros, y no tan optimistas. Lo que se demuestra en este trabajo referido a una muestra de seis de las mejores revistas del mundo durante los años 2004 y 2005 es que (Figura 1): • La presencia española en estos medios es bastante inferior a nuestro nivel productivo en la ciencia mundial. • La contribución española medida en grado de participación institucional es muy reducida. De las 10 instituciones que en promedio figuran en los trabajos publicados por españoles solo 2 pertenecen a nuestro país. • La capacidad de liderazgo de España es igualmente exigua. En el 54% de los artículos se desempeña un papel secundario (posición de firma intermedio) • La capacidad de atraer y concitar participación institucional exterior no es muy alta produciéndose un fenómeno curioso: cuanto mayor es el protagonismo español (trabajos solo españoles o con un primer y último firmante español) menor es el número de instituciones participantes. Y por el contrario, cuanto menor protagonismo tenemos en los trabajos, mayor es el número de instituciones implicadas. • El impacto real de los trabajos realmente españoles es muy modesto. Los trabajos con mayor responsabilidad española alcanzan la mitad de impacto que los trabajos promedio de las revistas donde se publican. • Nuestro impacto depende más de nuestras compañías que de nosotros mismos (los trabajos con alta responsabilidad de una institución extranjera alcanza un 35% más de impacto). Esto al menos tiene una lectura positiva: es evidente que los autores españoles mantienen buenas alianzas con otros grupos internacionales.La conclusión es evidente: somos buenos pero no tanto como parecen señalar los estudios bibliométricos debido a los efectos inducidos por la metodología empleada en los recuentos. Nuestra posición está sobredimensionada a causa de los mismos y no se corresponde con nuestro peso real. Un uso acrítico de estos análisis puede generar espejismos que no ayudan al correcto desenvolvimiento de la ciencia española. España ha mejorado (mucho) pero tiene todavía un largo camino que recorrer para situarse en el centro de avance científico de la ciencia mundial.
- La mejora de los sistemas españoles de producción y comunicación del conocimiento científico. La calidad de los procesos editoriales de los medios de comunicación españoles se ha visto claramente acrecentada. El incremento del rigor, la seriedad y profesionalidad de los procedimientos internos de selección y evaluación de manuscritos ha determinado que los trabajos que se publiquen en ellas sean más originales, fiables, válidos y relevantes. Cabe aquí destacar la labor desarrollada por la CNEAI. Todavía hay campos de conocimiento, como el Derecho y algunas disciplinas humanísticas, donde existe espacio para la mejora.
- Cabe aquí destacar la labor desarrollada por la CNEAI, sobre todo a partir del apéndice publicado en 2005. Todavía hay campos de conocimiento, como el Derecho y algunas disciplinas humanísticas, donde existe espacio para la mejora. Modestamente (sin querer pecar de inmodestia) nuestro grupo EC3 junto al liderado por el CINDOC lleva 20 años en esta tarea.
- Cambio en los hábitos de publicación de los científicos españoles que se ha traducido en una masiva emigración de los mejores trabajos de investigación a revistas extranjeras y en un progresivo abandono de las revistas españolas. Esta corriente migratoria se ha manifestado en el descenso progresivo de los artículos registrados en las bases de datos nacionales y, lo que es peor, ha producido un descenso en la calidad y prestigio de nuestras revistas, que se ven privadas de los mejores trabajos. El resultado es que buena parte de las revistas españolas languidecen, sobreviviendo artificialmente con los recursos económicos cedidos a fondo perdido, por editores, predominantemente institucionales ligados a la administración pública o a sociedades científicas y asociaciones profesionales que las mantienen más como adornos que justifican la existencia de dichas entidades, que como proyectos que hay que rentabilizar intelectual o económicamente. Este fenómeno autodestructivo, especialmente lesivo para los medios de difusión de las áreas de Ciencias Sociales y Humanidades, se ha intentado paliar con la política de la FECYT para la profesionalización y mejora de las revistas de estos campos.
- Como una derivada del factor anterior asistimos a la destrucción del español como lengua científica. Se produce la tremenda paradoja de que la investigación hecha en España por españoles deba ser leída y recibida por los investigadores españoles en un idioma que no es el suyo. ¿Es el signo de los tiempos? ¿La sostenibilidad de las publicaciones españolas, que es el título de este foro, puede decirse que está en entredicho?
- El extraordinario peso otorgado en los criterios de evaluación a la publicación como principal output científico y a las citas como unidad de medida del impacto científico privilegia la investigación científica básica por encima de la aplicada, alejándonos en muchas ocasiones de las exigencias de nuestro sistema productivo. El cambio en las agendas de investigación de muchos grupos es un hecho. Se han dejado de lado las investigaciones y actividades de orientación aplicada y de interés local siendo sustituidas por aquellos temas de carácter básico o que sean candentes, pues son estos los mejor acogidos en una esfera internacional y los que alcanzan un mayor impacto medido en términos de citas, y confieren más rédito a los científicos. La ecuación I+D+I se ha transformado en España en I-d=i, sin duda, por la debilidad estructural de la industria española y la escuálida cultura emprendedora e innovadora en España. En un momento en que nuestro sistema productivo hace aguas, España necesita más inventos que publicaciones, o al menos, que las segundas conduzcan directamente a los primeros. Debiéramos imponer como máxima “que publiquen ellos, inventemos nosotros”.
- Una derivada de la situación anteriormente descrita es el descuido, y en algunos casos, auténtico abandono de las actividades que no repercuten positivamente en las carreras científicas. Es el caso de la docencia para los profesores universitarios o las actividades profesionales, de divulgación y de gestión. Fue un error histórico dejar que los complementos docentes fueran asignados y gestionados por las propias universidades. En la mayoría de los casos ha conducido a un reparto a escote y a un descrédito del complemento, que no aparece como recompensa prestigiosa y que al ser comparado con la investigación, que si lo otorga contribuye al abandono de las tareas docentes.
- También consecuencia de las prioridades fijadas en los criterios de evaluación es la aparición de dos nuevas enfermedades: la publicacionitis y la impactitis. El carácter instrumental de la publicación, elemento sustantivo del paradigma científico, está viéndose alterado en los últimos años. El medio se ha convertido en un fin en sí mismo de modo que para muchos científicos parece que el objeto de la investigación es la publicación. En ciencia si no se escribe no se existe. Publica o perece es una sentencia que pende como espada de Damocles sobre las vidas de los investigadores, porque hoy día, al científico se le juzga por lo que publica.
- La impactitis, de otro lado, es una enfermedad consistente en una alteración de los comportamientos de publicación y citación y que cursa con una obsesión compulsiva en utilizar el factor de impacto como único e incontestable criterio de calidad del trabajo científico. Es una enfermedad que se ha propagado por las instituciones académicas e investigadoras de toda índole y que ha invadido todo el tejido científico y ha contaminado a todos aquellos que participan en el circuito de comunicación científica. El factor de impacto se ha convertido en ese número que devora la ciencia española. En cambio, hemos descuidado la medición de las otras vertientes del impacto de la investigación, cual es su impacto económico y social, variables difíciles de medir. Autores que seleccionan la revista donde publicar tomando como criterio exclusivo el factor de impacto de la revista sin considerar el público y la audiencia a la que se dirige el trabajo; y que se autocitan desmedidamente, intercambian citaciones formando auténticos colegios invisibles con el fin de inflar el impacto de sus publicaciones, u omiten deliberadamente citas a sus “enemigos”.
- La impactitis, de otro lado, es una enfermedad consistente en una alteración de los comportamientos de publicación y citación y que cursa con una obsesión compulsiva en utilizar el factor de impacto como único e incontestable criterio de calidad del trabajo científico. Es una enfermedad que se ha propagado por las instituciones académicas e investigadoras de toda índole y que ha invadido todo el tejido científico y ha contaminado a todos aquellos que participan en el circuito de comunicación científica. El factor de impacto se ha convertido en ese número que devora la ciencia española. En cambio, hemos descuidado la medición de las otras vertientes del impacto de la investigación, cual es su impacto económico y social, variables difíciles de medir. Autores que seleccionan la revista donde publicar tomando como criterio exclusivo el factor de impacto de la revista sin considerar el público y la audiencia a la que se dirige el trabajo; y que se autocitan desmedidamente, intercambian citaciones formando auténticos colegios invisibles con el fin de inflar el impacto de sus publicaciones, u omiten deliberadamente citas a sus “enemigos”.
- Editores que en su afán de ver indizada su revista en Thomson Scientific databases se aprestan a manipular las políticas editoriales de sus revistas a la búsqueda de incrementar la repercusión tanto en el medio académico como en los medios de comunicación de masas. Entre las malpractices detectadas señalar las siguientes: favorecer la publicación de trabajos que tienen una alta potencialidad de citación (revisiones, artículos metodológicos, trabajos polémicos) o que no computan en el denominador pero sí en el numerador de la fórmula que calcula el factor de impacto (editoriales, cartas y otras secciones varias) (10); recomendar directamente a los autores que citen artículos publicados en la propia revista.
- Responsables y gestores de instituciones evaluadoras del rendimiento científico que adoptan acríticamente el factor de impacto como único criterio de evaluación bajo el manto de adoptar calificaciones pretendidamente objetivas que hacen innecesarias las valoraciones de calidad de los expertos en cada área y proporcionan una especie de coartada para evitar los debates y enfrentamientos que éstas plantean. Bibliotecarios que utilizan mecánicamente el factor de impacto para decidir qué revistas deben adquirirse o cancelarse, independientemente de las necesidades de los usuarios a los que sirven. En definitiva, publicar o editar revistas situadas en los puestos estelares de los rankings del impact factor de los JCR de Thomson se ha convertido en ese oscuro objeto del deseo que está moviendo los engranajes de la rueda que hace circular a la ciencia española. Da igual que se hayan fundamentado empíricamente las razones de por qué no debe emplearse para evaluar la investigación (11), o que su propio creador se haya desgañitado en contra de este abuso (12): el impact factor se ha convertido en ese número que devora la ciencia española (13).
- La política de evaluación ha optado claramente por la evaluación del rendimiento individual (CNEAI, ANECA, complementos de productividad de las agencias autonómicas) en detrimento de la evaluación institucional. El sistema de incentivos y recompensas se dirige fundamentalmente a las personas y no a los grupos. Con ello se desincentiva el trabajo en grupo algo muy necesitado en la cultura de investigación española.
- Han empezado a crearse herramientas que ayudan en los procesos evaluativos a la toma de decisiones. Es el caso de la aplicación informática utilizada para la gestión de las evaluaciones de proyectos en la ANEP, o la confección de instrumentos de evaluación de la calidad de las publicaciones científicas en el ámbito de las ciencias sociales y las humanidades (IN-RECS, IN-RECJ, RESH, DICE), que es donde son más necesarios.
- Lamentablemente se han financiado proyectos y sistemas, con objetivos y ámbitos de aplicación concurrentes por no decir idénticos, que han supuesto un gasto innecesario de recursos y han contribuido a desorientar a los científicos a los que iban destinados. En cambio, no se han respaldado sistemas que se orienten a medir y a relacionar inputs con outputs y que vayan más allá de las publicaciones científicas (impacto económico y social) u otros sistemas que aborden científica y empíricamente la prospectiva.
- Los retos del futuro
- Desde ec3 esperemos contribuir a resolverlos