O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Evaluación de la actividad investigadora española: luces y sombras

311 visualizações

Publicada em

1. Necesidad evaluación rendimiento y calidad actividad investigadora: Tema polémico y trascendente
2. Evaluación actividad investigadora en España
- ¿Desde cuándo? Antecedentes
- ¿Para qué se evalúa?
- ¿Qué se evalúa?
- ¿Con qué criterios?
- ¿Cómo y quién evalúa?
- Controles
- Los resultados
- Los defectos
- Las consecuencias
- Las propuestas

Publicada em: Ciências
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Evaluación de la actividad investigadora española: luces y sombras

  1. 1. Evaluación de la actividad investigadora española: luces y sombras Emilio Delgado López-Cózar Profesor Técnicas Documentales aplicadas a la Investigación y Metodología del Trabajo Intelectual Departamento de Biblioteconomía y Documentación Universidad de Granada Centro Mediterráneo Universidad de Granada La evaluación en la ciencia Motril 21-25/09/1998
  2. 2. Axiomas previos • Necesidad evaluación rendimiento y calidad actividad investigadora – Impacto social de la ciencia – Recursos escasos – En ciencia no todos somos iguales • Tema polémico • Tema trascendente – Condiciona la orientación de la investigación de un país – Condiciona la promoción profesional – Condiciona la posibilidad de investigar – Otorga reconocimiento personal y social
  3. 3. Axiomas previos El sistema de evaluación • El mejor sistema es el menos malo • No existen fórmulas mágicas • Dificultad evaluar producción científica  ¿Qué es y cómo se mide la calidad científica?  Objeto multidimensional  El conocimiento científico no es objetivable • Un buen sistema de evaluación es como un buen traje: debe estar hecho a medida Los métodos de evaluación más objetivos (los bibliométricos) son los menos relevantes mientras que los menos objetivos (evaluación por pares) son los más relevantes
  4. 4. Evaluación actividad investigadora en España • ¿Desde cuándo? Antecedentes • ¿Para qué se evalúa? • ¿Qué se evalúa? • ¿Con qué criterios? • ¿Cómo y quién evalúa? • Controles • Los resultados • Los defectos • Las consecuencias • Las propuestas
  5. 5. ¿Desde cuándo? Antecedentes • Ley de Reforma Universitaria 1983 • Ley 13/1986 de Fomento y Coordinación General de la Investigación Científica y Técnica Necesidad medidas para el fomento de la productividad del personal investigador • Estudio UAB para el MEC sobre modelo retributivo profesores universitarios españoles: – Modelo retributivo estrecho – Buenos salarios profesores que inician su carrera docente y malos para los que la finalizan • Real Decreto 1086/1989 sobre Retribuciones del Profesorado de Universidad – Introducción complemento productividad – Introducción complemento por méritos docentes • Creación panel científicos a iniciativa del MEC para fijar procedimiento evaluación: – Evaluación por pares – Evalación individualizada por comités campos científicos con sus propios criterios evaluativos
  6. 6. ¿Desde cuándo? Antecedentes • Creación de la Comisión Nacional de Evaluación de la Actividad Investigadora – Orden de 28 de diciembre de 1989 • Aprobación procedimiento evaluación – Orden 5 de febrero de 1990 • Primera evaluación 1990 • Cambios y matizaciones y desarrollos parciales procedimiento evaluación – Orden de 3 de noviembre de 1989 – Orden 3 de diciembre de 1992 – Nuevo procedimiento de evaluación. Órdenes de 2 y 5 de diciembre de 1994 – Aprobación criterios específicos en los campos de evaluación de la actividad investigadora (Resolución 6 de noviembre de 1996)
  7. 7. ¿Para qué se evalúa? • Incentivar la actividad docente e investigadora individualizada de los profesores universitarios e investigadores del CSIC – Estimular la calidad en el desempeño de la actividad docente e investigadora – Premiar individualmente a quiénes realizan un esfuerzo por conseguirlo – No se trata de aprobar o suspender la labor investigadora de un profesor, sino incentivar, premiar un trabajo • Mejorar la difusión nacional e internacional de la producción científica española
  8. 8. ¿Qué se evalúa? • Las cinco aportaciones más relevantes de un investigador en un período de 6 años • Aportaciones ordinarias: – Libros, capítulos de libros, prólogos, introducciones y anotaciones de textos – Artículos en revistas científicas – Patentes y modelos de utilidad • Aportaciones extraordinarias: – Informes, estudios y dictámenes – Trabajos técnicos y artísticos – Participación en exposiciones, excavaciones arqueológicas y catalogaciones de reconocido prestigio – Dirección de tesis doctorales de méritos excepcionales – Comunicaciones a congresos, como excepción Se evaluarán fundamentalmente las aportaciones ordinarias. Las extraordinarias tienen carácter complementario, salvo circunstancias especiales
  9. 9. ¿Cómo se evalúa? Procedimiento • Solicitud voluntaria • Adscripción solicitud a campo científico. Solicitante sugiere, CNEAI decide • Juicio técnico no vinculante emitido por el Comité Asesor o especialista ad hoc – El juicio se expresará en términos numéricos de 0 a 10 puntos. – Evaluación positiva: mínimo 6 puntos – Deberán ser valoradas positivamente las 5 aportaciones, excepto si algunas de ellas son de gran calidad y poseen alta difusión • CNEAI decide a la vista del informe • Notificación personal y directamente al solicitante
  10. 10. ¿Quién evalúa? • Órgano evaluador: Comisión Nacional Evaluadora de la Actividad Investigadora. – Composición • Director General de Investigación Científica y Técnica • Un representante por cada CCAA con competencias • Siete representantes MEC designados por SEUI • Órganos asesores: – Comités Asesores: • 11 campos científicos: Matemáticas y Física, Química, Biología Celular y Molecular, Ciencias Biomédicas, Ciencias de la Naturaleza, Ingenierías y Arquitectura, Ciencias Sociales / Económicas /Políticas / Comportamiento y Educación, Ciencias Económicas y Empresariales, Derecho y Jurisprudencia, Historia y Arte, Filosofía/Filología /Lingüística • Composición: Investigadores de reconocido prestigio con al menos tres tramos de investigación concedidos. – Especialistas ad hoc, cuando sean necesarios en función de la especificidad de las aportaciones.
  11. 11. ¿Con qué criterios? Criterios de evaluación - Principios generales - Principios específicos según campos de conocimiento
  12. 12. Principios generales • La contribución al progreso del conocimiento, la innovación y creatividad • Se primarán los trabajos formalmente científicos o innovadores, frente a los meramente descriptivos, a los que sean simple aplicación de los conocimientos establecidos o a los de carácter divulgativo • No se valorarán los trabajos meramente descriptivos o las reiteraciones de trabajos previos, salvo en los casos en que contribuyan claramente a la consolidación del conocimiento
  13. 13. Principios específicos • Matemáticas, Física, Química, Biología Celular/Molecular, Biomedicina – Sólo aportaciones ordinarias • Ciencias de la Naturaleza – Trabajos de investigación – Trabajos descriptivos del medio natural que sean de interés social incuestionable • Ingeniería y Arquitectura – Trabajos de investigación – Trabajos de desarrollo técnico. En función: • Interés para el sector productivo o institucional • No servicios o aplicaciones de conocimientos establecidos – Trabajos de creación artística. Deberán: • Repercusión medible en su entorno • Tener amplio reconocimiento
  14. 14. Principios específicos • Ciencias Sociales, Políticas, del Comportamiento y Educación – Sólo aportaciones ordinarias – Excepcionalmente estudios, informes, dictámenes en función de que: • El tema tratado sea importante desde una perspectiva nacional/regional o ayude a la solución de problemas en las administraciones públicas o empresas • Posean rigor científico • No sean una mera aplicación • Ciencias Económicas y Empresariales – Fundamentalmente ordinarias y excepcionalmente extraordinarias – También estudios, informes, dictámenes con los mismos requisitos del área anterior
  15. 15. Derecho y Jurisprudencia – Fundamentalmente ordinarias y excepcionalmente extraordinarias – También se considerarán: • Monografías que se reconozcan como obras de referencias de difusión generalizada • Manuales si suponen un progreso en la organización de un campo de conocimiento • Los textos legislativos y jurisprudenciales que ofrezcan soluciones a problemas de interpretación, lagunas y contradicciones del ordenamiento jurídico español • Los análisis de jurisprudencia que se basen en un conjunto de sentencias sobre un tema o temas conexos, que esclarezcan criterios de actuación de los tribunales y comentarios sobre sentencias especialmente relevantes para el entendimiento y posterior aplicación del derecho – No se considerarán: • Libros de texto, programas, apuntes, supuestos... • Ediciones de textos o traducciones salvo que estén precedidas de estudios preliminares • Recopilaciones legislativas • Glosas de sentencias • Dictámenes y proyectos que no sean de público conocimiento – Se valorarán preferentemente los trabajos que: • Constituyan una aportación original de carácter doctrinal, teórico o conceptual que hayan tenido repercusión nacional o internacional • Desarrollen nuevas perspectivas de la ciencia jurídica, basadas en estudios doctrinales, legislativos y jurisprudcenciales de derecho comparado
  16. 16. Historia y Arte – Fundamentalmente ordinarias y excepcionalmente extraordinarias – Se valorarán preferentemente los estudios analíticos y comparados frente a los descriptivos – No se considerarán • Libros de texto, apuntes, obras de divulgación o artículos de opinión • Ediciones de textos o traducciones salvo que estén precedidas de estudios preliminares • Meras catalogaciones sin estudios históricos o artísticos • Meras transcripciones sin juicio crítico y análisis histórico • Prólogos o introducciones que sean meros resúmenes o descripciones de la obra • Trabajos localistas
  17. 17. Filosofía, Filología y Lingüística – Fundamentalmente ordinarias y excepcionalmente extraordinarias – No se considerarán: • Libros de texto o apuntes • Artículos de opinión • Obras de divulgación • Antologías o diccionarios comunes • Ediciones de textos o traducciones salvo que estén precedidas de estudios preliminares • Manuales salvo que supongan un progreso en la organización de un campo de conocimiento
  18. 18. Indicios de calidad • Relevancia científica del medio de difusión en el que se haya publicado cada aportación • Citas recibidas de otros autores • Apreciación del propio investigador sobre la contribución de su obra • Datos sobre la explotación de patentes • Reseñas en revistas especializadas
  19. 19. Indicios calidad revistas científicas • Las que ocupan posiciones relevantes en los listados del JCR del SCI y SSCI (Matemáticas y Física, Química, Biología Celular y Molecular, Ciencias Biomédicas, Ciencias de la Naturaleza, Ingenierías y Arquitecturas, Ciencias Sociales, Económicas) • Aquellas que cuenten con – Comité editorial formado por especialistas de reconocido prestigio en su materia – Un riguroso proceso de evaluación de manuscritos (Ciencias Sociales, Económicas, Historia, Arte, Filosofía, Filología y Lingüística) • Revistas incluidas en bases de datos o repertorios bibliográficos de prestigio (Philosopher’s Index) (Filosofía, Filología y Lingüística) • CNEAI elabora listados de revistas de calidad
  20. 20. Indicios de calidad complementarios • Importancia del tema del trabajo, que deberá ser equivalente a los que se publican normalmente en las revistas descritas en el punto anterior • Rigor en el planteamiento y desarrollo del trabajo • Importancia de los resultados, analizados por el impacto científico medible
  21. 21. Controles • Publicación en BOE nombres de los integrantes Comités Asesores • Recusación miembros comités evaluación • Informe motivado: inclusión de los informes emitidos por los Comités asesores o especialistas • Recursos en tribunales ordinarios
  22. 22. Gráfico 1 Resultados globales evaluación investigadores españoles (1990-1996) 78,6 70,0 0 10 20 30 40 50 60 70 80 90 100 Tramos concedidos Tramos solicitados
  23. 23. Gráfico 2 Resultados evaluación investigadores españoles (1990-1996) 0 20 40 60 80 100 1990 1991 1992 1993 1994 1995 1996 % Tramos concedidos Tramos solicitados
  24. 24. Gráfico 3 Tramos presentados investigadores españoles (1990-1996) Distribución campos científicos 76,6 83,9 87,9 74,3 78,4 73,0 76,0 73,1 79,6 80,4 81,6 0 20 40 60 80 100 M atem áticas/Física Q uím ica Biología C elular/M olecularBiom edicina C iencias de la N aturaleza Ingenierías/Arquitectura C iencias Sociales C iencias Económ icas D erechoH istoria/Arte Filosofía/Filología
  25. 25. Gráfico 4 Tramos concecidos investigadores españoles (1990-1996) Distribución campos científicos 81 80,3 85,1 70,3 70,4 59,1 57,6 58,6 73,6 68,4 65,3 0 20 40 60 80 100 M atem áticas/Física Q uím ica Biología C elular/M olecularBiom edicina C iencias de la N aturaleza Ingenierías/Arquitectura C iencias Sociales C iencias Económ icas D erechoH istoria/Arte Filosofía/Filología
  26. 26. Gráfico 5 Comparación tramos concedidos y presentados por campos científicos (1990-1996) 0 10 20 30 40 50 60 70 80 90 100 1 2 3 4 5 6 7 8 9 10 11 % Tramos concedidos Tramos presentados
  27. 27. Gráfico 6 Comparación tramos concedidos y presentados por áreas científicas (1990-1996) 74,4 63,2 66,8 79,1 76,2 81 0 10 20 30 40 50 60 70 80 90 100 Ciencia y Tecnología Ciencias sociales Humanidades % Tramos concedidos Tramos presentados
  28. 28. Gráfico 10 Número de áreas por campo científico 20 11 9 25 20 40 28 9 15 19 22 0 5 10 15 20 25 30 35 40 45 1 2 3 4 5 6 7 8 9 10 11 Campos científicos Nºáreas
  29. 29. Gráfico 11 Comparación heterogeneidad de los campos científicos ccon tasas de presentación y éxito de tramos de investigación 0 10 20 30 40 50 60 70 80 90 100 1 2 3 4 5 6 7 8 9 10 11 Campos Número de áreas por campo científico Tramos solicitados Tramos concedidos
  30. 30. Los defectos • Sólo mide outputs • Los evaluadores: ¿son realmente pares? • No es realmente externo • Produce sesgos Conflictos de intereses Efecto Mateo • La difusión no es un indicador de calidad • Uso acrítico del factor impacto: la impactolatría
  31. 31. El factor impacto ese oscuro objeto del deseo • Cita = Calidad  Más citas = Más calidad ? • El FI se calcula a partir del SCI: esta BD no representa la producción científica española en su conjunto • El FI de una revista no es estadísticamente representativo de los artículos individuales • No existe correlación entre impacto de la revista y tasa de citación de los artículos de científicos individuales o grupos de investigación • El FI es calculado por procedimientos que causan sesgos
  32. 32. Las consecuencias • Se acabó el café para todos: un estímulo ante la atonía universitaria • Mejora en la calidad y rigor de los trabajos • La publicación como problema: el síndrome de publicar. La grafomanía – Publica o Perece  Perecer por Publicar – Investigar para Publicar  Publicar para Investigar • Investigar lo publicable: Modificación en los temas de investigación • Cambios en los hábitos de publicación: la emigración • Deficiente conexión de la ciencia española – De los científicos españoles entre sí – De los científicos y los profesionales
  33. 33. Artículos científicos producidos por España 14 15 18 25 23 21 20 13 11 10 9 0 5000 10000 15000 20000 25000 1974 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 Años Trabajos SCI-E SCI-CD
  34. 34. % Participación en SCI 0 0,5 1 1,5 2 2,5 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 Años % %
  35. 35. DATOS DE PRODUCCIÓN E I+D DE EUROPA OCC. 0 10000 20000 30000 40000 50000 60000 70000 AL RU FR IT HO ES SU BE DI GR IR PO TRABAJOS Producción Inversiones en I+D
  36. 36. AUTORES CIENTÍFICOS Y PRODUCTIVIDAD 0 2000 4000 6000 8000 10000 12000 14000 16000 18000 20000 AL RU FR IT HO ES SU BE DI GR IR PO TRABAJOS POBLACIÓN AUTORES TRAB/ AUT
  37. 37. Las consecuencias • Aumento comportamientos antiéticos: – Autoría: el autor fantasma – Publicación duplicada – Publicación esterilizante: el eterno bucle – Publicación múltiple o salami – Plagio – Inmadurez resultados – Publicación fraudulenta: falseamiento de datos • Destrucción del español como lengua científica y de las revistas españolas como medios de comunicación • Abandono o descuido de la docencia
  38. 38. Las propuestas • Obtener el respaldo de la comunidad científica objeto de evaluación – Tener en cuenta opinión investigadores (encuestas) – Tener en cuenta opinión expertos en política y evaluación científica • Compensar la evaluación por pares con técnicas bibliométricas • Creación índice de citas de la producción científica española – Utilización Factor de Impacto observado • Mantenimiento de las bases de datos nacionales • Evaluación imputs (recursos de investigación). Relación recursos/resultados
  39. 39. Las propuestas • Monitorización proceso de evaluación – Evaluación de los evaluadores y del proceso de evaluación – Participación de Administración, Evaluadores e Investigadores • Mejora herramientas evaluación – Más evaluadores: nacionales e internacionales – Elaboración protocolos de evaluación: más ítemes, escalas de valor, conjunción juicios cuantitativos y cualitativos • Mayor transparencia y difusión del proceso de evaluación: – Criterios de evaluación, procedimiento, aplicación – Evaluadores: criterios de selección – Publicidad de los resultados • No postergar la publicación en revistas españolas que cumplan estándares editoriales
  40. 40. Tabla 1 Número de documentos producidos en Biomedicina en el mundo y España según el Science Citation Index y el Índice Médico Español (1980-1989) Total mundial SCI España SCI España IME 1980 174.324 966 4.548 1981 181.460 1.065 4.784 1982 196.257 1.278 5.526 1983 200.583 1.352 6.696 1984 206.948 1.471 8.352 1985 213.693 1.807 8.944 1986 216.492 2.122 8.992 1987 221.004 2.394 11.091 1988 227.725 2.624 11.944 1989 216.279 2.618 13.698 Total 2.054.765 17.697 84.575
  41. 41. Gráfico 7 Comparación de la producción biomédica española indizada en el Índice Médico Español con la indizada en el Science Citation Index (1980-1989) 21,2 22,2 23,1 20,2 17,6 20,2 23,6 21,6 22 19,1 0 5 10 15 20 25 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 %Documentos
  42. 42. Comparativa según FI UNIVERSIDAD SANIDAD CSIC 1986-89 2,16 1,84 1,53 1990-93 1,87 1,93 1,48
  43. 43. La citación 1980-84 1985-89 España Producción 20 13 Citas esperadas 29 77% 24 78% Citas observadas 26 57% 26 56% Biomedicina Producción 22 16 Citas esperadas 20 77% 20 75% Citas observadas 24 54% 27 49%
  44. 44. Autores vs citas N Eng J Med 2 3 2 22 54 0 20 40 60 80 100 120 140 160 >60 59--25 25--11 10--2 1 0 Autores/citas Autores Citas
  45. 45. Gráfico 8 Número de documentos indizados en el Índice Médico Español (1980-1998) 0 2.000 4.000 6.000 8.000 10.000 12.000 14.000 16.000 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998
  46. 46. Cobertura artículos españoles en bases de datos 0 2000 4000 6000 8000 10000 12000 14000 1990 1991 1992 1993 1994 1995 1996 1997 1998 Años Trabajos IME SCI-cd MEDLINE

×