Evaluación de revistas cientificas

1. Evaluación de revistas científicas Calidad editorial, opinión de los pares e índices de impacto (IN-RECJ) Workshop on the Evaluation of Legal Research and Legal Publications Facultat de Dret Universitat Pompeu Fabra Barcelona, 23 de enero de 2008 Emilio Delgado López-Cózar Profesor de Metodología de la Investigación Facultad de Comunicación y Documentación Universidad de Granada

3. Hetereogeneidad de la ciencia los campos científicos D E R E C H O Juicios de valor Impacto Evaluación trabajos ex post CONSENSO COGNITIVO ¿Peer review? Peer Review Evaluación trabajos ex ante Descriptivos / Cualitativos Exprimentales Métodos de investigación Cualitativas Cuantitativas Técnicas análisis datos Realidad humana (Subjetiva / contextual) Realidad natural (Objetiva / universal) Objeto de investigación Lenguaje natural Matemático Lenguaje Individuo Grupo Organización Libros Revistas Medio publicación Humanidades Sociales CyT Inglés Lengua vernácula Lenguaje publicación

4. Los hábitos de comunicación científica Los medios de publicación Experimentales Sociales Humanidades

5. Los hábitos informativos Porcentaje citas a revistas Bases de datos SCI / SSCI (1993) (600.000 artículos, 10.000.000 referencias) Glänzel, W. and Schoepflin, U. 1999. A bibliometric study of reference literature in the sciences and social sciences. Inf. Process. Manage. 1999; 35(1): 31-44

6. Biomedicina Ingenierías Psicología Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): 997-1004

7. Larivière, V., Archambault, É., Gingras, Y., and Vignola-Gagné, É. 2006. The place of serials in referencing practices: Comparing natural sciences and engineering with social sciences and humanities: Research Articles. J. Am. Soc. Inf. Sci. Technol. 2006: 57(8): 997-1004 Derecho Psicología

8. Porcentaje citas a revistas Revistas españolas de Humanidades y Ciencias Sociales (1999-2001) Román & Alcaín 2005 * * 27 revistas Economia 1999-2001 (Velazquez 2003)

9. Hábitos de publicación Porcentaje de profesores que publican en revistas españolas y extranjeras (2001-2002) Alcaín 2002, 2003; Román 2003

10. Hábitos de publicación Porcentaje de profesores de Educación que publican en revistas españolas y extranjeras distribuidos por áreas de conocimiento (2001-2002) Alcaín 2002, 2003; Román 2003

11. Valoración relevancia de las revistas españolas y extranjeras Porcentaje de profesores (2001-2002) Alcaín 2002, 2003; Román 2003

12. Hábitos de publicación Porcentaje de revistas (españolas y extranjeras) usadas por los profesores de Derecho para publicar sus tres últimos trabajos (2003) Alcaín 2004

13. Valoración relevancia de las revistas españolas y extranjeras Revistas que consideran más relevantes los profesores de Derecho distribuidos por áreas de conocimiento (2003) Alcaín 2004

14. Porcentaje citas a revistas españolas y extranjeras Revistas españolas de Humanidades y Ciencias Sociales (1999-2001) Román & Alcaín 2005 28,2 52,3 13,9 17,6 15,7 18,5 12,2 % citas rev. Ext. /total citas 13 6,9 7,9 9,0 11,5 12,1 21,5 % citas rev. esp./total citas Promedio Psicología C. Política Sociología Geografía Educación Derecho Sociales 14,3 13,5 Promedio 21,3 2,8 Filosofía 13,2 8,1 Antropología 15,0 7,7 Filología 7,6 15,2 Arte 11,8 15,9 Historia % citas rev. Ext. /total citas % citas rev. Esp./total citas Humanidades

15. La evaluación de revistas científicas Delgado López-Cózar, E.; Ruiz Perez, R.; Jiménez Contreras, E. La Edición de Revistas Científicas: Directrices, Criterios y Modelos de Evaluación. Madrid, Fundación Española para la Ciencia y la Tecnología, 2006 . 261 p. ISBN 84-8198-696-9 Modelo de evaluación Criterios mínimos garantía calidad revistas BOE 7-11-2005/21-11-2007 Apéndice 1

18. Calidad informativa I * Indicaciones sobre su correcta redacción Calidad editorial 5,8 41  20* Palabras clave 12,3 44  39* Resumen    23 Título    37 Estructura física    45 Soporte remisión trabajo    34 Sistema citación bibliográfica    27 Filiación profesional    25 Nombre autores     Instrucciones autores detalladas  100   Miembros comités editoriales 132 revistas Derecho 2001 Román et al. 2002 % 46 revistas de Derecho Latindex 2008 % 188 Revistas Derecho 2004-2007 DICE / CINDOC 59 revistas Derecho 2006-2007 EC3 2007 % Criterios

19. Calidad informativa II * Indicaciones sobre su correcta redacción Calidad editorial    8,4 Plazos de revisión  97  47 Procedimiento    Información proceso selección y evaluación manuscritos 4,3 33   Traducción palabras clave    3,8 Número de revisores    0 Protocolos de evaluación    0 Criterios revisión 8,7 37   Traducción resumen     Traducción título 132 revistas Derecho 2001 Román et al. 2002 % 46 revistas de Derecho Latindex 2008 % 188 Revistas Derecho 2004-2007 DICE / CINDOC 59 revistas Derecho 2006-2007 EC3 2007 % Criterios

22. Calidad proceso editorial * Cuando los fascículos editados al año corresponden en número a la periodicidad que se ha declarado y cuando éstos son editados en un plazo que no excede del doble del que le correspondería    0 Comunicación motivada    13,5 Anonimato 8,7 25 12 16 Evaluación por expertos 47,1  63,3*  Periodicidad y regularidad 132 revistas Derecho 2001 Román et al. 2002 % 46 revistas de Derecho Latindex 2008 % 188 Revistas Derecho 2004-2007 DICE / CINDOC 59 revistas Derecho 2006-2007 EC3 2007 % Criterios

26. Capacidad de atracción Modelo de evaluación Gómez del Pulgar 2003 69 revistas españolas de Derecho Público * +50% autores externos 43* 82,4*  Autoría: endogamia editorial (+75%) autores externos   0 Información trabajos recibidos / aceptados    Porcentaje artículos investigación (+75%) 46 revistas de Derecho Latindex 2008 % 188 Revistas Derecho 2004-2007 DICE / CINDOC 59 revistas Derecho 2006-2007 EC3 2007 % Criterios

30. A. Muy buena, fundamental para la disciplina B. Buena, interesante para la disciplina C. De interés general D. Sin interés para la disciplina Encuestas profesores permanentes de Derecho en España (CU, TU) (2003) ALCAÍN, MD. 2004. Análisis de las citas dadas por las revistas españolas de derecho y periodismo a partir de las revistas mejor valoradas por los pares. Elaboración de un índice de citas de las revistas españolas de todas las disciplinas de Ciencias Sociales. Madrid: CINDOC, 2004 33,4 (Rango 27/47) 1035 3024 Tasa de respuesta Encuestas contestadas Encuestas enviadas 134 249 383 Añadidas profesores Listado inicial Revistas valoradas

31. Encuestas profesores permanentes (CU, TU) de Derecho en España (2003) Alcain 2004 5 (2) 3 (1,2) 0 (0,0) 248 (98) 6 (2) 3 (1,2) Filosofía del Derecho 8 (3) 1 (0,4) 0 (0,0) 245 (96) 9 (4) 5 (2,0) Historia del Derecho 4 (1,6) 2 (0,8) 0 (0,0) 248 (98) 6 (2) 2 (0,7) Eclesiástico 7 (3) 3 (1,1) 1 (0,4) 260 (97) 9 (3) 5 (1,9) Financiero Callificación % Profesores que valoran % Áreas de conocimiento 247 (97) 242 (93) 238 (94) 239 (91) 218 (86) 259 (98) 254 (97) 240 (93) 244 (94) 250 (94) < 50 N(%) 7 (3) 18 (7) 16 (6) 23 (9) 36 (14) 9 (2) 9 (3) 18 (7) 16 (6) 16 (6) > 50 N(%) 5 (2,0) 5 (1,9) 6 (2,3) 6 (2,3) 8 (3,1) 6 (2,2) 7 (2,6) 4 (1,6) 9 (3,4) 7 (3,0) > 80 N(%) 5 (2) 1 (0,4) 1 (0,4) Constitucional 13 (5) 10 (3,8) 1 (0,4) Civil 7 (3) 3 (1,1) 1 (0,4) Administrativo 5 (2) 1 (0,4) 0 (0,0) Romano 10 (4) 3 (1,1) 1 (0,4) Procesal 7 (3) 5 (2,0) 0 (0,0) Penal 7 (3) 4 (1,5) 3 (1,1) Mercantil 11 (4) 5 (2,0) 2 (0,8) Internacional privado 9 (3) 4 (1,5) 1 (0,4) Internacional público 9 (3) 3 (1,1) 0 (0,0) Trabajo A+B > 50 N(%) A+B > 75 N(%) A > 75 N(%)

32. Encuestas profesores permanentes (CU, TU) de Derecho en España (2003) Alcain 2004 Anuario español de Derecho internacional privado , Revista de Derecho comunitario europeo , Revista de la Corte Española de Arbitraje, Derecho de los negocios Internacional privado Anuario de Filosofía del Derecho, Doxa. Cuadernos de Filosofía del Derecho, Anales de la Cátedra Francisco Suárez Filosofía del Derecho Anuario de Historia del Derecho español Historia del Derecho Revista española de Derecho canónico, Ius canonicum Eclesiástico Civitas. Revista española de Derecho financiero, Revista de Derecho financiero y Hacienda pública, Quincena fiscal Financiero Seminarios Complutenses de Derecho Romano, Anuario de Historia del Derecho español Justicia. Revista de Derecho procesal Anuario de Derecho penal y ciencias penales, Revista de Derecho penal y criminología, Estudios penales y criminológicos, La Ley Penal. Revista de Derecho Penal, Procesal y Penitenciario, Cuadernos de política criminal Revista de Derecho mercantil , Actas de Derecho industrial y Derecho de autor, Revista de Derecho de sociedades , Revista de Derecho bancario y bursátil, Derecho de los negocios Revista española de Derecho internacional, Anuario de Derecho internacional, Anuario español de Derecho internacional privado, Revista de Derecho comunitario europeo Civitas. Revista española de Derecho del trabajo, Relaciones laborales, Actualidad laboral Revista española de Derecho constitucional, Revista de Derecho político Anuario de Derecho Civil, Revista de Derecho mercantil , Actas de Derecho industrial y Derecho de autor, Revista de Derecho de sociedades , Revista crítica de Derecho inmobiliario, Aranzadi civil, Cuadernos Civitas de Jurisprudencia civil Revista de Administración Pública, Civitas. Revista española de Derecho administrativo, Documentación administrativa Constitucional Civil Administrativo Romano Procesal Penal Mercantil Internacional público Trabajo

35. Producción española en Ciencias Sociales y Humanidades ISOC versus ISI 1980-2004

36. Las cifras de IN-RECS/IN-RECJ 2001- 1994- Periodo cubierto 40.888 154.608 195.496 Artículos citables 11.563 43.949 55.512 Citas 297 627 924 Revistas con impacto calculado 65 (32) 130 195 Revistas fuente IN-RECJ IN-RECS Total

40. Revistas de Psicología fuentes en IN-RECS. Análisis de co-palabras

42. Temas tratados por las 20 revistas españolas de Psicología incluidas en IN-RECS (1997-2003)

44. La Ley de Bradford en ISI ( SCI 1988) Distribución citas-revistas

47. Servidor EC3 Linux Suse 9.2, base datos postgres, apache, php, ... Tablas BD Selección de revistas fuent e por especialidades Introducción de los artículos citables Título, Autor…. Cindoc, Dialnet, Compludoc Psicodoc, revista... Carga en BD Introducción de la producción de la revista por años Cindoc, Dialnet, revista electrónica o en papel Carga en BD Obtención e introducción de las citas ISI de las revistas Carga de citas Introducción de las citas nacionales de las revistas Una vez al año Una vez al año Una vez al año Sistemático Carga de citas Cálculo de impactos e indicadores Resultados en web http://ec3.ugr.es/in-recs/ http://ec3.ugr.es/in-recj / Sistemático

50. Resultados Indicadores globales 17,7 24,3 22,8 0,4 0,3 65,7 9,7 90,3 2616 49,2 8733 43 25,6 11 Geog. 23,7 31,9 42,1 1,7 0,6 72,3 17,9 82,1 14143 50,0 19132 117 22,2 26 Psicol. 21,1 34,0 21,9 0,42 0,3 82,8 3,9 96,1 9503 54,1 34315 114 23,7 27 Educ. 11,2 18,1 30,8 0,74 0,4 64,2 8,6 91,4 16673 35,6 40865 111 24,3 27 Econ. 8,3 18,0 11,2 0,14 0,6 27,7 48,6 51,4 650 21,9 5939 40 12,5 5 Antr. 15,9 45,7 18,6 0,26 0,1 73,0 1,4 98,6 359 34,1 2923 22 22,7 5 Com. 9,3 12,4 14 9,2 7,8 Porcentaje de autocitas 21,5 13,9 23,3 26 25,8 Porcentaje de artículos citados 29,4 37,8 20,3 20,3 20,7 Porcentaje de autorreferencias 46,9 18,3 35,6 28,6 43,9 Porcentaje de artículos fuente citables 0,42 0,2 64,5 9,8 90,2 3538 15114 61 18,0 11 Soc. 0,46 0,2 64,9 2,5 97,5 2527 12430 52 13,5 7 C. Pol 0,45 0,3 70,8 0,5 99,5 11437 40567 295 22,0 65 Der 28 40 Revistas con Índice de impacto calculado 25,0 15,0 Porcentaje de revistas fuente 7 6 Revistas fuente 0,33 0,24 Número medio de citas por artículo fuente 0,2 0,5 Número medio de citas por artículo 58,3 83,1 Porcentaje citas de revistas fuente 21,9 5,8 Porcentaje citas internacionales (ISI) 78,1 94,2 Porcentaje citas nacionales 1590 765 Total de citas 5979 14794 Artículos citables Doc. Urban.

52. Revistas españolas de mayor impacto en Derecho ( 1999-2006)  Revistas mejor valoradas por los profesores Doxa. Cuadernos de Filosofía del Derecho, Anales de la Cátedra Francisco Suárez Filosofía del Derecho Ius Canonicum Eclesiástico Civitas. Revista Española de Derecho Financiero, Revista de Derecho Financiero y Hacienda Pública, Quincena Fiscal: Revista de Actualidad Fiscal Financiero Anuario de Historia del Derecho Español Actualidad jurídica Aranzadi, Revista del Poder Judicial, Revista de Derecho penal y criminología, Anuario de Derecho penal y ciencias penales, Revista Española de Derecho Internacional, Revista de Derecho Comunitario Europeo, Anuario español de Derecho internacional privado , Civitas. Revista Española de Derecho Europeo Relaciones Laborales , Revista de Derecho Social, Civitas. Revista Española de Derecho del Trabajo , Justicia Laboral, Documentación Laboral, Actualidad Laboral, Revista Española de Derecho Constitucional, Revista de Estudios Políticos, Teoría y Realidad Constitucional Revista de Derecho Mercantil, Revista de Derecho Bancario y Bursátil, Revista de Derecho de Sociedades , Revista crítica de Derecho Inmobiliario, Derecho de los Negocios , Actualidad Civil, Anuario de Derecho Civil Revista de Administración Pública, Civitas. Revista Española de Derecho Administrativo Constitucional Civil y mercantil Administrativo Romano e Historia del Derecho Penal y procesal Internacional público y privado Trabajo

53. Futuro Plan Nacional I+D+I (2007-2009). SEJ2007-68069-CO2-01/SOCI Sistema integrado de evaluación de revistas españolas OPINIÓN PARES CALIDAD EDITORIAL ÍNDICES DE IMPACTO CNEAI ANEP Agencias autonómicas ANECA