evaluacion investigacion publicaciones cientificas revistas cientificas libros derecho ciencias juridicas

1. Granada, 1 de junio de 2011
La evaluación de las publicaciones científicas
en Derecho: criterios, procedimientos y
herramientas
Emilio Delgado López-Cózar
Catedrático de Metodología de la Investigación
Facultad de Comunicación y Documentación

2. España en estado de excitación evaluativa

3. El laberinto de las
herramientas para la evaluación de las
publicaciones científicas españolas

4. Nada
Libros
Revistas
Revistas
Revistas
Todo

5. Hábitos de comunicación
de los científicos españoles de
Ciencias Jurídicas

6. Canales de publicación
miembros comisiones Aneca
Derecho
Libros
33%
36%
Congresos
31%
Artícuos

7. Encuesta calidad revistas españolas de
Humanidades y Ciencias Sociales
2009
Importancia de las revistas científicas para comunicar
los resultados de investigación
Muy importante Importante
Muestra: 884 profesores e investigadores españoles de Humanidades

8. Opinión científicos españoles
evaluación actividades científicas
2
3
1
4
Muestra: 1.294 Profesores TU y Catedráticos (181 de Humanidades) con al menos 2 sexenios
Buela-Casal, G. y Sierra, J. C. (2007). Criterios, indicadores y estándares para la acreditación de Profesores Titulares y
Catedráticos de Universidad. Psicothema, 19, 357-369

9. Porcentaje de revistas (españolas y extranjeras)
usadas por los profesores de Derecho para publicar
sus tres últimos trabajos (2003)
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
Administrativo
Eclesiástico
Romano
Fª Derecho
Financiero
Trabajo
Hª Derecho
Mercantil
Penal
Internacional
Constitucional
Internacional
Procesal
Civil
Privado
Público
Revistas españolas Revistas extranjeras

10. Producción nacional vs. internacional en Derecho
Artículos en revistas
ISOC versus Thomson Reuters
1980-2004
0,2%
revistas extranjeras
en Thomson
99,8%
Revistas españolas

11. Procedencia de las citas
artículos publicados en revistas españolas

12. Los criterios

13. Encuesta calidad revistas españolas de
Humanidades y Ciencias Sociales
2009
Valore la idoneidad de los siguientes criterios para
Muy idóneo 5 – Poco 1
reflejar la calidad de una revista científica
Muestra: 884 profesores e investigadores españoles de Humanidades

14. Indicios de calidad de los libros
CNEAI, ANECA, ANEP
Criterios CNEAI ANECA ANEP
Número de citas generadas (cantidad y calidad)
Prestigio de la editorial, los editores, la colección en la que se CCSS
publica la obra
Reseñas en las revistas científicas especializadas
Riguroso proceso de selección y evaluación de originales
Inclusión en bibliografías independientes del autor y su entorno
Traducciones de la propia obra a otras lenguas PCD
Presencia en bases de datos, repertorios bibliográficos especializados
y catálogos de bibliotecas universitarias
Obras de referencia imprescindibles en los estudios grado y postgrado HUM
Poseer ISBN (imprescindible)

15. Indicios calidad revistas científicas
CNEAI, ANECA, ANEP
Criterios CNEAI ANECA ANEP
Inclusión de las revistas en bases de datos internacionales
Preferentes: Arts and Humanities Citation Index y Social Science Citation
Index
Similares: FRANCIS, International Bibliography of the Social Sciences
(IBSS), Bibliography of the History of Arts (RLG), Historical Abstracts,
International Medieval Bibliography, Index Islamicus, RILMS
Abstracts of Music Literature, Library and Information Science
Abstracts, Philosopher’s Index, Répertoire Bibliographique,
International Bibliography of Periodical Literature in Humanities and
Social Sciences (IBZ), Bibliographie Linguistique/Linguistic
Bibliography
Podrán considerarse bases de datos a determinar por el comité asesor INRECS,
LATINDEX, SCOPUS, DICE-CINDOC (siempre que cuenten con calidad
similar a los JCR y satisfagan criterios calidad editorial Apéndice 1)
Satisfacer criterios de calidad editorial
(Apéndice 1 CNEAI)

16. Criterios calidad editorial revistas científicas
Criterios CNEAI ANECA ANEP
Identifica los miembros de los Comités Editoriales y Científicos
Cuenta con Instrucciones a Autores detalladas
Traduce el sumario, títulos de los artículos, palabras clave y
resúmenes al inglés, en caso de revistas y actas de
Congresos
Informa sobre el proceso de evaluación y selección de
manuscritos empleados por la revista, editorial, comité de
selección, incluyendo los criterios, procedimiento y plan de
revisión de los revisores o jueces
Periodicidad de las revistas y regularidad
Emplea el anonimato en la revisión de manuscritos
Comunica a los autores la decisión editorial de forma motivada

17. Criterios calidad editorial revistas científicas
Criterios CNEAI ANECA ANEP
Cuenta con un Consejo de Redacción efectivo
Cuenta con un Consejo Asesor efectivo
Al menos el 75% de los artículos son trabajos que comunican
resultados de investigación originales
Al menos el 75% de los autores son ajenos a los Comités
Editoriales
Al menos el 80% de los autores son ajenos a la organización
editora / patrocinadora de la revista
La tasa de aceptación de trabajos es igual o menor al 60%

18. Preguntemos a los científicos

19. Las herramientas

20. Indicios de calidad de las revistas
¿Dónde y cómo buscarlos?
• Factor de impacto de la revista
• Número de citas de un artículo
• Bases de datos en las que figura una revista
• Satisfacer criterios de calidad editorial

21. LA AUTORÍA. CNEAI-ANECA
Indicio: Índices de Impacto
¿Qué productos ofrecen Índices de Impacto
PRODUCTO ÁREA DOMINIO Cobertura
Ciencias y Mundial 1987-2008
Ciencias
Sociales
Ciencias España 1996-2009
Sociales
Ciencias España 2001-2009
Jurídicas
RESH Ciencias España 1999-2004
Sociales y
Humanidades
Scimago Journal Ciencias Mundial 1999-2008
Rank

22. LA AUTORÍA. CNEAI-ANECA
El Universo Thomson
WEB OF KNOWLEDGE (WOK)
WEB OF SCIENCE
SCI SSCI A&HCI
Science Social Science Art &
Citation Citation Index Humanities
Index Citation Index
(2553)
(7858) (1462)
ESI
JCR
Essential
Journal
Science
Citation Impact
Indicators
Reports Factor
(8200)

23. Aprendiendo a usar el Factor de Impacto
El Journal Citation Reports
(JCR)
• ¿Qué año tomar para justificar el impacto del trabajo?
• ¿Dónde encontrar los JCR anteriores a 2000?
• ¿Qué categoría temática elegir?

24. LA AUTORÍA. CNEAI-ANECA
Indicio: Índice de Impacto
El Journal Citation Reports
(JCR)
¿Cómo se averigua la posición de la revista?
Cuartiles, tercios, mediana ...

25. LA AUTORÍA. CNEAI-ANECA
Indicio: Índice de Impacto
El Journal Citation Reports
(JCR)

26. LA AUTORÍA. CNEAI-ANECA
Indicio: Índice de Impacto
In-Recj In-Recs In-Rech 341 revistas
Elegir Especialidad

27. Las cifras de IN-RECS/IN-RECJ/IN-RECH
Total IN-RECS IN-RECJ IN-RECH
Periodo cubierto 1996- 2001- 2004-2008
Revistas fuente 417 159 64 184
Revistas con impacto 2.072 788 341 943
calculado
Artículos citables 320.922 200.891 67.741 52.290
Citas 117.645 83.263 21.784 12.501

28. LA AUTORÍA. CNEAI-ANECA
Indicio: Índice de Impacto
In-Recj In-Recs In-Rech 341 revistas

29. LA AUTORÍA. CNEAI-ANECA
Indicio: Índice de Impacto
In-Recj In-Recs In-Rech 341 revistas
Interesante también como Indicio

30. LA AUTORÍA. CNEAI-ANECA
Indicio: Índice de Impacto
DICE
162 revistas
RESH

31. LA AUTORÍA. CNEAI-ANECA
Indicio: Índice de Impacto
SJR 251 revistas

32. Buscando citas de artículos

33. Aprendiendo a busar citas de un trabajo o un autor en la Web of
Science
Buscando las citas de un artículo
Buscar en SEARCH en el campo TITLE el título del trabajo
El número de citas figura en el epígrafe TIME CITED

34. Aprendiendo a busar citas de un trabajo o un autor en la Web of
Science
Buscando las “CITAS PERDIDAS” de un artículo
Buscar en Cited Reference Search
• Incluir el título de la revista y truncarlo (*) para obtener
variaciones
• Para los libros incluir las tres/cuatro primeras letras del
título que no sean artículos, preposiciones…

35. ATENCIÓN
Realizar la búsqueda por el nombre del primer autor firmante del trabajo
(Los … precediendo al apellido significa que el autor no es el primer firmante)

36. Aprendiendo a busar citas de un trabajo o un autor en la Web of
Science
Buscando las “CITAS PERDIDAS” de un artículo
Buscar en Cited Reference Search
• Incluir las variantes del nombre del autor, especialmente si
es compuesto: forma abreviada (mayoral l*) o completa:
(normal: ruiz jimenez r*) o (fusionada: ruizjimenez r*)

38. LA AUTORÍA. CNEAI-ANECA
Indicio: Número de citas
En In-Recs e In-Recj también podemos buscar citas
Bien en el menú de búsqueda

39. LA AUTORÍA. CNEAI-ANECA
Indicio: Número de citas
En In-Recs e In-Recj también podemos buscar citas
Bien en los rankings de artículos
Bien en los rankings de autores

40. LA AUTORÍA. CNEAI-ANECA
Indicio: Número de citas
SCOPUS

41. LA AUTORÍA. CNEAI-ANECA
Indicio: Número de citas
Google Scholar
OJO Se alimenta de documentos en la Web: Son clave los REPOSITORIOS, Catálogos de
Bibliotecas, Catálogos Comerciales de revistas, Productos propios de Google (google
books, google patents)
Existen programas y aplicaciones que nos pueden ayudar a trabajar con GS:
• Publish or Perish de Anne-Wil Harzing: http://www.harzing.com/pop.htm
• Citation-Gadget: http://code.google.com/p/citations-gadget/
• Tenurometer: http://tenurometer.indiana.edu/download.html
Tenurometer

42. Elementos destacados de un resultado en Google Scholar
1. Formato (PDF, HMTL) o tipología documental (Libro, Cita)
2. Existe acceso directo al documento: nos lo indica con una flecha, bien situada en la
zona derecha, si el enlace nos conduce al texto original, o bien en la zona izquierda, si
nos redirige a otra fuente que nos proporciona el acceso
3. La dirección web de la que GS ha extraído la información (servidor, repositorio etc.)
4. Listado de documentos recopilados por GS que citan un documento
6. Permiete exportar el registro a un software de gestión bibliográfica
7. Localizar el documento en nuestra biblioteca gracias a la tecnología

43. Comparando nuestro trabajo

44. Con el resto de los artículos publicados en la revista ese
mismo año

45. Con el resto de los trabajos publicados en revistas españolas en
nuestra especialidad

46. Criterios calidad editorial revistas científicas
CNEAI y ANECA (I)
Criterios CNEAI ANECA
Identifica los miembros de los Comités Editoriales y Científicos
Cuenta con Instrucciones a Autores detalladas
Traduce el Sumario de cada número al inglés así como el título de los
artículos, las palabras clave y los resúmenes
Informa sobre el proceso que emplea para la evaluación y selección
de manuscritos
Declara la periodicidad y la cumple
Utiliza el arbitraje científico en la evaluación de originales y lo cumple
Declara emplear doble anonimato en la revisión externa y lo cumple
Comunica a los autores la decisión editorial de forma motivada
Cuenta con un Consejo de Redacción efectivo
Cuenta con un Consejo Asesor efectivo

47. Criterios calidad editorial revistas científicas
CNEAI y ANECA (II)
Criterios CNEAI ANECA
Al menos el 50% de los artículos son trabajos que comunican
resultados de investigación originales
Al menos el 80% de los autores son ajenos a los Comités Editoriales
Al menos el 80% de los autores son ajenos a la organización editora /
patrocinadora de la revista
La tasa de aceptación de trabajos es igual o menor al 60%
Está indexada en los JCR de las bases de datos de la Web of
Knowledge de Thompson Scientific (SCI, SSCI
Está recogida en la principal base de datos internacional de su
especialidad (por ejemplo. CAB Abstracts, Sociological Abstracts,
Historical Abstracts, Econlit, PsycINFO, Philosopher`s Index, MLA,
ERIC…), o en catálogo Latindex, DICE
Está recogida en la base de datos española del CSIC que le
corresponda por su especialidad (ISOC, ICYT, IME)

48. Satisfacer criterios de calidad editorial
¿Dónde y cómo buscarlos?
– RESH: Revistas Españolas de Ciencias Sociales y
Humanas
– DICE: Difusión y Calidad editorial de las revistas
españolas de Humanidades y Ciencias Sociales
– Latindex: Revistas iberoamericanas
– Cotejarlos con la propia revista

49. RESH: Satisfacer criterios de calidad editorial

50. RESH: Satisfacer criterios de calidad editorial

51. RESH: Satisfacer criterios de calidad editorial

52. DICE: Satisfacer criterios de calidad editorial

53. DICE: Satisfacer criterios de calidad editorial

54. DICE: Satisfacer criterios de calidad editorial

55. Latindex: Satisfacer criterios de calidad editorial
Sistema Regional de Información
en Línea para Revistas Científicas
de América Latina, el Caribe
España y Portugal
! OJO tiene dos productos
!
- DIRECTORIO: 16.963 revistas. Información básica
normalizada
- CATÁLOGO: 3.381 revistas. Selección de revistas
clasificadas según el cumplimiento de unos criterios de calidad

56. Latindex: Satisfacer criterios de calidad editorial
PRODUCTO ÁREA DOMINIO
LATINDEX Todas las Iberoamericano
disciplinas

57. Latindex: Satisfacer criterios de calidad editorial

58. Latindex: Satisfacer criterios de calidad editorial

59. LA AUTORÍA. CNEAI-ANECA
Indicio: Presencia en bases de datos
Antes de ingresar en una base de datos las revistas científicas
deben someterse a una evaluación sobre su calidad formal y
científica. Por ello una presencia mayor en bases de datos se
considera un indicador de calidad al haberse superado más
filtros.
INDICADOR VÁLIDO PARA TODAS LAS ÁREAS y AGENCIAS

60. LA AUTORÍA. CNEAI-ANECA
Indicio: Presencia en bases de datos
Vale, y ahora como sé en que base de datos está la revista:
1. La propia revista nos da está información

61. LA AUTORÍA. CNEAI-ANECA
Presencia en bases de datos
Vale, y ahora como sé en que base de datos está la revista:
2. Existen productos especializados en ofrecer esta
información
PRODUCTO ÁREA DOMINIO
ULRICH´S Todas las Mundial
disciplinas
LATINDEX Todas las Iberoamericano
disciplinas
DICE Sociales/Humanidad España
es

62. LA AUTORÍA. CNEAI-ANECA
Indicio: Presencia en bases de datos

63. LA AUTORÍA. CNEAI-ANECA
Indicio: Presencia en bases de datos

64. LA AUTORÍA. CNEAI-ANECA
Indicio: Presencia en bases de datos
Informa sobre la presencia o ausencia de una revista en bases de datos, repertorios
bibliográficos y catálogos.
A partir de ahí se establece un índice de difusión de la publicación, el ICDS (Índice
Compuesto de Difusión Secundaria)
27.845 títulos de 16 ámbitos - antropología, artes, comunicación social, derecho, documentación,
economía, educación, filología, filosofía, general / multidisciplinar, geografía humana, historia,
política, psicología, religión, sociología

65. ICDS (Índice Compuesto de Difusión Secundaria)

66. LA AUTORÍA. CNEAI-ANECA
Indicio: Presencia en bases de datos

67. LA AUTORÍA. CNEAI-ANECA
Indicio: Presencia en bases de datos

68. LA AUTORÍA. CNEAI-ANECA
Indicio: Presencia en bases de datos
Por ejemplo, éste es el de la Web of Knowkledge: WOS, SCI, SSCI, A&HCI, etc…

69. Los Libros

70. Indicios de calidad de los libros
¿Dónde y cómo buscarlos?
• Número de citas generadas
– Web of Science: Todas las disciplinas
– Scopus: Especialmente las científico-técnicas
– Google Scholar/Books: Todas las disciplinas. Especialmente
útil en Ciencias Sociales, Humanidades, Ingenierías
• Prestigio de la editorial o de los editores
– No existe ninguna herramienta para buscar este indicio
• Reseñas en las revistas científicas especializadas
– Bases de datos de la especialidad: Medline, Sociological
Abstracts, MLA, Historical Abstracts .
En España: DIALNET y bases de datos del CSIC
– Bases de datos multidisciplinares: Scopus y Web of Science
– Google: Ojo no en Google Scholar
• Riguroso proceso de selección y evaluación de originales
– Documentos internos de la propia editorial (publicados en la
red o no)

71. LA AUTORÍA. CNEAI-ANECA
Indicio: Número de citas
Google Scholar
OJO Se alimenta de documentos en la Web: Son clave los REPOSITORIOS, Catálogos de
Bibliotecas, Catálogos Comerciales de revistas, Productos propios de Google (google
books, google patents)
Existen programas y aplicaciones que nos pueden ayudar a trabajar con GS:
• Publish or Perish de Anne-Wil Harzing: http://www.harzing.com/pop.htm
• Citation-Gadget: http://code.google.com/p/citations-gadget/
• Tenurometer: http://tenurometer.indiana.edu/download.html
Tenurometer

72. LA AUTORÍA. CNEAI-ANECA
Libros y capítulos: Google Books
Google Books, una herramienta interesante para buscar citas

73. LA AUTORÍA. CNEAI-ANECA
Libros y capítulos: buscando en catálogos
En REBIUN podemos ver en que biblioteca académica/
universitaria española está nuestro libro.
A nivel internacional disponemos de otros catálogos
colectivos como:
- COPAC (Reino Unido)
- World Cat (Mundial)

74. Muchas gracias por su atención
Emilio Delgado López-Cózar
edelgado@ugr.es
ec3.ugr.es/emilio
http://ec3.ugr.es
http://ec3.ugr.es
http://ec3noticias.blogspot.com
http://ec3noticias.blogspot.com