Las Agencias de Evaluación y entidades financieras necesitan una medida objetiva de la calidad de las publicaciones… … consecuentemente existe una demanda de medidas de este tipo. Aqui se expone como buscar evidencias científicas para la evaluación investigadora, y fuentes alternativas

1. COMO BUSCAR EVIDENCIAS
CIENTIFICAS PARA LA
ACREDITACION
de calidad de la investigación
Julio Alonso Arévalo
Universidad de Salamanca
Correo-e: alar@usal.es

2. Agencias de Evaluación
http://www.aneca.es/ http://www.acsucyl.es
NACIONAL REGIONAL

3. La Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA)
es una fundación estatal que tiene como objetivo contribuir a la mejora de la
calidad del sistema de educación superior mediante la evaluación,
certificación y acreditación.
ANECA lleva a cabo su actividad a través de diferentes 3 programas:
Evaluación de enseñanzas e instituciones
Evaluación del profesorado
Evaluación institucional

4. • La Agencia para la Calidad del
Sistema Universitario de Castilla y
León (ACSUCyL) es el órgano de
evaluación externa de la calidad
universitaria en el ámbito de la
Comunidad Autónoma de Castilla y
León.
• ACSUCYL nace en el contexto de la
Ley Orgánica 6/2001 de
Universidades (LOU),
• Con el objetivo de PROMOVER LA
MEJORA DE LA CALIDAD DEL
SISTEMA

5. ‘Evaluación para la contratación’ y la
‘Acreditación”
• EVALUACIÓN PARA LA CONTRATACIÓN: para el acceso a las
figuras de profesor universitario contratado (profesor contratado
doctor, profesor ayudante doctor, profesor colaborador y profesor de
universidad privada) establecidas en la LOMLOU. Esto lo hace la
ANECA y otras agencias autonómicas. Son las categorías de
profesorado que no son funcionarios.
• Acreditación nacional para el acceso a los cuerpos docentes
universitarios (Programa ACADEMIA): evalúa el perfil de los
solicitantes para el acceso a los cuerpos de funcionarios docentes
universitarios (Profesores Titulares de Universidad y Catedráticos de
Universidad). Esto sólo lo puede hacer la ANECA (así lo estipula la
LOMLOU)

6. Acreditación
para cuerpos docentes universitarios
El RD 1312/2007, de 5 de octubre, establece la ACREDITACION
NACIONAL para el acceso a cuerpos docentes universitarios.
Requisitos:
Título de
ACREDITACIÓN
Doctor

7. CRITERIOS DE ACREDITACIÓN
El RD 1312/2007 establece los criterios de evaluación en el
Anexo.
Se estructuran en cuatro grandes bloques:
1. Actividad investigadora.
2. Actividad docente o profesional.
3. Formación académica.
4. Experiencia en gestión y admin.

8. PUNTUACIÓN Por cuerpos
TITULARES
Puntos
5
Titulares 5
Investigacion
Docencia
50 Formación
40
Gestión
CATEDRÁTICOS
Puntos
10
Catedráticos Investigación
Docencia
35 55
Gestion

9. Actividad investigadora
¿QUE VALORA?
ANECA “Principios y orientaciones para la Aplicación de
los Criterios de Evaluación”
Requiere que los solicitantes acrediten una actividad
investigadora intensa, que haya dado lugar a
resultados reflejados en publicaciones… que
representen una innovación o avance en su campo o
que hayan tenido un impacto económico o social
significativo…

10. Actividad investigadora
Puntuación
El máximo de dos valores numéricos: el obtenido en la evaluación, y
el resultado de multiplicar por 15 el número de sexenio
Cada sexenio se puntúa
15 puntos.
+
Resultado de la
evaluación
Sexenio 5 contribuciones de calidad en 6 años

11. VALORACION CALIDAD INVESTIGADORA
Aneca
1-Publicaciones científicas 2. -Publicaciones científicas
indexadas no indexadas
• Journal Citación Reports,
• Social Siciences Cittion Index Reconocimiento científico de la
• Latindex revista en su área
• Otros ámbitos DICE
3 -Libros y capítulos de libro 4-Congresos y conferencias
Libros completos, como los
capítulos de libro con ISBN Carácter internacional
Tb. las traducciones, prólogos, Referencia en su ámbito
reseñas

12. Evaluación
Las Agencias de Evaluación y entidades financieras
necesitan una medida objetiva de la calidad de las
publicaciones.
… consecuentemente existe
una demanda
de medidas de este tipo

13. Dos Mediciones
1. Colectiva. Índices de Impacto
2. Individual. Citas recibidas

14. Dos Mediciones
1. Colectiva. Índices de Impacto
2. Individual. Citas recibidas

15. Evaluación de revistas
EL FACTOR DE IMPACTO
Eugene Garfield

16. Factor de Impacto
Factor de Impacto es una medida de la importancia de una
publicación científica
Cada año es calculada por el ISI o Institute for Scientific
Information publicadas en un informe de citas llamado
EL FACTOR DE IMPACTO TIENE
UNA INFLUENCIA ENORME, …
PERO CONTROVERTIDA.

17. Argumentos a favor y en contra
A favor…
Cobertura internacional amplia con más de 8.400 publicaciones
de 60 países.
• Los resultados son publicados y disponibles (FEYCIT)
• Es fácil de usar y entender.
En contra…
El número de las citas no mide realmente la calidad de la
publicación, pero sí la cantidad de publicaciones
• El periodo de cálculo es muy corto 2 años
• La naturaleza de los resultados en distintas áreas de
investigación
• Poca representación de otros idiomas, países, áreas
temáticas…

18. Cálculo
El factor de impacto de una revista es la media de veces que
en un año determinado fueron citados los artículos
publicados por esta revista en los dos años anteriores.

19. ISI Journal Citation Report
http://www.accesowok.fecyt.es/login/

20. Entrar en WEB of KNOWLEDGE
Elegir Bases de datos
JOURNAL CITATION REPORT

21. Elegir ÁREA DE CONOCIMIENTO
Ordenar por Factor de Impacto

22. Revistas de EDUCACION
Por Factor de Impacto

23. Dos Mediciones
1. Colectiva. Índices de Impacto
2. Individual. Citas recibidas

24. Buscar citas
recibidas
por un autor

25. Buscar citas
recibidas
por Ruipérez

26. http://www.latindex.unam.mx/

27. • Latindex -Sistema Regional de Información en Línea para
Revistas Científicas de América Latina, el Caribe, España
y Portugal- es producto de la cooperación de una red de
instituciones
• La misión del Sistema es difundir, hacer accesible y elevar la
calidad de las publicaciones científicas seriadas producidas en
la región
– Desarrollar un sistema de información para consultar
datos de las publicaciones científicas seriadas de
Iberoamérica y el Caribe
– Lograr una compilación de calidad de la información
publicada
– Establecer criterios y estándares de calidad

29. Difusión y Calidad Editorial de las
Revistas Españolas de Humanidades y
Ciencias Sociales y Jurídicas

30. Permiten calcular el impacto de cada revista
en su entorno disciplinar mas próximo.
utiliza esta base de datos como referencia en
sus procesos de evaluación de profesorado.

31. Se puede buscar
por áreas temáticas

32. Para saber el cuartíl
que ocupa en su
grupo de materias
debemos picar sobre
CRIT LAT
Criterios Latindex
Cumplidos

33. ¿Qué son los cuartiles?
Si encontramos 180 revistas
sobre EDUCACION en DICE
Las dividimos entre 4
180 / 4 = 45 1er. cuartil
1-45 – 1er cuartíl
2o. cuartil
45-90 .. 2º cuartíl
90-135 - 3er. Cuartíl
145-180 – 4º cuartíl 3er. cuartil

34. European Reference Index
for the Humanities (ERIH)
ERIH 'initial' lists

35. European Reference Index for the Humanities
(ERIH)
ERIH 'initial' lists
BOCYL 28 de
septiembre 2009
ACSUCyl
ERIH : www.esf.org/erih

36. Valorado por la ANECA
ÍNDICE DE IMPACTO
REVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES
EC³
Grupo de investigación Evaluación de la
ciencia y de la comunicación científica
Universidad de Granada
http://ec3.ugr.es/in-recs/

37. Es un índice bibliométrico que ofrece
IN-RECS
información estadística a partir del
recuento de las citas bibliográficas
con el fin de determinar la relevancia,
Periodo cubierto 1994-
influencia e impacto científico de las
revistas españolas de ciencias
SOCIALES
Revistas fuente 146
La base de datos IN-RECS se alimenta
a partir de la indización de las Revistas con impacto
748
calculado
referencias bibliográficas citadas en los
artículos publicados en 146 revistas
españolas (Antropología, Artículos citables
174.123
Biblioteconomía y Documentación,
Economía, Educación, Geografía,
Sociología, Psicología Urbanismo) Citas
59.072

38. IN-RECS permite:
• Saber cual es el impacto científico de una revista, su evolución y su
posición respecto al resto de las revistas de la especialidad
• Conocer cuales son las publicaciones que citan a una revista y cuales
son las citadas
• Saber cuales son los artículos más citados de una especialidad
•Conocer el impacto científico de los autores que publican en las
revistas españolas
• Saber cuales son las instituciones más citadas en cada
especialidad

39. Revistas de educación
Con más citas
2004-2008

40. Índice de Impacto de
Infancia y Aprendizaje

42. Búsqueda por autor

43. Búsqueda por autor

44. Encontrar EVIDENCIAS para …

45. Agencia Española ISBN
http://www.mcu.es/libro/CE/AgenISBN.html
Documentar los libros con ISBN

47. http://dialnet.unirioja.es

49. OTRAS ALTERNATIVAS…

50. Otras alternativas

51. Indice h de Hirsch
http://arxiv.org/abs/physics/0508025

52. índice h de Hirsch
Jorge E. Hirsch, catedrático de física de la Universidad de California
publicó a mediados de 2005 un trabajo donde proponía un nuevo y
sencillo índice para evaluar la carrera de un investigador: el índice h (h-
index).
Su cálculo es sencillo, consiste en
ordenar los documentos de un
investigador en orden descendente
de número de citas recibidas,
numerarlos e identificar el punto en
el que el número de orden coincida
con el de citas

53. Indice H
• Ventajas: El índice h permite
evaluar en un solo
indicador una medida de
calidad y otra del impacto
de la producción científica.
• Inconvenientes: No permite
comparar investigadores de
diferentes áreas científicas

57. En este caso el índice h es 4. Al seguir la lista
de los artículos, de mayor a menor citas,
encontráis una línea verde horizontal que
divide las citas. Es el último que tiene un
número de citas igual o superior a su
ordinal

58. Elsevier

59. SCOPUS
http://www.scopus.com/scopus/home.url

60. http://www.scimagojr.com/
Félix Moya-Anegón
CSIC Research Professor
Instituto de Políticas y Bienes Públicos (IPP) - Centro de Ciencias Humanas y Sociales
Consejo Superior de Investigaciones Científicas - CSIC
Unidad Asociada Grupo SCImago
felix@ugr.es | Felix.deMoya@cchs.csic.es | felix@ugr.csic.es
www.ugr.es/~felix | www.iesam.csic.es/Pi-esp/moya_felix.html

61. SCImago Journal & Country Rank un indicador
alternativo al factor de impacto, que basa su
funcionamiento en el algoritmo PageRank.
Es un portal que incluye las revistas científicas y
los indicadores científicos por PAISES
Cobertura Scopus ® a partir de 1996.
El acceso a este índice es gratuito

62. Factores que incluye SJR
Es un índice más pondera incluye 4 factores
respecto a ISi que incluye 2
El índice H
Número total de citas por revista
Número total de documentos revista
Número de citas por documento

63. Cálculo
Indicador que expresa el número de enlaces que recibe una
revista a través de la citación ponderada de sus
documentos en relación con el número de documentos
publicados durante el año por cada publicación
Permite hacer un ránking por países "Country indicators”
• SCImago ha desarrollador The Atlas of Science project
conseguir una representación gráfica de la investigación
científica

64. SJR revistas
Educación

65. SJR Revistas
Educación españolas

66. Mapas científicos por Países
SPAIN

68. RESH: Revistas Españolas de Ciencias Sociales y Humanas
http://resh.cindoc.csic.es/index.php

69. • Podemos encontrar el índice de impacto de las Revistas españolas de Ciencias
Socaiales y Humanas.
• Se trata de un Portal libre elaborado por el CINDOC (CSIC)
• RESH, es el primer ranking multicriterio para las revistas españolas de Ciencias
Sociales y Humanas
• Presenta en primer lugar los Índices de Citas correspondientes a los años 1999 al
2003 a través de los cuales puede valorarse el uso y la influencia de cada una de las
revistas que aparecen citadas
Además, con el fin de establecer un "ranking" de las revistas
de cada especialidad o área de conocimiento se ha
procedido a ponderar otros criterios de calidad, tanto
editoriales como de visibilidad internacional, que ofrecen
una "valoración integrada" de cada una de estas revistas

72. http://www.citebase.org/

73. • Citebase es el principal resultado práctico de la iniciativa OpCit Project,
desarrollada bajo la inspiración de Stevan Harnad y Tim Brody entre
otros.
• Pertenece al género de los proveedores de servicios, en el mundo del
acceso abierto (Basado en el protocolo OAI-PMH y Experimental

76. http://citeseer.ist.psu.edu/
Searching 767,558 documents.

77. La meta de CiteSeer eran la búsqueda y captura activa de
documentos académicos y científicos en el WEB para
ser indexados usando el método autónomo de análisis
de citas; y así permitir las búsquedas por cita o por la
clasificación de los documentos basado en el análisis de
citas

79. Universidad Nacional Autónoma de México
Coordinación de Humanidades

80. Humanindex
El Índice de Citas en Humanidades y Ciencias Sociales
(Humanindex)
Es un Sistema de Información Académica que tiene como
finalidad identificar la producción científica generada en todas y
cada una de las instituciones pertenecientes al Subsistema de
Humanidades y Ciencias Sociales de esta Universidad, para de
contribuir a una mayor difusión, impacto y visibilidad de esta
producción
http://www.humanindex.unam.mx/humanindex/frm.home.php
Universidad Nacional Autónoma de México
Coordinación de Humanidades

81. A hombros de gigantes
http://scholar.google.es/

83. Los Índices de Popularidad

84. Gestores de Referencias sociales
• Son gestores de referencias personales en la web
que permiten compartir nuestras referencias a
través de una red social
• La funcionalidad básica de estas herramientas es
simple: cuando un investigador ve un documento
en la Web que le interesa, pueden hacer clic en un
botón que se instala en el navegador y tener un
vínculo a este documento agregado a su colección
personal en el gestor

86. • Es el caso del servicio CiteGeist donde nos aparecen los
artículos mas populares subidos a Citeulike ordenados por
cuántas veces son compartidas con el resto de
investigadores.
• Parece razonable que si estoy trabajando sobre un tema y
esa referencia ha sido compartida por centenas de
investigadores especialistas en ese campo, ese
documento será de obligado conocimiento. Al menos si no
se trata de una medida de calidad sí lo es de popularidad.

87. Es el caso del servicio CiteGeist
donde nos aparecen los artículos mas populares
subidos a Citeulike
ordenados por cuántas veces
son compartidas con el resto de investigadores

88. Índices de Popularidad
Hasta hace poco los servicios web que se han
ocupado del tema de la calidad científica en el
contexto Internet, como los casos de CiteSeer, o
Google Scholar, se han centrado en las citas, que es
el indicador estándar de la calidad
Sin embargo…. “... es previsible que los
índices de popularidad
recogidos por los gestores de
referencias sociales se
conviertan en un factor tan
importante como las citas
para la evaluación de
contenido científico”.
Taraborelli,

89. Índices de Popularidad
• Fundamentalmente porque las medidas de popularidad de
los datos se extraen de la conducta natural de los
usuarios, pues cuando recogen un artículo a su gestor
personal es porque están interesados en leerlo, y no para
que ese artículo mejore su popularidad
• Estos índices de popularidad al basarse en patrones de
comportamiento en la utilización del servicio, tienen un
valor más objetivo que el de votación -tipo Facebook- que
está más sujeto a favoritismos, intereses y manipulaciones

90. Ver tambien
¿CÓMO CUMPLIMENTAR EL APARTADO "INDICIOS DE
CALIDAD" DE UNA PUBLICACIÓN CIENTÍFICA EN EL
MODELO DE CV? por Jesus Lopez Lucas
http://psi.usal.es/biblioteca/jcr.asp

91. Buscar evidencias científicas para la
Acreditación
de calidad de la investigación
Julio Alonso Arévalo
Universidad de Salamanca
Correo-e: alar@usal.es