Encuentro Latinoamericano de Autores y Editores (Web of Science Group), Bogotá. mayo de 2019

1. Orlando Gregorio Chaviano
Indicadores bibliométricos: clasificaciones, características y
usos en la evaluación de la actividad científica
Encuentro Latinoamericano de Autores y
Editores
Bogotá, mayo 15 de 2019

2. Reflexiones iniciales
 Evitar la simplicidad y la automatización en los
procesos de evaluación donde intervienen
indicadores
 No hacer traducciones automáticas del valor del
indicador en función de valores, posiciones de
revistas
 El mundo de la bibliometría se caracteriza por
distribuciones asimétricas

3. Precisiones
El valor actual de la idea original de Eugene Garfield
 La forma de evaluar revistas de acuerdo a su
relevancia ya fue inventada hace tiempo “Factor de
Impacto”
 Las Ciencias Exactas y algún sector de CCSS,
consideran que la base de referencia es WoS (o su
metodología) - Scopus sería una versión más amplia
pero no mejor
 Las citas son la unidad de cuenta aceptable para la
evaluación

4. Indicadores
 Instrumentos y procedimientos que cuantifican
dimensiones conceptuales y que al aplicarlos
producen un número
 Cumplen una función básica en la investigación:
evaluación y descripción de los resultados de la
investigación
 Estiman el comportamiento y analizan la actividad
científica y su consiguiente mejoramiento,
incluyendo las revistas científicas
 Ciencias Sociales y sus dinámicas, representatividad
en las fuentes, obsolescencia

5.  Los que miden la cantidad de las publicaciones
científicas (indicadores de producción - output)
 Los que miden la calidad y el impacto desde las
relaciones entre las publicaciones científicas
(indicadores de citación o basados en citas)
Indicadores

6. PRODUCCIÓN
(Output)
IMPACTO (citas, posición
en cuartiles, h index..)
COLABORACIÓN
(patrones de
colaboración)
ALTMETRICS
Categorías
Indicadores de redes (primera y segunda generación)

7. Indicadores de producción
Se encargan del recuento y contabilización de la
producción (Número de publicaciones)
No siempre la productividad es sinónimo de relevancia
y calidad científica
La lectura de los mismos deja de lado aspectos de la
calidad de la ciencia (producción no es sinónimo de
calidad)
Correlacionar con tamaños, inputs, benchmarking de
áreas y disciplinas

8. Indicadores de impacto
 Se basan en la contabilización de las citas recibidas y
su aplicación como medio de evaluación de las
comunidades científicas
 A pesar que la cita se relaciona con el impacto y con la
importancia de los resultados de la investigación, no
debe verse esta como criterio de calidad de manera
categórica
Se encargan de realizar análisis de segundo
orden

9.  Análisis de citas como instrumento de evaluación
 Las citas como proxy del impacto, pero visto con
suficiente tiempo
 Ventana de tiempo de tres años como opción de
predicción del impacto
 Las Ciencias Sociales y la dinámica de citas
Indicadores basados en citas
Ejemplo de ello, el Factor de Impacto

10. ¿Por qué se lee un trabajo?
¿Qué es un buen trabajo de investigación?
Leer (prestar atención)
Selección (cita)
La calidad de la revista
La calidad del paper (citas, ranking, originalidad,
importancia, accesibilidad, metodología, conclusiones)
Calidad como mezcla de muchos factores (más allá de la
posición y el factor de impacto)
La cita y sus dinámicas

11. Indicadores de citación

12. Indicadores altmétricos
Un análisis bibliométrico completo debe considerar
tanto las citas como las altmétricas:
Visitas, descargas, comentarios, likes y tweets.
“altmetric attention score”: la simple atención que ha
tenido una publicación o un trabajo en el universo de
internet (almetrics.com).
Las “nuevas métricas” no implican un reemplazo o una
debilitación de la métrica de las citas, sino al revés: la
refuerzan y subrayan su valor especial y su necesidad.

13.  Indicadores de largo plazo (citas), con vidas
medias largas que necesitan más o menos tiempo
para aportar información relevante según la
disciplina que estemos analizando.
 Indicadores de corto plazo (medidas de uso), que
se recogen ya casi antes de la fecha de publicación
y ofrecen información rápida y se vuelven
obsoletos rápidamente
Métricas de corto plazo (altmétrics) como predictores de
las de largo (citas)
Reflexiones breves

14.  La colaboración con científicos visibles ayuda a
mejorar la producción y el impacto
 Elevado número de coautores en los trabajos tienen
tasas de citación más altas
 Los colaboradores citan más que los no colaboradores
 Las citas se concentran en nichos (instituciones,
revistas, autores)
 Instituciones top se citan entre ellas y menos hacia las
de menor impacto (al igual que las revistas y autores)
Colaboración científica

15. Patrones de colaboración
Definen en muchos casos la proyección institucional, la
visibilidad y el alcance de proyectos y programas
 Colaboración internacional
 Colaboración nacional
 Institucional
Es preciso observar desde la Bibliometría el aporte e
impacto de la colaboración en la producción científica

16. Factor de impacto
 Cálculo relativamente sencillo, lo realiza Web of Science
para el conjunto de sus aproximadamente 14 mil
revistas científicas y lo muestra cada año a través del
Journal Citation Report (JCR)
 Muestra el promedio de citas que reciben los artículos
de las revistas WoS en el periodo de tiempo evaluado (2
años)

17. Factor de impacto: precisiones
Cálculo y replicación es relativamente fácil para usar en
otros contextos y situaciones
Permite no solo la evaluación de revistas, sino la
selección de las mismas para publicar resultados de
investigación
Mientras que en el numerador se tienen en cuenta
todas las citas que reciben los documentos publicados,
en el denominador sólo se incluyen los documentos
citables como artículos, revisiones y cartas
Insuficiente para evaluar las CSyH
Su ventana de observación es una limitante

18.  Ordenar cada uno de los trabajos en forma
decreciente de acuerdo al número de citas
recibidas, donde un autor (o revista) tendrá un
índice h si h de sus trabajos han recibido h citas
 Facilidad para obtenerlo y resumir el valor de la
investigación en un simple valor numérico
 Tiene limitaciones en las dinámicas de
producción y citación que inciden en el
rendimiento y valor final
Índice h

19.  Posibilidades de combinar la cantidad (número de
publicaciones) y el impacto (citas)
 Representa una medida objetiva para la evaluación,
asignación de presupuestos, premios y promociones
 Tiene mejor comportamiento que medidas como el factor
de impacto, total de citas, trabajos citados, entre otros
que analizan una sola dimensión y que se encuentran
sesgados por las ventanas de citación, las tipologías
documentales, la revista, entre otros
Índice h

20.  Valores diferentes en las áreas y disciplinas
 Dependiente de los tiempos de investigación
 Importancia de los trabajos altamente citados
(calidad e importancia de las citas
 Uso indiscriminado (el uso solamente del h index
puede traer desventajas)
 Su uso puede traer cambios en las prácticas de
publicación
Desventajas h Índex

21. Indicadores y evaluación
Niveles de agregación Propósito Indicadores
Individual Búsqueda de recursos Publicaciones (output)
Grupo de investigación Mejora de
comportamiento,
planeación
Journal Citation Report,
bases de citación
Institución Mejorar la presencia en
país/región, aumento
de la colaboración,
planeación
Citas, colaboración
Disciplina Analizar
comportamientos,
planeación
Producción, citas,
impacto, colaboración
En la medida que se agregan datos mayor es la fiabilidad del
resultado pero más difícil la lectura interpretación

22. IMPACTO
ESPERADO
IMPACTO OBSERVADO
Número y % de trabajos
citados
Tasa de autocitación
H index
Crow Indicator
Factor de impacto
Cuartiles

23. Factor de impacto: lecturas

24. Factor de impacto: Lecturas
Título País Institucióneditora Idioma Q Citas FI Periodicidad NdocDenominador NcitNumerador NdocCitados %DocCit %Autocitas
NEWENGLANDJOURNALOFMEDICINE US MassachusettsMedicalSociety Inglés 1 332,831 79.260 Semanal 670 53104 620 92,5 0,9
LANCET UK TheLancetPublishingGroup Inglés 1 233,269 53.254 Semanal 645 34349 641 99,4 2,6
JAMA-JOURNALOFTHEAMERICANMEDICAL
ASSOCIATION
UK AmericanMedicalAssociation Inglés 1 148,775 47.661 Semanal 410 19541 407 99,3 2,1
BMJ-BritishMedicalJournal UK BMJPublishingGroup Inglés 1 109,321 23.562 Semanal 443 10438 420 94,8 6,0
JAMAInternalMedicine US AmericanMedicalAssociation Inglés 1 11,84 19.989 Mensual 275 5497 271 98,5 3,8
ANNALSOFINTERNALMEDICINE US AmericanCollegeofPhysicians Inglés 1 53,689 19.384 Quincenal 302 5854 300 99,3 3,3
NatureReviewsDiseasePrimers UK NaturePublishingGroup Inglés 1 1,559 16.071 Mensual 84 1350 84 100,0 0,4
JournalofCachexiaSarcopeniaandMuscle US Wiley-Blackwell Inglés 1 2,207 12.511 Trimestral 88 1101 85 96,6 28,1
PLOSMEDICINE UK PublicLibraryofScience Inglés 1 24,232 11.675 Mensual 286 3339 279 97,6 2,8
BMCMedicine UK BioMedCentral Inglés 1 12,000 9.088 Mensual 398 3617 375 94,2 1,5
MAYOCLINICPROCEEDINGS US ElsevierBV Inglés 1 13,828 7.199 Mensual 282 2030 254 90,1 4,6

25. Índice h GS - lecturas

26. h Índex: lecturas

27. CROWN indicator
 Agregación de promedios de citas por años y
disciplinas de los trabajos publicados por los
investigadores comparados con la media mundial
 Corrige sesgos en la citación causados por la edad de
los documentos y las diferencias en los hábitos de
citación de cada disciplina científica
Impacto normalizado
(van Raan, 1999)

28. Grupo Investigación Año Nict CITAS NORMALIZADAS Especialidad
Investigador 1 2015 21 10,7 Microbiología
Investigador 1 2016 23 8,57 Inmunología
Investigador 1 2017 34 2,01 Plant Science
Investigador 1 2018 52 0,5 Agricultura
CROWN =
21 + 23 + 34 + 52
10,7 + 8,57 + 2,01 + 0,50
Promedios citas
anuales de la
especialidad
(baselines)
Citas reales
CROW indicator
Valores del impacto normalizado superiores a 1 indican que el
impacto de las publicaciones del agregado, es mayor que la media
mundial de la especialidad
CROWN=5,96

29.  Intenta medir el “prestigio” de las revistas
Una revista transfiere a otra su prestigio por el hecho
de citarla.
 Mayor cantidad de revistas en el cálculo y cobertura
de áreas y países
 Ventana de tiempo de tres años y elimina autocitas
Dificultades de lectura, diversidad de variables en el
cálculo, valores erróneos de cálculo de citas que
impactan en le red
SJR de Scopus

30.  EingenfactorScore (WoS)
 Índice de inmediatez (WoS)
 CiteScore (Scopus)
 Article influence Score (Scopus)
 SNIP (Scopus)
 Impactos normalizados (ambas fuentes)
Otros indicadores

31.  Documentos por año, por
agregados
 Documentos por fuentes
 Tipologías documentales
 Idiomas
 Financiación
 Indice de especialización
 TVA (Total y %)
 Factor de impacto de las
revistas
 Publicaciones por cuartil
(total y %)
 Crown Indicator
 H index
 H sucesivos
 Total de citas
 Citas por agregado
 Promedio de citas
 Tasa de autocitación
 Patrones de colaboración
 Citas por patrón de
colaboración
 Indice de coautoría
Evaluación
científica
Indicadores tradicionales

32. Nuevos indicadores
Nuevos indicadores a partir de la huella de investigación en
redes sociales y científicas

33.  Planeación de la investigación
 Evaluación de la investigación en niveles micro,
meso y macro
 Evaluación y gestión de revistas (indización en bases
de datos, gestión, benchmarking)
 Unidades de bibliometría y servicios de información
en bibliotecas
Uso de los indicadores
Generación de informes bibliométricos
Búsqueda de colaboradores
Gestión de proyectos

34. ¿Qué fuente elegir?
 WoS
 Scopus
 GS
Preguntas …
 ¿Exhaustividad, selectividad?
 ¿Indicadores siemples o compuestos?
 ¿Absolutos o relativos?
 ¿Indicadores tradicionales o nuevos?
 ¿Apuestas institucionales o internacionales?
Uso de los indicadores

35. A tener en cuenta
 Contextualizar las áreas antes de proceder a hacer
comparaciones
 Las prácticas de producción y citación de áreas y
disciplinas como determinantes
 El uso de las fuentes de datos y su representatividad
estadística
 Creación de bases de datos de cobertura
 Misión y objetivos institucionales
 Aplicaciones periódicas y comparaciones
 El tamaño de los agregados
 Correlación con el criterio de expertos

36. Gracias !!!
ogregorio1970@gmail.com