Utilidad e interpretación de las
métricas científicas en el sector
editorial
I Congreso de Edición Científica
26 y 27 de noviembre de 2015
Bogotá, Colombia
Flor Trillo

Contenido
• Problemáticas que se presentan con el
uso de las herramientas existentes.
• Utilidad de las métricas
• Herramientas para conocer a
Colombia en materia de
documentación científica
• Experiencias de estudios y análisis
bibliométricos en Austria y Alemania
• Conclusiones
• Recomendaciones

Ciclo de vida de la investigación
Fuente:
University of Central Florida Libraries Research Lifecycle Committee. The Research Lifecycle at UCF. 2012. Online Graphic. University
of Central Florida Libraries. University of Central Florida. Web. (Consultado el 13 de mayo de 2015).

El uso y aplicación de los datos
“El análisis de datos se centra en hacer preguntas y el
acceso a conjuntos de datos nos ayuda a identificar
correlaciones y esbozar un panorama más amplio que
brinde una posible solución”
Datología: la toma de decisiones basada en datos
Ivette Fis de Melo, BID

El bibliotecario y el usuario: ¿navegan
o se sumergen?
Se calcula que la Internet
Profunda es 500 veces
mayor que la superficial
La Association for
Computing Machinery en
2007, indicó que Google y
Yahoo tenían indexado el
32% de la internet
profunda.
20% de la información
publicada anualmente
está en Open Access
(estudio del 2003)
Fuente:
By Bin He, Mitesh Patel, Zhen Zhang, Kevin Chen-Chuan Chang. Accessing the deep web
Communications of the ACM, Vol. 50 No. 5, Pages 94-101 10.1145/1230819.1241670

Principales problemáticas con la información
disponible tanto por suscripción como en datos
abiertos
• Recolección de datos
• Consistencia de datos
• Cobertura de universos
• Disponibilidad de datos
• Interpretación de datos (establecer patrones de
comportamiento)
• Sistematizar el desarrollo de estudios en esta materia
• Medición del impacto en materia de política públicas
de información
• Asignación de recursos en materia de investigación y
producción científica

 El análisis bibliométrico permite ofrecer el avance de la
calidad y efectos de la publicación de la investigación
científica de los países (desarrollados y en desarrollo)
que resulta necesaria para una mayor divulgación.
 La publicación de artículos científicos es parte integral
de la investigación científica, es la mejor forma de
generar una comunicación científica eficaz.
 Porque la producción científica constituye el progreso
del conocimiento científico y la ciencia como un todo.
¿Para qué analizar esto?

Preferencias de los investigadores
Sobre análisis de información bibliométrica:
• Google Académico (poco precisa) y Redalyc
(limitada) son OA
• Scopus y Wos son por suscripción (aproximada
porque los autores deben normalizar
Sobre análisis de información de los documentos
en texto completo:
• Google Académico y Redalyc son OA
• Algunas revistas Scopus y Wos son por suscripción
(estos sistemas a veces ofrecen el texto completo,
pero si la revista fue concebida como OA, se puede
acceder directamente al texto completo)

- Bibliografías, servicios de indización y resúmenes,
- Referencias o citas (análisis de citas) y en los directorios o catálogos
colectivos de títulos de revistas.
- Selección de libros y publicaciones periódicas.
- Identificación de las características temáticas de la literatura.
- Evaluación de bibliografías y de colecciones.
- Historia de la ciencia.
- Estudio de la sociología de la ciencia.
- Determinación de revistas núcleos en determinada temática.
- Identificación de los países, instituciones y autores más productivos
en un período determinado.
- Distribución según idiomas de las fuentes en una temática
específica.
Importancia y utilidad de las métricas (1)

- Aspectos estadísticos del lenguaje y la frecuencia del uso de las palabras y
frases.
- Características de la productividad de los autores, medida por la cantidad
de documentos publicados en un tiempo determinado o por su grado de
colaboración.
- Características de las fuentes donde se publican los documentos, incluida
su distribución por disciplinas.
- Análisis de citas, según distribución por autores, tipo de documento,
instituciones o países.
- Uso de la información registrada a partir de su demanda y circulación.
- Obsolescencia de la literatura mediante la medición de su uso y de la
frecuencia con que se cita.
- Incremento de la literatura por temas.
- Distribución idiomática según la disciplina o el área estudiada
Importancia y utilidad de las métricas (2)

• Crecimiento cuantitativo de la ciencia
• Desarrollo de las disciplinas y subdisciplinas
• Relación entre ciencia y tecnología
• Obsolescencia de los paradigmas científicos
• Comunicación científica formal (Estructura de
comunicación entre los científicos)
• Productividad y creatividad de los investigadores
• Relaciones entre el desarrollo científico y el crecimiento
económico
Importancia y utilidad de las métricas (3)

Citas negativas, ¡también deben
analizarse!
• En un estudio de 15,731 artículos publicados
entre 1998-2007 se pudo encontrar que el 7%
recibo uno o más citas negativas y esto ocurrió en
los primeros años de su publicación.
• El universo total de citas fueron 146,891.
• Con menos frecuencia se citaba negativamente a
coautores o autores geográficamente cercanos.
• Con esto podemos analizar estudios de retracción
en particular, puesto que se puede predecir si
este será su futuro al contar con una fuerte
cantidad de citas, por ejemplo.
Fuente: Rae-Chi K. Parsing Negative Citations: A new tool helps scientists better understand what happens to
studies that are criticized in the literature. Octubre 26, 2015. Disponible en: http://www.the-
scientist.com/?articles.view/articleNo/44335/title/parsing-negative-citations/ [Consultado en noviembre de

Lo que se puede hacer…(1)
Fuente: Urbizagástegui-Alvarado R; Restrepo-Arango C. “El desarrollo de la bibliometría y los indicadores en ciencia y
tecnología en Colombia. Disponible en:
http://congreso2013.ricyt.org/files/mesas/3fProduccioncientifica/UrbizagasteguiRestrepo.pdf

Lo que se puede hacer… (2)
[caso REDALYC]

Lo que se puede hacer… (3)
[caso Scopus]

Lo que se puede hacer… (4)
[caso InCites - Web of Science]

Morales-Morejón (1985)
Bjömeborn e Ingwersen
(2004)
DIFERENCIAS CONCEPTUALES
Fuente: Altmetría, influmetría… ¡Informetría! Disponible en: http://www.inaecu.com/altmetria-influmetria-
informetria/ [Consultado el 23 de octubre de 2015]

La situación de Open Access en cuanto a revistas
científicas , 2009
Fuente: Björk B-C, Welling P, Laakso M, Majlender P, Hedlund T, Guðnason G
(2010) Open Access to the Scientific Journal Literature: Situation 2009. PLoS ONE
5(6): e11273. doi:10.1371/journal.pone.0011273 Disponible en:
http://www.plosone.org/article/fetchObject.action?uri=info:doi/10.1371/journal
.pone. 0011273&representation=PDF [Consultado el 9 de octubre de 2015]

Manifiesto de Leiden (Holanda)
19º Conferencia Internacional de Indicadores de Ciencia y Tecnología,
septiembre de 2014
Diez principios resumidos:
1. Evaluación cuantitativa apoya a la evaluación cualitativa y debe ser
realizada por expertos. La toma de decisiones no debe ser basada en
números.
2. El desempeño de una investigación debe medirse de acuerdo con:
objetivos, indicadores claramente establecidos y relacionados con las
metas. No se puede aplicar un solo modelo.
3. Proteger el pluralismo y la relevancia social, métricas basadas en
literatura de alta calidad que no estén en inglés permitirían reconocer la
excelencia en investigación local y regional.
4. Bases de datos sencillas y transparentes para que el análisis sea abierto.
5. Someter datos y análisis de lo investigado para verificación y validación
si es necesario con el apoyo de auditorias independientes.
Fuente: El uso de métricas en la evaluación de la investigación es matizado en el Manifiesto de Leiden:
http://blog.scielo.org/es/2015/04/30/el-uso-de-metricas-en-la-evaluacion-de-la-investigacion-es-matizado-en-el-manifiesto-de-
leiden/

Manifiesto de Leiden (Holanda)
19º Conferencia Internacional de Indicadores de Ciencia y Tecnología,
septiembre de 2014
Diez principios resumidos:
6. Considerar la diversidad de publicaciones (libros, conferencias) de
acuerdo con las áreas de investigación, así como la cantidad de citaciones
que se basa actualmente en percentiles.
7. Evaluar a un investigador no por su número de publicaciones, sino por su
especialidad, experiencia, actividad e influencia.
8. Promover el uso múltiple de indicadores que sea más consistente y
próximo a la realidad.
9. Un solo indicador puede llevar a errores de interpretación, alterando
sistemas de incentivos o efectos anticipados.
10. Discutir y actualizar regularmente los indicadores, la evaluación cambia
y el sistema de investigación evoluciona.
Fuente: El uso de métricas en la evaluación de la investigación es matizado en el Manifiesto de Leiden:
http://blog.scielo.org/es/2015/04/30/el-uso-de-metricas-en-la-evaluacion-de-la-investigacion-es-matizado-en-el-manifiesto-de-
leiden/

Necesitamos saber…
• ¿En qué tipo de documentos se publica principalmente?
• ¿En qué revistas nacionales o internacionales? ¿son revistas
por suscripción, en OA o híbridas? ¿existe una cultura del
autoarchivo en repositorios institucionales?
• ¿Qué idiomas prefieren los colombianos?
• ¿En qué áreas del conocimiento se están aplicando estudios
bibliométricos?
• ¿Cómo funciona la comunicación científica entre los
autores/investigadores/académicos?
• Y ¿qué podemos esperar? ¿cómo podemos incidir en las
políticas públicas en materia de ciencia y tecnología?

¡Las citas nos dicen mucho!
Las 11 razones para hacerlo son:
1. Direccionar al lector hacia la fuente de información relevante
2. Ayudar en el rastreo del origen de las ideas
3. Reconocer a pioneros y compañeros
4. Direccionar al lector sobre métodos y equipo utilizados
5. Para criticar o corregir un trabajo previo
6. Para fundamentar alegatos y argumentos con pruebas
7. Como evidencia de distintas opiniones sobre la actual argumentación
8. Para demostrar originalidad en el contexto de un trabajo previo
9. Para guiar a otros investigadores en el trabajo propuesto
10. Para desarrollar credibilidad como autor
11. ¡No citar es plagio!
Fuente: Using citation analysis to measure research impact. Disponible en:
http://www.editage.com/insights/using-citation-analysis-to-measure-research-impact [Consultado el 13

Muestra de lo que dice Thomson sobre
un autor

Índice R: Propuesta por Shane Gero (Dinamarca) y Maurício Cantor
(Canadá) cuantificación de contribuciones a través del revisor.
Cantidad de manuscritos revisados, extensión de los artículos, FI de la
revista. Este dato sin duda ayuda al editor a elegir a sus revisores, pero
que también recompensa con reconocimiento a los colaboradores.
Métrica al mérito!
Beneficios:
1. Reconocimiento para el revisor
2. Promoción de la transparencia
3. Otro punto de evaluación de la calidad de la revista
4. Ayuda para la elección de parte de los editores
5. Fácil de implementar
Propuesta de Índice R para revisión
por pares
Mide la
productividad del
revisor
Fuente: Cantor M, Gero S. 2015 The missing metric: quantifying contributions of
reviewers.R. Soc. open sci.2: 140540. http://dx.doi.org/10.1098/rsos.140540

“Las altmétricas pueden ofrecer una visión complementaria al
análisis de citas, asumiendo un papel en la evaluación de la
ciencia”
“Aún es pronto para aplicar las altmétricas a la evaluación de
la investigación”
“Los datos altmétricos pueden ser una excelente fuente de
información sobre los hábitos y necesidades de información
de los investigadores. Conociendo los artículos guardados en
gestores de referencia bibliográfica.
Ángel Borrego
Fuente: Borrego A (2014). Almétricas para la evaluación de la investigación y en el análisis de necesidades de información. En: El
Profesional de la Información. 24(4); 352-357. Disponible en:
http://bd.ub.edu/grups/ccd/sites/bd.ub.edu.grups.ccd/files/Jornada%20Revistes%202013/Borrego.pdf
Métricas alternativas
según Borrego

¿Qué es una métrica alternativa?
A través de las almétricas es posible conocer:
• Número de artículos vistos o descargados en PDF.
• Número de veces que ha sido archivado (a través de
CiteUlike o Mendeley)
• Número de discusiones sobre el artículo, por ejemplo en
blogs científicos o en revistas, además de su viralización
en redes sociales o plataformas con “micro-blogging.”
• Número de veces que se recomendó en las redes
sociales, editoriales o en artículos impresos.
• Número de veces que fue citado en literatura académica
de divulgación o incluso en Wikipedia.
Making open sicencie a reality. OCDE, 2015
http://www.oecd-ilibrary.org/science-and-technology/making-open-science-a-
reality_5jrs2f963zs1-en;jsessionid=jgdh4pdbmkp1.x-oecd-live-02 [Consultado el 15 de noviembre
de 2015] PP. 29-30

Opciones de Métricas
Alternativas

Su misión es dar seguimiento y análisis a la actividad en línea de
la producción científica académica.
Fuentes:
Thelwall M; Haustein S; Larivière V; Sugimoto CR. Do Altmetrics Work? Twitter and The Other Social Web
Services. Disponible en:
http://www.plosone.org/article/fetchObject.action?uri=info%3Adoi%2F10.1371%2Fjournal.pone.0064841&repre
sentation=PDF
Liu J; Adie E. New perspetive on article-level metrics: developing ways to assess research uptake and impact
Sus fuentes métricas son:
1. Twitter
2. Facebook
3. Research Highlights (NPG)
4. Blogs
5. Google +
6. Mainstream media citation
7. Reddits
8. Forums
9. Q&A
10. Pinterest (pinners)
11. LinkedIn
Altmetric.com (UK)

¿Ofrece ventajas?
Wouter and Costas (2012) identificaron 4 ventajas principales que
presente frente a indicadores bibliométricos tradicionales:
• Diversidad, porque tiene acceso a una amplia gama de
comunidades científicas por lo que la medición a través de su
universo es mayor.
• Rapidez, capturan de manera inmediata una vez que la publicación
se ha hecho disponible, en cambio las publicaciones tradicionales
toman años que sean citadas.
• Apertura, es en principio fácil el hecho de obtener métricas
alternativas.
• Alcance, las métricas alterativas tienen un alcance mayor que la
comunidad técnica científica
Fuente: Wouters P; Costas R. Users, Narcissism and Control: Tracking the Impact of Scholarly Publications in the
21st. Century, SURF Foundation, Utrecht, 2012. Disponible en:
https://www.surf.nl/binaries/content/assets/surf/en/knowledgebase/2011/Users+narcissism+and+control.pdf
Consultado el 15 de noviembre de 2015]

MÉTRICAS GENERALES
SOBRE COLOMBIA

Rankings of Repositories
 A nivel nacional se
consideran 30
Fuente: http://repositories.webometrics.info/ [Consultado en marzo de 2014]

El ESCI esta conformado por 2,758 títulos de
revistas de 85 países.
Aunque Colombia participa con revistas, su
aportación representa el 1,42% en cuanto a
cantidad de títulos de revistas.
Emerging Source Citation
(ESCI)- Thomson Reuters
De acuerdo con Rafael Repiso, Colombia
tiene 39 revistas

Journal Citation Report – Thomson Reuters

InCites Analytics- País

Journal Ranking – SCImago/Scopus

En cuanto a
producción de
documentos,
Colombia ocupa
el 5to. lugar en
América Latina
1996-2014

SCImago Journal & Rank - Scopus
En cuanto a producción de documentos, Colombia
ocupa el lugar No. 53 a nivel mundial
1996-2014
En cuanto a citas, Colombia ocupa el lugar No. 51
a nivel mundial

Sobre Colombia podemos saber que…

Redalyc 2005-2014
• Su universo de 173 países
representados, 1,057
revistas y 435,802 artículos,
aquí Colombia contribuye
con un 17,97%, es decir,
190 revistas, 63362
documentos.
• Ofrece Análisis
Cienciométricos de 9 años,
es decir, del 25% del
contenido colombiano, es
decir de 16,439
documentos.

En cuanto a producción…

Algunas experiencias en Austria y
Alemania

Congreso Nacional de Bibliotecarios
en Austria 2015

Bibliometrie Scientometrics:
revista alemana
En el año 2012 se organizó un
evento en la Universidad de
Regensburg, Alemania sobre
estándares bibliométricos en
las ciencias, ciencias sociales y
humanidades: estado del arte
y tendencias, que fue lo que
originó la creación de esta
revista.

Departamento de Bibliometría –
Universidad de Viena, Austria
Cuyas funciones con académicos e investigadores se centran:
 identificación de trabajos y su ubicación dentro del campo de estudio frente a otros
autores, instituciones y países que trabajan los mismos temas,
 Identificando temas o artículos relevantes para el campo de investigación, citas
clásicas dentro de la temática que ellos trabajan, la inmediatez de la citación sobre
su producción (estado del arte),
 Visibilidad de publicaciones, brindando estrategias, identificación del impacto de
sus publicaciones a través de un sistema de alertas, identificación entre la cantidad
y el tipo de citas necesarias para que el trabajo sea considerado de excelencia
 Identificación de colaboradores potenciales o competencia en términos de
producción científica, así como, la identificación de potenciales agencias de
financiamiento.

Conclusiones - Política Científica Abierta:
recursos financieros, humanos e infraestructura
Fuente: Open Science mapa conceptual. Proyecto FOSTER.
Disponible:https://revistazetabibliotecologia.files.wordpress.com/2015/09/1_openscien
ce-mapa-conceptual.png[Consultado 9 de octubre de 2015]

Recomendaciones
• Generar datos confiables locales a través de un observatorio con las
revistas que produce Colombia, una revista que documente esto ¡es
necesaria!
• Analizar los datos creando visualizaciones de los mismos para
generar impacto y vincularse con la legislación de la ciencia.
• Promover investigación sobre el estudio del arte de la
documentación científica colombiana y diseminar en todos los
niveles los resultados obtenidos.
• Es necesario saber con precisión cuanto dinero se invierte en cada
publicación, investigación y el impacto que genera la investigación
en cada área del conocimiento en el bienestar de su población, esta
información tiene que estar pública y abierta para poder tomar
decisiones y para poder dar seguimiento.

¡¡¡MIL GRACIAS POR SU TIEMPO!!!
Más información en:
flor.trillo@gmail.com
mx.linkedin.com/in/flortrillo
www.directorioexit.info/ficha 334
Para consultar esta presentación en:
http://es.slideshare.net/ftrillo