Slides das apresentações realizadas por mim durante o XXVI Congresso Brasileiro de Biblioteconomia e Documentação (CBBD), em São Paulo, entre 22 e 24 de Julho de 2015; a convite da EBSCO.

1. Cenário Atual das Métricas
Alternativas e os Impactos da
Produção Científica
Iara Vidal Pereira de Souza
XXVI CBBD, São Paulo, 22 a 24 de Julho de 2015

2. Métricas Alternativas? Mas qual o problema
das métricas tradicionais?
• Fator de impacto de periódicos
• Inadequado para avaliar impacto de artigos/autores/instituições
individualmente;
• Sujeito a manipulações.
• Contagem de citações
• É lenta – citações precisam de tempo para acumular! (ler =>
escrever => submeter à revisão => publicar => indexar => ...);
• Ignora o produto que não é artigo e o uso que não é citação;
• Desconsidera o contexto e as razões para citação.

3. Altmetrics: a manifesto (PRIEM et al, 2010)
• A Web permite acompanhar melhor o que acontece com os
produtos da pesquisa científica depois que são divulgados
• A bibliografia sai da gaveta para o Mendeley/Zotero;
• O papo nos corredores das universidades e congressos acontece
também no Twitter e nas caixas de comentários;
• A literatura cinzenta vai para repositórios e blogs...
• Altmetrics / Altmetria: “a criação e o estudo de novas
métricas baseadas na Web Social para analisar e informar
atividades acadêmicas”
http://altmetrics.org/manifesto/

4. Não Confunda: Altimetria vs Altmetria
• ALTImetria (Topografia)
• Estudo ou técnica da medição de altitudes; representação das
altitudes em mapas ou plantas topográficas
(http://www.priberam.pt/dlpo/altimetria)
• ALTmetria (do inglês altmetrics)
• Alt => Alternative/Alternativas
• Metrics => Métricas
• Altmetria: métricas alternativas da comunicação
científica.

5. Não Confunda:
Altmetria vs. Article-
Level Metrics (ALM)
Article-Level Metrics
(métricas de artigo):
medida do impacto de
um artigo reunindo
indicadores tradicionais
e alternativos
Métricas de
Artigo
(ALM)
Métricas
Alternativas
Adaptado de Ian Mulvany
https://flic.kr/p/jqxxi5

6. Uma Visão Multidimensional do Impacto
• A promessa da Altmetria é compreender melhor atores,
processos, produtos e impactos da comunicação científica.
• Usos além da citação: compartilhamentos, etiquetas/tags,
anotações, comentários...
• Públicos além da academia: médicos, pacientes, educadores,
estudantes, cientistas amadores...
• Produtos além do artigo de periódico: dados, software, blogs...
Agências de fomento como a Wellcome Trust (Reino Unido) já usam
dados altmétricos para acompanhar os resultados das pesquisas
que financiam (DINSMORE; ALLEN; DOLBY, 2014)

7. IMPACTO
CITAÇÕES
Adaptado de http://altmetrics.org/manifesto/

8. IMPACTO
USO
Downloads
Visualizações
REVISÃO POR PARES
PÓS-PUBLICAÇÃO
Opinião de especialistas
CITAÇÕES
ALTMETRICS
Favoritos
Conversas
Compartilhamentos
Adaptado de http://altmetrics.org/manifesto/

9. Alguns Indicadores Altmétricos
• Captura: item salvo/favoritado/curtido
• Mendeley, CiteULike, Delicious, Slideshare…
• Compartilhamento: item compartilhado, sem comentários
adicionais significativos
• Twitter, Facebook, Linkedin, YouTube, Mendeley, posts de blog…
• Revisão: item comentado, discutido, anotado
• Faculty of 1000 (F1000), posts de blog, comentários
• Menção/Citação/Reuso
• YouTube, posts de blog, notícias, verbetes da Wikipédia…

10. Vantagens das Métricas Alternativas
• Servem de complemento aos métodos tradicionais de
avaliação, mostrando impactos que são invisíveis às métricas
tradicionais
• Em geral se acumulam mais rápido que as citações,
indicando a *atenção* recebida por um trabalho.
Para bibliotecários: ferramentas auxiliares para
desenvolvimento e avaliação de coleções/repositórios;
serviços para usuários (“saiba quem está usando a sua
pesquisa!”)

11. Críticas e Desvantagens
• Falta de credibilidade - medida de impacto ou de
popularidade?
• Medida de *atenção*, que pode ter vários motivos.
• Diversidade e efemeridade
• Lembra do Orkut?
• Um favorito no Twitter é igual a uma curtida no Facebook?
• Baixa disponibilidade de indicadores
• Possibilidade de manipulação

12. Ferramentas Para Coletar Dados Altmétricos
•ImpactStory
•PLOS ALM
•Altmetric
•Plum Analytics

13. • Sem fins lucrativos, financiada pela National Science
Foundation e pela Fundação Alfred P. Sloan.
• Voltada para pesquisadores individuais
• Assinatura anual – 60 dólares
• Métricas contextualizadas
• Por audiência: academia (ex.: Mendeley, Figshare), público em
geral
• Por tipo de engajamento: visualizações, recomendações,
discussões, etc.
http://impactstory.org

14. • Inicialmente voltada apenas para artigos publicados em
periódicos da PLOS, está disponível para outros editores,
instituições e publicações (código aberto)
• Adotada pelo Open Journal System (OJS/PKP) => SEER
• Indicadores: uso, citações (acadêmicas ou não),
disseminação e social bookmarking, cobertura em blogs e na
mídia, discussões e classificações
• Contextualizados por audiência (público em geral e acadêmico),
dimensão (atenção, autopromoção e impacto), e tempo (curto,
médio e longo prazo)
http://article-level-metrics.plos.org

15. • Vinculada à Digital Science (Holtzbrinck Publishing Group)
• Voltada para editores e instituições (repositórios)
• Adotada por Springer, Elsevier, Nature, SciELO, entre outros.
• Altmetric donut: cores indicam as fontes
• Altmetric score:
• Número que resume a atenção recebida por um determinado item
(artigo com DOI/PMID), ponderando quantidade e qualidade.
• 4 categorias de indicadores: mídia social; gerenciadores
eletrônicos de referências; jornais e revistas; contagens de
downloads (opcional) www.altmetric.com

16. • Vinculada à EBSCO.
• Voltada para instituições (universidades, agências de
fomento, etc).
• PlumX oferece métricas relacionadas a grupos,
pesquisadores, laboratórios, departamentos etc.
• Monitora mais de 20 tipos de “artefatos”: artigos, livros, vídeos,
apresentações, trabalhos de conferência, códigos, etc.
• 5 categorias de indicadores: uso, capturas, menções, mídia social,
citações (PubMed, Scopus, patentes).
www.plumanalytics.com

17. O que já sabemos sobre a Altmetria?
• Artigos das Ciências Humanas e Sociais, que geralmente
recebem um volume menor de citações do que os artigos
das Exatas e biológicas, são mais mencionados nas mídias
sociais (HAUSTEIN; COSTAS; LARIVIÈRE, 2015)
• Número de capturas no Mendeley está correlacionado
positivamente com número de citações
• Correlação forte p/ medicina, ciências “duras”; moderada p/
ciências sociais e humanas (ver trabalhos do Statistical
Cybermetrics Research Group da University of Wolverhampton,
Reino Unido - http://cybermetrics.wlv.ac.uk/)

18. Desenvolvimentos para ficar de olho
• Alternative Metrics Initiative (National Information
Standards Organization – NISO/USA)
• Em busca de padrões e/ou melhores práticas em altmetria.
http://www.niso.org/topics/tl/altmetrics_initiative/
• CrossRef’s DOI Event Tracker Pilot
• Um ponto central para coleta, armazenamento e propagação de
eventos DOI a partir de várias fontes, para vários públicos
http://det.labs.crossref.org/

19. E no Brasil?
• Referências básicas:
• Altmetria: métricas de produção científica para além das citações
(GOUVEIA, 2013)
• Altmetria: estado da arte (minha dissertação de mestrado /
trabalho no ENANCIB 2014)
• Altmetrics: métricas alternativas de impacto científico com base
em redes sociais (BARROS, 2015)
• Dados altmétricos já disponíveis nas revistas SciELO (via
Altmetric.com) e em periódicos/repositórios baseados em
SEER/OJS (via PLOS ALM). PlumX entrando no mercado.

20. E no Brasil? Estudos empíricos
• Geographic variation in social media metrics: an analysis of Latin
American journal articles (ALPERIN, 2015)
• Análise altmétrica de artigos scielo.br de 2013 - 5.319 (25.09%)
artigos com pelo menos uma menção; destaque para Mendeley
(3.986 / 18.80%), Twitter (1.286 / 6.03%), Facebook (596 / 2.81%).
• Does the Global South have altmetrics? Analyzing a Brazilian LIS
journal (ARAÚJO; MURAKAMI; LARA; FAUSTO, 2015)
• Análise altmétrica do DataGramaZero, usando APIs de Facebook e
Twitter – de 441 artigos (1999-2014), 211 com pelo menos uma
menção.
• 1.164 menções no total – Twitter (15.72%); Facebook: 84.28%.

21. Desafios
• Potencial pouco explorado: foco dos estudos ainda
permanece no artigo científico e na correlação entre
altmetria e citações
• Mais pesquisas (e dados!) são necessárias para aprofundar a
compreensão teórica e prática sobre o tema e identificar as
particularidades da altmetria em diferentes contextos
disciplinares, geográficos, linguísticos, etc.
Muito trabalho pela frente! E somos parte disto também...

22. Obrigada!
Contato: iaravidalps@gmail.com
Twitter: @iaravps
http://iaravps.wordpress.com

23. Referências
ALPERIN, J. P. Geographic variation in social media metrics: an analysis of Latin American journal
articles. Aslib Journal of Information Management, v. 67, n. 3, 2015.
ARAÚJO, R. F. de et al. Does the Global South have altmetrics? Analyzing a Brazilian LIS journal.
INTERNATIONAL CONFERENCE ON SCIENTOMETRICS AND INFORMETRICS, 15th, 2015, Istambul.
Disponível em:
https://www.researchgate.net/publication/279443581_Does_the_Global_South_have_altmetrics_
Analyzing_a_Brazilian_LIS_journal. Acesso em: 4 jul. 2015.
BARROS, M. A. de. Altmetrics: métricas alternativas de impacto científico com base em redes
sociais. Perspectivas em Ciência da Informação, v. 20, n. 2, 2015 . Disponível em:
http://portaldeperiodicos.eci.ufmg.br/index.php/pci/article/view/1782. Acesso em: 20 jul. 2015.
DINSMORE, A.; ALLEN, L.; DOLBY, K. Alternative perspectives on impact: the potential of ALMs and
altmetrics to inform funders about research impact. PLoS Biol, v. 12, n. 11, 2014. Disponível em:
http://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002003. Acesso em: 23 jun.
2015.
GOUVEIA, F. C. Altmetria: métricas de produção científica para além das citações. Liinc em Revista,
v. 9, n. 1, 2013. Disponível em: http://revista.ibict.br/liinc/index.php/liinc/article/view/569. Acesso
em: 23 jun. 2015.

24. Referências
HAUSTEIN, S.; COSTAS, R.; LARIVIÈRE, V. Characterizing social media metrics of scholarly papers: the
effect of document properties and collaboration patterns. PLoS ONE, v. 10, n. 3, 2015. Disponível
em: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0120495. Acesso em: 23 jun.
2015.
PRIEM, J. et al. Altmetrics: a manifesto. 2010. Disponível em: http://altmetrics.org/manifesto.
Acesso em: 23 jun. 2015.
SOUZA, I. V. P. de. Altmetria: estado da arte. In: ENCONTRO NACIONAL DE PESQUISA EM CIÊNCIA DA
INFORMAÇÃO, 15., 2014, Belo Horizonte. Anais eletrônicos... Belo Horizonte: UFMG, 2014.
Disponível em: http://enancib2014.eci.ufmg.br/documentos/anais/anais-gt7. Acesso em: 23 jun.
2015.
______. Altmetria: métricas alternativas do impacto da comunicação científica. 2014. Dissertação
(Mestrado)–Programa de Pós-Graduação em Ciência da Informação, Universidade Federal
Fluminense, Niterói, 2014. Disponível em: http://dx.doi.org/10.6084/m9.figshare.1059176. Acesso
em: 23 jun. 2015.