ALTMETRIA: Métricas Alternativas do
Impacto da Comunicação Científica
Iara Vidal Pereira de Souza
Orientador: Prof. Carlos Henrique
Marcondes de Almeida
Niterói
2014
SUMÁRIO
1. Introdução
2. Práticas e Medidas da Comunicação Científica
na WS: Antecedentes da Altmetria
3. Metodologia
4. Resultados: Análise Quantitativa
5. Resultados: Análise Qualitativa e Estado da
Arte da Altmetria
6. Considerações Finais
1. INTRODUÇÃO
• Tema: Altmetria, campo dos estudos
métricos da comunicação científica que se
ocupa da disseminação de documentos
científicos por meio das ferramentas da
Web Social
• Problema: Apresentar o surgimento e o
estado da arte da altmetria, identificando
suas principais
características, tendências, questões e
aplicações práticas.
2. JUSTIFICATIVA
• Um novo capítulo na tradição dos
estudos métricos da informação
científica.
• Proposta da altmetria é parte de um
movimento de crítica ao modelo
tradicional da comunicação científica.
• Métricas alternativas dão mais
visibilidade à ciência e permitem medir
impactos antes invisíveis dos produtos
de pesquisa – aproximação entre ciência
e população.
3. OBJETIVOS
• Objetivo geral:
• Traçar o estado da arte da
altmetria, as métricas do(s)
impacto(s) da comunicação
científica por meio das ferramentas
da Web Social.
3. OBJETIVOS
• Objetivos específicos
– Investigar as bases teóricas da altmetria;
– Levantar a literatura produzida sobre altmetria;
– Identificar os atores envolvidos na produção de
conhecimento em altmetria;
– Identificar os conceitos de altmetria;
– Analisar as propostas e tendências dos
estudos sobre o tema;
– Refletir sobre a aceitação das métricas
alternativas como ferramentas da avaliação
científica.
4. ORIGEM DA ALTMETRIA
• Bollen et al (2009)
• 39 métricas analisadas para determinar
como e com que precisão estes
indicadores expressam o impacto
científico.
•Uma construção
multidimensional, que não pode ser
expressa por um único indicador.
4. ORIGEM DA ALTMETRIA
• Priem & Hemminger (julho/2010)
• Cientometria 2.0: Ferramentas da Web
2.0 como fonte para estudos
cientométricos; servindo para
complementar a avaliação profissional
de acadêmicos, desenvolver de
sistemas de recomendação/filtragem
de artigos; e para mapear e
compreender a Ciência.
4. ORIGENS DA ALTMETRIA
4. ORIGEM DA ALTMETRIA
• Altmetrics: a manifesto (PRIEM et al, 2010)
• Crise dos filtros tradicionalmente utilizados para
determinar a qualidade da informação científica –
revisão por pares, contagem de citações e fator de
impacto de periódicos.
• Web social, além de facilitar contatos e promover a
disseminação de conteúdos, oferece a vantagem
de registrar e dar visibilidade a processos que
antes eram efêmeros e ocultos
• Potencial das métricas alternativas deve ser
provado por estudos subsequentes.
5. METODOLOGIA
• Pesquisa bibliográfica exploratória em bases
internacionais e nacionais.
• Scopus, Web of Science, LISA, Redalyc,
arXiv, e-LIS, Anais da ISSI Conference,
BRAPCI
• S/ resultados: ARIST, SciELO, African OA
Repository Initiative, BDTD/IBICT
• Complementos: Altmetrics Collection
(PLoS), número especial do Bul. ASIST
• Contexto nacional: buscas na Plataforma
Lattes e na web em geral.
5. METODOLOGIA
• Recorte: itens contendo os termos
altmetria, altmetric e/ou altmetrics no
título, resumo e/ou palavras-chave
• 76 documentos publicados entre
2011 e 2013.
6. RESULTADOS: ANÁLISE
QUANTITATIVA
4
21
51
2011 2012 2013
Documentos por Ano de Publicação
Documentos
6. RESULTADOS: ANÁLISE
QUANTITATIVA
67%
12%
21%
Documentos por Tipo
Artigo de periódico
Trabalho apresentado
em evento
Outros
6. RESULTADOS: ANÁLISE
QUANTITATIVA
84%
Documentos por Idioma
Inglês
Alemão
Espanhol
Ucraniano
Japonês
Polonês
Português
6. RESULTADOS: ANÁLISE
QUANTITATIVA
REGIÃO AUTORES
América do Norte 62
Europa 45
Ásia 20
América do Sul 6
Oceania 4
Oriente Médio 2
TOTAL 139
6. RESULTADOS: ANÁLISE
QUANTITATIVA
QUANTIDADE DE
AUTORES
DOCUMENTOS
PUBLICADOS
Um 29
Dois 20
Três 14
Quatro ou mais 13
CONCEITO DE ALTMETRIA
“a criação e o estudo de novas
métricas baseadas na Web
Social para analisar e informar
atividades acadêmicas”
(http://altmetrics.org/about/)
CONCEITO DE ALTMETRIA
• Métricas Alternativas: compartilhamentos,
etiquetagens, anotações, comentários...
• Produtos Alternativos: blogs, dados brutos,
experimentos, códigos de programação...
• Públicos Alternativos: organizações, médicos,
pacientes, educadores, estudantes, cientistas
amadores...
• Pesquisadores Alternativos (ALPERIN,
2013): atuam fora da “elite” científica
ALTMETRIA: COMPLEMENTO À
AVALIAÇÃO TRADICIONAL
• Diversidade de métricas para
capturar as múltiplas dimensões do
impacto científico
• San Francisco Declaration on Research
Assessment – DORA, 2012
• Altmetria permite apuração quase
imediata da atenção recebida por um
trabalho científico
ALTMETRIA E ACESSO ABERTO
• Aproximação filosófica: adeptos das métricas
alternativas em geral defendem práticas
transparentes, utilizando e produzindo dados
e códigos abertos
• Utilidade prática: indicadores alternativos
contribuem para demonstrar a atenção
recebida por itens em acesso aberto (em
periódicos, repositórios institucionais, páginas
pessoais, etc)
ALTMETRIA: CRÍTICAS E
DESVANTAGENS
• Possibilidade de manipulação
• Falta de credibilidade - medida de
impacto ou de popularidade?
• Heterogeneidade e efemeridade das
fontes e indicadores altmétricos
• Contextualizar as métricas é
indispensável
ALTMETRIA: ESTUDOS
EMPÍRICOS
50%
20%
20%
10%
Estudos Empíricos Por Área do Conhecimento
Geral
Ciências da Saúde
Ciências Humanas e
Sociais
Ciências Exatas e da
Terra
ALTMETRIA: ESTUDOS
EMPÍRICOS
• Observações Gerais:
• Volume de indicadores alternativos
para uma determinada publicação
ainda é baixo, em geral.
• Correlações entre volume de citações
e número de indicadores alternativos
são em geral pouco significativas /
inexistentes.
FERRAMENTAS: ALTMETRIC
• 4 categorias: Mídia social; Gerenciadores
eletrônicos de referências; Grandes jornais e
revistas; Contagens de downloads fornecidas
por editores e pela PubMed Central (opcional)
• Altmetric score indica a atenção recebida por
um determinado item, ponderando quantidade
e qualidade.
• Adotada por diversos editores, bases e
periódicos
FERRAMENTAS: IMPACTSTORY
• Métricas abertas e contextualizadas,
classificadas por audiência e por tipo de
engajamento: citações, recomendações,
discussões, etc.
• Voltada para pesquisadores, permite
importação de registros de outros sites e
inserção manual de identificadores de
artigo/autor.
FERRAMENTAS:
PLUMANALYTICS
• 5 categorias:
• Uso (downloads, visualizações...)
• Capturas (favoritos, leitores, grupos...)
• Menções (posts de blog, notícias, artigos da Wikipédia,
comentários...)
• Mídia Social (compartilhamentos, tweets, +1's,
curtidas...)
• Citações (PubMed, Scopus, patentes)
• Além de pesquisadores e produtos, inclui
métricas relacionadas a grupos de pesquisa,
laboratórios, departamentos, etc.
Ferramentas: PLOS ALM
Utiliza uma variedade de indicadores
(estatísticas de uso, compartilhamentos sociais,
bookmarks acadêmicos, citações acadêmicas
ou não) – para monitorar a influência dos artigos
publicados na PLoS sobre diferentes audiências
(público em geral e acadêmico) e em diferentes
dimensões (atenção, autopromoção e impacto),
a curto, médio e longo prazo. Adotada também
por outros editores, instituições e publicações
(ex: OJS/PKP)
ALTMETRIA EM EVENTOS
• International Society of Scientometrics and
Informetrics Conference (ISSI 2013): 4
trabalhos.
• ACM Web Science Conference: workshops
específicos em 2011 e 2012 (outro previsto
para 2014)
• ALM Workshops (PLoS): desde 2012
ALTMETRIA: OUTROS
DESTAQUES
• US National Science Foundation: substituiu
“publicações de pesquisa” por “produtos de
pesquisa” nos formulários utilizados para
solicitações de financiamento (2013).
• National Information Standards Organization
(NISO): Altmetrics Initiative – busca de
padrões e/ou melhores práticas em
altmetria.
ALTMETRIA NO BRASIL
• Literatura
• “Altmetria: métricas de produção
científica para além das citações”
(GOUVEIA, 2013)
• “Da webometria à altmetria”: capítulo
do livro Fronteiras da Ciência da
Informação, lançado pelo IBICT
(GOUVEIA & LANG, 2013)
ALTMETRIA NO BRASIL:
PROJETOS
• “A ciência brasileira e suas instituições de ensino e
pesquisa: uma análise cibermétrica, webométrica
& altmétrica”/ Fabio Gouveia (PPGCI IBICT-UFRJ,
2013-2015)
• “Altmetrics e redes sociais: análise correlacional
entre o uso de redes sociais e o fator de impacto
dos pesquisadores da Ciência da Informação no
Brasil” / Manuela Fonseca (PGCIN/UFSC)
• “Revisitando os cânones da comunicação
científica” / Moreno Barros (HCTE/UFRJ)
ALTMETRIA NO BRASIL
• Divulgadores: Átila Iamarino (Seminário de
Introdução ao Uso das Redes Sociais na
Comunicação Científica, SciELO/FAPESP;
Fiocruz; IBICT; CBPF, 2012); Sibele Fausto,
Tatiana Nahas.
• Rede SciELO: parcerias com a Altmetric e
outras companhias; discussões no blog
SciELO em Perspectiva e na Conferência
SciELO 15 Anos (São Paulo, 2013).
CONSIDERAÇÕES FINAIS
• Um campo em expansão
• Dimensão política: mais que a aplicação dos
estudos métricos à web social, uma reação
à crise do sistema de comunicação científica
• críticas à hegemonia do fator de impacto e ao
processo tradicional de revisão por pares;
alinhamento ao movimento pelo acesso aberto
à informação científica; busca por alternativas
ao modelo vigente de publicação e avaliação
científica.

Estado da arte da Altmetria

  • 1.
    ALTMETRIA: Métricas Alternativasdo Impacto da Comunicação Científica Iara Vidal Pereira de Souza Orientador: Prof. Carlos Henrique Marcondes de Almeida Niterói 2014
  • 2.
    SUMÁRIO 1. Introdução 2. Práticase Medidas da Comunicação Científica na WS: Antecedentes da Altmetria 3. Metodologia 4. Resultados: Análise Quantitativa 5. Resultados: Análise Qualitativa e Estado da Arte da Altmetria 6. Considerações Finais
  • 3.
    1. INTRODUÇÃO • Tema:Altmetria, campo dos estudos métricos da comunicação científica que se ocupa da disseminação de documentos científicos por meio das ferramentas da Web Social • Problema: Apresentar o surgimento e o estado da arte da altmetria, identificando suas principais características, tendências, questões e aplicações práticas.
  • 4.
    2. JUSTIFICATIVA • Umnovo capítulo na tradição dos estudos métricos da informação científica. • Proposta da altmetria é parte de um movimento de crítica ao modelo tradicional da comunicação científica. • Métricas alternativas dão mais visibilidade à ciência e permitem medir impactos antes invisíveis dos produtos de pesquisa – aproximação entre ciência e população.
  • 5.
    3. OBJETIVOS • Objetivogeral: • Traçar o estado da arte da altmetria, as métricas do(s) impacto(s) da comunicação científica por meio das ferramentas da Web Social.
  • 6.
    3. OBJETIVOS • Objetivosespecíficos – Investigar as bases teóricas da altmetria; – Levantar a literatura produzida sobre altmetria; – Identificar os atores envolvidos na produção de conhecimento em altmetria; – Identificar os conceitos de altmetria; – Analisar as propostas e tendências dos estudos sobre o tema; – Refletir sobre a aceitação das métricas alternativas como ferramentas da avaliação científica.
  • 7.
    4. ORIGEM DAALTMETRIA • Bollen et al (2009) • 39 métricas analisadas para determinar como e com que precisão estes indicadores expressam o impacto científico. •Uma construção multidimensional, que não pode ser expressa por um único indicador.
  • 8.
    4. ORIGEM DAALTMETRIA • Priem & Hemminger (julho/2010) • Cientometria 2.0: Ferramentas da Web 2.0 como fonte para estudos cientométricos; servindo para complementar a avaliação profissional de acadêmicos, desenvolver de sistemas de recomendação/filtragem de artigos; e para mapear e compreender a Ciência.
  • 9.
    4. ORIGENS DAALTMETRIA
  • 10.
    4. ORIGEM DAALTMETRIA • Altmetrics: a manifesto (PRIEM et al, 2010) • Crise dos filtros tradicionalmente utilizados para determinar a qualidade da informação científica – revisão por pares, contagem de citações e fator de impacto de periódicos. • Web social, além de facilitar contatos e promover a disseminação de conteúdos, oferece a vantagem de registrar e dar visibilidade a processos que antes eram efêmeros e ocultos • Potencial das métricas alternativas deve ser provado por estudos subsequentes.
  • 11.
    5. METODOLOGIA • Pesquisabibliográfica exploratória em bases internacionais e nacionais. • Scopus, Web of Science, LISA, Redalyc, arXiv, e-LIS, Anais da ISSI Conference, BRAPCI • S/ resultados: ARIST, SciELO, African OA Repository Initiative, BDTD/IBICT • Complementos: Altmetrics Collection (PLoS), número especial do Bul. ASIST • Contexto nacional: buscas na Plataforma Lattes e na web em geral.
  • 12.
    5. METODOLOGIA • Recorte:itens contendo os termos altmetria, altmetric e/ou altmetrics no título, resumo e/ou palavras-chave • 76 documentos publicados entre 2011 e 2013.
  • 13.
    6. RESULTADOS: ANÁLISE QUANTITATIVA 4 21 51 20112012 2013 Documentos por Ano de Publicação Documentos
  • 14.
    6. RESULTADOS: ANÁLISE QUANTITATIVA 67% 12% 21% Documentospor Tipo Artigo de periódico Trabalho apresentado em evento Outros
  • 15.
    6. RESULTADOS: ANÁLISE QUANTITATIVA 84% Documentospor Idioma Inglês Alemão Espanhol Ucraniano Japonês Polonês Português
  • 16.
    6. RESULTADOS: ANÁLISE QUANTITATIVA REGIÃOAUTORES América do Norte 62 Europa 45 Ásia 20 América do Sul 6 Oceania 4 Oriente Médio 2 TOTAL 139
  • 17.
    6. RESULTADOS: ANÁLISE QUANTITATIVA QUANTIDADEDE AUTORES DOCUMENTOS PUBLICADOS Um 29 Dois 20 Três 14 Quatro ou mais 13
  • 18.
    CONCEITO DE ALTMETRIA “acriação e o estudo de novas métricas baseadas na Web Social para analisar e informar atividades acadêmicas” (http://altmetrics.org/about/)
  • 19.
    CONCEITO DE ALTMETRIA •Métricas Alternativas: compartilhamentos, etiquetagens, anotações, comentários... • Produtos Alternativos: blogs, dados brutos, experimentos, códigos de programação... • Públicos Alternativos: organizações, médicos, pacientes, educadores, estudantes, cientistas amadores... • Pesquisadores Alternativos (ALPERIN, 2013): atuam fora da “elite” científica
  • 20.
    ALTMETRIA: COMPLEMENTO À AVALIAÇÃOTRADICIONAL • Diversidade de métricas para capturar as múltiplas dimensões do impacto científico • San Francisco Declaration on Research Assessment – DORA, 2012 • Altmetria permite apuração quase imediata da atenção recebida por um trabalho científico
  • 21.
    ALTMETRIA E ACESSOABERTO • Aproximação filosófica: adeptos das métricas alternativas em geral defendem práticas transparentes, utilizando e produzindo dados e códigos abertos • Utilidade prática: indicadores alternativos contribuem para demonstrar a atenção recebida por itens em acesso aberto (em periódicos, repositórios institucionais, páginas pessoais, etc)
  • 22.
    ALTMETRIA: CRÍTICAS E DESVANTAGENS •Possibilidade de manipulação • Falta de credibilidade - medida de impacto ou de popularidade? • Heterogeneidade e efemeridade das fontes e indicadores altmétricos • Contextualizar as métricas é indispensável
  • 23.
    ALTMETRIA: ESTUDOS EMPÍRICOS 50% 20% 20% 10% Estudos EmpíricosPor Área do Conhecimento Geral Ciências da Saúde Ciências Humanas e Sociais Ciências Exatas e da Terra
  • 24.
    ALTMETRIA: ESTUDOS EMPÍRICOS • ObservaçõesGerais: • Volume de indicadores alternativos para uma determinada publicação ainda é baixo, em geral. • Correlações entre volume de citações e número de indicadores alternativos são em geral pouco significativas / inexistentes.
  • 25.
    FERRAMENTAS: ALTMETRIC • 4categorias: Mídia social; Gerenciadores eletrônicos de referências; Grandes jornais e revistas; Contagens de downloads fornecidas por editores e pela PubMed Central (opcional) • Altmetric score indica a atenção recebida por um determinado item, ponderando quantidade e qualidade. • Adotada por diversos editores, bases e periódicos
  • 27.
    FERRAMENTAS: IMPACTSTORY • Métricasabertas e contextualizadas, classificadas por audiência e por tipo de engajamento: citações, recomendações, discussões, etc. • Voltada para pesquisadores, permite importação de registros de outros sites e inserção manual de identificadores de artigo/autor.
  • 29.
    FERRAMENTAS: PLUMANALYTICS • 5 categorias: •Uso (downloads, visualizações...) • Capturas (favoritos, leitores, grupos...) • Menções (posts de blog, notícias, artigos da Wikipédia, comentários...) • Mídia Social (compartilhamentos, tweets, +1's, curtidas...) • Citações (PubMed, Scopus, patentes) • Além de pesquisadores e produtos, inclui métricas relacionadas a grupos de pesquisa, laboratórios, departamentos, etc.
  • 31.
    Ferramentas: PLOS ALM Utilizauma variedade de indicadores (estatísticas de uso, compartilhamentos sociais, bookmarks acadêmicos, citações acadêmicas ou não) – para monitorar a influência dos artigos publicados na PLoS sobre diferentes audiências (público em geral e acadêmico) e em diferentes dimensões (atenção, autopromoção e impacto), a curto, médio e longo prazo. Adotada também por outros editores, instituições e publicações (ex: OJS/PKP)
  • 33.
    ALTMETRIA EM EVENTOS •International Society of Scientometrics and Informetrics Conference (ISSI 2013): 4 trabalhos. • ACM Web Science Conference: workshops específicos em 2011 e 2012 (outro previsto para 2014) • ALM Workshops (PLoS): desde 2012
  • 34.
    ALTMETRIA: OUTROS DESTAQUES • USNational Science Foundation: substituiu “publicações de pesquisa” por “produtos de pesquisa” nos formulários utilizados para solicitações de financiamento (2013). • National Information Standards Organization (NISO): Altmetrics Initiative – busca de padrões e/ou melhores práticas em altmetria.
  • 35.
    ALTMETRIA NO BRASIL •Literatura • “Altmetria: métricas de produção científica para além das citações” (GOUVEIA, 2013) • “Da webometria à altmetria”: capítulo do livro Fronteiras da Ciência da Informação, lançado pelo IBICT (GOUVEIA & LANG, 2013)
  • 36.
    ALTMETRIA NO BRASIL: PROJETOS •“A ciência brasileira e suas instituições de ensino e pesquisa: uma análise cibermétrica, webométrica & altmétrica”/ Fabio Gouveia (PPGCI IBICT-UFRJ, 2013-2015) • “Altmetrics e redes sociais: análise correlacional entre o uso de redes sociais e o fator de impacto dos pesquisadores da Ciência da Informação no Brasil” / Manuela Fonseca (PGCIN/UFSC) • “Revisitando os cânones da comunicação científica” / Moreno Barros (HCTE/UFRJ)
  • 37.
    ALTMETRIA NO BRASIL •Divulgadores: Átila Iamarino (Seminário de Introdução ao Uso das Redes Sociais na Comunicação Científica, SciELO/FAPESP; Fiocruz; IBICT; CBPF, 2012); Sibele Fausto, Tatiana Nahas. • Rede SciELO: parcerias com a Altmetric e outras companhias; discussões no blog SciELO em Perspectiva e na Conferência SciELO 15 Anos (São Paulo, 2013).
  • 38.
    CONSIDERAÇÕES FINAIS • Umcampo em expansão • Dimensão política: mais que a aplicação dos estudos métricos à web social, uma reação à crise do sistema de comunicação científica • críticas à hegemonia do fator de impacto e ao processo tradicional de revisão por pares; alinhamento ao movimento pelo acesso aberto à informação científica; busca por alternativas ao modelo vigente de publicação e avaliação científica.