SlideShare uma empresa Scribd logo
Indicadores de impacto e produtividade das publicações para a avaliação da atividade científica Letícia Strehl Profa. do Departamento de Ciência da Informação Faculdade de Biblioteconomia e Comunicação - UFRGS Núcleo Orientado para a Inovação na Edificação (NORIE) – UFRGS - 01/12/2010
Dilemas da avaliação da produção científica Critérios para analisar O que é produzido? Quanto é produzido? Com que qualidade é produzido?
Critérios de avaliação da produção científica (1):O que é produzido? Abordagem de problemas de caráter predominantemente nacional (Produção Endógena) X Tratamento de temáticas comuns aos interesses dos países desenvolvidos – mainstream (Produção Exógena) Fonte: FORATTINI, O.P. A tríade da publicação científica. Revista de Saúde Pública,  São Paulo,  v. 30,  n. 1,  1996.
Critérios de avaliação da produção científica (2) “Em termos de comunicação científica, as duas principais características do pesquisador são a quantidade de informações que comunica e a sua qualidade.“ "Como se pode estudar isto?" Como? Quanto? Fonte: MEADOWS, A.J. A comunicação científica. Brasília: Briquet de Lemos, 1999.  p. 85
Critérios de avaliação da produção científica (3):Quanto é produzido? Esta é fácil: Determina-se  quantas publicações foram escritas por um cientista em um dado momento!   Fácil... será? A questão deixa de ser trivial quando as diferenças entre as áreas do conhecimento são examinadas.
Fonte: Censo 2004 do diretório dos grupos de pesquisa do CNPq. Disponível em: http://dgp.cnpq.br/censos/estratificacao/2004/index_estratificacao_2004.htm
Critérios de avaliação da produção científica (4):Com que qualidade é produzido? Avaliação por pares Ex.: consultoria ad hoc, Sistema Qualis Indicadores de impacto (considerando, neste caso, citação=visibilidade = qualidade?!) Ex.: Fator de impacto (Thomson Reuters) e Índice H
Premissa dos indicadores de impacto Trabalhos importantes são freqüentemente citados na literatura científica
Requisitos para o cálculo dos índices de impacto Existência de bases de dados que indexem:  uma quantidade representativa de documentos; as referências citadas nas publicações. Atualmente, as principais bases de dados para o cumprimento desta finalidade são a Web of Science, a Scopus e o Google Acadêmico
Todavia... Tradicionalmente, as bases de dados capazes de fornecer informações sobre o impacto dos trabalhos centram-se basicamente no conhecimento veiculado em periódicos internacionais! 
Mesmo crescente, o número de periódicos nacionais nas bases é irrisório
Implicações da limitação do escopo dessas bases A valorização da competitividade, o impacto e a visibilidade internacionais -Produção Exógena-
Todas as áreas são norteadas por estes valores?
Partindo dos indicadores desenvolvidos para os trabalhos publicados em periódicos internacionais
O fator de impacto (FI) Há décadas o principal indicador de visibilidade das publicações Indicador criado em 1963 por Eugene Garfield e Irving Sher Publicado anualmente no Journal Citation Reports (JCR)
O FI como critério de avaliação da produção científica Trabalhos publicados em periódicos com alto FI são considerados melhores do que os publicados em periódicos com FI menores.
Como o FI é calculado?
Motivos do sucesso do FI como critério de avaliação da produção científica Dificuldades relacionadas com o levantamento de dados de citações a trabalhos individuais  Facilidade de compreensão  “Robustez” (pequena variação de um ano para outro)  Rápida disponibilidade Fonte: GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics,  v. 53, n.2, p.171-193, 2002.
Todavia... a comparação de fatores de impacto de periódicos de áreas de diferentes ou, até mesmo, de sub-áreas diversas de uma mesma área é impraticável
Comparação de valores absolutos de FI de periódicos de diferentes áreas
Pelo menos dois fatores contribuem para as diferenças de FI Oncologia Densidade dos artigos Idade das citações Matemática Densidade dos artigos Idade das citações
Densidade e idade das citações da área de Construção Densidade dos artigos Idade das citações
Como o FI é calculado? 5 anos 2 anos
Variação dos valores médios de FI por área do conhecimento AMIN, M.; MABE, M.  Impact factors: use and abuse.  Perspectives in Publising, n. 1, p. 3, Oct. 2000.
Corruptela do FI do periódico:o FI do autor Divide-se o número de citações recebidas por um dado autor pelo número de artigos que ele publicou Sabidamente é um índice que não funciona, o tamanho da amostragem dos dados não é suficiente para eliminar possíveis distorções
Surgimento do Índice H Indicador de produtividade e impacto de um cientista
O que é o índice H Definição: h é o número de artigos publicados por um pesquisador que obtenham um total de citações igual ou superior a h Fonte: HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.
Exemplo de índice H: Stephen Hawking Stephen Hawking, autor de "Uma Breve História do Tempo": seu h é 62, ou seja, ele já publicou 62 trabalhos que receberam pelo menos 62 citações.
O sentido do Índice H Legenda: 	I= Impacto 	H = Índice H 	       Alto 	       Baixo
Dificuldades do Índice H para comparação de desempenho dos cientistas Padrões de citação distintos verificados nas diversas áreas Artigos escritos em co-autoria Influência do tempo de atividade do pesquisador
Usando a Web of Science, a Scopus e o Google Acadêmico para calcular o Índice H
O índice H calculado com a Web of Science
Para visualizar como é obtido o índice H Os artigos de um autor são ordenados de modo decrescente por número de citações, quando o número de artigos coincidir com o número de citações obtem-se o índice H
Researcher ID: para facilitar o acesso às informações sobre um pesquisador (1)
Researcher ID: para facilitar o acesso às informações sobre um pesquisador (2)
O índice H da Scopus (1)
O índice H da Scopus (2)
O Google Acadêmico (GA) com uma alternativa? O que é: Versão especializada do Google para documentos científicos Lançado em nov. 2004 Como funciona: Robôs recompilam as informações disponíveis nos domínios institucionais, com permissão dos produtores, na filosofia dos Arquivos Abertos Não utiliza os metadados dos editores das publicações Não possui ferramenta própria para sistematização de informações das citações para cálculo dos indicadores Torres-Salinas, D., R. Ruiz-Perez, et al. Google Scholar as a tool for research assessment. Profesional De La Informacion, v.18, n.5, Sep-Oct, p.501-510. 2009.
“Publish or Perish”: umaferramentabibliométricapara o GA
Indicadores calculados pelo “Publish or Perish” Formas de busca Índices principais Autores Periódicos Palavras-chave Número total: trabalhos Citações Númeromédio de: citaçõesporartigo citaçõesporautor citaçõesporano trabalhosporautor Índice H e indicadoresrelacionados
Problemas! Cobertura extensa, mas indenfinida Forma de coleta dos metadados acarreta muitas inconsistências nos dados Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.
Tipos de inconsistências na forma do GA de coletar os metadados Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.
Duplicação de artigos 1 em 4
Duplicação de citações 7 em 3
Autores? Autor fantasma: P Login ou seja PleaseLogin (2.340 artigos) Autores perdidos
TODAS as bases possuem inconsistências!TODO o levantamento biliométrico exige limpeza de dados!
Todavia, para PeterJácso as inconsistências do GA são tantas que inviabilizam por completo o uso dos dados para cálculo de índices bibliométricosMas, para a recuperação, o GA é uma excelente ferramenta Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.
Novos indicadores para periódicos e países do Portal Scimago (dados da Scopus) http://www.scimagojr.com/
O desafio em termos de indicadores A avaliação capaz de considerar as diferenças existentes entre as várias (sub-)áreas Desenvolvimento de indicadores que valorizem os periódicos de qualidade que tratam de problemas regionais
Muito obrigada! Mais informações estão disponíveis em: http://leticiastrehl.blogspot.com/ leticia.strehl@ufrgs.com

Mais conteúdo relacionado

Mais procurados

Recuperação e visibilidade da produção científica: ferramentas e indicadores
Recuperação e visibilidade da produção científica: ferramentas e indicadoresRecuperação e visibilidade da produção científica: ferramentas e indicadores
Recuperação e visibilidade da produção científica: ferramentas e indicadores
Leticia Strehl
 
Curso de Cienciometria. Aula 1, Os conceitos das metrias e os contextos da co...
Curso de Cienciometria. Aula 1, Os conceitos das metrias e os contextos da co...Curso de Cienciometria. Aula 1, Os conceitos das metrias e os contextos da co...
Curso de Cienciometria. Aula 1, Os conceitos das metrias e os contextos da co...
Leticia Strehl
 
Curso de cienciometria. Aula 2, As bases de dados e a cienciometria
Curso de cienciometria. Aula 2, As bases de dados e a cienciometriaCurso de cienciometria. Aula 2, As bases de dados e a cienciometria
Curso de cienciometria. Aula 2, As bases de dados e a cienciometria
Leticia Strehl
 
Indicadores de produção e impacto da produção científica
Indicadores de produção e impacto da produção científicaIndicadores de produção e impacto da produção científica
Indicadores de produção e impacto da produção científica
Leticia Strehl
 
Recuperação, visibilidade e qualidade da informação científica: conceitos, fe...
Recuperação, visibilidade e qualidade da informação científica: conceitos, fe...Recuperação, visibilidade e qualidade da informação científica: conceitos, fe...
Recuperação, visibilidade e qualidade da informação científica: conceitos, fe...
Leticia Strehl
 
Qualidade, recuperação, visibilidade e acesso à informação científica: concei...
Qualidade, recuperação, visibilidade e acesso à informação científica: concei...Qualidade, recuperação, visibilidade e acesso à informação científica: concei...
Qualidade, recuperação, visibilidade e acesso à informação científica: concei...
Leticia Strehl
 
4ª apresentação pb g5
4ª apresentação pb g54ª apresentação pb g5
4ª apresentação pb g5
pekenit5a1991
 
Informação científica
Informação científicaInformação científica
Informação científica
Biblioteca Central UFRGS
 
Aula 2 - Curso de Comunicação e Redação Científica
Aula 2 - Curso de Comunicação e Redação Científica Aula 2 - Curso de Comunicação e Redação Científica
Aula 2 - Curso de Comunicação e Redação Científica
BVS Rede de Informação e Conhecimento – SES/SP Centro de Documentação
 
#2# wos workshop de doutoramento__27 e 28 novembro 2015
#2# wos workshop de doutoramento__27 e 28 novembro 2015#2# wos workshop de doutoramento__27 e 28 novembro 2015
#2# wos workshop de doutoramento__27 e 28 novembro 2015
Carlos Lopes
 
4ª apresentação pb g5
4ª apresentação pb g54ª apresentação pb g5
4ª apresentação pb g5
pekenit5a1991
 
Recursos de apoio à investigação (UAlg)
Recursos de apoio à investigação (UAlg)Recursos de apoio à investigação (UAlg)
Recursos de apoio à investigação (UAlg)
Biblioteca da Universidade do Algarve
 
Aula 4 - Curso de Comunicação e Redação Científica
Aula 4 - Curso de Comunicação e Redação Científica Aula 4 - Curso de Comunicação e Redação Científica
Aula 4 - Curso de Comunicação e Redação Científica
BVS Rede de Informação e Conhecimento – SES/SP Centro de Documentação
 
Aula 3 Curso de Comunicação e Redação Científica
Aula 3 Curso de Comunicação e Redação Científica Aula 3 Curso de Comunicação e Redação Científica
Aula 3 Curso de Comunicação e Redação Científica
BVS Rede de Informação e Conhecimento – SES/SP Centro de Documentação
 
Volpato como escrever um artigo cient -fico - academia pernambucana
Volpato   como escrever um artigo cient -fico - academia pernambucanaVolpato   como escrever um artigo cient -fico - academia pernambucana
Volpato como escrever um artigo cient -fico - academia pernambucana
Marines Bomfim
 
Metodologia como escrever um artigo cientfico
Metodologia como escrever um artigo cientficoMetodologia como escrever um artigo cientfico
Metodologia como escrever um artigo cientfico
Professor Sérgio Duarte
 
2a apresentação pb g5
2a apresentação pb g52a apresentação pb g5
2a apresentação pb g5
pekenit5a1991
 
Direito autoral e qualidade das publicações
Direito autoral e qualidade das publicaçõesDireito autoral e qualidade das publicações
Direito autoral e qualidade das publicações
Portal de Periódicos UFSC
 

Mais procurados (18)

Recuperação e visibilidade da produção científica: ferramentas e indicadores
Recuperação e visibilidade da produção científica: ferramentas e indicadoresRecuperação e visibilidade da produção científica: ferramentas e indicadores
Recuperação e visibilidade da produção científica: ferramentas e indicadores
 
Curso de Cienciometria. Aula 1, Os conceitos das metrias e os contextos da co...
Curso de Cienciometria. Aula 1, Os conceitos das metrias e os contextos da co...Curso de Cienciometria. Aula 1, Os conceitos das metrias e os contextos da co...
Curso de Cienciometria. Aula 1, Os conceitos das metrias e os contextos da co...
 
Curso de cienciometria. Aula 2, As bases de dados e a cienciometria
Curso de cienciometria. Aula 2, As bases de dados e a cienciometriaCurso de cienciometria. Aula 2, As bases de dados e a cienciometria
Curso de cienciometria. Aula 2, As bases de dados e a cienciometria
 
Indicadores de produção e impacto da produção científica
Indicadores de produção e impacto da produção científicaIndicadores de produção e impacto da produção científica
Indicadores de produção e impacto da produção científica
 
Recuperação, visibilidade e qualidade da informação científica: conceitos, fe...
Recuperação, visibilidade e qualidade da informação científica: conceitos, fe...Recuperação, visibilidade e qualidade da informação científica: conceitos, fe...
Recuperação, visibilidade e qualidade da informação científica: conceitos, fe...
 
Qualidade, recuperação, visibilidade e acesso à informação científica: concei...
Qualidade, recuperação, visibilidade e acesso à informação científica: concei...Qualidade, recuperação, visibilidade e acesso à informação científica: concei...
Qualidade, recuperação, visibilidade e acesso à informação científica: concei...
 
4ª apresentação pb g5
4ª apresentação pb g54ª apresentação pb g5
4ª apresentação pb g5
 
Informação científica
Informação científicaInformação científica
Informação científica
 
Aula 2 - Curso de Comunicação e Redação Científica
Aula 2 - Curso de Comunicação e Redação Científica Aula 2 - Curso de Comunicação e Redação Científica
Aula 2 - Curso de Comunicação e Redação Científica
 
#2# wos workshop de doutoramento__27 e 28 novembro 2015
#2# wos workshop de doutoramento__27 e 28 novembro 2015#2# wos workshop de doutoramento__27 e 28 novembro 2015
#2# wos workshop de doutoramento__27 e 28 novembro 2015
 
4ª apresentação pb g5
4ª apresentação pb g54ª apresentação pb g5
4ª apresentação pb g5
 
Recursos de apoio à investigação (UAlg)
Recursos de apoio à investigação (UAlg)Recursos de apoio à investigação (UAlg)
Recursos de apoio à investigação (UAlg)
 
Aula 4 - Curso de Comunicação e Redação Científica
Aula 4 - Curso de Comunicação e Redação Científica Aula 4 - Curso de Comunicação e Redação Científica
Aula 4 - Curso de Comunicação e Redação Científica
 
Aula 3 Curso de Comunicação e Redação Científica
Aula 3 Curso de Comunicação e Redação Científica Aula 3 Curso de Comunicação e Redação Científica
Aula 3 Curso de Comunicação e Redação Científica
 
Volpato como escrever um artigo cient -fico - academia pernambucana
Volpato   como escrever um artigo cient -fico - academia pernambucanaVolpato   como escrever um artigo cient -fico - academia pernambucana
Volpato como escrever um artigo cient -fico - academia pernambucana
 
Metodologia como escrever um artigo cientfico
Metodologia como escrever um artigo cientficoMetodologia como escrever um artigo cientfico
Metodologia como escrever um artigo cientfico
 
2a apresentação pb g5
2a apresentação pb g52a apresentação pb g5
2a apresentação pb g5
 
Direito autoral e qualidade das publicações
Direito autoral e qualidade das publicaçõesDireito autoral e qualidade das publicações
Direito autoral e qualidade das publicações
 

Semelhante a indicadores de impacto e produtividade das publicações para a avaliação da atividade científica

O pesquisador e sua produção 2: indicadores de avaliação
O pesquisador e sua produção 2: indicadores de avaliaçãoO pesquisador e sua produção 2: indicadores de avaliação
O pesquisador e sua produção 2: indicadores de avaliação
Universidade Federal do Rio Grande do Sul
 
Perfis de autor: visibilidade e avaliação da produção científica individual
Perfis de autor: visibilidade e avaliação da produção científica individualPerfis de autor: visibilidade e avaliação da produção científica individual
Perfis de autor: visibilidade e avaliação da produção científica individual
Leticia Strehl
 
O pesquisador e sua produção científica 1: qualidade e indexação
O pesquisador e sua produção científica 1: qualidade e indexaçãoO pesquisador e sua produção científica 1: qualidade e indexação
O pesquisador e sua produção científica 1: qualidade e indexação
Universidade Federal do Rio Grande do Sul
 
Aula 5 - Curso de Comunicação e Redação Científica
Aula 5 - Curso de Comunicação e Redação Científica Aula 5 - Curso de Comunicação e Redação Científica
Aula 5 - Curso de Comunicação e Redação Científica
BVS Rede de Informação e Conhecimento – SES/SP Centro de Documentação
 
Aula 6 - O estudo e a avaliacao da producao cientifica: criterios e indicadores
Aula 6 - O estudo e a avaliacao da producao cientifica: criterios e indicadoresAula 6 - O estudo e a avaliacao da producao cientifica: criterios e indicadores
Aula 6 - O estudo e a avaliacao da producao cientifica: criterios e indicadores
Leticia Strehl
 
Apresentação final pb g5
Apresentação final pb g5Apresentação final pb g5
Apresentação final pb g5
pekenit5a1991
 
Web of science Tutorial
Web of science TutorialWeb of science Tutorial
Web of science Tutorial
Balbinorosa
 
Metodologia como escrever um artigo cientfico
Metodologia como escrever um artigo cientficoMetodologia como escrever um artigo cientfico
Metodologia como escrever um artigo cientfico
Professor Sérgio Duarte
 
ippri_p-pesquisa-e-recursos - plagio.pdf
ippri_p-pesquisa-e-recursos - plagio.pdfippri_p-pesquisa-e-recursos - plagio.pdf
ippri_p-pesquisa-e-recursos - plagio.pdf
NanaNossa
 
Cientometria
CientometriaCientometria
Cientometria
Cláudio Silva
 
Fator de Impacto e índice H : o antes e o agora da medição da produtividade c...
Fator de Impacto e índice H : o antes e o agora da medição da produtividade c...Fator de Impacto e índice H : o antes e o agora da medição da produtividade c...
Fator de Impacto e índice H : o antes e o agora da medição da produtividade c...
Roberto Lopes
 
Bibliometria na biblioteca novas competências para os bibliotecários
Bibliometria na biblioteca novas competências para os bibliotecáriosBibliometria na biblioteca novas competências para os bibliotecários
Bibliometria na biblioteca novas competências para os bibliotecários
Susana Lopes
 
Web of Science Thomson
Web of Science ThomsonWeb of Science Thomson
Web of Science Thomson
Leticia Strehl
 
Funções e disfunções das bases de dados em levantamentos bibliométricos (atua...
Funções e disfunções das bases de dados em levantamentos bibliométricos (atua...Funções e disfunções das bases de dados em levantamentos bibliométricos (atua...
Funções e disfunções das bases de dados em levantamentos bibliométricos (atua...
Leticia Strehl
 
Prestígio de revistas científicas: indicadores
Prestígio de revistas científicas: indicadoresPrestígio de revistas científicas: indicadores
Prestígio de revistas científicas: indicadores
Bibliotecas da Universidade de Aveiro
 
Indicadores cienciométricos - Curso SBPC 2013 - UFPE
Indicadores cienciométricos   - Curso SBPC 2013 - UFPEIndicadores cienciométricos   - Curso SBPC 2013 - UFPE
Indicadores cienciométricos - Curso SBPC 2013 - UFPE
Tony Santos
 
Scielo
ScieloScielo
Semana investigacao: avaliação da produção científica e visibilidade
Semana investigacao: avaliação da produção científica e visibilidadeSemana investigacao: avaliação da produção científica e visibilidade
Semana investigacao: avaliação da produção científica e visibilidade
Susana Lopes
 

Semelhante a indicadores de impacto e produtividade das publicações para a avaliação da atividade científica (18)

O pesquisador e sua produção 2: indicadores de avaliação
O pesquisador e sua produção 2: indicadores de avaliaçãoO pesquisador e sua produção 2: indicadores de avaliação
O pesquisador e sua produção 2: indicadores de avaliação
 
Perfis de autor: visibilidade e avaliação da produção científica individual
Perfis de autor: visibilidade e avaliação da produção científica individualPerfis de autor: visibilidade e avaliação da produção científica individual
Perfis de autor: visibilidade e avaliação da produção científica individual
 
O pesquisador e sua produção científica 1: qualidade e indexação
O pesquisador e sua produção científica 1: qualidade e indexaçãoO pesquisador e sua produção científica 1: qualidade e indexação
O pesquisador e sua produção científica 1: qualidade e indexação
 
Aula 5 - Curso de Comunicação e Redação Científica
Aula 5 - Curso de Comunicação e Redação Científica Aula 5 - Curso de Comunicação e Redação Científica
Aula 5 - Curso de Comunicação e Redação Científica
 
Aula 6 - O estudo e a avaliacao da producao cientifica: criterios e indicadores
Aula 6 - O estudo e a avaliacao da producao cientifica: criterios e indicadoresAula 6 - O estudo e a avaliacao da producao cientifica: criterios e indicadores
Aula 6 - O estudo e a avaliacao da producao cientifica: criterios e indicadores
 
Apresentação final pb g5
Apresentação final pb g5Apresentação final pb g5
Apresentação final pb g5
 
Web of science Tutorial
Web of science TutorialWeb of science Tutorial
Web of science Tutorial
 
Metodologia como escrever um artigo cientfico
Metodologia como escrever um artigo cientficoMetodologia como escrever um artigo cientfico
Metodologia como escrever um artigo cientfico
 
ippri_p-pesquisa-e-recursos - plagio.pdf
ippri_p-pesquisa-e-recursos - plagio.pdfippri_p-pesquisa-e-recursos - plagio.pdf
ippri_p-pesquisa-e-recursos - plagio.pdf
 
Cientometria
CientometriaCientometria
Cientometria
 
Fator de Impacto e índice H : o antes e o agora da medição da produtividade c...
Fator de Impacto e índice H : o antes e o agora da medição da produtividade c...Fator de Impacto e índice H : o antes e o agora da medição da produtividade c...
Fator de Impacto e índice H : o antes e o agora da medição da produtividade c...
 
Bibliometria na biblioteca novas competências para os bibliotecários
Bibliometria na biblioteca novas competências para os bibliotecáriosBibliometria na biblioteca novas competências para os bibliotecários
Bibliometria na biblioteca novas competências para os bibliotecários
 
Web of Science Thomson
Web of Science ThomsonWeb of Science Thomson
Web of Science Thomson
 
Funções e disfunções das bases de dados em levantamentos bibliométricos (atua...
Funções e disfunções das bases de dados em levantamentos bibliométricos (atua...Funções e disfunções das bases de dados em levantamentos bibliométricos (atua...
Funções e disfunções das bases de dados em levantamentos bibliométricos (atua...
 
Prestígio de revistas científicas: indicadores
Prestígio de revistas científicas: indicadoresPrestígio de revistas científicas: indicadores
Prestígio de revistas científicas: indicadores
 
Indicadores cienciométricos - Curso SBPC 2013 - UFPE
Indicadores cienciométricos   - Curso SBPC 2013 - UFPEIndicadores cienciométricos   - Curso SBPC 2013 - UFPE
Indicadores cienciométricos - Curso SBPC 2013 - UFPE
 
Scielo
ScieloScielo
Scielo
 
Semana investigacao: avaliação da produção científica e visibilidade
Semana investigacao: avaliação da produção científica e visibilidadeSemana investigacao: avaliação da produção científica e visibilidade
Semana investigacao: avaliação da produção científica e visibilidade
 

Mais de Leticia Strehl

O Qualis CAPES e os indicadores baseados em publicações científicas: área Psi...
O Qualis CAPES e os indicadores baseados em publicações científicas: área Psi...O Qualis CAPES e os indicadores baseados em publicações científicas: área Psi...
O Qualis CAPES e os indicadores baseados em publicações científicas: área Psi...
Leticia Strehl
 
Do Lume ao Super 8: a contribuição das bibliotecas para a cultura e a infraes...
Do Lume ao Super 8: a contribuição das bibliotecas para a cultura e a infraes...Do Lume ao Super 8: a contribuição das bibliotecas para a cultura e a infraes...
Do Lume ao Super 8: a contribuição das bibliotecas para a cultura e a infraes...
Leticia Strehl
 
A gestão do conhecimento para a construção de saberes em um mega sistema de b...
A gestão do conhecimento para a construção de saberes em um mega sistema de b...A gestão do conhecimento para a construção de saberes em um mega sistema de b...
A gestão do conhecimento para a construção de saberes em um mega sistema de b...
Leticia Strehl
 
O uso de e-books em uma grande comunidade universitária: hábitos de leitura, ...
O uso de e-books em uma grande comunidade universitária: hábitos de leitura, ...O uso de e-books em uma grande comunidade universitária: hábitos de leitura, ...
O uso de e-books em uma grande comunidade universitária: hábitos de leitura, ...
Leticia Strehl
 
Fólio: o futuro das bibliotecas é aberto: uma visão pessoal
Fólio: o futuro das bibliotecas é aberto: uma visão pessoalFólio: o futuro das bibliotecas é aberto: uma visão pessoal
Fólio: o futuro das bibliotecas é aberto: uma visão pessoal
Leticia Strehl
 
Futuro da Publicação científica
Futuro da Publicação científicaFuturo da Publicação científica
Futuro da Publicação científica
Leticia Strehl
 
IIMPOSTURAS INTELECTUAIS : resumo das principais discussões
IIMPOSTURAS INTELECTUAIS : resumo das principais discussõesIIMPOSTURAS INTELECTUAIS : resumo das principais discussões
IIMPOSTURAS INTELECTUAIS : resumo das principais discussões
Leticia Strehl
 
TEORIA DAS MÚLTIPLAS INTELIGÊNCIAS DE HOWARD GARDNER: BREVE RESENHA E REFLEXÕ...
TEORIA DAS MÚLTIPLAS INTELIGÊNCIAS DE HOWARD GARDNER: BREVE RESENHA E REFLEXÕ...TEORIA DAS MÚLTIPLAS INTELIGÊNCIAS DE HOWARD GARDNER: BREVE RESENHA E REFLEXÕ...
TEORIA DAS MÚLTIPLAS INTELIGÊNCIAS DE HOWARD GARDNER: BREVE RESENHA E REFLEXÕ...
Leticia Strehl
 
Produzir, comunicar e ser lido: bases de dados e rankings
Produzir, comunicar e ser lido:bases de dados e rankingsProduzir, comunicar e ser lido:bases de dados e rankings
Produzir, comunicar e ser lido: bases de dados e rankings
Leticia Strehl
 
Impasses da divulgação científica: publicar ou perecer
Impasses da divulgação científica: publicar ou perecerImpasses da divulgação científica: publicar ou perecer
Impasses da divulgação científica: publicar ou perecer
Leticia Strehl
 
Editorias e metrias alternativas: alguns desafios da publicação de contribuiç...
Editorias e metrias alternativas: alguns desafios da publicação de contribuiç...Editorias e metrias alternativas: alguns desafios da publicação de contribuiç...
Editorias e metrias alternativas: alguns desafios da publicação de contribuiç...
Leticia Strehl
 
Funções e disfunções das bases de dados em levantamentos bibliométricos
Funções e disfunções das bases de dados em levantamentos bibliométricosFunções e disfunções das bases de dados em levantamentos bibliométricos
Funções e disfunções das bases de dados em levantamentos bibliométricos
Leticia Strehl
 
Aula 1 - Cobertura e indexação das bases de dados
Aula 1 - Cobertura e indexação das bases de dadosAula 1 - Cobertura e indexação das bases de dados
Aula 1 - Cobertura e indexação das bases de dados
Leticia Strehl
 
Pesquisa bibliografica: Engenharia
Pesquisa bibliografica: EngenhariaPesquisa bibliografica: Engenharia
Pesquisa bibliografica: Engenharia
Leticia Strehl
 
Proposta de inovação no ensino da seleção de material bibliográfico em biblio...
Proposta de inovação no ensino da seleção de material bibliográfico em biblio...Proposta de inovação no ensino da seleção de material bibliográfico em biblio...
Proposta de inovação no ensino da seleção de material bibliográfico em biblio...
Leticia Strehl
 
2 Gestão em unidades de informação: planejamento. 1
2 Gestão em unidades de informação: planejamento. 12 Gestão em unidades de informação: planejamento. 1
2 Gestão em unidades de informação: planejamento. 1
Leticia Strehl
 
1 Gestão em Unidades de informação: Introdução
1 Gestão em Unidades de informação: Introdução1 Gestão em Unidades de informação: Introdução
1 Gestão em Unidades de informação: Introdução
Leticia Strehl
 
7 Desenvolvimento de coleções: avaliação
7 Desenvolvimento de coleções: avaliação7 Desenvolvimento de coleções: avaliação
7 Desenvolvimento de coleções: avaliação
Leticia Strehl
 
6 Desenvolvimento de coleções: desbastamento
6 Desenvolvimento de coleções: desbastamento6 Desenvolvimento de coleções: desbastamento
6 Desenvolvimento de coleções: desbastamento
Leticia Strehl
 
5 Desenvolvimento de coleções: aquisicao
5 Desenvolvimento de coleções: aquisicao5 Desenvolvimento de coleções: aquisicao
5 Desenvolvimento de coleções: aquisicao
Leticia Strehl
 

Mais de Leticia Strehl (20)

O Qualis CAPES e os indicadores baseados em publicações científicas: área Psi...
O Qualis CAPES e os indicadores baseados em publicações científicas: área Psi...O Qualis CAPES e os indicadores baseados em publicações científicas: área Psi...
O Qualis CAPES e os indicadores baseados em publicações científicas: área Psi...
 
Do Lume ao Super 8: a contribuição das bibliotecas para a cultura e a infraes...
Do Lume ao Super 8: a contribuição das bibliotecas para a cultura e a infraes...Do Lume ao Super 8: a contribuição das bibliotecas para a cultura e a infraes...
Do Lume ao Super 8: a contribuição das bibliotecas para a cultura e a infraes...
 
A gestão do conhecimento para a construção de saberes em um mega sistema de b...
A gestão do conhecimento para a construção de saberes em um mega sistema de b...A gestão do conhecimento para a construção de saberes em um mega sistema de b...
A gestão do conhecimento para a construção de saberes em um mega sistema de b...
 
O uso de e-books em uma grande comunidade universitária: hábitos de leitura, ...
O uso de e-books em uma grande comunidade universitária: hábitos de leitura, ...O uso de e-books em uma grande comunidade universitária: hábitos de leitura, ...
O uso de e-books em uma grande comunidade universitária: hábitos de leitura, ...
 
Fólio: o futuro das bibliotecas é aberto: uma visão pessoal
Fólio: o futuro das bibliotecas é aberto: uma visão pessoalFólio: o futuro das bibliotecas é aberto: uma visão pessoal
Fólio: o futuro das bibliotecas é aberto: uma visão pessoal
 
Futuro da Publicação científica
Futuro da Publicação científicaFuturo da Publicação científica
Futuro da Publicação científica
 
IIMPOSTURAS INTELECTUAIS : resumo das principais discussões
IIMPOSTURAS INTELECTUAIS : resumo das principais discussõesIIMPOSTURAS INTELECTUAIS : resumo das principais discussões
IIMPOSTURAS INTELECTUAIS : resumo das principais discussões
 
TEORIA DAS MÚLTIPLAS INTELIGÊNCIAS DE HOWARD GARDNER: BREVE RESENHA E REFLEXÕ...
TEORIA DAS MÚLTIPLAS INTELIGÊNCIAS DE HOWARD GARDNER: BREVE RESENHA E REFLEXÕ...TEORIA DAS MÚLTIPLAS INTELIGÊNCIAS DE HOWARD GARDNER: BREVE RESENHA E REFLEXÕ...
TEORIA DAS MÚLTIPLAS INTELIGÊNCIAS DE HOWARD GARDNER: BREVE RESENHA E REFLEXÕ...
 
Produzir, comunicar e ser lido: bases de dados e rankings
Produzir, comunicar e ser lido:bases de dados e rankingsProduzir, comunicar e ser lido:bases de dados e rankings
Produzir, comunicar e ser lido: bases de dados e rankings
 
Impasses da divulgação científica: publicar ou perecer
Impasses da divulgação científica: publicar ou perecerImpasses da divulgação científica: publicar ou perecer
Impasses da divulgação científica: publicar ou perecer
 
Editorias e metrias alternativas: alguns desafios da publicação de contribuiç...
Editorias e metrias alternativas: alguns desafios da publicação de contribuiç...Editorias e metrias alternativas: alguns desafios da publicação de contribuiç...
Editorias e metrias alternativas: alguns desafios da publicação de contribuiç...
 
Funções e disfunções das bases de dados em levantamentos bibliométricos
Funções e disfunções das bases de dados em levantamentos bibliométricosFunções e disfunções das bases de dados em levantamentos bibliométricos
Funções e disfunções das bases de dados em levantamentos bibliométricos
 
Aula 1 - Cobertura e indexação das bases de dados
Aula 1 - Cobertura e indexação das bases de dadosAula 1 - Cobertura e indexação das bases de dados
Aula 1 - Cobertura e indexação das bases de dados
 
Pesquisa bibliografica: Engenharia
Pesquisa bibliografica: EngenhariaPesquisa bibliografica: Engenharia
Pesquisa bibliografica: Engenharia
 
Proposta de inovação no ensino da seleção de material bibliográfico em biblio...
Proposta de inovação no ensino da seleção de material bibliográfico em biblio...Proposta de inovação no ensino da seleção de material bibliográfico em biblio...
Proposta de inovação no ensino da seleção de material bibliográfico em biblio...
 
2 Gestão em unidades de informação: planejamento. 1
2 Gestão em unidades de informação: planejamento. 12 Gestão em unidades de informação: planejamento. 1
2 Gestão em unidades de informação: planejamento. 1
 
1 Gestão em Unidades de informação: Introdução
1 Gestão em Unidades de informação: Introdução1 Gestão em Unidades de informação: Introdução
1 Gestão em Unidades de informação: Introdução
 
7 Desenvolvimento de coleções: avaliação
7 Desenvolvimento de coleções: avaliação7 Desenvolvimento de coleções: avaliação
7 Desenvolvimento de coleções: avaliação
 
6 Desenvolvimento de coleções: desbastamento
6 Desenvolvimento de coleções: desbastamento6 Desenvolvimento de coleções: desbastamento
6 Desenvolvimento de coleções: desbastamento
 
5 Desenvolvimento de coleções: aquisicao
5 Desenvolvimento de coleções: aquisicao5 Desenvolvimento de coleções: aquisicao
5 Desenvolvimento de coleções: aquisicao
 

indicadores de impacto e produtividade das publicações para a avaliação da atividade científica

  • 1. Indicadores de impacto e produtividade das publicações para a avaliação da atividade científica Letícia Strehl Profa. do Departamento de Ciência da Informação Faculdade de Biblioteconomia e Comunicação - UFRGS Núcleo Orientado para a Inovação na Edificação (NORIE) – UFRGS - 01/12/2010
  • 2. Dilemas da avaliação da produção científica Critérios para analisar O que é produzido? Quanto é produzido? Com que qualidade é produzido?
  • 3. Critérios de avaliação da produção científica (1):O que é produzido? Abordagem de problemas de caráter predominantemente nacional (Produção Endógena) X Tratamento de temáticas comuns aos interesses dos países desenvolvidos – mainstream (Produção Exógena) Fonte: FORATTINI, O.P. A tríade da publicação científica. Revista de Saúde Pública,  São Paulo,  v. 30,  n. 1,  1996.
  • 4. Critérios de avaliação da produção científica (2) “Em termos de comunicação científica, as duas principais características do pesquisador são a quantidade de informações que comunica e a sua qualidade.“ "Como se pode estudar isto?" Como? Quanto? Fonte: MEADOWS, A.J. A comunicação científica. Brasília: Briquet de Lemos, 1999. p. 85
  • 5. Critérios de avaliação da produção científica (3):Quanto é produzido? Esta é fácil: Determina-se quantas publicações foram escritas por um cientista em um dado momento! Fácil... será? A questão deixa de ser trivial quando as diferenças entre as áreas do conhecimento são examinadas.
  • 6. Fonte: Censo 2004 do diretório dos grupos de pesquisa do CNPq. Disponível em: http://dgp.cnpq.br/censos/estratificacao/2004/index_estratificacao_2004.htm
  • 7. Critérios de avaliação da produção científica (4):Com que qualidade é produzido? Avaliação por pares Ex.: consultoria ad hoc, Sistema Qualis Indicadores de impacto (considerando, neste caso, citação=visibilidade = qualidade?!) Ex.: Fator de impacto (Thomson Reuters) e Índice H
  • 8. Premissa dos indicadores de impacto Trabalhos importantes são freqüentemente citados na literatura científica
  • 9. Requisitos para o cálculo dos índices de impacto Existência de bases de dados que indexem: uma quantidade representativa de documentos; as referências citadas nas publicações. Atualmente, as principais bases de dados para o cumprimento desta finalidade são a Web of Science, a Scopus e o Google Acadêmico
  • 10. Todavia... Tradicionalmente, as bases de dados capazes de fornecer informações sobre o impacto dos trabalhos centram-se basicamente no conhecimento veiculado em periódicos internacionais! 
  • 11. Mesmo crescente, o número de periódicos nacionais nas bases é irrisório
  • 12. Implicações da limitação do escopo dessas bases A valorização da competitividade, o impacto e a visibilidade internacionais -Produção Exógena-
  • 13. Todas as áreas são norteadas por estes valores?
  • 14. Partindo dos indicadores desenvolvidos para os trabalhos publicados em periódicos internacionais
  • 15. O fator de impacto (FI) Há décadas o principal indicador de visibilidade das publicações Indicador criado em 1963 por Eugene Garfield e Irving Sher Publicado anualmente no Journal Citation Reports (JCR)
  • 16. O FI como critério de avaliação da produção científica Trabalhos publicados em periódicos com alto FI são considerados melhores do que os publicados em periódicos com FI menores.
  • 17. Como o FI é calculado?
  • 18. Motivos do sucesso do FI como critério de avaliação da produção científica Dificuldades relacionadas com o levantamento de dados de citações a trabalhos individuais Facilidade de compreensão “Robustez” (pequena variação de um ano para outro) Rápida disponibilidade Fonte: GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics, v. 53, n.2, p.171-193, 2002.
  • 19. Todavia... a comparação de fatores de impacto de periódicos de áreas de diferentes ou, até mesmo, de sub-áreas diversas de uma mesma área é impraticável
  • 20. Comparação de valores absolutos de FI de periódicos de diferentes áreas
  • 21. Pelo menos dois fatores contribuem para as diferenças de FI Oncologia Densidade dos artigos Idade das citações Matemática Densidade dos artigos Idade das citações
  • 22. Densidade e idade das citações da área de Construção Densidade dos artigos Idade das citações
  • 23. Como o FI é calculado? 5 anos 2 anos
  • 24. Variação dos valores médios de FI por área do conhecimento AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in Publising, n. 1, p. 3, Oct. 2000.
  • 25.
  • 26. Corruptela do FI do periódico:o FI do autor Divide-se o número de citações recebidas por um dado autor pelo número de artigos que ele publicou Sabidamente é um índice que não funciona, o tamanho da amostragem dos dados não é suficiente para eliminar possíveis distorções
  • 27. Surgimento do Índice H Indicador de produtividade e impacto de um cientista
  • 28. O que é o índice H Definição: h é o número de artigos publicados por um pesquisador que obtenham um total de citações igual ou superior a h Fonte: HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.
  • 29. Exemplo de índice H: Stephen Hawking Stephen Hawking, autor de "Uma Breve História do Tempo": seu h é 62, ou seja, ele já publicou 62 trabalhos que receberam pelo menos 62 citações.
  • 30. O sentido do Índice H Legenda: I= Impacto H = Índice H Alto Baixo
  • 31. Dificuldades do Índice H para comparação de desempenho dos cientistas Padrões de citação distintos verificados nas diversas áreas Artigos escritos em co-autoria Influência do tempo de atividade do pesquisador
  • 32. Usando a Web of Science, a Scopus e o Google Acadêmico para calcular o Índice H
  • 33. O índice H calculado com a Web of Science
  • 34. Para visualizar como é obtido o índice H Os artigos de um autor são ordenados de modo decrescente por número de citações, quando o número de artigos coincidir com o número de citações obtem-se o índice H
  • 35. Researcher ID: para facilitar o acesso às informações sobre um pesquisador (1)
  • 36. Researcher ID: para facilitar o acesso às informações sobre um pesquisador (2)
  • 37. O índice H da Scopus (1)
  • 38. O índice H da Scopus (2)
  • 39. O Google Acadêmico (GA) com uma alternativa? O que é: Versão especializada do Google para documentos científicos Lançado em nov. 2004 Como funciona: Robôs recompilam as informações disponíveis nos domínios institucionais, com permissão dos produtores, na filosofia dos Arquivos Abertos Não utiliza os metadados dos editores das publicações Não possui ferramenta própria para sistematização de informações das citações para cálculo dos indicadores Torres-Salinas, D., R. Ruiz-Perez, et al. Google Scholar as a tool for research assessment. Profesional De La Informacion, v.18, n.5, Sep-Oct, p.501-510. 2009.
  • 40. “Publish or Perish”: umaferramentabibliométricapara o GA
  • 41. Indicadores calculados pelo “Publish or Perish” Formas de busca Índices principais Autores Periódicos Palavras-chave Número total: trabalhos Citações Númeromédio de: citaçõesporartigo citaçõesporautor citaçõesporano trabalhosporautor Índice H e indicadoresrelacionados
  • 42. Problemas! Cobertura extensa, mas indenfinida Forma de coleta dos metadados acarreta muitas inconsistências nos dados Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.
  • 43. Tipos de inconsistências na forma do GA de coletar os metadados Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.
  • 46. Autores? Autor fantasma: P Login ou seja PleaseLogin (2.340 artigos) Autores perdidos
  • 47. TODAS as bases possuem inconsistências!TODO o levantamento biliométrico exige limpeza de dados!
  • 48. Todavia, para PeterJácso as inconsistências do GA são tantas que inviabilizam por completo o uso dos dados para cálculo de índices bibliométricosMas, para a recuperação, o GA é uma excelente ferramenta Jacsó, P. Google Scholar's Ghost Authors. Library Journal. 2009.
  • 49. Novos indicadores para periódicos e países do Portal Scimago (dados da Scopus) http://www.scimagojr.com/
  • 50.
  • 51. O desafio em termos de indicadores A avaliação capaz de considerar as diferenças existentes entre as várias (sub-)áreas Desenvolvimento de indicadores que valorizem os periódicos de qualidade que tratam de problemas regionais
  • 52. Muito obrigada! Mais informações estão disponíveis em: http://leticiastrehl.blogspot.com/ leticia.strehl@ufrgs.com