Qualidade, recuperação, visibilidade e acesso à informação científica: conceitos, ferramentas e indicadores O seminário apresenta conceitos, ferramentas e indicadores relacionados com diferentes aspectos da informação científica, tais como: avaliação por pares, indexação, escrita científica, acesso aberto e repositórios, redes sociais acadêmicas e Qualis da CAPES. Os exemplos mostrados foram adaptados para contemplar as fontes e questões específicas da produção científica na área de educação em ciências.

2. Sumário
0 Qualidade, recuperação, visibilidade e acesso à
informação científica
0 Conceitos
0 Ferramentas
0 Recuperação:
0 Cobertura das bases de dados
0 Recursos de indexação
0 Implicações na revisão da literatura e na elaboração de artigos
0 Visibilidade
0 Acesso aberto
0 Preenchimento correto do Lattes
0 Identificadores digitais para nomes de autores
0 Identificação precisa da afiliação institucional
0 Perfis de autores e redes sociais
0 Indicadores
0 Fator de impacto, Citações por Documento (Scimago), Qualis CAPES e
Índice H

4. Qualidade da informação
científica
0 A medida que a publicação contribui para o avanço do
conhecimento científico em certo campo de pesquisa
0 Preenche uma lacuna de conhecimento do campo
0 Descobre uma lacuna de conhecimento do campo

5. Qualidade:
as contribuições podem ser de naturezas diversas
Teórica
Técnica
Empírica
Metodológica

6. 1ª instância de avaliação da qualidade:
A avaliação por pares
0 A qualidade de uma publicação está
diretamente relacionada com o rigor
aplicado na avaliação por pares
0 Editores-chefe competentes e de prestígio
0 Revisores ad-hoc experientes nas
temáticas tratadas pela publicação
0 Publicações notórias pelo rigor na
avaliação, não apenas da originalidade da
contribuição, como da qualidade do
texto:

7. J Bohannon Science 2013;342:60-65

8. J Bohannon Science 2013;342:60-65
LIST OF PUBLISHERS
Beall’s List:
http://scholarlyoa.com/publishers/

10. 2ª instância de avaliação da qualidade:
A citação nas publicações subsequentes
0 Premissas:
0 Todo resultado de pesquisa precisa ser
comunicado (=publicado)
0 Todavia, “Publish or Perish” is not enough
0 A contribuição relevante não é apenas
publicada, mas é lida e utilizada por
outros cientistas, é, enfim, citada.
http://blogs.bmj.com/bmj-journals-development-blog/category/authors/
http://howtopublishinjournals.com/

11. Ética científica
0 No momento da
submissão do artigos:
0 Autores declaram a
responsabilidade
intelectual de cada um
dos autores

12. A conhecida metáfora do Iceberg para pensar essas três dimensões
da produção científica : qualidade, recuperação e visibilidade.
#iceberg1

13. Diferentemente de tempos anteriores, na Era Google, pode-se dizer,
grosso modo: tudo é recuperável!
#iceberg2
Hoje

14. Recuperável, mas, não necessariamente, visível!
#iceberg3

15. Qualidade versus visibilidade

16. Qualidade versus visibilidade

18. Milhõooooooes de documentos:
Quantas páginas você percorre?

20. Ferramentas de RECUPERAÇÃO da
informação científica
http://static.guim.co.uk/sys-images/Guardian/Pix/pictures/2012/9/25/1348577593474/Data-Base-sculpture.-Word-008.jpg

21. Alguns componentes básicos de um
sistema de recuperação da informação
0 Cobertura
0 Critério de seleção
0 Seletivo
0 Exaustivo
0 Abrangência temática
0 Multidisciplinar
0 Especializada
0 Recursos de indexação
0 Referências
0 Terminologia por controle de vocabulário

22. Duas formas de identificar documentos
tematicamente relacionados
0 Adoção de terminologia semelhante
0 Citação de referências comuns

23. Ferramentas de RECUPERAÇÃO
Mais importantes
Exemplos

24. Um artigo, duas bases de dados:
Web of Science

25. Um artigo, duas bases de dados:
Pubmed

26. Questionamentos obrigatórios
sobre a recuperação da informação
0 1º Momento: quando você revisa a literatura
0 Estou olhando a base de dados adequada para os temas
e tipos de documentos que procuro?
0 Estou utilizando os termos adequados para expressar
meu tópico de pesquisa quando busco a informação?
0 Estou explorando os recursos de recuperação para
localizar documentos com referências comuns e citações
aos artigos que considero importantes?

27. Questionamentos obrigatórios
sobre a recuperação da informação
0 2º Momento: quando você escreve seu artigo
0 Estou escrevendo o título, o resumo e as palavras-chave com
os termos mais significativos do meu tema de pesquisa ?
0 Estou contemplando possíveis variações terminológicas para
os conceitos tratados?
0 3º Momento: quando você submete seu artigo
0 Estou submetendo meu manuscrito para uma revista coberta
pelas bases de dados importantes para a minha área?
0 A revista em questão é lida pela comunidade que pretendo
atingir?

28. Ferramentas de VISIBILIDADE da
informação científica
http://www.onque.com.au/insights/wp-content/uploads/2013/01/facebook-graph-search.jpg

29. Acesso aberto

30. Acesso aberto como
ferramenta de visibilidade

31. Opções de acesso aberto
Taxa de Acesso
Aberto no momento
da publicação
Política de auto-
arquivamento

32. Informações sobre política de auto-arquivamento

33. Os dois lados do acesso aberto:
quando você disponibiliza sua pesquisa em acesso
aberto
Artigos escritos por ou em colaboração com docentes ou
técnico-administrativos da UFRGS
***************************
Depósito na Biblioteca da respectiva Unidade

34. Os dois lados do acesso aberto:
Quando você busca um artigo

35. Evidências do acesso aberto sobre o
impacto do artigos
MIGUEL, S.; CHINCHILLA-RODRIGUEZ, Z.; DE MOYA-ANEGÓN, F. Open access and Scopus: A new approach to scientific visibility from the
standpoint of access. Journal of the American Society for Information Science and Technology, v. 62, n. 6, p. 1130–1145, 11 jun. 2011.

36. Preenchimento correto do seu
Lattes

37. Lattes, DOI e Indicadores de produção
Preenchimento

38. Identificadores digitais

39. Ferramentas de VISIBILIDADE/Recuperação(1)
Ao invés disso, um
número:
0000-0001-9723-9576
Variações do
nome do
autor

40. Identificadores digitais de autores em
diferentes bases de dados Integrados com a

41. ORCID (Open Reseacher & Contributor ID)
www.orcid.org
Vinculado à Scopus e ao
Researcher ID
Integração com diversas
bases de dados
Apresenta lista de
publicações e classifica
por data, tipo e título.
Código numérico não
proprietário

42. ORCID (perfil)
Publicações
Dados do autor

44. Na linha da precisa
identificação:
cuidado com seus dados de
afiliação

45. Você quer atuar numa
instituição que já produziu...
... 9.264 artigos científicos?
... 12.755 artigos científicos?
... 20.605 artigos científicos?
... 33.870 artigos científicos?

46. 33.870 artigos científicos

47. ... quando um pesquisador busca
pelo nome de nossa Universidade,

48. Produção científica do Hospital de
Clínicas indexada na Scopus, mas não é
informada como produção da UFRGS

50. Redes Sociais

51. Ferramentas de VISIBILIDADE/Recuperação(2)
E as redes sociais:
Research Gate
Academia edu
Linked In
Slideshare
Facebook
Twitter

53. Indicadores:
tipos e níveis de abrangência
0 Indicadores bibliométricos
0 De impacto (número de citações por artigo):
Fator de Impacto, Citações por Artigo
(Scimago)
0 De produtividade e impacto: Índice H
0 Indicadores webométricos
0 Número de acessos e downloads
0 Altmetrias (impacto nas redes sociais)
Periódico
Autores
Artigos
Todavia, todos esses indicadores criados, originalmente, para medir padrões de
comunicação científica nos níveis acima destacados, são aplicáveis em
diferentes contextos: países, instituições, departamentos, áreas, PPGs, etc.

54. Indicadores de impacto
Média de citações por artigo de um periódico: o
nome do indicador depende da fonte de dados
FI
Citações por Documento (Scimago)

55. Os dados e os indicadores:
Fator de impacto
SCI E SSCI NA WEB OF
SCIENCE
JOURNAL CITATION
REPORTS
Acesso via:Acesso via:

56. Os dados e os indicadores
Citações por Documento
Scopus Scimago
Acesso via: Acesso livre!

57. 2 anos
3 anos

58. Comparação entre dois periódicos de
mais alto impacto de áreas diversas
Periódico Área FI
Ca-A Cancer Journal for
Clinicians
Oncologia 131,723
Acta Numerica Matemática 9,000

59. Pelo menos dois fatores contribuem para as
diferenças nos índices de impacto não
normalizados
0 Oncologia
0 Densidade dos artigos
0 Idade das citações
0 Matemática
0 Densidade dos artigos
0 Idade das citações

60. O Qualis CAPES para
“periódico”
Avaliação da produção científica na pós-graduação

61. O Qualis CAPES para
“periódico”
0 É o conjunto de procedimentos utilizados pela Capes para
estratificação da qualidade da produção intelectual dos
programas de pós-graduação.
0 O Qualis afere a qualidade [sic] de um artigo pela qualidade [sic]
do periódico científico que o publicou.
0 A classificação de periódicos é realizada pelas áreas de avaliação
e passa por processo anual de atualização.
0 Os periódicos são enquadrados em estratos indicativos da
qualidade [sic] - A1, o mais elevado; A2; B1; B2; B3; B4; B5; C -
com peso zero.
0 Um mesmo periódico, ao ser classificado em duas ou mais áreas
distintas, pode receber diferentes avaliações.
0 O aplicativo que permite a classificação e consulta ao Qualis é o
WebQualis.

63. Informaçõe
s sobre a
avaliação
na página
da CAPES

64. Critérios e enquadramento
em estratos
Critérios Qualis Classificação

65. Algumas áreas associam os estratos do
Qualis aos valores de Fator de Impacto
Caso das 3 Medicinas

66. O uso do FI para definição do Qualis dos periódicos
nas áreas “Medicina” de 1 a 3 na CAPES
Estratos
Faixas de FI por área de avaliação
Medicina I Medicina II Medicina III
A1 ≥ 4,3 ≥ 4,4 >4
A2 Entre 4,29 e 3,13 Entre 4,39 e 3,15 Entre 2,9 e 4
B1 Entre 3,12 e 1,85 Entre 3,14 e 1,98 Entre 1,63 e 2,8
B2 Entre 1,84 e 0,8 Entre 1,97 e 0,8 Entre 0, 95 e 1,62
B3 Entre 0,79 e 0,2 Entre 0,2 e 0,79 < 0,95
B4 Outros critérios < 0,19 Outros critérios
Fonte: Documentos de Área disponível na página da CAPES em: http://www.capes.gov.br/avaliacao/areas-paginas

67. Os diferentes padrões de FI das subáreas de
uma mesma área de avaliação
Subárea da Medicina Áreas do JCR Mediana do FI
CANCEROLOGIA ONCOLOGY 2,915
CARDIOLOGIA CARDIAC & CARDIOVASCULAR SYSTEMS 2,186
DERMATOLOGIA DERMATOLOGY 1,568
ENDOCRINOLOGIA ENDOCRINOLOGY & METABOLISM 2,955
GASTROENTEROLOGIA GASTROENTEROLOGY & HEPATOLOGY 2,728
MEDICINA LEGAL E
DEONTOLOGIA MEDICINE, LEGAL 1,442
PNEUMOLOGIA RESPIRATORY SYSTEM 2,330
Medicina I

68. Os diferentes padrões de FI das subáreas de
uma mesma área de avaliação
Medicina II
Subárea da Medicina Áreas do JCR
Mediana
do FI
ALERGOLOGIA E IMUNOLOGIA CLÍNICA ALLERGY 2,355
ANATOMIA PATOLÓGICA E PATOLOGIA
CLÍNICA ANATOMY & MORPHOLOGY 1,242
DOENÇAS INFECCIOSAS E PARASITÁRIAS INFECTIOUS DISEASES 2,483
HEMATOLOGIA HEMATOLOGY 2,654
NEUROLOGIA CLINICAL NEUROLOGY 2,304
PEDIATRIA PEDIATRICS 1,517
PSIQUIATRIA PSYCHIATRY 2,165
RADIOLOGIA MÉDICA
RADIOLOGY, NUCLEAR MEDICINE & MEDICAL
IMAGING 1,855
REUMATOLOGIA RHEUMATOLOGY 2,401

69. Os diferentes padrões de FI das subáreas de
uma mesma área de avaliação
Subárea da medicina Áreas do JCR Mediana do FI
ANESTESIOLOGIA ANESTHESIOLOGY 2,049
CIRURGIA SURGERY 1,563
GINECOLOGIA E OBSTETRÍCIA OBSTETRICS & GYNECOLOGY 1,846
OFTALMOLOGIA OPHTHALMOLOGY 1,753
ORTOPEDIA ORTHOPEDICS 1,429
Medicina III

70. Motivos do sucesso do FI como critério de
avaliação da produção científica
0 Dificuldades relacionadas com o levantamento de
dados de citações a trabalhos individuais
0
0 Facilidade de compreensão
0 “Robustez” (pequena variação de um ano para outro)
0 Rápida disponibilidade
Fonte: GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics,
v. 53, n.2, p.171-193, 2002.

71. Motivos do sucesso do FI como critério de
avaliação da produção científica
0 Dificuldades relacionadas com o levantamento de
dados de citações a trabalhos individuais
0
0 Facilidade de compreensão
0 “Robustez” (pequena variação de um ano para outro)
0 Rápida disponibilidade
Tópico polêmico: O Fator de Impacto realmente revela
algo sobre o impacto dos artigos?
SILVA, Mauricio Rocha e. E. As certezas e incertezas do Fator de Impacto. Como o periódico Clinics se move nos meandros das citações. In:
Seminário de Avaliação do Desempenho dos Periódicos Brasileiros no JCR. São Paulo, 2011.

72. Além disso, hoje, existem recursos que
facilitam a coleta dos dados sobre as citações
aos trabalhos individualmente
A Plataforma
Lattes é um
exemplo

73. Corruptela do FI do periódico:
o FI do autor
0 Divide-se o número de citações recebidas por um
dado autor pelo número de artigos que ele publicou
0 Sabidamente é um índice que não funciona, o
tamanho da amostragem dos dados não é suficiente
para eliminar possíveis distorções

74. Indicadores de produção &
impacto: Índice H
Relação entre o número de trabalhos que o
pesquisador publica e o número de citações que
recebe
1 fórmula, várias fontes de dados

75. O que é o índice H
h é o número de artigos publicados por um
pesquisador que obtenham um total de citações
igual ou superior a h
Fonte: HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the National
Academy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.

76. Exemplo de índice H:
Stephen Hawking
Stephen Hawking, autor de
"Uma Breve História do
Tempo": seu h é 74, ou seja,
ele já publicou 74 trabalhos
que receberam pelo menos 74
citações.
índice H calculado na

77. Exemplo de índice H:
Stephen Hawking
Stephen Hawking, autor de
"Uma Breve História do
Tempo": seu h é 74, ou seja,
ele já publicou 74 trabalhos
que receberam pelo menos 74
citações.

79. Fator de impacto e Índice H

80. O que medem os diferentes
indicadores?
LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of the American Society for
Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.
Impacto
Produção

81. O SJR e o FI podem ser
considerados equivalentes?
LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of the American Society for
Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.
Sim!

82. O desafio em termos de
indicadores
0 A avaliação capaz de considerar as diferenças
existentes entre as várias (sub-)áreas
0 Desenvolvimento de indicadores que valorizem os
periódicos de qualidade que tratam de problemas
regionais
0 Indicadores econômicos e sociais não estão
contemplados por nenhuma dessas fórmulas
0 eles podem estar subjacentes, mas não diretamente
medidos

83. Para concluir retomando os
pontos anteriores
0 Recuperação
0 Atente para os aspectos que facilitam a recuperação de seu
trabalho em bases de dados
0 Visibilidade
0 Existem muitas estratégias de visibilidade, utilize-se delas
0 Todavia, nenhuma ferramenta pode superar as deficiências de
qualidade de uma contribuição
0 Indicadores
0 Existem muitas fórmulas, existem muitas fontes, nem sempre
as agências lidam bem com essa diversidade
0 As citações ao seu trabalho são um indicador de impacto mais
importante do que o Fator de Impacto do periódico que você
publica