O pesquisador e
sua publicação
científica 2:
indicadores de
avaliação
Letícia Strehl

SUMÁRIO
 Super 8
 Sintetizar e produzir
Qualidade da produção científica e
técnica
Temáticas regionais e temáticas
internacionais
 Comunicar
Periódicos indexados
 Ser lido e avaliado
Fator de impacto, citação por
artigo e qualis
Índice H
Perfis de autores

Passos da pesquisa e produção da
informação
Reconhecer
Recuperar
e Acessar
Buscar
Ser lido e
ser
avaliado
Sintetizar/
Produzir
Comunicar
Usar
Avaliar
Você como
leitor
Você como
autor
Problematização dos
passos

Identifique as formas de
busca e de acesso dos
documentos
Identifique nos documentos
acessados as informações
importantes para a pesquisa
Organize os documentos com
informações importantes,
sintetize-os e escreva seu
texto
Avalie o resultado final do seu
trabalho
Escolha o canal de
comunicação para
divulgação da informação
produzida
Utilize ferramentas que
facilitem a recuperação e a
visibilidade de sua
produção
Identifique o assunto de sua
pesquisa
Identifique onde
encontrar documentos
para sua pesquisa
Oito passos

Passos da pesquisa e produção da
informação
Reconhecer
Recuperar
e Acessar
Buscar
Ser lido e
ser
avaliado
Sintetizar/
Produzir
Comunicar
Usar
Avaliar
Você como
leitor
Você como
autor
Problematização dos
passos

Organize os documentos com
informações importantes,
sintetize-os e escreva seu
texto
Avalie o resultado final do seu
trabalho
Escolha o canal de
comunicação para
divulgação da informação
produzida
Utilize ferramentas que
facilitem a recuperação e a
visibilidade de sua
produção
4 dos 8 passos

O pesquisador no contexto do ciclo da
informação
Sintetizar/produzir
ComunicarSer lido/avaliado

Sintetizar/prod
uzir
Organize os documentos com
informações importantes, sintetize-os e
escreva seu texto

O trabalho científico como um
quebra-cabeça
O quebra-cabeça:
Não tem peças prontas
para serem encaixadas
Não vem numa caixa com
capa ilustrada
O pesquisador:
Reúne e cria peças no
processo de produção
científica
Encaixa as peças (e refaz
as peças no encaixe),
obtendo uma imagem
apenas no final do
relatório de pesquisa

Qualidade na pesquisa
Informação científica
A medida que a publicação contribui para o
avanço do conhecimento científico em certo
campo de pesquisa
• Preenche uma lacuna de conhecimento do
campo
• Descobre uma lacuna de conhecimento do
campo
Informação técnica
A medida que a publicação contribui para o
aperfeiçoamento de uma prática
profissional

Qualidade e avaliação por pares
• A qualidade de uma publicação está
diretamente relacionada com o rigor
aplicado na avaliação por pares
• Editores-chefe competentes e de prestígio
• Revisores ad-hoc experientes nas temáticas
tratadas pela publicação
• Publicações notórias pelo rigor na
avaliação, não apenas da originalidade da
contribuição, como da qualidade do texto:

Problemas de pesquisa
Temáticas
regionais
Temáticas
internacionai
s
Fonte: FORATTINI, O.P. A tríade da publicação científica. Revista de Saúde Pública, São Paulo, v. 30, n. 1, 1996.
X

Comunicar
Escolher canal de publicação de
resultados de pesquisa

Problemas de pesquisa
Temáticas
regionais
Temáticas
internacionai
s
Fonte: FORATTINI, O.P. A tríade da publicação científica. Revista de Saúde Pública, São Paulo, v. 30, n. 1, 1996.
X

Os periódicos indexados
http://slideplayer.com/slide/4991000/

Ser lido e
avaliado
Utilizar ferramentas para recuperação e
visibilidade da produção científica

Seu artigo publicado num periódico
indexado

Avaliação da produção do
pesquisador
• Quantos artigos um autor publicou?
• Quantos dos artigos publicados são
indexados em bases de dados importantes
para os pares?
• Exemplo: artigos publicados em periódicos
indexados na Scopus
• Qual é a visibilidade dos periódicos que
publicam estes artigos segundo indicadores
dessas bases de dados?
• Exemplo: publicado num periódico com SJR=7
• Parâmetros de SJR do Qualis:
• Estrato A1: SJR > 2,10;
• Estrato A2: SJR entre 2,10 e 1,40;
• Estrato B1: SJR entre 1,40 e 0,70;
• Estrato B2: SJR entre 0,70 e 0,35;
• Estrato B3: SJR<0,35.

Indicadores: tipos e níveis de
abrangência
• Indicadores bibliométricos
• De impacto (número de citações por artigo):
Fator de Impacto, Citações por Artigo
(Scimago)
• De produtividade e impacto: Índice H
• Indicadores webométricos
• Número de acessos e downloads
• Altmetrias (impacto nas redes sociais)
Periódico
Autores
Artigos
Todavia, todos esses indicadores criados, originalmente, para medir padrões de
comunicação científica nos níveis acima destacados, são aplicáveis em diferentes
contextos: países, instituições, departamentos, áreas, PPGs, etc.

Indicadores de
impacto
Média de citações por artigo de um
periódico
O nome do indicador depende da fonte de dados

Fator de impacto
SCI E SSCI NA WEB OF
SCIENCE
JOURNAL CITATION
REPORTS
Acesso via:Acesso via:
Os dados e os indicadores

Citações por Documento e SJR
Scopus Scimago
Acesso via: Acesso livre!
Os dados e os indicadores

2 anos
3 anos

Impacto de dois periódicos de
mais alto de áreas diversas
Periódico Área FI
Ca-A Cancer Journal for Clinicians Oncologia 131,723
Acta Numerica Matemática 9,000

Pelo menos dois fatores contribuem para
as diferenças nos índices de impacto
Oncologia
• Densidade dos
artigos
• Idade das citações
Matemática
• Densidade dos
artigos
• Idade das citações

O Qualis CAPES
para “periódico”
Avaliação da produção científica na pós-
graduação

O Qualis CAPES para “periódico”
• É o conjunto de procedimentos utilizados pela
Capes para estratificação da qualidade da
produção intelectual dos programas de pós-
graduação.
• O Qualis afere a qualidade [sic] de um artigo pela
qualidade [sic] do periódico científico que o
publicou.
• A classificação de periódicos é realizada pelas
áreas de avaliação e passa por processo anual de
atualização.
• Os periódicos são enquadrados em estratos
indicativos da qualidade [sic] - A1, o mais
elevado; A2; B1; B2; B3; B4; B5; C - com peso
zero.
• Um mesmo periódico, ao ser classificado em duas
ou mais áreas distintas, pode receber diferentes
avaliações.

Informações
sobre a
avaliação
na página
da CAPES

Critérios e enquadramento em
estratos
Critérios Qualis Classificação

Algumas áreas associam os estratos
do Qualis aos valores de Fator de
Impacto
Caso da Engenharia I

Algumas áreas associam os estratos
do Qualis aos valores de Fator de
Impacto
Caso das 3 Medicinas

O uso do FI para definição do Qualis dos
periódicos nas áreas “Medicina” de 1 a 3 na
CAPES
Estratos
Faixas de FI por área de avaliação
Medicina I Medicina II Medicina III
A1 ≥ 4,3 ≥ 4,4 >4
A2 Entre 4,29 e 3,13 Entre 4,39 e 3,15 Entre 2,9 e 4
B1 Entre 3,12 e 1,85 Entre 3,14 e 1,98 Entre 1,63 e 2,8
B2 Entre 1,84 e 0,8 Entre 1,97 e 0,8 Entre 0, 95 e 1,62
B3 Entre 0,79 e 0,2 Entre 0,2 e 0,79 < 0,95
B4 Outros critérios < 0,19 Outros critérios
Fonte: Documentos de Área disponível na página da CAPES em: http://www.capes.gov.br/avaliacao/areas-paginas

Os diferentes padrões de FI das
subáreas de uma mesma área de
avaliação
Subárea da Medicina Áreas do JCR Mediana do FI
CANCEROLOGIA ONCOLOGY 2,915
CARDIOLOGIA CARDIAC & CARDIOVASCULAR SYSTEMS 2,186
DERMATOLOGIA DERMATOLOGY 1,568
ENDOCRINOLOGIA ENDOCRINOLOGY & METABOLISM 2,955
GASTROENTEROLOGIA GASTROENTEROLOGY & HEPATOLOGY 2,728
MEDICINA LEGAL E
DEONTOLOGIA MEDICINE, LEGAL 1,442
PNEUMOLOGIA RESPIRATORY SYSTEM 2,330
Medicina I

Os diferentes padrões de FI das
subáreas de uma mesma área de
avaliação
Medicina II
Subárea da Medicina Áreas do JCR
Mediana
do FI
ALERGOLOGIA E IMUNOLOGIA CLÍNICA ALLERGY 2,355
ANATOMIA PATOLÓGICA E PATOLOGIA
CLÍNICA ANATOMY & MORPHOLOGY 1,242
DOENÇAS INFECCIOSAS E PARASITÁRIAS INFECTIOUS DISEASES 2,483
HEMATOLOGIA HEMATOLOGY 2,654
NEUROLOGIA CLINICAL NEUROLOGY 2,304
PEDIATRIA PEDIATRICS 1,517
PSIQUIATRIA PSYCHIATRY 2,165
RADIOLOGIA MÉDICA
RADIOLOGY, NUCLEAR MEDICINE & MEDICAL
IMAGING 1,855
REUMATOLOGIA RHEUMATOLOGY 2,401

Os diferentes padrões de FI das
subáreas de uma mesma área de
avaliação
Subárea da medicina Áreas do JCR Mediana do FI
ANESTESIOLOGIA ANESTHESIOLOGY 2,049
CIRURGIA SURGERY 1,563
GINECOLOGIA E OBSTETRÍCIA OBSTETRICS & GYNECOLOGY 1,846
OFTALMOLOGIA OPHTHALMOLOGY 1,753
ORTOPEDIA ORTHOPEDICS 1,429
Medicina III

Motivos do sucesso do FI
• Dificuldades relacionadas com o
levantamento de dados de citações a
trabalhos individuais
• Facilidade de compreensão
• “Robustez” (pequena variação de um ano
para outro)
• Rápida disponibilidade
Fonte: GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics,
v. 53, n.2, p.171-193, 2002.
Tópico polêmico: O Fator de Impacto realmente revela
algo sobre o impacto dos artigos?

Além disso...
Hoje, coleta dos dados é mais fácil
DOI é um
exemplo

Corruptela do FI do periódico:
o FI do autor
• Divide-se o número de citações recebidas
por um dado autor pelo número de artigos
que ele publicou
• Sabidamente é um índice que não
funciona, o tamanho da amostragem dos
dados não é suficiente para eliminar
possíveis distorções

Indicadores de
produção &
impacto: Índice H

O que é o Índice H
• Relação entre a produção (número de
trabalhos) do pesquisador e o impacto
(número de citações)
• 1 fórmula, várias fontes de dados
Um
pesquisador
terá vários
Índices H,
um para cada
base

O que é o índice H
• h é o número de artigos publicados por
um pesquisador que obtenham um total
de citações igual ou superior a h
Fonte: HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the National
Academy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.

Exemplo de índice H:
Stephen Hawking
• Stephen Hawking, autor de "Uma Breve
História do Tempo": seu h é 74, ou seja,
ele já publicou 74 trabalhos que
receberam pelo menos 74 citações.
índice H calculado na

Exemplo de índice H:
Stephen Hawking
• Stephen Hawking, autor de "Uma Breve
História do Tempo": seu h é 74, ou seja,
ele já publicou 74 trabalhos que
receberam pelo menos 74 citações.

Trabalhos ordenados pelo número de
citações em ordem decrescente
http://www.muhclibraries.ca/files/2015/07/Tableau-calcul-EN.jpg

Fator de impacto e Índice H

O que medem os diferentes
indicadores?
LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of the American Society for
Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.
Impacto
Produção

O SJR e o FI podem ser considerados
equivalentes?
LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of the American Society for
Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.
Sim!

Indicadores
webométricos e
redes sociais

Acessos na internet e downloads

Das bibliotecas dos
leitores
Para a estatística dos autores

Perfis de autores

Auto
r
Produção
Uso Comunicação
Gerenciadores de referências
Redes de colaboradores / Redes sociais
Repositório
pessoal de papers
Identificador para
submissão do paper
Recuperação em bases de dados
Indicadores de produção
Sua
produção
Seu impacto
Ciclo da informação e
tipos de ferramentas
auxiliares para os
autores

Perfis de autores
Perfil
automático
Gerenciador de
referências
Repositório
pessoal de
papers
Redes sociais
Identificação
na submissão
do paper
Localização
em bases de
dados
Produção de
indicadores
ORCid
ResearcherID
Scopus ID
Google Citations
Mendeley
ResearchGate
Ferramentas auxiliares para os
autores, por tipo

Google citations

ResercherID

Researcher ID
www.researcherid.com
Vinculado ao ORCID
Integração somente com
Web of Science e Endnote
Acompanha citações e
índice H
Código numérico
proprietário
Identifica colaboradores

O desafio em termos de
indicadores
• A avaliação capaz de considerar as
diferenças existentes entre as várias (sub-
)áreas
• Desenvolvimento de indicadores que
valorizem os periódicos de qualidade que
tratam de problemas regionais
• Indicadores econômicos e sociais não
estão contemplados por nenhuma dessas
fórmulas
• eles podem estar subjacentes, mas não
diretamente medidos

bcentral@bc.ufrgs.br