Apresentação realizada em 18/11/16 no I Simpósio de Pesquisa da Escola de Educação Física e Esporte da Universidade de São Paulo (EEFE-USP).

1. Solange A. Santana
Biblioteca EEFE-USP
São Paulo
2016
Indicadores de Produção
em Pesquisa
I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo

2. TÓPICOS
Indicadores de Produção em Pesquisa
Qualis Periódicos
Fator de Impacto
Altmetrias
Índice H
Considerações

3. Indicadores de Produção em Pesquisa

4. De acordo com a Organização para a Cooperação e Desenvolvimento
Econômico (OCDE), indicadores são “uma série de dados definidos
para responder perguntas sobre um fenômeno ou sistema dado”.
São variáveis cuja função é descrever e mensurar certas
características de um fenômeno ou sistema, utilizando-se dados
quantitativos ou qualitativos, verificados por meio da análise do
próprio fenômeno ou sistema.
I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo

5. I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo
Inseridos no sistema de C&T, segundo a OCDE (1998), os
indicadores são
“uma série de dados definidos para responder perguntas
sobre o sistema de C&T, sua estrutura interna, sua relação
com a economia, o meio ambiente e a sociedade e a medida
em que satisfaz as metas daqueles que o administram,
trabalham nele ou estão afetados de alguma outra maneira
por seus efeitos” (ORGANIZAÇÃO..., p. 80).

6. O uso de indicadores na área de C&T resulta da busca por
uma medição objetiva das diferentes dimensões da ciência.
Eles devem proporcionar a possibilidade de medição das
ações que envolvem a geração, difusão, transmissão e
aplicação de conhecimentos científicos e tecnológicos, que
são relacionadas diretamente com o desenvolvimento
científico e tecnológico.
I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo

7. Ohayon (1990), apresenta uma classificação de indicadores.
Neste modelo, são definidos indicadores de:
- Recursos (inputs)
- Dinâmica interna (processos)
- Resultados diretos (outputs diretos)
- Produção (científica e técnica)
- Utilização de resultados e de efeitos
I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo

8. A determinação de indicadores de produção é uma tarefa
complexa, já que muitos produtos em C&T possuem aspectos
intangíveis, o que torna sua quantificação muito difícil.
No universo científico, o principal produto é o conhecimento,
gerado, transmitido e modificado, com agregação de novas ideias.
-> Indicadores bibliométricos e de patentes
Exemplos: índices de publicações, frequência de citações, impacto
científico
I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo

9. -> Sistemas de avaliação da produção em pesquisa, formulados
a partir da seleção de um conjunto de indicadores apropriados, a
fim de fornecer respostas que justifiquem não somente os
recursos financeiros empregados, mas também as escolhas feitas,
como as áreas científicas de maior potencial ou regiões mais
carentes de desenvolvimento científico e tecnológico.
I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo

10. TÓPICOS
Indicadores de Produção em Pesquisa
Qualis Periódicos
Fator de Impacto
Altmetrias
Índice H
Considerações

11. O Qualis-Periódicos é um sistema usado para classificar a produção científica
dos programas de pós-graduação no que se refere aos artigos publicados
em periódicos científicos.
Tal processo foi concebido para atender as necessidades específicas do
sistema de avaliação e é baseado nas informações fornecidas por meio do
aplicativo Coleta de Dados. Como resultado, disponibiliza uma lista com a
classificação dos veículos utilizados pelos programas de pós-graduação
para a divulgação da sua produção.
A classificação é realizada pelos comitês de consultores de cada área de
avaliação seguindo critérios previamente definidos pela área e aprovados
pelo Conselho Técnico-Científico da Educação Superior (CTC-ES).
I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo

12. Os periódicos são classificados em oito estratos: A1, A2, B1, B2, B3, B4, B5 e
C, sendo A1 a classificação mais elevada, enquanto C indica peso zero.
Em geral é utilizado o fator de impacto da base Journal Citation Reports
(JCR), da Thomson Reuters.
Para cada área a classificação são adotados critérios específicos e a cada três
anos o método de classificação pode ser alterado.
I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo

13. I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo
ÁREA 21 - EDUCAÇÃO FÍSICA, FISIOTERAPIA, FONOAUDIOLOGIA E TERAPIA OCUPACIONAL

14. I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo
ÁREA 21 - EDUCAÇÃO FÍSICA, FISIOTERAPIA, FONOAUDIOLOGIA E TERAPIA OCUPACIONAL

15. TÓPICOS
Indicadores de Produção em Pesquisa
Qualis Periódicos
Fator de Impacto
Altmetrias
Índice H
Considerações

16. I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo
Em 1955, Eugene Garfield publicou um artigo na revista Science, onde
discutiu pela primeira vez a ideia de um Fator de Impacto com base em
citações.
Em 1964, ele e seus parceiros publicaram o Science Citation Index (SCI).
No mesmo período, Irving H. Sherman e Garfield criaram o Journal Impact
Factor (JIF), com a intenção de usá-lo para selecionar revistas para o SCI.
Hoje, as ferramentas correspondem ao Journal Citation Reports (JCR) e
Web of Science (WoS), da Thomson Reuters.
Atualmente, o JCR abrange cerca de 10 mil periódicos em ciência e
tecnologia e cerca de 3 mil periódicos em ciências sociais.
Para o cálculo do Fator de Impacto de um periódico, leva-se em
consideração o número de citações recebidas pelos artigos publicados no
periódico nos dois (ou cinco) anos anteriores à avaliação, dividido pelo
número de artigos publicados no período.

17. TÓPICOS
Indicadores de Produção em Pesquisa
Qualis | Qualis Periódicos
Fator de Impacto
Altmetrias
Indicadores de Produção em Pesquisa no contexto da EF
Índice H
Considerações finais

18. I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo
Criado em 2005 por George Hirsch, o índice h visa quantificar a
produtividade e o impacto de cientistas baseando-se nos seus artigos mais
citados.
O índice h corresponde ao número de artigos com citações maiores ou
iguais a esse número.
Uma das principais críticas ao índice diz respeito à ênfase demasiada a um
indicador de desempenho, sem levar em conta outros aspectos da produção
científica, que poderia induzir universidades e agências de fomento a tomar
decisões simplistas ou equivocadas.
Os limites do índice H. Pesquisa Fapesp, p.35-39, 2013.
Disponível em: <http://revistapesquisa.fapesp.br/wp-content/uploads/2013/05/035-039_IndiceH_207.pdf>. Acesso em 14 nov. 2016

19. TÓPICOS
Indicadores de Produção em Pesquisa
Qualis Periódicos
Fator de Impacto
Altmetrias
Índice H
Considerações

20. I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo
As altmetrias ou métricas alternativas podem ser definidas
como o estudo e uso de medidas de impacto acadêmico com
base na atividade de ferramentas e ambientes online.
Visam medir as diferentes formas e padrões de significado e uso
dos produtos científicos, olhando não apenas para a publicação
em veículos tradicionais, mas também o processo mais amplo
de disseminação em ambientes emergentes (Spinak, 2014).
SPINAK, E. O que podem nos fornecer as “métricas alternativas” ou altmetrias. SciELO em Perspectiva. Disponível em:
<http://blog.scielo.org/blog/2014/08/07/o-que-podem-nos-fornecer-as-metricas-alternativas-ou-altmetrias/>. Acesso em: 14 nov. 2016

21. I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo
Hoje, os principais provedores de serviços altmétricos são:
-> Altmetrics.com (Macmillan Publishers): o mais importante provedor
com mais de 4.000 clientes e que também usa SciELO para sua coleção
de periódicos brasileiros.
-> Impactstory.org (Sloan Foundation).
-> PlumAnalytics.com (recentemente adquirida pela Ebsco).

22. I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo
Exemplo: Altmetrics - SciELO

23. I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo
Adie (2014) aponta que o desafio desta nova ferramenta é que
os dados altmétricos são muito transitórios e difíceis de
recompilar e, atualmente, não se tem interpretações claras.
-> Ausência de um marco teórico.
ADIE, E. Taking the alternative mainstream. EPI, v. 23, n. 4, p. 349-351, 2014. Disponível em:
http://elprofesionaldelainformacion.metapress.com/app/home/contribution.asp?referrer=parent&backto=issue,1,12;journal,1,96;homemai
npublications,1,1>. Acesso em 14 nov. 2016

24. As altmetrias apresentam desafios a equacionar, entre eles:
-> recompilação de dados: cobertura, diferentes idiomas, ambiguidades.
-> epistemologia: qual base teórica poderia ser estabelecida para interpretar
os dados obtidos por algoritmos de máquinas para tomada de indicadores
consistentes e confiáveis.
-> Se analisarmos a história do desenvolvimento da bibliometria e
cienciometria clássica, observa-se que as discussões teóricas para chegar a
uma base de consenso de ferramentas e interpretações levaram mais de
vinte anos. Ainda assim, um dos indicadores mais utilizados, o Fator de
Impacto segue, todavia, levantando suspeitas e resistências.
I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo

25. TÓPICOS
Indicadores de Produção em Pesquisa
Qualis Periódicos
Fator de Impacto
Altmetrias
Índice H
Considerações

26. I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo
Parâmetro Vantagens Desvantagens
Número total de artigos Mede a produtividade Não mede a importância ou impacto dos
artigos/ Publicações fatiadas.
Número total de citações Mede o impacto total do
pesquisador
Insuflado por pequeno número de artigos de
grande visibilidade / Autocitações / Citações
cruzadas.
Citações por artigo Permite a comparação de
cientistas
Privilegia a baixa produtividade e penaliza a
alta produtividade
Quadro 1 - Vantagens e desvantagens de outros indicadores de produção

27. I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo
Periódico <-> Artigo
Métricas tradicionais <-> Altmetrias
CENÁRIO

28. I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo
CONSIDERAÇÕES
-> Os indicadores apresentam limitações. A combinação de alguns desses, associada
à avaliação por pares, é certamente a melhor forma de avaliação objetiva.
-> Os indicadores de produção em pesquisa têm sido utilizados em grande escala
para avaliação da produtividade e qualidade de pesquisadores e periódicos.
-> Quando empregados como recurso para análise do estágio da produção científica,
podem auxiliar a mapear o panorama geral da pesquisa em um determinado país e
também identificar o nível de desenvolvimento científico em determinadas regiões,
fornecendo uma estimativa aproximada do avanço da pesquisa de modo geral, ou de
uma determinada área de conhecimento.
-> No Brasil, o grande peso que a produção científica tem na avaliação dos
programas “stricto-sensu” também se expande para outras esferas, como as demais
atividades de pesquisa e ensino realizadas pelos docentes no cenário universitário.
-> Necessidade de analisar as limitações dos indicadores de produção e suas
implicações para a avaliação do desenvolvimento da pesquisa nacional.

29. I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo
REFERÊNCIAS
ADIE, E. Taking the alternative mainstream. EPI, v. 23, n. 4, p. 349-351, 2014. Disponível
em: <http://elprofesionaldelainformacion.metapress.com/app/home>. Acesso em: 14 nov.
2016
ORGANIZAÇÃO PARA A COOPERAÇÃO E DESENVOLVIMENTO ECONÔMICO. Manual de
Oslo: la medición de las actividades científicas y técnicas. Caracas: Nueva Sociedad, 1998.
OHAYON, P. Quadro metodológico para implementação de um sistema de indicadores da
avaliação na FAPERJ. Simpósio Nacional de Pesquisa em Administração. 20 a 30 de outubro
de 1991. Anais... Rio de Janeiro, 1991. p. E 81.
SPINAK, E. O que podem nos fornecer as “métricas alternativas” ou altmetrias. SciELO em
Perspectiva. Disponível em: <http://blog.scielo.org/blog/2014/08/07/o-que-podem-nos-
fornecer-as-metricas-alternativas-ou-altmetrias/>. Acesso em: 14 nov. 2016
MEADOWS, A. J. A comunicação científica. Brasília: Briquet de Lemos, 1999.

30. Muito obrigada!
Solange A. Santana
Biblioteca da EEFE-USP
solangeusp@gmail.com
São Paulo
2016
I Simpósio de Pesquisa
Escola de Educação Física e Esporte da Universidade de São Paulo