Aspects techniques et institutionnels de l'évaluation bibliométrique des organismes de recherche.

1. Evaluation et caractérisation des
entités de recherche : acteurs et
méthodes en documentation
L’évaluation des établissements et
des politiques documentaires à
l’heure de la bibliométrie
MEDIADIX - URFIST
Saint-Cloud 13 avril 2010
Manuel Durand-Barthez - URFIST Paris

2. Principes fondamentaux
Contexte législatif français : la LOLF
Sous-ensemble Enseignement
supérieur & Recherche : le programme
P 150
Référentiels internationaux :
classements de Shanghai, de Leyde,
du Times QS/THE, le PRSP de
Taïwan…

3. La cible des indicateurs
Capacités de financement
Infrastructure
Potentiel humain:
 Enseignants () chercheurs
 Etudiants, dont doctorants
 BIATOS
Employabilité des étudiants sortants
Quotité enseignement / recherche ; etc…

4. L’enjeu des publications
Item visible
Article scientifique : indicateur privilégié
(format, périodicité)
Evaluation rapide via la citation

5. L’OST: un acteur, des
référentiels
G.I.P. à couverture interministérielle dans le
domaine de la Recherche
Fournit des informations notamment dans
trois domaines liés au P150 de la LOLF:
 Publications scientifiques
 Brevets
 Programmes PCRD

6. Des domaines privilégiés
Sciences de la matière
Sciences de la nature et de la vie
« La base de données source est le Web of
Science® de Thomson Reuters qui fait
référence pour la bibliométrie dans les
domaines des sciences de la matière et de la
vie. » Méthodologie IPERU, Chap.II.1

7. Le W.O.S. : 3 bases
6650 titres6650 titres en Sciences Technologie
Médecine
Base Science Citation Index
1950 titres1950 titres en Sciences sociales
Base Social Science Citation Index
1150 titres1150 titres en Sciences humaines
Base Arts & Humanities Citation Index

8. EVALUATION DES SOURCES
(Titres des revues)
JOURNAL CITATION REPORTJOURNAL CITATION REPORT
(J.C.R.)(J.C.R.)
Tableau statistique annuel
paraît au Printemps de l’année « n+1 »
2008:
> 6500 titres analysés en STM
≈ 2000 en Sci. sociales

9. Journal: EMBO J
Impact Factor: 8.295
Cites in 2008 to articles published in: 2007 = 3309
2006 = 4494
07+06 = 8303
Number of articles published in: 2007 = 454
2006 = 547
07+06 = 1001
Calculation:
Cites to recent articles 8303
------------------------------ = ---------- = 8.295
Number of recent articles 1001

10. Bilan critique
Modèle anglo-saxon privilégiant la
recherche appliquée
Citations quantifiées
 sans nuances, sur une « première
couronne »
 sans tenir compte des différences de
pratique dans chaque discipline
Absence flagrante des Sciences
humaines

11. Problématique des SHS
Sciences sociales relativement
bien couvertes dans le SSCI:
 Economie (209 titres)
 Sc. Educ. (113 titres)
 Droit (104 titres)
 Sociologie (100 titres)

12. Problématique des SHS
La base AHCI (Arts & Humanities) du
WOS est dépourvue de modules
d’évaluation statistique
Listes de l’AERES issues de l’ERIH
European Reference Index for the
Humanities.
Présentent des carences
(dénombrement + classement)

13. Les alternatives
Aux BD de référence
Au facteur d’impact des
revues
Au facteur H associé aux
chercheurs
A l’évaluation par les pairs

14. Les BD de référence
Scopus
Scholar Google
DBLP (informatique)
Journalbase (SHS = WOS + Scopus +
ERIH + AERES) env. 10.000 titres sur
21.000 entrées (initiative CNRS/TGE
Adonis - Michèle Dassa & Christine
Kosmopoulos)

15. Facteurs d’impact
Traçabilité des citations : par qui la
publication citante est-elle citée ; par qui la
publication citant la citée est-elle elle-même
citée etc…
Exécution itérative du PageRank de Google
(méthode de la « marche aléatoire »)
Définition de collèges invisibles
Eigenfactor lié au J.C.R. (ISI)
Scimago Journal Rank lié à Scopus
(Elsevier)

16. Réseaux de co-citations
Autre approche des collèges invisibles
Citebase (S. Harnad et T. Brody, Univ.
Southampton) lié au miroir britannique
d’ArXiv
CiteseerX (Pennsylvania State Univ.)
domaines de l’informatique et des
mathématiques appliquées

17. Facteur H

18. Variantes du Facteur « H »
Facteur « G » de Leo Egghe (Univ. Anvers)
Nombre « g » d'articles dont la somme desNombre « g » d'articles dont la somme des
nombres de citations est au moins « g2 »nombres de citations est au moins « g2 »
 un « g-index » de 10 indique que l'auteur a écrit 10un « g-index » de 10 indique que l'auteur a écrit 10
papiers dont la somme des citations est au moinspapiers dont la somme des citations est au moins
de 100de 100
Il est censé remédier au « gel » desIl est censé remédier au « gel » des
publications captées au-dessus de l’indice Hpublications captées au-dessus de l’indice H
en tenant compte du nombreen tenant compte du nombre
exceptionnellement élevé de citationsexceptionnellement élevé de citations
générées par quelques-unes d’entre ellesgénérées par quelques-unes d’entre elles

19. Variantes du Facteur « H »
Multiples facteurs dérivés sous
l’application Publish or Perish de Will
Harzing, liée à Scholar Google, tenant
compte de:
 L’ancienneté de l’article
 Le nombre d’auteurs
 6 combinaisons résultent de l’intersection
de ces deux paramètres

20. Evaluations alternatives qualitatives
A l’origine sur les preprints d’ArXiv
Sur l’article, dans la revue même, type
Open Access : European Geological
Union
Sur des articles publiés dans diverses
revues, par des collèges thématiques:
Faculty of 1000 liée à l’éditeur BioMed
Central

21. Rapporter l’évaluation
GRAAL (Universités)
SIGAPS (C.H.U. et organismes
assimilés de Santé)
CRAC (Compte rendu annuel d’activité
des chercheurs du CNR) restructuré en
BD RIBAC (Recueil d’informations pour
un observatoire des activités des
chercheurs)

22. Rapporter l’évaluation
CNRS : rapport d’activité à 2 et à 4 ans
Fiches UR3 (fiches individuelles
d’activité enseignant-chercheur ou
chercheur concernant les 4 dernières
années)
Fiches AERES
Contrats quadriennaux
Contrats d’objectifs

23. Acteurs de l’évaluation: fonction (1)
Type de tâche effectuée
 Repérage
 Adressage
 Patronymes
 Comptage
 Indices & facteurs
 Impact des revues où publié
 Facteur H

24. Acteurs de l’évaluation: fonction (2)
Restitution
 Avalisée directement (instance
centrale)
 Débattue en conseil
Taux d’occupation
 Unique
 supplémentaire

25. Acteurs de l’évaluation: statut
Corps des Bibliothèques
Ingénieur
Administratif
Enseignant-chercheur
Chercheur
« Autre »…?

26. Acteurs de l’évaluation
Formation à la tâche
Empirique (« tas »…)
Stage court
Spécialisée

27. Acteurs de l’évaluation:
évolution des méthodes
Opportunité de travaux coopératifs
Mutualisation des expériences (groupes de
travail associant les catégories
professionnelles et les domaines
disciplinaires)
Appels de l’OST à enrichir et faire évoluer ses
bases et modèles
Exemple de la coopérative EREFIN (une
vingtaine d’organismes coparticipants, dont
l’OST)

28. Conclusion 1
Soutenir et faire évoluer les
professionnels de l’information-
documentation
Le cas échant, impliquer les SCD pour
mieux les intégrer à l’environnement
universitaire, lorsque la situation s’y
prête

29. Conclusion 2
Moduler, nuancer, faire
évoluer les indicateurs dans
le sens d’une caractérisation
optimale des entités
Compter, certes oui, mais
pourquoi, à quelle fin ?

30. Conclusion 3
Vers un document
« unique » (…?!)
pour l’évaluation ?