17. : Acte 3 : « Evaluer les revues » ou « l’anarchie bibliométrique » « Evaluer les revues ». Oui mais ... Avec qui ? Comment ? Sur quelles bases ? Avec quels objectifs ?
18. Discipline Liste? Etablie par qui ? Selon quels critères ? Droit Non mais Des « experts » ... "gouvernance" éditoriale de la revue =5 points; Diffusion et visibilité de la revue = 3 points; qualité scientifique de la publication (critère 3) = 12 pts ;originalité scientifique (il faut satisfaire deux des trois sous-critères suivant) ... Une classification en trois groupes : A (supérieur à 15 points), B (entre 7 et 14 points), C (inférieur à 7 points) Psycho Oui "La commission conjointe AERES/CNRS/CNU (...), en présence du représentant de l’AERES, a établi une première classification des revues de psychologie (...) proposée aux comités d’évaluation de l’AERES, aux responsables des unités de recherche (UMR et EA) et à la communauté des enseignants-chercheurs et chercheurs en psychologie. » Economie Oui après concertation avec plusieurs instances celle proposée par le comité national de la recherche scientifique (section 37). ScPo Oui mais 2 représentants de l’Aeres ; 2 représentants du CNU section 04 ; 2 représentants de la section 40 du Comité national du CNRS ; 2 représentant de l’AFSP ; 2 présidents de comités de visite Aeres ? Socio Oui avec le concours d’une vingtaine d’experts Puis réunion avec «les représentants de la direction SHS du CNRS qui avaient de leur côté procédé à un travail similaire et les représentants de l’AERES. » en prenant pour point de départ le travail initial réalisé par le CNRS en 2004. Sc Edu Oui mais "Déclaration commune Présidents des Comités de visite AERES et de la Présidence et Vice-Présidence du CNU (Sciences de l’Education 70e section) » s'est faite dans la douleur et sans l'assentiment des parties prenantes (sauf l'AERES) ? Philo Oui mais "Il s’agissait, de façon toute provisoire, d’établir un outil destiné aux comités d’évaluation de l’AERES (...)",, "Cette liste est donc publiée à titre d’essai, et munie d’un certain nombre de précautions d’usage" " Il s’agissait également de reprendre les listes ERIH, déjà utilisées par certains évaluateurs, et fréquemment contestées ( ...)" Arts lettres langues et sociétés cultures étrtangères Non Commission composée des Présidents des Sections 11 à 15 du CNU, de Présidents de comités de visite, du représentant du CNRS et d’autres personnalités, a confirmé sa décision de 2008 de ne publier aucun classement de revues sur le site de l'AERES . (...) L’absence de liste officielle de l’AERES ne signifie aucunement que ces travaux ne sont pas reconnus par l’Agence. ? *Anthropo, *Géographie *Linguistique, *Histoire Oui ? Staps, Langues et cul régio Non ? ?
19.
20.
21.
22. La SFSIC, les sciences, la société Quel est le rôle d’une société savante en SIC ? Quel positionnement ? Et quelle lisibilité/visibilité pour ce positionnement ?
Pas membre du CNU. Pas rapporteur de l’AERES. Pas de mandat syndical. Pas de mandat politique. Démissionnaire de son seul mandat (anciennement) électif : commission de spécialiste de l’université de Nantes au moment de la bascule vers les « comités de sélection » http://affordance.typepad.com/mon_weblog/2008/06/lru-comits-de-s.html McF. Dans un « petit IUT de province » ET avec un blog (carnet de recherche) assez visible sinon reconnu ( www.affordance.info ) (ET qui ne s’interdit pas des prises de position « politiques ») D’où « notoriété » relative. D’où écho de mes prises de position individuelles : http://affordance.typepad.com/mon_weblog/2008/10/la-71me-section.html D’où invitation. d’A. Kiyindou.
Je ne suis pas un héros (comme le chantait Daniel Balavoine) Tout petit sentiment d’inconfort ...
22 Janvier 2009 : Discours du président de la république : recherche et chercheurs « non-évalués », excellence est « l’arbre qui cache la forêt » 1 Mars : Fronde à l’AERES (« nous, délégués scientifiques ... » Nous, délégués scientifiques à l’Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur (sections des unités de recherche et des formations), signataires de ce texte, tenons à témoigner notre désaccord avec les proclamations et contre-vérités entendues récemment concernant l’évaluation de la recherche. Nous affirmons, en particulier, qu’il est injuste et sans fondement de répandre l’idée que la recherche n’aurait jamais été évaluée en France, voire que les enseignants-chercheurs refuseraient toute évaluation : cela révèle une profonde méconnaissance du fonctionnement de la communauté scientifique. http://universitesenlutte.wordpress.com/2009/03/01/fronde-a-laeres/ Affichage d’un discours managérial insipide, creux, caricatural, qui fonctionne presque comme sa propre parodie : « Manager la qualité de la recherche » : « C’est une culture du management de la qualité qu’il convient d’instaurer. La stratégie, la politique et les procédures visant à l’amélioration continue de la qualité doivent avoir un statut officiel au sein des établissements et des organismes. Plus autonome, chaque université doit prendre en main sa politique et les moyens de sa mise en œuvre, et, d’une logique de moyens, elle doit passer à une logique de résultats. Chacune doit pouvoir mesurer sa performance, assurer et manager la qualité de sa recherche et de son offre de formation et les situer au plan international. » Edito de JFD http://www.aeres-evaluation.fr/Edito Résultat : « La structure mise en place, l’AERES [5], est composée uniquement de personnes nommées, n’évaluant que les structures. L’objectif qui lui est assigné n’est pas d’en évaluer les forces et les faiblesses, d’identifier d’éventuels dysfonctionnements, et de proposer de possibles améliorations ou réorientations, mais de les classer afin de pouvoir par la suite punir ou récompenser. L’AERES ne sert pas la recherche et l’enseignement supérieur, elle sert une politique de tri sélectif qui tient lieu de politique scientifique. » Alain Trautmann (et al.) http://www.sauvonslarecherche.fr/spip.php?article2591
ERREUR n°3 : Un problème de forme Communication calamiteuse ... Exemples : Liste des revues classées publiée sur le site de l’AERES le ... 28 Juillet 2008, ce qui est effectivement une date idéale pour créer le débat ... Loyer le plus cher : AERES : 6 ème du top 10 des loyers parisiens de l’état (rapport du sénat : http://www.senat.fr/rap/r08-510/r08-5102.html ) Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)v 3.003 m2 2,1 millions loyer annuel 695,6 euros/m2 Déclarations sexistes de JF Dhainaut en réponse à une question sur la parité : le pouvoir est une affaire masculine d’une part et, d’autre part, « les femmes en plus de leur métier doivent s’occuper de la maison, des enfants. Elles n’ont donc pas de temps à consacrer à l’Aeres ». http://www.sauvonsluniversite.com/spip.php?article1281 14 Octobre, Le Monde publie le classement des facultés de médecine ... 6 Novembre 2009 : « En effet, indique l'Aeres, pour déterminer la moyenne des résultats aux épreuves de l'examen classant national (ECN) pour les trois années 2006, 2007 et 2008, les résultats de l'année 2008 avaient été pris en compte deux fois, en omettant ceux de 2007. » Crédibilité ... Recul démocratique : tous les membres de l’AERES sont nommés ... Analogie avec les comités de sélection ... « Pourquoi les commissions d’experts ne sont-elles composées que de nommés et ne comportent aucun élu ? » JFD « de toute façon, cela ne faisait pas de différence que les experts soient nommés ou élus ». « l’absence de règles pour la nomination des comités AERES. L’un des deux comités où il a été évaluateur était composé de membres d’une discipline bien adaptée au laboratoire à évaluer, l’autre de membres de plusieurs disciplines possédant des conceptions différentes d’un laboratoire, d’où un dialogue de sourds. » (source : http://www.afs-socio.fr/ i n Etats Généraux de la sociologie, Congrès AFS, le 15.04.2009 Non-sense à l’anglo-saxonne : Quel sens à une agence gouvernementale à l’heure du crédo de l’autonomie ?? RESULTAT : Non-concertation / improvisation / différences abyssales de traitement entre les différents champs qui dé-légitime toute logique d’harmonisation (pourtant si nécessaire) : je précise que je ne parle ici QUE de la partie « classement des revues et évaluation des labos de l’AERES » (mais on pourrait aussi parler de l’évaluation des Formations ...
ERREUR n°4 : Un problème de projection Quid de l’Open Access ?? Des archives institutionnelles ? Des archives ouvertes ? (Mercredi, à Berlin7 (Sorbonne), Collet a apporté signatures de 9 universités françaises : -http://houpier.blog.uhp-nancy.fr/2009/12/02/berlin7-cest-maintenant/ Quid des nouvelles webmetrics (download count, etc ...). Sentiment que rien ne s’est passé dans le champ de la bibliométrie depuis Garfield. OR indicateurs bibliométriques n’ont JAMAIS été aussi SCIENTIFIQUEMENT contestés (dérives factuelles, fraudes systématiques, biais de plus en plus fréquents) et nouveaux indicateurs (ceux de l’écosystème du web contributif), nvelles métriques par ailleurs bien plus en phase avec la « part sociale » de la recherche Un numéro entier de la revue Ethics in science and environmental politics y est consacré : http://www.int-res.com/abstracts/esep/v8/n1/ Mais il est vrai que cette revue n’est pas dans la liste de l’AERES ... ERREUR n°5 : Un problème de vision politique Le modèle bibliométrique « vendu » par l’AERES a été abandonné depuis longtemps par tous les pays qui trustent les premières places du classement de Shangaï Des modèles innovants existent : "UK Research Assessment Exercise 2008" (évaluation nationale de la recherche au Royaume-Uni), programme dans lequel "a full spectrum of metrics can be jointly tested, field by field, against peer rankings. » http://www.rae.ac.uk/ http://www.eerqi.eu/ projet européen comme EERQI (European Educational Research Quality Indicators). Porté par l'université de Hambourg, ce projet réunit une vingtaine de partenaires (universités, centres de recherche, associations de chercheurs, éditeurs universitaires et commerciaux), sous la coordination d'Ingrid Gogolin, par ailleurs présidente de l'Association européenne de recherche en éducation (EERA). EERQI vise à définir et mettre en ouvre de nouveaux indicateurs et de nouvelles méthodologies d'évaluation de la qualité des publications de recherche dans le domaine de l'éducation, en vue d'offrir une alternative européenne aux mesures d'impact de citations actuelles (Social citation index, par exemple), mal adaptées à la réalité de la recherche en SHS. Bénéficiant d'un financement du 7e Programme Cadre européen de Recherche et Développement, ce projet illustre la volonté politique de la Commission européenne de traiter ces questions d'évaluation scientifique multilingue, en opposition aux bases d'indexation et aux classements commerciaux. EERQI devrait déboucher sur la mise en place d'un prototype recourant largement à l'analyse sémantique des textes, permettant l'évaluation des productions de recherche au sens large (revues, monographies, littérature grise, archives ouvertes, documents électroniques...), dans une perspective multilingue (anglais, allemand, français et suédois pour commencer).
Traduisez : à NOUS, à NOTRE communauté scientifique d’en établir (des listes fiables)
Pour les revues en SIC je laisserai mes 2 débatteurs vous expliquer comment la liste a été produite, mais voici un petit tableau expliquant cela pour d’autres champs scientifiques, pour d’autres listes de revues ...
Problème de « l’espace de publication » : revues de rang A sont (déjà) et seront (encore davantage) : Au mieux assiégées par jeunes chercheurs Au pire squattées par qques mandarins ou « amis » ou « doctorants » du comité éditorial (appels à comm. Invisibles ...) Tout n’est pas de la faute de l’AERES ;-) revues devraient expliciter leur mode de fonctionnement, publier la liste de leurs experts chaque année le cas échéant, Accélérer les processus d’expertise Limiter la cooptation Faire obligatoirement « tourner » les comités éditoriaux (non-cumul des mandats ?) Ces critères, classements, labellisations sont particulièrement problématiques : À l’heure où les frontières disciplinaires sont en pleine reconfiguration (les biologistes ne lisent et ne publient heureusement pas que dans des revues de biologie) Pour les champs disciplinaires inscrits dans des périmètres de savoir à expansion constante (dont les SIC) Pour les champs disciplinaires dans lesquels les « articles » ne représentent qu’un faible % des publications du champ « La part des articles dans les sciences sociales est ainsi estimée entre 45 et 70 % alors qu’elle tombe entre 20 à 35 % dans les humanités [ARC 04]. » Problème de périmètre : Les bonnes réponses et solutions (sur le classement des revues) sont très probablement à chercher dans l’espace européen de la recherche « Publish or Perish » « Publish HERE or Perish EVERYWHERE ELSE. »
Plus globalement, l’épopée de la liste des revues en SIC et les méthodologies à l’œuvre pose le problème du rapport entre science et société. Face à la crise universitaire de l’année dernière, devant les attaques qu’à subi l’AERES, dans le contexte actuel de l’évolution des carrières et des statuts, le rôle d’une société savante est-il de prendre une « position » ?? Juste un exemple ...