L’évaluation par indicateurs dans la vie scientifique :
choix politique et fin de la connaissance par Michel BLay

« Pour la bonne administration d’un pays, il serait évidemment désirable d’avoir, sur l’état de la population, des renseignements mis à jour d’une manière continue. Cela reviendrait à disposer, pour l’ensemble des habitants, d’une « situation journalière » tenant compte automatiquement de tous les mouvements, et analogue à celle qui est dressée dans les corps de troupe ».
Alfred Sauvy, « Le point de vue du nombre « L’Encyclopédie française, tome VII (1936).

Les temps sont à la mesure, à la fabrication de normes, à l’évaluation par indicateurs, c’est-à-dire à la construction de procédures susceptibles de rendre mesurable à des fins de quantification ce qui, a priori, ne l’était pas. Il s’agit là d’une entreprise globale devant s’appliquer progressivement à l’ensemble des activités économiques des hommes, y compris maintenant à celles du secteur public. Il importe donc, d’entrée de jeu, d’en rappeler les motivations et les ambitions avant de considérer plus spécialement les modalités de son introduction dans la vie scientifique universitaire et de la recherche.

1) La Nouvelle gestion publique ou New Public Management (NPM)
La culture dévorante et obsessionnelle de l’évaluation par indicateurs est au cœur de la Nouvelle gestion publique ou New Public Management (NPM) dans la terminologie anglo-américaine . Cette culture constitue en France, principalement avec la LOLF (Loi d’Orientation et Loi de Finance) et le code des marchés, l’un des principaux aspects de la transposition des normes du secteur privé au secteur public, c’est-à-dire de l’extension des manières de penser du monde économique aux institutions publiques. Ainsi se trouvent introduites, par le jeu de ces nouvelles logiques normatives du « management de la performance », des techniques de contrôle (y compris de contrôle-qualité) applicables partout et devenues, d’une certaine façon, une norme mondiale.
La Nouvelle gestion publique repose sur trois moments constituant une sorte de triptyque, un nouveau dogme des « bonnes pratiques » : objectifs – évaluations – sanctions. Il importe, puisque seuls l’efficacité et les résultats doivent être pris en compte, que les objectifs définis soient suffisamment clairs et simples pour donner matière à des procédures de mesure des dits objectifs ainsi que des « performances » réalisées par les « agents » en rapport avec les objectifs qu’ils auront dû faire leurs. Au regard de leurs résultats et évaluations quantitatives les « agents » sont ensuite soumis à un système de sanctions — que souligne l’importance actuelle accordée aux DRH (Direction des Ressources Humaines) — correspondant au type de projet développé (primes, salaires modulés, modifications des horaires, changement de poste, etc…).
Dans ce cadre, la clé de voûte du système repose sur la primauté donnée, sur toute évaluation, à la mesure chiffrée, mesure susceptible d’être présentée comme une caractérisation de l’efficacité. Tout se passe donc comme si l’on introduisait, via les indicateurs de résultats, une sorte de sanction d’un « Marché », là, même, où un Marché n’existe pas. Comment peut-on, en effet, penser aujourd’hui une activité humaine en dehors d’un Marché ? Cela semble impossible et, en tout état de cause, il faut donc singer un « Marché », un « Marché » qui, est devenu comme une sorte de forme naturelle du fonctionnement du monde, un état de fait aussi prégnant que la chute des corps bien qu’il ne soit qu’une construction humaine bricolée à coup d’arrangements en tout genre et débouchant en général, on vient encore une fois de le constater, sur des crises économiques .
Le développement de cette Nouvelle gestion publique, mettant évidemment en concurrence tous les « agents », a des implications en termes de pouvoir. Il est indispensable en effet de construire les indicateurs permettant d’évaluer les performances des « agents ». Qui évalue ? Qui construit les indicateurs ? Existerait-il une sorte d’hommes nouveaux, des maîtres es normes et mesures, que l’on pourrait appeler, avec tout le respect qui leur est dû, les « évaluateurs-par-excellence » ? Il resterait encore la tâche de les choisir, à moins qu’ils ne se reconnaissent entre eux par un signe, un présage ou, plus simplement, par copinage en se nommant les uns les autres, de ministre en délégué, de délégué en sous-délégué, de sous-délégué en caniche de base. Ainsi toute une hiérarchie se met en place dans le champ des services publics suivant un modèle plus ou moins entreprenarial ; et cela, à la grande satisfaction d’actionnaires attendant avec impatience de pouvoir se jeter sur les morceaux rentables externalisés de feue les services publics.

2) Évaluations par mesurages dans la vie scientifique
Depuis quelques années, en conformité avec les exigences réglementaires de la Nouvelle gestion publique, des indicateurs en tout genre fleurissent dans la vie scientifique et intellectuelle. Je dis « dans la vie scientifique et intellectuelle » car, dans ce cas précis, je ne saisis pas clairement ce que l’on se propose effectivement de mesurer et d’évaluer par indicateurs. Ni d’ailleurs ce que l’on peut mesurer : A-t-on jamais mesuré la vie intellectuelle ou l’importance des travaux de Newton, de Kant, d’Einstein ou de Foucault ? Ni même, finalement, le sens exact de ces mesurages. Sur quel type d’échelle, comme par exemple pour les tremblements de terre, placera-t-on Newton, Kant, etc… et les malheureux enseignants-chercheurs d’aujourd’hui ?
Essayons d’y voir plus clair. Souhaite-t-on mesurer la science ou la connaissance en tant que telle, voire son accroissement ? Il faudrait alors posséder de ces notions des définitions claires et simples à partir desquelles il serait possible de dégager ou de construire des concepts quantitativement exprimables susceptibles d’être soumis à la mesure. Que signifie mesurer ? Sans entrer dans des considérations trop techniques concernant ce qu’il faut comprendre par ce terme, on rappellera cependant que la variable considérée (par exemple la production de charbon) doit être associée à un concept quantitativement exprimable (par exemple la masse de charbon) correspondant à une grandeur mesurable — c’est-à-dire satisfaisant aux conditions formelles de la mesure : a) définir à l’aide d’une procédure effective (par exemple physique) à l’intérieur d’un domaine d’objets et relativement à la grandeur considérée, deux relations d’antériorité et de coïncidence permettant d’instaurer entre ces objets un ordre sériel (on peut classer ainsi les masses) ; b) définir, toujours à propos de la même grandeur et dans le même domaine d’objet, une opération effective (par exemple physique) additive satisfaisant aux propriétés formelles de l’addition arithmétique (ce qui revient pour l’essentiel à définir une unité de mesure, une masse devenant alors tant de fois l’unité de masse). Lorsque la condition « b » n’est pas satisfaite, seul un classement est construit, et les événements sont placés sur une échelle.
Dans le cas qui nous occupe présentement, la procédure ne va pas de soi car la conception même de ce qui doit être mesuré, à savoir la science, n’est pas l’objet d’un consensus bien partagé.
Ainsi, loin d’être défini comme le suggère par exemple René Descartes, par l’idée de la « connaissance de toute chose », elle semble bien plutôt, de nos jours, accommodée à toutes les sauces. On ne sait plus très bien ce qu’il faut en penser, sauf que, sans doute, il y a de la science lorsqu’il y a des mathématiques, des laboratoires et de nos jours des ordinateurs, une bonne rasade d’Internet et souvent des profits économiques. Mais cela est-il suffisant pour caractériser la science, d’autant qu’il n’est pas sûr qu’il ne faudrait pas parler plutôt « des » sciences ? Ou bien encore, comme certains le suggèrent, de sciences « dures » et de sciences « molles » en considérant, comme allant de soi, que les sciences dures sont précisément celles qui s’accordent le mieux avec la pseudo définition que j’ai rappelée ci-dessus.
Faut-il donc tenir pour « mou » — ce qui est dans ce contexte très dévalorisant — toute activité de l’esprit qui ne reposerait pas sur des procédures calculatoires, de gros laboratoires, des ordinateurs et un bon retour sur investissement, etc… ? Le souci de la rigueur et de l’exigence intellectuelle du pur mathématicien, de l’historien, de l’archéologue, du théoricien de la littérature, du philosophe, etc… ne serait-il qu’un mol amusement, un doux divertissement et, finalement, seulement un trou dans les budgets ?
Il importe donc de s’interroger à nouveau sur la définition, le sens et les valeurs qui font la science. À cette fin, pour clarifier d’entrée de jeu la discussion, je poserai que la science, celle de notre époque comme celle des Grecs anciens ou des Arabes, est essentiellement recherche de la vérité, visée de connaissance et, qu’en cela, elle repose sur une démarche intrinsèque d’approfondissement, de transformation et de clarification des principes et des concepts. Rien, en droit, ne peut échapper au questionnement. La science ainsi définie a donc, évidemment, partie liée avec la liberté et cette dernière a parfois été payée au prix fort.
Par cette définition, la science se reconnaît à nouveau clairement comme science, c’est-à-dire comme un travail de l’humanité s’accomplissant dans l’exigence intellectuelle et dont l’horizon est la vérité.
Sans doute ce n’est pas la même voie, les mêmes tours et détours dans lesquels s’engagent, par exemple, au cours des siècles, le mathématicien ou le physicien, et en cela on doit plutôt parler des sciences avant de parler de la science, mais, dans un cas comme dans l’autre, c’est bien la visée de vérité qui seule permet de définir un concept de science ; un concept de science n’excluant pas, a priori, ce que certains classent dans le « mou » confondant alors l’usage des formules mathématiques, le rôle des gros appareillages et l’importance des subventions avec les enjeux véritables de l’exigence intellectuelle .
Comment donc mesurer, au sens précis du terme, cette science ou cette connaissance comprise comme exigence intellectuelle et visée de vérité ? Une procédure directe apparaît très hasardeuse voire absurde. Il faut donc abandonner l’idée de mesurer la connaissance ou son acquisition en tant que telle, c’est-à-dire abandonner l’idée de mesurer ce qui constitue le sens même d’une activité intellectuelle exigente. Que faire ? Que mesurer ?

3) Connaissance et production mesurable
Une autre voie s’offre à l’analyse en substituant la notion de « production de science ou de connaissances » à celles de sciences et de connaissances. On perçoit bien qu’en introduisant le terme de « production » on détermine une orientation quantitative. Ne parle-t-on pas couramment de la production de tant de tonnes d’acier, de charbon, de pétrole, etc… Mais, que signifie l’expression « production de sciences ou de connaissances » ? Dans le cas de la production de charbon, il est possible d’élaborer une procédure de mesure à partir de la définition de la mesure que nous avons introduite précédemment en associant à la « production de charbon » le concept quantitativement exprimable de « masse » ; la production de charbon sera dès lors de tant de tonnes et les productions pourront être classées voire additionnées.
Comment mesurer la « production scientifique » ? Quelle est la grandeur mesurable, comparable à la masse, susceptible de fournir les éléments quantitatifs pour construire une échelle de ladite production ? Sur quels matériaux est-il possible de travailler effectivement ?
La réponse est simple. En effet : qu’est-ce qui est mesurable dans la production scientifique ou dans celle des connaissances en faisant corrélativement l’impasse sur la science et la connaissance proprement dite ? Eh bien, le nombre d’articles publiés, le nombre de citations de chaque article dans tel ou tel autre article, le nombre de brevets, de prix Nobel dans telle université, d’ordinateurs dans tel laboratoire, de souris dans tel fond de placard, de jeunes ou de vieux, d’hommes et de femmes, etc… La liste est sans fin car tout, peut-être, en droit considère comme signifiant, comme constituant un critère pour mesurer tout et n’importe quoi .
C’est d’ailleurs bien ainsi, en privilégiant la publication d’articles et les citations d’articles, que l’on opère pour fabriquer les nombreux indicateurs, que ce soient les inénarrables facteurs d’impacts reposant sur les bases de données bibliographiques aléatoires de Google ou le classement de Shanghai des Universités qui plait tant à nos ministres, malgré les multiples critiques qui ont été formulées à son adresse de part le monde soulignant qu’il repose sur des données aussi sommaires que discutables .
La construction d’indicateurs n’est pas nouvelle ni bien originale. Depuis presqu’un demi-siècle des travaux méthodiques ont été engagés. Ils montrent qu’il est toujours très incertain et contingent de vouloir rendre compte de phénomènes sociaux et a fortiori individuels exclusivement en termes de catégories, de nombre ou d’échelle. Qu’à cela ne tienne, le mesurage, aujourd’hui, se développe et s’amplifie ; la Nouvelle gestion publique doit s’imposer en dehors de toute rationalité.
4) Le classement des revues au cœur de la Nouvelle gestion publique
Considérons donc, par exemple, le classement des revues. Il constitue, comme nous allons le voir, un enjeu central dans le développement du système universitaire ainsi que dans la mise en place corrélative de la Nouvelle gestion publique.
Afin de mesurer la « production scientifique » on peut, comme nous l’avons indiqué précédemment, considérer, en particulier, le nombre d’articles publiés ou le nombre des citations de tel article dans tel autre article. Cependant cette procédure ne vaut et ne permet un étalonnage des articles qu’à la condition préalable qu’un classement bien normé des revues ait été réalisé. Le nombre des revues étant considérable il faut d’abord les sélectionner puis les répartir en grandes catégories. Un tel travail a été effectué au niveau européen, dans la perspective du développement du Marché dit de « l’ économie de la connaissance », puis diffusé pour validation dans les diverses régions dépendant de Bruxelles : l’Allemagne, la France, l’Angleterre, etc… .
Observons de plus prés la procédure. Elle résulte d’une initiative émanant de l’European Science Foundation (ESF) qui a construit un European Reference Index for the Humanities (ERIH). Cet index se présente comme une tentative de classement des revues consacrées, dans le cas présent, aux humanités. L’ESF y propose une répartition en trois grandes catégories A, B, C qui « aims initially to identify, and gain more visibility, for top-quality European Humanities research published in academic journals in, potentially, all European languages ». Et, en conséquence il est souhaité que l’ERIH « will form the back bone of a fully-fledge research information system for the Humanities » (cf. infra note 8). Il apparaît donc que l’ESF à travers l’ERIH vise à déterminer et à sélectionner un certain nombre de revues qui, en raison de ce qui est conçu comme l’excellence par l’ESF, seront très largement soutenues.
Les revues classées en A sont donc de première qualité ; puis viennent celles classées en B et C. Les autres, car il y en a beaucoup d’autres, qui n’apparaissent pas dans le classement, deviennent sans existence scientifique et finiront par être vendues sous le manteau. Il va de soi, corrélativement, que les meilleurs chercheurs et enseignants-chercheurs seront ceux qui publieront dans les revues de catégorie A. Ceux qui, inconscients des nécessités de leurs belles carrières, se risqueraient à publier dans une revue non classée, seraient bien vite assimilés à des non-publiants. En France, poursuivant une démarche engagée depuis plusieurs années par le Ministère, l’Agence d’Évaluation de la Recherche et de l’Enseignement Supérieur (AERES) est, d’ailleurs, en train de définir à partir des classements de l’ERIH les groupes de chercheurs publiants et non-publiants .
Cela étant, l’initiative prise par l’ESF pêche tant du point de vue de sa conception que de celui de son exécution. Les revues dans les domaines considérés ont été choisies par des comités de quatre à six personnes . Ces comités ne sont en aucun cas représentatifs à moins de les considérer comme formés par les « experts-par-excellence » dont nous avons parlé plus haut. Ces comités ont été, en effet, constitué sans consulter les diverses organisations représentatives habituelles des disciplines ni les instances nationales reconnues. Ce n’est d’ailleurs qu’en juin 2008 que les responsables des revues furent informés de leur classement ou rejet sans qu’aucune demande d’information concernant les revues qu’ils dirigent ne leur ait été adressée à un moment ou à un autre. La procédure est donc d’une opacité qui, sans surprendre, étonne néanmoins.
En outre, la qualité d’une revue n’est pas indépendante du contenu de chaque article et du processus par lesquels les articles sont sélectionnés. En un mot, les connaissances produites ne peuvent pas être évaluées à partir de leur seul support et de son classement, mais à partir de la lecture effective, collégiale et contradictoire, de chaque article . Cela peut paraître évident à un quidam, mais ne semble pas l’être pour les experts de l’ESF. L’ESF confond, par ailleurs, dans le classement ERIH, la diffusion internationale favorisée par l’usage de l’anglais en deux cents mots avec la qualité intrinsèque des articles dans les autres langues y compris en anglais réel. Une telle démarche est extrêmement néfaste pour le développement de la science et des connaissances principalement dans les humanités. En privilégiant un groupe de revues, à partir de critères et d’une méthode opaques, se trouve exhibé, de fait, un savoir standardisé et figé, un savoir officiel, orientant recrutement, promotion, mobilité et choix budgétaires, tandis que les travaux originaux ne se pliant pas nécessairement aux règles imposées ne pourront plus être publiés si ce n’est dans des revues « off » qui auront eu la chance, peut-être, de survivre.
Des normes, un savoir réglementé, des publications bien hiérarchisées pour hiérarchiser les publiants ; autant d’éléments qui tissent une toile bien serrée autour des chercheurs et des enseignants-chercheurs. La mise au pas de la recherche et le développement technico-administratif du pilotage se déploient donc sous les bienveillants auspices de la Nouvelle gestion publique et du Marché de l’« économie de la connaissance ».
5) Vers une nouvelle science d’État en France ?
Depuis quelques années et plus ouvertement au cours de ces derniers mois, le pilotage, en France, a pris la forme d’un dirigisme quasi obsessionnel sans rapport avec ce qu’on pourrait appeler les grandes orientations de la recherche nationales. Au sens le plus fort du terme c’est ce qu’habituellement on dénomme la liberté ou l’autonomie académique qui se trouve menacée et attaquée .
On a assisté, en effet, à la création successive d’agences administratives indépendantes — indépendante de quoi puisque tous les membres en sont nommés par le pouvoir en place ou ses représentants — indépendantes plutôt de la communauté scientifique réelle et vivante ! Les créations donc de l’Agence Nationale de la Recherche (ANR) et de l’Agence d’Évaluation de la Recherche et de l’Enseignement Supérieur (AERES) ont comme pris en tenaille la production scientifique. Le rôle de ces agences s’inscrit, à l’évidence, dans le cadre de l’installation généralisée de la Nouvelle gestion publique européenne et cela avec un remarquable dynamisme en France : le pouvoir fixe des objectifs largement finalisés, répercutés ensuite dans les appels à projets de l’ANR (corrélativement les dotations régulières accordées chaque année aux laboratoires pour le travail de fond et l’innovation réelle diminuent ) ; puis l’AERES évalue les travaux effectués dans les laboratoires et les Universités en relevant, entre autres, le taux de réussite aux appels d’offre de l’ANR et en s’appuyant sur les fameux indicateurs bibliographiques normalisés par l’AERES elle-même. La boucle est bouclée et l’on voit ainsi se dessiner en France une sorte de science d’État assez originale, pour ne pas dire plus, parmi les pays occidentaux.
*
* *
Le science ou la connaissance comme exigence intellectuelle et visée de vérité, apparaît bien illusoire au regard du développement actuel intensif de l’évaluation par indicateur. Une évaluation, qui plus est, assujettit la liberté et la créativité de chacun via la Nouvelle gestion publique au pseudo marché dénommé avec beaucoup d’emphase « économie de la connaissance » .
Dans ce triste environnement « la vie de l’esprit », pour reprendre une expression chère à Hannah Arendt, se trouve comme réduite et assimilée au comportement d’un chien de Pavlov pour lequel, dans le cas présent, les indicateurs se substitueraient aux fameux stimuli électriques. La connaissance, quant à elle, vidée de son sens, est remplacée par le mesurage du nombre des articles et de leurs citations sans égard réel, si ce n’est pour faire « chic », à leur contenu.
Comment dans un tel contexte s’étonner que la science comme la connaissance ne suscite plus d’enthousiasme et de vocations ? qu’elle ne soit plus comprise, fasse peur et laisse place à toutes les croyances les plus rassies ? L’obscurantisme camouflé à coup de statistiques serait-il l’horizon de la pensée moderne ?