15-01-2018

 | A LA UNE

Quelques particularités du discours du PISA

On peut, sans risque de se tromper, avancer que rares sont aujourd’hui les débats sur le niveau des élèves qui ne comportent pas de références plus ou moins explicites aux évaluations internationales. La plus célèbre et la plus souvent citée est le Programme international de suivi des acquis des élèves (PISA), dont les enquêtes évaluent, depuis 2000, le niveau de compétences des élèves de 15 ans, sous l’égide de l’Organisation de coopération et de développement économiques (OCDE). Mais qu’évalue réellement PISA, et est-il effectivement un modèle de rigueur, de scientificité et de pertinence ? Rien n’est moins sûr… Daniel Bart et Bertrand Daunay Université de Lille, Théodile-CIREL

Article dans le dossier de RC24 de Daniel Bart, Bertrand Daunay Université de Lille, Théodile-CIREL.

« L’initiative la plus complète et la plus rigoureuse qui ait été entreprise à ce jour pour évaluer le niveau de compétence des élèves [1] »

Les publications des résultats de cette évaluation internationale donnent bien souvent lieu à des gros titres alarmistes sur la « baisse » du niveau des élèves en compréhension de l’écrit ou la « médiocrité » du classement de la France en mathématiques dans ce palmarès. On a pu encore s’en rendre compte lors de la restitution des résultats du cycle 2015 du PISA, le 6 décembre 2016. Cette tendance à faire écho aux résultats de ce programme s’observe même dans le champ scientifique : citons comme seul exemple, parce qu’emblématique, Baudelot et Establet [2], qui se sont saisis des données du PISA en approuvant sans réserve sa méthodologie et ses résultats [3]. Nous aimerions ici interroger les raisons – et les déraisons – du succès de cette entreprise, qui en a fait une référence quasi-obligée des discours sur l’école et sur le niveau des élèves.

Un discours d’autorité

Chaque présentation des résultats d’un cycle d’enquête du PISA, tous les trois ans, donne lieu à nombre d’articles, discussions, ouvrages, discours publics dans les milieux politiques, professionnels, scientifiques et médiatiques dans le monde entier. Cette diffusion large des résultats du PISA, qu’aucune autre évaluation internationale n’avait connue jusque-là, est l’un des signes manifestes du succès de ce programme, qui se présente – et est souvent présenté – comme une référence mondiale en matière d’enquête comparative sur le niveau des élèves.

Un autre signe de la réussite du PISA et du crédit dont il bénéficie est le nombre croissant de pays participants : le premier cycle du PISA en 2000 avait été conduit dans 43 pays (dont les 34 pays membres de l’OCDE) tandis que le PISA 2018 est annoncé dans 81 pays. On peut voir dans cette évolution une conséquence des qualités prêtées à ce programme (robustesse de sa méthodologie, richesse de ses résultats, etc.) et de la puissance institutionnelle, scientifique, éditoriale et communicationnelle de l’OCDE. Mais on peut y voir également l’effet de certaines des modalités de fonctionnement du PISA, comme ses palmarès ou sa périodicité triennale, qui lui assurent une présence quasi permanente sur l’agenda politico-scientifique mondial... et dans les incessants débats sur le niveau des élèves.

Ce développement du PISA a néanmoins soulevé des discours critiques abondants et diversifiés, de la part de journalistes, politiques, militants ou chercheurs. Parmi ces derniers, certains ont pu questionner globalement la faisabilité ou le principe même de telles évaluations, voire leur portée néfaste sur les politiques publiques. D’autres ont pu analyser dans le détail les problèmes posés par certains des principes du PISA comme le choix d’évaluer le niveau d’élèves sur des contenus qui ne sont pourtant pas directement référés à des programmes d’enseignement mais à des ensembles de compétences plus ou moins génériques en compréhension de l’écrit, culture mathématique ou scientifique. D’autres encore ont mis en discussion ses choix méthodologiques, comme le fait d’évaluer des élèves en fonction de leur âge et non en fonction de leur appartenance à un degré de scolarité donné : pour prendre un exemple, quelle réalité scolaire représente en France la proportion de ces élèves de 15 ans qui atteint les niveaux les plus élevés en compréhension de l’écrit (en augmentation entre 2009 et 2015) et celle restée stable des élèves évalués aux plus bas niveaux [4] ? À quels types d’établissement les rattacher (collège, lycée professionnel, agricole ou d’enseignement général et technologique) ? Dans quelles classes sont-ils (4e, 3e, 2nde, 1re) ? De quel cursus d’enseignement bénéficient-ils ?

La littérature théorique sur le PISA ne manque pas de questions de cet ordre, qui interrogent la pertinence des comparaisons (entre pays ou entre groupes d’élèves) des niveaux de compétence que propose le PISA. À ces questions, centrales pour les acteurs et décideurs du système scolaire, le lecteur intéressé ne trouverait vraisemblablement pas de réponse en se tournant vers les écrits du PISA : quelles que soient l’importance et la récurrence des questionnements ou la vivacité des polémiques que certains ont pu générer, le PISA ne leur donne en effet qu’une place mineure. Contrairement aux pratiques habituelles du débat scientifique, on ne trouve quasiment jamais, dans les rapports écrits du programme, de discussions argumentées au regard des questions posées par ces auteurs critiques. Sans doute à ce titre le PISA est-il fondé à se considérer lui-même comme « l’initiative la plus complète et la plus rigoureuse qui ait été entreprise à ce jour pour évaluer le niveau de compétence des élèves » : de fait, une fois gommées les controverses et écartés les contradicteurs, reste un discours en roue libre qui peut se parer des vertus de la certitude !

C’est précisément au fonctionnement du discours du PISA que, dans un livre récent [5], nous avons choisi de nous intéresser. Car, au-delà de cette étrange autosatisfaction proclamée sur un mode d’évidence, le discours du PISA ne manque pas de curiosités.

Un discours peu soucieux des normes académiques

Nous ne pourrons donner ici que quelques exemples pour illustrer la surprise qui peut saisir tout lecteur attentif des écrits du PISA. Comme on vient de le voir, ses concepteurs proclament la rigueur, inégalée à ce jour, de leurs enquêtes, se targuant de les mener dans le plus strict respect des normes de scientificité – ce que, d’ailleurs, lui reconnaissent nombre de spécialistes, en raison du soin accordé à la construction des échantillons de l’évaluation ou dans le traitement statistique des résultats. On a vu pour autant que le PISA ne se soumettait pas vraiment aux canons habituels de la discussion scientifique, qui donne la parole à une voix contradictoire et argumentée ; il suffit, pour le constater, de se pencher sur l’extrême parcimonie et le très faible empan disciplinaire des références bibliographiques citées par le PISA.

Plus encore, un lecteur attentif des écrits du PISA observerait que ce programme ne s’embarrasse pas non plus d’une autre norme académique élémentaire qui veut que l’on signale tout discours répété : nombre de passages sont ainsi reproduits d’un rapport à l’autre, sans indication de source. Cela, il est vrai, présente deux avantages : un discours de présentation d’une « découverte » faite dans une enquête, répété à l’identique à quinze ans d’intervalles, peut apparaitre à chaque fois comme une nouveauté ; et un même discours, ramené à une forme de canevas ou de structure vide, peut être utilisé, selon les nécessités, pour des contenus divers, au prix de menues variations.

Cette logique de l’emprunt et de la paraphrase – non signalés – est peut-être à ramener à l’économie générale du discours du PISA : ce programme se caractérise en effet par la profusion de sa production écrite. Pour en avoir une idée, il suffit de savoir que l’ensemble des résultats du PISA 2015 est annoncé à travers la diffusion de cinq rapports, dont les deux premiers représentent déjà plus de 1000 pages ; la tendance est, on le voit, inflationniste : la collection des six tomes consacrés au PISA 2012 comptait environ 2500 pages, quand le rapport relatif à la première édition (2000) avait été publié en un seul volume de 343 pages… Et encore ne s’agit-il ici que des versions françaises, il faudrait compter aussi avec les rapports disponibles uniquement en anglais. Le lecteur curieux de cette littérature aura donc bien du courage – ce qui ne déplairait pas au paternalisme de commisération du PISA, à moins qu’il s’agisse de sa part d’une stratégie de découragement ; du reste, notre étonnement permanent à la lecture du discours du PISA nous fait penser qu’un grand nombre de ceux qui en parlent à longueur d’articles ou d’ouvrages ont dû se contenter des résultats ou des résumés que le PISA propose, sans entrer dans le détail des écrits eux-mêmes, qui empêcherait tout lecteur de bonne volonté de prendre au sérieux un tel discours…

Un discours banal

Une des autres particularités du discours du PISA que nous voudrions illustrer ici est sa prétention à l’originalité de sa démarche. Selon le PISA en effet, sa méthodologie se distinguerait à la fois des programmes internationaux d’évaluation antérieurs et des pratiques supposées ordinaires de l’école par le fait d’évaluer les élèves non pas sur leur niveau de maitrise de tels ou tels contenus de savoir mais sur des domaines de compétences considérés comme nécessaires pour pouvoir comprendre et agir dans le monde, se développer et contribuer à la vie collective, pour reprendre des termes du PISA. L’innovation du programme serait d’évaluer si des élèves proches de la fin de la scolarité obligatoire sont prêts à affronter à l’avenir les défis professionnels, sociaux ou citoyens de la « vie réelle ».

Sans nous étonner de l’absence d’explication rationnelle à la possibilité d’un tel exercice de divination, arrêtons-nous sur cette « vie réelle » que le PISA prétend approcher en mettant en œuvre des situations de tests « authentiques » ou « quasi authentiques ». Tout acteur de l’école sait qu’avec cette proclamation d’« authenticité » et de proximité avec la « vraie vie », le PISA reprend en fait une idée typique des programmes scolaires, que l’on retrouve dans plusieurs pays tout au long du XXe siècle, ce qui fragilise la proclamation d’innovation par rapport à l’école constamment répétée dans les textes du PISA. Et, de fait, il n’y a pas de surprise à observer, à lire minutieusement les exercices rendus publics (tous ne le sont pas encore), qu’ils comportent en fait tous les traits de l’authenticité factice caractéristique des tâches scolaires ! Un habitué du morceau choisi accompagné de son questionnaire en français ou de la pièce à carreler en mathématiques ne se sentira pas dépaysé par la présentation des exercices du PISA, les contextes et situations proposés, les questions posées ou les corrections envisagées.

C’est ce qui explique probablement pourquoi les élèves testés dans le programme peuvent s’engager avec résolution dans le calcul du nombre d’étagères qu’un « menuisier » pourrait construire avec le stock de matériel dont il dispose, sans être arrêtés par le fait que dans la « vraie vie », le modèle d’étagère proposé serait en fait impossible à monter correctement ; c’est ce qui explique encore que les élèves s’embêtent à calculer avec une extrême précision le nombre de millilitres de « vinaigre », d’« huile pour salade » et de « sauce soja » requis par la préparation d’une « sauce » qui, en gros, ressemble à la « vinaigrette » de tous les jours : un volume de vinaigre pour deux d’huile.

Un discours arrogant

Cette propension à faire le contraire de ce qu’ils déclarent n’est pas la moindre surprise que recèlent les textes du PISA : outre les exemples que nous venons de donner, nous aurions pu comparer l’affichage des précautions extrêmes prises dans la traduction des tests d’évaluation et leur démenti constant dans les faits ; nous aurions pu aussi opposer à l’affichage d’une scientificité rigoureuse les innombrables déclarations insensées sur les « citoyens intelligents » ou sur la « résilience » que constituerait la réussite des enfants issus de l’immigration ; les invraisemblables généralisations sur telle tradition nationale ou sur le rôle des parents dans l’éducation ; les jugements de valeur – non étayés théoriquement – sur tel comportement ou tel choix éducatif ; les qualifications à l’emporte-pièce d’élèves aux « piètres » ou aux « excellents » résultats, d’enseignants « talentueux » ou qui « ne veulent pas s’améliorer », etc.

Rassemblant de nombreux experts mondiaux, mobilisant des États et leurs moyens sous la houlette d’une institution prestigieuse, diffusant des données, rapports et publications spécialisées en quantité importante, les textes du PISA n’en contiennent donc pas moins des incongruités, des bizarreries et des illogismes, jusque dans les tests auxquels sont soumis les élèves, qui constituent pourtant le cœur de cette évaluation.

Le PISA se réduit-il cependant à un discours aberrant ? Assurément non : des orientations et des résultats du programme peuvent avoir de l’intérêt au regard des discussions théoriques et méthodologiques à l’œuvre dans le champ scientifique et au regard des attentes politiques ou sociales. Mais ce que nous voulons interroger, c’est le fonctionnement du discours du PISA, qui le conduit à énoncer avec le plus grand sérieux – et une certaine arrogance, car le PISA inonde de ses admonestations les décideurs politiques, les enseignants, les parents, etc. – des propositions bien souvent banales, pleines des fausses évidences des stéréotypes ordinaires, mais aussi parfois relativement insensées et difficilement supportables au regard de l’autorité conférée au programme.

C’est le mélange entre l’insensé du contenu de certains propos et l’insensé de cette prétention à la hauteur de vue qui produit selon nous un effet burlesque : c’est ce qui nous a amenés à parler de blagues. À vrai dire, cela rend bien compte du « PISA Schock » que nous avons éprouvé à la lecture attentive des publications de ce programme – pour emprunter l’expression forgée afin de décrire la vivacité des réactions produites par la « faiblesse » des performances des élèves allemands lors de la première évaluation de ce programme (2000). De fait, au nom du sérieux des enjeux sociaux liés à la question du niveau des élèves, comment ne pas s’inquiéter du discours d’une évaluation internationale dont une large part semble avoir le niveau de sérieux d’une conversation ordinaire ?

[1OCDE (2004). Apprendre aujourd’hui, réussir demain. Premiers résultats de PISA 2003. PISA, Éditions OCDE, Paris, p. 20.

[2Qui avaient pourtant publié en 1989 (au Seuil) un ouvrage intitulé Le niveau monte. Discutant une évaluation internationale en mathématiques de l’IEA (International Association for the Evaluation of Educational Achievement), ils dénonçaient alors le « caractère éminemment élitiste » d’une telle enquête participant d’une compétition internationale cherchant à renforcer encore le niveau des élèves déjà les meilleurs (p. 103-105).

[3Baudelot C. & Establet R., 2009, L’élitisme républicain. L’école française à l’épreuve des comparaisons internationales, Paris, Seuil. Les auteurs veulent en fait montrer que les résultats procédaient d’un fonctionnement sélectif du système scolaire promouvant fortement une élite déjà la mieux dotée scolairement (et socialement) au détriment d’une proportion importante d’élèves aux niveaux de compétences le
s plus bas (un sur cinq environ).

[4OCDE, 2016, PISA 2015. Les défis du système éducatif français et les bonnes pratiques internationales. PISA, Éditions OCDE, Paris.

[5Bart, Daniel & Daunay, Bertrand (2016). Les Blagues à PISA. Le discours sur l’école d’une institution internationale, Éditions du Croquant. Nous empruntons à cet ouvrage le matériau de cet article.

Envoyer à un ami  Version imprimable de cet article Version imprimable

Voir tous les articles « A LA UNE »