Poids du contrôle, choc des classements Ce que les enquêtes internationales font (vraiment) à l’éducation

À l’école comme ailleurs, l’évaluation est une pratique à double tranchant. Idéalement, évaluer donne des informations, ces informations permettent de réguler, la régulation apporte un progrès. Mais idéalement seulement. Qu’en est-il en réalité ? Que produit effectivement la mesure des effets de la scolarité ? La recherche en « méta-évaluation » dresse à ce propos un constat mitigé (Rozenwajn & Dumay, 2014) : plutôt positif lorsque le contrôle opéré soutient les apprentissages, négatif lorsque la peur des sanctions entraîne au contraire des manœuvres de fuite ou d’hyper-adaptation (teaching to the tests). Finalement, que savons-nous de la valeur de l’évaluation ? Qui donc l’évalue ? Et selon quels critères de légitimation ?

Ces questions peuvent valoir à tous les niveaux : celui du contrôle des apprentissages des élèves par les enseignants, du travail des enseignants par les directions, de l’action des directions par leur ministère. À quoi s’ajoute désormais l’échelon planétaire des systèmes scolaires tout entiers, par comparaison régulière et standardisée de leurs « résultats, performances, rendements, plus-values, équité, efficacité ». Ce dernier palier globalise la gouvernance en la confiant à des organismes supra-étatiques, supposés politiquement neutres mais édictant les règles d’une compétition plus ou moins pertinente pour chacune des parties prenantes. Entre-t-on dans cette course parce qu’on le veut ou parce qu’il le faut ? Adhérer ou non pourrait être le premier prédicteur de la place d’un pays dans les classements.

“ Le contrôle de l’éducation est une précaution de poids à l’ère de la défiance vis-à-vis des institutions. Mais si le simplisme des palmarès ne fait qu’ajouter du stress à l’incertitude, fait-il progresser la raison et la réflexion, ou plutôt l’angoisse et la précipitation ? ”

TIMSS (mathématiques et sciences depuis 1995), PISA (lecture, mathématiques et sciences depuis 2000), PIRLS (littératie depuis 2001) ou maintenant ePIRLS (lecture en ligne depuis 2016) font partie des enquêtes internationales menées par des consortiums de chercheurs sous l’égide de lobbies eux-mêmes transnationaux : l’Association internationale pour l’évaluation des rendements scolaires (IEA) ou (plus politique encore) l’Organisation de coopération et de développement économique (OCDE). Ces pouvoirs non gouvernementaux ont pour objectifs affichés de faire circuler les meilleures idées en comparant les pratiques et en hiérarchisant leurs effets. D’un point de vue scientifique, leurs travaux produisent des connaissances. Au plan médiatique, d’abord des écarts et des rangs. Les premières devraient nous rendre sages, les seconds soulèvent les passions. Le contrôle de l’éducation est une précaution de poids à l’ère de la défiance vis-à-vis des institutions. Mais si le simplisme des palmarès ne fait qu’ajouter du stress à l’incertitude, fait-il progresser la raison et la réflexion, ou plutôt l’angoisse et la précipitation ?

L’idéal évaluateur : librement forcer à s’améliorer

Commençons par les intentions, pour les confronter ensuite aux réactions que les soft powers de PISA et de l’OCDE ont pu réellement provoquer ces vingt dernières années (Felouzis & Charmillot, 2012). « Aiguillon, choc, électrochoc PISA » : les métaphores behavioristes ne sont pas accidentelles. Au stimulus de l’effet mesuré (positif ou négatif) devrait chaque fois répondre une mesure fonctionnelle (une réponse adaptée). Vous êtes mal classé ? Inspirez-vous des meilleurs. Vous êtes le premier ? Cultivez vos atouts. Vous progressez ? Persistez ! Vous reculez ? Réformez ! La fonction des renforcements – négatifs ou positifs – est d’orienter les conduites dans la direction espérée. Le classement sert de signal ; la peur de la sanction, de motivation. Leur addition doit produire un comportement adapté : l’apprentissage souhaité. C’est un peu comme cela que le rapport 2016 du Programme for International Student Assessment (PISA) résume sa philosophie de l’imputabilité : L’enquête PISA est un programme de longue haleine qui permet d’éclairer les politiques et les pratiques dans le domaine de l’éducation. Les décideurs du monde entier peuvent utiliser ces résultats pour (…) s’inspirer des politiques et pratiques mises en œuvre ailleurs. Si l’enquête PISA ne permet pas d’identifier des relations de cause à effet entre les politiques et pratiques et les résultats des élèves, elle montre aux professionnels de l’éducation, aux décideurs et au grand public en quoi les systèmes d’éducation se ressemblent et se différencient – et ce que cela implique pour les élèves.

Soyons précis : le consortium veut « éclairer » les esprits, pas les effrayer. Il souhaite « inspirer » les acteurs, pas les forcer. Rien n’est obligatoire : les décideurs peuvent utiliser les résultats, ou choisir de les ignorer. La rhétorique est celle des Lumières : autonomie, libre-arbitre, interconnaissance, coopération consentie plutôt qu’extorquée. Que peut faire un État raisonnable sinon adopter ce surcroît de rationalité ?

– Les résultats mesurés ne mettent directement en cause (« de cause à effet ») aucune politique ni aucune pratique locale.

– Croiser les variables indépendantes (« ce qui se ressemble et se différencie ») et les variables dépendantes (« ce que cela implique pour les élèves ») permet au contraire de produire des savoirs objectivés, transférables d’un contexte à l’autre en tenant compte de leurs spécificités.

– Parce que de tels savoirs prétendent à l’universalité, (1) ils ont valeur scientifique, donc informative, non prescriptive, (2) ils peuvent informer et orienter « les décideurs du monde entier », dans le double respect de leur besoin de repères et de leur droit à s’autodéterminer.

Au total, les conflits semblent exclus : pas de quoi se disputer. La diversité est la règle, la convergence juste une possibilité. Si le gain d’un rang fait l’avantage comparé, et si l’avantage comparé fait la prospérité, ne sommes-nous pas forcés – même et surtout si c’est paradoxal – de librement nous adapter ? Privées de transcendance, nos démocraties savent de moins en moins à quel bien substantiel se vouer. Ni la foi religieuse, ni le culte du chef, ni l’évidence de la tradition ne suffisent à faire communauté (sauf chez les intégristes dont nous condamnons l’archaïsme). Moins ce qui vaut est d’emblée partagé, plus de vieilles « valeurs » sont agitées pour compenser, mais en se relativisant du seul fait de devoir s’affirmer. Comme toutes sont discutées, ne reste que l’évaluation pour comparer sans cesse les moyens et les fins, à défaut de les fixer (Maulini & Gather Thurler, 2014).

“ Monitorages, audits, assurance-qualité, reporting, benchmarking, labellisation, procédures d’accréditation : la raison technocratique aurait finalement le double avantage d’apparaître socialement équitable et désengagée idéologiquement. ”

Monitorages, audits, assurance-qualité, reporting, benchmarking, labellisation, procédures d’accréditation : la raison technocratique aurait finalement le double avantage d’apparaître socialement équitable et désengagée idéologiquement. La sécularisation de nos vies serait inséparable de leur procéduralisation. Il s’agit d’imposer une représentation d’un monde sans contradictions, un monde qu’il suffit d’administrer au mieux pour rentabiliser son fonctionnement (De Gaulejac & Hanique, p. 2015, p. 154). Certains d’entre nous rêveront ainsi d’un Éden sans conflit (où tout fonctionnera), cauchemar pour d’autres d’une enveloppante tyrannie (où plus rien ne se contestera) : mais deux fantasmes symétriques font-ils un équilibre, ou au contraire un seul mais absurde déni de réalité ?

Retour au réel : socialement donc conflictuellement progresser

Revenons sur terre : quels sont les effets observables de la mesure des effets ? Vingt années et six campagnes PISA écoulées permettent de dresser un bilan provisoire, même s’il est pointilliste, lacunaire, basé sur des études plus dispersées (et à critères d’appréciation plus variés) que le colosse de l’OCDE, campé sur sa gouvernance unifiée et ses millions de dollars de budget.

Pour les chercheurs les plus optimistes (souvent impliqués dans la récolte ou l’analyse des données), le but régulateur est atteint : PISA est un bienfait. Les pays participants ont tiré profit de leur investissement :
ils tiennent compte des résultats, s’inquiètent de leur position, y puisent des motifs et des ressources pour se remettre en question et gagner des rangs. Certains le font a minima (par exemple en révisant leurs programmes scolaires), d’autres avec davantage d’ambitions, en entreprenant des réformes planifiées sur une plus ou moins longue durée. Les résultats de PISA ont eu un impact sur les politiques nationales. Les conclusions politiques tirées des facteurs associés aux meilleures performances ont joué un rôle influent dans les processus d’élaboration des politiques de la majorité des pays/économies. Dans certains pays/économies les responsables politiques n’ont apporté que de légers ajustements pour répondre à l’évaluation de PISA et aligner les paramètres de leur système sur les normes internationales. Il est cependant démontré que, dans d’autres pays/économies, les acteurs politiques ont rapidement réagi aux évaluations de PISA et ont décidé d’intégrer davantage les normes et standards de l’enquête dans les processus et les instruments politiques nationaux/fédéraux. Dans ces contextes, PISA pourrait de plus en plus façonner, définir et évaluer les objectifs clés des systèmes éducatifs. À un niveau plus large, l’analyse (…) révèle le rôle et l’influence émergents de l’OCDE en tant qu’organe de monitorage de l’éducation et acteur politique international (Breakspear, 2012, p. 28, traduction om).

“ PISA serait valable parce qu’elle est devenue la norme : c’est la boucle tautologique de la légitimation d’une pratique par son succès sur le marché. ”

PISA serait valable parce qu’elle est devenue la norme :
c’est la boucle tautologique de la légitimation d’une pratique par son succès sur le marché. Mais en réalité, les peuples et leurs élus sont parfois plus sceptiques, toujours divisés, et le tableau bien plus nuancé (Rey, 2011). C’est ainsi que certaines bonnes élèves parmi les nations (l’Allemagne, la Pologne) ont marqué des points en repoussant le moment de la sélection ; que d’autres ont refusé de le faire à leur détriment (Tchéquie, Hongrie) ; que des systèmes libéraux (l’Angleterre) ont utilement introduit des plans d’études contraignants ; que d’autres plus étatistes (la Suède) se sont pénalisés en privatisant le choix de l’établissement ; que certains champions ont pris acte de leurs acquis pour se lancer en quête de créativité (Singapour) ou de pédagogie de projet (Finlande), non sans débats locaux sur la menace de brader ce que leur tradition leur avait jusqu’ici apporté. Le progrès social n’a rien de naturel : c’est dans et par le conflit qu’il peut au mieux se négocier.

“ … plus la compétition démocratique s’arbitre par les diplômes, plus l’instruction publique doit justifier ses classements, plus elle sélectionne tôt en euphémisant cette fonction… ”

La Suisse est un cas intéressant, puisqu’elle peut comparer entre eux ses différents cantons : les agglomérations socialement fragmentées (Genève, Lausanne, Zurich) obtiennent sans surprise des scores inférieurs aux régions rurales, plus homogènes dans leur rapport au savoir et à l’autorité ; mais certaines réagissent par des politiques de professionnalisation de l’enseignement (postulat d’inclusion, évaluation formative, appui sur la recherche, allongement de la formation des maîtres) pendant que d’autres se rabattent sur un quadrillage plus ancien mais jugé par là même éprouvé (filiarisation renforcée, moyennes chiffrées, standardisation des méthodes, formation des maîtres diminuée) ; même cause, autres effets. La France fait face aux mêmes dilemmes, mais en les tranchant davantage au sommet : moitié par repli sur son foyer national (drapeau, hymne, morale républicaine) ; moitié par concession à la pression managériale (évaluation des établissements). Son idéal d’ascension sociale par le mérite académique peut paradoxalement mettre son école sous pression : plus la compétition démocratique s’arbitre par les diplômes, plus l’instruction publique doit justifier ses classements, plus elle sélectionne tôt en euphémisant cette fonction, et plus le sentiment d’imposture risque de croître chez les élèves, celui de malaise chez des enseignants hésitant entre réinvention et préservation de leur restant d’autorité (Perrenoud, 1996).

Tous les pays ne vont donc pas dans le sens espéré. On peine même à dire à quelles conditions ils profitent de PISA ou non. La séquence stimulus-réponse-adaptation n’est qu’une option. Et sa version noble – connaissance-inspiration-progrès – sujette à discussions. Certaines régions ne réagissent pas du tout (les États-Unis, dans le doute depuis longtemps), d’autres à mauvais escient (la Corée, voulant anticiper la sélection). La plupart combinent tant de bonnes et de mauvaises mesures que les bilans finaux sont tous équivoques (Mons, 2009). Peut-être les États réels ont-ils tort, sont-ils irrationnels, mal gouvernés ou même mal habités. Moralement, tous les jugements sont possibles. Mais scientifiquement, les comportements infirmant une théorie ne sont pas condamnables : c’est à la théorie de s’ajuster, ici de prendre acte des tensions faisant de la résistance entre calculs et attachements, rivalités et solidarités, quêtes de perfectionnement et besoins d’enracinement. Tant de désordre peut décevoir ou enchanter partisans et adversaires de l’éducation randomisée. Mais la partie n’est pas jouée, et l’incertitude du moment apporte au moins une confirmation : il nous reste des recherches à mener pour mettre l’évaluation sous le contrôle prédominant de savoirs contraignants, donc scientifiquement attestés.

Olivier Maulini
Université de Genève
Faculté de psychologie et des sciences de l’éducation
Laboratoire Innovation Formation Education (LIFE)

Bibliographie

Breakspear, S. (2012). The Policy Impact of PISA : An Exploration of the Normative Effects of International Benchmarking in School System Performance. Education Working Papers, 71. Paris : OECD. URL : http://dx.doi.org/10.1787/5k9fdfqffr28-en

De Gaulejac, V. & Hanique, F. (2015). Le capitalisme paradoxant. Un système qui rend fou. Paris : Seuil.

Felouzis, G. & Charmillot, S. (2012). Les enquêtes PISA. Paris : PUF (Que sais-je ?).

Maulini, O. & Gather Thurler, M. (Ed.) (2014). Enseigner, un métier sous contrôle ? Entre autonomie professionnelle et normalisation du travail. Paris : ESF.

Mons, N. (2009). Les effets théoriques et réels de l’évaluation standardisée. Bruxelles : Réseau Eurydice. URL : http://eacea.ec.europa.eu/education/eurydice/documents/thematic_reports/111FR.pdf

Perrenoud, Ph. (1996). Le métier d’enseignant entre prolétarisation et professionnalisation : deux modèles du changement. Perspectives, XXVI(3), 543-562.

PISA- Programme for International Student Assessment (2016). Résultats du PISA 2015. L’excellence et l’équité dans l’éducation. Paris : OCDE. URL : http://dx.doi.org/10.1787/9789264267534-fr

Rey, O. (2011). PISA : ce que l’on en sait et ce que l’on en fait. Dossier d’actualité Veille et Analyses, 66. URL : http://www.inrp.fr/vst/DA/detailsDossier.php?dossier=66&lang=fr

Rozenwajn, E. & Dumay, X. (2014). Les effets de l’évaluation externe sur les pratiques enseignantes : une revue de la littérature. Revue française de pédagogie, 189. URL : http://rfp.revues.org/4636