L'éducation fondée sur les preuves et l'importance d'essais contrôlés randomisés

Voici une synthèse personnelle de la seconde partie d’une conférence donnée par Franck Ramus (2018), associés à quelques références d’un article complémentaire sur le sujet de Paul Connolly (2018) :

(Photographie : Natela Grigalashvili)

Les biais cognitifs limitent la qualité de l’évaluation des pratiques lors d'une observation directe

Nous sommes des êtres humains possédant un cerveau de primate qui n’est pas conçu pour comprendre aisément la cause exacte des phénomènes que nous observons, mais qui est plutôt prompt à emprunter des raccourcis.

Considérons un enseignant qui observe l’effet des pratiques pédagogiques qu’il met en œuvre auprès de ses élèves. En toute bonne foi, il peut penser que ça fonctionne bien court et qu’il y a un rapport de causalité directe. Toutefois, il court un grand risque de se leurrer. En effet, nous sommes victimes de multiples biais cognitifs qui nous permettent de penser vite, mais pas de penser exactement. Ils nuisent très directement à la qualité de l’évaluation informelle des interventions par un observateur direct.

Nous sommes tous victimes de biais cognitifs. Ce sont des mécanismes dans le cerveau qui ont leur utilité, mais qui nous empêchent souvent de raisonner rigoureusement.

Le biais de confirmation

Les croyances de l’enseignant influencent sa perception par conséquent il ne va pas voir la réalité de manière objective. Il va voir en partie ce qu’il espère trouver.

C’est ce que nous appelons le biais de confirmation. Nous avons tendance à prêter attention principalement à ce qui confirme nos hypothèses. Nous prenons en compte les données qui sont en faveur de nos hypothèses et nous ignorons les autres. Nous sommes tous victimes de cette mémoire sélective. Nous nous souvenons de ce qui nous arrange et répond à nos attentes. Nous avons tendance à ne pas voir ou à oublier le reste.

Il y a une impossibilité à déterminer la cause exacte de l’évolution positive ou négative d’un élève. Nous intervenons, mais nous ne sommes jamais capables de déterminer les causes. Il nous est impossible de savoir comment l’élève aurait évolué si l’intervention avait été différente.

Ces facteurs existent toujours, chez tout le monde, même chez les enseignants les mieux formés ou les chercheurs les plus qualifiés. Il y a une impossibilité logique à comprendre si ce que nous faisons a un effet et si les effets observés sont dus à l’action menée.

La méthodologie scientifique permet de contourner ce biais, de le mettre en échec. Elle a établi des méthodes pour éviter de tomber dans ces mêmes travers chaque fois.

La méthodologie scientifique

Le but de la démarche scientifique est d’appréhender le réel et de tenter de récolter des informations fiables.

Elle implique de :

• Formuler des hypothèses (et leurs alternatives) qui pourraient expliquer les mêmes observations.
• Formuler des prédictions testables qui découlent de ces hypothèses.
• Tester ces prédictions en recueillant des données, par l’observation ou l’expérimentation.
• Tirer les conclusions par rapport aux hypothèses et peut-être réviser l’hypothèse de départ.
• Publier les résultats (en anglais) dans des revues scientifiques internationales expertisées par des pairs.

Cette démarche scientifique est totalement indépendante de la discipline. Elle est transversale.

Utiliser la démarche scientifique pour évaluer les pratiques en éducation

Comment utiliser la démarche scientifique pour évaluer les pratiques tout en évitant nos biais cognitifs ?

L’hypothèse que nous allons tester concerne les pratiques pédagogiques :

• Les élèves progressent (résultats scolaires ou autres).
• Ces progrès sont (au moins en partie) causés par les pratiques spécifiques que nous voulons évaluer.

Nous envisageons également les hypothèses alternatives et leurs conséquences méthodologiques.

Nous allons pouvoir considérer que notre hypothèse est validée de manière concluante par les données recueillies, à condition qu’elles permettent de rejeter les hypothèses alternatives.

Si elles ne permettent pas de rejeter les hypothèses alternatives, nous n’avons pas les moyens de conclure.

Pièges à éviter dans l’évaluation des pratiques éducatives

Il existe différents pièges à éviter dans l'évaluation de pratiques éducatives :
1) Les observations peuvent ne pas correspondre aux progrès réels des élèves :

• Nous devons objectiver l’observation. Nous établissons des mesures objectives au niveau des élèves, si possibles indépendantes de l’enseignant qui intervient. 
• Dans le cas de recherche en éducation, il est souhaitable que des tests mesurant l’apprentissage avant et après une intervention soient administrés par une personne autre que l’enseignant. 
• De même, il faudrait écarter toute personne qui a un intérêt personnel dans les résultats de l’étude, car elle est susceptible d’influencer les mesures même malgré elle.

2) Les élèves sur lesquels porte la recherche ne sont pas représentatifs de l’ensemble des élèves :

• Par conséquent, leurs progrès ne sont dès lors pas généralisables à d’autres élèves.
• Nous testons une population suffisante d’élèves pour obtenir un résultat un minimum généralisable et applicable à d’autres élèves. 
• Typiquement, nous n’allons pas avoir la moindre chance d’obtenir un résultat fiable à moins d’avoir au moins quarante élèves par groupe étudié selon les critères statistiques usuels.

3) Les progrès de l’élève sont sans lien causal avec les pratiques évaluées :

• Le développement normal de l’intelligence, d’autres apprentissages hors classe, ou l’effet Hawthorne sont susceptibles de jouer. 
• L’effet Hawthorne [aussi appelé effet observateur] décrit la situation dans laquelle les individus modifient un aspect de leur comportement en réponse à leur conscience d’être observés. Cela se traduit généralement par une plus grande motivation et de meilleurs résultats qu’en l’absence d’observateur.
• Les élèves ne sont pas des adultes. Lors d’une intervention, ils continuent à grandir et leur cerveau se développe. Entre le début et la fin d’une intervention pédagogique, du temps s’est écoulé et naturellement, le cerveau de l’élève a évolué. Il va falloir prendre ces effets en compte pour évaluer le réel impact de l’intervention pédagogique sur l’élève. Est-ce que les progrès de l’enfant sont dus au développement normal ou est-ce qu’il y a un effet additionnel ? 
• Dans tous les cas, il est nécessaire d’avoir un groupe contrôle avec lequel comparer. Dans ce groupe contrôle, les élèves recevront un enseignement habituel et ne bénéficient pas de l’intervention.

4) Les progrès de l’élève sont moins bons que ceux qui pourraient être obtenus avec d’autres pratiques pédagogiques.

• Nous comparons les progrès de l’élève à d’autres élèves qui n’ont pas suivi cette pratique, mais il est pertinent de les comparer aussi à des élèves qui ont suivi des pratiques différentes. Ce qui permet d’avoir une idée des effets relatifs des différentes pratiques.

5) Les élèves du groupe cible ont des caractéristiques intrinsèques différentes du groupe de contrôle :

• Il est possible que naturellement un groupe puisse progresser plus que l’autre pour des raisons indépendantes de l’intervention.
• Ce phénomène peut être dû au hasard ou à une constitution des groupes artificielle et biaisée.
• Nous devons par conséquent apparier les groupes sur les caractéristiques pertinentes (typiquement le niveau scolaire) des élèves avant intervention. 
• Une bonne manière d’obtenir un bon appariement est de distribuer au hasard les élèves dans les différents groupes.

6) Les progrès de l’élève sont dus à la qualité de l’enseignant plus qu’à la méthode évaluée :

• Nous courrons le risque que le facteur pratique et le facteur enseignant soient confondus.
• Nous faisons des études encore à plus grande échelle dans lesquelles on arrive à dissocier l’effet enseignant et l’effet de la pratique considérée. Cela peut se faire par exemple en ayant un grand nombre d’enseignants qui appliquent la même méthode. Nous distribuons au hasard les enseignants dans les différents groupes testés.

Nous le voyons, il existe de nombreuses hypothèses alternatives à prendre en compte.

La méthodologie de l’essai contrôlé randomisé

La manière de pouvoir évaluer et éventuellement rejeter ces hypothèses alternatives est loin d’être triviale méthodologiquement. C’est la méthodologie de l’essai randomisé contrôlé.

L’utilisation des essais contrôlés randomisés dans la recherche en éducation a augmenté de façon significative depuis le début du XXIe siècle.

 
Depuis la fin des années 1990, nous observons un glissement croissant vers la notion de pratique fondée sur des données probantes dans l’éducation.

Le raisonnement qui sert de base à l’essai contrôlé randomisé est simple :

• Nous cherchons à mesurer les progrès des élèves participant à une intervention éducative par rapport à ceux d’un groupe témoin d’élèves équivalents qui, la plupart du temps, continuent comme à suivre un enseignement habituel.
• Le critère clé est de savoir si les progrès réalisés par les membres du groupe d’intervention dépassent, en moyenne et significativement, ceux du groupe témoin. 
• Si tel est le cas, la logique de l’essai contrôlé randomisé suggère que cette différence de progrès est probablement due aux effets de l’intervention.

La méthodologie de l’essai contrôlé randomisé consiste à :

• Étudier de nombreux élèves (> 40)
• Étudier de nombreux enseignants
• Mesurer objectivement le niveau des élèves, avant et après intervention
• Comparer au moins deux interventions, administrées à deux groupes d’élèves
• Minimiser le risque de différences initiales entre les différents groupes d’élèves et entre enseignants des différents groupes (randomisation, appariement)
• Travailler en simple aveugle :
• Nous voulons éviter qu’un groupe d’élèves puisse se dire qu’ils bénéficient de la bonne pratique pour apprendre et un autre groupe d’élèves à côté qui pense qu’ils constituent le groupe contrôle. Ce genre de situation crée des différences qui n’ont pas grand-chose à voir avec la pratique adoptée. 
• La connaissance par l’élève lui-même ou par l’enseignant produit des différences. Autant que possible, il ne faut rien dire aux élèves sur le fait qu’ils sont dans un groupe d’intervention ou un groupe de contrôle. Il faut que les enseignants qui mettent en œuvre les différentes pratiques soient convaincus, les uns les autres, que ce qu’ils font est vraiment bien.
• Analyser statistiquement les progrès moyens des élèves entre les deux groupes :
• Nous partons de la mesure des résultats des élèves avant l’intervention et après l’intervention dans un groupe qui a eu la méthode A et dans un groupe qui a eu la méthode B. Nous procédons à un prétest et des post-tests immédiats et différés, strictement identiques pour chacun des groupes.

Si toutes ces conditions sont respectées à la fin nous sommes normalement capables d’établir quelle était la meilleure méthode entre A et B d’une manière suffisamment fiable et d’évaluer l’ampleur de l’effet.

Limites des approches qualitatives dans la recherche en éducation

Dans le cadre de la recherche qualitative, des chercheurs visitent un certain nombre de classes, observent ce que font les enseignants et après un certain temps, cela leur permet de supposer l’existence de phénomènes. 

Par exemple, une approche semble plus prometteuse qu’une autre. Cela permet de suggérer des liens de causalité entre la méthode et les résultats des élèves.

Toutefois, cela ne prouve pas ni les effets observés ni la causalité. Cela ne permet pas de rejeter toutes les hypothèses alternatives.

C’est souvent par là qu’il faut commence. Cela donne l’idée du phénomène donc cela permet de générer des hypothèses. Ensuite, il faut les tester et nous pouvons songer à mettre en œuvre un essai contrôlé randomisé.

Critiques contre les essais contrôlés randomisés en éducation

L’utilisation des essais contrôlés randomisés en éducation a fait l’objet de critiques soutenues. Connolly et ses collègues (2018) ont tâché d’y répondre.

1) Il ne serait pas possible d’entreprendre des essais contrôlés randomisés en éducation !

• Il existe maintenant plus de 1 000 essais contrôlés randomisés qui ont été menés à bien et qui ont fait l’objet de rapports. 
• Bon nombre d’entre eux ont été des essais à relativement grande échelle, avec près du quart impliquant plus d’un millier de participants. 
• Une majorité significative des essais contrôlés randomisés identifiés a été en mesure de générer des preuves des effets des interventions éducatives investiguées.

2) Les essais contrôlés randomisés seraient des modèles de recherche bruts et sans nuances, qui ignorent le contexte et l’expérience !

• Environ 40 % des essais contrôlés randomisés comportent une composante d’évaluation des processus. Il est donc possible de mettre l’accent sur le contexte et l’expérience. 
• En outre, environ la moitié des essais contrôlés randomisés tiennent compte d’un différentiel des effets étudiés en fonction des sous-groupes d’élèves.

3) Les essais contrôlés randomisés ont tendance à générer des lois universelles simplistes de « cause à effet » ! 

• La majorité des essais contrôlés randomisés étudiés comprenaient au moins une discussion et des réflexions sur les limites des résultats en matière de généralisation et reflétaient un niveau de réflexivité critique louable.

4) Les essais contrôlés randomisés sont intrinsèquement descriptifs et contribuent peu à la génération de théorie ou à l’élaboration de théorie !

• Une nette majorité des essais contrôlés randomisés comprenait une discussion de la théorie qui justifiait les interventions étudiées.

En conclusion, Connolly et ses collègues (2018) relativisent fortement ces critiques tout en reconnaissant une situation mitigée pour un certain nombre d’essais contrôlés randomisés. 

Connolly et ses collègues (2018) proposent certaines recommandations pour les essais contrôlés randomisés :

1. Assurer que les essais contrôlés randomisés incluent des évaluations de processus significatives et rigoureuses dans leurs plans de recherche.
2. Assurer que leurs analyses des résultats quantifiés tiennent compte de l’impact potentiel en fonction du contexte, des différents sous-groupes d’étudiants et des niveaux de prestation.
3. S’engager de façon beaucoup plus centralisée avec les approches théoriques.

Connolly et ses collègues (2018) notent finalement que l’augmentation du nombre d’essais contrôlés randomisés permet le développement de méta-analyses et de synthèses de données provenant de divers contextes. Nous passons progressivement de la détermination de ce qui fonctionne à celle de ce qui fonctionne pour qui, dans quelles conditions et dans quelles circonstances.

L’éducation fondée sur des données factuelles profite d’une validation scientifique objective et statistique que de l’éducation basée sur des croyances, sur une idéologie ou sur une philosophie ne possède pas. Les essais contrôlés randomisés permettent d’objectiver les conclusions et les principes avancés.

Aborder la complexité de l’éducation par la recherche scientifique

Selon des critiques d’une éducation fondée sur des données probantes, l’éducation serait trop complexe, il y a trop de facteurs pour que nous puissions l’étudier scientifiquement !

Effectivement, il y a une multitude de facteurs, comme ceux liés à l’environnement social de l’enfant, son passé, ses capacités cognitives, etc. Un des facteurs est la pratique pédagogique de l’enseignant ou le manuel qu’il utilise. Ces derniers facteurs peuvent être isolés.

Nous sommes capables de déterminer leur effet. L’avantage du facteur lié aux pratiques enseignantes c’est qu’on peut agir dessus. Nous n’avons aucun moyen d’intervenir sur le milieu social de l’élève ou ses capacités, mais l’enseignant peut adapter ses pratiques ou changer de manuel. Il peut se tourner vers des pratiques plus efficaces que nous pouvons évaluer.

Les élèves ne sont pas des sujets d’expérimentation

Selon des critiques d’une éducation fondée sur des données probantes, les élèves ne doivent pas être considérés comme des cobayes !

Est-il éthique de faire de l’expérimentation de pratiques pédagogiques sur des élèves ? Soumettre des élèves à une méthode A et d’autres à une méthode B, ça peut être une perte de chance pour les uns si une des deux méthodes est plus efficace. C’est important de se poser cette question. Cependant, si nous sommes en train d’expérimenter la comparaison entre deux méthodes, c’est parce que, a priori on ne sait pas si une méthode est supérieure à l’autre. Si on savait déjà que la méthode A est supérieure à la méthode B, il serait inutile de faire la recherche.

L’alternative aux essais contrôlés randomisés n’est pas concluante. Si on ne fait pas ces recherches expérimentales sur les élèves, on n’a pas de connaissances sur l’efficacité des pratiques pédagogiques. Les enseignants vont alors choisir leurs pratiques en fonction de leur formation initiale ou continuée, de conseils de collègues ou de ce qu’ils auront lu dans un bouquin, un magazine ou vu sur un site internet. Ça peut être pour le meilleur comme ça peut être pour le pire.

Ils vont être amenés à expérimenter dans leurs classes. Ils vont essayer, ils vont observer ce qui se passe, ils vont se faire un avis et décider de poursuivre ou non. Le danger est que l’enseignant ne suit pas la méthodologie de l’essai contrôlé randomisé et qu’il est victime de ses propres biais. En absence d’essai contrôlé randomisé, ce sont 100 % des élèves qui sont les cobayes de 100 % des enseignants.

Il est éthique et rationnel d’évaluer les pratiques des enseignants avec une méthodologie éprouvée plutôt que de laisser libre cours à des expérimentations non encadrées.

La démarche scientifique n’est pas normative

Selon des critiques d’une éducation fondée sur des données probantes, la démarche scientifique est normative elle vise à imposer des normes à l’éducation !

La science ne prétend pas dire ce qui est bon ou ce qu’il faut faire. Elle ne peut prétendre à un caractère normatif. Ce n’est pas à la science de dire ce qu’est une bonne éducation, ni ce qu’il faut enseigner ou ce qui est acceptable ou pas.

En revanche une fois que l’on s’est fixé des objectifs pour l’enseignement, alors la science peut dire comment atteindre les objectifs. Elle peut dire dans quelles conditions les élèves apprennent mieux ou moins bien. Elle peut dire quelles pratiques pédagogiques sont plus ou moins favorables aux apprentissages.

Mis à jour le 14/07/2022

Bibliographie

Franck Ramus, Les neurosciences peuvent-elles éclairer l’éducation ? Conférence à l’École normale supérieure — PSL, 16 Mars 2018, https://youtu.be/2j11lMgvXR4

Paul Connolly, Ciara Keenan & Karolina Urbanska (2018): The trials of evidence-based practice in education: a systematic review of randomized controlled trials in education research 1980–2016, Educational Research, DOI: 10.1080/00131881.2018.1493353

Jean-Luc Berthier, Grégoire Borst, Mickaël Desnos, Frédéric Guilleray, Les neurosciences cognitives dans la classe, p7, ESF Sciences Humaines, 2018

Franck Ramus, Qu’est-ce que la recherche scientifique peut apporter aux enseignants ?, 12 février 2019, Mons, https://youtu.be/FPFwqQ6CfUU