dimanche 29 juillet 2018

Pourquoi l’éducation fondée sur les preuves et les essais contrôlés randomisés sont-ils d’une importance centrale ?

Un compte-rendu et une synthèse personnelle de la seconde partie d’une conférence très instructive donnée par Franck Ramus, associés à quelques références d'un article complémentaire de Paul Connolly :

(Photographie : Natela Grigalashvili)


Un enseignant peut-il évaluer par observation quelles sont les pratiques qui marchent ?


Nous sommes des êtres humains avec un cerveau de primate qui n'est pas fait pour comprendre la cause des phénomènes que nous observons.

Un enseignant qui observe l’effet ses pratiques sur ses élèves et qui pense que ça marche court un grand risque de se leurrer, car il y a des facteurs psychologiques qui nuisent à l’évaluation informelle des interventions

Nous sommes tous victimes de biais cognitifs. Ce sont des mécanismes dans le cerveau qui ont leur utilité mais qui nous empêchent de raisonner correctement.




Que sont ces biais cognitifs ?


Les croyances de l'enseignant influencent sa perception donc il ne va pas voir la réalité de manière objective. Il va voir en partie ce qu'il espère voir.

C’est ce qu'on appelle le biais de confirmation. On a tendance à prêter attention principalement à ce qui confirme nos hypothèses. On prend en compte les données qui sont en faveur de nos hypothèses et on ignore les autres. On est tous victimes de cette mémoire sélective. On se souvient de ce qui nous arrange et répond à nos attentes.

Il y a une impossibilité à déterminer la cause exacte de l’évolution positive ou négative d’un élève. On intervient, mais on n’est jamais capable de déterminer les causes. Il est impossible de savoir comment l’élève aurait évolué si l’intervention avait été différente.

Ces facteurs existent toujours, chez tout le monde, même chez les enseignants les mieux formés. Il y a une impossibilité logique à comprendre si ce qu'on fait a un effet et si les effets qu'on observe sont dus à l'action qu'on a menée.

La méthodologie scientifique permet de de contourner ces biais, de les mettre en échec, de trouver des méthodes pour éviter de tomber dans ces mêmes panneaux tout le temps.




Qu'est-ce que la méthodologie scientifique ?


Le but de la démarche scientifique est d’appréhender le réel et de tenter de récolter des informations fiables.

Elle implique de :

Formuler des hypothèses (et leurs alternatives) qui pourraient expliquer les mêmes observations

Formuler des prédictions testables qui découlent de ces hypothèses

Tester ces prédictions en recueillant des données, par l’observation et/ou l’expérimentation

Tirer les conclusions par rapport aux hypothèses et peut-être réviser l’hypothèse de départ

Publier les résultats (en anglais) dans des revues scientifiques internationales expertisées par les pairs

Cette démarche scientifique est totalement indépendante de la discipline. Elle est transversale.




Comment utiliser la démarche scientifique pour évaluer les pratiques ?


Comment utiliser la démarche scientifique pour évaluer les pratiques tout en évitant nos biais cognitifs ?

L’hypothèse que l’on va tester concerne les pratiques pédagogiques :

• Les élèves progressent (résultats scolaires ou autres)
• Ces progrès sont (au moins en partie) causés par les pratiques spécifiques qu’on a voulu évaluer


Il faut envisager les hypothèses alternatives et leurs conséquences méthodologiques.

On va pouvoir considérer que notre hypothèse est validée de manière concluante par les données recueillies, à condition qu'elles permettent de rejeter les hypothèses alternatives.

Si elles ne permettent pas de rejeter les hypothèses alternatives, on n'a pas les moyens de conclure.



Quels risques éviter ?


1) Les observations peuvent ne pas correspondre aux progrès réels des élèves :

Il faut objectiver l'observation. Il faut des mesures objectives au niveau des élèves, si possibles indépendantes de l’enseignant qui intervient. Dans le cas de recherche en éducation, il serait souhaitable que les tests scolaires avant et après une intervention soient administrés par une personne autre que l'enseignant ou que toute personne qui a un intérêt vraiment personnel dans les résultats de l'étude.


2) L’élève sur lequel porte la recherche n’est pas représentatif et ses progrès ne sont dès lors pas généralisables à d’autres élèves.

Il va falloir tester une population suffisante d'élèves pour avoir un résultat un minimum généralisable et applicable à d'autres élèves. Typiquement on ne va pas avoir la moindre chance d'avoir un résultat fiable à moins de 40 élèves par groupe selon les critères statistiques usuels.


3) Les progrès de l’élève sont sans lien causal avec les pratiques évaluées : développement normal de l’intelligence, autres apprentissages hors classe, ou effet Hawthorne (L'effet Hawthorne (aussi appelé effet observateur) décrit la situation dans laquelle les individus modifient un aspect de leur comportement en réponse à leur conscience d'être observés. Cela se traduit généralement par une plus grande motivation).

Les élèves sont des enfants, ils grandissent et leur cerveau se développe. Entre le début et la fin d’une intervention pédagogique, du temps s'est écoulé et naturellement, le cerveau de l'enfant a évolué. Il va falloir prendre ces effets en compte pour évaluer le réel impact de l’intervention pédagogique sur l’élève. Est-ce que les progrès de l'enfant sont dus au développement normal ou est-ce qu’il y a un effet additionnel ? Il est nécessaire d’avoir un groupe contrôle avec lequel comparer. Dans ce groupe contrôle, les élèves recevront un enseignement habituel.


4) Les progrès de l’élève sont moins bons que ceux qui pourraient être obtenus avec d’autres pratiques pédagogiques.

On compare les progrès de l'élève à d’autres élèves qui n’ont pas suivi cette pratique, mais il est pertinent de les comparer aussi à des élèves à qui ont suivi des pratiques différentes. Ce qui permet d’avoir une idée des effets relatifs des différentes pratiques.


5) Les élèves du groupe cible ont des caractéristiques intrinsèques leur permettant de plus progresser que ceux du groupe contrôle. C’est dû au hasard ou à une constitution des groupes artificielle et biaisée.

Il faut donc apparier les groupes sur les caractéristiques pertinentes (typiquement le niveau scolaire) des élèves avant intervention. Une bonne manière de faire ça est de randomiser les élèves dans les différents groupes.


6) Les progrès de l’élève sont dus à la qualité de l’enseignant plus qu’à la méthode évaluée. Il y a le facteur pratique et le facteur enseignant qui sont confondus.

Il faut faire des études encore à plus grande échelle dans lesquelles on arrive à dissocier l’effet enseignant et l’effet de la pratique considérée, par exemple en ayant un grand nombre d’enseignants qui appliquent la même méthode. On peut randomiser les enseignants dans les différents groupes testés.

On le voit, il y a de nombreuses hypothèses alternatives à prendre en compte.




La méthodologie de l’essai randomisé contrôlé


La manière de pouvoir évaluer et éventuellement rejeter ces hypothèses alternatives est loin d'être triviale méthodologiquement. C'est ce qu'on appelle la méthodologie de l'essai randomisé contrôlé.

L'utilisation des essais contrôlés randomisés (ECR) dans la recherche en éducation a augmenté de façon significative depuis le début du XXIème siècle.
Depuis la fin des années 1990, on observe un glissement croissant vers la notion de pratique fondée sur des données probantes dans l'éducation.
Le raisonnement qui sert de base à l'ECR est simple : on cherche à mesurer les progrès des élèves participant à une intervention éducative par rapport à ceux d'un groupe témoin d'élèves équivalents qui, la plupart du temps, continuent comme à suivre un enseignement habituel.
Le critère clé est de savoir si les progrès réalisés par les membres du groupe d'intervention dépassent, en moyenne et significativement, ceux du groupe témoin. Si tel est le cas, la logique de l'ECR suggère que cette différence de progrès est probablement due aux effets de l'intervention.

La méthodologie de l’essai contrôlé randomisé consiste à :
• Etudier de nombreux élèves (>40)
 
• Etudier de nombreux enseignants
• Mesurer objectivement le niveau des élèves, avant et après intervention

• Comparer au moins deux interventions, administrées à deux groupes d'élèves

• Minimiser le risque de différence initiales entre les différents groupes d’élèves et entre enseignants des différents groupes (randomisation, appariement)

• Travailler en simple aveugle: On veut éviter qu’il y ait un groupe d’élèves qui se dise qu’ils ont la bonne pratique pour apprendre et un autre groupe d’élèves à côté qui se dise qu’ils sont le groupe contrôle. Ce genre de situation crée des différences qui n’ont pas grand-chose à voir avec la pratique adoptée. La connaissance par l’élève lui-même et/ou par l’enseignant produit des différences. Autant que possible, il ne faut rien dire aux élèves sur le fait qu'ils sont dans un "bon groupe" ou un "mauvais groupe". Il faut que les enseignants qui mettent en œuvre les différentes méthodes soient convaincus, les uns les autres, que ce qu'ils font est vraiment bien.

• Analyser statistiquement les progrès moyens des élèves entre les deux groupes : On a donc des mesures des résultats des élèves avant l'intervention et après l'intervention dans un groupe qui a eu la méthode A et dans un groupe qui a eu la méthode B.

Si toutes ces conditions sont respectées à la fin on est capable de dire quelle était la meilleure méthode entre A et B d'une manière suffisamment fiable et évaluer l’ampleur de l’effet.





Qu’en est-il des approches qualitatives ?


Des chercheurs visitent un certain nombre de classes, observent ce que font les enseignants et après un certain temps, cela leur permet de supposer l’existence de phénomènes. Par exemple une approche semble plus prometteuse qu’une autre. Cela permet de suggérer des liens de causalité entre la méthode et les résultats des élèves.

Mais ça ne prouve pas, ni les effets observés, ni la causalité. Cela ne permet pas de rejeter toutes les hypothèses alternatives.

C’est souvent c'est par là qu'il faut commencer. Cela donne l’idée du phénomène donc cela permet de générer des hypothèses. Ensuite, il faut les tester et l’on peut songer à mettre en place un ECR.






Critiques contre les essais contrôlés randomisés !


Cependant, leur utilisation a également fait l'objet de critiques soutenues. Paul Connolly, Ciara Keenan & Karolina Urbanska (2018) ont tâché d’y répondre.

1) Il ne serait pas possible d'entreprendre des ECR en éducation !

Il existe maintenant plus de 1 000 ECR qui ont été menés à bien et qui ont fait l'objet de rapports. Bon nombre d'entre eux ont été des essais à relativement grande échelle, avec près du quart impliquant plus d'un millier de participants. Une majorité significative des ECR identifiés ont été en mesure de générer des preuves des effets des interventions éducatives investiguées.


2) Les ECR seraient des modèles de recherche bruts et sans nuances, qui ignorent le contexte et l'expérience !

Environ 40% des ECR comportent une composante d'évaluation des processus. Il est donc possible de mettre l'accent sur le contexte et l'expérience. En outre, environ la moitié des ECR tiennent compte d’un différentiel des effets étudiés en fonction des sous-groupes d'élèves.


3) Les ECR ont tendance à générer des lois universelles simplistes de "cause à effet"! 

La majorité des ECR étudiés comprenaient au moins une discussion et des réflexions sur les limites des résultats en termes de généralisation et reflétaient un niveau de réflexivité critique louable.


4) Les ECR sont intrinsèquement descriptifs et contribuent peu à la génération de théorie ou à l'élaboration de théorie!

Une nette majorité des ECR comprenait une discussion de la théorie qui justifiait les interventions étudiées.


En conclusion, les chercheurs relativisent fortement ces critiques tout en reconnaissant une situation mitigée pour un certain nombre d'ECR. Ils concluent avec certaines recommandations pour les ECR :

1) Assurer qu'ils incluent des évaluations de processus significatives et rigoureuses dans leurs plans de recherche.

2) Assurer que leur analyse des résultats quantifiés tiennent compte de l'impact potentiel en fonction du contexte, des différents sous-groupes d'étudiants et des niveaux de prestation.

3) S’engager de façon beaucoup plus centralisée avec les approches théoriques.

Ils notent finalement que l'augmentation du nombre d'ECR permet le développement de méta-analyses et de synthèses de données provenant de divers contextes. On passe progressivement de la détermination de "ce qui fonctionne" à celle de "ce qui fonctionne pour qui, dans quelles conditions et dans quelles circonstances".





Critiques contre l’éducation fondée sur les preuves !

L’éducation fondée sur des données factuelles c'est mieux que de l'éducation basée sur des croyances ou sur une philosophie. Les ECR permettent d’objectiver.
Franck Ramus conclut en revenant sur deux critiques habituelles :

1) L’éducation est trop complexe, il y a trop de facteurs pour que l’on puisse l’étudier scientifiquement !

Effectivement, il y a une multitude de facteurs, comme ceux liés à l'environnement social de l'enfant, son passé, ses capacités cognitives, etc. Un des facteurs est la pratique pédagogique de l'enseignant ou le manuel qu'il utilise. Ces derniers facteurs peuvent être isolés.

On est capable de déterminer leur effet. L’avantage du facteur lié aux pratiques enseignantes c’est qu’on peut agir dessus. On n'a aucun moyen d'intervenir sur le milieu social de l'enfant ou ses capacités, mais l’enseignant peut adapter ses pratiques ou changer de manuel. Il peut se tourner vers des pratiques plus efficaces qu’on peut évaluer.


2) Les élèves ne sont pas des cobayes !


Est-il éthique de faire de l'expérimentation de pratiques pédagogiques sur des élèves ? Soumettre des élèves à une méthode A et d’autres à une méthode B, ça peut être une perte de chance pour les uns si une des deux méthodes est plus efficace. C'est important de se poser cette question. Cependant, si on en train d'expérimenter la comparaison entre deux méthodes, c’est parce que, a priori on ne sait pas si une méthode est supérieure à l’autre. Si on savait déjà que la méthode A est supérieure à la méthode B, il serait inutile de faire la recherche.

L’alternative aux ECR n’est pas concluante. Si on ne fait pas ces recherches expérimentales sur les élèves, on n'a pas de connaissances sur l'efficacité des pratiques pédagogiques. Les enseignants vont alors choisir leurs pratiques en fonction de leur formation initiale ou continuée, de conseils de collègues ou de ce qu'ils auront lu dans un bouquin, un magazine ou vu sur un site internet. Ca peut être pour le meilleur comme ça peut être pour le pire.

Ils vont être amenés à expérimenter dans leurs classes. Ils vont essayer, ils vont observer ce qui se passe, ils vont se faire un avis et décider de poursuivre ou non. Le danger est que l’enseignant ne suit pas la méthodologie de l’ECR et qu’il est victime de ses propres biais. En absence d’ECR, ce sont 100 % des élèves qui sont les cobayes de 100 % des enseignants.

Il est éthique et rationnel d’évaluer les pratiques des enseignants avec une méthodologie éprouvée plutôt que de laisser libre cours à des expérimentations non encadrées.






Bibliographie


Franck Ramus , Les neurosciences peuvent-elles éclairer l'éducation?, Conférence à l’École normale supérieure – PSL, 16 Mars 2018, https://youtu.be/2j11lMgvXR4

Paul Connolly, Ciara Keenan & Karolina Urbanska (2018): The trials of evidence-based practice in education: a systematic review of randomised controlled trials in education research 1980–2016, Educational Research, DOI: 10.1080/00131881.2018.1493353

0 comments:

Enregistrer un commentaire