Dans notre consommation de recherche, il est utile de pouvoir faire la distinction entre deux formes de recherche complémentaires et dissemblables, la recherche qualitative et la recherche quantitative. Il importe également de s’intéresser aux méta-analyses et de considérer les difficultés liées à la mise en œuvre et à la diffusion de leurs résultats dans les établissements scolaires. Voici le compte-rendu d’une conférence de Franck Ramus donnée en 2019 à l’UMons.
Le cadre de la recherche qualitative et ses limites
La démarche de la recherche qualitative consiste à poser des observations humaines à la fois sur les enseignants et leurs élèves d’une manière que se voudrait la plus objective possible.
L’ambition est de mettre en évidence des liens entre les pratiques des enseignants et l’apprentissage qui en découle pour leurs élèves. Ces observations peuvent être faites par l’enseignant lui-même, par un collègue, un expert ou un chercheur.
Le principal risque vient des biais cognitifs. Les croyances préalables des observateurs vont venir colorer et influencer leurs observations et leurs attributions.
Un second risque existe. C’est ce que nous appelons la patternicité (Michael Shermer, 2011). C’est la tendance à confondre des facteurs et à voir des relations là où il n’y en a pas. La patternicité nous amène à voir des liens d’importance dans des données alors qu’il n’y a que du bruit ou du hasard.
Nous pouvons croire déceler un lien entre des pratiques qui sont mises en œuvre d’un côté et des progrès manifestes des élèves de l’autre. Cependant, le seul fait d’avoir cette association temporelle entre les pratiques et les progrès des élèves n’est pas suffisant. Cela ne peut nous conduire à la conclusion de la présence d’un lien de causalité entre les pratiques et les progrès. Ce n’est pas parce que nous observons que les élèves réussissent mieux, qu’une pratique donnée en est nécessairement la cause première.
En réalité, ce n’est pas obligatoirement la seule conclusion possible. Il peut y avoir des hypothèses alternatives et d’autres facteurs que nous pouvons négliger lorsque nous testons une pratique durant une période de plusieurs mois :
- Les élèves grandissent : ils se développent et leur cerveau continue sa lente et progressive maturation.
- Les élèves réalisent également de multiples apprentissages en dehors de la classe concernée.
Nous ne pouvons pas écarter l’hypothèse qu’ils progressent pour une raison différente des pratiques innovantes mises en œuvre par leur enseignant.
Nous avons besoin de méthodes un petit peu plus objectives.
L’analogie de la saignée en médecine pour l'éducation
Une manière de bien comprendre la difficulté que représente l’observation qualitative est de considérer l’exemple historique de la saignée en médecine.
La saignée (ou phlébotomie) est un terme ancien désignant un prélèvement sanguin pratiqué sur un malade afin d’améliorer son état de santé. Le médecin ouvre une veine d’un malade pour en laisser s’écouler le sang de manière à faciliter sa guérison.
Connue depuis l’Antiquité, c’est surtout du XVIe au XVIIIe siècle qu’elle occupe une place prépondérante parmi les pratiques thérapeutiques, même si elle ne fait pas l’unanimité.
C’est le médecin austro-polonais Józef Dietl (1804-1878) qui est reconnu pour avoir démontré de manière expérimentale le caractère nuisible de la saignée pratiquée par défaut. Il est communément admis depuis que le fait de perdre du sang n’est pas bon pour la santé. Toutefois, elle est encore pratiquée de nos jours dans quelques indications médicales particulières.
De manière générale, l’effet objectif sur la santé du patient est négatif. Malgré tout, pendant 2000 ans, des médecins ont ignoré ce principe et ont pratiqué la saignée. Cet exemple montre toutes les limites d’une observation purement qualitative.
Objectivement, si nous mesurons différents paramètres, sous l’effet de la saignée, l’état des patients soumis à la saignée se dégrade en moyenne. Malgré tout, de nombreux médecins en ont tiré la conclusion que la saignée était une bonne pratique médicale qui améliore les chances de guérison.
Cet exemple historique montre par l’exemple qu’une observation subjective peut nous amener à nous fourvoyer quand nous observons qualitativement l’effet de pratiques.
Si le problème se pose chez les médecins, il se manifeste exactement de la même manière pour un enseignant qui met en œuvre des pratiques et croit observer, de toute bonne foi, des effets positifs sur ses élèves.
Le fait de croire avoir un effet positif peut complètement nous leurrer dans nos interprétations et installer de nouvelles croyances erronées. C’est un problème qui s’applique à tout le monde à tous les médecins à tous les enseignants à tous les psychologues, experts ou novices.
Le biais de confirmation fait que nous cherchons toujours dans les observations des données qui confirment nos croyances préalables, de manière à les renforcer.
Lorsque nous rencontrons des données qui vont à l’encontre de nos croyances préalables, nous avons tendance à les ignorer et aussi à ne pas nous en souvenir par un phénomène de mémorisation sélective.
De manière générale, il y a une impossibilité de déterminer avec certitude, par observation qualitative, la cause exacte d’un changement lorsque nous ne disposons pas d’éléments concrets pour nous dire quelle est la cause de cette évolution. C’est vrai pour un patient dont la santé s’améliore comme pour un élève qui apprend.
Le cadre de la recherche quantitative
Des approches plus objectives et valides dans leurs conclusions peuvent être atteintes dans le cadre de la recherche quantitative.
Cette manière quantitative de faire de la recherche en sciences de l’éducation comme en psychologie se fonde sur la démarche scientifique. Elle permet de produire des résultats fiables.
La démarche scientifique peut être utilisée pour évaluer les pratiques :
- Formuler des hypothèses et leurs alternatives
- Formuler des prédictions testables découlant de ces hypothèses.
- Tester ces prédictions en recueillant des données.
La démarche scientifique ne va pas nous libérer pleinement des biais. Nous devons rester prudents. Le biais de confirmation peut nous conduire à formuler des hypothèses et à chercher ensuite de quelles données qui les confirment tout en évitant celles qui les contredisent.
Un élément crucial dans la démarche scientifique c’est d’élaborer des hypothèses alternatives et d’évaluer dans quelle mesure les données qui sont collectées pourraient être compatibles aussi avec celles-ci. Nous devons déterminer quelles hypothèses les données contredisent et quelles hypothèses elles confirment.
De l’essai contrôlé randomisé à la méta-analyse
Lors de recherches quantitatives en éducation, nous pouvons mettre en œuvre la méthodologie de l’essai randomisé contrôlé. Cette méthodologie est celle utilisée pour évaluer les traitements médicaux médicamenteux, mais aussi non médicamenteux.
La force de l’essai contrôlé randomisé est que la méthodologie est indépendante de la nature de l’intervention. Il n’y a pas d’alternative possible.
- Voir article : Pourquoi l’éducation fondée sur les preuves et les essais contrôlés randomisés sont-ils d’une importance centrale ?
Une fois cette méthodologie appliquée, le résultat d’un essai randomisé contrôlé n’est pas pour autant la preuve absolue et définitive de l’efficacité. Une étude a des limites en matière d’effectif, de précision des mesures. Les résultats peuvent être dépendants de tout un contexte de tout ce qui a été mis en œuvre. Il n’est pas impossible qu’une étude de réplication donne un résultat différent.
Dès lors, une importance clé est rarement attribuée au résultat d’une seule étude. Ce qui importe est de voir si sur un sujet donné il y a une multiplicité d’études et que ces études convergent dans leurs résultats.
Quand bien même il y a des études qui se contredisent les unes les autres, en regardant l’ensemble, il peut y avoir une tendance générale qui émerge. Cette tendance s’évalue et s’établit grâce à des procédures statistiques particulières qui s’appellent des méta-analyses. Ce sont des procédures qui compilent les données de multiples études.
Si une méta-analyse de multiples études établit une tendance dans une direction, nous atteignons un niveau de preuve intéressant.
De l’hypothèse à sa diffusion sur le terrain
1) Formulation de l’hypothèse initiale
En général, l’idée d’une pratique pédagogique implique toujours un enseignant quelque part dans sa classe. Il va tester une approche sur ses propres élèves. Ces réflexions peuvent être menées par plusieurs enseignants. Elles peuvent être initiées également au départ d’échanges avec un chercheur ou un expert.
Cette approche si elle est neuve pour l’enseignant peut déjà avoir été étudiée par la recherche. Dans ce cas, il ne s’agit plus d’innovation pédagogique, mais de mise en œuvre d’une approche déjà étudiée. Nous nous concentrerons ici sur des idées pour lesquelles l’efficacité n’a pas encore été clairement évaluée.
2) Essai par un enseignant dans sa classe
Dans un premier temps, un enseignant réalise un essai dans sa classe et des observations qualitatives en découlent. Celles-ci peuvent être uniquement subjectives ou s’accompagner de tests sur les élèves, avant et après l’intervention.
L’enseignant va se faire une première idée sur l’efficacité de la pratique. Cette étape est subjective et nous pouvons la rendre plus objective en testant les élèves avant et après l’intervention. La valeur de cette mesure ne sera pas suffisante en soi, mais permet de décider si ça vaut la peine de pousser l’expérimentation plus loin.
L’intérêt de tester en classe est qu’il s’agit d’un système d’apprentissage complexe. Une intervention particulière qui stimule l’apprentissage dans des conditions de laboratoire peut être totalement inerte lorsqu’elle est appliquée en classe.
Inversement, une pratique inefficace en laboratoire peut être plutôt bénéfique lorsqu’elle est utilisée dans des environnements éducatifs authentiques. D’autres paramètres interviennent et d’autres avantages indirects peuvent se manifester.
3) Étude quasi expérimentale (au moins deux groupes)
Si un progrès manifeste a été observé au niveau précédent, alors cela peut éventuellement justifier une étude un petit peu plus rigoureuse.
Dans cette étude, au moins deux groupes sont mobilisés. L’idée est de prendre deux classes semblables et d’adopter dans chacune des approches différentes pour pouvoir comparer les progrès respectifs des élèves.
Le point positif est que nous avons deux classes et un ou deux enseignants. Cependant, nous ne savons pas exactement si les approches seront mises en œuvre exactement comme attendu. Elles ont des élèves qui sont différents et certains enseignants sont naturellement plus efficaces que d’autres ou plus à l’aise avec une pratique plutôt qu’avec une autre.
Il existe différentes difficultés potentielles qui font que nous ne pourrons pas avoir une preuve formelle à la fin, mais c’est une deuxième étape pour se faire une idée plus approfondie de la possibilité d’une efficacité.
4) Étude expérimentale (essai randomisé contrôlé)
Si l’étape précédente est concluante alors ça justifierait de faire une vraie étude expérimentale dans les règles de l’art avec toute la méthodologie de l’essai randomisé contrôlé.
À ce stade, des chercheurs interviennent pour assurer la méthodologie, car les enseignants tout seuls ne peuvent pas l’organiser.
5) Multiples études expérimentales
Si l’étude expérimentale est concluante alors ça justifie de refaire la même chose dans d’autres endroits avec d’autres enseignants et potentiellement à plus grande échelle.
6) Méta-analyse
Si nous commençons à avoir de multiples études expérimentales, nous pouvons faire une méta-analyse et voir si elle donne un résultat convergent et significativement positif.
7) Étude de passage à l’échelle
Même si une intervention dispose de données probantes qui montrent un effet significatif, il faut encore vérifier lorsque nous passons à l’échelle, ça marche encore.
Lorsque nous réalisons des études expérimentales, les enseignants recrutés sont généralement motivés pour participer à une recherche scientifique. Ils sont formés aux pratiques à mettre en œuvre. Ils sont bien encadrés pour vérifier la fidélité de l’intervention. Il y a un suivi des résultats des élèves.
Ce type de cadre autour des enseignants est susceptible de créer un effet Hawthorne, l’équivalent de l’effet placebo en médecine.
C’est important de voir si l’approche peut être mise à l’échelle face à une diversité d’écoles, d’élèves et d’enseignants. Le niveau de formation des enseignants dans ses pratiques ne sera pas le même. Leur implication, leur volontariat ne sera pas équivalent. Ça peut diluer et diminuer les effets.
C’est important de voir ce qui en reste. Les problèmes de mise en œuvre à une grande échelle sont potentiellement considérables. Cela justifie de faire des études de passage à l’échelle. Nous voulons savoir avec quelles conditions nous pouvons conserver une certaine efficacité à grande échelle sur le terrain et dans les conditions réelles de formation et de scolarisation.
Mis à jour le 27/03/2023
Bibliographie
Franck Ramus, Qu’est-ce que la recherche scientifique peut apporter aux enseignants ? 2019, https://www.youtube.com/watch?v=FPFwqQ6CfUU
Michael Shermer, The Believing Brain: From Ghosts and Gods to Politics and Conspiracies—How We Construct Beliefs and Reinforce Them as Truths Times Books: 2011.
0 comments:
Enregistrer un commentaire