(Photographie : Joris Vandecatseye)
Le milieu de l'éducation est sensible et souvent crédule aux effets de mode, aux promesses d'innovations, aux promesses numériques, mais manque souvent d'esprit critique.
Le fait de poser des questions sur l'existence de données probantes pouvant soutenir une approches proposées où sur l'existence avérée de mécanismes pouvant laisser supposer que certaines actions sont susceptibles d'avoir un impact sur l'objectif avéré, n'est pas toujours simple.
Un manque ou une absence de validité de certaines approches promues selon les critères d’une éducation fondée sur des données probantes dérange rarement. Il y a une obligations de moyens, mais pas d'obligation de résultats. L'important souvent est d'essayer et pas tellement de s'améliorer. L'important est de fournir aux enseignants des formations continues qui leur plaisent et arrondissement les angles, pas tellement de les pousser à la réflexion et d'adopter de nouvelles pratiques que la recherche démontrer comme étant plus efficaces.
Il est vrai, innover permet parfois de générer des progrès notables, mais ce n’est pas parce que nous innovons que nous avançons automatiquement dans la bonne direction. Souvent l'amélioration viendra du renforcement d'idées anciennes mais pas correctement mises en oeuvre plutôt que de la dernière idée à la mode floue et peu concrète.
« Show me the data! » proposait Barak Rosenshine (1997), à ceux qui prônent des pratiques pédagogiques dont l’argument principal est d’être innovantes. Quand sont invoquées des références bibliographiques, encore faudrait-il préciser dans quelles conditions les recommandations avancées ont été établies.
Nous avons déjà dans ces pages la question du d de Cohen, des essais randomisés contrôlés ou l’importance des données probantes dans la perspective d’une professionnalisation de l’enseignement.
L’idée est de montrer ici comment la recherche en éducation s’inspire de la démarche scientifique pour aboutir à des conclusions plus objectives sur des questions de pratiques d’enseignement.
Opter pour une approche pédagogique plutôt qu’une autre doit être un choix raisonné et informé. Dans ce choix, l’éducation fondée sur les données probantes a un rôle à jouer. Elle apporte des preuves tangibles et vérifiées de l’efficacité comparée de pratiques pédagogiques différentes en ce qui concerne les résultats escomptés auprès des élèves.
Une échelle de niveau de preuve pour les publications pédagogiques
Mobiliser des pratiques d'enseignement ne peut correspondre à réinventer la roue, mais nécessite d’adopter des principes qui offrent une cohérence d’ensemble.
Différentes approches existent, identifiées et décrites. Que ce soit par voie directe (par des résultats de recherches) ou au travers d’intermédiaires (d’auteurs qui citent d’autres auteurs), nous pouvons postuler qu’il y a toujours théoriquement moyen de trouver des références bibliographiques sur les différentes approches pédagogiques. Cela est vrai, quelles que soient les pratiques pédagogiques dans lesquelles nous nous inscrivons.
Nous pouvons donc remonter à la source et interroger la base de références pédagogiques accumulées au fil du temps, au sujet des pratiques que nous employons, que nous défendons ou que nous souhaitons adopter.
Toutes les publications pédagogiques ne se valent pas. C’est un fait trivialement accepté. Un critère clé pour déterminer leur validité et leur pertinence est la méthodologie qu’elles mettent en œuvre. L’éducation fondée sur les preuves, influencée par la médecine fondée sur les preuves revendique la méthode scientifique comme modèle.
Une échelle régulièrement rencontrée (particulièrement dans les publications de référence liées à l’enseignement explicite) et qui servira de base à l’article est issue d’un système de classification à trois niveaux. Elle a été conçue à l’origine par deux chercheurs de l’University of Tennessee, Arthur Ellis et Jeffrey Fouts, elle a été adoptée et précisée par Steve Bissonnette, Mario Richard et Clermont Gauthier (2006, 2010). C’est Martin Kozloff qui y a ajouté un niveau zéro.
Lorsque les enseignants s’emploient à sélectionner des études valides pour éclairer leur pratique, il est souhaitable qu’ils favorisent celles qui ont le niveau le plus élevé de validité. Lorsque des recherches sont réalisées selon des protocoles rigoureux, elles permettent de mieux contrôler différents biais.
Le niveau 0 : hypothèses
Le niveau zéro reprend tout ce qui est essai, texte d’opinion, sagesse collective, document de formation ou article de vulgarisation contenant des arguments ou des principes non étayés de preuves. Les auteurs de ce type de publications versent régulièrement dans l’émotionnel. Ils utilisent une langue séduisante et parfois des arguments douteux pour obtenir l’adhésion de leur audience.
Le niveau 0 est également de l’ordre des témoignages, des anecdotes, questionnaires, ou des interactions entre enseignants, parents, élèves et chercheurs.
D’un point de vue strict, nous pouvons dès lors identifier ces énoncés et conseils avancés comme étant avant tout de simples hypothèses. Ce sont des énoncés tels que nous nous en posons face à un questionnement, à l’origine d’une démarche scientifique. Par conséquent, ces documents sont à considérer avec prudence et esprit critique.
Poser des hypothèses est le premier niveau de la démarche scientifique. Toutes les découvertes et théories partent de là. Il s’agit d’une pensée créatrice qui émet des suppositions en partie dans le vide, au départ des propres expériences, observations, conceptions et intuitions de ses auteurs.
Ces hypothèses sont importantes, car elles nous permettent d’avancer, de débattre, de réfléchir, de prendre du recul et d’aborder la réalité avec plus de nuances et de complexité. Mais elles sont entachées de biais divers et d’imperfections diverses. La plus grande imperfection est que nous ignorons à ce stade si elles sont vraies.
Il est important de préciser que des documents de vulgarisation qui permettent de remonter vers des données probantes n’entrent pas dans cette catégorie. Il est néanmoins important de vérifier les sources bibliographiques afin de s’assurer qu’elles reposent bien sur des données probantes. Il est nécessaire que les enseignants disposent d’ouvrages de vulgarisation qui puissent leur servir de référence. Ceux-ci doivent être rédigés par des experts ou des chercheurs dans un domaine particulier, capables de faire le bilan des résultats de la recherche et d’en traduire les implications pour l’enseignement.
La difficulté pour l’enseignant c’est qu’une part non moindre des publications ayant trait à la pédagogie ne dépasse pas ce niveau 0. Dès lors, elle est de l’ordre de l’opinion plus que de celui d’une référence objectivée par une recherche scientifique. Même lorsqu’un auteur cite un autre auteur ou par exemple un théoricien en incluant les références de la source, cela peut rester au niveau de l’opinion (professionnelle). Dans ce cas, nous ne dépassons pas pour autant le niveau 0 de l’hypothèse scientifique. Le danger d’un tel système est qu’il peut créer une base de référencement circulaire où les auteurs se citent entre eux sans jamais dépasser le stade d’une hypothèse non vérifiée.
Un autre aspect sur lequel insister est que dans des textes d’opinion pédagogique faisant référence à des théories, le statut d’hypothèse n’est jamais clairement affiché. Ce qui est avancé ne traduit souvent que les préférences personnelles des auteurs, à prendre dès lors avec toutes les précautions nécessaires si aucune information scientifique ne vient l’étayer. En science, le mot théorie est utilisé pour décrire une hypothèse qui a été testée empiriquement. Ce n’est pas forcément le cas en pédagogie.
Les recherches de base sont des observations descriptives, de type quantitatif ou qualitatif ou s’interrogeant sur la présence possible de corrélation. Il s’agit d’enquêtes, d’études de cas, de recherche-action ou de recherches réalisées parfois en laboratoire.
Décrire un phénomène, suspecter une corrélation entre deux variables permet d’affiner des hypothèses, de les développer pour ébaucher une théorie. Les études de niveau 1 sont utiles avant tout pour ébaucher les contours d’une expérimentation à venir.
Sauf situations triviales, les observations descriptives ne permettent en aucun cas d’établir une corrélation ou de valider une hypothèse. Des observations isolées n’offrent aucun pouvoir de généralisation d’autant qu’elles appartiennent essentiellement à des contextes particuliers.
Si la validation d’une hypothèse n’est pas possible, son invalidation l’est par contre. Des observations descriptives d’hypothèses peuvent être utilisées pour questionner leur validité. Il serait absurde d’investir dans de la recherche expérimentale de niveau 2 ou 3 lorsque de simples observations ne mettent en évidence aucune vraisemblance de l’hypothèse de départ. Il est ainsi vide de sens, de s’en tenir à une hypothèse qui est contredite par la recherche de niveau 1.
Une recherche qui s’arrête au niveau 1 sur des perspectives prometteuses a besoin d’être vérifiée plus strictement avec des recherches de niveau supérieur avant d’être plus largement adoptée. L’enjeu est de réduire les risques éducatifs liés à une mise en œuvre trop rapide.
Du point de vue de l’enseignant, nous ne pouvons conclure que les théories qui ne sont qu’au niveau 1 n’ont aucun mérite et ne fonctionnent pas. Cependant, il est judicieux de souhaiter que les résultats de recherches de niveau 1 ne constituent pas une part prépondérante de la formation des enseignants. De même, des budgets conséquents ne devraient pas être alloués pour promouvoir des pratiques pédagogiques avec seulement un soutien de niveau 1.
Ce niveau 2 peut correspondre à la mise en place de protocoles expérimentaux ou quasi expérimentaux à petite échelle, idéalement en classe, avec des groupes expérimentaux et des groupes témoins qui offrent un contrôle. L’idée est de mettre en évidence des corrélations, ce que ne permettent pas les recherches de niveau 1.
Le but est d’établir une relation de cause à effet entre variables, afin de comparer et de mesurer statistiquement les effets de différentes dans les pratiques pédagogiques sur la performance scolaire des élèves.
Les hypothèses qui fondent la théorie doivent être énoncées clairement. Les variables dans les hypothèses sont clairement définies, dépendantes ou indépendantes. Les méthodes pour mesurer sont développées et testées pour vérifier leur validité. Il s’agit de bien mesurer ce qui est supposé être mesuré.
Le protocole des essais randomisés contrôlés est adopté autant que possible. Les élèves sont affectés au hasard à deux groupes d’enseignement ou plus. Un groupe apprend d’une façon, l’autre groupe apprend d’une autre façon. Les résultats sont comparés. Un traitement statistique des données récoltées permet d’établir rigoureusement si des différences dans les résultats sont susceptibles d’être accidentelles ou s’il est probable qu’elles se reproduisent. Elles permettent de mesurer l’effet.
Il est important de préciser que des documents de vulgarisation qui permettent de remonter vers des données probantes n’entrent pas dans cette catégorie. Il est néanmoins important de vérifier les sources bibliographiques afin de s’assurer qu’elles reposent bien sur des données probantes. Il est nécessaire que les enseignants disposent d’ouvrages de vulgarisation qui puissent leur servir de référence. Ceux-ci doivent être rédigés par des experts ou des chercheurs dans un domaine particulier, capables de faire le bilan des résultats de la recherche et d’en traduire les implications pour l’enseignement.
La difficulté pour l’enseignant c’est qu’une part non moindre des publications ayant trait à la pédagogie ne dépasse pas ce niveau 0. Dès lors, elle est de l’ordre de l’opinion plus que de celui d’une référence objectivée par une recherche scientifique. Même lorsqu’un auteur cite un autre auteur ou par exemple un théoricien en incluant les références de la source, cela peut rester au niveau de l’opinion (professionnelle). Dans ce cas, nous ne dépassons pas pour autant le niveau 0 de l’hypothèse scientifique. Le danger d’un tel système est qu’il peut créer une base de référencement circulaire où les auteurs se citent entre eux sans jamais dépasser le stade d’une hypothèse non vérifiée.
Un autre aspect sur lequel insister est que dans des textes d’opinion pédagogique faisant référence à des théories, le statut d’hypothèse n’est jamais clairement affiché. Ce qui est avancé ne traduit souvent que les préférences personnelles des auteurs, à prendre dès lors avec toutes les précautions nécessaires si aucune information scientifique ne vient l’étayer. En science, le mot théorie est utilisé pour décrire une hypothèse qui a été testée empiriquement. Ce n’est pas forcément le cas en pédagogie.
Le niveau 1 : observations descriptives
Décrire un phénomène, suspecter une corrélation entre deux variables permet d’affiner des hypothèses, de les développer pour ébaucher une théorie. Les études de niveau 1 sont utiles avant tout pour ébaucher les contours d’une expérimentation à venir.
Sauf situations triviales, les observations descriptives ne permettent en aucun cas d’établir une corrélation ou de valider une hypothèse. Des observations isolées n’offrent aucun pouvoir de généralisation d’autant qu’elles appartiennent essentiellement à des contextes particuliers.
Si la validation d’une hypothèse n’est pas possible, son invalidation l’est par contre. Des observations descriptives d’hypothèses peuvent être utilisées pour questionner leur validité. Il serait absurde d’investir dans de la recherche expérimentale de niveau 2 ou 3 lorsque de simples observations ne mettent en évidence aucune vraisemblance de l’hypothèse de départ. Il est ainsi vide de sens, de s’en tenir à une hypothèse qui est contredite par la recherche de niveau 1.
Une recherche qui s’arrête au niveau 1 sur des perspectives prometteuses a besoin d’être vérifiée plus strictement avec des recherches de niveau supérieur avant d’être plus largement adoptée. L’enjeu est de réduire les risques éducatifs liés à une mise en œuvre trop rapide.
Du point de vue de l’enseignant, nous ne pouvons conclure que les théories qui ne sont qu’au niveau 1 n’ont aucun mérite et ne fonctionnent pas. Cependant, il est judicieux de souhaiter que les résultats de recherches de niveau 1 ne constituent pas une part prépondérante de la formation des enseignants. De même, des budgets conséquents ne devraient pas être alloués pour promouvoir des pratiques pédagogiques avec seulement un soutien de niveau 1.
Par ordre croissant de fiabilité pour le niveau 1 dans le cadre de la recherche translationnelle, nous pouvons distinguer :
- Les connaissances issues de recherches de laboratoire éloignées des conditions réelles, ou avec des échantillons limités.
- Les connaissances issues de recherches de laboratoire avec conditions proches de celles réelles, ou réalisées sur de nombreux sujets.
- Les résultats convergents de différentes lignes de recherche, avec réplication et confirmation des résultats, sur de vastes échantillons.
Le niveau 2 : protocoles expérimentaux à petite échelle
Au niveau 2, une théorie décrivant des pratiques pédagogiques est mise à l’épreuve quantitativement pour voir si elle permet d’obtenir de meilleurs résultats que d’autres approches concurrentes.
La qualité de ces études varie selon l’utilisation de supports objectifs pour l’observation (grilles, questionnaires, tests) et d’outils statistiques pour contrôler les autres variables qui pourraient expliquer les résultats.
Nous pouvons distinguer des études :
- Transversales : comparaison, à un instant donné, de différents groupes d’élèves plus ou moins avancés en âge ou en scolarité (par exemple des classes de niveau différent).
- Longitudinales : suivi des performances d’un groupe d’élèves à travers le temps.
- Rétrospectives : nous considérons un phénomène et nous cherchons à en retracer les facteurs qui ont potentiellement contribué à le produire.
Ce niveau 2 peut correspondre à la mise en place de protocoles expérimentaux ou quasi expérimentaux à petite échelle, idéalement en classe, avec des groupes expérimentaux et des groupes témoins qui offrent un contrôle. L’idée est de mettre en évidence des corrélations, ce que ne permettent pas les recherches de niveau 1.
Le but est d’établir une relation de cause à effet entre variables, afin de comparer et de mesurer statistiquement les effets de différentes dans les pratiques pédagogiques sur la performance scolaire des élèves.
Les hypothèses qui fondent la théorie doivent être énoncées clairement. Les variables dans les hypothèses sont clairement définies, dépendantes ou indépendantes. Les méthodes pour mesurer sont développées et testées pour vérifier leur validité. Il s’agit de bien mesurer ce qui est supposé être mesuré.
Les recherches de niveau 2 offrent une validité scientifique plus élevée que celles de niveau 1. Elles sont plus pertinentes lorsque nous nous intéressons aux effets réels des pratiques. Elles permettent d’identifier les composantes spécifiques qui sont importantes pour reproduire un rendement élevé.
Cependant, elles ne permettent pas, en dépit des traitements statistiques auxquels on peut soumettre les données d’observation, d’exclure qu’un facteur caché, une variable invisible, est en train de produire ou d’influencer le résultat observé.
Elles peuvent aider à identifier quel genre d’intervention est plus susceptible d’être efficace dans le cadre d’une étude expérimentale. Par exemple, si l’intervention A et la capacité B ne sont pas corrélées dans le cadre d’une étude de niveau 2, c’est significatif. Nous pouvons présumer que l’intervention A ne donnera pas d’effet significatif sur B dans le cadre d’une étude de niveau 3.
Un exemple particulièrement parlant de l’importance des recherches de niveau 2 est illustré par le lien entre la performance scolaire d’un élève et son niveau d’estime de soi. Des recherches de niveau 1 ont permis de montrer qu’à une performance scolaire élevée correspondait une estime de soi élevée, et inversement. Les recherches de niveau 2 ont permis de démontrer que la relation était dans un sens et pas dans l’autre : l’amélioration des résultats à l’école d’un élève rehausse son estime de lui-même. Rehausser l’estime de soi d’un élève ne se traduit pas dans l’amélioration de ses résultats.
Un second exemple parlant de recherche de niveau 2 est la vérification de l’hypothèse selon laquelle l’expression de chaleur et de sympathie envers les élèves qui échouent entraîne en fait une détérioration de l’estime de soi. Par exemple, Sandra Graham a étudié en 1984 dans ses recherches de niveau 2 le lien entre le soutien moral et la sympathie à l’égard des élèves qui échouent dans l’accomplissement de leurs tâches scolaires. Elle a montré que cela contribue à réduire davantage la confiance des élèves dans leurs propres capacités.
Le niveau 3 : protocoles expérimentaux à grande échelle
C’est une chose de vérifier l’existence d’un effet dans un contexte précis finement délimité et géré. C’est une autre de voir si cet effet se vérifie lors de mises en place systématiques et à grande échelle dans le cadre de projets pilotes.
D’un point de vue purement scientifique, les recherches de niveau 3 ont un degré de validité interne moins élevé que celles de niveau 2. Vu l’échelle, il devient bien plus compliqué d’intégrer tous les paramètres propres aux essais randomisés contrôlés.
Cependant, vu leur accroissement d’échelle et leur organisation dans des conditions proches du réel, intégrant bien plus de paramètres, les recherches de niveau 3 gagnent en fiabilité pratique. Le but est de les intégrer dans la globalité des apprentissages. Les recherches de niveau 3 permettent d’éviter le risque qu’une pratique possède un effet particulièrement intéressant sur une finalité, mais que celui-ci se révèle globalement défavorable. En effet, en contexte scolaire, il faut considérer l’ensemble des aspects qui caractérisent un parcours scolaire.
Le niveau 3 est important parce qu’à ce niveau, la nouvelle intervention est intégrée à toutes les autres actions que les enseignants doivent accomplir en une journée. Certaines pratiques qui bénéficient d’une taille d’effet intéressante peuvent ne pas le traduire en situation réelle dans une recherche de niveau 3. Par exemple, elles peuvent s’accompagner d’une utilisation de temps tellement conséquente qu’elles interfèrent avec le bon déroulement d’autres activités essentielles avec les apprentissages globaux des élèves. D’autres pratiques à la taille d’effet plus faible peuvent toutefois générer des bénéfices appréciables en interaction avec d’autres facteurs scolaires.
La réalisation d’une recherche de niveau 3 permet d’éviter le piège d’une généralisation abusive et la prise en compte de possibles effets secondaires que les recherches de niveau 2 ne peuvent révéler.
Disposer de recherches de niveau 2 ou 3 permet d’avoir des informations bien plus fiables que les niveaux 0 et 1, et permet d’éviter les modes en éducation.
Privilégier des pratiques qui passent par une recherche de niveau 3 est plus susceptible de mener à une intégration entre pratiques antérieures et nouvelles. Cela permet une compréhension plus approfondie de leurs interactions et de la relation entre l’éducation et l’apprentissage. La recherche de niveau 3 permet de considérer le caractère cumulatif des connaissances pédagogiques. La nature de l’apprentissage des élèves n’a probablement pas beaucoup changé depuis des centaines d’années. De cette façon, la base de connaissances pédagogiques s’élargit au fil du temps et s’affine.
Les pratiques et approches pédagogiques qui reçoivent l’appui des niveaux de recherche 2 et 3 devraient constituer la majeure partie de nos programmes de formation des enseignants et être ainsi largement diffusées.
En ce qui concerne les études expérimentales avec modification contrôlée des conditions d’apprentissage et observation des conséquences, par ordre de fiabilité, nous distinguons :
- Les études qui comparent un pré-test et un post-test (un dessin expérimental souvent très insuffisant, car tous les élèves s’améliorent avec le temps !) ;
- Les études qui comparent un groupe d’intervention et un groupe témoin en pré- et post-test, mais sans les randomiser
- Les essais randomisés contrôlés (RCTs), dans lesquels les élèves ou les classes sont assignés aléatoirement à la condition d’intervention ou de contrôle, et sont comparés en pré- et post-test.
Liens avec la démarche scientifique
- Les niveaux 0 et 1 correspondent à une construction théorique en éducation, équivalente à la formation d’hypothèses en sciences. On élabore une hypothèse par l’observation informelle. On teste l’hypothèse en tentant formellement de la réfuter.
- Le niveau 2 correspond à l’expérience réelle, à la vérification de l’hypothèse isolée d’autres paramètres pouvant interférer. Les données du test sont analysées pour évaluer la véracité de l’hypothèse.
- Le niveau 3 correspond à la mise en application de découvertes issues de la recherche scientifique et à leur intégration aux savoirs et savoir-faire existants. Un nouvel outil, que ce soit dans le domaine scientifique ou éducatif ne doit pas systématiquement rejeter tout ce qui précède. Les savoirs et pratiques précédentes peuvent encore trouver leur nécessité dans la complexité du monde environnant.
Niveau 4 : Les synthèses et les méta-analyses
Les méta-analyses apportent une réponse à cette problématique. Elles font œuvre de synthèse utile, précieuse et indispensable. Comme l’écrit Marzano (2003), la méta-analyse est une approche de la recherche qui a été formellement développée par le chercheur Gene Glass et ses collègues au début des années 1970. Il s’agit d’une technique permettant de combiner quantitativement les résultats de différentes études sur le même sujet. Depuis sa création, elle a été largement utilisée dans les domaines de l’éducation, de la psychologie et de la médecine. Elle a permis de construire des généralisations qui n’étaient pas disponibles auparavant.
Le principe de la méta-analyse est la réalisation d’une intégration quantitative des résultats de différentes études de niveau 2 ou 3 sur un même sujet. Elle implique pour être crédible une sélection critique des études qui permettent son élaboration.
Les études sélectionnées doivent adhérer à des règles strictes portant sur le contrôle de la subjectivité et des biais. Une méta-analyse commence par une sélection d’articles de recherche sur un thème précis dans lesquels les chercheurs ont comparé un groupe expérimental avec un groupe contrôle. Dans la mesure où cette condition est respectée, les méta-analyses permettent de tirer des conclusions globales relativement fiables.
Comme l’écrit Robert Marzano (2003), une seule étude, aussi bien construite soit-elle, risque de contenir des biais ou des erreurs qui influenceront ses résultats. Il est presque impossible de contrôler toutes les erreurs qui pourraient se glisser dans une étude. C’est pourquoi les chercheurs attribuent une note de probabilité à leurs résultats. Lorsque les chercheurs déclarent que leurs résultats sont significatifs au niveau 0,05, ils disent qu’il y a une très faible probabilité d’inexactitude. Nous nous trouvons à moins de 5 chances sur 100 que leurs résultats soient fonction de l’erreur non contrôlée de l’étude. Lorsque les chercheurs déclarent que leurs résultats sont significatifs au niveau 0,01, ils disent qu’il y a encore moins de chances que les résultats soient fonction de l’erreur non contrôlée — moins de 1 chance sur 100. En combinant les résultats de nombreuses études, nous pouvons dire avec beaucoup plus de certitude qu’avec une seule étude que certaines stratégies fonctionnent ou ne fonctionnent pas.
La méta-analyse applique une analyse statistique permettant de quantifier les résultats provenant de plusieurs recherches qui ont étudié l’effet d’une variable donnée. Elle permet l’établissement d’une taille d’effet. En agrégeant les études, elles permettent d’accéder à des échantillons globaux comptabilisant des milliers d’élèves d’âges et de caractéristiques différents et se déroulant souvent sur de longues périodes dans une diversité élargie de contextes.
Le principe de la méta-analyse est la réalisation d’une intégration quantitative des résultats de différentes études de niveau 2 ou 3 sur un même sujet. Elle implique pour être crédible une sélection critique des études qui permettent son élaboration.
Les études sélectionnées doivent adhérer à des règles strictes portant sur le contrôle de la subjectivité et des biais. Une méta-analyse commence par une sélection d’articles de recherche sur un thème précis dans lesquels les chercheurs ont comparé un groupe expérimental avec un groupe contrôle. Dans la mesure où cette condition est respectée, les méta-analyses permettent de tirer des conclusions globales relativement fiables.
Comme l’écrit Robert Marzano (2003), une seule étude, aussi bien construite soit-elle, risque de contenir des biais ou des erreurs qui influenceront ses résultats. Il est presque impossible de contrôler toutes les erreurs qui pourraient se glisser dans une étude. C’est pourquoi les chercheurs attribuent une note de probabilité à leurs résultats. Lorsque les chercheurs déclarent que leurs résultats sont significatifs au niveau 0,05, ils disent qu’il y a une très faible probabilité d’inexactitude. Nous nous trouvons à moins de 5 chances sur 100 que leurs résultats soient fonction de l’erreur non contrôlée de l’étude. Lorsque les chercheurs déclarent que leurs résultats sont significatifs au niveau 0,01, ils disent qu’il y a encore moins de chances que les résultats soient fonction de l’erreur non contrôlée — moins de 1 chance sur 100. En combinant les résultats de nombreuses études, nous pouvons dire avec beaucoup plus de certitude qu’avec une seule étude que certaines stratégies fonctionnent ou ne fonctionnent pas.
La méta-analyse applique une analyse statistique permettant de quantifier les résultats provenant de plusieurs recherches qui ont étudié l’effet d’une variable donnée. Elle permet l’établissement d’une taille d’effet. En agrégeant les études, elles permettent d’accéder à des échantillons globaux comptabilisant des milliers d’élèves d’âges et de caractéristiques différents et se déroulant souvent sur de longues périodes dans une diversité élargie de contextes.
Voir article sur la taille d’effet :
Comme l’écrit Salt (et coll., 2019), la méta-analyse est un ensemble de techniques statistiques permettant d’intégrer les résultats des recherches dans les études portant sur un sujet particulier. À ce jour, la méta-analyse est sans doute l’outil le plus efficace pour résoudre les différends dans la recherche empirique quantitative.
La méga-analyse représente une synthèse des résultats provenant de diverses méta-analyses. Les résultats ainsi regroupés peuvent être utilisés pour comparer et déterminer les interventions les plus efficaces sur un sujet donné.
Différentes méga-analyses ont été réalisées sur l’efficacité de différentes pratiques ainsi que sur différentes innovations en éducation. On peut citer celles de John Hattie (Visible Learning, en 2008). Il y a aussi celle de Steve Bissonnette, Mario Richard, Clermont Gauthier et Carl Bouchard (2010, « Quelles sont les stratégies d’enseignement efficaces favorisant les apprentissages fondamentaux auprès des élèves en difficulté de niveau élémentaire ? Résultats d’une méga-analyse. »)
L’interprétation des résultats d’une méga-analyse doit être réalisée avec prudence, elle met en évidence des indicateurs et permet de relever de grandes tendances émergeant d’un ensemble de recherches.
Elles n’oblitèrent pas la nécessité de remonter aux méta-analyses et recherches de niveaux 2 et 3 d’origine pour nuancer le propos et comprendre la manière dont les conclusions peuvent être intégrées à des pratiques locales contextualisées.
Avec la force de recul qu’elles proposent, les méga-analyses constituent un point de départ. Elles offrent un point de référence inégal face à une question précise sur la validité d’une pratique pédagogique face à ses alternatives.
Une alternative un peu plus détaillée est celle de la taxonomie de LinguiSystems, utilisée par Mario Richard et ses collègues (2017) dans le cadre de recherches sur la qualité du développement professionnel.
Si la numérotation est inversée, ce mode de classement est lui-même basé sur le degré de contrôle des facteurs pouvant biaiser les résultats, allant du niveau de recherche le plus élevé (niveau 1) au plus faible (niveau 4). Pour plus de détails sur son principe et les différences, on renverra vers le rapport de Mario Richard.
Les différents niveaux de preuve varient en degré de crédibilité. Un niveau peut mettre en évidence des failles ou des interactions que le niveau précédent n’avait pas considérées.
Par exemple, ce qui peut être constaté sur un échantillon peut ne pas se vérifier à plus grande échelle. Ce qui est mis en évidence sur un temps réduit peut ne pas être validé dans une étude longitudinale qui suit une même population dans le temps. Tous les profils, âges d’élèves, contextes culturels ou tailles de classes peuvent ne pas être adaptés à une approche.
Lorsque l’on veut défendre et justifier une pratique, il est utile de disposer de références et la valeur de celles-ci dépend du niveau de preuve avec lequel elles ont été établies.
Il ne faudrait pas imposer aux élèves des méthodes qui ont uniquement fait l’objet d’une recherche de niveau 1. De même, il est imprudent d’imposer à grande échelle quelque chose qui n’a été testé qu’à l’échelle de quelques classes (niveau 2).
Lorsqu’en tant qu’enseignant, on se trouve incité à se former à de nouvelles approches qui promettent améliorer nos pratiques, il est utile de développer des réflexes d’autodéfense intellectuelle et poser les bonnes questions :
Est-ce que les pratiques proposées ont déjà été testées dans le cadre de recherches ?
NON : Par principe de prudence et par éthique, il vaut mieux éviter de se lancer dans une participation et une mise en application. La raison est qu’en acceptant, nous endossons le rôle à la fois d’expérimentateur et de cobaye sans aucune certitude d’une issue positive ou même neutre des investissements consentis.
OUI : Dans ce cas, il faut se renseigner sur la nature des preuves et leur niveau, demander à voir et à en savoir plus.
Il faut connaître la taille d’effet mesurée et la nature des résultats, positifs ou mitigés. En fonction des réponses émises, du niveau de preuve et de l’application possible dans le contexte considéré, nous pouvons estimer s’il est pertinent de s’investir dans la mise en application de telles stratégies. Si le bilan est positif, nous pouvons en conclure qu’il y a des chances que l’investissement puisse être profitable et accepter de se retrousser les manches.
Bernard Appy, La taxonomie d’Ellis et Fouts (2010) http://www.formapex.com/donnees-probantes/1103-la-taxonomie-dellis-et-fouts
Françoise Appy, Les niveaux de recherche en éducation : une question d’éthique (2011) http://www.formapex.com/donnees-probantes/701-les-niveaux-de-recherche-en-education-une-question-dethique
Monique Brodeur et coll., Pour un enseignement efficace de la lecture et de l’écriture : une trousse d’intervention appuyée par la recherche, Réseau canadien de recherche sur le langage et l’alphabétisation (2009)
Feyfant Annie, Effets des pratiques pédagogiques sur les apprentissages. Dossier d’actualité veille et analyses, n° 65, octobre (2011) http://www.inrp.fr/vst/DA/detailsDossier.php?dossier=65&lang=fr
Steve Bissonnette, Mario Richard, Clermont Gauthier, Comment enseigne-t-on dans les écoles efficaces ? — Efficacité des écoles et des réformes, Les Presses de l’Université Laval, 3e trimestre (2006).
Steve Bissonnette, Mario Richard, Clermont Gauthier et Carl Bouchard, Quelles sont les stratégies d’enseignement efficaces favorisant les apprentissages fondamentaux auprès des élèves en difficulté de niveau élémentaire ? Résultats d’une méga-analyse, RRAA — Revue de recherche appliquée sur l’apprentissage, vol. 3 article 1 (2010)
Bonnie Grossen. “What Does It Mean To Be A Research-Based Profession?” in What’s Gone Wrong in America’s Classrooms? Williamson Evers, ed. Stanford University: Hoover Institution Press, (1998), 24. http://personalweb.donet.com/~eprice/resprf.htm
Richard, M., Carignan I., Gauthier, C. et Bissonnette, S. (2017). Quels sont les modèles de formation continue les plus efficaces pour l’enseignement de la lecture et de l’écriture chez les élèves du préscolaire, du primaire et du secondaire ? Une synthèse de connaissances. Rapport de recherche préparé pour le Fonds de recherche Société et culture du Québec et le Ministère de l’Éducation et de l’Enseignement supérieur, Programme Actions concertées. Québec : Université TÉLUQ
Robert Marzano with Jana S. Marzano and Debra J. Pickering, Classroom management that works, ASCD, 2003
Comme l’écrit Salt (et coll., 2019), la méta-analyse est un ensemble de techniques statistiques permettant d’intégrer les résultats des recherches dans les études portant sur un sujet particulier. À ce jour, la méta-analyse est sans doute l’outil le plus efficace pour résoudre les différends dans la recherche empirique quantitative.
Son objectif premier est d’évaluer
(a) si un effet (par exemple, la relation entre deux variables) est statistiquement significatif
(b) l’ampleur et la cohérence de cet effet.
Dans sa forme la plus simple, la méta-analyse n’est qu’une moyenne pondérée en fonction de la taille de l’échantillon. La taille globale de l’effet est calculée en faisant la moyenne de toutes les tailles de l’effet extraites des études primaires.
Les tailles d’effet sont pondérées en fonction de la précision (c’est-à-dire l’inverse de la variance), qui est principalement (parfois uniquement) fonction de la taille de l’échantillon. Ainsi, plus l’échantillon est grand, plus le poids de l’effet est important dans l’analyse.
Une autre information fondamentale offerte par la méta-analyse est le degré d’hétérogénéité réelle. Il s’agit d’une mesure de la variabilité entre études dans la population des tailles d’effet qui n’est pas due à une erreur aléatoire. Lorsqu’il est faible, c’est une bonne preuve de la cohérence de l’effet dans les études primaires. Lorsqu’il est élevé, cela suggère que l’effet est modéré par certaines variables. La prise en compte d’une véritable hétérogénéité est essentielle pour fournir des résultats fiables et interprétables.
Enfin, la méta-analyse peut estimer l’ampleur du biais de publication, c’est-à-dire l’inflation de la taille globale de l’effet due à la suppression systématique des résultats statistiquement non significatifs d’une littérature particulière.
La qualité de ces analyses varie selon deux paramètres :
- L’effort d’éviter la sélection arbitraire d’une partie de la littérature et les biais de publication.
- L’effort de pondérer les résultats des études expérimentales en fonction de leur qualité méthodologique.
La méga-analyse
Différentes méga-analyses ont été réalisées sur l’efficacité de différentes pratiques ainsi que sur différentes innovations en éducation. On peut citer celles de John Hattie (Visible Learning, en 2008). Il y a aussi celle de Steve Bissonnette, Mario Richard, Clermont Gauthier et Carl Bouchard (2010, « Quelles sont les stratégies d’enseignement efficaces favorisant les apprentissages fondamentaux auprès des élèves en difficulté de niveau élémentaire ? Résultats d’une méga-analyse. »)
L’interprétation des résultats d’une méga-analyse doit être réalisée avec prudence, elle met en évidence des indicateurs et permet de relever de grandes tendances émergeant d’un ensemble de recherches.
Elles n’oblitèrent pas la nécessité de remonter aux méta-analyses et recherches de niveaux 2 et 3 d’origine pour nuancer le propos et comprendre la manière dont les conclusions peuvent être intégrées à des pratiques locales contextualisées.
Avec la force de recul qu’elles proposent, les méga-analyses constituent un point de départ. Elles offrent un point de référence inégal face à une question précise sur la validité d’une pratique pédagogique face à ses alternatives.
Un mode de classement alternatif : la taxonomie de LinguiSystems
Une alternative un peu plus détaillée est celle de la taxonomie de LinguiSystems, utilisée par Mario Richard et ses collègues (2017) dans le cadre de recherches sur la qualité du développement professionnel.
Si la numérotation est inversée, ce mode de classement est lui-même basé sur le degré de contrôle des facteurs pouvant biaiser les résultats, allant du niveau de recherche le plus élevé (niveau 1) au plus faible (niveau 4). Pour plus de détails sur son principe et les différences, on renverra vers le rapport de Mario Richard.
Conclusion
Les différents niveaux de preuve varient en degré de crédibilité. Un niveau peut mettre en évidence des failles ou des interactions que le niveau précédent n’avait pas considérées.
Par exemple, ce qui peut être constaté sur un échantillon peut ne pas se vérifier à plus grande échelle. Ce qui est mis en évidence sur un temps réduit peut ne pas être validé dans une étude longitudinale qui suit une même population dans le temps. Tous les profils, âges d’élèves, contextes culturels ou tailles de classes peuvent ne pas être adaptés à une approche.
Il ne faudrait pas imposer aux élèves des méthodes qui ont uniquement fait l’objet d’une recherche de niveau 1. De même, il est imprudent d’imposer à grande échelle quelque chose qui n’a été testé qu’à l’échelle de quelques classes (niveau 2).
Lorsqu’en tant qu’enseignant, on se trouve incité à se former à de nouvelles approches qui promettent améliorer nos pratiques, il est utile de développer des réflexes d’autodéfense intellectuelle et poser les bonnes questions :
Est-ce que les pratiques proposées ont déjà été testées dans le cadre de recherches ?
NON : Par principe de prudence et par éthique, il vaut mieux éviter de se lancer dans une participation et une mise en application. La raison est qu’en acceptant, nous endossons le rôle à la fois d’expérimentateur et de cobaye sans aucune certitude d’une issue positive ou même neutre des investissements consentis.
OUI : Dans ce cas, il faut se renseigner sur la nature des preuves et leur niveau, demander à voir et à en savoir plus.
Il faut connaître la taille d’effet mesurée et la nature des résultats, positifs ou mitigés. En fonction des réponses émises, du niveau de preuve et de l’application possible dans le contexte considéré, nous pouvons estimer s’il est pertinent de s’investir dans la mise en application de telles stratégies. Si le bilan est positif, nous pouvons en conclure qu’il y a des chances que l’investissement puisse être profitable et accepter de se retrousser les manches.
Mis à jour le 22/10/2022
Bibliographie
Bernard Appy, La taxonomie d’Ellis et Fouts (2010) http://www.formapex.com/donnees-probantes/1103-la-taxonomie-dellis-et-fouts
Françoise Appy, Les niveaux de recherche en éducation : une question d’éthique (2011) http://www.formapex.com/donnees-probantes/701-les-niveaux-de-recherche-en-education-une-question-dethique
Monique Brodeur et coll., Pour un enseignement efficace de la lecture et de l’écriture : une trousse d’intervention appuyée par la recherche, Réseau canadien de recherche sur le langage et l’alphabétisation (2009)
Feyfant Annie, Effets des pratiques pédagogiques sur les apprentissages. Dossier d’actualité veille et analyses, n° 65, octobre (2011) http://www.inrp.fr/vst/DA/detailsDossier.php?dossier=65&lang=fr
Steve Bissonnette, Mario Richard, Clermont Gauthier, Comment enseigne-t-on dans les écoles efficaces ? — Efficacité des écoles et des réformes, Les Presses de l’Université Laval, 3e trimestre (2006).
Steve Bissonnette, Mario Richard, Clermont Gauthier et Carl Bouchard, Quelles sont les stratégies d’enseignement efficaces favorisant les apprentissages fondamentaux auprès des élèves en difficulté de niveau élémentaire ? Résultats d’une méga-analyse, RRAA — Revue de recherche appliquée sur l’apprentissage, vol. 3 article 1 (2010)
Bonnie Grossen. “What Does It Mean To Be A Research-Based Profession?” in What’s Gone Wrong in America’s Classrooms? Williamson Evers, ed. Stanford University: Hoover Institution Press, (1998), 24. http://personalweb.donet.com/~eprice/resprf.htm
Richard, M., Carignan I., Gauthier, C. et Bissonnette, S. (2017). Quels sont les modèles de formation continue les plus efficaces pour l’enseignement de la lecture et de l’écriture chez les élèves du préscolaire, du primaire et du secondaire ? Une synthèse de connaissances. Rapport de recherche préparé pour le Fonds de recherche Société et culture du Québec et le Ministère de l’Éducation et de l’Enseignement supérieur, Programme Actions concertées. Québec : Université TÉLUQ
Robert Marzano with Jana S. Marzano and Debra J. Pickering, Classroom management that works, ASCD, 2003
Sala, Giovanni and Gobet, Fernand (2019) Cognitive training does not enhance general cognition. Trends in Cognitive Sciences, 23 (1). 9 - 20. ISSN 1364-6613
La recherche translationnelle en éducation, pourquoi et comment, CSEN, rédigé par Stanislas Dehaene et Elena Pasquinelli avec la collaboration de Marc Gurgan, Franck Ramus et Elisabeth Spelke, 2021, https://www.reseau-canope.fr/fileadmin/user_upload/Projets/conseil_scientifique_education_nationale/Ressources_pedagogiques/La_recherche_translationnelle_en_education.pdf
Barak Rosenshine, The Case for Explicit, Teacher-led, Cognitive Strategy Instruction, Paper presented at the annual meeting of the American Educational Research Association, Chicago, IL. March 24-28, 1997
Merci, c'est très intéressant et très clair !
RépondreSupprimerMerci. Une bonne lecture d'entretien de l'esprit critique.
RépondreSupprimer