samedi 27 octobre 2018

Niveaux de preuve des publications pédagogiques : tout ne se vaut pas !

Selon quels critères est-ce que l'enseignement basé sur des données probantes propose de classer les publications en pédagogie, comment s'en saisir pour s'informer et cultiver un point de vue critique sur l'innovation pédagogique?


(Photographie : Joris Vandecatseye)


Au long de cette année 2018, sans pour autant viser l’exhaustivité, en tant qu’enseignant, j’ai été encouragé par des personnes bien intentionnées à explorer et à m’investir dans des pratiques et des approches aussi diverses que : la classe inversée, la théorie du choix, les profils d’apprentissage, la gestion mentale, les mind maps, l’utilisation en classe de tablettes numériques ou celle d’un tableau blanc interactif. J’ai à chaque fois émis des réticences, pas forcément bien accueillies. L’argument principal était toujours le même : un manque de validité selon l’enseignement fondé sur des données probantes.

« Show me the data ! » propose de dire Barak Rosenshine, à ceux qui prônent des pratiques pédagogiques "innovantes". Quand on invoque des références bibliographiques, encore faudrait-il préciser dans quelles conditions les recommandations avancées ont été établies.

J’ai déjà abordé la question du d de Cohen et des essais randomisés contrôlés, de même que l’importance des données probantes dans la perspective d’une professionnalisation de l’enseignement.

L’idée est de montrer ici comment la recherche en éducation s’inspire de la démarche scientifique pour aboutir à des conclusions plus objectives sur des questions de pratiques d’enseignement. Dans un article ultérieur sera développée le lien avec l’expertise des enseignants.

Opter pour une approche pédagogique plutôt qu’une autre doit être un choix raisonné et informé dans lequel l’éducation fondée sur les données probantes a un rôle à jouer dans le mesure où elle apporte des preuves tangibles et vérifiées de différences d’efficacité de pratiques pédagogiques différentes en ce qui concerne les résultats escomptés auprès des élèves. 





Une échelle de niveau de preuve pour les publications pédagogiques


Enseigner ne peut correspondre à réinventer la roue, cela nécessite d’adopter certains principes qui offrent une cohérence. Différentes approches existent, identifiées et décrites. Que ce soit par voie directe ou au travers d’intermédiaires, on peut postuler qu’il y a toujours théoriquement moyen de trouver des références bibliographiques en lien avec les pratiques pédagogiques dans lesquelles on s’inscrit. On peut donc remonter à la source et interroger la base de références pédagogiques sur les pratiques que l’on emploie, que l’on défend ou que l’on souhaite employer

Toutes les publications pédagogiques ne se valent pas. C’est un fait trivialement accepté. Un critère clé pour déterminer leur validité et leur pertinence est la méthodologie qu’elles mettent en œuvre. L’éducation fondée sur les preuves, influencée par la médecine fondée sur les preuves revendique la méthode scientifique comme modèle.

Une échelle régulièrement rencontrée (particulièrement dans les publications de référence liées à l’enseignement explicite) et qui servira de base est issue d’un système de classification à trois niveaux conçus à l’origine par deux chercheurs de l’Université́ du Tennessee, Arthur Ellis et Jeffrey Fouts, précisée par Steve Bissonnette, Mario Richard et Clermont Gauthier.

Lorsque les enseignants s’emploient à sélectionner des études valides pour éclairer leur pratique, il est souhaitable qu’ils favorisent celles qui ont le niveau le plus élevé de validité. Lorsque ces recherches sont réalisées selon des protocoles rigoureux, elles permettent de mieux contrôler les biais cognitifs.



Le niveau 0 : hypothèses


Le niveau zéro reprend tout ce qui est essai, texte d’opinion, document de formations ou article de vulgarisation contenant des arguments ou des principes non étayés de preuves.  

D’un point de vue strict, on peut dès lors revêtir ces énoncés et conseils avancés comme étant avant tout des hypothèses, telles qu’on en pose face à une question au début d’une démarche scientifique. Ces documents sont donc à considérer avec prudence et esprit critique.

C’est le premier niveau de la démarche scientifique et toutes les découvertes et théories partent de là, d’une pensée créatrice qui émet des hypothèses à partir de ses propres expériences, observations et intuitions. Ces hypothèses sont importantes car elles nous permettent d’avancer, de débattre, de réfléchir, de prendre du recul et d’aborder la réalité avec plus de nuances et de complexité. Mais elles sont entachées de biais divers. 

Il est important de préciser que des documents de vulgarisation qui permettent de remonter vers des données probantes n’entrent pas dans cette catégorie, d’où l’importance de vérifier les sources bibliographiques. Cela montre également toute l’importance de sources probantes et de pouvoir disposer en tant qu’enseignant, d’ouvrages de référence rédigés par des experts et chercheurs dans un domaine particulier et faisant le bilan des résultats de la recherche.   

La difficulté pour l’enseignant c’est qu’une part non moindre des publications ayant trait à la pédagogie ne dépasse pas ce niveau 0 et sont de l’ordre de l’opinion plus que de celui d’une référence objectivée par une recherche scientifique. Même lorsqu’un auteur cite un autre auteur ou par exemple un théoricien en incluant les référence de la source, cela peut rester au niveau de l’opinion (professionnelle) et ne pas dépasser pour autant le niveau 0 de l’hypothèse scientifique. Le danger d’un tel système est qu’il peut créer une base de référencement circulaires où les auteurs se citent entre eux sans jamais dépasser le stade d’une hypothèse non vérifiée. 

Un autre aspect sur lequel insister est que dans des textes d’opinion pédagogique faisant référence à des théories, le statut d’hypothèse n’est jamais clairement affiché. Ce qui est avancé ne traduit souvent que les préférences personnelles des auteurs, à prendre dès lors avec toutes les précautions nécessaires si aucune information scientifique ne vient l’étayer. En science, le mot "théorie" est utilisé pour décrire une hypothèse qui a été testée, ce n’est pas forcément le cas en pédagogie.




Le niveau 1 : observations descriptives


Les recherches de base sont des observations descriptives, de type quantitatif ou qualitatif ou s’interrogeant sur la présence possible de corrélation. Il s’agit d’enquêtes, d’études de cas, de recherche-action ou de recherches réalisées parfois en laboratoire.

Décrire un phénomène, suspecter une corrélation entre deux variables permet d’affiner des hypothèses, de les développer pour ébaucher une théorie.  Les études de niveau 1 sont utiles avant tout pour ébaucher les contours d’une expérimentation à venir. 

Sauf situations triviales, les observations descriptives ne permettent en aucun cas d’établir une corrélation ou de valider une hypothèse. Des observations isolées n’offrent aucun pouvoir de généralisation d’autant qu’elles appartiennent essentiellement à des contextes particuliers.

Si la validation d’une hypothèse n’est pas possible, son invalidation l’est par contre. Des observations descriptives d'hypothèses peuvent être utilisées pour questionner leur validité. Il serait absurde d’investir dans de la recherche expérimentale de niveau 2 ou 3 lorsque de simples observations ne mettent en évidence aucune vraisemblance de l’hypothèse de départ. Il est ainsi vide de sens de s'en tenir à une hypothèse qui est contredite par la recherche de niveau 1.

Une recherche qui s’arrête au niveau 1 su des perspectives prometteuses a besoin d’être vérifiée plus strictement avec des recherches de niveau supérieur avant d’être plus largement adoptée afin de réduire les risques éducatifs.

Du point de vue de l’enseignant, on ne peut conclure que les théories qui ne sont qu'au niveau 1 n'ont aucun mérite et ne fonctionnent pas. Cependant il est judicieux de souhaiter que les résultats de recherches de niveau 1 ne constituent pas une part prépondérante de la formation des enseignants. De même, des budgets conséquents ne devraient pas être alloués pour promouvoir des pratiques pédagogiques avec seulement un soutien de niveau 1.




Le niveau 2 : protocoles expérimentaux à petite échelle


Au niveau 2, une théorie décrivant des pratiques pédagogiques est mise à l'épreuve quantitativement pour voir si elle permet d’obtenir de meilleurs résultats que d’autres approches concurrentes. 

Ce niveau 2 correspond à la mise en place de protocoles expérimentaux ou quasi-expérimentaux à petite échelle, idéalement en classe, avec des groupes expérimentaux et des groupes témoins. L’idée est de mettre en évidence des corrélations, ce que ne permettent pas les recherches de niveau 1.

Le but est d’établir une relation de cause à effet entre variables, afin de comparer et de mesurer statistiquement les effets de différentes dans les pratiques pédagogiques sur la performance scolaire des élèves. 

On adopte dans ce cas, autant que possible, le protocole des essais randomisés contrôlés. Les élèves sont assignés au hasard à deux groupes d'enseignement ou plus. Un groupe apprend d'une façon, l'autre groupe apprend d'une autre façon. Les résultats sont comparés. Un traitement statistique des données récoltés permet d’établir rigoureusement si des différences dans les résultats sont susceptibles d’être accidentelles ou s’il est probable qu'elles se reproduisent. Elles permettent de mesure également une taille d’effet.

Les recherches de niveau 2 offrent ont une validité scientifique plus élevée que celles de niveau 1 et sont plus pertinente lorsque l’on s’intéresse aux effets réels des pratiques. Elles permettent d'identifier les composantes spécifiques qui sont importantes pour reproduire le rendement élevé.

Un exemple particulièrement parlant de l’importance des recherches de niveau 2 est illustré par le lien entre la performance scolaire d’un élève et son niveau d’estime de soi. Des recherches de niveau 1 ont permis de montrer qu’à une performance scolaire élevée correspondait une estime de soi élevée, et vice versa. Les recherches de niveau 2 ont permis de démontrer que la relation était dans un sens et pas dans l’autre : l’amélioration des résultats à l’école d’un élève rehausse son estime de lui-même.

Un second exemple parlant de recherche de niveau 2 est la vérification de l'hypothèse selon laquelle l'expression de chaleur et de sympathie envers les élèves qui échouent entraîne en fait une détérioration de l'estime de soi. Par exemple, Sandra Graham a constaté en 1984 dans ses recherches de niveau 2 que le soutien moral et la sympathie à l'égard des élèves qui échouent dans l'accomplissement de leurs tâches scolaires contribuent à réduire davantage la confiance des élèves dans leurs propres capacités.



Le niveau 3 : protocoles expérimentaux à grande échelle


Les études de niveau 3 interviennent lorsqu’il s’agit d’évaluer en situation réelle les effets des pratiques pédagogiques conçues à partir des résultats obtenus par des études de niveau 2.

C’est une chose de vérifier l’existence d’un effet dans un contexte précis finement délimité et géré, c’est une autre de voir si cet effet se vérifie lors d’implémentations systématiques et à grande échelle dans le cadre de projets pilotes.

D’un point de vue purement scientifique, les recherches de niveau 3 ont un degré de validité interne moins élevé́ que celles de niveau 2, car vue l’échelle, il devient bien plus compliqué d’intégrer tous les paramètres propres aux essais randomisés contrôlés.

Cependant, vue leur accroissement d’échelle et leur organisation dans des conditions proches du réel, intégrant bien plus de paramètres, les recherches de niveau 3 gagnent en fiabilité pratique. Le but est de les intégrer dans la globalité des apprentissages. Les recherches de niveau 3 permettent d’éviter le risque qu’une pratique possèdent un effet particulièrement intéressant sur une finalité mais que celui-ci se révèle globalement défavorable si on considère l’ensemble des aspects qui caractérisent un parcours scolaire. 

Le niveau 3 est important parce qu'à ce niveau, la nouvelle intervention est intégrée à toutes les autres actions que les enseignants doivent accomplir en une journée. Certaines pratiques qui bénéficient d’une taille d’effet intéressante peuvent ne pas le traduire en situation réelle dans une recherche de niveau 3 car par exemple, cela peut s’accompagner d’une utilisation de temps tellement conséquente qu’elle interfère avec le bon déroulement d’autres activités essentielles avec les apprentissages globaux des élèves.

La réalisation d’une recherche de niveau 3 permet d’éviter le piège d’une généralisation abusive et la prise en compte de possibles effets secondaire que les recherches de niveau 2 ne peuvent révéler.

Disposer de recherches de niveau 2 ou 3 permet d’avoir des informations bien plus fiables que les niveaux 0 et 1, et permet d’éviter les modes en éducation.

Privilégier des pratiques qui passent par une recherche de niveau 3 est plus susceptible de mener à une intégration entre pratiques antérieures et nouvelles, avec une compréhension plus approfondie de leurs interactions et de la relation entre l'enseignement et l'apprentissage. La recherche de niveau 3 permet de considérer le caractère cumulatif des connaissances pédagogiques : la nature de l'apprentissage des enfants n'a probablement pas beaucoup changé depuis des centaines d'années. De cette façon, la base de connaissances pédagogiques s'élargit au fil du temps et s'affine.

Les pratiques et approches pédagogiques qui reçoivent l'appui des niveaux de recherche 2 et 3 devraient constitue la majeure partie de nos programmes de formation des enseignants et être ainsi largement diffusées.



Liens avec la démarche scientifique


  • Les niveaux 0 et 1 correspondent à une construction théorique en éducation, équivalente à la formation d'hypothèses en sciences. On élabore une hypothèse par l'observation informelle. On tester l'hypothèse en tentant formellement de la réfuter.
  • Le niveau 2 correspond à l'expérience réelle, à la vérification de l’hypothèse isolée d’autre paramètres pouvant interférer. On analyser les données du test pour évaluer la véracité de l'hypothèse.
  • Le niveau 3 correspond à la mise en application de découvertes issues de la recherche scientifique et à leur intégration aux savoirs et savoir-faire existants. Un nouvel outil, que ce soit dans le domaine scientifique ou éducatif ne doit pas systématiquement rejeter tous ce qui précède. Les savoirs et pratiques précédentes peuvent encore trouver leur nécessité dans la complexité du monde environnant.




Les méta­-analyses


Etant donné le grand nombre de recherches publiées en éducation, il est humainement impossible ou en tout cas hautement dispendieux qu’un enseignant ou chercheur qui s’interroge sur un domaine doive passer en revue toutes les recherches parfois contradictoires publiées sur le sujet.

Les méta-analyses apportent une réponse à cette problématique. Elles font œuvre de synthèse utile, précieuse et indispensable.

Le principe de la méta-analyse est la réalisation d’une intégration quantitative des résultats de différentes études de niveau 2 ou 3 sur un même sujet. Elle implique pour être crédible une sélection critique des études qui permettent son élaboration. Les études sélectionnées doivent adhérer à des règles strictes de contrôle de la subjectivité et des biais. Dans la mesure où cette condition est respectée, les méta-analyses permettent de tirer des conclusions globales fiables.

La méta-analyse applique une analyse statistique permettant de quantifier les résultats provenant de plusieurs recherches qui ont étudié l’effet d’une variable donnée. Elle permet l’établissement d’une taille d’effet.  En agrégeant les études, elles permettent d’accéder à des échantillons globaux comptabilisant des milliers d’élèves d’âges et de caractéristiques différents et se déroulant souvent sur de longues périodes de temps dans une diversité élargie de contextes. 



La méga­-analyse


La méga­-analyse représente une synthèse des résultats provenant de diverses méta­-analyses.  Les résultats ainsi regroupés peuvent être utilisés pour comparer et déterminer les interventions les plus efficaces sur un sujet donné. 

Différentes méga­-analyses ont été réalisées sur l’efficacité de différentes pratiques ainsi que sur différentes innovations en éducation.  On peut citer celles de John Hattie (« Visible Learning », en 2008), et de Steve Bissonnette, Mario Richard, Clermont Gauthier et Carl Bouchard (2010, “Quelles sont les stratégies d’enseignement efficaces favorisant les apprentissages fondamentaux auprès des élèves en difficulté de niveau  élémentaire? Résultats d’une méga-analyse.”)

L’interprétation des résultats d’une méga-analyse doit être réalisée avec prudence, elle met en évidence des indicateurs et permet de relever de grandes tendances émergeant d’un ensemble de recherches.

Elles n’oblitèrent pas la nécessité de remonter aux méta-analyses et recherches de niveau 2 ou 3 d’origine pour nuancer le propos et comprendre la manière dont les conclusions peuvent être intégrées à des pratiques locales contextualisées.

Avec la force de recul qu’elles proposent, les méga-analyses constituent un point de départ et un point de référence inégalé pour qui se pose une question précise sur la validité d’une pratique pédagogique vis-à-vis de ses alternatives.



Conclusion


Lorsque l’on veut défendre et justifier une pratique, il est utile de disposer de références et la valeur de celles-ci dépend du niveau de preuve avec lequel elles ont été établies.

Lorsqu’en tant qu’enseignant, on se trouve incité à se former à de nouvelles approches qui promettent améliorer nos pratiques, il est utile de développer des réflexes d’autodéfense intellectuelle et poser les bonnes questions :

Est-ce que les pratiques proposées ont déjà été testées dans le cadre de recherches ?

NON :  Par principe de prudence, il vaut mieux éviter de se lancer dans une participation et une mise en application. La raison est qu’en acceptant, on endosse le rôle à la fois d’expérimentateur et de cobaye sans aucune certitudes d’une issue positive ou même neutre des investissement consentis.

OUI : Dans ce cas, il faut se renseigner sur la nature des preuves et leur niveau, demander à voir et à en savoir plus. 

Il faut connaître la taille d’effet mesurée et la nature des résultats, positifs ou mitigés. En fonction des réponses émises, du niveau de preuve et de l’application possible dans le contexte considéré, on peut estimer s’il est pertinent de s’investir dans la mise en application de telles stratégies. Si le bilan est positif, on peut en conclure qu’il y a des chances que l’investissement puisse être profitable et accepter de se retrousser les manches.


Bibliographie 


Bernard Appy, La taxonomie d’Ellis et Fouts, (2010) http://www.formapex.com/donnees-probantes/1103-la-taxonomie-dellis-et-fouts

Monique Brodeur et al, Pour un enseignement efficace de la lecture et de l’écriture : une trousse d’intervention appuyée par la recherche, Réseau canadien de recherche sur le langage et l’alphabétisation, (2009)

Feyfant Annie, Effets des pratiques pédagogiques sur les apprentissages ». Dossier d’actualité veille et analyses, n° 65, Octobre (2011) http://www.inrp.fr/vst/DA/detailsDossier.php?dossier=65&lang=fr

Steve Bissonnette, Mario Richard, Clermont Gauthier, Comment enseigne-t-on dans les écoles efficaces ? - Efficacité des écoles et des réformes, Les Presses de l'Université Laval, 3e trimestre (2006).

Steve Bissonnette, Mario Richard, Clermont Gauthier et Carl Bouchard, Quelles sont les stratégies d'enseignement efficaces favorisant les apprentissages fondamentaux auprès des élèves en difficulté de niveau élémentaire ? Résultats d'une méga-analyse,  RRAA - Revue de recherche appliquée sur l'apprentissage, vol. 3 article 1, (2010)

Bonnie Grossen. "What Does It Mean To Be A Research-Based Profession?" in What's Gone Wrong in America's Classrooms? Williamson Evers, ed. Stanford University: Hoover Institution Press, (1998), 24. http://personalweb.donet.com/~eprice/resprf.htm

2 commentaires: