Depuis les années 1990, l’expression fondée sur des données probantes s’installe progressivement dans le décor de l’éducation. Lorsque des chercheurs font des recommandations pour la pratique, ils font la promotion d’interventions fondées sur des données probantes.
(Photographie : rowan photography)
Confusions entre corrélation et causalité
Les domaines de la recherche en psychologie et en science de l’éducation ont connu et connaissent nombre de tempêtes concernant les interventions dont l’efficacité serait avérée ou prouvée.
Le fait est que de nombreuses innovations pédagogiques prometteuses sont en réalité de vaines promesses, dans la mesure où les recherches dont elles sont issues ne reposent pas toujours sur des preuves reproductibles ou scientifiquement crédibles.
À côté, il existe des recherches louables et réputées que nous pouvons trouver dans la littérature de recherche universitaire sur l’éducation. L’enjeu est de bien pouvoir les distinguer.
Le terme charlatanisme mérite d’être utilisé en éducation. Il décrit la promotion d’une méthode, d’une technique ou d’une procédure (génériquement, une intervention) dont l’efficacité n’a pas été prouvée selon les normes de recherche communément admises. C’est-à-dire qu’il n’existe pas de données empiriques valides pour en étayer les arguments.
Parfois, il n’y a aucune recherche. À d’autres moments, les allégations de charlatanisme découlent principalement d’études corrélationnelles non expérimentales dans lesquelles aucune variable indépendante n’est manipulée et aucune comparaison contrôlée n’est effectuée.
Le cas de l’estime de soi
Le mouvement portant sur la promotion de l’estime de soi des années 1970 à 1990 fournit un exemple de la façon dont les recommandations fondées sur des données d’observation peuvent conduire à des conclusions injustifiées.
Le lien corrélatif entre une haute estime de soi et une réussite scolaire élevée a conduit certains chercheurs à conclure qu’une faible estime de soi était la cause de nombreux problèmes de société.
Cependant, lorsque d’autres preuves ont été accumulées, il est devenu évident qu’il était tout aussi probable que l’estime de soi soit causée par les résultats scolaires, et non l’inverse.
Les efforts visant à accroître les résultats en renforçant l’estime de soi des élèves non seulement ne fonctionnent pas, mais peuvent même être contre-productifs et faire baisser les résultats.
Le cas du fast-food
Un autre exemple de charlatanisme dans l’éducation est l’attention généralisée portée à une étude liant la consommation de fast-food à de faibles performances scolaires (Purtell & Gershoff, 2014).
À l’aide d’un ensemble de données longitudinales, les auteurs ont étudié plus de 11 000 enfants qui ont répondu à une enquête alimentaire lorsqu’ils étaient en 5e année (9-10 ans).
Les auteurs ont constaté que les enfants qui ont déclaré manger du fast-food ont fait des progrès scolaires plus faibles que ceux qui n’en ont pas consommé. Bien que les auteurs aient déclaré que leur étude était basée sur l’observation plutôt que sur l’expérimentation, ils en sont sortis convaincus que la restauration rapide explique une partie de la différence dans les résultats scolaires.
Selon eux, les efforts visant à réduire le stress des parents lié à la préparation des repas peuvent être un moyen prometteur de réduire la consommation de fast-food et d’améliorer ainsi les résultats scolaires des enfants. Cette conclusion est un non-sens, car la corrélation devient causalité.
D’autres facteurs entrent en considération. La consommation de fast-food est plus répandue dans les familles à faible revenu que dans les familles à revenu plus élevé (par exemple, Kalenkoski et Hamrick, 2013).
De même, la relation entre la pauvreté et la réussite scolaire fait partie des liens de causalité les mieux établis qui existent.
Adopter une attitude critique face aux promesses en éducation
Nous avons besoin d’une recherche impartiale pour pouvoir valider des hypothèses et progresser. Nous avons besoin de poser des choix judicieux en matière de pratiques et d’interventions pédagogiques en les étayant sur des preuves valides quant à leur valeur ajoutée.
Si nous adoptons une attitude passive et acceptons tout sans regard critique et sans preuves, nous laissons libre cours au charlatanisme éducatif. Dans ce cas, celui-ci continuera à apparaître dans les médias, dans les publications éducatives, dans les interventions proposées aux écoles, dans la formation initiale et le développement professionnel des enseignants.
Nous sommes encore loin d’une éducation résolument fondée sur des données probantes dans le quotidien et dans le pilotage de l’amélioration des établissements scolaires.
Certaines structures comme le What Works Clearinghouse (WWC) aux États-Unis et l’Education Endowment Foundation (EEF) au Royaume-Uni sont des pas en avant. Leur mission est d’évaluer rigoureusement les preuves publiées en lien avec des pratiques éducatives et en générer des guides pour les établissements scolaires.
Un autre organisme, le National Education Policy Center (NEPC) de l’Université du Colorado passe au crible les rapports de recherche qui prétendent avoir prouvé une corrélation. Dans certains cas, les chercheurs du NEPC conviennent que l’étude examinée a plausiblement, voire de manière crédible, prouvé le lien. Dans d’autres cas, après une critique minutieuse de la méthodologie et des procédures de l’étude, les chercheurs du NEPC affirment que les preuves fournies par les auteurs de l’étude ne sont pas suffisamment convaincantes. Ils concluent que l’étude n’a en réalité pas prouvé le lien.
Un point de vue sceptique et critique est toujours nécessaire.
Recommandations et facteurs de prudence face aux promesses en éducation
Nous pouvons avancer que les recommandations de pratiques éducatives basées sur des études d’observation plutôt que sur des recherches expérimentales courent le risque d’être des prescriptions de charlatanisme.
Ce n’est que lorsqu’un nombre suffisant d’études d’intervention randomisées menées de manière indépendante ont été synthétisées dans des méta-analyses elles-mêmes validées que nous peut commencer à envisager de telles prescriptions.
Nous pouvons trouver des exemples de recommandations de politiques éducatives véritablement fondées sur des données probantes, issues de recherches scientifiquement crédibles et de synthèses de recherche complètes.
Malheureusement, de telles études d’essais contrôlés randomisés à grande échelle sont l’exception plutôt que la règle lorsqu’il s’agit d’informer la politique éducative et de prendre des décisions. Le mieux que nous puissions souvent espérer voir derrière des prises de décision, ce sont des expériences à petite échelle bien conçues et bien menées.
Le danger des études à petite échelle, en dehors de la faible taille de l’échantillon, est la question de la réplication. Sans réplication, les recommandations basées sur des études à expérience unique sont précaires et. Elles devraient être évitées.
Mais là se situe une faille importante et spécifique à ces domaines de recherche. Les réplications dans la recherche en éducation sont extrêmement rares, ne représentant que 0,13 % des articles des 100 principales revues d’éducation (Makel & Plucker, 2014).
Cette observation est loin d’être anodine. Si nous considérons que le taux de réussite de la réplication en science de l’éducation devrait vraisemblablement être similaire à celui rencontré en psychologie la situation est réellement préoccupante. En psychologie, seulement un tiers environ des études de réplication ont réussi à reproduire l’effet initial (Open Science Collaboration, 2015).
Il est probable que si les réplications étaient bonne monnaie courante dans le secteur éducatif, bon nombre de conclusions, d’interventions et de pratiques seraient remises en question et leurs arguments tomberaient. Par conséquent, il est doublement utile de promouvoir des pratiques éducatives fondées sur de solides données probantes.
Mis à jour le 19/06/2023
Bibliographie
Robinson, D., & Levin, J. (2019). Quackery in Educational Research. In J. Dunlosky & K. Rawson (Eds.), The Cambridge Handbook of Cognition and Education (Cambridge Handbooks in Psychology, pp. 35–48). Cambridge: Cambridge University Press. doi:10.1017/9781108235631.003
Purtell, K. M. & Gershoff, E. T. (2014). Fast food consumption and academic growth in late childhood. Clinical Pediatrics, 54, 871–877.
Kalenkoski, C. M. & Hamrick, K. S. (2013). How does time poverty affect behavior? A look at eating and physical activity. Applied Economic Perspectives and Policy, 35, 89–105.
Makel, M. C. & Plucker, J. A. (2014). Facts are more important than novelty: Replication in the education sciences. Educational Researcher, 43, 304–316.
Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716.
0 comments:
Enregistrer un commentaire