(Photographie : Dave Jordano)
« Show me the data !
– Barak Rosenshine (1997)
Imaginons un enseignant qui d’une façon ou d’une autre se voit proposer un changement de pratique. Le principe est de ne pas prendre cette proposition pour argent comptant.
La démarche d’analyse critique d’après Bailargeon (2013), lui-même d’après Willingham (2012) comporte quatre étapes :
1. Quelle est la proposition pédagogique ?
2. D’où vient la proposition pédagogique ?
3. Quelle est la valeur de la proposition pédagogique ?
4. Devrais-je utiliser cette proposition pédagogique ?
L’idée est de déterminer en quoi consiste la proposition pédagogique, de découvrir sur quels types de preuves elle repose et de les évaluer avant de prendre la décision de l’adopter ou non.
Déterminer la proposition pédagogique et son origine
La proposition pédagogique
Il s’agit de visualiser clairement dans notre contexte :
- Les modèles et hypothèses théoriques sur lesquels s’appuie cette proposition pédagogique et quels en sont ses paramètres.
- Les pratiques et stratégies que cette proposition nous demande de mettre en œuvre face à nos élèves.
L’enjeu est de déshabiller la thèse de son enrobage et de ses dimensions émotionnelles et idéologiques pour aller à l’essentiel de ce qui est affirmé. Nous établissions à ce stade la dimension fonctionnelle de la proposition pédagogique.
Une condition d’exclusion à ce stade est que la proposition pédagogique est aberrante et ne repose sur aucune étude scientifique identifiable.
La source originelle de la proposition pédagogique
Quelle est l’origine de la proposition pédagogique ? Qui en est à l’origine ? Où et quand a-t-elle été présentée ? Quelle est son histoire ?
Est-ce un témoignage, une rumeur, une tradition dont l’origine ne peut pas être retracée ? Est-ce une idée publiée dans un ouvrage ou un article de recherche précis ?
Une condition d’exclusion à ce stade est que la proposition pédagogique repose sur une seule étude qui n’a jamais été répliquée.
Déterminer la validité de la proposition pédagogique
Il s’agit d’analyser l’assertion ou la thèse désormais clairement et précisément formulée, et dont l’origine a été déterminée, pour en estimer la valeur.
Baillargeon (2013) recommande d’effectuer :
- Une analyse conceptuelle de la proposition pédagogique :
- Les définitions conceptuelles mobilisées doivent être :
- Claires et intrinsèquement cohérentes
- Cohérentes par rapport à d’autres concepts admis
- Explicites dans leurs implications.
- Potentiellement, l’analyse conceptuelle peut suffire à rejeter une proposition en raison de son caractère peu plausible ou incohérent.
- Une analyse des faits sur lesquels celle-ci repose :
- Tout enseignant est confronté à de nombreuses informations de qualité variable telles que des opinions, des avis d’experts, des recherches de différents types.
- Il importe de se référer à une classification des niveaux de preuve en éducation.
Une classification des niveaux de preuve
Bocquillon et ses collègues (2024) proposent une classification adaptée à partir des travaux de plusieurs auteurs.
Ils proposent de classer les recherches du niveau de preuve le plus faible (1) au niveau de preuve plus élevé (6).
Plus une recherche est réalisée selon un protocole permettant de contrôler l’influence de certains facteurs, plus les conclusions qui en découlent sont fiables et généralisables.
Pour déterminer quelles sont les stratégies pédagogiques les plus efficaces sur différentes variables, il est important de pouvoir disposer d’études de niveau 4 à 6.
Niveau 1 : croyances, témoignages et anecdotes
Le niveau 1 correspond à une situation où une personne affirme avoir testé elle-même cette idée dans sa classe avec des bénéfices. Alternativement, cette personne peut affirmer connaitre quelqu’un qui applique une stratégie ou une pédagogie avec succès.
Les anecdotes et les témoignages sont le niveau le plus bas de la classification des preuves. Bien que ce partage d’expérience soit intéressant, il ne peut être considéré comme une preuve suffisante pour mettre en œuvre une proposition pédagogique dans d’autres classes en toute confiance.
Rien ne dit que l’expérience dont il est question est avérée, efficace ou transférable à une autre classe ou à un autre enseignant.
Niveau 2 : avis d’experts non étayés
On retrouve au niveau 2 les avis des experts, de comités d’experts ou l’énoncé de consensus communiqués par des autorités respectées.
Ces avis peuvent être utiles lorsque des recherches n’ont pas encore été menées sur un sujet ou ne peuvent pas l’être.
Toutefois, ils ne sont pas non plus des faits avérés et généralisables par défaut.
Ces avis ne permettent pas de comparaison. Ils ne peuvent ni évaluer de solution alternative ni exclure des hypothèses alternatives.
Niveau 3 : recherche qualitative et études corrélationnelles
À ce niveau, on considère des études de cas, des enquêtes qualitatives, des études descriptives, ou des recherches corrélationnelles.
Ces recherches sont utiles pour décrire un phénomène ou encore formuler des hypothèses.
Elles peuvent permettre de rejeter des hypothèses, mais ne permettent pas de conclure sur leur efficacité. Elles sont utiles pour déterminer les hypothèses qui justifieraient des recherches quantitatives.
Démarche quantitative au-delà du niveau 3
Au-delà du niveau 3, on passe à des types de recherches complètement différentes :
- Appliquées et conduites dans des conditions identiques à celles qui prévalent en contexte scolaire.
- Mesures de l’efficacité relative d’une stratégie, d’une méthode d’enseignement ou d’un procédé pédagogique par rapport à une autre condition.
- Comparaisons des résultats des élèves issus de différents groupes d’intervention :
- Groupes expérimentaux (dont les enseignants ont effectivement mis en œuvre la stratégie pédagogique testée)
- Groupes témoins (dont les enseignants ont continué à enseigner comme d’habitude)
- Idéalement : conditions expérimentales (essais contrôlés randomisés)
- Grand nombre d’élèves ou d’enseignant assignés aléatoirement
- Groupes aux caractéristiques comparables
- Double aveugle pour éviter les biais.
- Contrôle des facteurs susceptibles de biaiser les résultats
- Analyse statistique poussée
Niveau 4
Dans le niveau 4, les individus ne sont pas assignés de manière aléatoire aux différents groupes (expérimental et de contrôle). On parle alors de plan quasi expérimental.
Toutefois, l’assignation est faite de manière à assurer la plus grande équivalence possible des différents groupes en prenant en compte un ensemble de variables indépendantes qu’on tente ainsi de contrôler. On s’assure d’une composition équivalente des différents groupes, en regard de ces variables indépendantes, éventuellement avec un prétest.
Niveau 5a
Dans le niveau 5a, les individus sont assignés de manière aléatoire aux différents groupes (expérimental et de contrôle). On parle alors de plan expérimental.
Des expérimentations avec assignation aléatoire sont assurées, ce qui permet de contrôler les facteurs pouvant biaiser les résultats, pour autant que l’on dispose d’échantillons suffisants. Le fait qu’une proposition pédagogique soit soutenue par de nombreuses recherches expérimentales avec assignation aléatoire, dont les résultats convergent, augmente la valeur de la preuve.
Des règles strictes de sélection et d’analyse statistique des résultats sont réalisées pour obtenir une mesure significative. La qualité de ce traitement permet d’affirmer, avec un certain risque d’erreur qui est assumé, qu’il existe des différences de performances qui ne sont pas uniquement le fruit du hasard.
Cela ne signifie néanmoins pas que ces différences sont importantes. Pour donner une idée de l’importance des écarts entre les performances du groupe expérimental et du groupe de contrôle, on utilise un indice nommé taille de l’effet. Les chercheurs calculent un indice statistique appelé taille d’effet. Celui-ci exprime l’augmentation ou la diminution des résultats du groupe expérimental (le groupe d’élèves qui sont exposés à une technique d’enseignement spécifique) en unités d’écart type.
Niveau 5
De nombreuses recherches en éducation sont publiées chaque année, il est impossible d’en assurer le suivi.
Afin de contourner cette difficulté, des chercheurs s’emploient à faire des synthèses sous forme de recensions systématiques d’études expérimentales ou encore des méta-analyses.
Les méta-analyses regroupent de nombreuses études de niveau 5a pour en faire la synthèse. On distingue aussi les méga-analyses qui sont une synthèse de plusieurs méta-analyses.
Toutefois, une méta-analyse ou une méga-analyse sera seulement aussi bonne que les études sous-jacentes qu’elle agrège. Sans critères précis, elle risque d’agréger des études de faible qualité ou encore des études incomparables.
Niveau 6 ou triple concordance
Au niveau 6, nous avons une triple concordance entre :
- L’analyse conceptuelle
- Les résultats de recherches expérimentales avec assignation aléatoire
- Les données probantes issues des sciences cognitives
Il y a convergence dans les données probantes de différents domaines de recherche.
L’hypothèse théorique est validée en classe (preuve pratique) et par les sciences cognitives (preuve théorique).
C’est précisément sur ce niveau de preuve le plus haut que reposent l’enseignement explicite ou la pratique de récupération.
Constat sur la situation dans l’éducation
De nombreuses innovations pédagogiques sont implantées dans les écoles sans faire l’objet de recherches (quasi-)expérimentales rigoureuses (de niveaux 4, 5 et 6 dans la classification présentée), voire sans aucune expérimentation sérieuse. Souvent, nous passons de l’intuition pédagogique à la mise en œuvre accélérée à large échelle.
Ces innovations pédagogiques non testées empiriquement reposent davantage sur des opinions, voire sur des recherches de niveau 3, qui permettent de décrire des phénomènes ou de formuler des hypothèses. Ces fondements ne permettent pas de vérifier l’efficacité des stratégies pédagogiques sur l’apprentissage des élèves.
Toutefois, l’ensemble des pratiques des enseignants ne peuvent être déterminées a priori non plus par des recherches empiriques.
Cependant, les recherches empiriques avec groupe expérimental et groupe contrôle bien réalisées sont la source d’information la plus rigoureuse dont nous disposons pour informer et orienter les pratiques des enseignants et professionnaliser le métier d’enseignant.
Mobiliser la classification des preuves pour faire preuve d’esprit critique
La dernière étape pour analyser une proposition pédagogique consiste à répondre à la question de savoir s’il est prudent ou non de mettre en œuvre une innovation proposée.
Cette étape consiste à déterminer, à partir de l’ensemble des facteurs récoltés, s’il est opportun ou non d’utiliser la préconisation pédagogique analysée :
- S’il existe des preuves solides que la pratique pédagogique ne fonctionne pas, on devrait éviter de l’utiliser.
- S’il existe des preuves solides que la pratique pédagogique fonctionne, alors l’enseignant peut choisir en fonction de la question suivante :
- Cette proposition pédagogique est-elle un bon moyen de répondre à mes objectifs prioritaires, à la problématique que je rencontre et en fonction du contexte dans lequel je me trouve ?
- Il se peut qu’il n’y ait pas de preuves claires permettant de savoir si la pratique est efficace ou inefficace. Il se peut également qu’il n’y ait pas d’alternative prouvée comme plus efficace. Dans ce cas, si elle répond à un besoin ou à une problématique, il est conseillé de l’utiliser avec précaution.
De plus, il faut considérer les missions de l’éducation, la culture de l’école et les valeurs qu’elle met en jeu, des considérations économiques et de faisabilité.
Bibliographie
Bocquillon M., Baco C, Derobertmasure A., Demeuse M., Enseignement explicite : pratiques et stratégies, De Boeck Supérieur, 2024
Barak Rosenhine, The Case for Explicit, Teacher-led, Cognitive Strategy Instruction, Paper presented at the annual meeting of the American Educational Research Association, Chicago, IL. March 24- 28, 1997.
Baillargeon, N. (2013). Légendes pédagogiques : l’auto-défense intellectuelle en éducation. Montréal, Québec : Les Éditions Poètes de brousse
Daniel T. Willingham, When Can You Trust the Experts?: How to Tell Good Science from Bad in Education, John Wiley & Sons, 2012
0 comments:
Enregistrer un commentaire