Les caractéristiques d’une pratique éducative fondée sur des données probantes

Robert H. Horner, George Sugai, et Cynthia M. Anderson (2010) ont proposé un cadre d’analyse à six critères. Ceux-ci sont utilisés pour déterminer si une pratique éducative peut se prétendre fondée sur des données probantes, c’est-à-dire si elle est étayée par des données sur son efficacité.

(Photographie : Junya Suzuki)

Voici un essai de synthèse de leur proposition.

Définir une pratique éducative fondées sur des données probantes

Une pratique éducative est une procédure ou un ensemble de procédures conçues pour être utilisées dans un contexte spécifique ou dans un ensemble de contextes, par un ensemble spécifique d’utilisateurs. Une pratique éducative vise à atteindre des résultats spécifiés pour une ou plusieurs populations définies.

Définir unilatéralement une pratique comme étant fondée sur des preuves omniprésentes est déraisonnable.

Une pratique ne peut être définie comme étant fondée sur des preuves que dans les limites des contextes et des résultats escomptés.

Cela ne signifie pas qu’une pratique doit être définie de manière trop étroite. De nombreuses pratiques, telles que le renforcement positif, l’enseignement explicite ou l’évaluation formative sont destinées à être utilisées dans une grande variété de contextes. Elles s’appliquent à une grande variété d’élèves et aboutissent avec une grande variété de résultats attendus.

Cependant, de telles pratiques polyvalentes ne sont pourtant pas considérées comme pouvant aboutir à tous les résultats escomptés pour tous les élèves dans toutes les conditions.

Six critères pour une pratique fondée sur des preuves

1. La pratique est définie de manière opérationnelle :

• Une définition opérationnelle précise les éléments spécifiques de la pratique qui peuvent être observés et énumérés. 
• Cette définition permet de documenter l’intégrité et l’exactitude de la mise en œuvre.

2. Les cadres (ou contextes) dans lesquels la pratique est censée être efficace sont définis.

• Si une pratique est conçue pour un contexte spécifique, les caractéristiques pertinentes de ce contexte doivent être précisées. 
• Les pratiques conçues uniquement pour des contextes préscolaires, par exemple, peuvent ne pas convenir à l’école primaire ou secondaire. 
• Si une pratique est censée être efficace dans un certain nombre de contextes, les caractéristiques communes ou uniques de ces contextes doivent également être précisées.

3. Les populations cibles pour lesquelles la pratique est efficace sont définies :

• Certaines pratiques s’adresseront à tous les élèves. D’autres se concentreront uniquement sur les élèves présentant des caractéristiques spécifiques. Il s’agira par exemple des élèves qui ne réalisent pas de manière fiable leur travail à domicile ou ceux qui présentent un trouble identifié de l’apprentissage ou du comportement. 
• Si une pratique est conçue principalement pour répondre aux besoins d’une population donnée d’élèves, les caractéristiques spécifiques de cette population doivent être indiquées dans la description de la pratique.

4. Les qualifications des personnes qui peuvent utiliser la pratique avec succès sont définies.

• Certaines pratiques peuvent être utilisées par n’importe qui. 
• D’autres pratiques sont destinées à être utilisées uniquement par des personnes ayant reçu une formation spécifique. Il s’agit par exemple de l’analyse fonctionnelle du comportement ou l’accompagnement de certains troubles de l’apprentissage.
• Si l’utilisation réussie d’une pratique nécessite une formation ou une expertise spécifique, les qualifications des personnes chargées de sa mise en œuvre doivent être clairement définies.
• Des outils ou des mesures d’évaluation de l’intégrité de l’intervention doivent être disponibles et leur adéquation technique doit être décrite.

5. Les résultats que l’on peut attendre de l’utilisation de la pratique sont définis.

• Parmi les critères les plus importants pour une pratique fondée sur des données probantes, il convient de désigner les résultats mesurables auxquels on peut s’attendre si la pratique est utilisée avec intégrité. 
• Ces résultats peuvent inclure des effets évalués :
• Par des mesures proximales, par exemple, un comportement observé fonctionnellement lié
• Par des mesures distales, par exemple, des évaluations dans des contextes non contraignants ou qui sont décalées dans le temps
• Ou par les deux. 
• Il convient de décrire les critères de référence ou de maitrise qui indiquent le succès de la pratique. Par exemple, 80 % des élèves atteignent le niveau de résultat attendu. Les avantages corollaires, les contre-indications ou les effets secondaires négatifs doivent également être décrits.

6. La théorie conceptuelle et les principes clés encadrant la pratique sont définis.

• La définition de la théorie conceptuelle qui sous-tend une pratique fournit un cadre permettant d’évaluer les raisons pour lesquelles une pratique fonctionne ou fonctionne mal. 
• La définition d’une pratique sur le plan d’un ensemble de connaissances conceptuelles guide également le développement, l’adaptation et l’amélioration dans une perspective continue. Ces connaissances conceptuelles peuvent porter par exemple pour l’analyse du comportement ou le modèle de la mémoire.

L’existence d’une base documentaire précise pour une pratique fondée sur des preuves

Toutes les pratiques qui visent à être fondées sur des preuves doivent être décrites en détail afin que les responsables de leur mise en œuvre sachent :

• À quoi ressemblent les pratiques concrètement ?
• Dans quel cadre peuvent-elles être utilisées ?
• Qui peut en bénéficier ?
• Comment bien les mettre en œuvre ?
• Quels sont les résultats escomptés ?
• Pourquoi devons-nous nous attendre à ce que ces pratiques fonctionnent ?

Établir la validité des preuves

Une pratique bien définie permet une interprétation systématique de la recherche qui la soutient.

Presque toutes les pratiques disposent de preuves à l’appui de leur utilisation. Le problème apparait lorsque celles-ci se limitent à des études de cas, des témoignages ou autres retours qualitatifs.

De fait, pour être précise, la question ne doit pas porter sur l’existence de preuves, mais sur leur nature. Y a-t-il suffisamment de preuves, quantitatives et empiriques, pour permettre de documenter sans équivoque l’efficacité d’une pratique ?

Les questions utilisées pour évaluer s’il existe un niveau de preuve adéquat portent sur :

• Le nombre d’études documentant un effet expérimental 
• La qualité méthodologique de ces études 
• La reproductibilité des résultats 
• L’ampleur de l’effet documenté
• La durabilité et la généralisabilité de l’effet observé.

Un nécessaire continuum dans l’évaluation des pratiques

La question n’est pas d’utiliser une norme dichotomique avec d’un côté les pratiques fondées sur des données probantes et de l’autre celles ne disposant pas ou pas assez de données probantes. L’objectif n’est pas d’adopter les premières aveuglément et de rejeter les autres obligatoirement.

Il s’agit plutôt de considérer les pratiques dans le cadre d’un continuum en fonction de divers critères, de tenir compte du contexte culturel local, des missions de l’enseignement et de l’expertise des enseignants.

Qualité des preuves

Toute pratique prétendant être fondée sur des preuves doit être définie avec précision. Son efficacité doit avoir été démontrée par de multiples études de recherche expérimentale rigoureuses.

Les niveaux de preuve qui appuient une pratique peuvent être forts, prometteurs, émergents, insuffisants ou faibles.

Pour qu’une pratique soit définie comme ayant une base de preuves forte ou prometteuse, elle devra être évaluée dans le cadre de multiples études expérimentales (essais contrôlés randomisés). Ceux-ci permettent à la fois de documenter un effet valorisé et de démontrer un contrôle expérimental. L’utilisation d’essais contrôlés randomisés est considérée comme le maitre étalon pour documenter la base de preuves.

Horner et ses collègues (2010) parlent aussi d’études sur un nombre réduit de cas. Cela peut être pertinent dans le cas d’une approche du type soutien au comportement positif au vu de l’ampleur de la mise en œuvre qui implique tout un établissement scolaire.

Cadre des essais contrôlés randomisés 

Flay et ses collègues (2005) proposent qu’une intervention efficace ait été testée dans au moins deux essais rigoureux qui ont :

• Impliqué des échantillons identifiés et caractérisés de populations définies 
• Utilisé des mesures psychométriques solides et des procédures de collecte de données
• Analysé leurs données avec des approches statistiques rigoureuses
• Montré des effets positifs constants (sans effets iatrogènes graves)
• Rapporté au moins un suivi significatif à long terme

Ouverture à la recherche

Une intervention efficace selon ces normes ne répondra pas seulement à des critères de recherche de qualité, d’autres conditions doivent être respectées : 

• Elle disposera de manuels, d’une documentation large, de formations appropriées et d’un soutien technique fondé sur une expertise permettant à des tiers d’adopter et de mettre en œuvre l’intervention.
• Elle aura été évaluée dans des conditions réelles. Cela a lieu dans le cadre d’études comprenant une mesure valide dans le niveau de mise en œuvre considéré et face à l’engagement du type de public cible visé (dans les conditions d’intervention et de contrôle).
• Elle spécifiera l’importance pratique des effets mesurés et les implications des résultats obtenus par l’intervention.
• Elle démontrera clairement auprès de quels profils d’élèves les résultats de l’intervention peuvent être généralisés. 

Facteurs de mise en oeuvre à l'échelle et avec fidélité

Une intervention reconnue comme étant prête à être largement diffusée répondra non seulement à toutes les normes d’efficacité et d’efficience des interventions, mais fournira également :

• Des preuves de la capacité à passer à une échelle plus large.
• Des informations claires sur les coûts et investissements qu’elle nécessite.
• Des outils de suivi et d’évaluation. Il est nécessaire que les structures qui en visent l’adoption puissent mesurer dans le temps, évaluer et interpréter la qualité de la mise en œuvre de l’intervention dans leur contexte.

Robert H. Horner, George Sugai, et Cynthia M. Anderson (2010) soulignent particulièrement l’importance des mesures de fidélité. La recherche soutenant une pratique devrait :

• Fournir une description reproductible des pratiques mises en œuvre par les participants
• Rapporter des informations provenant de mesures valides et fiables
• Être évaluée dans le cadre de procédures rigoureuses de conception et d’analyse de la recherche (avec des cas de pratiques uniques) 
• Documenter les effets positifs cohérents
• Fournir une documentation indiquant que les effets sont durables.

Mis à jour le 06/10/2022

Bibliographie

Horner, R. H., Sugai, G., Anderson, C. M. (2010). Examining the evidence base for school-wide positive behavior support. Focus on Exceptional Children, 42(8), 1–14.

Flay, B. R., Biglan, A., Boruch, R. F., Castro, F. G., Gottfredson, D., Kellam, S., Ji, P. (2005). Standards of evidence: Criteria for efficacy, effectiveness and dissemination. Prevention Science, 6(3), 151–175.