dimanche 9 août 2020

Qu’est-ce qu’une pratique éducative fondée sur des données probantes ?

Robert H. Horner, George Sugai, et Cynthia M. Anderson (2010) ont proposé un cadre d’analyse à six critères. Ceux-ci sont utilisés pour déterminer si une pratique éducative peut se prétendre fondée sur des données probantes, c’est-à-dire si elle est étayée par des données sur son efficacité.




(Photographie : Junya Suzuki)

Voici un essai de synthèse de leur proposition.


Définir une pratique éducative 


Une pratique éducative est une procédure ou un ensemble de procédures conçues pour être utilisées dans un contexte spécifique ou dans un ensemble de contextes, par un ensemble spécifique d’utilisateurs. Une pratique éducative vise à atteindre des résultats spécifiés pour une ou plusieurs populations définies.

Définir unilatéralement une pratique comme étant fondée sur des preuves omniprésentes est déraisonnable.

Une pratique ne peut être définie comme étant fondée sur des preuves que dans les limites des contextes et des résultats escomptés.

Cela ne signifie pas qu’une pratique doit être définie de manière trop étroite. De nombreuses pratiques, telles que le renforcement positif, l’enseignement explicite ou l’évaluation formative sont destinés à être utilisés dans une grande variété de contextes. Ils correspondent à une grande variété d’élèves et aboutissent avec une grande variété de résultats attendus.

Mais même de telles pratiques polyvalentes ne sont pas destinées à produire tous les résultats pour tous les élèves dans toutes les conditions.


Six critères pour une pratique fondée sur des preuves


1. La pratique est définie de manière opérationnelle :

  • Une définition opérationnelle précise les éléments spécifiques de la pratique qui peuvent être observés et énumérés. 
  • Cette définition permet de documenter l’intégrité de la mise en œuvre et l’exactitude de son implantation.

2. Les cadres (ou contextes) dans lesquels la pratique est censée être efficace sont définis.

  • Si une pratique est conçue pour un contexte spécifique, les caractéristiques pertinentes de ce contexte doivent être précisées. 
  • Les pratiques conçues uniquement pour des contextes préscolaires, par exemple, peuvent ne pas convenir à l’école primaire ou secondaire. 
  • Si une pratique est censée être efficace dans un certain nombre de contextes, les caractéristiques communes ou uniques de ces contextes doivent également être précisées.

3. Les populations cibles pour lesquelles la pratique est efficace sont définies :

  • Certaines pratiques s’adresseront à tous les élèves. D’autres se concentreront uniquement sur les élèves présentant des caractéristiques spécifiques. Il s’agira par exemple des élèves qui ne réalisent pas de manière fiable leur travail à domicile ou ceux qui présentent un trouble identifié de l’apprentissage ou du comportement. 
  • Si une pratique est conçue principalement pour répondre aux besoins d’une population donnée d’élèves, les caractéristiques spécifiques de cette population doivent être indiquées dans la description de la pratique.

4. Les qualifications des personnes qui peuvent utiliser la pratique avec succès sont définies.

  • Certaines pratiques peuvent être utilisées par n’importe qui. 
  • D’autres pratiques sont destinées à être utilisées uniquement par des personnes ayant reçu une formation spécifique. Il s’agit par exemple de l’analyse fonctionnelle du comportement ou l’accompagnement de certains troubles de l’apprentissage.
  • Si l’utilisation réussie d’une pratique nécessite une formation ou une expertise spécifique, les qualifications des personnes chargées de sa mise en œuvre doivent être clairement définies.
  • Des outils ou des mesures d’évaluation de l’intégrité de l’intervention doivent être disponibles et leur adéquation technique doit être décrite.

5. Les résultats que l’on peut attendre de l’utilisation de la pratique sont définis.

  • Parmi les critères les plus importants pour une pratique fondée sur des données probantes, il convient de désigner les résultats mesurables auxquels on peut s’attendre si la pratique est utilisée avec intégrité. 
  • Ces résultats peuvent inclure des effets évalués par des mesures proximales (par exemple, un comportement observé fonctionnellement lié), des mesures distales (par exemple, des évaluations dans des contextes non contraignants ou décalées dans le temps), ou les deux. 
  • Il convient de décrire les critères de référence ou de maitrise qui indiquent le succès de la pratique. Par exemple, 80 % des élèves atteignent le niveau de résultat attendu. Les avantages corollaires, les contre-indications ou les effets secondaires négatifs doivent également être décrits.

6. La théorie conceptuelle et les principes clés encadrant la pratique sont définis.

  • La définition de la théorie conceptuelle qui sous-tend une pratique fournit un cadre permettant d’évaluer les raisons pour lesquelles une pratique fonctionne ou fonctionne mal. 
  • La définition d’une pratique sur le plan d’un ensemble de connaissances conceptuelles (par exemple pour l’analyse du comportement ou le modèle de la mémoire) guide également le développement, l’adaptation et l’amélioration dans une perspective continue.






L’existence d’une base documentaire précise


Toutes les pratiques qui visent à être fondées sur des preuves doivent être décrites en détail afin que les responsables de leur mise en œuvre sachent :

  1. À quoi ressemblent les pratiques concrètement ?
  2. Dans quel cadre peuvent-elles être utilisées ?
  3. Qui doit en bénéficier ?
  4. Comment bien les mettre en œuvre ?
  5. Quels résultats attendre ?
  6. Pourquoi devons-nous nous attendre à ce qu’elles fonctionnent ?



Validité des preuves


Une pratique bien définie permet une interprétation systématique de la recherche qui la soutient.

Presque toutes les pratiques disposent de preuves à l’appui de leur utilisation. Le problème apparait lorsque celles-ci se limitent à des études de cas, des témoignages ou autres retours qualitatifs.

De fait, pour être précis, la question ne doit pas porter sur l’existence de preuves, mais sur leur nature. Y a-t-il suffisamment de preuves, quantitatives, empiriques pour permettre de documenter sans équivoque l’efficacité d’une pratique ?

Les questions utilisées pour évaluer s’il existe un niveau de preuve adéquat portent sur :

  1. Le nombre d’études documentant un effet expérimental 
  2. La qualité méthodologique de ces études 
  3. La reproductibilité des résultats 
  4. L’ampleur de l’effet documenté
  5. La durabilité et la généralisabilité de l’effet observé.




Un nécessaire continuum


La question n’est pas d’utiliser une norme dichotomique avec d’un côté les pratiques fondées sur des données probantes et de l’autre celles ne disposant pas ou pas assez de données probantes. L’objectif n’est pas d’adopter les premières aveuglément et de rejeter les autres obligatoirement.

Il s’agit plutôt de considérer les pratiques dans le cadre d’un continuum en fonction de divers critères, de tenir compte du contexte culturel local, des missions de l’enseignement et de l’expertise des enseignants.


Qualité des preuves


Toute pratique prétendant être fondée sur des preuves doit être définie avec précision. Son efficacité doit avoir été démontrée par de multiples études de recherche expérimentale rigoureuses.

Les niveaux de preuve qui appuient une pratique peuvent être forts, prometteurs, émergents, insuffisants ou faibles.

Pour qu’une pratique soit définie comme ayant une base de preuves forte ou prometteuse, elle devra être évaluée dans le cadre de multiples études expérimentales (essais contrôlés randomisés). Ceux-ci permettent à la fois de documenter un effet valorisé et de démontrer un contrôle expérimental. L’utilisation d’essais contrôlés randomisés est considérée comme le maitre étalon pour documenter la base de preuves. Horner et ses collègues (2010) parlent aussi d’études sur un seul cas comme ça peut être pertinent dans le cas d’une approche du type soutien au comportement positif.


Cadre des essais contrôlés randomisés


Flay et ses collègues (2005) proposent qu’une intervention efficace ait été testée dans au moins deux essais rigoureux qui ont :

  1. Impliqué des échantillons définis de populations définies 
  2. Utilisé des mesures psychométriques solides et des procédures de collecte de données
  3. Analysé leurs données avec des approches statistiques rigoureuses
  4. Montré des effets positifs constants (sans effets iatrogènes graves)
  5. Rapporté au moins un suivi significatif à long terme



Ouverture à la recherche


Une intervention efficace selon ces normes ne répondra pas seulement à toutes les normes d’efficacité des interventions : 

  1. Elle disposera de manuels, d’une formation appropriée et d’un soutien technique permettant à des tiers d’adopter et de mettre en œuvre l’intervention.
  2. Elle aura été évaluée dans des conditions réelles dans le cadre d’études comprenant une mesure solide du niveau de mise en œuvre et d’engagement du public cible (dans les conditions d’intervention et de contrôle).
  3. Elle spécifiera l’importance pratique des effets des résultats de l’intervention.
  4. Elle démontrera clairement auprès de quels profils d’élèves les résultats de l’intervention peuvent être généralisés. 



Facteurs d’implantation


Une intervention reconnue comme étant prête à être largement diffusée répondra non seulement à toutes les normes d’efficacité et d’efficience des interventions, mais fournira également :

  1. Des preuves de la capacité à passer à l’échelle
  2. Des informations claires sur les coûts qu’elle représente
  3. Des outils de suivi et d’évaluation afin que les organismes adoptants puissent suivre ou évaluer le bon fonctionnement de l’intervention dans leur contexte.

Robert H. Horner, George Sugai, et Cynthia M. Anderson (2010) soulignent également l’importance des mesures de fidélité. La recherche soutenant une pratique devrait :

  1. Fournir une description reproductible des pratiques et des participants
  2. Rapporter des informations provenant de mesures valides et fiables
  3. Être évaluée dans le cadre de procédures rigoureuses de conception et d’analyse de la recherche (avec des cas de pratiques uniques) 
  4. Documenter les effets positifs cohérents
  5. Fournir une documentation indiquant que les effets sont durables.



Bibliographie


Horner, R. H., Sugai, G., Anderson, C. M. (2010). Examining the evidence base for school-wide positive behavior support. Focus on Exceptional Children, 42(8), 1–14.

Flay, B. R., Biglan, A., Boruch, R. F., Castro, F. G., Gottfredson, D., Kellam, S., Ji, P. (2005). Standards of evidence: Criteria for efficacy, effectiveness and dissemination. Prevention Science, 6(3), 151–175.

0 comments:

Publier un commentaire