Suivi et analyse des données dans la mise en œuvre du soutien au comportement positif

Une bonne part de la réussite de la mise en œuvre du soutien au comportement positif tient à son pilotage au fil du temps et à son adaptation en fonction de divers indicateurs récoltés et analysés.

(Photographie : Mitch Karunaratne)

Éclairer la prise de décision par des données dans le cadre du pilotage de l’amélioration

La prise de décision est une partie omniprésente du fonctionnement quotidien d’une école. 

Les écoles prennent constamment et à différents niveaux des décisions concernant le contenu, les stratégies pédagogiques, les objectifs d’amélioration ou les mesures à prendre.

Ces décisions doivent être prises par une équipe de direction qui utilise un processus de prise de décision standardisé et informé par des données. Dans ce cas, elles sont plus susceptibles de conduire à des mesures efficaces visant à résoudre des problèmes spécifiques.

L’objectif dans le cadre du soutien au comportement positif est d’utiliser les données pour suivre les progrès, informer les décisions et établir des cycles d’amélioration continue. 

Cette récolte de données n’est pas spécifique à la gestion du comportement, elle est également utile pour prendre des décisions visant à améliorer les résultats scolaires des élèves. De plus, résultats scolaires et climat scolaire sont pour une part corrélée. 

À ce titre, il est recommandé d’envisager d’intégrer les données scolaires et comportementales lors de la résolution de problèmes autour des problèmes scolaires ou comportementaux.

Comprendre la résistance aux données dans les écoles dans le cadre du pilotage de l’amélioration

Bien que l’utilisation des données soit essentielle à la prise de décisions judicieuses, il est important de reconnaître d’emblée qu’il existe des obstacles à la collecte et à l’utilisation des données dans les écoles.

Certains sont légitimes comme :

• L’erreur d’échantillonnage liée aux effectifs d’élèves réduits (souvent, la comparaison d’une année à l’autre est fonction de variation entre cohortes que la taille de celle-ci ne permet pas de diluer).
• Les variations de multiples paramètres difficilement isolables les uns des autres (il peut y avoir des causes multiples à des difficultés rencontrées par des élèves qui interagissent). 

McIntosh et Goodman (2016) ont identifié plusieurs raisons pour lesquelles les enseignants peuvent soit se désengager lorsqu’on leur présente des données, soit même résister aux demandes de collecte et d’utilisation des données pour la prise de décisions :

• De nombreux enseignants ont développé une crainte des données chiffrées, qui peuvent provenir d’un manque de maîtrise des mathématiques, d’un historique d’apprentissage négatif en mathématiques ou d’une peur de paraître incompétent en manifestant une incompréhension. 
• De nombreux enseignants peuvent avoir peur de la possibilité que les données exposent des vérités gênantes sur l’école, sur certaines de leurs faiblesses ou sur certains collègues au sein de l’école.
• De plus, la collecte de données peut être perçue comme une charge administrative rébarbative de supplémentaire. Si l’impact et la pertinence de la prise de décision basée sur les données ne sont pas visibles, justifiés et communiqués, cette collecte de données peut sembler inutile. Ce ressenti peut venir du fait qu’elle prend du temps aux enseignants sur d’autres actions qui leur semblent prioritaires. 
• Par ailleurs, il peut être difficile de donner un sens à des volumes conséquents de données brutes. Encoder, traiter et interpréter statistiquement ces données prend du temps et demande certaines compétences.
• Les données sont susceptibles d’être détournées pour juger des enseignants, les pointer du doigt et les mettre sous pression.
• Les données chiffrées sont quantitatives et ne prennent pas en compte toute la complexité et les dimensions qualitatives d’une situation.

Par conséquent, il est important que l’équipe SCP et la direction prennent en compte ces préoccupations présentes chez les enseignants. Elles doivent s’employer à obtenir la pleine collaboration du personnel à la collecte et à l’utilisation légitimes des données pour une prise de décision éclairée.

Développer une utilisation cohérente des données dans le cadre du pilotage de l’amélioration

McIntosh et Goodman (2016) recommandent plusieurs stratégies pour répondre aux résistances et préoccupations éventuelles des enseignants :

• Partager les données recueillies et leurs interprétations avec le personnel, qu’elles soient positives ou négatives.
• Étayer toute décision prise sur base de données.

Cette transparence permet d’instaurer la confiance et de communiquer ce qui se passe à l’école. Elle permet au personnel de comprendre que ses efforts de collecte de données servent un objectif important pour l’établissement scolaire et seront bénéfiques. 

Le fait de partager les décisions fondées sur les données et portant sur les problèmes révélés par les données peut rassurer le personnel. La volonté de résoudre les problèmes transparait dans les décisions de changements qui en découlent.

La direction et l’équipe SCP peuvent également prendre des mesures pour faciliter la maîtrise des données par le personnel :

• En énonçant clairement et explicitement l’objectif des données.
• En présentant les données sous forme de résumés et de graphiques faciles à interpréter.
• En modélisant le processus de réflexion utilisé pour interpréter les données.
• En rendant les présentations de données plus compréhensibles pour le personnel. 

L’équipe SCP et la direction peuvent s’engager dans un développement professionnel sur l’interprétation et l’utilisation des données pour la prise de décision pour améliorer ces aspects. 

Les équipes de direction des établissements scolaires peuvent limiter la quantité de données collectées à celles qui représentent une priorité directe. Pour cela, il importe de répondre à deux questions : 

1. Les données récoltées sont-elles nécessaires ou utiles ?
2. Les données sont-elles essentielles à la prise de décision concernant les objectifs scolaires importants actuellement poursuivis ? 

Limiter la collecte de données par ces deux questions permettra de gagner du temps et d’atténuer le sentiment d’être submergé par les données, leur traitement et leur récolte. 

Les données recueillies dépendent du résultat souhaité et des étapes d’action sélectionnées pour atteindre le résultat souhaité. Certaines sources de données possèdent une valeur standard pour toutes les écoles mettant en œuvre le SCP en vue de l’amélioration des résultats comportementaux. Il existe un ensemble standard de pratiques basées sur la recherche qui ont prouvé qu’elles aidaient les écoles à atteindre ces résultats.

À ce titre, il importe que l’équipe SCP et la direction établissent des systèmes efficaces de collecte des données. L’existence de systèmes efficaces de collecte des données essentielles réduira la charge de travail du personnel et lui laissera plus de temps pour d’autres activités plus directement importantes.

Les équipes SCP performantes privilégient des cycles de collecte et d’analyse des données qui s’alignent sur le calendrier des réunions. Ces cycles réguliers utilisent des ensembles de données spécifiques pour éclairer la prise de décision.

Les cycles se divisent généralement en deux catégories : 

1. Les cycles mensuels ou bimensuels
2. Les cycles annuels ou semi-annuels. 

Le danger de la pression lié aux données quantitatives dans le cadre du pilotage de l’amélioration

Les données peuvent fournir des mesures objectives grâce auxquelles les enseignants peuvent se tenir responsables des résultats des élèves. Cependant, les chefs d’établissement doivent résister à la tentation de manipuler ou de mettre sous pression les enseignants sur la base directe des données.

Non seulement une telle utilisation abusive des données contribue à la peur qui entoure les données dans les écoles, mais elle est soumise à la loi énoncée par Campbell (Campbell, 1975). 

La loi de Campbell est claire, plus un indicateur quantitatif est utilisé pour la prise de décision sociale :

• Plus il sera sujet à des pressions de corruption.
• Plus il sera apte à déformer et à corrompre les processus sociaux qu’il est censé mesurer.

Un exemple de ce phénomène se produit parfois dans le cadre de systèmes de responsabilisation fondés sur le pourcentage d’élèves obtenant des résultats supérieurs à une note de passage. 

Dans le cadre de tels systèmes de responsabilisation, il existe des tentations contreproductives. Les enseignants risquent de concentrer leurs efforts sur les élèves qui obtiennent des résultats proches du score de référence et d’offrir moins d’enseignement et d’opportunités d’apprentissage aux élèves plus éloignés du score de référence. 

La récolte de données dans la préparation du soutien au comportement positif

Comme l’expliquent Baye et ses collègues (2022), la récolte des données joue un rôle important dans la phase de préparation du soutien au comportement positif.

Dans une première étape, les membres de l’équipe SCP créent une liste exhaustive de tous les comportements problématiques qui apparaissent au sein de l’école.

Dans une seconde étape, l’ensemble de l’équipe éducative est mise à contribution pour effectuer une récolte de données sur ces mêmes comportements :

• Le but est d’obtenir une mesure objective de la fréquence et de se détacher de l’émotionnel et de la subjectivité. Sans cela, le risque est de s’attacher en priorité aux comportements qui marquent le plus (parce qu’ils sont récents ou sont considérés comme graves). Le danger est que ces comportements ne sont pas nécessairement les plus fréquents. La récolte de données permet d’avoir les occurrences de chaque comportement et donc de savoir s’il y a vraiment lieu d’y attacher de l’importance.
• Concrètement, la récolte de données s’étale sur deux semaines. Durant ce laps de temps, un horaire va être établi afin que chaque lieu soit pris en charge par au moins un membre du personnel durant les moments auxquels les élèves les fréquentent. La personne chargée de ce lieu se verra remettre un papier avec les comportements à observer et en comptera les occurrences qu’il notera (en faisant un trait chaque fois que le comportement se manifeste). Ces papiers seront récupérés par le gestionnaire des données de l’équipe restreinte qui pourra les encoder sous format informatique.

Dans une troisième étape, l’équipe SCP traite les résultats ce qui lui donne une vision claire de la fréquence d’apparition de chaque comportement. Cette objectivation permettra de déterminer les véritables comportements problématiques.

Données analysées dans les cycles mensuels ou bimensuels dans le pilotage du soutien au comportement positif

Les équipes SCP se réunissent en général sur une base mensuelle tout au long de l’année scolaire. C’est le moment idéal pour suivre les progrès vers les résultats souhaités et la mise en œuvre du plan d’action. 

La réunion doit inclure un examen d’un rapport mensuel constitué préalablement sur les occurrences de perturbations majeures en gestions de classe :

• Nombre par jour ou par mois
• Nature des comportements problématiques
• Lieux d’occurrence
• Moments de la journée ou de la semaine
• Élèves concernés (avec prudence !)

De plus, les informations suivantes doivent être disponibles pour examen, selon les besoins 

pour déterminer si les objectifs sont atteints. 

• Retours sur les comportements mineurs ou gérés par le personnel 
• Exclusions de cours (en école ou hors école) 
• Assiduité 
• Retards
• Données scolaires
• Résultats des évaluations formatives et sommatives communes 

Des données concernant la fidélité de la mise en œuvre peuvent être récoltées pour déterminer si elle se passe comme prévu : 

• Preuves des leçons enseignées concernant les comportements attendus 
• Preuves du renforcement du comportement approprié
• Preuves de la correction cohérente des comportements inappropriés
• Utilisation de listes de contrôle liées à la mise en œuvre du SCP
• Enquêtes générées par l’école.
• Autres outils utilisés pour fournir des preuves de l’achèvement des étapes d’action.

Données analysées dans les cycles annuels ou semestriels dans le pilotage du soutien au comportement positif

Au minimum, l’équipe doit procéder à un examen annuel de toutes les données susceptibles d’illustrer l’état actuel et les tendances, ainsi que de fournir un motif de réflexion, de célébration et de réengagement dans le projet. 

En outre, de nombreuses équipes procèdent à une évaluation rapide de l’état de l’école, deux, trois ou quatre fois par an. Certaines sources de données mensuelles sont répétées de manière cumulative lors de l’examen de mi-année et de fin d’année par exemple.

De plus, certaines données ne sont généralement disponibles qu’une ou deux fois par année scolaire. Ces données fournissent des informations globales concernant l’état de l’école. 

Pour maximiser l’exactitude et l’utilité de ces données, elles doivent être examinées dès qu’elles sont disponibles.

Concevoir un système efficace pour collecter, surveiller, analyser et partager les données dans le pilotage du soutien au comportement positif

L’équipe SCP devra s’assurer que les données sont collectées avec précision et en temps voulu, et que des rapports graphiques sont disponibles au moment des réunions.

Cela nécessite l’élaboration de procédures claires et efficaces, ainsi que l’attribution de rôles et de responsabilités clairement définies. 

Il est probable qu’un développement professionnel sera nécessaire pour certains ou pour tous les membres du personnel qui participent au processus. Il s’agit de concevoir l’enquête, de collecter des données, de les encoder, de produire des rapports et d’analyser les résultats obtenus. 

Le temps consacré à la mise en place de systèmes efficaces et efficients de collecte, de saisie, d’établissement de rapports et d’analyse des données permettra d’obtenir des rapports précis qui faciliteront la prise de décision. 

En créant des systèmes efficaces pour la collecte, la saisie, le rapport et l’analyse des données, l’équipe SCP devra considérer les questions suivantes pour chaque source de données qui sera utilisée dans la prise de décision : 

• Qui saisit les données/complète l’enquête/l’outil ? 
• Quand l’enquête ou l’outil sont-ils complétés ? 
• Qui prépare les synthèses des résultats et les rapports graphiques et quand le fait-il ? 
• Qui analyse les données de l’enquête/outil ? 
• Qui suggère des mesures d’action possibles ? 
• Qui a le pouvoir de décider des mesures à prendre ? 
• Comment les résumés des données et les mesures à prendre qui en résultent sont-ils communiqués aux parties prenantes ? 

Lors de l’élaboration de systèmes de collecte, de suivi, d’analyse et de communication des données, une attention particulière doit être accordée à la clarification de qui informe le processus décisionnel et qui prend la décision finale.

Mis à jour le 05/09/2023

Bibliographie

Missouri Schoolwide Positive Behavior Support, Tier 1, Team Workbook, 2018–2019

McIntosh, K., & Goodman, S. (2016) Integrated Multi-Tiered Systems of Support: Blending RTI and PBIS. New York: The Guilford Press.

Campbell, D. (1975). Assessing the impact of planned social change. In Lyons, C. M. (ed) Social research and public policies. Hanover, New Hampshire: Public Affairs Center, Dartmouth College.

Ariane Baye, Valérie Bluge, Caroline Deltour, Aurore Michel et Fabian Pressia, Soutien aux Comportements Positif, Manuel pour la mise en place du niveau 1, 2022