Recueillir des données et poser un diagnostic dans le cadre du pilotage de l'amélioration

Dans le cadre du pilotage de l’amélioration, avant de pouvoir déterminer les objectifs spécifiques, tout un travail spécifique doit être réalisé.

(Photographie : Doug Rickard)

Étapes préalables à la détermination d’objectifs spécifiques d’amélioration dans un établissement

Avant de pouvoir déterminer les objectifs spécifiques, les stratégies et les actions liées en vue d’amorcer une gestion de l’amélioration dans un établissement scolaire, une phase d’exploration doit être engagée. 

Au cours de cette phase, l’équipe responsable de ce processus au sein de l’école va : 

• Définir clairement le problème que nous devons chercher à résoudre ou à atténuer.
• Identifier différentes solutions potentielles pertinentes qui prennent la forme de programmes ou de pratiques pédagogiques à mettre en œuvre.
• Juger de la faisabilité de la mise en œuvre des différentes options qui s’offrent à nous.

Identifier un secteur à améliorer par un processus fiable de diagnostic

La mise en œuvre d’un nouveau programme ou d’une nouvelle pratique représente toujours un engagement majeur. Elle va monopoliser du temps et des ressources au sein de l’école qui ne peuvent plus être consacrées à d’autres fins.

Le processus va finalement se traduire en un engagement personnel pour toutes les personnes impliquées. De plus, les éventuelles conséquences négatives de l’adoption d’un programme inadéquat ou de pratiques pédagogiques inappropriées sont susceptibles d’être relevées ensuite par la direction, les enseignants et, surtout, les élèves et leurs parents. Les erreurs et les choix inappropriés se paient cher. 

Nous devons nous poser les bonnes questions avec une approche structurée. Nous voulons être capables de poser les bons choix, afin de mener à des changements moins nombreux, mais plus stratégiques. 

Le point de départ de la réflexion consiste à identifier un domaine d’amélioration restreint et approprié en appliquant un processus de diagnostic rigoureux. 

Il est déconseillé de se lancer immédiatement l’étude de nouvelles approches à mettre en œuvre, car cela faussera inévitablement notre vision de la question posée avant d’y avoir répondu. Nous commençons toujours par examiner rigoureusement le problème, avec autant d’objectivité que possible. 

Notre objectif global est de nous détacher de nos intuitions et de nos convictions subjectives initiales une plus grande confiance objectivée que le ou les problèmes identifiés constituent notre véritable priorité. 

Notre intention est d’éclairer et d’étayer les priorités d’amélioration de l’école à l’aide de preuves. 

Viser à identifier une priorité en toute confiance

Souvent, la décision d’agir commence par un instinct, une envie, un sentiment ou une intuition. Les croyances existantes sur les problèmes de l’école peuvent être signifiantes et utiles. Mais elles peuvent aussi refléter des préjugés ou des biais, que nous pouvons tous avoir. 

Pour cette simple raison, nous devons vérifier et remettre en question notre pensée initiale. Nous devons nous y engager jusqu’à ce que nous soyons définitivement convaincus que le problème identifié est à la fois important et réel, c’est-à-dire qu’il est résolument prioritaire. 

L’établissement de cette confiance repose sur deux facteurs :

• La collecte de données pertinentes et rigoureuses
• La production d’interprétations plausibles et crédibles de ces mêmes données.

Toutes les données que nous utilisons ne sont que des représentations des conséquences d’un problème, c’est-à-dire d’une cause racine. Nous devons veiller à ne pas confondre la ou les causes d’un problème avec le résultat de ce dernier.

Pour générer des preuves et des idées sur le problème, nous devons interpréter les données et faire preuve de jugement et de raisonnement. Cela commence par un questionnement sur la qualité de nos données.

Récolter des données adaptées à l’objectif ciblé

Nous pouvons être tentés d’utiliser simplement les données relatives que nous avons sous la main plutôt que de récolter de manière délibérée celles dont nous avons réellement besoin. 

Nous devons examiner, comparer et croiser les informations provenant d’une série de sources différentes afin d’établir une représentation riche et détaillée du problème. Dans ce processus, nous devons reconnaître et prendre en compte les forces et les faiblesses de nos sources variées. 

Nous devons partir à la recherche de tendances discrètes et isolables dans les données à notre disposition, et explorer les variations et les écarts constatés. 

Nous nous posons les questions suivantes : 

• Quelles causes du problème les données permettent-elles de révéler ? 
• Quelles sont les tendances évolutives liées aux données à travers le temps ?
• Quels sont les problèmes sous-jacents dont nous pouvons suspecter l’existence ? 

Sources usuelles de données en milieu scolaire

Données issues des évaluations externes

Ces données sont généralement fiables. Elles donnent une vue d’ensemble des résultats et permettent des comparaisons avec d’autres établissements accueillant un public similaire. Elles ne demandent pas de charge de travail accrue.

Par contre, les scores globaux peuvent induire en erreur quant à l’interprétation de problèmes spécifiques. L’analyse au niveau des compétences visées question par question peut être utile.

Il est utile d’utiliser les scores globaux sur toute une tranche d’âge et sur plusieurs années scolaires afin de fournir des données de tendance fiables. Toutefois, il peut être utile d’isoler les résultats d’une classe, si elle a bénéficié ou souffert de circonstances particulières.

Données issues des évaluations internes

Ce sont les résultats des évaluations sommatives organisées par des enseignants dans leur établissement. 

Cette approche permet l’adaptation des évaluations aux besoins ou l’utilisation des tests existants. Elle est peu coûteuse et efficace pour générer des données.  

L’inconvénient est que la qualité des données obtenues n’est pas aussi fiable que celle des évaluations externes. De plus, elle ne peut pas être comparée aux normes nationales.

Les évaluations internes peuvent être utilisées pour fournir des informations sur une question précise parallèlement aux données des tests standardisés.

Observations en classe

Aller observer en classe donne une vision globale des actions de l’enseignant et des réponses des élèves en matière d’apprentissage.

Le risque est qu’une observation est toujours subjective et par conséquent potentiellement peu fiable. De plus, elle peut ne pas représenter la pratique normale et la présence d’un observateur peut fausser la pratique.

L’observation en classe peut être utilisée pour cerner le problème perçu dans son contexte et obtenir une image plus riche de la façon dont les élèves et les enseignants vivent ce problème.

Rapports d’inspection

Le rapport d’inspection offre une perspective externe et une comparabilité avec une norme nationale. Ses conclusions sont exploitables et il est conçu dans ce sens. 

Cependant, il est potentiellement peu fiable et est en partie fonction des conceptions de l’observateur (inspecteur). De plus, la présence d’un observateur peut biaiser la pratique. Il peut conduire à des actions peu utiles.

Il est utile de considérer les problèmes perçus soulevés lors de l’inspection par rapport aux priorités d’amélioration propres à l’école.

Enquêtes et entretiens

Des questionnaires peuvent être proposés ou des entretiens peuvent être réalisés. Ils ont l’avantage de recueillir les perceptions fines des individus concernés et d’ouvrir des voies de communication. Les questions de l’enquête ou de l’entrevue peuvent être adaptées aux besoins. 

Les inconvénients peuvent être un faible taux de réponse du public interrogé ou une pression réelle ou ressentie pour obtenir une réponse. Tout ceci a pour conséquence que les données obtenues peuvent être peu fiables. De plus, leur organisation et leur dépouillement représentent une charge de travail supplémentaire.

Cette démarche peut être utile pour comprendre les perceptions d’un problème dans son contexte et recueillir des suggestions pour des actions futures.

Prendre en considération les faiblesses liées aux données

Les données utilisées par les écoles sont toujours imparfaites et présentent toujours des faiblesses. Différents facteurs, de la formulation des questions à la fatigue de la personne qui corrige les épreuves, peuvent affecter la fiabilité des informations recueillies. 

C’est une réalité que nous devons accepter et à laquelle nous devons répondre de manière constructive en considérant le niveau de qualité des données. 

Nous nous posons les questions suivantes : 

• Nos préjugés et ceux de nos collègues, faussent-ils nos interprétations des données ?
• Y a-t-il des lacunes importantes dans nos données ? Si c’est le cas, pouvons-nous remplir ces lacunes avec nos propres hypothèses et généralisations ?
• Les données les plus pertinentes et les plus rigoureuses, celles qui sont les plus adaptées à l’objectif sont-elles privilégiées ? 
• Les données les moins pertinentes et moins rigoureuses sont-elles traitées avec suffisamment de prudence ?

La faiblesse peut venir du : 

• Biais dans la génération des données : 
• Nous devons être clairs sur ce que les données représentent et ne représentent pas, et sur la façon dont elles ont été générées. 
• Par exemple, les résultats des tests internes peuvent être biaisés si les tests sont établis et corrigés par un même enseignant qui se sent sous pression pour montrer que ses élèves progressent comme attendu.
• Invalidité des données : 
• Nous devons nous assurer que l’évaluation que nous avons choisie mesure réellement ce que nous avons décidé de mesurer. 
• Parfois, nous allons trop loin dans nos affirmations sur ce qu’une évaluation nous permet de déterminer.
• Non-fiabilité des données : 
• Nous devons vérifier si notre source de données est juste et cohérente. 
• Une source de données fiable suit généralement des processus qui augmentent la précision et la cohérence, telles que la mise à l’essai des questions, la modération de la notation et la triangulation de différentes sources de données. 

Nous devons être conscients que le processus de collecte de données valides et fiables peut augmenter notre charge de travail. Nous devons mettre en balance les coûts d’opportunité et la valeur de la collecte de données solides qui en découlent.

Par exemple, nous pouvons interroger un nombre réduit d’enseignants que nous estimons statistiquement représentatifs plutôt que d’interroger l’ensemble du personnel.

Établir des interprétations crédibles et plausibles

Pour générer des preuves d’un problème, nous devons fournir des interprétations crédibles et plausibles des données. Cela nécessite de comparer et croiser les données provenant de différentes sources et d’utiliser notre jugement pour tirer des conclusions précises. 

Voici quelques éléments à garder à l’esprit :

• Nous devons décrire comment chaque élément de données fournit des preuves du problème. Par exemple, les problèmes de comportement, relevés lors des observations des cours, suggèrent que les élèves A et B ont des difficultés à comprendre les contenus enseignés. Nous devons identifier pour qui le problème existe, quand il se produit et comment il se manifeste.
• Nous devons éviter d’adapter les données à nos idées préconçues. Nous pouvons nous trouver en désaccord avec ce que montrent les données. Dans ce cas, nous devons mettre de côté nos propres idées préalables sur les problèmes et leurs solutions et laisser les données nous révéler la nature réelle du problème.
• Nous devons établir une conclusion rigoureuse qui est crédible et acceptable plutôt que convaincante. Elle ne sera jamais définitive. Plutôt que d’essayer de nous convaincre et de convaincre nos collègues que nous avons raison, il vaut mieux se concentrer sur la démonstration d’un problème à l’aide de preuves. 
• Nous devons partager notre interprétation avec des personnes qui pourraient ne pas être d’accord avec nous afin de tester notre raisonnement et d’en identifier les faiblesses. Nous les encourageons à remettre en question toute hypothèse et à voir s’ils peuvent réfuter l’existence du problème.

Questions à se poser dans le cadre du recueil de données et de la pose d’un diagnostic

• Avons-nous récolté toutes les données susceptibles de vérifier ou valider une hypothèse donnée ?
• N’avons-nous pas négligé certains aspects de la question ou du problème à travers l’analyse des données collectées ? 
• Sommes-nous certains d’avoir identifié une priorité objective d’amélioration de l’école qui se prête au changement ? 

Mis à jour le 26/09/2024

Bibliographie

Education Endowment Foundation, Putting Evidence to Work — A School’s Guide to Implementation, https://d2tic4wvo1iusb.cloudfront.net/guidance-reports/a-schools-guide-to-implementation/EEF_Implementation_Guidance_Report_2019.pdf, 2019