Quatre piliers au service d’une évaluation sommative efficace et de qualité

Nous ne pouvons pas développer de bonnes pratiques d’évaluation sans une connaissance de base suffisante sur ce qui en assure leur qualité. 

(Photographie : Noah Kalina)

Nous pouvons résumer la théorie de l’évaluation en nous basant sur les quatre piliers d’une bonne évaluation : objectif, validité, fiabilité et valeur.

Voici une synthèse du document « The four pillars of assessment » (EBE, 2018) 

L’importance de l’objectif de l’évaluation

Les évaluations utilisées pour générer des informations sur lesquelles des décisions sont prises concernant l’apprentissage des élèves doivent fournir des informations de haute qualité. Ces informations doivent être adaptées aux objectifs visés.

Le type d’évaluation idéal est différent en fonction de l’objectif visé. Il existe un risque de perdre de vue la fonction de l’évaluation, ce qui a pour conséquence que l’évaluation se détache de son objectif visé dans une mesure plus ou moins importante.

Toutefois, l’évaluation est également susceptible de devenir un outil universel, où les informations recueillies dans un but précis sont également utilisées pour mesurer quelque chose de totalement différent. Par exemple, une évaluation extérieure utilisée dans un but certificatif pour les élèves peut également être utilisée pour comparer les résultats d’un établissement scolaire à ceux de sa catégorie.

La question de l’objectif de l’évaluation peut dans certains cas poser un problème. 

• Par exemple, considérons une évaluation de fin d’année conçue pour mesurer le niveau en mathématiques, mais qui ne teste que certaines composantes des mathématiques. Par exemple, elle ne contient des questions que sur trois des cinq unités de matière du cours. Il en ressort qu’elle ne peut pas être utilisée pour tirer des conclusions sur le niveau en mathématiques en général (l’objectif visé), mais seulement sur les composantes qu’elle inclut. 
• De même, d’autres problèmes apparaissent lorsque les questions de l’évaluation sont formulées de manière trop complexe. L’évaluation exige alors une capacité de lecture suffisante pour accéder aux mathématiques qui sont au cœur de l’évaluation. Ce processus désavantage les lecteurs les plus faibles face à des lecteurs avancés présentant un même niveau en mathématiques.

Ce qu’il est important de bien saisir est que la conception ou la sélection d’une bonne évaluation ne peuvent commencer que lorsque les différents objectifs sont clairement déterminés.

Trois étapes pour établir l’objectif d’une évaluation

La définition de l’objectif d’une évaluation est le plus important des quatre piliers d’une bonne évaluation. Nous devons savoir ce que nous voulons mesurer et pourquoi nous le faisons, afin de sélectionner le bon outil pour atteindre notre objectif.

Trois étapes sont toujours au cœur de toute évaluation efficace et utile :

1. La construction : Quelle est la connaissance, la compétence ou la compréhension spécifique, en lien avec le programme scolaire, que nous avons l’intention d’évaluer ?
2. L’utilisation finale : Que voulons-nous faire avec l’information générée par le processus d’évaluation ? Quelle sera l’interprétation, la décision ou l’action qui en découlera ?
3. Le meilleur outil : Quel est le moyen le plus approprié, le plus efficace et le plus efficient d’évaluer dans ce cas ? Quand et comment le mobiliser ?

Sans réponses claires à ces questions, il est impossible d’utiliser efficacement l’évaluation :

• Nous n’avons pas d’objectif spécifique pour concevoir une évaluation.
• Nous ne savons pas si elle peut fournir les informations dont nous avons besoin. 
• De plus, sans objectifs définis, il est difficile de guider et de soutenir efficacement les élèves dans lEur parcours d’apprentissage.

Nous pouvons évaluer nos démarches actuelles en lien avec l’importance de cette détermination d’objectifs :  

• Quels types d’évaluations utilisons-nous dans notre école et dans nos cours ? 
• Tout le monde (enseignants, élèves) sait-il clairement quel est l’objectif d’une évaluation ?
• Comment les informations fournies par une évaluation seront-elles utilisées ? 
• Nos évaluations sont-elles pleinement adaptées à leur objectif ? Certaines évaluations ont-elles été déformées au fil du temps pour répondre à un besoin annexe ?
• Certaines évaluations sont-elles délivrées parce que nous avons toujours travaillé comme ça sans que cela soit encore justifié ?

L’illusion d’une évaluation valide

La validité est un concept qui, en matière d’évaluation, fait référence à deux dimensions :

• La capacité de l’évaluation à tester ce qu’elle a l’intention de mesurer
• La capacité de l’évaluation à fournir des informations qui sont à la fois valables et appropriées pour l’objectif visé

Une conception erronée sur la validité est de considérer qu’il s’agit d’une propriété d’une évaluation. En réalité, il n’existe pas d’évaluation qui soit valide de manière indépendante.

Une évaluation peut être valide pour un objectif spécifique :

• La validité concerne les déductions que nous faisons sur la base des informations générées par une évaluation en rapport avec un objectif spécifique. 
• La validité fait référence à la capacité de l’évaluation à soutenir les affirmations que nous voulons faire sur la base des informations générées.

Il y a deux raisons principales pour lesquelles les évaluations peuvent ne pas être valides par rapport à leur objectif spécifique : 

• La sous-représentation des concepts : l’évaluation ne parvient pas à capturer des aspects importants du construit. C’est-à-dire qu’elle n’est pas entièrement représentative de la cible de l’évaluation.
• La variance non pertinente des concepts : les résultats de l’évaluation sont influencés par des éléments autres que le construit, par exemple, un langage inaccessible. 

Améliorer la validité d’une évaluation face à un objectif spécifique

Un moyen de contrôle évident de la qualité validité d’une évaluation en fonction d’un objectif spécifique est de vérifier s’il y a une sous-représentation de certains éléments ou la présence d’éléments annexes. 

Est-ce que ce que nous voulons évaluer correspond à ce qui est inclus dans l’évaluation ? Vérifier ce qui est et ce qui n’est pas inclus dans l’objectif spécifique de l’évaluation est essentiel pour un processus d’évaluation robuste. C’est l’une des façons d’éviter la sous-représentation du construit et la variance non pertinente du construit.

S’assurer qu’une gamme appropriée et significative de notes est utilisée pour représenter la performance à des niveaux particuliers de réalisation est un autre aspect de l’amélioration de la validité d’une évaluation. 

Si 50 points sont disponibles pour une tâche d’évaluation, mais qu’aucun élève n’obtient plus de 35 points, l’évaluation est-elle vraiment sur 50 ? Si certaines questions ne sont répondues correctement par aucun ou quasiment aucun élève, qu’est-ce que ces questions valident-elles ? 

La validité d’une évaluation dépend des déductions que nous faisons sur la base d’un objectif spécifique qui correspond à un enseignement prodigué et à un apprentissage qui en découle. Il est donc important de se demander si l’évaluation nous permet de faire des déductions qui sont valides sur ceux-ci.

La fiabilité d’une évaluation

La fiabilité dans l’évaluation de l’apprentissage des élèves concerne la précision et la cohérence dans le temps et le contexte. La détermination du degré de fiabilité d’une évaluation dépend de ses utilisations finales prévues.

De nombreux facteurs contribuent à la fiabilité d’une évaluation, mais les enseignants doivent tenir compte de deux des plus importants :

• La précision des questions et des tâches utilisées pour susciter les réponses des élèves. 
• La précision et la cohérence des interprétations dérivées des réponses à l’évaluation. 

Une évaluation est un moyen par lequel nous pouvons créer un ensemble de circonstances dans lesquelles un élève peut manifester ses connaissances, ses compétences et sa compréhension sous une forme observable. 

Il s’agit d’une approximation de quelque chose d’invisible.

L’interprétation faite de la compréhension des informations dérivées d’une évaluation est également une interprétation sujette à des erreurs liées : 

• À un manque de familiarité de l’évaluateur avec le sujet évalué. 
• À la méconnaissance par l’évaluateur de pratiques d’évaluation efficaces. 
• À des préjugés
• À la subjectivité de la matière à évaluer 
• Aux conditions dans lesquelles les élèves passent l’évaluation
• Aux conditions dans lesquelles la matière a été enseignée.

Améliorer la fiabilité des évaluations

Il existe de nombreuses façons d’améliorer les pratiques d’évaluation en classe afin d’accroître la fiabilité. Une des plus immédiates est d’améliorer la fiabilité des évaluateurs.

Nous pouvons réfléchir à la fiabilité entre évaluateurs. L’idée est de savoir si les notes attribuées indépendamment par deux enseignants pour la même tâche d’écriture sont cohérentes entre elles : 

• Il est déjà assez difficile de faire en sorte que les gens soient d’accord entre eux sur des questions simples.
• Lorsqu’il s’agit de jugements complexes, des problèmes de fiabilité s’accentuent. 

Nous pouvons réfléchir à la fiabilité d’un évaluateur donné. Un défi souvent négligé provient également de la précision et de la cohérence de ses propres jugements :

• La subjectivité devient plus importante lorsqu’un jugement est nécessaire. 
• Nous pouvons imaginer comment nos décisions, nos commentaires et la notation des devoirs peuvent varier, en fonction de l’heure de la journée, de la faim, du nombre d’autres tâches que nous avez en tête. De même, de notre niveau de fatigue ou de patience possède une influence.

Pour améliorer la fiabilité des évaluateurs, il faut d’abord reconnaître que les évaluations comportent toujours un certain degré de manque de fiabilité. Améliorer la fiabilité améliorera la qualité de l’information dérivée du processus d’évaluation, augmentant ainsi sa valeur potentielle pour les enseignants et les élèves. 

Nous pouvons mettre en évidence trois façons d’améliorer la fiabilité de l’évaluation à l’école :

• Utiliser des travaux d’élèves exemplaires pour clarifier ce à quoi ressemble la réussite dans des devoirs spécifiques, et être explicite sur ces critères.
• Évaluer les travaux à l’aveugle, cela réduit les biais et augmente la fiabilité des évaluateurs qui ne se laissent pas influencer par leurs attributions sur les élèves. 
• Modérer à l’aveugle des échantillons de travaux d’élèves. Différents évaluateurs corrigent les mêmes copies puis comparent leurs résultats pour déterminer un consensus. Cela augmente la fiabilité des évaluateurs et offre également une bonne occasion de développement professionnel pour partager les normes.

Des questionnaires à choix multiples bien conçus peuvent constituer une forme d’évaluation fiable et fournir des informations diagnostiques pour soutenir les activités d’enseignement et d’apprentissage.

La valeur d’une évaluation

Chaque minute qu’un enseignant, un élève, un parent ou toute autre personne consacre à l’évaluation est une minute qui n’a pas été passée à faire autre chose. En tant que telle, l’évaluation a un coût d’opportunité élevé. La valeur dérivée de l’évaluation devrait être au moins proportionnelle à la valeur de l’évaluation. Si nous ne faisons rien des résultats d’une évaluation de qualité, nous devrions probablement faire autre chose.

Il est intéressant de comptabiliser le temps passé sur un seul processus d’évaluation (création, administration, réalisation par les élèves, notation et retour d’information aux élèves, saisie des données) :

• Combien de temps a-t-il fallu ? 
• Quelle valeur ajoutée l’évaluation a-t-elle apportée au processus d’apprentissage ?

Un objectif clair augmente la valeur de l’information sur l’évaluation en garantissant qu’elle fait exactement ce à quoi elle est destinée.

La valeur d’une évaluation est également qu’elle nous donne accès à une information que nous ne pourrions pas obtenir d’une autre manière. L’évaluation permet de construire un pont entre l’enseignement et l’apprentissage. Nous ne pouvons pas physiquement pénétrer dans un cerveau pour y découvrir la quantité de connaissances assimilées dans un domaine. Nous avons donc besoin de substituts. Nous avons besoin de passerelles. 

Cependant, si les ponts que nous utilisons ne nous permettent pas d’obtenir des informations à valeur ajoutée, ils ne fonctionnent pas comme ils le devraient et leur valeur pour les enseignants et les apprenants diminue considérablement. 

Les effets de retour positif ou négatif des évaluations

Les évaluations peuvent avoir des effets positifs et négatifs : 

• Les effets escomptés de l’évaluation correspondent à la situation où les élèves étudient davantage grâce à un retour d’information de qualité sur l’apprentissage.
• Les effets négatifs involontaires de l’évaluation — tels qu’une charge de travail ingérable, un enseignement axé sur le test, une diminution du temps consacré à d’autres activités.

Une évaluation efficace consiste à apprendre à maximiser les retours positifs et à minimiser les retours négatifs. La principale façon d’y parvenir est de créer des liens solides et explicites entre le programme d’études, la pédagogie et l’évaluation. C’est l’alignement curriculaire ou constructif. Ce sont les informations provenant d’évaluations bien conçues, ciblées et planifiées qui comblent le fossé entre l’enseignement et l’apprentissage. 

De meilleures informations peuvent informer de meilleures décisions, et de meilleures décisions peuvent conduire à un meilleur apprentissage.

Le piège d’une évaluation sommative trop fréquente

Comme l’écrit Franklin (2021), l’utilisation fréquente d’évaluations pour remplir des objectifs à la fois sommatifs et formatifs peut conduire à une dilution de la validité et de la fiabilité des inférences.

Cela réduit en retour la valeur de ces évaluations. Les impacts négatifs de leur déploiement (tels que la charge de travail élevée des enseignants et l’utilisation disproportionnée du temps en classe) deviennent de moins en moins justifiables compte tenu de la faiblesse des inférences qui en résultent.

Cette approche va favoriser la mesure de la performance plutôt que celle de l’apprentissage :

• Nous allons surtout mesurer des variations temporaires des connaissances et des compétences observées peu après leur acquisition.
• Nous n’allons pas mesurer l’apprentissage qui correspond à des changements relativement permanents dans la mémoire à long terme.

Cela peut se traduire par d’importantes fluctuations presque aléatoires dans les résultats de certaines matières au fil du temps, ce qui rend difficile la détermination de démarches productives et efficaces pour y remédier.

Il est plus utile de réduire le nombre d’évaluations sommatives. Les évaluations sommatives doivent avoir avant tout une portée cumulative et tester un ensemble conséquent du programme d’études, plutôt que le contenu récemment achevé. Le rythme de ces évaluations sommatives doit être dicté par des perspectives d’apprentissage en fonction du programme du cours et non pas rentrer dans le moule du découpage d’une année en périodes arbitraires. 

En agissant de la sorte, les notes se stabilisent et les lacunes sont mieux identifiées et mieux traitées. 

Un espacement plus important entre les évaluations sommatives augmente la probabilité qu’une réponse correcte soit représentative d’un changement dans la mémoire à long terme des élèves plutôt que dans leurs performances temporaires. Cela réduit le risque de juger à tort qu’un apprentissage a eu lieu.

De même, les mauvaises réponses deviennent plus susceptibles d’indiquer des difficultés véritables ou des lacunes de compréhension plutôt que des variations de performance. Cela permet de mieux adapter le contenu de l’enseignement. 

Limiter le nombre d’évaluations sommatives permet de libérer du temps pour le programme. Cela offre des opportunités et de l’espace aux départements pour concevoir et mettre en œuvre des évaluations formatives et plus de pratique de récupération afin de mieux soutenir l’apprentissage des élèves. 

Bibliographie

The four pillars of assessment, Evidence Based Education, 2018

Samantha Franklin, The four pillars of assessment: What does a focus on validity, reliability, purpose and value in assessment practice look like on the ground?, 2021, https://my.chartered.college/impact_article/the-four-pillars-of-assessment-what-does-a-focus-on-validity-reliability-purpose-and-value-in-assessment-practice-look-like-on-the-ground/