vendredi 10 juillet 2020

Combiner images et mots pour mieux apprendre

Une combinaison adéquate d’images et de mots peut avoir un impact additif et améliorer notablement l’apprentissage.

 
(Photographie : Jerzy Piatek)



Il existe une tradition ancienne de l’usage d’images dans l’éducation. Dans l’enseignement des mathématiques, l’usage d’images est régulier pour faciliter les apprentissages. Au XVIIe siècle, les écoles utilisaient également des images pour enseigner les mots, avec le célèbre exemple de l’Orbis Pictus de Comenius (1658), un outil pédagogique pour l’apprentissage du latin. 


L’effet de supériorité de l’image


L’effet de supériorité de l’image se réfère au fait que nous apprenons et retenons plus facilement les notions enseignées avec l’aide de visuels intégrés que les notions uniquement présentées par l’intermédiaire de textes.

Ainsi un support de cours intégrant des représentations visuelles des contenus importants peut faciliter et améliorer l’apprentissage des élèves.

Une première conséquence directe de ce principe est que les concepts concrets sont généralement mieux mémorisés que les concepts abstraits, car ils peuvent être associés facilement à des images.

Une deuxième conséquence directe est qu’un contenu d’apprentissage sera plus facile à apprendre s’il est rendu moins abstrait à l’aide d’exemples concrets. Ces exemples concrets ont la capacité de nous faire évoquer des images. Ces images peuvent alors former un lien de référence avec l’élément verbal correspondant.

La théorie du double codage explique clairement pourquoi les informations concrètes sont importantes :
  • Elles sont plus faciles à traiter, car plus attrayantes pour l’imagination.
  • Elles évoquent des images plus rapidement et plus facilement que des informations abstraites.

Une manière de l’envisager de penser à la différence de traitement entrainée des termes tels que « fleur » (concret) et « passion » (abstrait). Avec le terme fleur, des images apparaissent immédiatement et de manière bien plus claire et soutenue qu’avec le terme passion. 

À partir de là, pour faciliter le traitement des concepts abstraits, dans notre enseignement, nous avons grand intérêt à les travailler à l’aide d’exemples concrets afin de les associer. Comme ceux-ci sont aisément récupérables et mémorisables, ils vont favoriser également le traitement du terme abstrait et sa récupération.

En concrétisant beaucoup par des exemples et en faisant bon usage du système imagé non verbal, l’éducation peut mieux s’aligner sur l’architecture cognitive de la mémoire. 

Il a deux façons simples de comprendre le principe de supériorité de l’image :
  • Si une même information est stockée à la fois verbalement et sous forme imagée, cela crée plus de connexions.
  • Lorsque nous souhaitons récupérer une information en mémoire, l’opération sera d’autant plus facile que cette information correspond à la fois à des caractéristiques imagées et verbales.

Par exemple, l’image d’un chien ou le mot chien vont activer en mémoire à long terme l’autre information.




Théorie du double codage (Paivio, 1971)




La théorie du double codage s’intéresse à la combinaison de matériel verbal et graphique dans l’apprentissage, ou simplement au fait d’encourager les élèves à générer des images mentales appropriées. Ces démarches devraient augmenter la probabilité que les mots activent les images correspondantes et vice-versa.

Selon la théorie du double codage, notre mémoire intègre l’information selon deux codes différents :
  • Le code verbal ou phonologique, c’est celui des mots
  • Le code imagé, non verbal ou symbolique, c’est celui des images

Quand nous sommes face à un stimulus visuel (une image), nous sommes susceptibles de générer à la fois un code imagé et un code verbal. L’image se trouve associée à un mot.

Quand nous sommes face à un stimulus verbal, notre cerveau génère uniquement un code verbal. Il n’associe pas forcément une image au mot, par exemple s’il s’agit d’un concept abstrait.

La théorie du double codage proposée par Paivio vise à donner un poids égal au traitement verbal et non verbal. La cognition humaine est unique en ce sens qu’elle s’est spécialisée dans le traitement simultané du langage et des objets ou événements non verbaux.

La théorie du double codage explique le comportement et l’expérience humaine en matière de processus associatifs et référentiels dynamiques. Ceux-ci fonctionnent à partir d’un riche réseau de représentations verbales et non verbales (ou imagées) dans des sous-systèmes de notre cerveau, chacun étant spécifique à une certaine modalité.

La théorie du double codage suppose que nous avons deux sous-systèmes distincts contribuant à la cognition, spécifiques, mais connectés :
  1. Un sous-système est spécialisé dans la représentation et le traitement des images et des informations non verbales 
  2. Un sous-système est spécialisé dans le traitement du langage et des informations verbales (c’est-à-dire les mots ou les nombres). Le système linguistique ou verbal est particulier. Il traite directement les entrées et sorties linguistiques (sous forme de parole ou d’écriture) tout en remplissant une fonction symbolique par rapport aux objets, événements et comportements non verbaux.

Les deux types de systèmes de traitement, verbaux et non verbaux, sont fonctionnellement et structurellement indépendants. Cela signifie que chacun d’eux peut fonctionner indépendamment de l’autre et qu’ils fonctionnent sur différents types d’unités de représentation.

Ces unités de représentation sont des informations relativement stables à long terme. Elles correspondent à des objets et des activités perceptivement identifiables, tant verbaux que non verbaux.

(source : Oliver Caviglioli)

La théorie du double codage postule l’existence de deux types différents d’unités de représentation :
  • Les imagènes correspondent aux images mentales et aux autres entités non verbales. 
    • L’imagène est directement lié au monde extérieur
    • Un son non lié au langage ou une image seront traités par le processeur non verbal et stockés sous forme de représentation non verbale, un imagène. 
    • Les imagènes sont organisés en matière de relations partielles et globales. 
    • Ces représentations sont organisées de manière synchrone, ce qui signifie que les détails, leurs liens et la vue d’ensemble peuvent être perçus simultanément. 
    • Un traitement en parallèle est possible jusqu’à une certaine limite informationnelle. L’information visuelle s’offre au spectateur simultanément — le tout en une seule fois.
  • Les logogènes correspondent aux entités verbales, c’est-à-dire aux mots parlés ou écrits.
    • Le logogène est une abstraction, un symbole de quelque chose dans le monde extérieur.
    • Un mot écrit ou parlé sera traité par le processeur verbal et stocké sous forme de représentation verbale, un logogène. 
    • Ces unités de représentations sont similaires aux chunks de George Miller. Les logogènes sont organisés en matière d’associations et de hiérarchies. 
    • Les logogènes sont traités de manière séquentielle. La syntaxe qui unit les idées en mots est, par définition, traitée de manière cumulative, une unité à la fois. 

La théorie du double codage identifie trois types de traitement :
  • Représentationnel : l’activation directe des représentations verbales ou non verbales.
  • Référentiel : l’activation du système verbal par le système non verbal ou vice-versa. Il établit des liens entre logogènes et imagènes. Il permet d’effectuer des opérations comme mettre un mot sur une image ou mettre une image sur un mot. 
  • Associatif : l’activation des représentations au sein du même système verbal ou non verbal. Les liens associatifs représentent les connexions entre des logogènes ou entre des imagènes. Ils permettent de former des associations verbales/verbales ou non verbales/non verbales.

Les types de connexions référentielles et associatives aident à former les réseaux complexes des schémas de la mémoire humaine.

Une tâche d’apprentissage donnée peut nécessiter l’un ou l’autre ou l’ensemble des trois types de traitement.

Paivio aborde également les différences individuelles en matière de tendance et de capacité à utiliser l’imagerie. Selon lui, les élèves qui ont des difficultés à utiliser des images, par exemple, peuvent ne pas se souvenir de passages de texte qui bénéficient d’un traitement imagé. Ils peuvent ne pas comprendre la géographie ou d’autres faits spatiaux de manière concrète. Ils peuvent avoir du mal à visualiser les étapes d’une épreuve géométrique, à orthographier des mots difficiles ou même à imprimer correctement des lettres.




Comprendre les liens entre le modèle de la mémoire de travail d’Alan Baddeley et la théorie du double codage


La théorie du double codage est cohérente avec le modèle de la mémoire de travail proposé par Alan Baddeley.



Le modèle de Baddeley inclut un système de traitement de l’information en deux parties :
  • Un calepin visuospatial :
    • Il traite les stimuli visuels. 
    • Il s’agit d’un sous-système spécialisé dans la représentation et le traitement des objets/événements non verbaux. 
    • Il gère la manipulation des images mentales, des informations visuelles et spatiales.
  • Une boucle phonologique :
    • Elle traite les stimuli verbaux. 
    • Elle a pour fonction le stockage temporaire des informations verbales. 
    • Il s’agit d’un sous-système spécialisé dans le traitement du langage. 

Bien que les deux canaux soient séparés et indépendants l’un de l’autre, il existe un mécanisme qui garantit qu’ils peuvent fonctionner en tandem. Ce lien entre le visuel et le verbal n’implique aucun transfert d’informations de l’un à l’autre. Au lieu de cela, un des deux canaux déclenche une connexion avec l’autre.


(source : Oliver Caviglioli)



Nature des stimuli et traitement


Les informations auditives sont traitées automatiquement par la boucle phonologique dans un code verbal. Il n’y a pas d’apports extérieurs au niveau du code imagé.

Les informations visuelles (images associées à des mots) vont mobiliser à la fois la boucle phonologique et le calepin visuospatial. Le traitement de ces informations et leur intégration sont susceptibles de s’influencer mutuellement. Il y a génération d’un code imagé et d’un code verbal.

Les informations textuelles sont représentées sous forme de séquences de lettres ou de chiffres. Pour un lecteur expérimenté, l’information visuelle des lettres ou des chiffres imprimés ne contribuera pas à un meilleur rappel et à un codage imagé. En effet, car l’information visuelle des lettres ou des chiffres imprimés ne sera pas traitée en profondeur dans le calepin visuospatial. Elles seront rappelées sur la base des informations acoustiques ou phonologiques stockées en mémoire à long terme et traitées par la boucle phonologique. Le traitement des informations textuelles sera donc équivalent à celui des informations auditives.

En résumé, dans notre cerveau, les mots écrits et parlés ne sont codés qu’une seule fois, mais les images des mots sont codées deux fois, d’abord visuellement, puis verbalement.

Dans le modèle de Baddeley de la mémoire de travail, l’accent est mis sur le processus de recodage des informations visuelles en un code verbal par la boucle phonologique.

Dans le modèle du double codage de Paivio, il est question d’une voix intérieure pour constituer un code verbal associé au code imagé.



Capacité de la mémoire de travail


En combinant images et mot, nous utilisons les deux sous-systèmes de la mémoire de travail, le calepin visuospatial et la boucle phonologique. Ils peuvent en partie se compléter, ce qui permet d’accroître et d’optimiser la capacité de traitement. Lorsque la même information est correctement offerte de deux manières différentes, elle nous permet d’accéder à une plus grande capacité de mémoire de travail.

Comme l’écrit Joshua A. Cuevas (2016), de nombreuses recherches ont montré que si l’information verbale est complétée par de l’information visuelle, l’effet est additif. Au lieu d’entrainer une surcharge cognitive et le rejet subséquent de l’information, la capacité de stockage de la mémoire augmente réellement.

C’est comme s’il y avait deux réservoirs de stockage de la mémoire, un réservoir verbal et un réservoir visuel. Si nous remplissons trop le réservoir verbal, il déborde, mais nous pouvons remplir le réservoir verbal et aussi le réservoir visuel sans faire déborder le réservoir verbal.

Cependant, cela ne signifie pas que nous pouvons réellement doubler notre mémoire de travail dont la capacité équivaut à 4 ±1 informations nouvelles. Il y a simplement moins d’interférences attentionnelles.

Un principe particulièrement intéressant qui joue sur ce principe est l’effet de modalité (issu de la théorie de la charge cognitive et de la théorie de l’apprentissage multimédia). Celui-ci explique que les élèves apprennent mieux à partir d’une animation avec description sonore, qu’à partir d’une animation avec un texte écrit à l’écran.




Le double avantage


Il existe deux avantages principaux du double codage :
  • L’explication quantitative : l’apprentissage par double codage permet à l’apprenant de bénéficier d’un accès à la capacité de mémoire visuelle et verbale. 
  • L’explication qualitative : le codage de l’information produit deux traces d’information qui seront plus fortes qu’une seule trace et nous permettent de nous souvenir ou de reconnaître l’information de deux manières différentes. La justification qualitative est que les mots et les images, bien que qualitativement différents, peuvent se compléter et que la compréhension humaine se produit lorsque les apprenants sont capables d’intégrer mentalement les représentations picturales et verbales correspondantes. 



Trois principes cognitifs liés à la théorie du double codage


Selon Perry et ses collègues (2021) :
  • Le caractère synchrone, séquentiel ou transitoire :
    • Les informations non verbales sont traitées de manière synchrone.
    • Les informations verbales sont traitées de manière séquentielle. 
    • Les informations auditives sont transitoires et il faut se les repasser en boucle pour les conserver en mémoire de travail. 
    • Un enseignant pourrait remplacer le texte par des images et donner ensuite une explication orale, ce qui permet d’utiliser les deux canaux. Toutefois, cela pourrait se heurter aux limites de la capacité des élèves à retenir de grandes quantités d’informations auditives transitoires.
  • L’argument visuel : 
    • Selon l’idée de l’argument visuel, il est cognitivement plus efficace de traiter les informations visuellement. Nous pouvons souvent rechercher, reconnaître et voir les connexions dans les images plus facilement que dans des textes équivalents en matière de contenu. 
    • Comme l’écrit Oliver Caviglioli (2019), l’argument visuel souligne les avantages cognitifs à présenter les informations dans ces configurations spatiales et non linéaires. Les associations verbales et visuelles enrichissent l’encodage et renforcent la récupération. 
    • L’argument visuel apporte une efficacité computationnelle accrue. Les représentations sous forme de diagrammes permettent typiquement d’afficher explicitement des informations qui sont directement accessibles. Ces mêmes informations sont purement implicites dans une représentation verbale séquentielle et nécessitent un traitement cognitif beaucoup plus important. 
  • La cognition incarnée :
    • La cognition incarnée concerne le rôle du corps dans la formation des concepts et le soutien de la cognition, par exemple par la mise en œuvre de concepts, de gestes et de mouvements. 



Le cas particulier de la synesthésie


Certaines personnes ont une capacité de mémorisation supérieure à la moyenne. Leurs sens sont reliés de façon particulière.

Pour eux, les mots peuvent évoquent une certaine couleur. C’est ce qu’on appelle la synesthésie et elle peut se faire avec n’importe quel sens, bien que la synesthésie des couleurs des chiffres/lettres soit la plus courante. 



Une étude remarquable


Meijs et ses collègues (2016) ont étudié comment enseigner au mieux le vocabulaire à des élèves de 7 à 16 ans.

La question de leur étude était de savoir s’il est plus efficace de leur enseigner par le biais d’images, de la parole ou d’un texte écrit.

Les résultats de l’étude montrent qu’il n’y a pas d’effet de supériorité de l’image chez les enfants de moins de 7 ans. Chez les enfants de sept ans, l’effet de supériorité de l’image est moins important que dans les autres groupes d’âge.

Cela pourrait être dû à l’absence de langage intérieur chez les jeunes enfants selon la théorie du double codage ou à une absence de maturité de la mémoire de travail selon le modèle d’Allan Baddeley. La boucle phonologique qui est utilisée pour le recodage de l’information visuelle en un code verbal pour un traitement ultérieur est supposée devenir fonctionnelle à l’âge d’environ 7 ans.

Les résultats de cette recherche ont montré que les enfants âgés de 7 à 16 ans apprennent mieux par les images, reconnaissent et mémorisent mieux les mots que leurs condisciples qui apprenaient au départ de mots écrits ou parlés. Cet effet se renforce au fur et à mesure que les élèves grandissent. Les trajectoires de développement sont similaires pour les garçons et les filles.

Leur recherche confirme que les informations auditives et textuelles semblent traitées de manière similaire, ce qui conduit à un codage verbal unique. En revanche, les images sont supposées être traitées par le double codage de l’information visuelle et par un codage verbal des images. Les images laissent des traces doubles et donc plus fortes dans notre cerveau.




La mémoire à long terme en comparaison avec les deux canaux de la mémoire de travail


Le contenu de notre mémoire de travail se déplace vers notre mémoire à long terme par un processus que nous appelons encodage.

Il y a bien deux systèmes différents pour la théorie du double codage et le modèle de la mémoire de travail de Baddeley. Cependant, au niveau de la mémoire à long terme, les informations sémantiques sont stockées dans un seul système et non pas deux. La seule différence est que les images et les mots accèdent à des caractéristiques différentes de la trace mémorielle.





Mis à jour le 22/09/2022

Bibliographie


Oliver Caviglioli, Dual coding wih teachers, John Catt, 2019

Paul A. Kirschner & Mirjam Neelen, Double-barrelled learning for yong & old, 2017, https://3starlearningexperiences.wordpress.com/2017/05/30/double-barrelled-learning-for-young-old/

Meijs, C., Hurks, P., Wassenberg, R., Feron, F. J. M. & Jolles, J. (2016), Inter-individual differences in how presentation modality affects verbal learning performance in children aged 5 to 16. Child Neuropsychology, 22, 818–836.

https://www.instructionaldesign.org/theories/dual-coding/

https://www.learning-theories.org/doku.php?id=learning_theories:dual_coding_theory

Joshua A. Cuevas, PhD, Is Research-Based Instruction A Reality In Education? The Example Of Learning Styles And Dual Coding, JULY 11, 2016, http://psychlearningcurve.org/learning-styles/?_ga=2.27027389.1222021476.1559243048-118535785.1548327345

Paul A. Kirschner, Luce Claessens & Steven Raaaijmakers, Op de schouders van reuzen, 2018

Mayer, R. E. (2021) Multimedia Learning (3rd Edition), Cambridge University Press.

Perry, T., Lea, R., Jørgensen, C. R., Cordingley, P., Shapiro, K., & Youdell, D. (2021). Cognitive Science in the Classroom. London: Education Endowment Foundation (EEF). The report is available from: https://educationendowmentfoundation.org.uk/evidence-summaries/evidence-reviews/cognitive-science-approaches-in-the-classroom/

0 comments:

Enregistrer un commentaire