L’effet de modalité dans la théorie de la charge cognitive

L’effet de modalité se manifeste lorsqu’un élève est confronté à des contenus à apprendre. Le principe est simple. Une présentation à la fois visuelle et auditive est susceptible de produire un meilleur apprentissage qu’une présentation uniquement visuelle.

(Photographie : Amani Willett)

Une définition de l’effet de modalité

Une présentation de l’information verbale dans un mode oral peut être tout aussi efficace, voire plus que son intégration physique dans un support écrit, que ce soit sous forme de texte ou à l’intérieur d’un diagramme.

Par exemple, présenter un schéma avec des explications écrites, intégrées ou présentées sous celui-ci, produit potentiellement de moins bons résultats d’apprentissage que de présenter le même schéma et de fournir sous forme orale les explications adéquates.

L’effet de modalité a été étudié dans le cadre de la théorie de la charge cognitive et dans celui de la théorie cognitive de l’apprentissage multimédia.

Interprétation évolutionniste de l'effet de modalité

En tant qu’humains, nous n’avons pas évolué pour traiter un texte écrit qui fait référence à des informations visuelles. Le langage écrit est récent pour notre espèce et n’a pas été un facteur de sélection naturelle. Nous devons par conséquent fournir des efforts conscients pour traiter des informations écrites.

À l’opposé, il est probable que nous ayons évolué pour écouter les explications orales d’un individu en regardant les objets concernés. Le fait d’écouter une explication d’un autre individu est lié au langage parlé qui est plus ancien dans notre espèce et a été un facteur de sélection naturelle. Nous sommes donc programmés à travers notre ADN à être naturellement plus facilement réceptifs à des explications exprimées oralement que de manière écrite.

Dès lors, la présentation de l’information sous la forme d’une double modalité, peut puiser dans les connaissances biologiquement primaires séparées (visuelles et auditives). Cela donne un avantage par rapport à un support purement visuel qui va puiser à une seule source, dont l’une, la lecture demande un effort conscient et une attention soutenue. 

Le phénomène d’interférence sélective en lien avec l'effet de modalité

Le phénomène d’interférence sélective, en lien avec l’effet de modalité, a été mis en évidence en psychologie.

La recherche montre une altération sélective :

• Du traitement de l’information visuospatiale lorsque nous recevons de l’information visuospatiale supplémentaire, mais pas lorsque nous recevons de l’information auditive supplémentaire
• Du traitement de l’information auditive, lorsque nous recevons de l’information auditive supplémentaire, mais pas lorsque nous recevons de l’information visuospatiale supplémentaire.

Également, nous pouvons observer plus d’interférence entre le traitement visuospatial et le traitement verbal lorsque l’information verbale est présentée dans des configurations visuospatiales.

Un texte écrit structuré en paragraphes est moins visuospatial que lorsqu’il est présenté sous forme d’organisateur graphique ou de carte conceptuelle.

Les recherches sur l’interférence sélective s’appuient sur une hypothèse précise. Selon celle-ci, l’information visuospatiale (y compris les textes présentés dans des configurations visuospatiales, comme les cartes conceptuelles) tend à être traitée séparément de l’information verbale (y compris les textes présentés comme des paragraphes écrits).

Interprétation cognitive de l'effet de modalité

Pour expliquer cette supériorité de la double modalité (visuelle et auditive) sur une modalité de présentation (visuelle) unique, la théorie de la charge cognitive se réfère au modèle de la mémoire de travail de Baddeley & Hitch.

L’effet de modalité repose sur l’hypothèse que la mémoire de travail peut être subdivisée en deux processus partiellement indépendants :

• L’un traite les contenus verbaux en se basant sur une mémoire de travail visuelle. Il s’agit du calepin visuospatial, qui traite de l’information visuelle et spatiale.
• L’autre traite des informations graphiques/images basées sur une mémoire de travail auditive. Il s’agit de la boucle phonologique, qui gère le traitement de l’information auditive.

Les informations auditives et visuospatiales ont tendance à être traitées dans une large mesure séparément, dans ces systèmes limités. Le traitement visuospatial dans la mémoire de travail serait dans une certaine mesure indépendant du traitement auditif.

En raison de cette séparation, apprendre uniquement à partir d’informations visuospatiales (images complétées par des textes écrits) est susceptible de surcharger le calepin visuospatial limité. Il est alors plus avantageux d’apprendre à partir d’informations visuospatiales et auditives (images complétées par du texte parlé). Dans ce second cas de figure, le calepin visuospatial et la boucle phonologique partagent la charge cognitive du matériel pédagogique.

La capacité effective de la mémoire de travail peut être augmentée en utilisant à la fois la mémoire de travail visuelle et la mémoire de travail auditive, plutôt qu’uniquement l’une des deux. 

L’effet de modalité se produit lorsqu’un système surchargé n’a pas la capacité suffisante pour gérer l’apprentissage, par rapport à deux systèmes moins surchargés.

Si le traitement et l’intégration de ces deux sources d’information impliquent des niveaux élevés d’interactivité des éléments, le canal visuel de la mémoire de travail risque d’être surchargé. Ceci est d’autant plus vrai que les sources ne sont pas intégrées.

Néanmoins, la quantité d’information qui peut être traitée par les canaux auditif et visuel devrait dépasser la capacité de traitement d’un seul canal.

De plus, les présentations à double modalité éliminent la possibilité d’un dédoublement de l’attention visuelle qui peut se produire lorsque seules des sources d’information visuelles sont présentes.

L’effet de modalité s’expliquerait par une utilisation plus efficace de la ressource cognitive disponible. En utilisant deux canaux de mémoire de travail et en réduisant la recherche visuelle et les situations d’attention partagée associées lorsque l’information verbale est présentée dans la modalité auditive, l’apprentissage peut être facilité.

Implications éducatives de l'effet de modalité

Lorsque l’information textuelle accompagnant les images, les animations ou les simulations est présentée sous une forme orale plutôt que visuelle, la capacité de la mémoire de travail peut être effectivement augmentée.

Les présentations à double modalité peuvent être utilisées pour réduire la charge cognitive extrinsèque, qui peut être provoquée par le besoin d’intégration de deux sources visuelles.

La recherche sur l’organisation des modalités confirme que les éléments présentés visuellement ou de manière auditive ont tendance à être mémorisés comme étant liés à la modalité dans laquelle ils ont été présentés.

Des recherches montrent que lorsque nous extrayons des éléments de la mémoire, la modalité des éléments mémorisés est omniprésente et même plus forte que les catégories sémantiques ou d’autres types de regroupement. Une conséquence est qu’il est plus efficace de mémoriser les deux modalités en parallèle.

La présentation de la même information verbale dans une modalité orale et dans une modalité visuelle complémentaire est susceptible d’améliorer l’apprentissage. 

L’absence de redondance comme condition à l'effet de modalité

L’effet de modalité ne peut être obtenu que lorsque les deux sources d’information sont inintelligibles de manière isolée. Deux ou plusieurs sources d’information se réfèrent l’une à l’autre et doivent être alors traitées ensemble afin d’être intelligibles.

Les informations textuelles présentées sous forme orale ne produiront pas d’effet de modalité si elles ne font que décrire à nouveau un diagramme ou une autre forme d’information. Si une source d’information ne fait qu’en récapituler une autre selon une modalité différente, l’effet ne sera pas obtenu. Lorsque les deux sources sont intelligibles isolément, nous nous retrouvons dans un cas d’effet de redondance.

Lien entre l'effet de modalité avec l’interactivité des éléments

Il s’agit de prendre en compte l’interactivité des contenus. Il est peu probable que du matériel didactique ayant de très faibles niveaux d’interactivité ou de charge cognitive intrinsèque démontre les avantages des présentations à double mode ou, en fait, tout autre effet de charge cognitive.

Si les contenus d’apprentissage se caractérisent par des niveaux élevés d’interactivité des éléments, ils peuvent d’abord surcharger le canal visuel :

• Cette surcharge peut être aggravée par une attention partagée entre les sources d’information visuellement présentées qui se réfèrent les unes aux autres. 
• L’utilisation d’un format à double modalité dans cette situation peut effectivement réduire cette charge et accroître les ressources cognitives disponibles pour l’apprentissage, ce qui se traduit par un effet modal. 

D’autre part, si l’interactivité des éléments du contenu d’apprentissage est faible, il se peut que même des niveaux relativement élevés de charge cognitive extrinsèque se situent encore dans les limites de la mémoire de travail. Dès lors, ils n’interfèrent pas avec l’apprentissage.

Cependant, un niveau trop élevé d’interactivité des éléments peut également éliminer les avantages des présentations à double modalité. Lorsqu’il s’agit de représentations complexes ou abstraites, l’apprenant peut connaître des niveaux très élevés de charge cognitive intrinsèque, surtout s’il n’a pas suffisamment de connaissances préalables pertinentes à ces représentations.

L’utilisation d’informations complexes, transitoires et orales peut elle-même surcharger la mémoire de travail, ce qui entraîne l’incapacité de démontrer un effet de modalité.

Lien entre le rythme des présentations et l'effet de modalité

Il est difficile d’observer un effet de modalité dans le cadre d’un rythme de présentation contrôlé par l’apprenant. Dans ce cas, celui-ci va progresser à un rythme qui lui permet de ne pas saturer les ressources de sa mémoire de travail.

L’effet de modalité ne se manifeste que lorsque l’apprenant n’a pas le contrôle du rythme de la présentation et lorsque le flux d’information risque de dépasser les limites de la mémoire de travail.

Comme dans des situations réalistes, les élèves n’ont généralement pas un temps illimité pour apprendre un contenu spécifique, il ne leur est pas toujours possible de le faire à leur propre rythme.

L’effet de modalité inverse en lien avec les informations transitoires

Il existe des conditions dans lesquelles l’effet de modalité ne sera pas obtenu ou sera même inversé. Nous parlons alors d’effet de modalité inverse.

Lors de la transformation d’informations écrites en informations orales, une autre transformation se produit automatiquement. Dans la plupart des cas, l’information écrite est relativement permanente tandis que l’information parlée est relativement transitoire.

Le passage d’une information permanente à une information transitoire est susceptible d’avoir des conséquences cognitives et pédagogiques. Si un élève ne conserve pas de trace écrite de ce qu’a dit l’enseignant, il ne peut récupérer l’information en cas d’oubli.

Si l’information textuelle est longue et complexe, sa présentation sous forme orale peut avoir des conséquences négatives en raison des facteurs de charge cognitive. La mémoire de travail pour l’information nouvelle est très limitée dans le temps et l’information parlée est transitoire.

Un segment long, complexe et à haut niveau d’interactivité du texte parlé peut dépasser les limites de la mémoire de travail.

Le même contenu présenté sous forme écrite peut être beaucoup plus facile à traiter parce qu’il permet de consacrer plus de temps à des sections complexes alors que les sections plus faciles peuvent être écrémées rapidement.

L’effet de modalité inversé est obtenu en utilisant exclusivement des textes longs, complexes et sous forme orale. Un long exposé oral peut submerger la mémoire de travail et l’emporter sur tout avantage possible. Le résultat est probablement la supériorité d’une présentation visuelle seulement, ce qui entraîne un effet de modalité inverse.

Conditions d’applicabilité de l’effet de modalité dans un contexte pédagogique

Le simple fait d’utiliser des instructions audiovisuelles ne peut jamais garantir une amélioration de l’apprentissage si celles-ci ne réduisent pas la charge cognitive extrinsèque.

Différentes conditions sont nécessaires pour obtenir l’effet de modalité :

1. Comme c’est le cas pour l’effet d’attention partagée, l’information schématique et l’information textuelle doivent se référer l’une à l’autre et être inintelligibles à moins qu’elles ne soient traitées ensemble.
2. L’interactivité des éléments doit être élevée. Si l’interactivité des éléments est faible, nous ne pouvons obtenir ni l’effet de modalité ni aucun autre effet de charge cognitive.
3. Le texte oral doit être limité. Les textes longs et complexes doivent être présentés sous forme écrite et non orale. Un texte long qui ne peut pas être tenu et traité dans la mémoire de travail empêchera un effet de modalité et peut générer un effet de modalité inverse.
4. Si les diagrammes sont très complexes, il peut être nécessaire d’établir des repères ou des signaux pour que les apprenants puissent se concentrer sur les parties de l’affichage visuel auxquelles l’information auditive fait référence. La relation entre l’information auditive et l’affichage visuel doit être facilitée.
5. Le niveau d’expertise de l’apprenant peut également influencer l’effet. Même si la plupart des études de recherche sur l’effet des modes d’apprentissage ont été menées auprès d’apprenants novices, il est prouvé que l’effet peut être éliminé ou inversé chez des apprenants relativement plus expérimentés.

Exemples d’application de l'effet de modalité dans un contexte pédagogique

La principale implication pédagogique de l’effet modal est claire. Dans certaines circonstances bien définies, il peut y avoir des avantages considérables à présenter l’information sous une forme audiovisuelle à deux modes plutôt que sous une forme visuelle seulement.

Il faut veiller à ce que les conditions de la supériorité de l’enseignement audiovisuel soient réunies.

Régulièrement, des matières comme les mathématiques et les sciences s’y prêtent bien :

Par exemple, un énoncé tel que « L’angle ABC est égal à l’angle XBZ » en association avec un diagramme géométrique peut être beaucoup mieux présenté sous forme orale plutôt qu’écrite.

L’élève va apprendre mieux si l’enseignant lui explique alors qu’il regarde la figure géométrique sans texte explicatif fourni, plutôt que s’il regarde la figure géométrique tout en lisant un texte correspondant.

La présentation audiovisuelle est susceptible d’être bénéfique. Le diagramme et le texte doivent être traités conjointement, car l’interactivité des éléments en géométrie est habituellement très élevée et que l’énoncé peut facilement être conservé et traité en mémoire de travail.

En utilisant l’explication orale plutôt que visuelle, les ressources de la mémoire de travail visuelle peuvent être entièrement consacrées au diagramme tandis que les ressources de mémoire auditive sont utilisées pour traiter le texte. En partageant la charge cognitive entre les processeurs auditif et visuel, la mémoire de travail visuelle est moins susceptible d’être surchargée et l’apprentissage devrait donc être facilité.

Cependant, le simple fait de présenter l’information dans un format audiovisuel ne garantit pas les avantages qui découlent de l’effet modal. Un texte long qui n’a pas besoin d’être traité en conjonction avec un diagramme, ou un autre support graphique, n’entraînera pas l’effet de modalité.

Le critère ultime n’est pas de savoir si un format audiovisuel est utilisé, mais plutôt si la charge cognitive externe est réduite. Si elle n’est pas réduite, un format audiovisuel n’aidera pas et peut même interférer avec l’apprentissage.

Deuxième exemple : la figure ci-dessous présente deux formats multimédias pour enseigner la forme de bactéries.

(source : Castro-Alonso et coll. 2020)

Le format à gauche accompagne les images d’explications orales. Les élèves utilisent dès lors à la fois leur calepin visuospatial et leur boucle phonologique.

Le format de droite complète les images avec du texte écrit, mais sans texte parlé. Selon l’effet de modalité, il risque davantage de surcharger le calepin visuospatial, la boucle phonologique n’étant pas utilisée. Dès lors, le format de gauche facilite l’apprentissage.

Une autre conséquence est que les élèves ont un avantage à se parler à eux-mêmes, plutôt qu’à rester silencieux, lorsqu’ils cherchent à assimiler de nouvelles connaissances.

Un autre exemple est celui-ci :

(Source : Tramizi and Sweller [1988])

Dans le cas de l’exemple du globe oculaire ci-dessus ;

• Au départ, seule l’image de l’œil est visible sans autre indication.
• Une première flèche apparaîtrait, pointant vers le cristallin, puis le narrateur expliquerait que la lumière traverse le cristallin de l’œil.
• Ensuite, la flèche pointant vers la rétine apparaîtrait et celle pointant vers le cristallin disparaitrait, ainsi de suite. 
• Le texte ne serait jamais visible, mais simplement délivré oralement.

Mise à jour le 18/07/2022

Bibliographie

Sweller, J., van Merriënboer, J. and Paas, F. (2019). Cognitive Architecture and Instructional Design: 20 Years Later. Educational Psychology Review.

Castro-Alonso, Juan & Sweller, John. (2020). The Modality Effect of Cognitive Load Theory. 10.1007/978-3-030-20135-7_7.

Sébastien Puma. Optimisation des apprentissages : modèles et mesures de la charge cognitive. Psychologie. Université Toulouse le Mirail — Toulouse II, 2016. Français. NNT : 2016TOU20058.

Leahy, W., & Sweller, J. (2011). Cognitive load theory, modality of presentation and the transient information effect. Applied Cognitive Psychology, 25. doi:10.1002/acp.1787

Sweller John, Ayres Paul, Kalyuga Slava, Cognitive Load Theory, Springer, 2011

Tarmizi, R. A., & Sweller, J. (1988). Guidance during mathematical problem solving. Journal of educational psychology, 80(4), 424–436.