Multimodalité

La multimodalité étudie la manière dont le sens est construit par la combinaison de modes sémiotiques — le langage, l'image, le son, le geste, la mise en page — plutôt que par le seul langage.

Definition

La multimodalité est l'étude de la communication et de la construction du sens qui prend en compte l'ensemble des modes sémiotiques — y compris l'écriture, l'image, le son, le geste et la conception spatiale — et la manière dont ils se combinent.

Scope

Ce sujet couvre l'approche multimodale de la communication et de la rhétorique, développée en grande partie à partir de la sémiotique sociale. Il aborde le concept de mode et ses affordances, l'orchestration de multiples modes dans les textes et les performances, ainsi que les implications pour la composition et la littératie. La relation de la multimodalité à la rhétorique visuelle et aux médias numériques est également incluse.

Core questions

• Qu'est-ce qu'un mode sémiotique, et que peut faire chaque mode ?
• Comment les modes se combinent-ils et se répartissent-ils le travail dans un texte ?
• Comment le choix du mode façonne-t-il le sens et l'effet rhétorique ?
• Qu'implique la multimodalité pour l'écriture et la littératie ?

Key concepts

• mode et médium
• affordance
• ressource sémiotique
• orchestration des modes
• conception

Key theories

Sémiotique sociale du mode

Kress et van Leeuwen considèrent chaque mode comme une ressource culturellement façonnée dotée d'affordances distinctes, analysant comment le sens est distribué et orchestré entre les modes dans tout acte communicatif.

History

La multimodalité est née de la sémiotique sociale et de la linguistique fonctionnelle systémique, en particulier des travaux de Kress et van Leeuwen à partir des années 1990, à mesure que les médias numériques rendaient la combinaison des modes omniprésente. Leurs ouvrages Multimodal Discourse (2001) et Multimodality (2010) de Kress ont exposé la théorie, et les traitements dans des manuels l'ont consolidée en tant que domaine interdisciplinaire couvrant la rhétorique, l'éducation et la communication.

Debates

Tous les modes sont-ils également analysables ?

Les chercheurs débattent de la question de savoir si l'appareil analytique développé pour le langage et l'image est transférable à des modes tels que le son, le geste et le mouvement, et si les modes sont universels ou culturellement spécifiques.

Key figures

• Gunther Kress
• Theo van Leeuwen
• Carey Jewitt

Seminal works

• kress2001
• kress2010

Frequently asked questions

Qu'est-ce qu'une « affordance » d'un mode ?

Une affordance est ce qu'un mode rend facile ou difficile à exprimer. L'écriture se déroule dans le temps et est propice à la séquence et à la logique, tandis que les images présentent les choses simultanément et sont propices aux relations spatiales ; chaque mode se prête donc à des significations différentes.