Мультимодальность

Мультимодальность изучает, как формируется значение посредством комбинации семиотических модусов — языка, изображения, звука, жеста, макета — а не только языка.

Definition

Мультимодальность — это исследование коммуникации и смыслообразования, которое учитывает весь спектр семиотических модусов, включая письмо, изображение, звук, жест и пространственный дизайн, а также то, как они комбинируются.

Scope

Эта тема охватывает мультимодальный подход к коммуникации и риторике, разработанный в значительной степени на основе социальной семиотики. Она рассматривает концепцию модуса и его аффордансов, оркестровку множественных модусов в текстах и перформансах, а также последствия для композиции и грамотности. Включена связь мультимодальности с визуальной риторикой и цифровыми медиа.

Core questions

• Что такое семиотический модус и что может выразить каждый модус?
• Как модусы комбинируются и распределяют функции в тексте?
• Как выбор модуса формирует значение и риторический эффект?
• Что мультимодальность подразумевает для письма и грамотности?

Key concepts

• модус и медиум
• аффорданс
• семиотический ресурс
• оркестровка модусов
• дизайн

Key theories

Социальная семиотика модуса

Кресс и ван Леувен рассматривают каждый модус как культурно сформированный ресурс с отчетливыми аффордансами, анализируя, как значение распределяется и оркеструется между модусами в любом коммуникативном акте.

History

Мультимодальность выросла из социальной семиотики и системной функциональной лингвистики, особенно из работ Кресса и ван Леувена с 1990-х годов, когда цифровые медиа сделали комбинацию модусов повсеместной. Их работа «Мультимодальный дискурс» (Multimodal Discourse) 2001 года и «Мультимодальность» (Multimodality) Кресса 2010 года изложили теорию, а справочные издания закрепили ее как междисциплинарную область, охватывающую риторику, образование и коммуникацию.

Debates

Все ли модусы одинаково поддаются анализу?

Исследователи обсуждают, применим ли аналитический аппарат, разработанный для языка и изображения, к таким модусам, как звук, жест и движение, и являются ли модусы универсальными или культурно специфичными.

Key figures

• Gunther Kress
• Theo van Leeuwen
• Carey Jewitt

Seminal works

• kress2001
• kress2010

Frequently asked questions

Что такое «аффорданс» модуса?

Аффорданс — это то, что модус позволяет легко или трудно выразить. Письмо разворачивается во времени и хорошо подходит для последовательности и логики, в то время как изображения представляют вещи одновременно и хорошо подходят для пространственных отношений; таким образом, каждый модус способствует формированию различных значений.