Multimodalität

Multimodalität untersucht, wie Bedeutung durch die Kombination semiotischer Modi – Sprache, Bild, Ton, Geste, Layout – und nicht nur durch Sprache allein erzeugt wird.

Definition

Multimodalität ist die Untersuchung von Kommunikation und Bedeutungskonstitution, die das gesamte Spektrum semiotischer Modi – einschließlich Schrift, Bild, Ton, Geste und räumlicher Gestaltung – und deren Kombination berücksichtigt.

Scope

Dieses Thema behandelt den multimodalen Ansatz zur Kommunikation und Rhetorik, der sich maßgeblich aus der Sozialsemiotik entwickelt hat. Es befasst sich mit dem Konzept des Modus und seinen Affordanzen, der Orchestrierung mehrerer Modi in Texten und Darbietungen sowie den Implikationen für Komposition und Literalität. Die Beziehung der Multimodalität zur visuellen Rhetorik und zu digitalen Medien ist ebenfalls enthalten.

Core questions

• Was ist ein semiotischer Modus, und was kann jeder Modus leisten?
• Wie kombinieren und teilen Modi die Arbeit in einem Text auf?
• Wie beeinflusst die Wahl des Modus Bedeutung und rhetorische Wirkung?
• Welche Implikationen hat Multimodalität für Schreiben und Literalität?

Key concepts

• Modus und Medium
• Affordanz
• semiotische Ressource
• Orchestrierung von Modi
• Design

Key theories

Sozialsemiotik des Modus

Kress und van Leeuwen behandeln jeden Modus als eine kulturell geformte Ressource mit unterschiedlichen Affordanzen und analysieren, wie Bedeutung in jedem kommunikativen Akt über Modi verteilt und unter ihnen orchestriert wird.

History

Die Multimodalität entwickelte sich aus der Sozialsemiotik und der systemisch-funktionalen Linguistik, insbesondere aus der Arbeit von Kress und van Leeuwen ab den 1990er Jahren, als digitale Medien die Kombination von Modi allgegenwärtig machten. Ihre Werke „Multimodal Discourse“ (2001) und Kress' „Multimodality“ (2010) legten die Theorie dar, und Handbuchbeiträge konsolidierten sie als interdisziplinäres Feld, das Rhetorik, Bildung und Kommunikation umspannt.

Debates

Sind alle Modi gleichermaßen analysierbar?

Forscher diskutieren, ob der für Sprache und Bild entwickelte Analyseapparat auf Modi wie Ton, Geste und Bewegung übertragbar ist und ob Modi universell oder kulturspezifisch sind.

Key figures

• Gunther Kress
• Theo van Leeuwen
• Carey Jewitt

Seminal works

• kress2001
• kress2010

Frequently asked questions

Was ist eine „Affordanz“ eines Modus?

Eine Affordanz ist das, was ein Modus leicht oder schwer auszudrücken macht. Schrift entfaltet sich zeitlich und eignet sich gut für Sequenzen und Logik, während Bilder Dinge gleichzeitig präsentieren und gut für räumliche Beziehungen sind; jeder Modus eignet sich daher für unterschiedliche Bedeutungen.