Multimodalidad

La multimodalidad estudia cómo se construye el significado a través de la combinación de modos semióticos —lenguaje, imagen, sonido, gesto, diseño— en lugar de solo el lenguaje.

Definition

La multimodalidad es el estudio de la comunicación y la construcción de significado que atiende a toda la gama de modos semióticos —incluyendo la escritura, la imagen, el sonido, el gesto y el diseño espacial— y cómo se combinan.

Scope

Este tema abarca el enfoque multimodal de la comunicación y la retórica, desarrollado en gran medida a partir de la semiótica social. Trata el concepto de modo y sus posibilidades (affordances), la orquestación de múltiples modos en textos y representaciones, y las implicaciones para la composición y la alfabetización. Se incluye la relación de la multimodalidad con la retórica visual y con los medios digitales.

Core questions

• ¿Qué es un modo semiótico y qué puede hacer cada modo?
• ¿Cómo se combinan los modos y cómo se distribuye el trabajo en un texto?
• ¿Cómo influye la elección del modo en el significado y el efecto retórico?
• ¿Qué implica la multimodalidad para la escritura y la alfabetización?

Key concepts

• modo y medio
• posibilidad (affordance)
• recurso semiótico
• orquestación de modos
• diseño

Key theories

Semiótica social del modo

Kress y van Leeuwen tratan cada modo como un recurso culturalmente configurado con posibilidades (affordances) distintas, analizando cómo el significado se distribuye y orquesta entre los modos en cualquier acto comunicativo.

History

La multimodalidad surgió de la semiótica social y la lingüística sistémico-funcional, especialmente del trabajo de Kress y van Leeuwen a partir de la década de 1990, a medida que los medios digitales hicieron que la combinación de modos fuera ubicua. Sus obras Multimodal Discourse (2001) y Multimodality (2010) de Kress establecieron la teoría, y los tratamientos en manuales la consolidaron como un campo interdisciplinario que abarca la retórica, la educación y la comunicación.

Debates

¿Son todos los modos igualmente analizables?

Los investigadores debaten si el aparato analítico desarrollado para el lenguaje y la imagen se transfiere a modos como el sonido, el gesto y el movimiento, y si los modos son universales o culturalmente específicos.

Key figures

• Gunther Kress
• Theo van Leeuwen
• Carey Jewitt

Seminal works

• kress2001
• kress2010

Frequently asked questions

¿Qué es una 'posibilidad' (affordance) de un modo?

Una posibilidad (affordance) es lo que un modo facilita o dificulta expresar. La escritura se desarrolla en el tiempo y es buena para la secuencia y la lógica, mientras que las imágenes presentan las cosas simultáneamente y son buenas para las relaciones espaciales; cada modo, por lo tanto, se presta a diferentes significados.