Multimodalitas

Multimodalitas mengkaji bagaimana makna dibentuk melalui kombinasi moda semiotik—bahasa, citra, suara, gestur, tata letak—bukan hanya bahasa saja.

Definition

Multimodalitas adalah studi tentang komunikasi dan pembentukan makna yang memperhatikan seluruh rentang moda semiotik—termasuk tulisan, citra, suara, gestur, dan desain spasial—serta bagaimana moda-moda tersebut berpadu.

Scope

Topik ini mencakup pendekatan multimodal terhadap komunikasi dan retorika, yang sebagian besar dikembangkan dari semiotika sosial. Ini membahas konsep moda dan keterjangkauannya (affordances), orkestrasi berbagai moda dalam teks dan pertunjukan, serta implikasinya terhadap komposisi dan literasi. Hubungan multimodalitas dengan retorika visual dan media digital juga disertakan.

Core questions

• Apakah moda semiotik itu, dan apa yang dapat dilakukan oleh setiap moda?
• Bagaimana moda-moda berpadu dan membagi tugas dalam sebuah teks?
• Bagaimana pilihan moda membentuk makna dan efek retoris?
• Apa implikasi multimodalitas terhadap penulisan dan literasi?

Key concepts

• moda dan medium
• keterjangkauan (affordance)
• sumber daya semiotik
• orkestrasi moda
• desain

Key theories

Semiotika sosial moda

Kress dan van Leeuwen memperlakukan setiap moda sebagai sumber daya yang dibentuk secara budaya dengan keterjangkauan (affordances) yang berbeda, menganalisis bagaimana makna didistribusikan di seluruh dan diorkestrasi di antara moda-moda dalam setiap tindakan komunikatif.

History

Multimodalitas berkembang dari semiotika sosial dan linguistik fungsional sistemik, terutama karya Kress dan van Leeuwen sejak tahun 1990-an, seiring dengan semakin meluasnya kombinasi moda dalam media digital. Buku mereka Multimodal Discourse (2001) dan Multimodality (2010) karya Kress mengemukakan teori tersebut, dan perlakuan dalam buku pegangan mengkonsolidasikannya sebagai bidang interdisipliner yang mencakup retorika, pendidikan, dan komunikasi.

Debates

Apakah semua moda dapat dianalisis secara setara?

Para peneliti memperdebatkan apakah perangkat analitis yang dikembangkan untuk bahasa dan citra dapat dialihkan ke moda seperti suara, gestur, dan gerakan, serta apakah moda bersifat universal atau spesifik budaya.

Key figures

• Gunther Kress
• Theo van Leeuwen
• Carey Jewitt

Seminal works

• kress2001
• kress2010

Frequently asked questions

Apa yang dimaksud dengan 'keterjangkauan (affordance)' dari sebuah moda?

Keterjangkauan (affordance) adalah apa yang membuat sebuah moda mudah atau sulit untuk diekspresikan. Tulisan terungkap seiring waktu dan baik untuk urutan dan logika, sementara citra menyajikan hal-hal secara bersamaan dan baik untuk hubungan spasial; oleh karena itu, setiap moda cocok untuk makna yang berbeda.