Récit numérique et recherche multimodale

Lorsque la recherche se déplace vers l'écran, elle peut combiner texte, image, son, données et interactivité. La recherche multimodale et le récit numérique explorent comment les arguments et les récits peuvent être construits dans ces médias mixtes, et comment l'édition universitaire doit évoluer pour les accueillir.

Definition

La création et l'étude d'œuvres savantes et narratives qui combinent plusieurs modes de communication dans les médias numériques, ainsi que les changements que de telles formes exigent de l'édition et de l'évaluation universitaires.

Scope

Couvre les formes savantes et narratives qui combinent plusieurs modes — texte, image, audio, vidéo, interactivité : la recherche multimodale, le récit numérique, et la transformation de l'édition universitaire et de l'évaluation par les pairs pour les travaux en réseau et multimédias. Inclut la théorie de la multimodalité et les débats sur la manière dont les nouvelles formes sont évaluées et reconnues.

Core questions

• Comment l'argumentation et la narration peuvent-elles être construites à travers le texte, l'image, le son et l'interaction ?
• Que nous apprend la théorie de la multimodalité sur la construction du sens ?
• Comment l'édition et l'évaluation par les pairs doivent-elles évoluer pour les travaux multimodaux ?
• Comment la recherche non textuelle devrait-elle être évaluée et reconnue ?

Key concepts

• Multimodalité
• Récit numérique
• Communication savante
• Évaluation par les pairs ouverte
• Mode et affordance

Key theories

Multimodality

Kress a soutenu que le sens est construit à travers de nombreux modes au-delà du langage — image, mise en page, son — chacun avec ses propres affordances, constituant une base pour l'analyse de la recherche multimodale.

Generative, multimodal digital humanities

Burdick et ses collègues ont décrit les humanités numériques comme produisant de nouvelles formes de savoir savant, riches en design et multimodales, au-delà de la monographie imprimée.

Reforming scholarly publishing

Fitzpatrick a soutenu que l'édition universitaire et l'évaluation par les pairs doivent s'adapter à la recherche multimodale en réseau et à des modèles d'évaluation plus ouverts et itératifs.

History

La théorie de la multimodalité, développée par Kress et d'autres en sémiotique sociale, a fourni des outils pour analyser le sens des médias mixtes. Dans les humanités numériques, *Planned Obsolescence* (2011) de Fitzpatrick et *Digital_Humanities* (2012) de Burdick et al. ont plaidé en faveur de nouvelles formes savantes multimodales et pour la réforme des systèmes d'édition et d'évaluation qui les entourent.

Debates

Reconnaissance de la recherche multimodale

La question de savoir si et comment les travaux savants multimodaux et interactifs peuvent être évalués par les pairs, préservés et reconnus au sein de systèmes conçus pour le texte imprimé.

Key figures

• Gunther Kress
• Kathleen Fitzpatrick
• Anne Burdick
• Johanna Drucker

Seminal works

• kress2010
• burdick2012
• fitzpatrick2011

Frequently asked questions

Pourquoi ne pas simplement publier la recherche numérique sous forme d'article ou de livre normal ?

Certaines recherches dépendent de l'interactivité, de médias ou de données que l'imprimé ne peut contenir. Les formes multimodales préservent ces qualités, mais elles mettent à rude épreuve l'édition conventionnelle, l'évaluation par les pairs et la préservation, c'est pourquoi la réforme de la communication savante fait partie de ce sujet.