Цифровой сторителлинг и мультимодальная научная работа

Когда научная работа переносится на экран, она может сочетать текст, изображение, звук, данные и интерактивность. Мультимодальная научная работа и цифровой сторителлинг исследуют, как аргументы и нарративы могут быть созданы в этих смешанных медиа, и как академические публикации должны измениться, чтобы приспособиться к ним.

Definition

Создание и изучение научных и повествовательных работ, которые сочетают несколько коммуникативных режимов в цифровых медиа, а также изменения, которые такие формы требуют от академического издательского дела и оценки.

Scope

Охватывает научные и повествовательные формы, которые сочетают несколько режимов — текст, изображение, аудио, видео, интерактивность: мультимодальная научная работа, цифровой сторителлинг и трансформация академического издательского дела и рецензирования для сетевых, мультимедийных работ. Включает теорию мультимодальности и дебаты о том, как оцениваются и признаются новые формы.

Core questions

• Как можно создавать аргументы и нарративы с помощью текста, изображений, звука и интерактивности?
• Что теория мультимодальности говорит нам о создании смысла?
• Как должны измениться публикация и рецензирование для мультимодальных работ?
• Как следует оценивать и признавать нетекстовые научные работы?

Key concepts

• Мультимодальность
• Цифровой сторителлинг
• Научная коммуникация
• Открытое рецензирование
• Режим и аффорданс

Key theories

Мультимодальность

Кресс утверждал, что смысл создается множеством режимов помимо языка — изображением, макетом, звуком — каждый со своими аффордансами (affordances), что является основой для анализа мультимодальных научных работ.

Генеративные, мультимодальные цифровые гуманитарные науки

Бердик и коллеги описали цифровые гуманитарные науки как производящие новые, богатые дизайном, мультимодальные формы научного знания, выходящие за рамки печатной монографии.

Реформирование научных публикаций

Фицпатрик утверждал, что академические публикации и рецензирование должны адаптироваться к сетевым, мультимодальным научным работам и более открытым, итеративным моделям рецензирования.

History

Теория мультимодальности, разработанная Крессом и другими в социальной семиотике, предоставила инструменты для анализа смыслов, передаваемых смешанными медиа. В цифровых гуманитарных науках работы Фицпатрика «Плановое устаревание» (Planned Obsolescence, 2011) и Бердика и соавторов «Цифровые гуманитарные науки» (Digital_Humanities, 2012) отстаивали новые мультимодальные научные формы и реформирование систем публикации и рецензирования вокруг них.

Debates

Признание мультимодальных научных работ

Вопрос о том, могут ли и как мультимодальные и интерактивные научные работы быть рецензированы, сохранены и признаны в системах, созданных для печатного текста.

Key figures

• Gunther Kress
• Kathleen Fitzpatrick
• Anne Burdick
• Johanna Drucker

Seminal works

• kress2010
• burdick2012
• fitzpatrick2011

Frequently asked questions

Почему бы просто не публиковать цифровые научные работы как обычную статью или книгу?

Некоторые научные работы зависят от интерактивности, медиа или данных, которые печать не может вместить. Мультимодальные формы сохраняют эти качества, но они создают нагрузку на традиционные публикации, рецензирование и сохранение, поэтому реформа научной коммуникации является частью этой темы.