デジタルストーリーテリングとマルチモーダル学術研究

学術研究がスクリーン上で展開される場合、テキスト、画像、音声、データ、およびインタラクティブ性を組み合わせることができます。マルチモーダル学術研究とデジタルストーリーテリングは、これらの複合メディアにおいてどのように議論や物語が構築され得るか、また、それらに対応するために学術出版がどのように変化すべきかを探求します。

Definition

デジタルメディアにおいて複数の伝達様式を組み合わせた学術的および物語的作品の作成と研究、ならびにそのような形態が学術出版と評価に要求する変化。

Scope

テキスト、画像、音声、動画、インタラクティブ性といった複数の様式を組み合わせた学術的および物語的形態、すなわちマルチモーダル学術研究、デジタルストーリーテリング、そしてネットワーク化されたマルチメディア作品のための学術出版および査読の変革を扱います。マルチモダリティの理論や、新しい形態がどのように評価され、クレジットされるかに関する議論も含まれます。

Core questions

• テキスト、画像、音声、インタラクションを横断して、どのように議論や物語を構築できるか？
• マルチモダリティ理論は意味生成について何を教えてくれるか？
• マルチモーダルな研究のために、出版と査読はどのように変化しなければならないか？
• 非テキスト形式の学術研究はどのように評価され、クレジットされるべきか？

Key concepts

• マルチモダリティ
• デジタルストーリーテリング
• 学術コミュニケーション
• オープン査読
• 様式とアフォーダンス

Key theories

マルチモダリティ

クレスは、意味は言語以外の多くの様式（画像、レイアウト、音声など）を通じて生成され、それぞれが独自のアフォーダンスを持つと主張しました。これはマルチモーダル学術研究を分析するための基礎となります。

生成的なマルチモーダルデジタルヒューマニティーズ

バーディックらは、デジタルヒューマニティーズを、印刷されたモノグラフを超えた、デザインが豊富で新しいマルチモーダルな学術的知識の形態を生み出すものとして記述しました。

学術出版の改革

フィッツパトリックは、学術出版と査読は、ネットワーク化されたマルチモーダルな学術研究と、よりオープンで反復的な査読モデルに適応しなければならないと主張しました。

History

クレスらが社会記号論において発展させたマルチモダリティ理論は、複合メディアの意味を分析するためのツールを提供しました。デジタルヒューマニティーズにおいては、フィッツパトリックの『Planned Obsolescence』（2011年）やバーディックらの『Digital_Humanities』（2012年）が、新しいマルチモーダルな学術形態と、それらを取り巻く出版および査読システムの改革を提唱しました。

Debates

マルチモーダル学術研究の認識

マルチモーダルでインタラクティブな学術作品が、印刷されたテキストのために構築されたシステム内で、査読され、保存され、クレジットされるべきか、またどのようにされるべきか。

Key figures

• Gunther Kress
• Kathleen Fitzpatrick
• Anne Burdick
• Johanna Drucker

Seminal works

• kress2010
• burdick2012
• fitzpatrick2011

Frequently asked questions

なぜデジタル学術研究を通常の論文や書籍として出版しないのですか？

一部の学術研究は、印刷物では保持できないインタラクティブ性、メディア、またはデータに依存しています。マルチモーダルな形式はそれらの特性を保持しますが、従来の出版、査読、保存に負担をかけるため、学術コミュニケーションの改革がこのトピックの一部となっています。