التفاعل متعدد الوسائط والتفاعل الصوتي
يجمع التفاعل متعدد الوسائط بين قناتين أو أكثر للإدخال أو الإخراج، مثل الكلام والإيماءات، بينما يتيح التفاعل الصوتي للمستخدمين التحدث إلى الأنظمة؛ وكلاهما يهدف إلى تحقيق تواصل أكثر طبيعية ومرونة مع أجهزة الكمبيوتر.
Definition
التفاعل متعدد الوسائط هو تفاعل يتواصل فيه المستخدم عبر أكثر من وسيلة، وقد يفسرها النظام بشكل مشترك؛ التفاعل الصوتي هو تفاعل يتم عبر اللغة المنطوقة؛ الواجهات الحوارية تنظم هذا التفاعل كحوار بين المستخدم والنظام.
Scope
يغطي هذا الموضوع الواجهات القائمة على الكلام والواجهات متعددة الوسائط: واجهات المستخدم الصوتية والتفاعل الحواري، ودمج الوسائط مثل الكلام مع الإشارة أو الإيماءة، ودمج وتوضيح المدخلات المتعددة، وقضايا التصميم المتعلقة بالخطأ والسياق والتغذية الراجعة في هذه الإعدادات. ولا يغطي هذا الموضوع خوارزميات التعرف على الكلام أو خوارزميات اللغة الطبيعية الأساسية، التي تنتمي إلى مجال الذكاء الاصطناعي، ولا اللمس والإيماءات أحادية الوسائط، التي تُعالج ضمن تفاعل اللمس والإيماءات.
Core questions
- كيف يمكن للجمع بين الوسائط مثل الكلام والإيماءات أن يحسن التفاعل؟
- ما هي مزايا وقيود الواجهات الصوتية والحوارية؟
- كيف يقوم النظام بدمج وتوضيح المدخلات من الوسائط المختلفة؟
- كيف ينبغي للواجهات متعددة الوسائط والصوتية التعامل مع الأخطاء والسياق؟
Key concepts
- واجهة المستخدم الصوتية
- الواجهة الحوارية
- دمج الوسائط المتعددة
- الوسائط التكميلية مقابل الوسائط الزائدة عن الحاجة
- الجمع بين الكلام والإيماءات
- الحوار وتبادل الأدوار
- استعادة الأخطاء
- السياق والتأسيس
Key theories
- الجمع بين الصوت والإيماءات
- أظهر نظام بولت 'ضع ذلك هناك' أن الجمع بين الأوامر المنطوقة والإشارة يتيح للمستخدمين حل المراجع بشكل طبيعي، على سبيل المثال قول 'ضع ذلك هناك' أثناء الإشارة، وهو مثال مبكر على الوسائط التكميلية.
- مبادئ التفاعل متعدد الوسائط
- عارضت أوفيات الافتراضات الشائعة حول استخدام الوسائط المتعددة، مبينة أن المستخدمين لا يكررون المدخلات ببساطة عبر الوسائط وأن الدمج المصمم جيدًا للوسائط التكميلية يمكن أن يحسن المتانة والكفاءة.
- تصميم الواجهة الحوارية
- تصمم الواجهات الحوارية التفاعل كحوار، مما يتطلب الانتباه إلى تبادل الأدوار، والتأسيس، واستعادة الأخطاء، وإدارة السياق بحيث تظل التبادلات المنطوقة أو النصية متماسكة ومفيدة.
Clinical relevance
تُشغل الواجهات الصوتية والحوارية مكبرات الصوت الذكية، والمساعدات الافتراضية، والأنظمة داخل السيارة، مما يدعم الاستخدام بدون استخدام اليدين أو العينين؛ يمكن للتصاميم متعددة الوسائط أن تجعل الأنظمة أكثر قوة وسهولة في الوصول، بما في ذلك للمستخدمين الذين لا يستطيعون استخدام الإدخال التقليدي، على الرغم من أنها تثير اعتبارات مميزة تتعلق بالأخطاء والخصوصية.
History
كان نظام بولت (Bolt) عام 1980 المسمى 'ضع ذلك هناك' (Put-that-there) رائداً في الجمع بين التفاعل الصوتي والإيماءات. طورت الأبحاث خلال التسعينيات، بما في ذلك أنظمة مثل QuickSet، دمج الوسائط المتعددة، وصححت أعمال أوفيات (Oviatt) المفاهيم الخاطئة حول كيفية استخدام الناس للوسائط المتعددة. أدت التطورات في التعرف على الكلام إلى انتشار واسع للمساعدات الصوتية والواجهات الحوارية في العقد الثاني من القرن الحادي والعشرين.
Key figures
- Richard A. Bolt
- Sharon Oviatt
- Philip R. Cohen
- Michael McTear
Related topics
Seminal works
- bolt1980
- oviatt1999
- cohen1997
Frequently asked questions
- هل التفاعل متعدد الوسائط هو مجرد تقديم عدة خيارات إدخال؟
- ليس بالضبط. تقديم مدخلات بديلة هو إحدى الفوائد، لكن التفاعل متعدد الوسائط الحقيقي يمكنه تفسير الوسائط معًا، بحيث يحدد الكلام وإيماءة الإشارة أمرًا مشتركًا. يمكن أن يحل هذا الغموض ويحسن المتانة بطرق لا تستطيع المدخلات المنفصلة والمستقلة تحقيقها.
- لماذا لا تزال الواجهات الصوتية تواجه صعوبات في بعض الإعدادات؟
- يعتمد الصوت على التعرف الدقيق على الكلام وعلى حل الطلبات الغامضة أو التي تعتمد على السياق، وهو أمر صعب في البيئات الصاخبة أو المهام المفتوحة. يفتقر الصوت أيضًا إلى التغذية الراجعة المرئية المستمرة للشاشات، لذا يجب على المصممين إدارة التأكيد واستعادة الأخطاء وما يمكن للنظام فعله وما لا يمكنه فعله بعناية.