Сенсорное и жестовое взаимодействие

Сенсорное и жестовое взаимодействие позволяет людям управлять устройствами, касаясь поверхности или двигая руками и телом, что лежит в основе смартфонов, планшетов и многих естественных пользовательских интерфейсов.

Definition

Сенсорное взаимодействие — это прямой ввод, осуществляемый путем контакта с чувствительной поверхностью, часто с несколькими одновременными контактами, в то время как жестовое взаимодействие интерпретирует движение и конфигурацию пальцев, рук или тела как команды; вместе они поддерживают прямое, часто естественное, управление интерактивными системами.

Scope

Эта тема охватывает прямой сенсорный ввод и ввод на основе жестов: одно- и мультитач-взаимодействие на экранах и поверхностях, стратегии определения размера и точности сенсорных целей, разработку и выявление жестовых словарей, а также жесты в воздухе и произвольные жесты. В ней рассматриваются проблемы производительности человека и дизайна, специфичные для этих модальностей. Она не охватывает указание с помощью непрямых устройств, рассматриваемое в разделе «Указание и захват цели», а также речь и комбинированные модальности, рассматриваемые в разделе «Мультимодальное и голосовое взаимодействие».

Core questions

• Как сенсорный ввод и проблема «толстого пальца» влияют на размер и точность цели?
• Как разрабатываются жестовые словари, чтобы жесты были угадываемыми и запоминающимися?
• Каковы сильные стороны и ограничения мультитача по сравнению с указанием?
• Как прямое касание меняет дизайн обратной связи и элементов управления?

Key concepts

• мультитач
• размер сенсорной цели
• проблема «толстого пальца»
• жестовый словарь
• выявление жестов
• прямое манипулирование касанием
• жест в воздухе
• естественный пользовательский интерфейс

Key theories

Точность касания и определение размера цели

Прямое касание неточно, потому что палец закрывает цель и контактирует с большой областью; такие стратегии, как смещенные курсоры, выбор при отрыве и адекватные размеры цели, заметно улучшают точность касания.

Жесты, определяемые пользователем

Выявление жестов у пользователей вместо навязывания придуманных дизайнером приводит к созданию словарей, которые легче угадываются и согласовываются, улучшая обучаемость жестовых интерфейсов.

Дизайн естественного пользовательского интерфейса

Разработка для касания и жестов требует переосмысления условностей эпохи мыши; эффективные естественные пользовательские интерфейсы используют прямоту и непосредственность, управляя при этом отсутствием точности и отсутствием наведения и правого щелчка.

Clinical relevance

Сенсорное и жестовое взаимодействие является доминирующим способом использования людьми смартфонов, планшетов, киосков и многих бытовых приборов; хороший размер сенсорных целей и интуитивно понятные жесты имеют центральное значение для удобства использования этих устройств и для обеспечения их работоспособности для пользователей с различной ловкостью.

History

Исследования сенсорных экранов восходят к 1980-м годам, включая работы по улучшению точности касания. Мультитач-взаимодействие вошло в мейнстрим со смартфонами и планшетами примерно в 2007 году, что стимулировало исследования в области дизайна жестов, включая исследования по выявлению жестов у пользователей, а также в области принципов дизайна для естественных пользовательских интерфейсов, использующих прямое касание и жесты.

Key figures

• Jacob O. Wobbrock
• Ben Shneiderman
• Daniel Wigdor
• Dennis Wixon
• Bill Buxton

Seminal works

• wobbrock2009
• potter1988
• wigdor2011

Frequently asked questions

Почему сенсорные цели часто больше, чем цели мыши?

Кончик пальца контактирует с широкой, мягкой областью и скрывает цель под собой, поэтому точный выбор сложнее, чем с пиксельно-точным курсором. Чтобы касание оставалось надежным, дизайнеры делают интерактивные цели больше и располагают их на расстоянии друг от друга, а также могут использовать такие методы, как выбор при отрыве, для повышения точности.

Зачем выявлять жесты у пользователей вместо того, чтобы их разрабатывать?

Жесты, придуманные дизайнерами, часто трудно угадать или запомнить пользователям. Выявление жестов путем опроса многих пользователей о том, как они будут выполнять действия, выявляет общие, интуитивно понятные варианты, что приводит к наборам жестов, которые больше людей могут обнаружить и вспомнить без инструкций.