Метрики и измерение юзабилити

Метрики юзабилити количественно оценивают, насколько хорошо люди используют систему, фиксируя такие показатели производительности, как успешность выполнения задачи и время, а также субъективную удовлетворенность с помощью стандартизированных опросников.

Definition

Метрики юзабилити — это количественные показатели качества взаимодействия, включающие показатели производительности, такие как эффективность и результативность, а также самоотчетные показатели удовлетворенности, используемые для бенчмаркинга, сравнения и отслеживания юзабилити системы.

Scope

Эта тема охватывает количественную сторону оценки: метрики производительности, такие как процент успешного выполнения задач, время выполнения задачи и количество ошибок; метрики самоотчета, полученные с помощью стандартизированных инструментов, таких как Шкала юзабилити системы (System Usability Scale); а также анализ и представление этих измерений, включая доверительные интервалы и бенчмаркинг. В ней рассматривается, как собирать надежные данные и интерпретировать их. Она не охватывает качественное наблюдение за поведением, рассматриваемое в рамках тестирования юзабилити, а также прогностические когнитивные модели, рассматриваемые в рамках когнитивных моделей взаимодействия.

Core questions

• Какие метрики производительности отражают эффективность и результативность?
• Как стандартизированные опросники измеряют воспринимаемое юзабилити и удовлетворенность?
• Как следует обобщать данные юзабилити с соответствующей неопределенностью?
• Как метрики могут быть использованы для бенчмаркинга и сравнения дизайнов?

Key concepts

• процент успешного выполнения задачи
• время выполнения задачи
• частота ошибок
• Шкала юзабилити системы (SUS)
• оценка удовлетворенности
• доверительный интервал
• бенчмаркинг
• метрики эффективности и результативности

Key theories

Метрики производительности и удовлетворенности

Юзабилити измеряется по взаимодополняющим параметрам: объективная производительность, такая как завершение задачи, время и ошибки, и субъективная удовлетворенность, фиксируемая с помощью оценок, которые вместе операционализируют компоненты юзабилити: эффективность, результативность и удовлетворенность.

Стандартизированные опросники юзабилити

Валидированные инструменты, такие как Шкала юзабилити системы и опросники IBM, дают надежные, сопоставимые оценки воспринимаемого юзабилити, позволяя проводить бенчмаркинг между системами и во времени.

Статистика для пользовательских исследований с малыми выборками

Поскольку исследования юзабилити часто имеют малые выборки, для получения обоснованных выводов необходимы соответствующие методы, доверительные интервалы, скорректированные интервалы Вальда для пропорций и осторожность при проверке значимости.

Clinical relevance

Количественные метрики юзабилити позволяют командам устанавливать цели, отслеживать прогресс и обосновывать дизайнерские решения перед заинтересованными сторонами; стандартизированные оценки, такие как SUS, обеспечивают общий язык для сравнения продуктов и используются в отраслевой отчетности и в некоторых нормативных документах по юзабилити.

History

По мере развития работы в области юзабилити, в этой сфере были разработаны стандартизированные инструменты: Шкала юзабилити системы Брука появилась в 1996 году, а опросники удовлетворенности IBM — незадолго до этого. Тексты Таллиса и Альберта, а также Сауро и Льюиса консолидировали метрики и статистику для малых выборок в 2000-х и 2010-х годах, сделав количественное измерение UX рутинной частью практики.

Key figures

• Thomas Tullis
• Bill Albert
• Jeff Sauro
• James R. Lewis
• John Brooke

Seminal works

• brooke1996
• tullis2013
• sauro2016

Frequently asked questions

Что такое Шкала юзабилити системы?

Шкала юзабилити системы (SUS) — это короткий опросник из десяти пунктов, который дает единую оценку от 0 до 100, отражающую воспринимаемое пользователями юзабилити системы. Поскольку он быстрый, надежный и широко используемый, оценки SUS можно сравнивать между продуктами и с установленными эталонами.

Почему следует сообщать доверительные интервалы для метрик юзабилити?

Исследования юзабилити часто имеют малые выборки, поэтому одно среднее значение может вводить в заблуждение. Доверительные интервалы показывают диапазон правдоподобных значений для истинной метрики, сообщая, насколько велика неопределенность вокруг оценки и предотвращая излишне уверенные выводы на основе ограниченных данных.