Métricas e Medição de Usabilidade

As métricas de usabilidade quantificam o quão bem as pessoas utilizam um sistema, capturando o desempenho, como o sucesso da tarefa e o tempo, bem como a satisfação subjetiva através de questionários padronizados.

Definition

Métricas de usabilidade são medidas quantitativas da qualidade da interação, incluindo medidas de desempenho, como eficácia e eficiência, e medidas de satisfação autorrelatadas, usadas para referenciar, comparar e rastrear a usabilidade de um sistema.

Scope

Este tópico abrange o lado quantitativo da avaliação: métricas de desempenho, como taxa de sucesso da tarefa, tempo na tarefa e contagem de erros; métricas de autorrelato de instrumentos padronizados, como a Escala de Usabilidade do Sistema; e a análise e o relato dessas medidas, incluindo intervalos de confiança e benchmarking. Ele aborda como coletar números confiáveis e interpretá-los. Não abrange a observação qualitativa do comportamento, tratada em testes de usabilidade, nem modelos cognitivos preditivos, tratados em modelos cognitivos de interação.

Core questions

• Quais métricas de desempenho capturam eficácia e eficiência?
• Como os questionários padronizados medem a usabilidade percebida e a satisfação?
• Como os dados de usabilidade devem ser resumidos com incerteza apropriada?
• Como as métricas podem ser usadas para referenciar e comparar designs?

Key concepts

• taxa de sucesso da tarefa
• tempo na tarefa
• taxa de erro
• Escala de Usabilidade do Sistema (SUS)
• avaliação de satisfação
• intervalo de confiança
• benchmarking
• métricas de eficiência e eficácia

Key theories

Métricas de desempenho e satisfação

A usabilidade é medida ao longo de dimensões complementares: desempenho objetivo, como conclusão da tarefa, tempo e erros, e satisfação subjetiva capturada por meio de classificações, que juntas operacionalizam os componentes de eficácia, eficiência e satisfação da usabilidade.

Questionários padronizados de usabilidade

Instrumentos validados, como a Escala de Usabilidade do Sistema e os questionários da IBM, fornecem pontuações confiáveis e comparáveis da usabilidade percebida, permitindo o benchmarking entre sistemas e ao longo do tempo.

Estatísticas para pesquisa de usuário com pequenas amostras

Como os estudos de usabilidade geralmente têm pequenas amostras, métodos apropriados, intervalos de confiança, intervalos de Wald ajustados para proporções e cuidado com testes de significância são necessários para tirar conclusões defensáveis.

Clinical relevance

Métricas de usabilidade quantitativas permitem que as equipes estabeleçam metas, acompanhem o progresso e justifiquem decisões de design para as partes interessadas; pontuações padronizadas, como o SUS, fornecem uma linguagem comum para comparar produtos e são usadas em relatórios da indústria e em alguma documentação regulatória de usabilidade.

History

À medida que o trabalho de usabilidade amadureceu, o campo desenvolveu instrumentos padronizados: a Escala de Usabilidade do Sistema de Brooke apareceu em 1996 e os questionários de satisfação da IBM pouco antes. Textos de Tullis e Albert e de Sauro e Lewis consolidaram métricas e estatísticas de pequenas amostras nos anos 2000 e 2010, tornando a medição quantitativa da experiência do usuário (UX) uma parte rotineira da prática.

Key figures

• Thomas Tullis
• Bill Albert
• Jeff Sauro
• James R. Lewis
• John Brooke

Seminal works

• brooke1996
• tullis2013
• sauro2016

Frequently asked questions

O que é a Escala de Usabilidade do Sistema?

A Escala de Usabilidade do Sistema (SUS) é um questionário curto de dez itens que produz uma única pontuação de 0 a 100 refletindo a usabilidade percebida de um sistema pelos usuários. Por ser rápida, confiável e amplamente utilizada, as pontuações SUS podem ser comparadas entre produtos e contra benchmarks estabelecidos.

Por que relatar intervalos de confiança para métricas de usabilidade?

Estudos de usabilidade geralmente têm pequenas amostras, então uma única média pode ser enganosa. Os intervalos de confiança mostram a gama de valores plausíveis para a métrica verdadeira, comunicando quanta incerteza cerca uma estimativa e prevenindo conclusões excessivamente confiantes a partir de dados limitados.