Usability-Metriken und -Messung

Usability-Metriken quantifizieren, wie gut Menschen ein System nutzen, indem sie die Leistung wie Aufgabenerfolg und -zeit sowie die subjektive Zufriedenheit durch standardisierte Fragebögen erfassen.

Definition

Usability-Metriken sind quantitative Messgrößen der Interaktionsqualität, einschließlich Leistungsmetriken wie Effektivität und Effizienz sowie selbstberichtete Zufriedenheitsmetriken, die verwendet werden, um die Usability eines Systems zu benchmarken, zu vergleichen und zu verfolgen.

Scope

Dieses Thema behandelt die quantitative Seite der Evaluation: Leistungsmetriken wie die Erfolgsrate von Aufgaben, die Bearbeitungszeit und die Fehleranzahl; Selbstauskunftsmetriken aus standardisierten Instrumenten wie der System Usability Scale; sowie die Analyse und Berichterstattung dieser Messungen, einschließlich Konfidenzintervalle und Benchmarking. Es wird behandelt, wie zuverlässige Zahlen gesammelt und interpretiert werden. Es deckt nicht die qualitative Beobachtung von Verhalten ab, die unter Usability-Tests behandelt wird, noch prädiktive kognitive Modelle, die unter kognitiven Interaktionsmodellen behandelt werden.

Core questions

• Welche Leistungsmetriken erfassen Effektivität und Effizienz?
• Wie messen standardisierte Fragebögen die wahrgenommene Usability und Zufriedenheit?
• Wie sollten Usability-Daten mit angemessener Unsicherheit zusammengefasst werden?
• Wie können Metriken zum Benchmarking und Vergleich von Designs verwendet werden?

Key concepts

• Aufgabenerfolgsrate
• Bearbeitungszeit
• Fehlerrate
• System Usability Scale (SUS)
• Zufriedenheitsbewertung
• Konfidenzintervall
• Benchmarking
• Effizienz- und Effektivitätsmetriken

Key theories

Leistungs- und Zufriedenheitsmetriken

Usability wird entlang komplementärer Dimensionen gemessen: objektive Leistung wie Aufgabenerledigung, Zeit und Fehler, und subjektive Zufriedenheit, erfasst durch Bewertungen, die zusammen die Komponenten Effektivität, Effizienz und Zufriedenheit der Usability operationalisieren.

Standardisierte Usability-Fragebögen

Validierte Instrumente wie die System Usability Scale und die IBM-Fragebögen liefern zuverlässige, vergleichbare Werte der wahrgenommenen Usability, was ein Benchmarking über Systeme und Zeiträume hinweg ermöglicht.

Statistiken für Benutzerforschung mit kleinen Stichproben

Da Usability-Studien oft kleine Stichproben umfassen, sind geeignete Methoden, Konfidenzintervalle, angepasste Wald-Intervalle für Proportionen und Sorgfalt bei Signifikanztests erforderlich, um fundierte Schlussfolgerungen zu ziehen.

Clinical relevance

Quantitative Usability-Metriken ermöglichen es Teams, Ziele festzulegen, Fortschritte zu verfolgen und Designentscheidungen gegenüber Stakeholdern zu rechtfertigen; standardisierte Bewertungen wie SUS bieten eine gemeinsame Sprache für den Produktvergleich und werden in der Branchenberichterstattung sowie in einigen regulatorischen Usability-Dokumentationen verwendet.

History

Mit der Weiterentwicklung der Usability-Arbeit entwickelte das Feld standardisierte Instrumente: Brookes System Usability Scale erschien 1996 und die IBM-Zufriedenheitsfragebögen kurz zuvor. Texte von Tullis und Albert sowie von Sauro und Lewis konsolidierten Metriken und Kleinstichprobenstatistiken in den 2000er und 2010er Jahren und machten die quantitative UX-Messung zu einem routinemäßigen Bestandteil der Praxis.

Key figures

• Thomas Tullis
• Bill Albert
• Jeff Sauro
• James R. Lewis
• John Brooke

Seminal works

• brooke1996
• tullis2013
• sauro2016

Frequently asked questions

Was ist die System Usability Scale?

Die System Usability Scale (SUS) ist ein kurzer Fragebogen mit zehn Elementen, der einen einzelnen Wert von 0 bis 100 liefert, der die wahrgenommene Usability eines Systems durch die Benutzer widerspiegelt. Da sie schnell, zuverlässig und weit verbreitet ist, können SUS-Werte über Produkte hinweg und gegen etablierte Benchmarks verglichen werden.

Warum sollten Konfidenzintervalle für Usability-Metriken angegeben werden?

Usability-Studien haben oft kleine Stichproben, daher kann ein einzelner Durchschnittswert irreführend sein. Konfidenzintervalle zeigen den Bereich plausibler Werte für die wahre Metrik auf, kommunizieren, wie viel Unsicherheit eine Schätzung umgibt, und verhindern überzogene Schlussfolgerungen aus begrenzten Daten.