Usability Testing - Theorien, Modelle und Methoden - Institut für ...

Kapitel 3: Methoden der Softwareevaluation
kann, wobei 100 % einem perfekten System entsprechen. Werte unter 60 % sind nach
Tullis und Albert ein Indiz für gewichtige Usability-Probleme, Werte über 80 % können
dagegen als gut angesehen werden [TA, S. 149].
3.4 Ausführungsmetriken
Aus wirtschaftlicher Sicht ist bei vielen Anwendungen vor allem die Bewertung des
Handelns der Probanden entscheidend.
Bearbeitungserfolg
Die einfachste Form, den Bearbeitungserfolg zu messen, ist eine binäre Entscheidung
(Bearbeitung erfolgreich / Bearbeitung nicht erfolgreich). Dabei bezieht sich die
Aussage immer auf eine konkrete Aufgabenstellung, die der Proband erfüllen soll. Das
Ergebnis wird in Form von Binärvariablen für jeden Probanden und jede Aufgabe
kodiert:
Wert Bedeutung
0 Bearbeitung erfolgreich
1 Bearbeitung nicht erfolgreich
Tabelle 2: Binäre Kodierung des Bearbeitungserfolgs
Zur Analyse der Daten sollte zunächst für jede gestellte Aufgabe der Mittelwert über
alle Probanden berechnet werden. Diese Erfolgsraten der Aufgaben können dann –
angereichert mit Streumaßen wie z. B. Konfidenzintervallen – in einem
Balkendiagramm dargestellt werden, um zwischen den einzelnen Aufgaben einen
Vergleich zu ziehen und diejenigen Aufgaben mit besonders auffälligen Problemen zu
identifizieren.
Es ist jedoch nicht immer sinnvoll, den Erfolg des Probanden rein binär zu kodieren.
Häufig ergeben sich auch Zwischenzustände, die in der Analyse entsprechend
berücksichtigt werden sollten. Denkbar ist hier z. B. eine Gewichtung der Ergebnisse:
Bewertung Interpretation
1,0 Vollständiger Erfolg (ohne Hilfestellung)
0,5 Teilweiser Erfolg
0,0 Aufgabe oder falsche Antwort
Tabelle 3: Gewichtung des Bearbeitungserfolges [TA08, S. 71]
18