Andrea Söter - Human-Computer Interaction - Universität Konstanz

1. Determine the Goals – Ziele festlegen.
2. Explore the Questions – Fragen untersuchen.
3. Choose the Evaluation Approach and Methods – Geeignete Methoden und Evaluationsansatz
auswählen.
4. Identify the Practical Issues – Praktische Fragen klären.
5. Decide how to deal with the ethical issues – Umgang mit ethischen Fragen klären.
6. Evaluate, analyze, interpret, and present the data – Daten evaluieren, analysieren,
interpretieren und präsentieren.
D: Das Aufstellen der übergeordneten Ziele ist der erste Schritt einer Evaluation. Je nach Stadium in
der Produktentwicklung können Ziele unterschiedlich sein. Sie haben jedoch gemeinsam, dass sie die
Rahmenbedingungen der Evaluation festlegen [Sharp et al. 07]. Bei der nachfolgenden Evaluation gilt
es, die in diesem Schritt aufgestellten Hypothesen zu überprüfen, in deren Rahmen die abhängigen und
unabhängigen Variablen der Untersuchung erläutert werden [Dix et al. 04]. Um dies zu ermöglichen,
müssen die Ziele konkret, quantitativ bestimmbar, objektiv und messbar sein [Lindgaard 94]. Je nach
Art der festgelegten Ziele ist das Design der Evaluation sehr unterschiedlich: Die Frage, ob das
entwickelte System schnell und intuitiv verständlich ist, erfordert ein anderes Testdesign als die Frage,
ob die Benutzer des Systems nach einer längeren Nutzung erweiterte Funktionen nutzen können
[Dumas & Redish 99].
E: Um das Ziel der Evaluation untersuchen zu können, muss die Kernfrage in viele konkrete
Unterfragen aufgeteilt werden [Sharp et al. 07]. Auf diese Weise kann bei der späteren Evaluation der
Fokus korrekt gesetzt werden und der Evaluierende weiß, welche Auffälligkeiten er notieren muss, um
die Forschungsfragen zu beantworten.
C: Anhand der Ziele und Forschungsfragen müssen im nächsten Schritt geeignete Methoden
ausgewählt werden, um diese zu beantworten. Die Auswahl der Methoden wird auch von anderen
Aspekten beeinflusst, wie den verfügbaren zeitlichen und finanziellen Ressourcen oder dem Zugang
zu möglichen Probanden [Sharp et al. 07]. Diese Aspekte werden im nachfolgenden Schritt diskutiert.
Wie in Kapitel 3.3. beschrieben, können verschiedene Methoden kombiniert werden um einen
umfassenderes Bild zu den gewählten Zielen und Fragen zu erhalten.
I: Nachdem die Ziele, Fragen und Methoden geklärt sind, müssen die praktischen Fragen der
Evaluation geklärt werden. Diese betreffen unter Anderem den Ort und die Dauer der Evaluation, das
verfügbare Budget und wie damit umgegangen wird. Eine wichtige Entscheidung, die einerseits von
der Fragestellung und andererseits vom verfügbaren Budget abhängt, betrifft das grundlegende
Testdesign: so kann zwischen einem Between-Subjects und Within-Subjects Design gewählt werden
[Dix et al. 04]. An dieser Stelle muss auch geklärt werden, wie die benötigten Probanden akquiriert
werden, damit sie die Zielgruppe des Systems möglichst gut abdecken [Sharp et al. 07].
Auch Fragen bezüglich der Technik gehören zu diesem Schritt. So müssen vor der Evaluation
sämtliche Aufzeichnungsgeräte wie Videokameras, Software zur Aufzeichnung des Bildschirms oder
45