Download (5Mb) - oops/ - Oldenburger Online-Publikations-Server

8.4 Ablaufplan der Evaluation 127
Die aufgelisteten Aspekte spielten keine Rolle bei der Ausführung der Evaluation (d.h. kein Teilnehmer
hatte Schwierigkeiten oder wurde aufgrund des Alters oder Wohnsituation benachteiligt) und
wurden nur als Einblick in den Profile der Teilnehmer eingeführt. Im kommenden Paragraph werden
weitere Details über die benötigten Schritte zum Aufbau der Evaluationsumgebung und die Ausführung
der Evaluation gegeben.
8.4 Ablaufplan der Evaluation
Im Rahmen der Evaluation wurde ein Leitfaden-Dokument erstellt, welches zuerst die grundlegenden
Ideen hinter dem Projekt und der Hintergrund dessen vorstellte. Das nächste behandelte Thema
in dem Leitfaden ist die Vorstellung der technischen Infrastruktur (nämlich, dass zwei verschiedene
Android Anwendungen evaluiert werden). Des Weiteren wird der Proband darauf hingewiesen, dass
er/sie beide Rollen des “Home Sharing” Szenarios einnehmen wird.
Ein Ablaufplan der Evaluation ist weiterhin im Dokument vorgegeben, in dem erstens die jeweiligen
Abläufe der Evaluation (wie z.B. die Einführung, die Durchführung der Aufgaben und die Beantwortung
der Fragebögen) und das absolute Zeitlimit (auf höchstens 5 Minute pro Aufgabe festgestellt)
beschrieben sind. Der nächste Hinweis auf dem Plan war die Auflistung verschiedener Anmerkungen,
die zu beachten sind. Diese Anmerkungen wurden aus der “10 steps for the course of action” Dokument
[Tog92] abgeleitet. Sie stellen allgemein im Laufe des Experiments geltenden Prinzipien vor,
wie z.B. dass der Proband zu jeder Zeit mit dem Experiment aufhören darf oder dass alle bemerkte
Fehler im System vom System selbst und nicht kommen vom Probanden selbst. Darüber hinaus
wurde explizit erläutert, dass eine direkte Steuerung oder Beeinflussung der Aufgaben vom Evaluationsbeauftragter
nicht möglich ist; jedoch wurde weiter erklärt, dass Fragen gerne beantwortet werden
können.
Der Ablaufplan wurde dadurch beendet, dass alle Unklarheiten bevor der Ausführung der Aufgaben
behoben werden sollen. Als nächstes Teil des Dokumentes wurden die Aufgaben vorgestellt, die zu
lösen waren. Eine Auflistung der Aufgaben erfolgt im Anhang (A).
Die gestellten Aufgaben wurden so ausgewählt, dass sie die Funktionalitäten des Prototyps prüfen,
mit der genannten Zielsetzung, Metriken und Freitext-Angaben zu erfassen, die zur eventuellen Beantwortung
der Forschungsfrage dienen können. In [Tun09] wurde motiviert, dass im Fall von einem
allgemeinen System, das im Rahmen einer Evaluation getestet werden soll, muss die Auswahl der
Aufgaben anhand denjenigen Verfahren im System, die häufig, kritisch und wirklich relevant (engl.
“real”) sind, erfolgen.
8.5 Ausführung der Evaluation
Der erste Schritt in der tatsächlichen Ausführung eines Evaluationstermins ist die ursprüngliche
Einrichtung des Prototyps in der Wohnung. Dieser Schritt wird in dem nächsten Absatz näher eingegangen.