Ein kontrolliertes Experiment über die Auswirkung von Feedback ...

3 Vorbereitung des Experiments mit der GQM-Methode | 44
3.3 Mögliche Einflüsse auf die Gültigkeit der Ergebnisse (Störvariablen)
Gerade in der Softwareentwicklung sind Experimente und empirische Untersuchungen häufig
schwierig. Wenn Menschen miteinander kommunizieren, können immer viele Faktoren, wie
zum Beispiel das Vorwissen des Kunden, Einfluss auf die Ergebnisse des Gesprächs nehmen.
Auch in der Anforderungserhebung sind natürlich einige Variablen zu finden, die
möglicherweise Einfluss auf die Ergebnisse des Experiments haben könnten. Auf der einen
Seite sind da die unabhängigen Variablen, von denen einige bewusst festgehalten und andere
eingestellt werden. Die festgehaltenen unabhängigen Variablen im durchzuführenden
Experiment sind beispielsweise der gleichbleibende Kunde und im gewissen Maße auch sein
Verhalten (Drehbuch) und die Erfahrung der Probanden. Die bewusst regulierte unabhängige
Variable soll das Werkzeug sein. Diese unabhängige Variable wird gezielt reguliert, um im
Experiment die Auswirkungen auf die abhängigen Variablen beobachten zu können. Zu den
abhängigen Variablen gehören die Anzahl der Anforderungen und die Anzahl der Fehler in
der Anforderungserhebung. Zur Überprüfung der oben genannten Hypothesen ist es
unbedingt erforderlich, dass möglichst alle Störvariablen vermieden bzw. zumindest
bestmöglich eingegrenzt werden, um sicherzustellen, dass die einzige unabhängige Variable,
die sich in dem Experiment auf die abhängigen Variablen auswirkt, das Werkzeug selbst ist.
Es stellt sich zum Beispiel die Frage, wie die einzelnen Rollen im Experiment zu besetzen
sind, damit das Werkzeug die einzige regulierbare unabhängige Variable bleibt. So kann
nämlich der Kunde mit seinen Antworten und Entscheidungen im Anforderungsinterview
ganz entschieden Einfluss auf das Ergebnis nehmen. Um zu gewährleisten, dass der Einfluss
auf das Gespräch in allen Anforderungsinterviews der gleiche ist, soll die Rolle des Kunden
in allen Interviews mit der gleichen Person besetzt werden, die sich dann an eine Art
Drehbuch bzw. an bestimmte Regeln hält, die Ihre Aussagen und Reaktionen betreffen. Das
Drehbuch soll bewirken, dass der Kunde keinem Lernprozess unterliegt, in dem er
Erfahrungen aus frühen Interviews in spätere einbringt. Der Kunde soll so jedes der
Anforderungserhebungsgespräche führen können, als wäre es das erste. Unterschiedliche
Personen in dieser Rolle wären zwar realistischer und würden nicht Gefahr laufen, in frühen
Interviews Gelerntes später anzuwenden, da sie nur ein Interview durchführen würden. Sie
würden aber wahrscheinlich trotz Drehbuch unterschiedlich (re-)agieren, weil auch ein
Drehbuch unterschiedliche Interpretationen zulässt. Letztendlich würde man nicht mehr sehen
können, ob unterschiedliche Ergebnisse durch die Variable Werkzeuge oder die Variable
Kunde entstanden sind. Um dem entgegenzuwirken, dass der Kunde mit jedem
durchgeführten Interview im Rahmen des Experiments dazulernt, könnte man die ersten
Interviewergebnisse verwerfen. Damit würde man die Experimente, in denen die Person in
der Rolle des Kunden bzgl. dem von ihr gewünschten System noch hinzulernen würde, aus
der Wertung nehmen. Die fehlende Variabilität des Kunden in dem in dieser Arbeit
durchgeführten Experiment soll dann in der Bewertung der Gültigkeit der Ergebnisse noch
mal aufgegriffen werden.
In der Realität kennen sich die Kunden in der Regel selbst nicht mit dem Entwickeln von
Software aus. Da man aber keine Kenntnisse bzgl. Softwareentwicklung voraussetzen kann,
sollen die Ausnahmekunden, die Vorkenntnisse mitbringen, in diesem Experiment nicht
berücksichtigt werden. Die Person, die den Kunden in diesem Experiment darstellt, spielt also
einen Kunden ohne Softwareentwicklungshintergrund. Damit werden mögliche Einflüsse
durch unterschiedlich gute Vorkenntnisse im Bereich Softwareentwicklung von vornherein
bestmöglich eingegrenzt.