Evaluierung von Usability durch standardisierte qualitative ...

2.4 Auswertung
Gläser und Laudel [14, S. 197ff.] verwenden ein inhaltsanalytisches Verfahren, das sie von
Mayrings Strukturierungsansätzen dahingehend abgrenzen, dass sie während der gesamten
Auswertung das Kategoriensystem offen für Erweiterungen lassen. Sie berücksichtigen
dabei Relationen zwischen Kategorien (vgl. Abschnitt Theoretisches Kodieren). Speziell
geht es ihnen um die Extraktion von Beziehungen, die die Ursache bzw. Wirkung einer
Ausprägung erfassen. Eine extrahierte Paraphrase kategorisieren sie daher nicht nur,
sondern erfassen dazu auch beide Beziehungsdimensionen, wenn nötig. Auf diese Weise
stellen sie auch Kausalketten dar. Diese setzen sich zusammen aus Aussagen, die die
Interviewten durch Aussagen begründen, für die sie wiederum Ursachen angeben.
2.4.4 Anforderungen an ein Kategoriensystem
Ein Kategoriensystem soll trennscharf sein [28]. Um dies zu erreichen, wird empfohlen
sich stark überlappende oder uneindeutige Kategorien zusammenzufassen und so das
Kategoriensystem zu vereinfachen [28; 40]. Außerdem soll ein Katgoriensystem „nicht zu
feingliedrig und nicht zu umfangreich“[28, S. 37] sein, damit man ausreichend viele Textstellen
zu jeder Kategorie finden kann und die Auswertung nicht zu aufwändig ist.
In einem Kodierleitfaden wird für die einzelnen Kategorien genau definiert, welche Textinhalte
ihr zugewiesen werden sollen. Besonders eindeutige Zuordnungen sollen als Ankerbeispiele
zu jeder Kategorie in den Kodierleitfaden aufgenommen werden, für besonders
uneindeutige sollen hingegen zur Abgrenzung zusätzliche Kodierregeln erstellt werden [40,
S. 92]. Bei inhaltlichen Überschneidungen ordnen Kuckartz et al. [28] Textpassagen zunächst
mehreren Kategorien zu. Mayring [40] empfiehlt im Rahmen der Strukturierung in
einem Probedurchgang auszuprobieren, ob eine eindeutige Zuordnung des Materials mit
dem Kodierleitfaden bzw. dem Kategoriensystem möglich ist und beides gegebenenfalls
zu überarbeiten.
2.4.5 Gütekriterien
Ein klassisches Gütekriterium ist die Reliabilität, die Genauigkeit und Zuverlässigkeit der
Messergebnisse. Während Re-Test, Parallel-Test und Split-Half zur Reliabilitätsbestimmung
von qualitativen Auswertungsverfahren eher ungeeignet sind [40], wird diese meist über
die Intercoderreliabilität gemessen. Dabei wird die Objektivität der Ergebnisse betrachtet, ihre
Unabhängigkeit von der auszuwertenden Person. Mehrere Kodierer bearbeiten hierfür
unabhängig voneinander dasselbe Material und vergleichen anschließend ihre Kodierungen
und Ergebnisse. Dies sollte vor allem in der Pilotphase eines Projektes stattfinden.
Ein weiteres klassisches Gütekriterium ist die Validität, die Gültigkeit der Ergebnisse, die
aussagt, ob das gemessen wurde, was gemessen werden sollte. Auch zur Messung der
Validität von Ergebnissen, die mit den beschriebenen qualitativen Verfahren gewonnen
wurden, werden die herkömmlichen Methoden in der Literatur kritisiert [40]. Daher wurden
für die qualitative Inhaltsanalyse, abgesehen von der Intercoderreliabilität weitere,
spezielle Gütekriterien vorgeschlagen [40]. Die semantische Gültigkeit beurteilt die Richtigkeit
der Bedeutungsrekonstruktion und drückt sich in der angemessenen Kategoriendefinition
aus. Sie kann durch Experten beurteilt werden oder durch eine Betrachtung aller
gesammelten Textstellen, denen eine bestimmte Bedeutung gegeben wurde, im Hinblick
auf ihre Homogenität. Die korrelative Gültigkeit setzt voraus, dass bereits Ergebnisse einer
Untersuchung mit ähnlichem Gegenstand und ähnlicher Fragestellung (Außenkriterium)
16