Dissertation Abel - MADOC - Universität Mannheim

Seite 117
mischen Beratern konstruiert. Entsprechend handelt es sich bei dem Wissenstest um einen
Nicht-Standardisierten oder informellen Test, bei dem die Validierung vornehmlich anhand der Ü-
berprüfung der inhaltlichen Validität vorgenommen wurde (Lienert & Raatz, 1998). Der Wis-
senstest wurde gemäß den wissensbezogenen Lernzielen (siehe Kapitel 7.2) operationalisiert, der ex-
akte Vorgaben für den Lernerfolg machte. Er sollte die Kenntnis und das Verständnis der sys-
temischen und konstruktivistischen Theoriegrundlagen und der lösungsorientierten Gesprächs-
führung abprüfen. Aus einem Itempool von 20 geschlossenen Fragen wurden sechs aussor-
tiert, welche vom Kursleiter und zwei weiteren systemischen Beratern als uneindeutig oder zu
schwierig eingestuft wurden. Es blieben 14 Fragen übrig, die per Zufall auf zwei Paralleltests
aufgeteilt wurden, dem Wissens-Prä- und -Posttest. Diese Vorgehensweise hatte den Vorteil,
den Test sehr gut auf das Trainingsprogramm zuschneiden zu können. Der Test fragte ähnlich
wie bei einem Vokabeltest exakt die Begriffe ab, die im Kurs behandelt wurden. Daher ist von
einer ausreichenden Inhaltsvalidität auszugehen. Außerdem besitzt der Test Augenscheinvalidität,
die ebenfalls durch Experteneinschätzungen bestätigt wurde. Es ist wahrscheinlich, dass die
Teilnehmer bei richtiger Beantwortung aller Fragen die wissensbezogenen Lernziele erreichten.
Die Durchführungsobjektivität war gegeben, da der Test als Gruppentest durchgeführt wurde und
für alle Probanden die gleichen Bedingungen galten. Gleiches gilt für die Auswertungsobjektivität,
da es keinen Spielraum für die Bewertung der Aufgaben als „richtig“ oder „falsch“ gab (siehe
Auswertung der Daten Kapitel 8.6). Die Retest-Reliabilität des Tests konnte kaum korrekt be-
stimmt werden, da nicht derselbe, sondern ein paralleler Test als Posttest vorgelegt wurde. Sie
betrug als Produkt-Moment-Korrelation ausgedrückt lediglich r = -.03. Die Paralleltest-
Reliabilität konnte nicht bestimmt werden, da die Parallelform des Tests der bereits trainierten
Gruppe vorgelegt wurde und Veränderungen in den Messwerten nicht als Fehlervarianz, son-
dern hauptsächlich als Treatment-Varianz angesehen wurden. Für die Wissenstests lagen nur
Ergebnisse auf Skalenebene vor, außerdem erschien eine zusätzliche Auswertung auf Itemebe-
ne im Rahmen dieser Studie als zu aufwändig. Die Berechnung der Reliabilität nach der Split-
half-Methode, bei welcher der Test in zwei Hälften geteilt und die Korrelation zwischen den
Hälften berechnet wird oder nach Cronbachs Alpha, wobei die durchschnittlichen Korrelation
der Items berechnet werden, wurde daher nicht durchgeführt. Dies wäre jedoch für zukünftige
Untersuchungen mit diesem oder einem ähnlichen Instrument anzuregen.
Um ein Raten unwahrscheinlicher zu machen, konnten jeweils mehrere Antworten richtig, a-
ber auch alle Antwortalternativen falsch sein. Eine Aufgabe war jeweils so viele Punkte „wert“,