60 zierbar ist. Als Nachteil ist in vielen Fällen die Instabilität zu nennen. Im vorliegenden Fall scheinen die Resultate aber recht stabil <strong>und</strong> decken sich inhaltlich mit den schon in Kapitel 3 <strong>und</strong> 4 erzielten Ergebnissen. Ein etwas periphäres Strukturmerkmal des Datensatzes ist schließlich die zweimalige Teilnahme der Realschulklasse. Hier bietet sich – allerdings aus verschiedenen Gründen nur sehr begrenzt – die Möglichkeit zu Längsschnittbetrachtungen. Als Hauptergebnis zeigt sich, dass ein „Abnutzungseffekt“ nicht feststellbar war.
6. Schlussfolgerungen In diesem Kapitel sollen die Resultate der vorangegangenen Überlegungen zusammengefasst <strong>und</strong> darauf fußend einige Empfehlungen gegeben werden. Wir beginnen mit einigen gr<strong>und</strong>sätzlichen Anmerkungen zur Methodologie. 6.1. Bemerkungen zur statistischen Methodologie Statistische Untersuchungen bewegen sich in der Regel zwischen zwei Polen: Einerseits explorativen Untersuchungen, bei denen in erster Linie Neues herausgef<strong>und</strong>en werden soll, andererseits konfirmatorische Analysen, bei denen in streng kodifizierter Weise bereits vorformulierte Hypothesen einem genauem Test unterzogen werden. Schon von den Ausgangsfragen her ist in diesem Fall eher das erste Vorgehen geboten. Denn mit vielen Fragestellungen wird Neuland betreten, <strong>und</strong> es liegen nur wenige gesicherte Vorkenntnisse oder selbst Vermutungen vor. Es kommt hinzu, dass auch von methodischer Seite Bedenken gegen allzu spezifische Modelle angebracht sind: Die dazu nötigen Annahmen sind problematisch <strong>und</strong> keineswegs plausiblerweise eo ipso gegeben. Viele unserer Untersuchungen deuten sogar eher das Gegenteil an <strong>und</strong> von einem standardisiertem Vorgehen wie etwa bei klinischen Studien ist man bei Unterrichtsversuchen des vorliegenden Typs gegenwärtig weit entfernt, womit übrigens nicht gesagt werden soll, dass solches unbedingt wünschenswert wäre. Es ist also ein eher deskriptives, datennahes Vorgehen angezeigt. Als Hauptziel der statistischen Behandlung kann eine möglichst transparente Aufbereitung <strong>und</strong> Auswertung der vorliegenden Daten gelten. Dementsprechend wurde bei der Auswahl stets solchen Verfahren der Vorzug eingeräumt, die leicht nachvollziehbar <strong>und</strong> durchschaubar sind. Dies ist einer der Gründe, warum wir so oft zu Graphiken <strong>und</strong> einfachen summarischen Zusammenfassungen greifen. Den Autoren ist durchaus bewusst, dass vielfach ein größerer technisch-statistischer Aufwand getrieben werden könnte. Wir glauben aber, in der vorliegenden Analyse darauf verzichten zu können <strong>und</strong> auch zu sollen, sofern lediglich „mehr“ <strong>und</strong> nicht „bessere“ Aussagen gemacht werden. In einer anderen Hinsicht sind wir aber statistisch anspruchsvoller. Wir sehen Evaluation eher als einen Prozess zur Qualitätssicherung <strong>und</strong> weniger als eine abschließende statische Qualitätsbeurteilung zu einem festen Zeitpunkt an. Dies beinhaltet auch eine recht große Flexibilität <strong>und</strong> Dynamik in der Datenanalyse, die mit der herkömmlichen Papierform kaum erreichbar ist. Idealerweise sollte die Analyse der Daten am besten im interaktiven Dialog am Computer erfolgen. In der Tat haben moderne Ansätze zur explorativen Datenanalyse <strong>und</strong> moderne Statistikpakete wie R <strong>und</strong> S-PLUS genau diese Zielrichtung. Man kann dann schnell <strong>und</strong> in der Regel durch Visualisierung verschiedenste Fragestellungen klären. Dieser „Lernprozess“ ist nicht zufälligerweise, sondern wie jeder Lernprozess notwendigerweise „dynamisch“ – <strong>und</strong> wie GEONExT die Geometrie „dynamisch“ macht, gibt es auch eine dynamische Graphik <strong>und</strong> eben exploratives Lernen aus den Daten auf der statistischen Ebene. Durch einen solchen Ansatz ergeben sich auch stetig Hinweise auf mögliche interessante neue Gesichtspunkte, die dann weiter verfolgt werden sollten. Ein wenig kann der Leser einen ähnlichen Effekt durch weiteres „Stöbern“ in einigen ergänzenden Dokumenten in Teil II dieser Evaluierung erzielen. In dieser Hinsicht verfolgen diese Notizen auch das Ziel, <strong>für</strong> eine stärkere statistische Begleitung von Evaluationsprozessen zu werben. Diese sollte aber umgekehrt nicht aufgesetzt ex post erfolgen, sondern sich den jeweils vorhandenen Sachverstand bzw. die Fachkenntnisse zu Nutze machen. In gewisser Weise ist dies vielleicht sogar der entscheidende Gr<strong>und</strong> <strong>für</strong> transparente Verfahren. Zwei Beispiele mögen diese Sichtweise erläutern: Es ist sicher jedem Lehrer geläufig, dass es Cliquenbildungen <strong>und</strong> dynamische (natürlich!) Gruppenprozesse innerhalb von Klassen gibt, die sich eben auch auf Beurteilungen <strong>und</strong> `Ankommen’ einer Unterrichtserie auswirken. In eine detachiert erfolgte statistische Modellierung fließt das selten ein: Man geht zumeist einfach von i.i.d. Beobachtungen aus. Oder ein noch naiveres Beispiel: Es erscheint vernünftig, die größere Nähe junger Studenten zur Altergruppe der Befragten zu nutzen, wenn es darum geht, Jugendjargon in freien Kommentaren richtig zu interpretieren. Nicht jedem ist ja klar, ob es gut oder schlecht ist, wenn etwas „rockt“. Wir haben durchaus das Ziel, mit diesen Notizen auch Handreichungen zu bieten, wie solche zwar elementaren, aber andererseits maßgeschneiderten <strong>und</strong> eben deshalb ertragreichen Auswertungen angegangen werden können. Es ist andererseits auch klar, dass hier<strong>für</strong> immer die kritische Distanz <strong>und</strong> Objektivität der Statistik gefordert ist, da sich ansonsten die Gefahr von Wunschdenken <strong>und</strong> Bestätigung von Vorurteilen vervielfacht. Eine mehr qualitative Analyse <strong>und</strong> Interpretation wird ebenfalls in Teil II vorgenommen. 61