Ergebnisse der DESI-Studie - Kindergarten und Schule in Südtirol

12 Zentrale Befunde der DESI-Studie in Südtirolkrete Erwartungen darüber ableiten lassen, welche Items schwieriger sein sollten als andere, und aufwelchen Aufgabenmerkmalen diese größere Schwierigkeit beruht. Somit lassen sich empirisch gestützteAussagen, welche auf Basis vorab formulierter Kompetenzmodelle und daraus abgeleiteter Hypothesenerzielt wurden, über das eingesetzte Aufgabenmaterial hinaus verallgemeinern.Das Pädagogische Institut formulierte den ausdrücklichen Wunsch, die Ergebnisse der Südtiroler Studiemit denen der Deutschen vergleichen zu können. Deshalb wurden die Itemschwierigkeiten und dieSchwellen entsprechend der deutschen Skalen fixiert. Somit sind die Punktwerte und auch die Niveaus,die in den einzelnen DESI-Tests in Südtirol erreicht wurden, direkt mit den in Deutschland erreichtenvergleichbar. Dank dieser Verankerung auf den deutschen DESI-Skalen liegt der Mittelwert eines Testsin Südtirol nicht automatisch wie in Deutschland bei 500 Punkten, sondern wie bspw. im Falle desRechtschreibtests bei 536.4 Punkten. Die Differenz von 36,4 Punkten stellt die positive Abweichung desSüdtiroler Mittelwerts von dem auf 500 festgelegten deutschen Mittelwert dar.Überprüfung der ÄquivalenzZur Sicherung der Äquivalenz von Tests in internationalen Vergleichstudien ist die Analyse vonItem-Bias notwendig, um tatsächliche Kompetenzdifferenzen von eingeschränkter Testfairness zu unterscheiden.Die im Vorfeld der Auswertung der DESI-Südtirol Daten angewendete Möglichkeit zurempirischen Diagnose von Item-Bias ist die Untersuchung von Differential Item Functioning (DIF).DIF-Analysen sollen Aufschluss darüber geben, inwieweit die eingesetzten Tests für einen fairen Vergleichbeider Gruppen geeignet sind. DIF liegt vor, wenn die Wahrscheinlichkeit einer korrekten Antwortnicht allein von der Fähigkeit und der Itemschwierigkeit abhängt, sondern darüber hinaus z.B. vonMerkmalen der Nationalität.Für die Interpretation der Ergebnisse der DESI-Tests in Südtirol war es also notwendig zu überprüfen,ob sie die gleichen Kompetenzen testen wie in Deutschland. So sollte bspw. das Ergebnis in einemRechtschreibtest sowohl in Deutschland als auch in Südtirol nur von der Beherrschung der deutschenRechtschreibung und nicht zusätzlich von kulturspezifischem Wissen abhängig sein.Dass kein noch so etablierter Test vor der Notwendigkeit kultureller Adjustierung gefeit ist, sieht mandaran, dass es auch bei dem in DESI eingesetzten Kognitiven Fähigkeitstest (KFT) von Heller/Perleth(2000) einen kulturellen Bias gibt. Im hier angesprochenen Teil des KFT sollten die Schülerinnen undSchüler anhand von verbalem Material Analogien bilden. In der in Abbildung 1 dargestellten konkretenAufgabe ging es darum, folgende Analogie zu ergänzen:01 Tee : Kaffee – Brot : ?A B C D E Brötchen Butter Marmelade Milch KeksAbbildung 1: KFT Aufgabe Analogien ergänzenWährend 72% der deutschen Schülerinnen und Schüler hier im Sinne der Testautoren antworteten, nämlich„Tee“ verhält sich zu „Kaffee“ wie „Brot“ zu „Brötchen“, kamen nur knapp 16% der SüdtirolerSchülerinnen und Schüler zu diesem Ergebnis. Deutlich mehr entschieden sich dafür, „Keks“ anzukreuzen.Es liegt nahe zu vermuten, dass „Brötchen“ kein alltägliches Wort in Südtirol ist. Hier wird deutlich,dass man von einem „falschen“ Beantworten dieses Items nicht auf eine geringere verbale Intelligenzschließen darf.Der Analyse von DIF lagen jeweils die Daten der deutschsprachigen Schülerinnen und Schüler zugrunde.Zur Selektion der Items war es notwendig ein Kriterium festzulegen, ab dem man ein Item für nichtmehr brauchbar für den fairen Vergleich von Kompetenzen hält. Die praktische Bedeutsamkeit von vor-