PISA Høring - Teknologirådet

128
dre variable løsrevet fra den ramme hvori PISA scorerne er dannet 10 . Vurderer man alligevel den
’løsrevne’ statistiske relation: PISA scores socioøkonomisk baggrund ud fra statistiske præmisser
11 , som ligger til grund for PISA rapporterne, skal man bemærke en meget svag grad af egnethed
af den anvendte teknik. Det gælder relationerne i Danmark og i de øvrige medvirkende
lande: Den (lineære regressions-) model har ringe tilpasning med observationerne. Det har en
ulogisk konsekvens for en bestemt anvendelse af resultaterne, fordi den ringe tilpasning bl.a.
kommer til udtryk ved, at den enkelte elevs PISA score kun meget usikkert kan beregnes ud fra
elevens socioøkonomiske indeks. Jo flere elever, der afviger fra en præcis prædiktion af PISA score
ud fra socioøkonomisk indeks, jo ringere generel tilpasning observeres af den statistiske model
for relationen PISA scores socioøkonomisk baggrund. Når man derfor specielt opsøger elever,
eller grupper af elever – de såkaldte mønsterbrydere af den sociale arv - der udmærker sig ved, at
deres faktiske PISA score er meget afvigende (større) end den forudsagte værdi (den forventede
værdi) ud fra det socioøkonomiske indeks, bringes man til at opsøge elever der netop understreger
den ringe egnethed af den statistiske regressionsanalyse. Hvis relationen PISA scores socioøkonomisk
baggrund kunne beskrives 100% perfekt med den anvendte statistiske model, ville
der således ikke være plads til mønsterbrydere . Fortolkningen af mønsterbryder hænger derfor
uløseligt sammen med en ringe tilpasning af den statistiske model for relationen PISA scores
socioøkonomisk baggrund. På dette punkt må man svare NEJ til at PISA måler elevernes præstationer
korrigeret for socioøkonomisk baggrund på den rigtige måde.
Hvad kan man gøre for at PISA’s analyser i fremtiden gør det på den rigtige måde?
Fra de erfaringer der er indhentet fra PISA 2000 og PISA 2003’s rapporteringer kunne man overveje at
• Offentliggøre procent rigtige for opgaver og områder parallelt med offentliggørelsen af PISA scores
. Det vil gøre forståelsen af ’scoringer’ i PISA lettere at forholde sig til for ikke-teknikere.
• undlade at foretage diagnostiske fortolkninger som ”funktionelle analfabeter” ud fra PISA scores.
Prøv i højere grad at fortolke danske resultater i relation til danske forhol.
• tøve med at tegne billeder af eleverne ud fra ’korrigerede’ PISA scores mht. til socioøkonomiske
indices. Gør som Danmarks Statistik: Offentliggør de ukorrigerede PISA scores og overlad eventuelle
korrektioner til brugerne, som efter eget valg kan inddrage socioøkonomiske faktorer eller alternative
pædagogisk relevante faktorer (fx lærerfaktorer eller klassefaktorer) som
baggrundsvariable for korrektionerne
10 Der anvendes en såkaldt lineær regressionsanalyse mellem de beregnede PISA scores og indeksværdier for elevernes
socioøkonomiske baggrund . Relationen behandles løsrevet fra de statistiske modeller, hvori PISA scorerne beregnes; modeller
som retteligt burde inkludere denne relation som en del af parameterstrukturen – som i moderne structural equation
models
11 Dvs. forudsætninger og egnethed beg ved den lineære regressionsanalyse som har været anvendt