Danske unge i en international sammenligning Bind 2 – Teknisk ...

• Short-link
• Link
• Embed

Enhver g<strong>en</strong>eralisering, der laves på basis af <strong>en</strong> stikprøve, har derfor <strong>en</strong> usikkerhed. Stikprøvevarians<strong>en</strong> er et mål for d<strong>en</strong>ne usikkerhed. PISA anv<strong>en</strong>der <strong>en</strong> totrins udtræksprocedure for stikprøv<strong>en</strong> i stedet for at trække <strong>en</strong> <strong>en</strong>kel tilfældig stikprøve. En af forskell<strong>en</strong>e mellem de to måder at udtrække stikprøve på er, at udtrukne elever fra d<strong>en</strong> samme skole ikke kan betragtes som uafhængige observationer i totrins procedur<strong>en</strong>. Det skyldes, at elever, som går på d<strong>en</strong> samme skole, typisk har flere fællestræk <strong>en</strong>d elever, der går på forskellige skoler. For eksempel vil elever på d<strong>en</strong> samme skole (og klasse) have de samme lærere og d<strong>en</strong> samme undervisningsplan. Desud<strong>en</strong> er der t<strong>en</strong>d<strong>en</strong>s til, at elever, som går på <strong>en</strong> skole, ligner hinand<strong>en</strong> mht. socioøkonomisk baggrund, både pga. boligmæssig polarisering, m<strong>en</strong> også pga. forældr<strong>en</strong>es muligheder for skolevalg. En tilfældigt udtrukket stikprøve af 4000 elever blandt alle skoler vil derfor repræs<strong>en</strong>tere forskellighed<strong>en</strong> i elevbefolkning<strong>en</strong> bedre <strong>en</strong>d <strong>en</strong> stikprøve af 100 skoler med 40 elever i hver skole. D<strong>en</strong> statistiske usikkerhed (dvs. standardfejl<strong>en</strong>) for fx g<strong>en</strong>nemsnittet af læsetestscorer for hele elevpopulation<strong>en</strong> vil derfor være større for <strong>en</strong> totrins stikprøve <strong>en</strong>d for <strong>en</strong> helt tilfældigt udtrukket stikprøve. På grund af det komplekse stikprøvedesign i PISA-undersøgels<strong>en</strong>, estimeres stikprøvevarians<strong>en</strong> for befolkningsparametre (og d<strong>en</strong>s kvadratrod, standardfejl<strong>en</strong>) ved brug af såkaldte replication (=g<strong>en</strong>tagelses) metoder. Ved disse metoder udtrækkes <strong>en</strong> række mindre stikprøver, eller replicate samples, fra hele stikprøv<strong>en</strong>. D<strong>en</strong> relevante parameter, fx g<strong>en</strong>nemsnit af scorer, estimeres for hver af disse g<strong>en</strong>tagne mindre stikprøver og samm<strong>en</strong>lignes så med det tilsvar<strong>en</strong>de estimat for hele stikprøv<strong>en</strong> for at give et skøn over stikprøvevarians<strong>en</strong>. Det er vigtigt at afrapportere præcise og middelrette estimater af standardfejl<strong>en</strong>e, fordi de bruges i samm<strong>en</strong>ligninger af forskellige politikparametre. Hvis det for eksempel overvejes at indføre reformer, der skal mindske forskell<strong>en</strong> mellem dr<strong>en</strong>ges og pigers læsefærdigheder, er det vigtigt pålideligt at kunne teste, om d<strong>en</strong>ne forskel er statistisk sikker (dvs. signifikant), eller om d<strong>en</strong> snarere beror på tilfældigheder. Ethvert resultat, der videreformidles til andre forskere eller til politikere, bør derfor beregnes med replicates. Plausible values PISA anv<strong>en</strong>der imputationsmetoder (plausible values) for at afrapportere elevernes test - resultater, hvilke er h<strong>en</strong>sigtsmæssigt, når skøn over hele elevbefolkning<strong>en</strong>s færdigheder er i fokus. Plausible values (plausible værdier) er <strong>en</strong> repræs<strong>en</strong>tation af hele vift<strong>en</strong> af færdigheder, som <strong>en</strong> elev kan have, baseret på d<strong>en</strong>nes testresultater. I stedet for direkte at estimere <strong>en</strong> elevs færdigheder (fx evner i matematik) estimeres <strong>en</strong> fordeling af elev<strong>en</strong>s færdigheder. Plausible values er tilfældige træk fra d<strong>en</strong>ne estimerede fordeling af elev<strong>en</strong>s færdigheder. Der bruges fem plausible values for hver elev og for hvert testet domæne. De statistiske analyser g<strong>en</strong>nemføres <strong>en</strong>keltvis for hver af de fem plausible values. Først til sidst beregnes g<strong>en</strong>nemsnittet for fx regressionskoeffici<strong>en</strong>terne samt tilhør<strong>en</strong>de standardfejl, som blev beregnet i fem særskilte kørsler for de fem plausible values. D<strong>en</strong>ne metode, samm<strong>en</strong> med replicates metod<strong>en</strong>, kræver, at parametre som g<strong>en</strong>nemsnit, standardafvigelse, proc<strong>en</strong>ter og regressionskoeffici<strong>en</strong>ter skal beregnes 405 gange: fem særskilte analyser for hver plausible value med hver gang 80 replicates plus <strong>en</strong> gang for hele stikprøv<strong>en</strong>. Kapitel 5 <strong>–</strong> Baggrundsoplysninger og fortolkning af testresultaterne i PISA 161

PISA 2009 <strong>–</strong> <strong>Danske</strong> <strong>unge</strong> i <strong>en</strong> <strong>international</strong> samm<strong>en</strong>ligning 162 Samm<strong>en</strong>ligning over tid: Tr<strong>en</strong>ds i PISA Da PISA-undersøgels<strong>en</strong> første gang blev g<strong>en</strong>nemført i 2000, var læsning hoveddomæne, som det ig<strong>en</strong> er i PISA 2009. Matematik var hoveddomæne i 2003, m<strong>en</strong>s naturfag var hoveddomæne i 2006. Det er således første gang, at et hovedomæne g<strong>en</strong>tages, og det er derfor muligt at se nærmere på, hvordan elevernes resultater ind<strong>en</strong> for læsning har udviklet sig over period<strong>en</strong> 2000-2009. Mulighederne for detaljerede samm<strong>en</strong>ligninger over tid ind<strong>en</strong> for matematik og naturfag er mere begrænsede, da der <strong>en</strong>dnu ikke har været to runder, hvor disse domæner har været hoveddomæne. Enkelte lande kan ikke være med i samm<strong>en</strong>ligningerne mellem 2000, 2003, 2006 og 2009 pga. metodiske problemer i de <strong>en</strong>kelte år. Eksempelvis opfyldte Holland ikke de standarder, PISA havde sat for deltagelsesproc<strong>en</strong>t i 2000, og Storbritanni<strong>en</strong> opfyldte ikke krav<strong>en</strong>e i 2003. De danske data har i alle år<strong>en</strong>e opfyldt kriterierne for deltagelsesproc<strong>en</strong>t, og der er derfor ing<strong>en</strong> problemer i at foretage samm<strong>en</strong>ligninger over tid for Danmark. For at sikre, at måling<strong>en</strong> af læsefærdigheder er fuldt ud samm<strong>en</strong>lignelig mellem PISA 2000 og PISA 2009, er der udvalgt et antal fælles testitems. Da antallet af disse fælles test - items er begrænset, øges risiko<strong>en</strong> for målefejl. Det betyder i praksis, at konfid<strong>en</strong>sintervallet for samm<strong>en</strong>ligninger af testscorer over tid er bredere <strong>en</strong>d for data for et <strong>en</strong>kelt år (Se d<strong>en</strong> <strong>international</strong>e rapport, Volume V, Chapter 1 for <strong>en</strong> nærmere forklaring). Tr<strong>en</strong>ds for andre variabler <strong>en</strong>d testscorer kan foretages ud<strong>en</strong> videre korrektioner af standardfejl<strong>en</strong>e, da PISA-stikprøver i forskellige år er trukket som uafhængige stikprøver. Sådanne samm<strong>en</strong>ligninger er dog kun relevante, hvis variablerne er samm<strong>en</strong>lignelige mellem to PISA-år. Et eksempel på variabler, som ikke er samm<strong>en</strong>lignelige, er de samvægtede indeksvariabler for fx kulturelle besiddelser og uddannelsesressourcer i hjemmet. Selv hvis de indeholder præcist de samme items i hvert år, er skalering<strong>en</strong> og standardisering<strong>en</strong> af data lavet for de <strong>en</strong>kelte års PISA-stikprøver, og de resulter<strong>en</strong>de indices er derfor ikke helt samm<strong>en</strong>lignelige. Det anbefales derfor ikke at lave tr<strong>en</strong>d-undersøgelser på samvægtede indeksvariabler. Til g<strong>en</strong>gæld er variabl<strong>en</strong> for højeste <strong>international</strong>e socioøkonomiske index (HISEI) fuldt ud samm<strong>en</strong>lignelig over tid, da transformation<strong>en</strong> af svar<strong>en</strong>e på elevspørgsmål<strong>en</strong>e med d<strong>en</strong> <strong>international</strong>e beskæftigelsesklassifikation (ISCO-International Standard Classification of Occupations) har været uændret g<strong>en</strong>nem alle fire PISA-runder. Korrelationer Korrelationskoeffici<strong>en</strong>t<strong>en</strong> er et mål for <strong>en</strong> samm<strong>en</strong>hæng mellem to variabler. D<strong>en</strong>ne samm<strong>en</strong>hæng udtrykkes ved hjælp af et tal (korrelationskoeffici<strong>en</strong>t<strong>en</strong>) mellem -1 og 1, hvor 1 betyder, at der er <strong>en</strong> perfekt positiv samm<strong>en</strong>hæng mellem de to variabler, -1 står for <strong>en</strong> perfekt negativ samm<strong>en</strong>hæng, m<strong>en</strong>s <strong>en</strong> korrelation på 0 betyder, at der ikke er <strong>en</strong> (lineær) samm<strong>en</strong>hæng. Korrelationskoeffici<strong>en</strong>t<strong>en</strong> skaleres, så d<strong>en</strong>s værdi er uafhængig af de <strong>en</strong>heder, de to målingsvariabler udtrykkes i. Således vil korrelation<strong>en</strong> for to variable målt i meter være d<strong>en</strong> samme, som hvis de blev målt i c<strong>en</strong>timeter.