Danske unge i en international sammenligning Bind 2 – Teknisk ...

akf.dk

Danske unge i en international sammenligning Bind 2 – Teknisk ...

PISA 2009 Danske unge i en international sammenligning

160

Bilag: Statistisk metode

PISA-undersøgelsen anvender komplekse metoder, som stiller krav til, hvordan data bør

analyseres.

For det første udtrækker PISA ikke tilfældige stikprøver af elever, men anvender et totrins

design: først udtrækkes skoler, og derefter udtrækkes elever i de deltagende skoler.

En sådan udtræksmåde kræver anvendelse af særlige statistiske metoder til at beregne de

korrekte standardfejl for de ønskede populationsestimater (af eksempelvis gennemsnitlige

testscorer) for at kunne drage de rigtige konklusioner om statistisk signifikans.

For det andet anvender PISA imputationsmetoder (plausible values) for at afrapportere

elevernes testresultater, hvilke er velegnede, når man i internationale studier som PISA

lægger vægt på præcise skøn over hele elevbefolkningens færdigheder (frem for at lave

præcise skøn over den enkelte elevs færdigheder).

Alle resultater i de internationale PISA-rapporter fra OECD (og også i denne danske landerapport)

er beregnet efter disse metoder, hvilket bl.a. indebærer, at beregningen af fx

gennemsnitsestimatet for et land og dens standardfejl baserer sig på beregninger af flere

hundrede gennemsnit for at opnå et præcist skøn over hele elevbefolkningens færdigheder.

Følgende gennemgang er struktureret efter de tre metodologiske forhold, som har betydning

for måden, hvorpå data bør analyseres: (i) vægte, (ii) replicates til beregning af standardfejlene

og (iii) plausible values. For en mere omfattende beskrivelse henvises der til

OECD (2009c), som er hovedkilden til gennemgangen. Afsluttende præsenteres nogle

aspekter ved trendanalyser (dvs. analyser af ændringer over tid) i PISA samt to centrale

analyseværktøjer: korrelationer og regressionsanalyse.

Stikprøvevægte

Alle elever og skoler får tilknyttet en vægt, fordi: (i) elever og skoler i et land ikke nødvendigvis

har den samme sandsynlighed for at blive udtrukket; (ii) forskellige deltagelsesprocenter

for forskellige typer af skoler eller elever nødvendiggør diverse korrektioner; (iii)

nogle skoletyper, landsdele mv. kan have været udtrukket med større sandsynlighed

(oversampling). På ethvert trin i analyseprocessen bør der altid bruges vægtede data, som

tager højde for dette. Ikke-vægtede data giver skæve estimater, når man generaliserer fx

gennemsnitlige testscorer fra stikprøven til hele elevbefolkningen i et land. At bruge

vægte i beregningerne gør ikke analyseprocessen mere kompleks eller langsommere, men

sikrer, at de beregnede gennemsnit, regressionskoefficienter m.m. for hele elevpopulationen

er middelrette (ikke skæve).

Replicate weights

Ved udtrækning af en stikprøve (frem for at undersøge alle elever) vil der altid være en

usikkerhed, som kommer af, at der er mange mulige stikprøver, der kan trækkes fra en

befolkning. Hver af disse vil ikke give helt præcist det samme skøn for hele befolkningen.

More magazines by this user
Similar magazines