Danske unge i en international sammenligning Bind 2 – Teknisk ...

• Short-link
• Link
• Embed

ældr<strong>en</strong>es stillingsbetegnelse. Metod<strong>en</strong>, der ligger bag transformation<strong>en</strong> af d<strong>en</strong> detaljerede information om forældr<strong>en</strong>es stilling (som bliver “oversat” af erfarne kodere til <strong>en</strong> firecifret ISCO-88 kode til et indeks), er udviklet af Ganzeboom, De Graaf og Treiman (1992), muliggør samm<strong>en</strong>ligninger af indekset på tværs af lande. HISEI-indekset fanger de eg<strong>en</strong>skaber ved <strong>en</strong>kelte stillingskategorier, som “konverterer” forældr<strong>en</strong>es uddannelse til indkomst. I atter andre tilfælde bruges variabl<strong>en</strong>e i det, som kaldes et skalaindeks (scale indices). I disse tilfælde skaleres svar<strong>en</strong>e på spørgsmål med to svarmuligheder (ja/nej) eller spørgsmål med svarkategorier, som følger <strong>en</strong> Likert- eller lign<strong>en</strong>de skala, ved hjælp af Item Response Theory (IRT) metoder. Et eksempel på et sådant indeks er indekset for “kulturel kapital”, som baserer sig på elevernes svar på, hvorvidt der er klassisk litteratur, digtsamlinger og kunstværker i deres hjem. For flere detaljer til disse indekseringsmetoder h<strong>en</strong>vises der til OECD (2009b). Refer<strong>en</strong>cer Fullan, M. (2007) The New Meaning of Educational Change, Fourth Edition, Teachers College Press, New York. Ganzeboom, H.B.G. P. M., De Graaf and D. J. Treiman (1992) “A Standard International Socio-economic Index of Occupational Status” Social Sci<strong>en</strong>ce Research: 21(2): 1-56. Zimmer, R. and E. Toma (2000) Peer Effects in Private and Public Schools Across Countries, Journal of Policy Analysis and Managem<strong>en</strong>t, 19(1): 75-92. OECD (2009a) PISA 2009 Assessm<strong>en</strong>t Framework <strong>–</strong> Key Compet<strong>en</strong>cies in Reading, Mathematics and Sci<strong>en</strong>ce, OECD, Paris. OECD (2009b) PISA 2006 Technical Report, OECD, Paris. Kapitel 5 <strong>–</strong> Baggrundsoplysninger og fortolkning af testresultaterne i PISA 159

PISA 2009 <strong>–</strong> <strong>Danske</strong> <strong>unge</strong> i <strong>en</strong> <strong>international</strong> samm<strong>en</strong>ligning 160 Bilag: Statistisk metode PISA-undersøgels<strong>en</strong> anv<strong>en</strong>der komplekse metoder, som stiller krav til, hvordan data bør analyseres. For det første udtrækker PISA ikke tilfældige stikprøver af elever, m<strong>en</strong> anv<strong>en</strong>der et totrins design: først udtrækkes skoler, og derefter udtrækkes elever i de deltag<strong>en</strong>de skoler. En sådan udtræksmåde kræver anv<strong>en</strong>delse af særlige statistiske metoder til at beregne de korrekte standardfejl for de ønskede populationsestimater (af eksempelvis g<strong>en</strong>nemsnitlige testscorer) for at kunne drage de rigtige konklusioner om statistisk signifikans. For det andet anv<strong>en</strong>der PISA imputationsmetoder (plausible values) for at afrapportere elevernes testresultater, hvilke er velegnede, når man i <strong>international</strong>e studier som PISA lægger vægt på præcise skøn over hele elevbefolkning<strong>en</strong>s færdigheder (frem for at lave præcise skøn over d<strong>en</strong> <strong>en</strong>kelte elevs færdigheder). Alle resultater i de <strong>international</strong>e PISA-rapporter fra OECD (og også i d<strong>en</strong>ne danske landerapport) er beregnet efter disse metoder, hvilket bl.a. indebærer, at beregning<strong>en</strong> af fx g<strong>en</strong>nemsnitsestimatet for et land og d<strong>en</strong>s standardfejl baserer sig på beregninger af flere hundrede g<strong>en</strong>nemsnit for at opnå et præcist skøn over hele elevbefolkning<strong>en</strong>s færdigheder. Følg<strong>en</strong>de g<strong>en</strong>nemgang er struktureret efter de tre metodologiske forhold, som har betydning for måd<strong>en</strong>, hvorpå data bør analyseres: (i) vægte, (ii) replicates til beregning af standardfejl<strong>en</strong>e og (iii) plausible values. For <strong>en</strong> mere omfatt<strong>en</strong>de beskrivelse h<strong>en</strong>vises der til OECD (2009c), som er hovedkild<strong>en</strong> til g<strong>en</strong>nemgang<strong>en</strong>. Afslutt<strong>en</strong>de præs<strong>en</strong>teres nogle aspekter ved tr<strong>en</strong>danalyser (dvs. analyser af ændringer over tid) i PISA samt to c<strong>en</strong>trale analyseværktøjer: korrelationer og regressionsanalyse. Stikprøvevægte Alle elever og skoler får tilknyttet <strong>en</strong> vægt, fordi: (i) elever og skoler i et land ikke nødv<strong>en</strong>digvis har d<strong>en</strong> samme sandsynlighed for at blive udtrukket; (ii) forskellige deltagelsesproc<strong>en</strong>ter for forskellige typer af skoler eller elever nødv<strong>en</strong>diggør diverse korrektioner; (iii) nogle skoletyper, landsdele mv. kan have været udtrukket med større sandsynlighed (oversampling). På ethvert trin i analyseprocess<strong>en</strong> bør der altid bruges vægtede data, som tager højde for dette. Ikke-vægtede data giver skæve estimater, når man g<strong>en</strong>eraliserer fx g<strong>en</strong>nemsnitlige testscorer fra stikprøv<strong>en</strong> til hele elevbefolkning<strong>en</strong> i et land. At bruge vægte i beregningerne gør ikke analyseprocess<strong>en</strong> mere kompleks eller langsommere, m<strong>en</strong> sikrer, at de beregnede g<strong>en</strong>nemsnit, regressionskoeffici<strong>en</strong>ter m.m. for hele elevpopulation<strong>en</strong> er middelrette (ikke skæve). Replicate weights Ved udtrækning af <strong>en</strong> stikprøve (frem for at undersøge alle elever) vil der altid være <strong>en</strong> usikkerhed, som kommer af, at der er mange mulige stikprøver, der kan trækkes fra <strong>en</strong> befolkning. Hver af disse vil ikke give helt præcist det samme skøn for hele befolkning<strong>en</strong>.