Danske unge i en international sammenligning Bind 2 – Teknisk ...

• Short-link
• Link
• Embed

PISA 2009 <strong>–</strong> <strong>Danske</strong> <strong>unge</strong> i <strong>en</strong> <strong>international</strong> samm<strong>en</strong>ligning 172 Danmark havde problemer med at opfylde et af de krav, som stilledes til data og stikprøve, idet andel<strong>en</strong> af elever, som blev fritaget af alle ov<strong>en</strong>stå<strong>en</strong>de grunde, højst måtte udgøre 5 pct. I Danmark var d<strong>en</strong>ne andel 8,17 pct. En analyse foretaget af det <strong>international</strong>e konsortium og <strong>en</strong> vurdering foretaget af deres ekspertgruppe konkluderede, at data kunne godk<strong>en</strong>des. ERA <strong>–</strong> d<strong>en</strong> elektroniske læsetest D<strong>en</strong> elektroniske læsetest blev afviklet på almindelige pc’er, og hvis det var muligt, blev skol<strong>en</strong>s pc’er brugt til at afvikle ERA på. Testlederne havde klassesæt USB-nøgler med test<strong>en</strong>e på med ud på skol<strong>en</strong>, og test<strong>en</strong> blev indlæst fra USB-nøgle og besvarelserne lagret på samme USB. Det var også muligt at læse test<strong>en</strong> ind fra CD-rom og lagre besvarelserne på USB. Nogle skoler havde ikke pc’er, som kunne afvikle ERA, og testlederne havde da i nogle tilfælde et sæt pc’er med ud på skol<strong>en</strong>. Som nævnt ov<strong>en</strong>for var der problemer med d<strong>en</strong> elektroniske læsetest, som OECD leverede. Danmark var blandt de første lande til at bruge d<strong>en</strong> i hovedundersøgels<strong>en</strong>, og problemerne ramte derfor Danmark før andre lande. Der var tale om problemer, som kun ramte lande med specielle bogstaver, i Danmarks tilfælde æ, ø og å. I udtrækket på 7.228 elever til PISA, var der udtrukket 2.268 elever til deltagelse i ERA. Der blev g<strong>en</strong>nemført ERA på 221 skoler med deltagelse af i alt 1.341 elever. Det svarer til <strong>en</strong> vægtet svarproc<strong>en</strong>t for ERA på 63,24 pct. Krav<strong>en</strong>e til svarproc<strong>en</strong>t i ERA var 0,8 x svarproc<strong>en</strong>t i skriftlig PISA, eller for Danmarks vedkomm<strong>en</strong>de 71,4 pct. Danmark opfyldte derfor ikke krav<strong>en</strong>e til svarproc<strong>en</strong>t for ERA, og det <strong>international</strong>e konsortium g<strong>en</strong>nemførte derfor <strong>en</strong> analyse af bortfald for at undersøge, om der var skævhed i bortfaldet. Analys<strong>en</strong> viste ing<strong>en</strong> tegn på skævhed i bortfaldet, og konsortiets ekspertgruppe anbefalede derfor, at de danske ERA-data blev inkluderet i d<strong>en</strong> <strong>international</strong>e PISA-database. D<strong>en</strong> praktiske g<strong>en</strong>nemførelse af dataindsamling<strong>en</strong> 29 af SFI Surveys interviewere f<strong>unge</strong>rede som testledere på de udvalgte skoler. På hver skole var der udpeget <strong>en</strong> skolekontaktperson <strong>–</strong> typisk klasselærer<strong>en</strong> for d<strong>en</strong> klasse, hvorfra flest elever deltog, eller skoleleder<strong>en</strong> <strong>–</strong> som sørgede for det praktiske omkring test<strong>en</strong>. Herunder ori<strong>en</strong>tering af forældr<strong>en</strong>e. Derudover havde det <strong>international</strong>e konsortium ansat <strong>en</strong> dansker til at overvåge testprocedur<strong>en</strong> på tilfældigt udvalgte skoler. D<strong>en</strong>ne testkvalitetsleder blev oplært af det <strong>international</strong>e konsortium og blev aflønnet af ACER i Australi<strong>en</strong>, til hvem der også rapporteredes direkte. 7 af de 285 deltag<strong>en</strong>de skoler havde besøg af testkvalitetsleder<strong>en</strong>. Testkvalitetsleder<strong>en</strong> observerede <strong>en</strong>kelte problemer i Danmark, m<strong>en</strong> ing<strong>en</strong>, som havde betydning for test<strong>en</strong>s kvalitet. Det største problem var, at <strong>en</strong> testleder havde byttet rundt på rækkefølg<strong>en</strong> af spørgeskemaerne, som kom efter selve test<strong>en</strong>.

D<strong>en</strong> skriftlige PISA-testning tog ca. tre og <strong>en</strong> halv time. Besøget på uddannelsesinstitutionerne varede dog det meste af skoledag<strong>en</strong>, hvis alle test- og spørgeskemaforløb skulle afvikles samme dag. Tid<strong>en</strong> blev brugt omtr<strong>en</strong>t således: • 10 min. Introduktion til testhæftet • 60 min. Første del af testhæftet • 5 min. Pause • 60 min. And<strong>en</strong> del af testhæftet • 10 min. Uddeling af spørgeskemaet og introduktion til skemaet • 45 min. Besvarelse af et elevspørgeskema • 10 min. Pause • 20 min. Stavetest og test i ordk<strong>en</strong>dskab. Herefter fik de elever fri fra PISA, som ikke skulle deltage i ERA-del<strong>en</strong>. • 10 min. Pause (Kunne evt. forlænges, hvis der skulle være frokost) • 10 min. Klargøring af pc’er til ERA • 10 min. Udlevering af brugernavn og adgangskode samt introduktion til ERA • 10 min. ERA prøveforløb • 40 min. Elektronisk læsetest • 10 min. Afslutning af test og indsamling af data. Det vigtigste var, at eleverne havde præcis 60 minutter til hver af de to dele i det skriftlige testhæfte. Testprogrammet sørgede for, at tid<strong>en</strong> til ERA var præcis 40 minutter, med mindre eleverne blev færdige ind<strong>en</strong>. Ifølge testkvalitetsleder<strong>en</strong> var der ing<strong>en</strong> problemer med at overholde dette krav i Danmark. Alt testmateriale blev umiddelbart efter test<strong>en</strong> pakket og s<strong>en</strong>dt tilbage til SFI. Testmaterialet blev registreret og opbevaret sikkerhedsmæssigt forsvarligt både før og efter indtastning. Datakvalitet Som beskrevet er der i alle undersøgels<strong>en</strong>s praktiske led etableret omfatt<strong>en</strong>de procedurer for at sikre tilfredsstill<strong>en</strong>de data. Hvis krav<strong>en</strong>e i de tekniske standarder er opfyldt, bliver data automatisk godk<strong>en</strong>dt. Hvis nogle krav ikke er opfyldt, foretager det <strong>international</strong>e konsortium og det pågæld<strong>en</strong>de land nærmere analyser af data, og <strong>en</strong> ekspertgruppe vurderer, om data kan godk<strong>en</strong>des eller ej, og land<strong>en</strong>e kan også afkræves yderligere dokum<strong>en</strong>tation. Samlet set vurderedes de danske data at være af høj kvalitet, og de er indgået i de <strong>international</strong>e samm<strong>en</strong>ligninger ud<strong>en</strong> forbehold. Pålidelighed, validitet og repræs<strong>en</strong>tativitet er tre nøglebegreber i relation til datakvalitet. Hvorvidt data er repræs<strong>en</strong>tative, kan man langt h<strong>en</strong> ad vej<strong>en</strong> opstille eksakte statistiske Kapitel 6 <strong>–</strong> Metode og datakvalitet i PISA 2009 173