Evaluering nasjonale prøver 2005 - Udir.no

Side 4 av 12
Utdanningsdirektoratet mener ILS på noen punkter har gått ut over sitt mandat i forhold til det
oppdraget som var gitt, blant annet ved å gi anbefalinger om styring av prøveutviklingen. På den
annen side er det forhold i oppdragsbestillingen som ikke er tilfredsstillende utført, ILS har for
eksempel ikke benyttet en ekstern kvalitetssikrer slik det var forutsatt. Dette var en forutsetning i
oppdraget som er begrunnet både med hensynet til ekstern kvalitetssikring og for å imøtekomme
spørsmål som gjelder habilitet. ILS har ansvar for å utvikle nasjonale prøver i lesing på 10. trinn
og grunnkurs. ILS var også med i begynnelsen av utviklingen av prosjektbeskrivelsen for de
nasjonale prøvene i engelsk. Denne situasjonen kommenteres av ILS og fagmiljøene.
Det er også viktig å understreke at fagmiljøene etter egen vurdering har hatt mindre tid enn
ønskelig til å utvikle de nasjonale prøvene. Evalueringsrapporten fra 2004 ble ferdigstilt bare få
måneder før prøvene for 2005 skulle gjennomføres, og det var da ikke mulig å innarbeide store
endringer i prøvene ut fra det som fremkom av kritikk i fjorårets evaluering. Fagmiljøene
kommenterer dette forholdet i sine tilbakemeldinger.
Fagmiljøet som har utviklet leseprøvene for 4. og 7. trinn, Nasjonalt senter for leseopplæring og
leseforskning ved Universitetet i Stavanger, mener fremstillingen i evalueringsrapporten er skjev
og at flere av konklusjonene er for bastante og ikke tilstrekkelig dokumenterte. Disse leseprøvene
kritiseres særlig for å ha en vurderingsskala som gir poeng for delvis riktige svar, noe ILS mener
er uheldig for reliabiliteten på prøvene, fordi elevene kan få poeng for å gjette svar. Fagmiljøet
forsvarer denne graderingen både teoretisk og empirisk, og viser til egne data fra de to prøvene
som viser høy reliabilitet for prøvene (0.86 og 0.88), og som dermed ikke støtter bekymringen
for at gjetting har påvirket resultater. Fagmiljøet viser videre til at evalueringsrapporten
vektlegger enkelteksempler forskerne mener er uheldige i prøven, og at disse generaliseres til å
gjelde hele prøven.
Fagmiljøet som utarbeider prøvene i engelsk er tilknyttet Universitetet i Bergen. Engelskprøvene
får kritikk i evalueringsrapporten, særlig for måten de bruker det europeiske rammeverket for
språk på. Både skriveprøven på engelsk og den elektroniske leseprøven kritiseres, blant annet for
manglende validitet og reliabilitet. Fagmiljøet viser til at påstanden om leseprøvens manglende
validitet ikke er dokumentert, men at en enkelt rektors uttalelse benyttes til å støtte opp under
denne konklusjonen. Fagmiljøet viser også flere statistiske beregninger og argumenterer for
andre målemetoder som viser høyere reliabilitet og lavere målefeil for prøvene. Generelt mener
engelskmiljøet at evalueringsrapporten fremstiller prøvene skjevt ved at noen få eksempler på
uhensiktsmessige oppgaver i prøvene generaliseres til å gjelde hele prøven, men påpeker
samtidig at en del av forholdene som omtales i evalueringsrapporten også er forhold de selv
arbeider med å forbedre i prøvene.
Nasjonalt senter for matematikk i opplæringen ved NTNU har ansvar for å lage de nasjonale
prøvene i matematikk. Dette fagmiljøet peker også på at ILS har lagt til grunn et snevert
testteoretisk perspektiv for vurdering av prøvene, mens fagmiljøet selv har arbeidet mye med
veilednings- og vurderingsmateriell for lærernes pedagogiske etterarbeid med elevene.
Matematikkprøvene får generelt positiv omtale i evalueringsrapporten, men kritiseres for å ha et
avansert kodesystem, samt i forhold til vanskelighetsgrad på noen oppgaver i prøvene, noe
fagmiljøet selv kommenterer at de arbeider kontinuerlig med å utvikle.
Universitetet i Stavanger v/ Nasjonalt senter for leseopplæring og leseforskning har ansvar for å
utvikle skriveprøvene, og det er også fagpersoner fra Universitetet i Oslo og NTNU med i dette
arbeidet. Skriveprøvene er i en særstilling blant de nasjonale prøvene, særlig fordi de krever mye
forarbeid på skolene og fordi det er vanskelig å oppnå god nok reliabilitet på disse prøvene fordi
det bare gis åpne skriveoppgaver. Forholdene som kritiseres i evalueringsrapporten har
skrivemiljøet selv påpekt en rekke ganger, særlig at denne type oppgaver ikke er forenlige med
psykometriske prinsipper.
Fagmiljøet som har ansvar for utforming av leseprøvene i 10. trinn og grunnkurs, ILS, har ikke
gitt skriftlige innspill til evalueringsrapporten.