Fulltekst / PDF - Høgskolen i Nesna

”interrater reliability” ble kartlagt ved at eksperten i TIMSS sammenliknet sine egne kodinger av
lærestoffet med hver enkelt medarbeider. Deretter ble medarbeiderne sammenliknet med
hverandre med henblikk på valg av kategorier. Alle koderne mottok omfattende og klare
tilbakemeldinger vedrørende sine arbeider samt en vurdering av ”interrater reliability” (se
appendiks 4). I underpunktene nedenfor behandles tilbakemeldingene fra ekspertene i TIMSS til
de norske medarbeiderne.
Tilbakemelding fra TIMSS’ ekspertgruppe om lærebokanalysens Fase 1).
Vedrørende inndelingen av materialet i Enheter var det enighet blant de norske medarbeiderne og
ekspertene. Når det derimot gjaldt de to samlingene elevoppgaver, "blandete oppgaver" og
"repetisjonsoppgaver" fra Westbye (1988), mente fagpersonen at disse var omfattende nok til å
kunne utgjøre to separate Enheter. Denne uoverensstemmelsen dreide seg om vurdering av
mengde lærestoff og om faginnholdet. Disse to typene oppgavesamlinger var angitt i
innholdsfortegnelsen i alle lærebokens kapitler. Eksperten konkluderte med at det synes å være
en klar forståelse og indre konsistens blant de norske koderne angående inndelig av materialet i
Enheter. Fagpersonen hevdet at det ikke vil oppstå noen problemer her (jf. appendiks 4).
Når det gjaldt tilbakemelding om inndeling i Blokker, forelå det her ikke samsvar mellom koder
og fagpersonen innen TIMSS om kategorisering av fem av i alt ti Blokker. Problemet handlet om
å velge "fortellende tekstblokker" (blokktype 1) eller "relaterte fortellende blokker" (blokktype
2). I tilbakemeldingen påpekte imidlertid eksperten at dette til en viss grad er en vurderingssak,
som vil få mindre konsekvenser for curriculumanalysen. Medarbeiderne ble allikevel oppfordret
til å reflektere over dette skillet.
Uenighet blant medarbeider og ekspert forekom på to steder med hensyn til valg av
"regneeksempler" (blokktype 9) versus "fortellende tekstblokker" (blokktype 1) eller "relaterte
fortellende blokker" (blokktype 2). I tilfeller der lærestoffets faglige innhold presenteres via
diskusjoner basert på et bestemt regneeksempel, hevdet eksperten at kategoriseringen bør gjelde
fortellende tekst (blokktypene 1 eller 2). Blokker med "regneeksempler" (blokktype 9) er
imidlertid forbeholdt de tilfeller hvor oppgavene er løst i læreboka via en ferdig oppstilt stegvis
prosedyre - uten, eller bare med korte kommentarer.
For øvrig oppstod det uenighet blant koder og ekspert angående behandlingen av relasjoner.
Forklaring av faguttrykk ble av TIMSS’ eksperten kodet som "ikke-relaterte instruerende
Blokker" (blokktype 3) og ikke "relaterte fortellende Blokker" (blokktype 2), hvilket samtlige av
de norske medarbeiderne hadde valgt. Fra norsk side mente en imidlertid at lærestoffet kunne
forstås uten å inkludere denne Blokken.
”Interrater reliability” av Blokker ble anslått å være i underkant av 70 % samstemmighet mellom
ekspert og de norske medarbeiderne. Eksperten hevdet at ved å benytte koden "relaterte
fortellende blokker" (blokktype 2) oftere, ville ”interrater reliability” øke til over 80 %. Denne
prosenten blir påstått å kunne tilta ytterligere, dersom medarbeiderne skjerper seg og tar de øvrige
kommentarene i tilbakemeldingen til etterretning (jf. appendiks 4).
21