Fulltekst / PDF - Høgskolen i Nesna

2) Det bør være en rimelig grad av felles forståelse blant koderne om bruken av
undersøkelsesmodellen. Her dreier det seg om tolkning av begrepsapparatet.
Påstanden om at reliabilitet medfører validitet er ikke holdbar. For eksempel kan det oppstå
situasjoner der målte verdier vedrørende ”interrater reliability” er høy - dvs. at medarbeiderne har
en felles oppfatning av analysemetoden. I så fall foreligger det en tilnærmet perfekt konsistens
mellom koderne. Men dette fører ikke nødvendigvis til at kunnskapsaspektet som formidles via
læreverket kan forklares ut fra de aktuelle målingene. Her spiller validiteten i seg selv - altså
uavhengig av reliabiliteten - en sentral rolle. Følgelig blir spørsmål knyttet til selve undersøkelsen
og dens gyldighet viktige å avklare. Da vil aspekter som for eksempel gjelder lærestoffets faglige
innhold, sammensetningen av de ulike emneområdene i læreverkene, hvilke typer
eksempeloppgaver eller øvingsoppgaver som elevene stilles overfor og hvordan illustrasjoner /
grafikk brukes til å supplere forklaringer i teksten bli viktige studieobjekter. Analyse av
læreplaner og lærebøker foregår imidlertid hovedsakelig ved kvantitative forskningsmetoder. Her
oppfattes spillereglene å være klart definerte. Følgelig stilles det ikke spørsmål vedrørende
undersøkelsesmodellen. Når det gjelder å kartlegge grunnlaget for disse vurderingene, er det
derimot nødvendig å studere selve spillereglene (Haug 1995, 2000b).
Kategoriseringen i TIMSS' læreplan- og lærebokanalyse, hvor de fem aspektene Enheter,
Blokker, Faglig innhold, Forventet elevaktivitet og Perspektiver fungerer i forhold til hverandre,
utgjør et sammensatt system (jf. TIMSS 1992a, 1992b). Derfor er det viktig å ha
helhetsperspektivet i mente, selv når en arbeider på detaljplan. En må til enhver tid være klar over
samspillet mellom de fem nivåene i analysen. Målefeil kan lett snike seg inn - noe som vil
påvirke studiets reliabilitet negativt. Av denne grunn kreves det i TIMSS at medarbeiderne skal ta
hyppige pauser. Underveis i kodeprosessen kan det oppstå misforståelser med hensyn til bruken
av visse koder. Blant annet kan følgende forhold inntreffe:
− Det kan oppstå situasjoner der det ikke fins svar på problemer vedrørende valg av relevant
kode i eksempelsamlingen (jf. TIMSS 1992d).
− Muligheten til å skrive av feil kode er til stede.
− Det er mulig å tolke aspekter vedrørende lærestoffet på forskjellige måter. Dette gjelder
spesielt for elementer av rent faglig innholdsmessig karakter vedrørende hvilke kognitive
prosesser det dreier seg om samt hvilke holdninger som formidles.
− Det kan tenkes at enkeltkategorier i undersøkelsesmodellen ikke er entydig beskrevet og det
blir derfor vanskelig å forstå visse sammensetninger av koder. Her dreier det seg om
utforming av curriculummodellens begrepsmessige rammeverk.
Enkelte problemer knyttet til valg av kategorier (jf. det første, det tredje og det fjerde strekpunktet
ovenfor) kan imidlertid løses ved bruk av flere koder. Det er fullt mulig å operere med en
kombinasjon av ulike koder i forhold til TIMSS’ modellen. Problemet går da heller på hvordan
slike data skal behandles statistisk. På grunn av faren for å produsere uinteressante konklusjoner,
er det imidlertid berettiget til å advare mot omfattende kategorier i kvantitative undersøkelser.
31