Gemeenschappelijk Europees Referentiekader voor Moderne ...

andere ALTE-examens. Zo kunnen we verifiëren of deze andere examenstelsels in beginsel op dezelfde
wijze verband houden met de vijf niveaus van het ALTE-referentiekader.
Verankeren in het Referentiekader van de Raad van Europa
In 1999 werden antwoorden verzameld waarin ankers waren aangebracht met uitspraken uit het
Referentiekader van de Raad van Europa uit 1996. De ankers bestonden uit:
• de descriptoren in de zelfbeoordelingsmatrix met hoofdcategorieën van taalgebruik per niveau,
zoals gepresenteerd in tabel 2 in hoofdstuk 3;
• 16 descriptoren met betrekking tot communicatieve aspecten van vloeiendheid uit de illustratieve
schalen in hoofdstuk 5.
Tabel 2 is gekozen omdat deze in de praktijk veel wordt gebruikt als samenvattende beschrijving van de
verschillende niveaus. Doordat ALTE responsgegevens kon vertalen in een groot aantal talen en landen
was er gelegenheid om bij te dragen aan de validatie van de schalen in tabel 2.
De uitspraken over vloeiendheid werden aanbevolen omdat deze in verschillende contexten
tijdens het Zwitserse project de meest stabiele moeilijkheidsschattingen bleken op te leveren (North
1996/2000). Daarom werd verwacht dat ze een goede vergelijking van de ‘Can do’-uitspraken met het
Referentiekader van de Raad van Europa mogelijk zouden maken. De geschatte moeilijkheid van de uitspraken
over vloeiendheid bleek zeer nauw overeen te stemmen met de opgegeven moeilijkheid (North
1996/2000), met een correlatie van r = 0,97. Dit vormt een uitstekend anker tussen de ‘Can do’-uitspraken
en de schalen die worden gebruikt om het Referentiekader te illustreren.
Het gebruik van Rasch-analyse voor het op elkaar afstemmen van een reeks uitspraken (schalen)
is echter geen direct proces. Gegevens passen nooit exact in het model: er zijn kwesties als dimensionaliteit,
discriminatiegraad en differential item function (systematische variatie in de interpretatie door
verschillende groepen) die moeten worden onderkend en verwerkt om een zo waarheidsgetrouw
mogelijke relatie tussen de schalen naar voren te laten komen.
Dimensionaliteit slaat op het feit dat de vaardigheden luisteren/spreken, lezen en schrijven weliswaar
in hoge mate gecorreleerd zijn, maar toch verschillend: analyses waarin ze worden gescheiden leveren
meer coherente, onderscheidende niveauverschillen op.
De variabele discriminatiegraad wordt duidelijk wanneer we tabel 2 vergelijken met de ‘Can do’-uitspraken.
Tabel 2 blijkt een langere schaal op te leveren (fijnere onderscheiden tussen niveaus te maken)
dan de ‘Can do’-uitspraken. De oorzaak is waarschijnlijk dat tabel 2 het eindresultaat vertegenwoordigt
van een lang proces van selectie, analyse en verfijning. Het gevolg is dat elke niveaubeschrijving een
samenstel is van zorgvuldig geselecteerde typische elementen, waarmee respondenten op een bepaald
niveau gemakkelijker het niveau kunnen herkennen dat hen het beste beschrijft. Dit levert een meer
coherent responspatroon op, dat op zijn beurt weer leidt tot een langere schaal. Dit is in tegenstelling
tot de huidige vorm van de ‘Can do’-uitspraken, die nog steeds kort en kernachtig zijn en niet zijn
gegroepeerd tot zulke afgeronde, holistische niveaubeschrijvingen.
Groepseffecten (differential item function) zijn zichtbaar in het feit dat bepaalde groepen respondenten
(respondenten op de sociale en toeristische, werk- of studievarianten van de vragenlijst) aanzienlijk
fijnere niveauverschillen onderscheiden op bepaalde ankerschalen, om redenen die moeilijk te identificeren
zijn.
Geen van deze effecten is onverwacht wanneer men een Rasch-methode hanteert om schalen te
vergelijken. Ze geven aan dat een stelselmatige kwaliteitscontrole van de tekst van de afzonderlijke
uitspraken nodig blijft en een belangrijke fase is om te komen tot een ‘definitieve’ waardering van de
schalen.
Vaardigheidsniveaus in het referentiekader van ALTE
Op het moment van schrijven is het ALTE-kader een stelsel met vijf niveaus. De hiervoor beschreven
validatie bevestigt dat deze ongeveer overeenkomen met de niveaus A2 tot en met C2 van het
Referentiekader van de Raad van Europa. Er wordt nog gewerkt aan een beginnersniveau (Breakthrough
oftewel ‘Doorbraak’) en het ‘Can do’-project draagt bij tot de karakterisering van dat niveau. Het
verband tussen de beide kaders kan als volgt worden weergegeven:
222
Gemeenschappelijk Europees Referentiekader voor Moderne Vreemde Talen: Leren, Onderwijzen, Beoordelen