Gemeenschappelijk Europees Referentiekader voor Moderne ...

toeristische schalen als anker was gebaseerd op de veronderstelling dat op deze gebieden een algemene
kern van taalvaardigheid is vereist en dat zij daarom geacht mogen worden het beste referentiepunt op
te leveren voor een vergelijking met de werk- en studieschalen.
Tekstrevisie
Naar aanleiding van de eerste fase zijn de teksten van de schalen gereviseerd. In het bijzonder zijn uitspraken
met een negatieve gerichtheid verwijderd, omdat deze uit statistisch oogpunt problematisch
bleken en niet helemaal geschikt leken voor beschrijvingen van taalvaardigheidsniveaus. Hier zijn twee
voorbeelden van het soort wijzigingen dat is aangebracht:
1. Negatieve uitspraken werden herschreven als positieve uitspraken met behoud van de oorspronkelijke
betekenis:
Deze uitspraak: KAN NIET meer beantwoorden dan eenvoudige, voorspelbare vragen.
werd veranderd in: KAN eenvoudige, voorspelbare vragen beantwoorden.
2. Uitspraken die dienden als negatieve kwalificatie bij een uitspraak op een lager niveau werden
gewijzigd in positieve uitspraken bedoeld om een hoger niveau te beschrijven.
Deze uitspraak: KAN GEEN onzichtbare symptomen beschrijven zoals verschillende soorten pijn, bijvoorbeeld
‘dof’, ‘stekend’, ‘kloppend’, enzovoort.
werd veranderd in: KAN onzichtbare symptomen beschrijven zoals verschillende soorten pijn, bijvoorbeeld ‘dof’,
‘stekend’, ‘kloppend’, enzovoort.
Verband tussen de ‘Can do’-uitspraken en de ALTE-examens
Na de eerste kalibratie van de ‘Can do’-uitspraken en de hiervoor beschreven tekstrevisie is aandacht
besteed aan de afstemming van de schalen op andere indicatoren van het taalniveau. We hebben
vooral gekeken naar de resultaten van ALTE-examens en de relatie tussen de ‘Can do’-schalen en de
Referentieniveaus van de Raad van Europa.
Vanaf december 1998 zijn gegevens verzameld om de ‘Can do’-zelfbeoordelingen op verschillende
niveaus te koppelen aan scores in examens van het UCLES (University of Cambridge Local
Examinations Syndicate) op basis van het Referentiekader. Daarbij werd een heel duidelijk verband
vastgesteld, waardoor het mogelijk werd een examencijfer te interpreteren en te beschrijven in termen
van typische profielen van ‘Can do’-vermogens.
Wanneer de ‘Can do’-scores echter zijn gebaseerd op zelfevaluatie en afkomstig zijn van heel uiteenlopende
landen en groepen respondenten, constateren we enige variatie in de perceptie van hun eigen
vaardigheden bij respondenten. Dat wil zeggen, mensen begrijpen de uitspraken niet allemaal hetzelfde,
om redenen die deels te maken kunnen hebben met factoren als leeftijd en culturele achtergrond. Bij
sommige groepen respondenten verzwakt dit de correlatie met hun examencijfers. Met analytische
methoden is getracht een zo helder mogelijk verband aan te tonen tussen de zelfbeoordelingen en de
criteria voor vaardigheidsniveaus zoals aangeduid met examencijfers. Er zal waarschijnlijk aanvullend
onderzoek op basis van ‘Can do’-scores door ervaren beoordelaars nodig zijn om de relatie tussen
examencijfers en typische ‘Can do’-profielen volledig te karakteriseren.
Een conceptueel probleem dat in dit verband moet worden besproken betreft de notie ‘beheersing’:
wat bedoelen we precies met ‘kunnen’? Er is een definitie vereist die aangeeft in hoeverre we verwachten
dat iemand op een bepaald niveau bepaalde taken kan uitvoeren. Moet het zeker zijn dat deze persoon
de taak altijd perfect zal uitvoeren? Dat zou een te strenge eis zijn. Aan de andere kant zou 50 procent
kans op succes weer te laag zijn om te gelden als ‘beheersing’ van de taak.
Er is gekozen voor 80 procent, omdat dat percentage vaak bij domein- of criteriumgebonden
toetsen wordt gehanteerd als indicatie van beheersing op een bepaald gebied. Dus kandidaten
die slagen voor een ALTE-examen op een bepaald niveau zouden 80 procent kans moeten hebben om
de taken te kunnen uitvoeren die op dat niveau worden beschreven. De tot nu toe onder Cambridgeexamenkandidaten
verzamelde gegevens wijzen uit dat dit getal goed overeenkomt met de gemiddelde
waarschijnlijkheid dat zij ‘Can do’-uitspraken op het relevante niveau onderschrijven. Deze verhouding
blijkt tamelijk constant te zijn voor alle examenniveaus.
Door ‘kunnen’ op deze wijze expliciet te definiëren hebben we een basis gelegd voor de interpretatie
van bepaalde ALTE-niveaus in termen van ‘Can do’-vaardigheden.
Hoewel het verband met examenresultaten tot nu toe gebaseerd is geweest Cambridge-examens,
worden ook nog altijd gegevens verzameld om de ‘Can do’-uitspraken te koppelen aan prestaties in
Gemeenschappelijk Europees Referentiekader voor Moderne Vreemde Talen: Leren, Onderwijzen, Beoordelen 221