Evaluatie tweede periode pilots COE (pdf) - Steunpunt taal en ...

CENTRAAL ONTWIKKELDE
EXAMENS T & R
Evaluatie P2 (nov/dec 2012)
Jan Paul de Vries
29-01-13

PROGRAMMA
a. Consequenties van uitstel invoeringsjaar
b. Terugblik
1. Inhoud examens
2. Techniek van digitale examinering
3. Organisatie en logistiek
4. Procedures
Pauze (15.00 uur)
c. Overige zaken
• Publicatie voorbeeldexamens
• Losse rekenmachine
• Examenblad mbo
• Raadpleging syllabi
• Referentiesets onderzoek
• Netwerkbijeenkomsten contactpersonen

VERLENGING PILOTFASE
• Dit jaar is niet meer laatste pilotjaar voor 3F dus de
vrijstellingsregeling (dit jaar behaalde voldoende levert vrijstelling
op voor diplomering volgend jaar) geldt niet meer!
• Pilotfase gaat door!
• Examineren van referentieniveaus (instroom vanaf 2010) is
verplicht, dus gebruik deelname aan pilotexamens om op te schalen
en noodzakelijke ervaring op te doen;
• Uitwerking slaag-/ zakbeslissing met nieuw cohortenschema volgt
(OCW en Steunpunt);
• MBO Raad maakt format voor brief aan studenten over belang van
deelname aan pilotexamens;

OPSCHALING
Aantallen afnames waarover Cito data ontvangen heeft:
2F
Taal: 8.851 (jan.2012: 7.346)
Rekenen: 9.011 (jan. 2012: 6.095)
3F
Taal: 15.214 (juni: 10.570)
Rekenen: 14.549 (juni: 10.871)
Opschaling is een feit!!

INHOUD
Ervaringen vanuit enquêtes onder studenten
respons:
2F: 2841
3F: 6179
Examenduur:
Voor 2F voldoende
Voor 3F rekenen niet voldoende (10% heeft rekenen niet af binnen
120 minuten)

Uit enquêtes deelnemers:
INHOUD
• Vooral rekenen 3F, te lang, te complex, te veel leeswerk;
• Rekenmachine functioneert niet goed: onjuiste afronding en
beperkte functionaliteiten!
• Niet terug kunnen bladeren blijft een groot bezwaar.

Resultaten
INHOUD
Procedure normering en cesuurbepaling (IRT):
1. Items die onjuist zijn of geen correcte informatie opleveren
worden buiten beschouwing gelaten;
2. Via anker wordt door equivalering bepaald waar de cesuur zou
komen te liggen;
3. Van elk item wordt bepaald in welke mate het de beoogde
vaardigheid meet;
4. Standaardsetting door experts wordt geprojecteerd op toets;
5. CvE neemt besluit.
Cesuurbepaling is populatie-onafhankelijk!
In de toekomst normering vooraf via referentiesets!
Zie notitie over cesuurbepaling (website CvE)

Resultaten
2F: eigenlijk 2 e meting;
INHOUD
• Taal resultaten iets beter dan vorig jaar
• Rekenen resultaten ongeveer gelijk aan vorig jaar;
Voor mbo-1 slechts 65 deelnemers dus geen conclusies mogelijk.
Cesuur rekenen lag iets hoger dan in januari.
Rekenen:
27% van de respondenten geeft aan rekenlessen gehad te hebben
ter voorbereiding;
Aansluiting van rekenlessen op pilotexamens blijft punt van
aandacht.

Resultaten
3F: 4 e meting
INHOUD
Vaardigheid voor Taal lijkt iets toegenomen t.o.v. vorig jaar!
Resultaten voor Rekenen vertonen lichte verbetering, is nog
teleurstellend!
Beoogde reductie van complexiteit heeft nog niet geleid tot betere
‘maakbaarheid’.
Rekenmachine moet aangepast worden (meer en betere
functionaliteiten).
Slechts 28% van de respondenten heeft rekenlessen gehad;

TECHNIEK
Uit enquêtes (IT-deskundigen/systeembeheer, N=10/12):
1. Installatie van ExamenTester verloopt zonder problemen;
2. Tijdens afname geen noemenswaardige problemen!
3. Tevredenheid over ondersteuning vanuit ICT examen-helpdesk
(Cito).
NB: geen gebruik gemaakt van Helpdesk tijdens verlengde
openstelling!
Dus voor P4 vastgestelde openingstijden:
ma t/m vr van 8.00 tot 17.30 uur
Buiten afnameperiode: 8.30 – 17.00 uur

LOGISTIEK & ORGANISATIE
Uit enquêtes toetsleiders (N= 19/33)
Afname goed verlopen;
Opschaling naar grotere aantallen geeft geen onoverkomelijke
problemen;
Distributie via Cito portal loopt goed!

Aandachtspunten voor CvE/Cito:
LOGISTIEK & ORGANISATIE
• Rapportages in de toekomst ook via Portal;
• Aanvulling servicedocument ExamenTester op enkele punten:
• Stand-alone afname (locaties zonder internetverbinding);
• Aanwijzingen rondom archiveren en opschonen bestanden in
TestManager;
• Inzet/toewijzing verschillende varianten!
• Tijdslot packages m.i.v. 2013-2014 bij start (voorkomen van afname
buiten periode om!).
• Aanpassingen in rekenmachine;

PROCEDURES
1. Procedures rondom dyslexie werken;
2. Nadere ervaring met aangepaste versies voor visueel en auditief
beperkten;
3. Ervaringen met ongeldig verklaren van individuele afname;
4. Errata!

PAUZE

PUBLICATIE VOORBEELDEXAMENS
Nieuwe voorbeeldexamens
2F:
• Voorbeeldexamens 2013 in ExamenTester vanaf 30-01-13 te
downloaden via portal (gewone versie + dyslexie-variant);
• Voorbeeldexamens 2012 in html: vanaf 05-02-13 via website Cito
(demoversie van taal in filmpje: vanaf 14-02-13);
3F:
• Voorbeeldexamens 2013 in ExamenTester vanaf 19-02-13 te
downloaden via portal (gewone versie + dyslexie-variant);
• Voorbeeldexamens 2012 in html: vanaf 19-02-13 via website Cito
(demoversie van taal in filmpje ongewijzigd);

LOSSE REKENMACHINE
Publicatie van losse applicatie om te oefenen was toegezegd voor begin
dit jaar.
Er blijken meer onvolkomenheden te zitten in de rekenmachine dan
alleen traagheid en haperingen!
Twee soorten problemen:
• onjuiste bewerkingen (afrondingen)
• gebrekkige functionaliteit
CvE beraadt zich met Cito wat dit betekent voor de rm binnen
ExamenTester voor 2013-2014; mogelijk andere applicatie, dit besluit
heeft consequenties voor uitrol losse applicatie!
Wijzigingen per 2013-2014!

EXAMENBLAD MBO
In de toekomst 1 loket voor alle regelgeving die geldt voor de COE’s;
Dat wordt Examenblad MBO:
• website met regels (syllabi, examenduur, periodes, hulpmiddelen,
afname-protocol, regels voor kandidaten met een beperking etc.)
• Communicatiesysteem (adresbestanden: examencommissie en
overige belanghebbenden);
Dit jaar een proef met website (informatieplatform)
vervolgens geleidelijk over naar mailsysteem;
Goed afstemmen met huidige gang van zaken rond communicatie!

RAADPLEGING SYLLABI
Nieuwe concept-syllabi geredigeerd voor syllabuscommissies taal en
rekenen mbo;
• Betere afstemming tussen syllabi 2F en 3F ;
• Zo mogelijk meer helderheid en duidelijkheid voor docenten;
• Aandachtspunt complexiteit bij rekenen (in de concepten meer
contextloze opgaven);
Vanaf 1 februari start digitale veldraadpleging;
Raadpleging loopt tot 24 februari, daarna definitieve syllabi die gaan
gelden voor 2013-2014;

Afnames Referentiesets in mbo
Afnameperiode: 22 april t/m 17 mei 2013
Welke toetsen zijn beschikbaar?
• 2F rekentoets (papier) 90 minuten
• 3F rekentoets (papier) 90 minuten
• 2F Nederlands leesvaardigheid (papier) 90 minuten
• 3F Nederlands leesvaardigheid (papier) 90 minuten
Toetsen zijn inzetbaar als instellingsexamen rekenen en Nederlands
leesvaardigheid:
• Naast een pilot COE of eigen instellingsexamen (als extra oefening of
kans).
• In plaats van een pilot COE of eigen instellingsexamen.
Doelgroep: studenten die zich in het tweede deel van hun opleiding
bevinden (gelijk aan pilot COE’s).
Inschrijven kan via referentiesets-mbo.cito.nl.
Vragen? www.referentiesets.nl; referentiesets@cito.nl; p.haenen@cve.nl.

BIJEENKOMSTEN CONTACTPERSONEN COE
• Netwerkbijeenkomst contactpersonen op dinsdagmiddag 16 april
(Domstad);
• Geen evaluatiebijeenkomsten meer over P3 en P4;
• Geen werkconferentie in mei;
• Mogelijk bijeenkomsten rondom CES in najaar 2013;