Presentatie Proeven aan Proeve, de ontwikkeling van een ...
Presentatie Proeven aan Proeve, de ontwikkeling van een ...
Presentatie Proeven aan Proeve, de ontwikkeling van een ...
Transform your PDFs into Flipbooks and boost your revenue!
Leverage SEO-optimized Flipbooks, powerful backlinks, and multimedia content to professionally showcase your products and significantly increase your reach.
<strong><strong>Proeve</strong>n</strong> <strong>aan</strong> <strong>Proeve</strong><br />
Frank Benneker<br />
On<strong>de</strong>rwijs- en On<strong>de</strong>rzoek Diensten groep<br />
Informatiseringscentrum
ODG - Wereld<br />
Zelfbouw<br />
personal pages aca<strong>de</strong>mic staff<br />
Community<br />
(Open)<br />
Source<br />
Maple-TA<br />
QMP<br />
Stu<strong>de</strong>nt Homepages<br />
Studiegids<br />
Euphorus<br />
Blackboard<br />
U-drive<br />
mediasite / webcolleges<br />
Evasys<br />
streaming media server<br />
Closed Source<br />
interfaces<br />
Mieloso<br />
MijnUvA (Uportal)<br />
UVA COMMUNITIES (Sakai)<br />
mediamosa<br />
Portfolio (SAKAI)<br />
UvAwiki<br />
“Cloud” services
Rol <strong>van</strong> Toetsen<br />
Toetsen dicteert het studiegedrag <strong>van</strong> stu<strong>de</strong>nten in<br />
belangrijke mate<br />
On<strong>de</strong>rwijs ontwikkelen: begin bij <strong>de</strong> toets<br />
Bron: Silverster Draaijer, slot congres <strong>Proeve</strong> Programma
Vormen <strong>van</strong> (digitaal) toetsen<br />
Selectie Sturing Beoor<strong>de</strong>ling<br />
Diagnostisch Formatief Summatief<br />
Ingangstoets Voortgangstoets Eindtoets
De feedback <br />
Dit is <strong>een</strong> schermafdruk <strong>van</strong> PLATO-IV,<br />
(Programmed Logic Automated Teaching<br />
Operations)<br />
Een ICT on<strong>de</strong>rwijssysteem dat in gebruik was<br />
<strong>aan</strong> <strong>de</strong> UvA tussen 1977- 1979. Het i<strong>de</strong>e was<br />
om <strong>een</strong> wereldwijd netwerk opzetten <strong>van</strong><br />
Plato systemen die on<strong>de</strong>rwijsmateriaal en<br />
toetsen zou<strong>de</strong>n uitwisselen.<br />
In 1985 was Plato-IV bij meer dan 100<br />
campussen in gebruik.<br />
Plato is ontwikkeld <strong>aan</strong> <strong>de</strong> Universiteit <strong>van</strong><br />
Ilinois <strong>van</strong>af 1960.<br />
Bron: Computer Museum UvA<br />
http://www.science.uva.nl/museum/PLATO.html
Toetsen ≠ Nieuw<br />
Digitaal Toetsen ≠ Nieuw<br />
Interior of Pressey Testing Machine showing<br />
punchcard answer key.<br />
Patent dates 1928 and 1930.
Vrij naar Mieke Jaspers en Marianne Scha<strong>de</strong> (2002)
Studiesucces : Aspects of formative assessment<br />
Teacher<br />
Peer<br />
Learner<br />
Where the learner is<br />
going<br />
Clarify and share<br />
learning intentions<br />
Un<strong>de</strong>rstand and<br />
share learning<br />
intentions<br />
Un<strong>de</strong>rstand learning<br />
intentions<br />
Where the learner is How to get there<br />
Engineering effective<br />
discussions, tasks and<br />
activities that elicit<br />
evi<strong>de</strong>nce of learning<br />
Providing feedback<br />
that moves learners<br />
forward<br />
Activating stu<strong>de</strong>nts as learning<br />
resources for one another<br />
Activating stu<strong>de</strong>nts as owners<br />
of their own learning<br />
Bron: Dylan Wiliam<br />
www.dylanwiliam.net
Waarom <strong>Proeve</strong> & Studiesucces<br />
Verhoog<strong>de</strong> personeelsbelasting door:<br />
Groter <strong>aan</strong>tal toetsen<br />
Ingangstoetsen,<br />
BaMa structuur,<br />
Ren<strong>de</strong>menten moet omhoog<br />
Grotere groepen (stu<strong>de</strong>nten<strong>aan</strong>tallen)<br />
Mo<strong>de</strong>rn on<strong>de</strong>rwijs vraagt om:<br />
An<strong>de</strong>re vaardighe<strong>de</strong>n<br />
Aansluiten bij belevingswereld stu<strong>de</strong>nt<br />
Aantrekkelijkere toetsvormen<br />
Internationale <strong>aan</strong>pak
Waarom digitaal ....<br />
nieuwe toetsvormen mogelijk door b.v. <strong>de</strong> introductie <strong>van</strong>:<br />
Nieuwe vraagtypen , b.v. “spoken response”<br />
Inzet <strong>van</strong> multimedia in <strong>de</strong> opdracht<br />
Ontsluiting <strong>van</strong> meer<strong>de</strong>re bronnen tij<strong>de</strong>ns <strong>een</strong> toets<br />
Introductie <strong>van</strong> itembanken draagt bij <strong>aan</strong> het hergebruik <strong>van</strong><br />
toetsvragen en <strong>de</strong> kwaliteit <strong>van</strong> toetsen<br />
ver<strong>een</strong>voudigt <strong>de</strong> <strong>ontwikkeling</strong> en inzet <strong>van</strong> “tussen toetsen” en<br />
diagnostische & formatieve toetsen<br />
kan <strong>een</strong> bijdrage leveren <strong>aan</strong> <strong>een</strong> optimalisatie <strong>van</strong> het proces <strong>van</strong><br />
creëren, <strong>aan</strong>bie<strong>de</strong>n en verwerken <strong>van</strong> toetsen & toetsresultaten
Een fictieve rekensom voor <strong>een</strong> business case<br />
Casus Bachelor stu<strong>de</strong>nt (er zijn 18.000 bachelor stu<strong>de</strong>nten)<br />
Summatief<br />
10 tentamens per jaar; 1 tentamen is digitaal (10 %)<br />
UvA breed zijn dit 18.000 tentamens (volledig digitaal)<br />
tijdwinst voor het verwerkingsproces is 30 min<br />
besparing in uren : 9000 ( +/- 6 fte)<br />
Formatief<br />
20 tussen toetsen per jaar ; 10 digitaal ( 50%)<br />
UvA breed zijn dit 180.000 tussentoetsen (volledig digitaal)<br />
tijdwinst voor het verwerkingsproces is 10 min<br />
besparing in uren : 30.000 (+/- 20 fte)
<strong>Proeve</strong> : <strong>een</strong> opdracht voor advies over digitaal toetsen<br />
Doel:<br />
On<strong>de</strong>rzoeken of <strong>een</strong> ICT instrument voor toetsing <strong>een</strong><br />
bijdrage kan leveren <strong>aan</strong> <strong>de</strong> kwaliteitsverbetering in het<br />
on<strong>de</strong>rwijs.<br />
December 2009:<br />
Advies <strong>aan</strong> <strong>de</strong> ICT & O programmaraad dat ingaat op <strong>de</strong><br />
eisen en randvoorwaar<strong>de</strong>n voor het ontwikkelen <strong>van</strong> ICT<br />
dienstverlening om innovatief gebruik te maken <strong>van</strong> ICT<br />
instrumenten voor formatief en summatief toetsen
G<strong>een</strong> selectie voor <strong>een</strong> (centraal) toetssysteem<br />
<strong>aan</strong> <strong>de</strong> start <strong>van</strong> <strong>Proeve</strong> maar <strong>een</strong> perio<strong>de</strong> <strong>van</strong><br />
centraal on<strong>de</strong>rsteun<strong>de</strong> projecten en grassroots<br />
met toets oplossingen naar keuze & inzicht
Wat is er gevraagd <strong>aan</strong> die projecten en grassroots ?<br />
Rol in het On<strong>de</strong>rwijsproces<br />
Itembanken en toetsconstructie<br />
Efficiency voor<strong>de</strong>len<br />
Toets- en itemanalyse<br />
Werken met complexe vragen<br />
Verwerking <strong>van</strong> open vragen<br />
Automatische feedback<br />
Toetsafname<br />
<br />
<br />
Grote & Kleine groepen<br />
Formatief & Summatief
Terugkoppeling uit <strong>de</strong> praktijk<br />
Digitaal toetsen zorgt voor <strong>een</strong> <strong>aan</strong>zienlijke tijd- en kostenbesparing. Artsen hoeven<br />
<strong>een</strong>maal per jaar hun vragen <strong>aan</strong>leveren (itt meer<strong>de</strong>re malen per jaar) maar hun werk<br />
wordt nog meer verlicht doordat zij g<strong>een</strong> (handmatig) corrigeer- en invoerwerk mee<br />
hoeven te verrichten. Dit kost gemid<strong>de</strong>ld 3 uur bij <strong>een</strong> overwegend standaard<br />
mo<strong>de</strong>lantwoord tot 8 uur bij <strong>een</strong> complexer antwoord:<br />
Ook het secretariaat <strong>van</strong> <strong>de</strong> Klinische Lijntoets heeft profijt <strong>van</strong> <strong>de</strong> elektronische<br />
afname. Zo krijgen stu<strong>de</strong>nten voort<strong>aan</strong> <strong>een</strong> naar on<strong>de</strong>r<strong>de</strong>el gespecificeer<strong>de</strong> emailrapportage<br />
waardoor er g<strong>een</strong> inzage in <strong>de</strong> toets mogelijk gemaakt hoeft te<br />
wor<strong>de</strong>n. Ook vervalt voor hen <strong>de</strong> logistiek rond <strong>de</strong> bezwaarschriften <strong>van</strong> stu<strong>de</strong>nten op<br />
<strong>de</strong> scoring <strong>van</strong> hun vragen.<br />
Centraal staat <strong>de</strong> geïntegreer<strong>de</strong> toetsing <strong>van</strong> taalvaardigheid,<br />
waarbij gebruik wordt gemaakt <strong>van</strong> verschillen<strong>de</strong> media (vi<strong>de</strong>o,<br />
audio, tekst, opnamemogelijkhe<strong>de</strong>n <strong>van</strong> <strong>de</strong> stem <strong>van</strong> <strong>de</strong> stu<strong>de</strong>nt).
Daarnaast willen we stu<strong>de</strong>nten <strong>de</strong> mogelijkheid geven zelf te<br />
kunnen oefenen met <strong>de</strong> stof, feedback te ont<strong>van</strong>gen en zo<br />
stu<strong>de</strong>nten inzicht te geven in <strong>de</strong> wijze waarop ze <strong>de</strong> stof beheersen<br />
Onze huidige summatieve toets kan niet in <strong>een</strong> vali<strong>de</strong> toetssetting wor<strong>de</strong>n afgenomen.<br />
Met <strong>een</strong> online itembank gevuld met vali<strong>de</strong> vragen kan <strong>een</strong> veel betrouwbaar<strong>de</strong>r<br />
toetssetting wor<strong>de</strong>n gecreëerd. Daarbij wordt <strong>de</strong> invloed <strong>van</strong><br />
begelei<strong>de</strong>rs/antwoordbeoor<strong>de</strong>laars (subjectiviteit) uitgeschakeld, want overgenomen<br />
door <strong>de</strong> in QMP ingebouw<strong>de</strong> feedback en antwoor<strong>de</strong>n.<br />
Digitale toetsen zijn zeer geschikt voor grootschalig statistiekon<strong>de</strong>rwijs. Het on<strong>de</strong>rwijs kan<br />
geïntensiveerd wor<strong>de</strong>n, door beter en vaker te toetsen, eventueel gepaard g<strong>aan</strong>d met extra<br />
instructie, zon<strong>de</strong>r dat het <strong>een</strong> evenredig grote inspanning <strong>van</strong> <strong>de</strong> statistiekdocenten vraagt.<br />
Statistiekopgaven en extra instructies kunnen gemakkelijk op <strong>een</strong> beeldscherm wor<strong>de</strong>n<br />
<strong>aan</strong>gebo<strong>de</strong>n. In <strong>een</strong> digitale omgeving kunnen, zowel in <strong>de</strong> opgaven als in <strong>de</strong> extra instructie,<br />
grafische presentaties gebruikt wor<strong>de</strong>n, eventueel met dynamische en interactieve elementen<br />
(multimedia).
<strong>Proeve</strong> - Geleer<strong>de</strong> lessen<br />
Techniek is weerbarstig en in sommige gevallen <strong>de</strong> re<strong>de</strong>n voor<br />
sterke frustraties en beperkingen<br />
On<strong>de</strong>rsteuning <strong>van</strong> docenten op <strong>de</strong> werkvloer (technisch en<br />
toetsinhou<strong>de</strong>lijk) is <strong>een</strong> essentiële randvoorwaar<strong>de</strong> maar<br />
kostbaar<br />
Introductie <strong>van</strong> nieuwe mogelijkhe<strong>de</strong>n geeft kansen om<br />
stu<strong>de</strong>nten hun vaardighe<strong>de</strong>n te laten tonen<br />
Digitaal toetsen kan bijdragen <strong>aan</strong> verbetering <strong>van</strong> kwaliteit en<br />
efficiency maar vereist <strong>een</strong> veran<strong>de</strong>ring in het proces <strong>van</strong><br />
creëren, organiseren en <strong>aan</strong>bie<strong>de</strong>n <strong>van</strong> toetsen
Uitdagingen voor On<strong>de</strong>rwijs instituten<br />
Toets<strong>ontwikkeling</strong><br />
Ontwikkelen <strong>van</strong> items & toetsen<br />
Inbedding in <strong>de</strong> opleiding<br />
(formatief & summatief)<br />
Professionalisering <strong>van</strong> docenten<br />
Aandacht in BKO voor digitaal toetsen<br />
Inrichten digitaal kwaliteitsproces
De prijs <strong>van</strong> <strong>Proeve</strong>: het Toetslandschap<br />
Een campusbreed <strong>aan</strong>gebo<strong>de</strong>n Toetslandschap op basis <strong>van</strong> QMP,<br />
Blackboard, Sakai en Maple TA biedt <strong>de</strong> beste <strong>de</strong>kking voor <strong>de</strong><br />
uitgebrei<strong>de</strong> functionaliteiten die gevraagd wordt door me<strong>de</strong>werkers<br />
<strong>aan</strong> <strong>de</strong> UvA.<br />
Inhou<strong>de</strong>lijk en functioneel past het huidige Toetslandschap goed bij<br />
<strong>de</strong> bre<strong>de</strong> vraag naar on<strong>de</strong>rsteuning voor digitaal toetsen.
Elementen in het Toetslandschap<br />
Belangrijke voorwaar<strong>de</strong>n voor <strong>de</strong> UvA<br />
On<strong>de</strong>rsteunen <strong>van</strong> verschillen<strong>de</strong> toetsscenario’s<br />
Statistische analyse <strong>van</strong> items en toetsen<br />
Sturen op kwaliteit <strong>van</strong> items en toetsen<br />
Gegevensverwerking / koppeling <strong>aan</strong> concernsystemen<br />
Blackboard (koppeling cursus/stu<strong>de</strong>nt <strong>aan</strong> toets<br />
SIS-UvA (resultatenregistratie)<br />
IDM (gebruik UvANetID)
Belangrijke voorwaar<strong>de</strong>n voor <strong>de</strong> UvA (vervolg)<br />
On<strong>de</strong>rsteuning voor alle stappen in <strong>de</strong> toetscyclus<br />
Mogelijkheid gebruik mobiele <strong>de</strong>vices (in bre<strong>de</strong> zin)<br />
Meertalige User Interface<br />
Accessibility voor stu<strong>de</strong>nten met <strong>een</strong> functiebeperking<br />
Technologie webbased (in ie<strong>de</strong>r geval afname)<br />
Platform (OS) agnostisch voor stu<strong>de</strong>nten<br />
Goe<strong>de</strong> mogelijkhe<strong>de</strong>n voor localisatie<br />
On<strong>de</strong>rsteuning internationale standaar<strong>de</strong>n<br />
(Standaard) Mogelijkhe<strong>de</strong>n voor integratie met an<strong>de</strong>re UvA<br />
systemen<br />
Toetssoftware moet <strong>een</strong> zekere volwassenheid hebben
Waarom <strong>de</strong>ze diversiteit ?<br />
Verschillen<strong>de</strong> doelgroepen<br />
Sakai : niet regulier on<strong>de</strong>rwijs ;<br />
Blackboard & QMP regulier on<strong>de</strong>rwijs<br />
Formatief an<strong>de</strong>re wensen en eisen dan summatief<br />
Specifieke functionaliteiten<br />
Maple TA<br />
lokale oplossingen<br />
On<strong>de</strong>rsteuning <strong>de</strong>el processen in <strong>de</strong> toetscyclus<br />
Bv Respondus als on<strong>de</strong>rsteun<strong>de</strong> auteursomgeving<br />
Blackboard en Sakai goed in (directe) afname min<strong>de</strong>r<br />
kwaliteitsprocessen<br />
Evasys voor on<strong>de</strong>rwijsevaluaties<br />
QMP & Maple bre<strong>de</strong> <strong>de</strong>kking in toetscyclus
Waar staat <strong>de</strong> UvA ?<br />
Opschalen huidige Toetslandschap (centraal on<strong>de</strong>rsteund)<br />
Focus op diagnostisch en formatieve toetsing<br />
Implementatie campus bre<strong>de</strong> QMP omgeving<br />
Professionaliseren dienstverlening & processen :<br />
Blackboard<br />
Maple TA<br />
UvA Communities (Sakai)<br />
Sourcing strategie ontwikkelen<br />
Werken <strong>aan</strong> on<strong>de</strong>rsteuning voor centraal summatief toetsen<br />
Toetszalen
Advies <strong>van</strong> <strong>de</strong> rector in het<br />
laatste overleg voor <strong>de</strong> vakantie:<br />
“Falen is g<strong>een</strong> optie voor<br />
<strong>een</strong> summatieve(digitale) toets”
Change language