Teori og Praksis for Multiple Choice Prøver

Teori og Praksis for 

Multiple Choice Prøver 

Michael I. Schwartzbach 

INSTITUT FOR DATALOGI 

SCIENCE AND TECHNOLOGY 

AARHUS UNIVERSITET

Multiple Choice ved Datalogi 

Anvendt i mange datalogikurser siden 2006: 

› Oversættelse 

› Databaser 

› Webteknologi 

› Programmingssprog 

› Dynamiske Algoritmer 

› Randomiserede Algoritmer 

› Serverbaseret Webprogrammering 

› Klientbaseret Webprogrammering 

› Interaktionsdesign 

Omfattende erfaring efterhånden 

› omkring 80 prøver afholdt 

› omkring 6000 individuelle eksaminationer 



AARHUS UNIVERSITET

Multiple Choice på universitetet? 

Giver en individuel komponent til gruppeprojekter 

› Oversættelse: 70% projekt, 30% multiple choice 

› Dynamiske Algoritmer: 50% projekt, 50% multiple choice 

› Databaser: 60% projekt, 50% multiple choice 

Dette er verificeret at være en lovlig eksamensform 

› men nok ikke 99% projekt, 1% multiple choice 

Fordele 

› uniform og fair bedømmelse 

› skalerer godt til store kurser 

› lille indsats fra censor 

› eliminerer to ugers mundtlig eksamen (som tidligere) 

› absolut brugbar til at adskille gruppemedlemmer 



AARHUS UNIVERSITET

Udfordringer ved Multiple Choice 

Design af spørgsmålene 

› alignment med læringsmålene? 

› mere end udenadslære? 

Bedømmelse af besvarelserne 

› hvordan kommer man fra x‘er til procenter? 

› hvordan belønner man delvis viden? 

Afholdelse af prøven 

› papir eller computer? 

› hvordan undgår man snyd? 

› hvordan håndterer man 150 studenter? 



AARHUS UNIVERSITET

Strukturen af Multiple Choice prøver 

Et antal uafhængige spørgsmål 

› hvert spørgsmål har netop et rigtigt svar 

› de forkerte svar virker alle lige rimelige 

› svarene gives ved et eller flere X’er 

Question 50 

Which city is a capital? 

a New York 

b Beijing 

c Aarhus 

Ingen hjælpemidler, et minut per spørgsmål 



AARHUS UNIVERSITET

Forskellige slags svar 

rigtig 

delvist 

rigtig 

Question 50 


a New York 

b X 

Beijing 

c Aarhus 

Question 50 


X 

a New York 

b X 

Beijing 

c Aarhus 



AARHUS UNIVERSITET 

Question 50 


X 

a New York 

b Beijing 

c Aarhus 

Question 50 


X 

a New York 

b Beijing 

c Aarhus 

X 

forkert 

meget 

forkert

Myter om Multiple Choice 

Myte: Det er den dovne lærers valg 

Faktum: Arbejdet flyttes fra retning til planlægning 

Myte: Det opfordrer til tom udenadslære 

Faktum: Det afhænger af, hvad du spørger om 

Myte: Dårlig alignment med læringsmål (SOLO) 

Faktum: Ikke hvis man er lidt kreativ 

Myte: Studenter kan omgå prøven med strategier 

Faktum: Simple løsninger om et øjeblik 



AARHUS UNIVERSITET

Dårlige spørgsmål 

for let 

Question 9 

The javac compiler 

works for programs 

written in: 

a C# 

b Java 

c Snobol 

dovne forkerte svar 




tom udenadslære 

Question 13 

The 7th line in the algorithm to 

compute FIRST sets is: 

a then NULLABLE[X] = true 

b FIRST[Z]

Gode spørgsmål 

Question 8 

Consider the method invocation 

A.B(1,2,3). To which category 

can A not belong? 

a A class name 

bX A package name 

c A non-static field name 

d A local name 

e A static field name 

dybt kendskab og ræsonnement 




Question 43 

Which Java code could correspond 

to the following JVM code? 

iload 1 

ldc_int 1 

iadd 

dup 

istore 2 

a x = x + y; 

b x = x + 1; 

c x = x + 2; 

dX x = y + 1; 

avancerede udregninger

Bedømmelse af Multiple Choice prøver 

Question 1 

Which city is largest? 

X 

a New York 

b Beijing 

c Aarhus 

X 

Question 50 


a New York 

b X 

Beijing 

c Aarhus 




score 

Max score 

Min score 

bedøm 

12 

10 

7 

4 

02 

00 

-3

Scoring af Multiple Choice 

Spørgsmålene er uafhængige, så hvert scores separat 

Relevante data for et spørgsmål: 

k er antallet af mulige svar 

a er antallet af krydser, der sættes 

c angiver om det rigtige svar er krydset af 


scoren for er S(3,2,1) = ??? 




Question 50 

a X 

New York 

b X Beijing 

c Aarhus

Slet ikke oplagt! 

Mange muligheder: 

› et point for rigtige svar, 0 for forkerte 

› et point for rigtige svar, -1 for forkerte, 0 for blanke 

Delvis viden? 

› brøkdelen af blanke for rigtige svar, 0 for forkerte 

Let at blive til grin: 



AARHUS UNIVERSITET

Ingen viden giver intet 

S(k,k,1) = S(k,0,0) = 0 

Question 50 


X 

X 

X 

a New York 

b Beijing 

c Aarhus 




er det samme som 

Question 50 


a New York 

b Beijing 

c Aarhus

Rigtige svar er bedre 

S(k,a,1) > S(k,a,0) 

Question 50 


a New York 

b X 

Beijing 

c Aarhus 




er bedre end 

X 

Question 50 


a New York 

b Beijing 

c Aarhus

Forkerte krydser er dårlige 

S(k,a,c) ≤ S(k,b,c), for a ≥ b 

Question 50 


X 

a New York 

b X 

Beijing 

c Aarhus 




er værre end 

Question 50 


a New York 

b X 

Beijing 

c Aarhus

Viden er konstant 

S(k 1,a 1,1) + S(k 2,a 2,1) = S(k 1k 2,a 2a 2,1) 

Question 50 


a New York 

b X Beijing 

c Aarhus 

X 

Question 51 

Which ocean is largest? 

a Atlantic 

b Pacific 

X 




er ligesom 

Question 50+51 

Which city is a capital and which 

ocean is largest? 

a New York and Atlantic 

b Beijing and Atlantic 

c Aarhus and Atlantic 

d New York and Pacific 

e X 

Beijing and Pacific 

f Aarhus and Pacific 

X

Gætteri giver i gennemsnit intet 

k-1 

a-1 

k-1 

a 

( ) ( ) 

Question 50 

S(k,a,1) + S(k,a,0) 


( 

k 

) a 




Question 50 


= 0 

S( a X 

New York ) + S( a New York ) a + X 

S( New York 

) = 0 

b X Beijing 

b X Beijing 

c Aarhus 

c X 

Aarhus 

Question 50 


b Beijing 

c X Aarhus

Kun een rigtig måde at score på! 

Lidt indviklet, men pyt: 

S(k,a,c) = 

(samarbejde med Gudmund Frandsen) 

Rigtige svar bedømmes efter den afgivne information 

Forkerte svar straffes så let som muligt 

Respekterer Socrates: 

forkert viden er værre end ingen viden! 




{ 

0 hvis a = 0 og k = a 

log(k/a) hvis k > a > 0 og c =1 

-a/(k-a) log(k/a)hvis k > a > 0 og c = 0

Papir eller computer? 

Science and Technology tillader lige nu ikke digital eksamen 

› ministeriet kræver en løsning til sommeren 2012 

Papirkopier er uigendrivelige (ligesom stemmesedler) 

Det er nogle gange nødvendigt at fixe dårlige spørgsmål 

› ignorer spørgsmålet 

› giv alle fuld kredit 




X 

X

Snyd og strategier 

Hvert eksamenssæt er unikt permuteret 

› spørgsmålene kommer i tilfældig rækkefølge 

› svarene for hvert spørgsmål kommer i tilfældig rækkefølge 

Undgår meningsløse stategier eller myter 

› ”vælg aldrig den samme svarmulighed tre gange i træk” 

› ”vælg altid svar fra midten” 

Fjerner effektivt muligheden for snyd 

› hvad du ser er næsten helt sikkert forkert for dig 



AARHUS UNIVERSITET

Multiple Choice prøve i dette lokale 



AARHUS UNIVERSITET

Validering af Multiple Choice 

Resultaterne ligner almindelige eksamener: 

35 

30 

25 

20 

15 

10 

5 

0 

0 10 20 30 40 50 60 70 80 90 

Multiple Choice eksamen skal adskille gruppemedlemmer 

› 85% sammenfald med hjælpelærernes gæt på forhånd 

› op til to karakterers forskel samlet er ikke usædvanligt 



AARHUS UNIVERSITET

Teori og Praksis for Multiple Choice Prøver

You also want an ePaper? Increase the reach of your titles

Delete template?

Save as template?