Rapport Selectie aan de poort - Tilburg University, The Netherlands

EVALUATIE SELECTIE AAN DE POORT BIJ DE OPLEIDING BESTUURSKUNDE
1. Inleiding
De opleiding Bestuurskunde heeft van het Ministerie van OCW subsidie ontvangen in het
kader van de experimenten ‘Ruim baan voor talent’ om een procedure te ontwikkelen en
toe te passen voor selectie aan de poort. De experimenten worden gemonitord en
geëvalueerd door de Commissie ‘Ruim baan voor talent’ (Commissie Korthals), die
opdracht heeft gegeven tot diverse evaluaties 1 .
Om het experiment bij de opleiding Bestuurskunde te monitoren heeft het College van
Bestuur een begeleidingscommissie ingesteld. Deze commissie heeft de volgende
taakstelling:
- Kritische analyse van de voorgenomen selectie-instrumenten.
- Evaluatie van de selectieprocedure op efficiëntie en effectiviteit.
De begeleidingscommissie rapporteert aan de SKO (Stuurgroep Kwaliteitszorg
Onderwijs) en is als volgt samengesteld:
Prof.mr.dr. P. Zoontjens (voorzitter) FRW
Dr. C. van Opdorp FRW
Prof.dr. F. van de Vijver FSW
Dr. V. de Vries FEB
Dr. C. van Wijk FGW
D. Deurloo Front
J. Roefs Vrijspraak
A. Schellekens / M. Tilburgs SAM
Dr. Th. van den Heuvel secretaris BU/IB
De leden zijn op persoonlijke titel gekozen.
De begeleidingscommissie heeft driemaal tussentijds gerapporteerd aan de SKO en
presenteert in deze notitie de eindrapportage van het experiment.
Als eerste wordt ingegaan op de selectie-instrumenten. Vervolgens worden kwantitatieve
gegevens gepresenteerd met betrekking tot instroom, doorstroom en
rendementsgegevens van studenten, mede in relatie tot de gebruikte selectieinstrumenten.
Na een presentatie van de mening van docenten en studenten over de
selectie worden ten slotte een aantal conclusies getrokken en aanbevelingen gedaan.
1 De NVAO evalueert de ‘meerwaarde’ van de opleidingen, IVA doet onderzoek naar
tevredenheid docenten, Research voor Beleid naar tevredenheid studenten en ResearchNed
onderzoekt de kenmerken van studenten.
1

2. De selectie-instrumenten
2.1 Doel van selectie
De opleiding Bestuurskunde kent een bijzondere opleidingsfilosofie die zich kenmerkt
door innovatieve werkvormen waarin studenten in een directe onderwijskundige en
professionele relatie leren van hun docenten. Deze onderwijsfilosofie maakt een
kleinschalige opleiding noodzakelijk en vraagt ook specifieke vaardigheden en inzet van
de studenten.
De opleiding is in 2003 gestart en kende vanaf het begin een sterke toename van het
aantal studenten. Het invoeren van een numerus fixus is overwogen om de groei af te
remmen, maar bij deze optie is de aankomend student een (gewogen) lot uit de loterij en
kan er niet geselecteerd worden op geschiktheid voor de opleiding.
Omdat de experimenten in het kader van ‘Ruim baan voor talent’ de mogelijkheid boden
om te selecteren aan de poort is besloten hierin te participeren en voor de opleiding
geëigende selectie-instrumenten te ontwikkelen.
2.2 De selectie-instrumenten 2
Bij het ontwikkelen van de selectie-instrumenten is ernaar gestreefd de studenten te
testen op de volgende criteria:
- Affiniteit, motivatie en interesse
- Werkhouding (discipline, vermogen tot zelfwerkzaamheid)
- Verbaalanalytisch vermogen (abstract en conceptueel kunnen denken)
- Samenwerken (assertiviteit, initiatief, zelfstandigheid, creativiteit,
flexibiliteit)
Hierbij is de uiteindelijke keus gevallen op een viertal instrumenten:
i. Het maken van een groepsopdracht
De groepsopdracht (+/- 5 personen) bestaat uit een simulatiespel waarin de kandidaten
in groepjes voor een opdrachtgever een relevant maatschappelijk probleem analyseren
en daarin een uitweg bieden. Om de beoordeling van de individuele kandidaten
zorgvuldig te laten verlopen is een roulatieschema opgesteld zodat iedere kandidaat
minimaal door drie verschillende docenten beoordeeld wordt. De docenten hebben
hiervoor een speciaal ontworpen beoordelingsformulier gebruikt. De afzonderlijk
ingevulde beoordelingen hebben in een deelcijfer per student geresulteerd.
ii. Het schrijven van een essay
In een ‘opstel’ moeten de kandidaten een maatschappelijk issue weergeven,
analyseren en becommentariëren. Ze zijn daarbij, binnen de gegeven
randvoorwaarden, vrij in de keuze van een onderwerp. Het opstel moet onder
tijdsdruk worden geschreven binnen een tijdsbestek van ongeveer anderhalf uur. Het
opstel kan zowel op de computer als met de hand geschreven worden. Op de
2 Beschrijving ontleend aan: Informatiedossier t.b.v. evaluatie door NVAO
2

selectiedagen bleek dat alle kandidaten de voorkeur gaven aan de computer. Het
essay is door docenten beoordeeld en mondde uit in een deelcijfer.
iii. Het afnemen van psychologische testen
Er wordt bij de kandidaten een tweetal individuele testen afgenomen. Een
persoonlijkheidstest (NEO-PI-R test) en een test gericht op het analytisch vermogen
van de kandidaat (Watson-Glaser test). Per kandidaat zijn de resultaten door een
psycholoog opgemaakt en besproken met de coördinatoren van het selectietraject.
De uitslagen van deze tests zijn uitgedrukt in een deelcijfer 3 .
iv. Het voeren van een eindgesprek
Op basis van de deelcijfers van de eerste drie instrumenten is per student een
eindscore bepaald. Bij een negatieve eindscore is de student geadviseerd de
selectieprocedure te beëindigen. Bij een positieve eindscore is de student
uitgenodigd voor een eindgesprek. Kandidaten die maar net voldoende scoorden,
kregen het predikaat twijfelgeval, maar werden wel uitgenodigd voor het gesprek. Bij
hen is extra aandacht besteed aan het eindgesprek.
In het eindgesprek zijn de resultaten van de selectieonderdelen besproken. De
kandidaat heeft in alle gevallen met twee docenten van de opleiding gesproken. Bij
de categorie twijfelgevallen was steeds een docent van buiten de opleiding
aanwezig.
De gesprekken hebben niet volgens een vooraf vaststaand protocol plaatsgevonden,
hetgeen de repliceerbaarheid van bevindingen ermee nadelig beïnvloedt.
2.3 Uitvoering
De selectieprocedure is tweemaal toegepast: voor de studenten die zich aanmeldden
voor het collegejaar 2005/06 en voor het collegejaar 2006/07.
Het maken van de groepsopdracht, het essay en de psychologische testen had
plaats op één selectiedag. De eerste keer zijn twee van dergelijke dagen
georganiseerd, de tweede keer drie om zo ook nog de studenten die zich laat
aanmeldden bij de selectie te kunnen betrekken.
Na afloop van de procedure ontvangen de kandidaten, op advies van de docenten
van Bestuurskunde, een besluit van de examencommissie over het al dan niet
toegelaten zijn tot de opleiding.
2.4 Tijdsbeslag en kosten van de selectieprocedure 4
In totaal is voor het experiment een subsidie ontvangen van 180.000. Deze
middelen waren bestemd voor het ontwerpen van het experiment, de uitvoering van
het experiment en de verwerking van de resultaten van het experiment.
3 In het tweede jaar is afgezien van het afnemen van de Watson-Glaser test. Deze test bleek
in het voorgaande jaar onvoldoende te discrimineren.
4 Gegevens zijn ontleend aan tussenrapportage van de faculteit d.d. 22 september 2006
3

De personele inzet, in het bijzonder in het eerste jaar van het experiment, is hoog.
Naast de hoogleraar en twee universitair docenten die intensief bij de voorbereiding
en uitvoering van het experiment betrokken waren (de onderwijstrojka) hebben ook
de andere docenten en onderzoekers van de opleiding bijdragen geleverd, met
name op de selectiedagen zelf en bij de beoordeling van de diverse onderdelen van
de selectie. Daarnaast zijn een onderwijscoördinator en diverse student-assistenten
ingezet. Tot slot is in de ontwikkelingsfase gebruik gemaakt van een
onderwijskundig adviesbureau.
De totale personele kosten bedroegen in het eerste jaar 103.000. Omdat in het
tweede jaar geen tijd geïnvesteerd hoefde te worden in de ontwikkeling van het
selectie-instrument, lagen de personele kosten lager: 57.000.
De materiele kosten (zaalhuur, catering, licentie testmateriaal) bedroegen per
selectieronde 17.000.
Geschat wordt dat bij continuering van de selectieprocedure de jaarlijkse kosten op
30.000 uit zullen komen.
4

3. Kwantitatieve gegevens
3.1 Inleiding
De decaan van de faculteit is gevraagd een aantal gegevens ten behoeve van de
evaluatie van het experiment aan te leveren. Op de eerste plaats betrof het
gegevens over instroom, doorstroom, rendement en Bindend Studie Advies (BSA)
die door het ministerie van OCW gevraagd waren. Deze gegevens zijn ook in de
volgende paragraaf verwerkt.
Daarnaast zijn aanvullende gegevens ten behoeve van de evaluatie door de
begeleidingscommissie opgevraagd. Het betreft met name de gegevens over het
voorlopig BSA en de correlaties tussen het gemiddeld VWO-eindexamenpunt en de
scores op de selectietoetsen en de studieresultaten in het eerste jaar. Tevens is
naar het resultaat van de cursusevaluaties gevraagd. Deze gegevens zijn eveneens
in de volgende paragraaf opgenomen.
Opgemerkt moet worden dat de aangeleverde gegevens niet altijd onderling
overeen kwamen. Hiervoor zijn verschillende redenen aan te wijzen: onzorgvuldige
administratie, het hanteren van verschillende definities en het niet volledig
beschikbaar zijn van alle gevraagde gegevens.
3.2 Aangemelde en geselecteerde studenten
In het collegejaar 2005/06 hebben zich 51 studenten aangemeld voor de opleiding,
waarvan er 44 zijn geselecteerd. Al deze studenten zijn ook daadwerkelijk aan de
studie begonnen. In 2006/07 meldden zich 57 studenten aan waarvan er 51 zijn
geselecteerd. Een aantal van hen heeft zich alsnog teruggetrokken 5 . Uiteindelijk
begonnen van deze selectie 45 studenten aan de opleiding.
Het aantal studenten dat zich aanmeldde voor de opleiding was lager dan was
verwacht, gezien de stijgende tendens in het aantal aanmeldingen in de jaren
voorafgaand aan de selectie. Door het geringe aantal aanmeldingen was er sprake
van een ongunstige selectieratio. De selectieprocedure, en dus ook het experiment,
was daarmee in feite weinig zinvol.
3.3 BSA en propedeuserendement
Van het eerste cohort geselecteerde studenten ontvingen 10 studenten (25%) een
negatief BSA. Dit is minder dan bij de overige opleidingen van de faculteit, maar
voor een geselecteerde groep studenten is het nog relatief hoog te noemen. Drie
studenten staakten de opleiding en één student heeft een uitgesteld studieadvies.
Van het tweede cohort is alleen nog bekend wat de pre-BSA-adviezen zijn. 21
studenten (46%) hebben een voorlopig negatief advies ontvangen.
10 studenten (20%) van het eerste cohort hebben het eerste jaar binnen een jaar
voltooid (60 ECTS). Het gemiddeld aantal ECTS dat in het eerste jaar is behaald is
40. Het gemiddeld eindcijfer bedraagt 6,5.
5 Correcte cijfers van de redenen waarom aangemelde studenten niet aan de opleiding zijn
begonnen zijn niet beschikbaar.
5

Van het tweede cohort is het gemiddeld aantal behaalde ECTS in het eerste half
jaar 27. het gemiddeld eindcijfer is een 6,4.
De gemiddelde eindcijfers zijn vergeleken met de cijfers van de studenten uit de
twee voorafgaande studiejaren. Geconcludeerd moet worden dat er geen positief
effect is te meten van selectie aan de poort op de studieprestaties in het eerste
jaar.
3.4 Samenhang eindcijfers VWO, testscores, aantal behaalde ECTS en eindcijfer 1 e
jaar opleiding.
De correlatiecoëfficiënten tussen het gemiddeld eindcijfer VWO, de testscores, het
aantal behaalde ECTS en het gemiddeld eindcijfer van de 1 e jaars vakken worden
weergegeven in tabel 1.
Tabel 1. Correlaties tussen gemiddeld eindexamencijfer vwo, testscores, totaal ECTS na 1
jaar en gemiddeld cijfer voor 1 e jaars vakken.
score
gemiddeld totaal gemiddeld score score psycho-
jaar van
eindexamen ECTS na cijfer 1e groepsopschrijflogische score
inschrijving
cijfer vwo 1 jaar jaarsvakken drachtopdracht test gesprek
2005 totaal ECTS
(N=42) na 1 jaar
Gemiddeld
cijfer 1e
jaars-
,534**
vakken
score
groeps-
,655** ,737**
opdracht
score
schrijf-
,274 ,343* ,415*
opdracht
score
psychologische
,264 ,022 ,215 ,184
test
score
-,011 -,234 ,064 ,197 ,224
gesprek
Gemiddelde
,555** ,482** ,535** ,502** ,302 ,153
testscore ,399* ,232 ,448** ,732** ,700** ,524** ,691**
2006 totaal ECTS
(N=44) na 1 jaar
Gemiddeld
cijfer 1e
jaars-
,250
vakken
score
groeps-
,283* ,847**
opdracht
score
schrijf-
,070 -,122 -,045
opdracht
score
psychologische
,363** -,013 -,011 ,234
test
score
,293* ,357** ,399** ,090 ,155
gesprek
Gemiddelde
,239 -,037 ,012 ,407** ,409 ** ,241
testscore ,389** ,079 ,124 ,571** ,792** ,511** ,795**
* Correlation is significant at the 0.05 level (1-tailed).
** Correlation is significant at the 0.01 level (1-tailed).
6

Als eerste is bezien of het gemiddeld VWO-eindcijfer samenhangt met de
testscores en de studieresultaten na één jaar.
Voor de geselecteerde studenten van de lichting 2005/06 hangt het gemiddeld
eindcijfer vwo sterk positief samen met aantal behaalde ECTS na 1 jaar en met het
gemiddeld cijfer na 1 jaar. Het gemiddeld eindcijfer vwo hangt niet samen met de
scores op de deeltesten Groepsopdracht, Schrijfopdracht en Psychologische test.
Er is daarentegen wel een sterk positieve samenhang met de score op de deeltest
Gesprek en een matig positieve samenhang met de gemiddelde testscore.
Voor de geselecteerde studenten van de lichting 2006/07 hangt het gemiddeld
eindcijfer vwo daarentegen niet samen met het aantal behaalde ECTS na een half
jaar. Er is wel een lichte positieve samenhang met het gemiddeld cijfer na een half
jaar. Er is geen samenhang met de scores voor Groepsopdracht en Gesprek, maar
wel een matig positieve samenhang met de score voor de Schrijfopdracht en een
lichte positieve samenhang met de gemiddelde testscore.
Vervolgens is gekeken naar de relatie tussen de testscores en het aantal behaalde
ECTS en gemiddeld cijfer aan het eind van het 1e jaar.
Voor de lichting 2005/06 hangt de gemiddelde testscore niet samen met het aantal
behaalde ECTS na 1 jaar. Er is wel een matig positieve samenhang met het
gemiddeld cijfer na 1 jaar. De score bij de Groepsopdracht en het Gesprek hangen
respectievelijk licht en matig positief samen met het aantal behaalde ECTS, en
respectievelijk matig en sterk met het gemiddelde eindcijfer.
De gemiddelde testscore van de lichting 2006/07 hangt niet samen met aantal
behaalde ECTS na een half jaar en ook niet met het gemiddeld cijfer na een half
jaar. Hier valt daarentegen weer wel een matig positieve samenhang waar te
nemen van de score op de Psychologische test met het totaal aantal ECTS en het
gemiddeld cijfer na een half jaar.
Voor de lichting 2005/06 blijkt er een sterkere positieve samenhang te bestaan
tussen het gemiddeld eindexamencijfer en de studieprestaties in het eerste jaar dan
tussen de gemiddelde testscore en de studieprestaties. Deze samenhang wordt niet
gevonden voor de lichting 2006/07 en de studieprestaties na het eerste half jaar.
Als naar de afzonderlijke testonderdelen wordt gekeken dan blijkt voor de lichting
2005/06 de deelscore op het onderdeel Gesprek het sterkst samen te hangen met
de studieprestaties in het eerste jaar (zelfs sterker dan de totale testscore). Ook dit
resultaat zien we niet terug voor de lichting 2006/07 voor de studieprestaties na een
half jaar.
Geconcludeerd kan worden dat de gemiddelde score van de testen waarmee de
selectie aan de poort is uitgevoerd geen sterke voorspeller voor studiesucces in het
eerste jaar is. Het gemiddeld vwo-eindcijfer lijkt een betere voorspeller van
studiesucces te zijn. Deze resultaten repliceren bevindingen uit veel eerder
onderzoek elders.
Van de deeltesten blijkt de score voor het Gesprek het sterkst samen te hangen
met studiesucces in het eerste jaar. Dit geldt echter alleen voor de eerste lichting.
Omdat er bovendien geen sprake lijkt te zijn van gestandaardiseerde gesprekken,
kan aan deze samenhang weinig waarde worden gehecht.
7

3.7 Resultaten cursusevaluaties
Van zeven vakken uit het collegejaar 2005/06 en vier vakken uit het jaar 2006/07
zijn cursusevaluaties beschikbaar. Voor deze rapportage zijn alleen de gemiddelde
‘rapportcijfers’ voor de perceptie van onderwijskwaliteit van deze vakken bekeken.
Dat zijn de cijfers die studenten in de cursusevaluaties hebben gegeven bij de
vraag: “Mijn eindoordeel over de onderwijskwaliteit van deze cursus in het
algemeen luidt: (uitgedrukt in een cijfer van 1 t/m 10)”.
Uit deze gemiddelde rapportcijfers voor Onderwijskwaliteit valt weinig systematisch
verband te constateren waaruit geconcludeerd zou kunnen worden dat studenten uit
de geselecteerde lichtingen de onderwijskwaliteit hoger waarderen dan de nietgeselecteerde
lichting.
De verwachting dat de perceptie van de kwaliteit van het onderwijs toeneemt door
selectie aan de poort wordt niet ondersteund door de resultaten van de
cursusevaluaties.
3.8 Studieprestaties op vakniveau
Het onderwijsbureau van FRW heeft tenslotte nog gegevens verzameld over de
studieprestaties op vakniveau. Met een variantie-analyse op de gemiddelde
vakcijfers is gekeken of de geselecteerde studenten beter presteren op de
verschillende vakken dan de studenten uit de jaren dat er nog niet geselecteerd
werd.
Er worden weliswaar verschillen in eindcijfers gevonden, maar deze wijzen niet
allemaal in dezelfde richting. Slechts voor één vak wordt een significant verschil in
positieve richting gevonden. Bij het Startseminar zijn de gemiddelde cijfers in resp.
2005 in 2006 hoger dan voor respectievelijk de lichtingen 2003 en 2004.
8

4. Kwalitatieve gegevens
4.1 Ervaringen van docenten met selectie aan de poort
De opleiding Bestuurskunde heeft de bij het selectieproces betrokken docenten
gevraagd naar hun ervaringen met het selectieproces en wat naar hun idee de
effecten van de selectie op het onderwijs zijn. De ervaringen worden hier beknopt
weergegeven 6 .
De docenten hebben het selectieproces ervaren als een zeer intensieve exercitie
waarin zij de studenten snel hebben leren kennen. De breedte van de selectie
zorgde ervoor dat de docenten verschillende kanten van de potentiële studenten
hebben kunnen observeren. De uitslagen van de psychologische testen werden als
goede kapstokken gezien om de eindgesprekken aan te gaan. De nonparticipatieve
observatie bij de groepsopdrachten werd door de docenten
gewaardeerd. De docenten hadden de indruk dat de studenten al vrij snel bij het
uitvoeren van de opdracht niet meer gehinderd werden door de aanwezigheid van
docenten. Door de essays kregen de docenten een goed inzicht in het vermogen
van de studenten tot logisch redeneren en structureren. Het werd daardoor beter
zichtbaar waar in de opleiding aan verbetering gewerkt moest worden. Het essay
geeft informatie over de betrokkenheid van de student bij het centrale object van de
opleiding Bestuurskunde. De individuele gesprekken werden door de docenten als
het meest waardevol ervaren. De waarde lag vooral in de mogelijkheid om in het
gesprek wederzijds af te tasten of de student bij de studie en de studie bij de
student paste.
De testen waren voor de docenten niet alleen een goede manier om snel zicht te
krijgen op de studenten. De resultaten vormden ook aanleiding om het onderwijs op
enkele punten aan te passen. Enerzijds door meer aandacht te schenken aan
werken in groepen en projectmanagement, maar ook door verzwaring van
verschillende programmaonderdelen om meer tegemoet te komen aan het
ambitieniveau van de studenten.
De docenten vinden dat door het bestaan van tutorgroepen en door de
kleinschaligheid van de opleiding een sterke vertrouwensband is gegroeid tussen
studenten onderling en de studenten en docenten. Deze band is ook van belang
voor de specifieke didactiek van de opleiding die eruit bestaat dat de studenten met
de docenten meeleren en meewerken. De docenten hebben de indruk dat het
selectieproces een versnelling heeft gegeven aan het opbouwen van deze
vertrouwensband. Bovendien heeft de selectie ertoe geleid dat de studenten het
gevoel hebben onderdeel uit te maken van een bepaalde academische
gemeenschap. Volgens de docenten is de sfeer onder de geselecteerde groepen
studenten daardoor anders dan in voorgaande jaren, toen niet geselecteerd werd.
6 Deze ervaringen zijn weergegeven in de tussenrapportage van 22 september 2006
9

4.2 Ervaringen van studenten met selectie aan de poort
Door de voorzitter en de secretaris van de begeleidingscommissie is een gesprek
gevoerd met een aantal a-select geselecteerde studenten uit beide lichtingen van
de opleiding Bestuurskunde. 40 studenten zijn benaderd, met vijf is uiteindelijk het
gesprek gevoerd.
Voor een aantal studenten bleek de opleiding Bestuurskunde juist aantrekkelijk
omdat er selectie werd toegepast. Het idee bestond dat het dan een bijzondere
opleiding moest zijn. Het feit dat er geselecteerd werd, schrok in elk geval niet af.
Studenten verbaasden zich er wel over dat ondanks de selectie toch nog veel
studenten al in het eerste jaar afvielen en nauwelijks gemotiveerd leken voor de
studie. Ze hadden dan ook hun vraagtekens bij de selectieprocedure.
Ze vroegen zich af wat er met de psychologische tests werd gemeten en hadden
het idee dat het makkelijk was sociaal wenselijke antwoorden te geven. Bij de
groepsopdracht hadden ze de indruk dat het meer om het groepsproces ging dan
om het resultaat van de opdracht. Het essay vonden ze een middelbare school
opdracht. Ze vonden het een nadeel dat er geen achtergrondinformatie bij gezocht
kon worden. Ze vroegen zich bovendien af waar het essay op beoordeeld was.
Ondanks de kritische kanttekeningen bij de verschillende selectie-instrumenten die
op de selectiedag werden gehanteerd vonden de studenten de opdrachten zelf over
het algemeen zinvol. Ze waren wel van mening dat de opdrachten meer aan de
opleiding zelf gerelateerd hadden mogen zijn.
De gesprekken werden als een belangrijk onderdeel van de hele selectieprocedure
ervaren. Tijdens deze gesprekken maakten ze intensief kennis met mensen van de
opleiding zelf en werd een terugkoppeling gegeven van de uitslagen van de tests,
hoewel daar niet bij iedereen evenveel aandacht voor was.
De studenten vinden niet dat ze elkaar en de docenten op de selectiedag beter
hebben leren kennen. De introductieweek speelt daar een veel grotere rol in.
De studenten hebben niet het idee dat het groepsgevoel dat onder de studenten
leeft het gevolg is van de selectie. In feite was er niet echt sprake van selectie. Er
zijn slechts een paar studenten afgewezen. Het werd daarom niet echt als iets
bijzonders gezien als men wel geselecteerd was. Eerder wordt de kleinschaligheid
van de opleiding als reden gezien voor het groepsgevoel.
De studenten vinden het een groot nadeel dat de selectie pas zo laat in het jaar
plaatsvindt. Mocht je niet geselecteerd worden, dan is het lastig om nog een andere
studie te kiezen.
Aan het eind van het gesprek werd geconcludeerd dat in principe iedereen met een
VWO-diploma in elke studie in zou moeten kunnen stromen. Het leek de studenten
beter om de aankomende studenten een goed beeld van de opleiding te geven
zodat ze weten wat ze kunnen verwachten. Ze pleitten dan ook voor uitgebreide en
duidelijke voorlichting over de opleiding, waar ook de studenten van de opleiding
meer bij betrokken zouden moeten worden.
10

5. Conclusies en aanbevelingen
5.1 Opmerkingen vooraf
Er is gekozen voor een experiment met selectie aan de poort bij de opleiding
Bestuurskunde omdat het daardoor mogelijk zou zijn de toenemende instroom in de
opleiding in te dammen en tevens de meest geschikte student voor opleiding te
selecteren. Het aantal studenten dat zich aanmeldde voor de opleiding bleek echter
lager dan verwacht. Van echte selectie, in die zin dat een groot aantal studenten
moest worden afgewezen, was derhalve geen sprake. Per ronde is slecht een zeer
beperkt aantal studenten afgewezen.
Het experiment bevindt zich pas in het tweede jaar. Deze evaluatie heeft dus
slechts betrekking op twee selectieronden. Van de eerste geselecteerde groep
studenten zijn de studieresultaten bekend van het eerste jaar, van de tweede groep
alleen van het eerste half jaar. Het is in feite nog te vroeg om alle mogelijke
effecten van selectie aan de poort te kunnen onderzoeken.
Tot slot moet opgemerkt worden dat gebleken is dat niet alle gegevens die
benodigd waren om de vragen die de begeleidingscommissie heeft gesteld te
beantwoorden volledig en betrouwbaar beschikbaar waren.
5.2 Conclusies
Allereerst moet geconcludeerd worden dat er nauwelijks sprake is geweest van een
experiment met selectie aan de poort gezien de ongunstige selectieratio. Het aantal
aanmeldingen en daarmee het aantal afgewezen studenten is in feite te gering om
valide uitspraken te kunnen doen over de effectiviteit van selectie aan de poort.
Volgens de selectietheorie is selectie zinvoller als veel meer aanmeldingen kunnen
worden afgewezen. De commissie spreekt derhalve haar twijfels uit over de
zinvolheid van de selectie bij de opleiding Bestuurskunde.
In dit licht moeten ook de volgende conclusies worden gezien die op basis van deze
evaluatie van selectie aan poort bij Bestuurskunde getrokken kunnen worden. Uit
de door de faculteit en de opleiding gepresenteerde gegevens en analyses blijkt het
volgende:
• Er is geen positief effect te meten van selectie aan de poort op de
studieprestaties in het eerste jaar.
• Er is geen samenhang tussen de gemiddelde score van de testen waarmee
de selectie aan de poort is uitgevoerd en het studiesucces in het eerste jaar.
• Er blijkt wel een positieve samenhang te zijn tussen het gemiddeld vwoeindcijfer
en het studiesucces.
• Van de deeltesten blijkt de score voor het Gesprek enige samenhang te
vertonen met het studiesucces. Dit geldt echter alleen voor de eerste
lichting. Omdat er bovendien geen sprake lijkt te zijn van
gestandaardiseerde gesprekken, kan aan deze samenhang weinig waarde
worden gehecht.
11

• De verwachting dat de perceptie van de kwaliteit van het onderwijs toeneemt
door selectie aan de poort wordt niet ondersteund door de resultaten van de
cursusevaluaties.
• Geselecteerde studenten halen geen beter cijfer voor de afzonderlijke
vakken dan de niet-geselecteerde studenten.
• Er lijkt alleen een positief effect te zijn van de selectie aan de poort op de
perceptie van de docenten van de studenten en de onderlinge
vertrouwensband die volgens hen door de selectie sneller tot stand is
gekomen.
Op basis van deze conclusies kan alleen maar de algemene conclusie bevestigd
worden dat er nauwelijks sprake is van effectiviteit van de selectieprocedure. Als
het gaat om studiesucces lijkt het voldoende te selecteren op gemiddelde VWOeindexamencijfers.
De opleiding zegt echter niet de beste studenten te willen selecteren, maar de
meest geschikte, d.w.z. de meest gemotiveerde studenten en die studenten die het
best passen bij het onderwijsconcept van de opleiding. Gezien het relatief hoge
aantal studenten dat ondanks de selectie nog een negatief BSA ontvangt, is het de
vraag of gemiddeld genomen ook steeds de meest geschikte studenten
geselecteerd zijn.
Met de vraagtekens die bij de effectiviteit van de selectieprocedure geplaatst
kunnen worden, is de vraag naar efficiency eigenlijk al beantwoord. Een niet
effectieve procedure is ook niet efficiënt. Gezien de grote tijdsinvestering en
daarmee inzet van middelen die met deze selectie van slechts een gering aantal
studenten gemoeid is geweest, is het echter de vraag of zelfs bij bewezen
effectiviteit nog gesproken kan worden van efficiëntie.
Hiermee is ook de vraag naar eventuele toepasbaarheid bij andere opleidingen aan
de UvT beantwoord. Het lijkt de begeleidingscommissie niet zinvol op de UvT te
investeren in mogelijkheden van selectie aan de poort.
De begeleidingscommissie deelt de conclusies die de commissie Korthals in de
tussenrapportage over de experimenten met selectie reeds heeft verwoord: ‘De
voorspellende waarde van selectie aan de poort is gering. Uit bestaande
onderzoeken op het terrein van toelatingstoetsen blijkt dat noch intelligentietests,
noch persoonlijkheidstest, noch motivatie- of interessetests in ons land in staat zijn
op een bruikbaar niveau studieprestaties op de universiteiten te voorspellen’ 7 .
5.3 Aanbevelingen
De commissie Korthals doet in haar tussenrapportage een aantal aanbevelingen die
de moeite waard zijn nader te bezien bij een eventuele bredere toepassing van een
of andere vorm van selectie op de UvT 8 . De begeleidingscommissie wil met name
die aanbevelingen onder de aandacht brengen die betrekking hebben op de
mogelijkheden studenten te selecteren waarvan bij nader inzien geconstateerd kan
worden dat ze niet op een bepaalde opleiding thuis horen.
7
Uit: Commissie ‘Ruim Baan voor Talent: Tussenrapportage 2006, Den Haag, december
2006, p. 8
8
Deze aanbevelingen zullen waarschijnlijk in de eindrapportage van de commissie nog nader
worden uitgewerkt.
12

• De commissie Korthals beveelt aan het VWO-diploma als uitgangspunt te
houden en alleen te selecteren als precies helder is waarop moet worden
geselecteerd, bijvoorbeeld in het geval van specifieke onderwijsconcepten.
In het geval van Bestuurskunde zou het gesprek, dat enigszins
voorspellende waarde lijkt te hebben, verder geformaliseerd en
gestandaardiseerd kunnen worden. Daarnaast kan bezien worden of het
voeren van gesprekken ook nader uitgewerkt kan worden voor andere
opleidingen, zoals bijvoorbeeld de Bachelor Liberal Arts.
• Verder beveelt de commissie Korthals aan om selectie ná de poort toe te
passen. Naast het Bindend Studieadvies, dat inmiddels op de UvT
instellingsbreed is ingevoerd, denkt de commissie daarbij aan diverse
vormen van onderwijsdifferentiaties. De UvT kent reeds een aantal jaren een
Honours Programme voor excellente studenten. Verkend kan worden welke
vormen van onderwijsdifferentiatie voor groepen studenten met lagere
studieprestaties mogelijk zijn. Hierbij kan ook gedacht worden aan het
stellen van ingangsvoorwaarden voor toegang tot bepaalde onderdelen van
het curriculum of het invoeren van prestatienormen tijdens de studie.
• De laatste aanbeveling van de commissie Korthals betreft het bevorderen
van zelfselectie door tijdige en duidelijke kennismaking met de studie. De
studenten waarmee voor deze evaluatie gesproken is wezen ook op
wenselijkheid van goede en heldere studievoorlichting. Bezien kan worden
welke mogelijkheden voor optimalisering van de studievoorlichting er zijn. In
dit kader kan ook verder gewerkt worden aan vormen van zelfselectie. Bij
FRW worden hier de eerste ervaringen mee opgedaan. Tot slot kan in dit
kader gedacht worden aan pre-university colleges, vormen van
proefstuderen en aansluitingsprojecten tussen VWO en WO. Ook hiermee
wordt op de UvT reeds op diverse plekken gewerkt.
13

Informatiebronnen
Bij het opstellen van deze rapportage is gebruik gemaakt van de volgende bronnen:
Aanvullende informatie Selectie aan de poort, opgesteld door FRW (maart 2007)
Informatiedossier t.b.v. evaluatie experiment met selectie aan de poort opleiding
Bestuurskunde te Tilburg, opgesteld t.b.v. evaluatie door NVAO (maart 2007)
Tussenrapportage 2006, Commissie ‘Ruim Baan voor Talent’ (december 2006)
Rapportage FRW over experiment (september 2006)
Voortgangsrapportages begeleidingscommissie Selectie aan de poort aan SKO van mei
2006 en oktober 2005
14