10 Studenten maken zelf toetsvragen: Question Bank

Transcriptie

1 10 Studenten maken zelf toetsvragen: Question Bank Casusbeschrijving door Silvester Draaijer 10.1 Samenvatting Docenten van een cursus Marketing en Consumentengedrag, waaraan wordt deelgenomen door veel studenten, maken een systeem waarbij studenten zelf toetsvragen formuleren. Deze vragen worden vervolgens gebruikt om een tentamen mee samen te stellen. Voor de docenten levert dit een efficiënte manier op om studenten regelmatiger de literatuur te laten bestuderen en om toetsvragen te verzamelen. De toetsvragen worden zijn met name nuttig voor het bevragen op feiten- en kennisniveau. Deze casus bevat om die reden tevens enige overwegingen omtrent de voor- en nadelen, sterke- en zwakke kanten van gesloten vragen versus open vragen voor tentamendoeleinden. Deze casus heeft verband met kader 15 uit het boek Flexibilisering van Toetsing Introductie Voor de studenten van de VU, faculteit Economie, zijn cursussen op het terrein van consumentengedrag en marketing vaste en verplichte onderdelen van het eerste en tweede studiejaar. Deze cursussen worden gevolgd door zo n 200 tot 300 studenten tegelijkertijd. In deze cursussen ligt het accent op het leren kennen, en in enige mate beheersen, van het begrippenkader van het betreffende vakgebied Probleemschets Voor de cursus Marketing voor tweedejaars studenten maken de twee docenten gebruik van een boek Consumer Behavior van Peter en Olson, 5th Edition waarbij zij kunnen beschikken over zo n 3000 kant-en-klare gesloten toetsvragen. Deze toetsvragen zijn opgeslagen in het itembankprogramma Diploma 97 van Brownstone. Om te zorgen dat studenten alleen geschikte toetsvragen voorgeschoteld krijgen, nemen de docenten voor aanvang van de cursus alle toetsvragen door en verwijderen vragen die bijvoorbeeld een hoog cultuurbepaald karakter hebben (zoals het kiezen van zeer Amerikaanse voorbeelden om vragen aan te relateren). Op deze wijze verwijderen zij zo n 800 vragen, maar er blijven er genoeg over om een breed spectrum van onderwerpen te kunnen bevragen. De docenten maken volop gebruik van deze toetsbanken om efficiënter te kunnen werken en studenten tegelijkertijd een variëteit aan toetsvragen en toetsen te kunnen voorleggen via het internet om te oefenen. pagina 60 van 86

2 Met deze itembank stellen de docenten ook de eindtoets samen. Globaal volgen zij daarmee de strategie die ook beschreven wordt door Leiblum (Leiblum 1994). De conclusie van Leiblum is dat een dergelijke opzet van het onderwijs positieve resultaten heeft op de uitslag op tentamens. Voor de eerstejaarscursus Consumentengedrag maken de docenten gebruik van het boek 'Consumer Behavior; a European Perspective van Solomon, Bamossy and Askegaard. Bij dat boek worden geen toetsvragen meegeleverd en kunnen de docenten bovenstaande werkwijze niet volgen. Daarnaast zijn er nog meer problemen die opgelost zouden kunnen worden De tijd die studenten besteden aan zelfstudie wordt niet genomen. Het studietempo van studenten loopt altijd snel achter bij het tempo van de cursus. De nakijkperiode moet van het management verkort worden van 10 naar 5 werkdagen. Dat betekent dat het schriftelijke tentamen voor de cursus Consumentengedrag met alleen open vragen, niet zo gecontinueerd kan worden en dat er overgestapt moet worden naar een tentamen met gesloten vragen Gewenste situatie De docenten willen de studenten stimuleren en ondersteunen bij het systematischer en meer on time uitvoeren van zelfstudie. Ze bedenken het idee om studenten te stimuleren om zelf toetsvragen over de literatuur te formuleren. Het liefst zouden ze dat een niet-vrijblijvend karakter geven: controle op uitvoering zou mooi zijn. Bovendien zouden ze de geformuleerde vragen kunnen gebruiken om het tentamen mee samen te kunnen stellen. Het formuleren en beantwoorden van vragen over leerstof heeft in principe een positief effect op het leren (Hamaker 1986; Wilhelm en Christenhusz 2003). In cursussen studievaardigheden wordt deze wijze voor het bestuderen van teksten ook altijd gehanteerd. In het algemeen geldt dat, hoe actiever en gerichter studenten studievragen stellen en beantwoorden, hoe hoger het cijfer is dat zij behalen op een eindtoets. Ook komen ze tot de conclusie dat het geen verschil maakt of studenten gezamenlijk proberen de vragen te beantwoorden of geheel individueel. Hoe zou het stimuleren van het stellen van vragen en het controleren dat dat gebeurd echter in de praktijk vorm kunnen krijgen? pagina 61 van 86

3 Een belangrijk struikelblok voor toepassing van deze werkwijze is de extra werklast, die het voor docenten met zich meebrengt om geformuleerde studievragen te beoordelen en te voorzien van bijvoorbeeld feedback of een score. De grote studentenaantallen in de eerste twee jaar van het Bachelorprogramma en de tijdsduur, waarin de beoordeling van deze opdrachten moet plaatsvinden, meestal binnen dezelfde week, weerhouden docenten over het algemeen voor deze oplossing te kiezen Gekozen oplossing De docenten van de VU hebben daarop de handen ineen geslagen. Één docent heeft reeds ervaring in het functioneel ontwerpen van databaseachtige internetomgevingen, de faculteit waar de docenten werken heeft een eigen digitale leeromgeving waar zij zelf aanpassingen aan kan plegen en er is wat geld om een student-assistent het nodige programmeerwerk te laten uitvoeren. Er zijn korte lijnen aanwezig op de faculteit om nieuwe ideeën te implementeren in die omgeving. Dit resulteert in een experimentele toetsomgeving voor en door studenten; Question Bank. Question Bank is een website, waar studenten multiplechoice vragen kunnen invoeren die vervolgens voor andere participerende studenten beschikbaar zijn om interactief te beantwoorden. Wie geen vragen inlevert, heeft ook geen toegang tot de database. Gedurende de cursusperiode is het de bedoeling dat elke student wekelijks twee gesloten vragen formuleert met het bijbehorende goede antwoord. Medestudenten moeten de ingeleverde vragen beoordelen. Daartoe kunnen ze zelf vragen op het beeldscherm oproepen die ze vervolgens moeten beantwoorden. Na het beantwoorden wordt door het systeem aangeven of het antwoord goed dan wel fout was en op welk gedeelte van de stof de vraag betrekking heeft. Vervolgens kunnen studenten aangeven of de gestelde vraag een goede (leerzame) vraag was. Ze moeten met andere woorden een waardering (rating) aan de vraag geven. (Een dergelijk rating systeem is vergelijkbaar met de ratings van reviews op Amazon.com). Wanneer studenten de vragen van een bepaald hoofdstuk voorgeschoteld krijgen, kunnen zij deze laten sorteren op rating: wat vonden anderen de beste vragen? Daarnaast houdt het systeem bij, hoe vaak vragen goed of fout worden beantwoord. Deze functionaliteit zorgt er op deze manier voor, dat docenten zicht houden op het gebruik van het systeem. Figuur 10 Inleveren van vragen in Question Bank pagina 62 van 86

4 Figuur 11 Online beantwoorden van vragen in Question Bank Figuur 12 Fig. 4 Antwoord en rating van een vraag in Question Bank Studenten die niet twee toetsvragen inleveren of studenten waarvan de vragen niet goed genoeg bevonden worden door medestudenten om op te nemen in een eindtoets, krijgen geen toegang tot de toetsvragen van de overige studenten. Dat laatste moet deelname zoveel mogelijk stimuleren. De toetsvragen worden beoordeeld op plagiaat om simpelweg kopiëren van vragen tegen te gaan Toetsontwikkeling Bij de introductie van de cursus leren de studenten wat Question Bank is en hoe ze het moeten bedienen. Ook wordt bij de introductie al aangegeven dat (een deel) van de vragen die ze zelf ontwikkelen in de eindtoets terug zullen komen. Studenten hebben vaak weinig idee hoe ze goede toetsvragen moeten ontwerpen. Gedurende het eerste instructiecollege wordt hier dan ook enig aandacht aan besteed. Tijdens dit introductiecollege worden allerlei ideeën aangereikt voor het maken van vragen. Ook wordt er gewerkt met voorbeeldvragen. Direct na het introductiecollege kunnen studenten aan de slag gaan met het systeem. Vlak voor het verstrijken van de inleverdeadline versturen de docenten naar alle cursisten een reminder. Meestal leveren de studenten de toetsvragen in vrij kort voor de inleverdeadline. Uit analyse van de logfiles pagina 63 van 86

5 blijkt dat de eerste week 140 van de 180 meedoen aan het inleveren van toetsvragen. Dit aantal neemt vervolgens wekelijks met ongeveer 10 studenten af. In totaal zijn in het systeem zo n 1320 vragen door studenten ingeleverd. Analyse van de vragen levert ongeveer 5% vragen op die geschikt zouden zijn voor opnamen in een eindtoets. Er is door de docenten nagevraagd waarom studenten steeds minder participeerden in het systeem. De meest gehoorde reacties waren daarbij: vergeten en geen tijd (prioriteit) Toetsbeheer De ingeleverde toetsvragen worden opgeslagen in een databestand. De docent bepaalt aan de hand van de voortgang van de cursus welke vraagstukken in de eindtoets worden opgenomen. Het selecteren vindt plaats op basis van de regelmatige monitoring van de docent gedurende de loop van de cursus en door gebruik te maken van de kenmerken die bij een vraag zijn opgeslagen. Met name de vragen die door de studenten zijn gekwalificeerd als moeilijk worden vaak in een toets opgenomen. De docent heeft een mentaal beeld van de inhoud van de toetsdatabase en kan zo snel geschikte opgaven selecteren Toetsafname Gedurende de cursus kunnen de studenten de toetsvragen van medestudenten beantwoorden via het beeldscherm zoals reeds hierboven geschetst. Het eindtentamen wordt geprint aan de studenten voorgelegd. Het eindtentamen bestaat voor een deel uit gesloten multiplechoice vragen die de docent uit Question Bank heeft geselecteerd (telt voor 60% mee in het eindresultaat) en voor een deel uit open vragen (telt voor 40% mee in de eindbeoordeling). Zie bijlage voor het tentamen Toetsverwerking De toetsen zijn door het Onderwijscentrum van de VU geanalyseerd. Uit een psychometrische analyse komt naar voren dat de toets zeer betrouwbaar is (p-waarde rond 0,8). Zoals gezegd moesten de docenten een tentamen bestaande uit open vragen deels omzetten naar gesloten vragen. Voor hun is het verband tussen de scores op de gesloten en de open vragen in dat verband interessant. De standaard Pearson correlatie tussen de score op de gesloten vragen en de open vragen is en dit is significant. Er is dus sprake van een redelijk verband. Op het eerste oog zou de conclusie getrokken kunnen worden dat beide variabelen het zelfde meten. Interessanter wordt als een scatterplot van de twee variabelen wordt bekeken: pagina 64 van 86

6 Figuur 13 Verband tussen score op open vragen en gesloten vragen bij een tentamen Marketing en Consumentengedrag (rondjes geven de score op de open vragen weer) In de figuur lijkt zich een driehoek af te tekenen (lower half triangle). Studenten die slecht scoren op de open vragen kunnen zowel goed als slecht scoren op meerkeuzevragen, maar als studenten goed scoren op de open vragen, scoren ze ook vaak goed op de meerkeuzevragen. Dat kan worden geïnterpreteerd als: de open vragen zijn moeilijker dan de meerkeuzevragen. Wellicht komt dat omdat de meerkeuze vragen basiskennis meten en de open vragen meer inzicht meten (tenminste, dat was de bedoeling). Het kan echter ook komen omdat de studenten zelf de meerkeuzevragen hebben bedacht (ze komen allemaal uit Question Bank) en de docent zelf de open vragen. De casus kan hierover echter geen uitsluitsel geven. Illustratief voor het laatste is in dit verband een andere casus. Daarbij neemt het slaagpercentage door inzet van gesloten vragen in plaats van open vragen juist af. Zie daarvoor onderstaande tekstkader. Kader 2 Overgaan van een tentamen met open vragen naar een tentamen met gesloten vragen De docent van het vak Filosofie van de Faculteit der Wijsbegeerte van de Vrije Universiteit zag zich geconfronteerd met het feit dat ze een cursus inleiding filosofie moest gaan verzorgen voor Psychologie en Pedagogiek studenten. Werd voorheen haar cursus gevolgd door een handjevol studenten, nu moest ze een cursus en de toetsing verzorgen voor meer dan honderd studenten. Zij voorzag dat ze een enorme inspanning zou moeten plegen als ze vasthield aan de door haar gebruikte toetsvorm: na afloop van de cursus een schriftelijk tentamen met open vragen. Zij besloot daarop om haar toetsing om te zetten van open vragen naar gesloten vragen. Wat vonden zij zelf van deze verandering? Wat me tegenviel was dat de slagingspercentages sterk daalden. Was eerst het slagingspercentage 90%, nu werd het slechts 75%. De reden daarvoor was bleek achteraf dat mijn open vragen sowieso niet zo goed gesteld waren en ik niet werkte met een duidelijk antwoordmodel. De vragen waren bijvoorbeeld gesteld in de vorm van: Wat is het uitgangspunt van filosoof X over de vraag Y. pagina 65 van 86

7 Studenten konden dan allerlei lange verhandelingen houden over een dergelijk onderwerp en ik was al snel geneigd om - ook als ze het gingen hebben over filosoof P en vraag Q punten toe te kennen voor überhaupt zinvolle informatie. Bovendien bleek dat studenten alle mogelijke antwoorden op dergelijke open vragen inmiddels verzameld hadden en uit hun hoofd aan het leren waren. Het is me dus gebleken mijn oorspronkelijke toetsen wel fair leken, maar dat dat vanuit onderwijskundig oogpunt niet terecht was. Voor mijn nieuwe opzet van het tentamen ben ik daarom vanaf scratch weer begonnen met het samenstellen van een toets en toetsvragen. Het is me daarbij gebleken dat met gesloten vragen veel nauwkeuriger en betrouwbaarder gemeten kan worden. Ook bleek me dat het wel mogelijk is om vragen van hoger cognitief niveau te formuleren mits ik er voldoende aandacht aan besteedde. Gevoelsmatig blijf ik echter met gesloten vragen toch wel problemen houden. Ogenschijnlijk zorgt de inzet van meerkeuzevragen ervoor dat ik veel inzet moet plegen in het ontwikkelen van goede vragen en dat studenten weinig inzet hoeven te plegen: ze hoeven immers alleen maar een vakje aan te kruisen. Het feit dat de vragen nu toch wel discrimineren tussen goede- en slechte studenten en dat het me uiteindelijk tijd oplevert, weegt daar echter wel tegenop. Over het inzetten van gesloten of open vragen voor tentamendoeleinden is veel te vinden in de literatuur over toetsen (Dousma en al 1997) en het laatste is er nog niet over gezegd. Gesloten vragen staan daarbij voortdurend ter discussie of ze wel geschikt zijn om te gebruiken in hoger onderwijs (Verheul 1994). Zie onderstaande tekstkader van haar hand. Kader 3 Misverstanden over toetsen: 'Met multiple choice (mc) vragen kun je alleen kennis meten, geen inzicht' Wat bedoelen mensen in het algemeen en docenten in het bijzonder dan wel als ze zoiets beweren? Er zijn minstens drie mogelijke - en in meerdere of mindere mate gangbare - interpretaties van de titel van dit verhaal. Twee ervan zijn zonder meer te weerleggen; de derde klopt weliswaar, maar daar moeten onmiddellijk de nodige aantekeningen bij gemaakt worden. Wat er zeker vaak achter zal steken, óók bij studenten, is het volgende idee: Interpretatie 1: 'Om een mc-toets te kunnen maken, hoef je het antwoord alleen maar te kunnen herkennen en hoef je de stof niet te begrijpen' Helaas blijkt dit in de praktijk nogal eens te kloppen óók! Ik zeg helaas, omdat we het dan over slechte mc-tentamens hebben. Je kunt het studenten die niet veel heil zien in mc-tentamens in dat geval ook niet eens kwalijk nemen dàt ze klagen, alleen is hun gebrek aan affiniteit niet zozeer op rekening te schrijven van de vòrm waarin ze getoetst worden, dan wel van de kwaliteit van die vorm. Het soort vragen waar deze interpretatie betrekking op heeft, zijn kennisvragen. Bij de indeling in vraagniveau's die in de literatuur vrij gebruikelijk is, worden kennisvragen als volgt omschreven: de student moet de stof kunnen weergeven, zònder er iets aan toegevoegd te hebben. Dit betekent echter zeker niet, dat de stof niet begrepen zou hoeven zijn. Bij een goede mc-toets gaat het er juist om de boodschap zèlf te herkennen en niet de bewoordingen waarin die boodschap is vervat. Om die reden moeten mc-vragen voor zover mogelijk uit een herformulering van het te bevragen kenniselement bestaan. Voor zover mogelijk, want rijtjes laten zich uiteraard niet zo makkelijk in andere bewoordingen gieten. Een docent zal er echter in het algemeen niet zo op uit zijn een pagina 66 van 86

8 tentamen voor een groot deel uit 'rijtjesvragen' te laten bestaan (mogen we hopen) - tenzij de stof op die manier in elkaar steekt, natuurlijk. Om een op de gòede manier samengestelde mc-toets te kunnen beantwoorden, moet je de stof dus wel degelijk begrepen hebben. Interpretatie 2: 'Met mc-vragen kun je niet meten of iemand de stof begrepen heeft, in die zin dat hij/zij in staat is verbanden te leggen binnen de stof' Deze interpretatie heeft het voordeel dat hiermee in ieder geval een correcte omschrijving wordt gegeven van wat in de literatuur onder 'inzichtvragen' wordt verstaan. Meer volledig weergegeven luidt deze omschrijving als volgt: 'de student moet verbanden kunnen leggen binnen de stof. De kennis die nodig is om dergelijke verbanden te kunnen leggen, moet in de stof gegeven zijn; er komt geen externe kennis bij te pas. De verbanden zelf daarentegen zijn niet in de stof gegeven.' Interpretatie 2 heeft echter als nadeel, dat zij als geheel onwaar is. Er is geen enkele reden om te veronderstellen dat je dit soort vaardigheden niet met mc-vragen zou kunnen meten; dat zal hooguit te maken hebben met een gebrek aan creativiteit van de constructeur. Datzelfde geldt ook voor toepassingsvragen: vragen waarbij de geleerde stof in verband moet worden gebracht met èxterne informatie. Theoretisch zijn toepassingsvragen weer van een hogere orde dan wat onder 'inzichtvragen' verstaan wordt. Het gaat hier echter eerder om een verschil in nuances, dan om een principieel verschil. Zowel bij inzichtvragen als bij toepassingsvragen gaat het om het leggen van verbanden; alleen gaat het in het ene geval om verbanden binnen de stof en in het andere geval om verbanden met informatie daarbuiten. Toepassingsvragen worden vaak gesteld aan de hand van casuïstiek. Natuurlijk is het voor een constructeur moeilijker om mc-vragen van een hogere orde te stellen dan alleen 'simpele kennisvragen' (hoewel die dus, zoals hierboven betoogd, lang niet zo simpel zijn als vaak wordt aangenomen, want er komt altijd tenminste herformulering aan te pas). Dat is alleen maar rechtvaardig: het is voor een student ook moeilijker deze te beantwoorden - daar zijn het hogere-orde vragen voor. Interpretatie 3: 'Met mc-vragen kun je niet meten of iemand goed kan redeneren' Inderdaad, dat kun je niet (of in ieder geval, heel moeilijk). Maar dan heb je het ook niet over inzichtvragen, maar over vragen van het hoogste niveau van cognitieve vaardigheden: denkvragen. Dit is daarbij ook gelijk het niveau dat het moeilijkst valt te meten, op wàt voor manier dan ook. Vragen van dit niveau worden als volgt omschreven: 'de student moet er blijk van geven productief en creatief te kunnen denken.' Ook het evalueren - het geven van een eigen mening- over de stof valt onder dit niveau. Net als bij toepassingsvragen gaat het hier om operaties mèt kennis. Belangrijkste verschil met toepassingsvragen is echter, dat bij toepassingsvragen (net als bij kennis- en inzichtvragen!) slechts één oplossing de juiste is, terwijl bij denkvragen meerdere oplossingen mogelijk zijn. Dit zorgt dus automatisch voor nakijkproblemen: het is moeilijk om aan te geven wat nog wel goed is en wat niet meer (en wat te denken van het toetsen van creativiteit?). U zult op dit punt aangekomen wellicht denken: 'Maar dat is toch juist wat wij met ons universitair onderwijs willen bereiken, dat studenten leren zelfstandig te denken en te argumenteren!' Inderdaad, dat is het uitgangspunt dat de meeste docenten voor ogen zal staan. Het is alleen zo jammer dat dit een uitgangspunt is waar je het heel makkelijk over kunt hèbben, maar waarvan het in de praktijk heel lastig blijkt er handen en voeten aan te geven. pagina 67 van 86

9 Zeg eens eerlijk: u wilt uw studenten hierop toetsen, maar léert u het ze ook? Weten uw studenten wel dat ze dat zouden moeten kunnen, bij dit bepaalde vak en bij dit bepaalde tentamen? Staat het in uw onderwijsdoelstellingen? En, ook niet onbelangrijk, heeft u zich, alvorens u te wagen aan deze hoogste trap van de hiërarchie van de cognitieve vaardigheden, er wel van verzekerd dat het onderwijs en bijbehorend meetinstrument voor de vaardigheden daarònder behoorlijk in elkaar steekt? Als u deze vragen naar eer en geweten met 'ja' kunt beantwoorden - vooruit, dan mag u denkvragen stellen in uw tentamen en daar kunt u dan inderdaad het beste open vragen voor gebruiken (als u tenminste niet opziet tegen het ingewikkelde nakijkwerk). Zo niet, dan dunkt me dat het inzicht dat nodig is om vragen van de overige niveau's te kunnen beantwoorden, al lang niet gering is: men moet de stof begrijpen om deze in geherformuleerde vorm te kunnen herkennen (kennisvragen), men moet overeenkomsten en verschillen kunnen onderscheiden binnen de stof (inzichtvragen) en/of kenniselementen uit de stof kunnen toepassen in nieuwe situaties (toepassingsvragen). Om op deze niveau's te kunnen meten kunt u rustig mc-vragen gebruiken; díe boodschap is hopelijk wel overgekomen. Wat u zich ook bij déze niveau's echter goed moet realiseren, is dat u niets mag toetsen wat ook niet eerst is onderwezen en dat de toets moet aansluiten bij de onderwijsdoelstellingen. Een tentamen mag op geen enkele manier verrassingen bevatten voor wie het onderwijs gevolgd heeft, anders is het geen meetinstrument, maar een selectiemiddel op oneigenlijke gronden Kosten en Baten analyse De kosten en batenanalyse van het systeem ziet er ongeveer als volgt uit. Daarbij wordt er vanuit gegaan dat het systeem 5 jaar zal functioneren. Tabel 8 Kosten en baten van Question Bank systeem Investering Jaarlijkse kosten Jaarlijkse opbrengsten Ontwikkelen toets-database Onderhoud software Toetsitems ontwikkelen: 6 weken * gemiddel vragen/per week -> 1320 vragen, daarvan 5% bruikbare vragen = 132 vragen - hoeft de docent niet zelf te ontwikkelen Tijdsvoordeel voor niet meer na hoeven kijken volledig open tentamen 12 min/toetsafname x 75 x 180 studenten Totaal Saldo na 1 jaar Saldo na 5 jaar De tabel laat zien dat de gedane investering in principe snel rendabel kan zijn. Het ontwikkelen van toetsvragen is een tijdrovend proces en als studenten een deel van die taak over kunnen nemen is dat een zeer efficiënte oplossing. Natuurlijk zijn hier veel mitsen en maren bij te plaatsen. Indien docenten toch al geen gebruik maken van open vragen, valt dat voordeel in de bovenstaande tabel weg Toekomst Het idee van Question Bank is ingediend als mogelijk product voor de Digitale Universiteit. Medio 2004 is de ontwikkeling van dit product in volle gang. pagina 68 van 86

10 10.12 Discussie Er zijn meerdere initiatieven bekend van docenten die studenten willen stimuleren om zelf studievragen of toetsvragen te laten ontwikkelen. Vaak wordt het ingezet als noodmaatregel als studenten bijvoorbeeld niet in staat blijken om cursussen met voldoende resultaat af te ronden. Het blijkt in de praktijk echter dat studenten zonder goede begeleiding en instructie veel moeite hebben om dergelijke vragen te formuleren. Vaak bevragen de geformuleerde vragen slechts op het niveau van feitjes. Dat komt overeen met de bevindingen in deze casus slechts 5% van de vragen is geschikt voor opnamen in een eindtoets. Kortom: de docenten zijn aan de slag gegaan zonder al te veel kennis van zaken over toetsen of studievaardigheden; toch levert hun doortastendheid en ondernemerschap een product op dat een goede plaats in het onderwijs kan innemen, daar moeten dan echter nog wel een aantal zaken bij in ogenschouw genomen moeten worden; o Het leren stellen van studievragen zou expliciet geïnstrueerd moeten worden als onderdeel van cursussen waarin het systeem wordt ingezet (zie bijvoorbeeld ); o De docent zou zelf elke week een aantal goede vragen moeten toevoegen die studenten altijd moeten beantwoorden. Toch lijkt het systeem wel zeer zinvol te zijn als het gaat om efficiëntie en effectiviteit. Door middel van het systeem kan aan meerdere fronten tegelijkertijd worden gewerkt. Studenten krijgen middelen in handen om op andere dan reguliere manieren te studeren, docenten krijgen tegen relatief geringe inspanning een grote hoeveelheid toetsvragen tot hun beschikking. Het belangrijkste is echter dat zowel studenten als docenten op een meer continue basis bezig zijn met het oefenen en ontwikkelen van toetsvragen. Dat kan het leer- en toetsproces alleen maar ten goede komen. pagina 69 van 86