Voortgangstoetsen in de propedeuse. Onderzoek naar het effect op studiesucces

Transcriptie

1 Voortgangstoetsen in de propedeuse Onderzoek naar het effect op studiesucces

2 Presentatie Seminar digitaal toetsen in de praktijk: waarom en hoe? 1. Het project Studiesucces aan de UvA: Maurice Oudejans 2. Resultaten SURF Project: Voortgangstoetsen in de propedeuse Onderzoek naar het effect op studiesucces: Joris Marée 3. Voorbeelden van digitale voortgangstoetsen: Brian Droop 4. Meer informatie 5. Vragen?

3 1. Studiesucces aan de UvA: achtergrond -Meerjarenafspraak tussen VSNU (Universiteiten) en OC&W -Rendementen op de UvA zijn erg laag -Plan van Aanpak Studiesucces, UvA, elementen: Bindend voor alle faculteiten Uniforme jaarindeling UvA, Integrale benadering: BSA, goede begeleiding studenten Kennisplatform

4 Studiesucces aan de Faculteit Economie en Bedrijfskunde (FEB) Rendementen zijn erg laag: BSA van circa 40% De afgelopen jaren veel maatregelen, geen resultaten FEB volgt uiteraard Plan van Aanpak UvA Breed draagvlak voor Plan van Aanpak studiesucces FEB

5 Plan van Aanpak FEB 29 maatregelen Maatregelen voordat de student start: voorlichting, intakeprocedure Maatregelen in het curriculum: 8-8-4, 6ec, deeltoetsen Maatregelen als de student klaar is met het programma: afstudeerplechtigheid, alumni-beleid

6 De (digitale) voortgangstoets in het Plan van Aanpak Studiesucces van de FEB Maatregel 2: Invoering (digitale) voortgangstoets Maatregel 18: Docenten van eerstejaarsvakken worden gestimuleerd (en ondersteund) om op grotere schaal gebruik te maken van ICT ondersteuning in het onderwijs Maatregel 28: Docenten moeten meer ondersteuning krijgen op het gebied van coaching, toetsing en het gebruik van ICT in het onderwijs SURF projectvoorstel kwam op het juist moment!

7 SURF Project 2. Voortgangstoetsen in de propedeuse Tot : Digitale toetsing werd bij de FEB op de UvA voornamelijk ingezet door de sectie wiskunde waarbij middels wekelijkse toetsen op algebraïsche vaardigheden geprobeerd werd de kloof op wiskundig gebied tussen middelbaar onderwijs en universiteit te slechten. Ontwikkelde toetsvragen worden nog ingezet om studenten voorafgaande aan hun studie te laten kijken naar het wiskundeniveau. Ook bij voorlichtingsdagen voor nieuwe studenten wordt de wiskundekennis getest.

8 Toetsing en Toetsgericht leren Sinds februari 2011 is een ontwikkeling in gang gezet waarbij digitale voortgangstoetsen bij verschillende cursussen in het eerste jaar wekelijks (formatief) worden afgenomen. De student wordt getest of belangrijke aspecten van de die week behandelde leerstof ook daadwerkelijk zijn begrepen. Door een gezamenlijke inspanning van docenten en studentassistenten zijn in curriculaire toetsen ontwikkeld voor de vakken Statistiek 1 en Wiskunde 2 (m.b.v. Maple TA) en voor Financiering (m.b.v. MyFinanceLab). Digitale toetsing breidt zich langzaam uit binnen de faculteit (Micro-economie, accounting, Marketing en Strategie, ).

9 Toetsing en Toetsgericht leren In verandering onderwijsstructuur. Van een structuur van 4 blokken van 10 weken met wiskunde als lintvak naar 6 blokken ( ) met minder vakken en verplichte tussentoetsen die voor minstens 35% het eindcijfer van een cursus bepalen. Om terug te koppelen aan studenten hoe ze ervoor staan groeide het gevoel van noodzaak om formatief te toetsen. Gebruik is gemaakt van formatieve voortgangstoetsen in meer of mindere mate bij bijna alle vakken in het eerste jaar.

10 Toetsing en Toetsgericht leren Gereflecteerd werd op de door studenten gemaakte toetsen door uitleg van de stof via korte videopresentaties, het bespreken van theorie en uitgewerkte voorbeelden op blackboard en veel persoonlijk contact tussen studenten onderling en studenten en docent. Bij het voormalige vak Statistiek 1 waren de rendementen in de jaren , , en bij de eerste tentamengelegenheid steeds niet hoger dan 30%.

11 Toetsing en Toetsgericht leren Bij de invoering van de formatieve digitale voortgangstoetsen in was 52,0% van de studenten Statistiek 1 geslaagd na de eerste tentamengelegenheid, waarbij het percentage van studenten die heel actief deel hadden genomen aan de digitale voortgangstoetsen (en een kleine bonus hadden behaald ) zelfs 68,3 bedroeg. Bovendien slaagde maar 29,3% van de studenten die niet voldoende hadden gescoord voor de voortgangstoetsen, een goed signaal voor (toekomstige) studenten om de stof bij te houden.

12 Effectmeting Toetsing en Toetsgericht leren Er blijkt steeds een grote correlatie te bestaan tussen de resultaten voor voortgangstoetsen en het cijfer voor een bepaald vak. Studenten die de voortgangstoetsen (goed) maken nemen in veel grotere mate deel aan de eindtoets dan andere studenten. Dit heeft ook te maken met het feit dat in het algemeen de eventueel behaalde bonus alleen geldig is bij de eerste tentamengelegenheid. Studenten geven in het algemeen aan dat ze erg graag zien dat digitale voortgangstoetsen (mist het goed verloopt natuurlijk) bij vakken behouden blijven. De te behalen bonus (hoe klein ook) is voor studenten een belangrijke drijfveer om deel te nemen aan de digitale voortgangstoetsen.

13 Voordelen digitale voortgangstoetsing Directe feedback aan studenten Gelijkmatiger studiegedrag Sneller bekendmaken cijfers Studenten kunnen zelf bepalen wanneer ze de toets doen Enthousiasmerend voor studenten Overbrugging VWO-faculteit: betere aansluiting Wanneer systemen efficiënt werken, enorme tijdswinst.

14 Nadelen digitale toetsing Fraude Technisch falen, afhankelijkheid van de ICT afdeling Ingewikkelde logistiek en planning 'Free riding Voor leervakken is er het risico dat studenten na een aantal jaren rijen met vragen hebben en die gaan bestuderen i.p.v. dat ze het hele vak gaan bestuderen. Digitale toetsing en het feit dat door de extra tussentoets er meer vragen bedacht moeten worden, maakt dit risico nog veel groter. Is het een meet- of leerinstrument? Soms is het onduidelijk welk(e) doel(en) het dient.

15 Valkuilen van digitale toetsing Prikkel om aan het einde van het blok toetsen te maken is klein als het aan het begin van het blok niet lukt. Er wordt vaak alleen gekeken naar antwoorden. Universiteit moet goed zorg dragen voor de faciliteiten (roostering, conciërgerie, management, ICT). Versies van digitalen toetsomgevingen die steeds wisselen. Blackboardomgeving die vertragend werkt op schakeling met Maple server. Het puntensysteem. Bonussen/verplichtingen hebben invloed op het gedrag van de student en op het succes van de digitale toetsing.

16 Suggesties voor ondersteuning van de digitale toetsing? Via de uitgevers (zijn gebaat bij het geven van goede ondersteuning); nadeel: hou je het wel in eigen hand? Administratie van cijfers moet goed op orde zijn en makkelijk verlopen; De ondersteuning dient op drie manieren te gebeuren: 1) Bij het opmaken van de toetsen, 2) Er dient een facultaire coördinatie te komen voor alles wat met digitalisering van het onderwijs te maken heeft, 3) Op universitair niveau (systeembeheer) zal er ondersteuning moeten komen voor deze vorm van toetsen; Er is een centraal aanspreekpunt nodig en dat vergt UvA-brede investeringen in ICT en organisatie.

17 Conclusies Bij het gebruik maken van digitale toetsing moet er in ieder geval op de volgende dingen worden gelet: Opstarttijd kan bij sommige vakken lang zijn (eerste keer maken van toetsen/vragen). Sommige vakken laten het beter toe om veel gebruik te maken van digitale toetsing (bijv. leerstof moet anders behandeld worden dan sommen). Werkende ICT systemen zijn essentieel. Faciliteiten moeten in orde zijn, zoals zalen, computers, conciergerie et cetera.

18 Toekomst Bijna alle docenten hebben ervaring met het afnemen van digitale toetsen. De docenten die nog niet bekend zijn met digitale toetsen, zijn niet van de voordelen overtuigd en hebben nog geen plannen om er mee aan de slag te gaan, maar zullen aangemoedigd moeten wordem. Echter, er wordt bemerkt dat studenten positief zijn over de snelle bekendmaking van de cijfers en feedback. Ook past deze vorm van toetsing wel in de huidige belevingswereld van de student. Deze voordelen dragen waarschijnlijk bij aan het enthousiasme van de student om regelmatiger de stof te bestuderen. Ook toetsen ontwikkelen voor International Economics and Business.

19 Toekomst De docenten die in de toekomst graag meer gebruik zouden maken van digitale toetsing, geven allemaal aan dat het in orde zijn van de ICT-systemen en alle faciliteiten eromheen een zeer belangrijke voorwaarde is, om er mee aan de slag te gaan. De baten wegen anders niet op tegen de kosten. Er is al één keer (in verschillende sessies) geëxperimenteerd met summatieve digitale toetsen. Zeker wanneer halverwege een zeer intensieve onderwijsperiode summatieve deeltoetsen worden afgenomen en je snel feedback wilt geven aan de studenten hoe ze er halverwege voorstaan, verdient het aanbeveling om de digitale toetsomgeving verder te ontwikkelen. Samenwerking met Economische faculteiten van andere universiteiten.

20 4. Meer informatie? Maurice Oudejans

21 5. Vragen?