Nudging, learning analytics en toetsen

Transcriptie

1 1 / 24 Chris van Klaveren VU University Amsterdam Faculty of Behavioral and Movement Sciences [email protected]

2 Deze Lezing 2 / 24 Deze lezing In deze lezing deel ik: Mijn onderzoek waarin toetsing, learning/student analytics en nudging veelal samenkomen. Mijn zorg met betrekking tot huidig Learning Analytics onderzoek.

3 Deze Lezing 3 / 24 Deze lezing Ik belicht in het bijzonder 4 onderzoeken: 1. Nudges to prevent early dropout in Higher Education VU Feedback over BSA kansen op basis van de matchingstoets (met Meeter & Cornelisz). UvA Feedback over afstudeerkansen op basis van CSE (Booij & Oosterbeek). 2. Eect of adaptive versus diagnostic practicing on student learning (met Ilja Cornelisz) 3. Can nudges (incentives) activate students? (met Silvester Draaijer) 4. Eective recommendations to enhance learning performance. (met Schoolpoort)

4 Dropout in Higher Education 4 / 24 Aanleiding Uitval onder eerstejaarst studenten in het hoger onderwijs is zeer hoog. Genoemde mogelijk oorzaken: De 'overmoedige' student 55% van de eerstejaars studenten zegt het eerste jaar zonder vertraging te halen, maar in werkelijkheid is dit 21% (Leuven, 2007). Er is sprake van een self-serving bias onder studenten (Leuven, 2009). Mismatch tussen studiekeuze en studieinhoud Studie is te moeilijk

5 Dropout in Higher Education 5 / 24 Onderzoek Onderzoeksvraag van de UvA en de VU: Kan het informeren van studenten over de kans op uitval de studiekeuze/studieprestaties beïnvloeden?

6 Dropout in Higher Education 6 / 24 Onderzoek

7 Dropout in Higher Education 7 / 24 Resultaten UvA (Booij & Oosterbeek) Studenten zijn minder overmoedig wanneer ze 'persoonlijke' informatie over uitval hebben ontvangen. Maar deze informatie over uitval zorgt niet voor een andere studiekeuze of voor minder uitval.

8 Eect of Adaptive versus Diagnostic Practicing on Student Learning 8 / 24 Aanleiding De diversiteit van leerlingpopulaties is toegenomen: Gepersonaliseerde leeromgevingen kunnen beter tegemoetkomen aan de persoonlijke scholingsbehoefte van leerlingen. Scholen geven aan dat docenten geen gepersonaliseerde lesprogramma's kunnen ontwikkelen (gebrek aan tijd/kennis): Computergestuurd adaptief oefenen wordt gezien als een eectief en ecient alternatief om onderwijs gepersonaliseerd aan te bieden.

9 Eect of Adaptive versus Diagnostic Practicing on Student Learning 9 / 24 Onderzoek Onderzoeksvraag: Presteren leerlingen die adaptief oefenen beter op de toets dan leerlingen die diagnostisch oefenen? Populatie: 1021 leerlingen op 7 scholen (vmbo, havo, vwo, gymnasium), leerjaar 1, 2 en 3. Vakken: Nederlands, biologie, economie en geschiedenis. Digitale leeromgeving: bestond al een aantal jaren voordat het experiment plaats vond.

10 Eect of Adaptive versus Diagnostic Practicing on Student Learning 10 / 24 Onderzoek

11 Eect of Adaptive versus Diagnostic Practicing on Student Learning 11 / 24 Impact?

12 Eect of Adaptive versus Diagnostic Practicing on Student Learning 12 / 24 [Rode lijn = gemiddelde eect; Zwarte lijn = eect per toets] Resultaten Studenten die oefenen met beide oefencondities presteren op de summatieve toetsen even goed. 'Baseline eecten' gedurende het jaar:

13 Can Nudges (incentives) activate students? 13 / 24 Aanleiding Er is anekdotisch bewijs over toetsfraude of opportunistisch gedrag van studenten.... gedragen studenten zich opportunistisch?... kunnen studenten zich opportunistisch gedragen?... kunnen studenten eectief en ecient informatie delen, met als doel prestatieverbetering?

14 Can Nudges (incentives) activate students? 14 / 24 Onderzoek Exogene variatie: prestatiefeedback wordt stopgezet na week 24. Onderzoek toont oportunistisch (frauduleus) gedrag aan door deze identicerende exogene informatie te gebruiken. Populatie: 480 eerstejaars rechtenstudenten in het academisch jaar 2013/2014. Uitkomst: Digitale 'medium stake' tussentoetsen.

15 Can Nudges (incentives) activate students? 15 / 24 Hoe delen studenten informatie?

16 Can Nudges (incentives) activate students? 16 / 24 Hoe delen studenten informatie?

17 Can Nudges (incentives) activate students? 17 / 24 Resultaat

18 Eective recommendations to enhance learning performance 18 / 24 Aanleiding Scholen bieden specieke leermethoden en leermiddelen aan, maar: Niet alle leerlingen gedijen goed bij deze leermiddelen, Het is veelal onbekend in hoeverre leermiddelen en -methoden eectief zijn, Schoolopvattingen (kunde, middelen, methoden) kunnen beperkend werken.

19 Eective recommendations to enhance learning performance 19 / 24 Onderzoek Onderzoeksopzet: ontwerpen van een digitaal administratief platform wat gepersonaliseerd leren mogelijk maakt. Onderzoeksdoel: kwaliteit van het onderwijs verbeteren door beter en meer structureel evidence-informed en evidence based te handelen, onderwijs studentcentrisch te maken en restricties op schoolniveau te verminderen, Virtual Eduation Labs op te richten voor experimenteel onderzoek naar potentieel eectieve leermiddelen.

20 Eective recommendations to enhance learning performance 20 / 24 Recommendations

21 Eective recommendations to enhance learning performance 21 / 24 Skill formation technology: Uitdaging: informatie verzamelen over instructie en leermiddelen

22 Eective recommendations to enhance learning performance 21 / 24 Resultaat: Interesse

23 Eective recommendations to enhance learning performance 22 / 24 Resultaat Het doel is om in december 250 deelnemende en commiterende scholen gebruik te laten maken van het digitale platform. We zijn in januari begonnen met dit project, en op dit moment doen er 63 scholen mee (PO en VO)!

24 Eective recommendations to enhance learning performance 23 / 24 Bezinning... De mogelijkheden om leeromgevingen te verbeteren door middel van nudging en learning/student analytics zijn eindeloos! Vaak geloven we dat Nudges werken, maar er ontbreekt degelijk (causaal) bewijs. Bovendien geldt er dat Learning Analytics misleidend kan zijn!!!

25 Eective recommendations to enhance learning performance 24 / 24 Duwtjes in de goede richting zijn zinvol, maar... When you nudge too much, it all becomes shaky