De Potentie van Learning Analytics

Transcriptie

1 1 / 25 ACLA en het onderzoek 'de rol van self-serving bias bij opleidingskeuze' 1,2,3 c.p.b.j.van.klaveren@vu.nl 1 Vrije Universiteit - Faculteit der Gedrags- en Bewegingswetenschappen 2 Amsterdam Center for Learning Analytics (ACLA) 3 HogerOnderwijsTeam

2 Amsterdam Center for Learning Analytics [ACLA] 2 / 25 The Amsterdam Center for Learning Analytics

3 Amsterdam Center for Learning Analytics [ACLA] 3 / 25 Aanleiding Denitie Learning Analytics: Het verzamelen, analyseren en rapporteren van en over data van studenten in hun context, met als doel het begrijpen en optimaliseren van het leren en de omgeving waarin het leren plaatsvindt.

4 Amsterdam Center for Learning Analytics [ACLA] 4 / 25 Aanleiding Learning analytics onderscheidt zich van empirisch onderzoek op twee manieren: 1. Het doel is om onderwijsuitkomsten tijdens het onderwijsleerproces te verbeteren. 2. Verbetering van onderwijsuitkomsten vindt plaats op basis van gegevens die binnen het onderwijsleerproces door studenten zelf gegenereerd zijn.

5 Amsterdam Center for Learning Analytics [ACLA] 5 / 25 Visie van ACLA Het proces waarin learning analytics wordt ingezet met als doel om onderwijs eectiever en eciënter vorm te geven moet Data-, Theory- en Method-Driven zijn.

6 Amsterdam Center for Learning Analytics [ACLA] 6 / 25 De missie van ACLA Fundamentele en praktijkgerichte verbetering van het onderwijs door samensmelting van seperate onderzoeksgebieden: Data Driven Kennis over Big Data, Learning Analytics (etc.) gebruiken om informatie te verzamelen, te koppelen, te ontsluiten en om knelpunten te identiceren [informatie- en computerwetenschappen].

7 Amsterdam Center for Learning Analytics [ACLA] 7 / 25 De missie van ACLA Theory Driven Leer- en gedragstheorieën liggen ten grondslag aan geobserveerde datatrends. Knelpunten kunnen pas opgelost worden wanneer in de kern begrepen wordt welke mechanismen de oorzaak van het probleem vormen [Gedrags- en onderwijswetenschappen]. Method Driven Rigoureuze (quasi-)experimentele evaluatiemethoden moeten toegepast worden om te evalueren of gedragsbewuste interventies eectief en/of eciënt zijn [methodologische onderzoeksgebieden].

8 Amsterdam Center for Learning Analytics [ACLA] 8 / 25 Amsterdam Center for Learning Analytics: Het Amsterdam Center for Learning Analytics creëert een platform voor: Kennisdeling Onderwijsontwikkeling Onderzoeksontwikkeling Het Amsterdam Center for Learning Analytics: Stimuleert en realiseert gezamenlijk onderzoeksaanvragen Organiseert conferenties Het Amsterdam Center for Learning Analytics werkt met fellows!

9 Opleidingskeuze en de Self-serving bias 9 / 25 Opleidingskeuze en de invloed van de Self-serving Bias Karen Kooiman, Ilja Cornelisz, Martijn Meeter,

10 Opleidingskeuze en de Self-serving bias 10 / 25 Aanleiding: Van alle studenten die beginnen aan een universitaire opleiding valt 32% in het eerste jaar uit (onderwijsinspectie, 2015) Deze studenten beginnen in 78% van de gevallen aan een andere opleiding (onderwijsinspectie, 2015). De inhoud van de opleiding sluit niet aan bij de voorkeuren of vaardigheden van de student. Matchingsdagen moeten daarom studenten informeren over of de opleiding past bij hun vaardigheden en/of -voorkeuren.

11 Opleidingskeuze en de Self-serving bias 11 / 25 Self-serving bias De self-serving bias is een bevooroordeling waarin mensen onrealistisch positief zijn over hun eigen capaciteiten (Sharot, 2011). Toegepast op eerstejaars studenten geldt dat studenten: 1. succes toeschrijven aan de eigen capaciteiten (interne attributie), en 2. falen toeschrijven aan externe omstandigheden (externe attributie). Een gevolg kan zijn dat studenten studies kiezen die helemaal niet passen bij hun vaardigheden.

12 Opleidingskeuze en de Self-serving bias 12 / 25 Self-serving bias De manifestatie van de self-serving bias tijdens een keuzeproces kan veroorzaakt worden doordat: 1. Personen niet beschikking over de relevante informatie, 2. Personen op basis van de beschikbare informatie onrealistisch positief zijn. Wanneer studenten geïndividualiseerde informatie ontvangen over studiesucces kunnen zij betere studiekeuzes maken.

13 Opleidingskeuze en de Self-serving bias 13 / 25 Invloed Self-serving Bias op Opleidingskeuze Gedragen studenten zich als: 'Humans'? Blijven onrealistisch positief ook al is de ontvangen informatie over studiesucces lager dan de eigen verwachtingen 'Econs'? Hebben rationele verwachtingen en updaten hun verwachting over studiesucces op basis van de ontvangen informatie.

14 Opleidingskeuze en de Self-serving bias 14 / 25 Onderzoekvragen Leidt het terugkoppelen van de kans op studiesucces (op basis van de matchingstoets) voor aanvang van de studie tot 1. een andere studiekeuze van leerlingen? 2. betere studieprestaties? Zijn leerlingen 'Humans' of 'Econs'?

15 Opleidingskeuze en de Self-serving bias 15 / 25 Deelnemers Het onderzoek wordt uitgevoerd onder leerlingen die zich in 2016 inschreven voor VU matching voor De Faculteit der Rechtsgeleerdheid (RCH) De Faculteit der Sociale Wetenschappen (FSW). De gemiddelde uitval eerstejaars studenten was 31% in het academisch jaar 2015/ leerlingen (van de 627) wilden deelnemen aan het experiment ( informed consent).

16 Opleidingskeuze en de Self-serving bias 16 / 25 Experiment Een willekeurige helft van deze leerlingen ontvangt (in juni) een terugkoppeling van de kans op studiesucces (op basis van informatie van het voorgaande studentcohort). Met studiesucces bedoelen we vanaf nu: De kans dat de student op 1 februari nog de opleiding volgt, dan wel meer dan 6 studiepunten (van de 30) behaalt.

17 Opleidingskeuze en de Self-serving bias 17 / 25 Leermoment Deelname VU Matching FSW is vrijwillig: Uitval onder deelnemers VU matching is signicant lager dan gemiddelde uitval!

18 Opleidingskeuze en de Self-serving bias 18 / 25 Terugkoppeling Informatie Terugkoppelingstekst: Voor studenten die in september vorig jaar begonnen aan de opleiding, zich in dezelfde maand inschreven voor de studie en dezelfde cijfers behaalden op de matchingstoets, geldt dat 31% in februari nog de opleiding volgde, dan wel op 1 februari meer dan 6 studiepunten (van de 30) had behaald. Visuele terugkoppeling:

19 Opleidingskeuze en de Self-serving bias 19 / 25 Voorspelling kans op `inschrijving' op TABLE V Afhankelijke variabele: studiesucces Coe SE Coe SE Coe SE Coe SE Matchingtoets 0.315*** (0.064) 0.251*** (0.066) 0.228** (0.068) 0.304*** (0.073) Constante 1.321*** (0.155) *** (1.231) *** (1.342) (1.161) CSE No Yes Yes Yes Taaltoets No No Yes Yes Stud. Kenm. No No No Yes N R Noot: */**/*** geeft signicantie weer op 10/5/1% niveau (two-sided). Verklarende variabelen standaard opgenomen zijn (1) dag inschrijving en (2) Dummy Faculteit Rechten.

20 Opleidingskeuze en de Self-serving bias 20 / 25 Vergelijking voorspelling model 1 en 2

21 Opleidingskeuze en de Self-serving bias 21 / 25 Self-serving Bias: Deelnemers Experimentzoek I

22 Opleidingskeuze en de Self-serving bias 22 / 25 Self-serving Bias Deelnemers Experiment

23 Opleidingskeuze en de Self-serving bias 23 / 25 Verwachtingen Deelnemers Experiment

24 Opleidingskeuze en de Self-serving bias 24 / 25 Conclusie We weten nu dat een groep leerlingen die zich inschreef voor matching bij RCH en FSW: Informatie heeft ontvangen over de kans op studiesucces. Lijden aan de `self-serving bias'. Dat studenten met lagere voorspellingen zich relatief meer overschatten. De vraag is nu vervolgens: Gedragen deze leerlingen zich bij het aanpassen van verwachtingen als 'Humans' of 'Econs'

25 Opleidingskeuze en de Self-serving bias 25 / 25 Conclusie Voor de potentiële eectiviteit van VU Matching is het zeer belangrijk om te weten of leerlingen zich gedragen als 'Humans' of 'Econs'! Als leerlingen met lage voorspellingen de verwachtingen niet updaten, dan heeft het informeren van studenten over of de opleiding past bij hun cognitieve vaardigheden geen zin.