ONBETWIST Deliverable 5.4.1

Transcriptie

1 Wiskunde D en de voorbereiding op een technische, universitaire studie: een analyse van het TUE onderwijsproject. ONBETWIST Werkpakket 5 Deliverable 5.4.1, Februari 2013 Hans Cuypers, Eindhoven University of Technology, Department of Mathematics and Computing Science Dirk Tempelaar, Maastricht University School of Business and Economics

2 Inleiding Het TUE onderwijsproject dat in academisch jaar 2012/2013 is uitgevoerd, heeft uit een tweetal onderdelen een bestaan: Een vrijwillige zomercursus die zich richtte op die eerstejaars studenten van de verschillende TUE opleidingen, welke rekening hielden met deficiënties in hun kennis van de VWO wiskunde stof; Een verplichte bijspijkercursus in het begin van het academische jaar, eveneens gericht op VWO leerstof. Het verplichtende karakter bestond eruit dat alle eerstejaars aan een ingangstoets moesten deelnemen, welke de beheersing van de VWO wiskunde leerstof toetste. Een voldoende resultaat op die ingangstoets werd vereist. In geval die voldoende niet werd behaald in de eerste afname, de eerste collegeweek in september, werd de gelegenheid geboden te herkansen in oktober. Om zich voor die herkansing voor te bereiden, werd dezelfde toetsgerichte oefenomgeving ter beschikking gesteld, als welke in de zomercursus is gebruikt. In de oefenomgeving konden de studenten tevens de leerstof oefenen, welke in het eerste TUE wiskunde van hun opleiding werd aangeboden. Naast de gegevens van het gebruik van de oefenomgeving, zowel in de zomer als tijdens de eerste wiskunde cursus, zijn data van die eerste wiskunde cursus, en vooropleiding gegevens, belangrijke inputs voor deze analyse. Wat die eerste wiskunde cursus betreft: al naar gelang de opleiding, betrof dat de cursus Calculus (2WAB0), met 503 deelnemers, of Calculus voor TBdk en MWT (2WBB0), met 989 deelnemers. Beide cursussen werden met een eindtoets afgesloten. Tabel 1 geeft een beeld van de aantallen studenten die hierbij in het geding waren. Tabel 1: deelnemers TUE onderwijsproject Activiteit Studenten Zomercursus 1059 Ingangstoets 1378 Oefenomgeving 1469 Herkansingstoets 424 Eindtoets 1304 Een ander belangrijk gegeven betreft de vooropleiding van de studenten. Van de in totaal 1566 bij enige activiteit betrokken studenten, heeft de grote meerderheid ofwel een Wiskunde B, ofwel een Wiskunde B & D vooropleiding. Gedetailleerde gegevens zijn in Tabel 2 te vinden. In de meeste analyses zal het onderscheid naar vooropleiding beperkt worden tot Wiskunde B, Wiskunde B & D, ofwel Overig.

3 Tabel 2: uitsplitsing naar vooropleiding Vooropleiding Studenten Wiskunde A 6 Wiskunde A & B 11 Wiskunde B 845 Wiskunde B & D 455 Wiskunde B1 16 Wiskunde B1, 2 23 Onbekend 210 Naast minder interessant, zijn de aantallen in de categorieën anders dan Wi B en Wi B & D te gering om zinvolle analyses op te doen. Gebruik van de Onbetwist oefenomgevingen Voor de zomercursus was een subset van ongeveer 250 opgaven uit de Onbetwist database geselecteerd, die alle betrekking hebben op de VWO leerstof. Alle opgaven zijn van het geparameteriseerde type, en dus geschikt om door een student herhaald gemaakt te worden, omdat bij iedere afname de context vernieuwd wordt. De oefenomgeving welke is ingezet parallel aan de eerste TUE wiskunde cursus is gebaseerd op ongeveer 400 opgaven uit de Onbetwist database, zowel op VWO leerstof als op nieuwe leerstof betrekking hebbend. Ook dit zijn geparameteriseerde opgaven, geschikt voor herhaalde oefening. Voor beide activiteiten is Moodle als e-learning omgeving gebruikt om de opgaven aan de studenten aan te bieden, en de Onbetwist MathDox omgeving is als player van de opgaven gebruikt.. In de analyses spelen log-gegevens voortgebracht door de afspeelomgeving een belangrijke rol. In Moodle en MathDox zijn dat een drietal verschillende data: Aantal opgaven door de student gedaan/geprobeerd Score behaald in de oefenpogingen Hoeveel tijd besteed aan het oefenen In beide activiteiten, zomercursus en oefenen tijdens cursus, is te zien dat alle drie de loggegevens sterk correleren: score en aantal opgaven heel sterk ( r > 0.9), tijd met beiden zeer aanzienlijk. Om toch over een onafhankelijk loggegeven te beschikken, is in een aantal analyses de tijdvariabele geherdefinieerd als een efficiency-variabele: efficiency = aantal opgaven / gebruikte tijd. Moodle en MathDox registreert herhaalde afnames van eenzelfde opgave als het werken aan een nieuwe opgave; zo kan het totaal aantal geprobeerde opgaven dus hoger liggen dan het aantal geselecteerde opgaven. Voor de zomercursus staan de gebruiksgegevens in Tabel 3.

4 Tabel 3: gemiddelde gebruiksgegevens zomercursus Indicator Alle Wi B Wi B & D studenten studenten studenten Aantal opgaven Totaalscore Tijd Efficiëntie Het gebruik van de oefenomgeving gedurende de zomercursus is beperkt; gemiddeld oefenen de studenten ongeveer een dag. Echter, de verdeling van de gebruiksdata is zeer scheef, met verreweg de grootste groep in de eerste klasse. Dat wordt geïllustreerd door Figuur 1 wat betreft de verdeling van het aantal opgaven: ongeveer 500 studenten, de helft van het aantal zomercursusdeelnemers, heeft tussen 1 en 20 opgaven geoefend. Aan de andere kant van de verdeling vinden we precies 100 studenten, die wel serieus de kans hebben gegrepen om gedurende de zomer bij te spijkeren: deze 100 studenten oefenen 20 tot zelfs 150 uur, en doen gemiddeld 143 opgaven. Figuur 1: verdeling aantal opgaven in zomercursus

5 In Tabel 3 is ook een onderscheid gemaakt naar vooropleiding. Er lijkt enige correctie plaats te vinden voor verschil in vooropleiding, in de zin dat studenten Wi B iets intensiever oefenen dan studenten Wi B & D; het verschil is echter beperkt. Wanneer we deze gebruiksgegevens vergelijken met die tijdens de reguliere TUE cursus, zien we dat die laatste gegevens op een veel hoger niveau liggen: zie Tabel 4. Tabel 4: gemiddelde gebruiksgegevens TUE wiskundecursus Indicator Alle Wi B Wi B & D studenten studenten studenten Aantal opgaven Totaalscore Tijd Efficiëntie Niet alleen neemt het aantal deelnemers sterk toe, ook en vooral de gemiddelden per deelnemer nemen fors toe. Zo besteden de studenten gemiddeld drie volle werkdagen in de oefenomgeving, waarbij ze gemiddeld 350 opgaven onder handen nemen. Ook worden de vooropleiding verschillen wat groter: studenten Wi B & D doen minder opgaven, maar behalen daarin wel een hogere score, in behoorlijk veel minder tijd, dan hun Wi B medestudenten. De verdeling blijft tenslotte scheef, zoals blijkt uit Figuur 2, maar lang niet zo scheef als die van de zomercursus: de piek van de verdeling ligt bij 290 opgaven.

6 Figuur 2: verdeling aantal opgaven in reguliere TUE cursus Statistische analyses van gebruiksdata Alle drie typen gebruiksdata, dus zowel het aantal geoefende opgaven, zoals in Figuren 2 en 3, maar ook oefentijd en oefenscore, vertonen een kenmerkende rechts-scheve verdeling: de meeste waarnemingen vallen bij de lage waarden, en een heel beperkt aantal studenten scoort hoog, maar dan ook meestal heel hoog. In het modelleren van zulke rechts-scheve verdelingen wordt meestal gebruik gemaakt van de logaritmische transformatie, om een meer symmetrische verdeling te creëren. We zullen dat hier ook doen. Nadeel is wel dat de statistische modellen die uit die analyses voortkomen, minder goed te interpreteren zijn. Verder valt op dat patronen in de gebruiksdata erg zwak zijn. Alle analyses gericht op het opsporen van verschillende tussen relevante groepen studenten (zoals verschillen in gebruik tussen studenten met een Wi B, en Wi B & D vooropleiding, of verschillen in gebruik tussen studenten die de starttoets niet halen, en zij die dat wel doen), resulteren in heel kleine verschillen. Om toch iets van patronen te herkennen, richten we de analyses primair op de variabele oefentijd, omdat daarin die verschillen nog het meest geprononceerd zijn. Een verschil dat klein is, maar wel uiterst consistent, is dat in oefentijd (logaritmische schaal) naar vooropleiding gedurende de zeven weken van de cursus. Figuur 3 laat het verloop van die variabele

7 in de tijd zien. Eveneens laat Figuur 3 het verschil in behaalde oefenscore tussen de twee vooropleidingen zien. Dat verschil is, op de laatste week na, nihil, hetgeen impliceert dat daar waar VWO B studenten meer oefentijd gebruiken dan VWO B & D studenten, dat verschil enkel voortkomt uit de geringere efficiëntie waarmee geoefend wordt VWOB VWOB&D VWOB VWOB&D Figuur 3: ontwikkeling van oefentijd en oefenscore over de weken, per vooropleiding (log schaal) Een alternatieve onderverdeling van de studentenpopulatie, is naar resultaat op de starttoets en de herkansing van die starttoets. We onderscheiden een viertal groepen studenten: Groep 1: starttoets onvoldoende, maar geen deelname herkansingstoets; Groep 2: starttoets voldoende; Groep 3: starttoets onvoldoende, herkansingstoets onvoldoende; Groep 4: starttoets onvoldoende, herkansingstoets voldoende. De (relatief kleine) eerste groep van dropouts onderscheidt zich enigszins van de andere drie groepen, maar opmerkelijk genoeg is er geen effect te zien van een correctie op het zakken op de starttoets door extra intensief van de oefenomgeving gebruik te maken: er zijn geen systematische verschillen tussen de gebruikersgegegevens van Groep 2, en die van Groepen 3 en 4 te signaleren: zie Figuur 4.

8 Groep 1 Groep 2 Groep 3 Groep W2Tijd W3Tijd W4Tijd W5Tijd W6Tijd W7Tijd Figuur 3: ontwikkeling van oefentijd over de weken, per resultaat starttoets (log schaal) Verbanden tussen gebruiksdata en cursusuitkomsten De starttoets afgenomen in week 1 verschaft een goed beeld van de wiskundige vaardigheden van de studenten: een simpel regressiemodel, dat eindtoetscijfer verklaart uit starttoetscijfer, verklaart 30,3% van alle variatie in het eindtoetscijfer, ongeacht vooropleidingsverschil, of verschil in type wiskunde vak. Aan de verklaringsgraad van de starttoets kan vooropleiding heel weinig toevoegen: wanneer we het regressiemodel uitbreiden met vooropleidingsverschillen, neemt de verklaarde variantie slechts marginaal toe, tot 33,2%. Wanneer we vervolgens het gebruik van de oefenomgeving aan het regressiemodel toevoegen, neemt de verklaringsgraag wederom wat toe, maar nu nog marginaler: het volledige model verklaart 33,3% van de variatie in eindcijfer. Als laatste is een uitsplitsing gemaakt naar de 17 verschillende studieprogramma s die in het onderwijsproject waren betrokken, om te bezien of er tussen studies nog variatie is opgetreden hoe met de starttoets, en het niet behalen ervan, is omgesprongen, maar ook daar zijn geen aanwijzingen voor gevonden. Resumerend: de modelleringsuitkomsten zijn niet makkelijk te interpreteren. Enerzijds is duidelijk dat de starttoets een uiterst krachtig diagnostisch instrument is: het verklaart een substantieel deel van de variatie in eindcijfer, veel meer dan vooropleiding. Moeilijk is echter te verklaren waarom de uitkomst van de starttoets, net zo min als vooropleiding, zo weinig relatie vertoont met de intensitieit waarin studentengebruik hebben gemaakt van de oefenomgeving. Eindconclusie Dit onderwijsproject is één van de zeer grootschalige onderwijsprojecten (meer dan 1000 deelnemers) die zeer intensief van de ONBETWIST database heeft gebruik gemaakt. Zowel de starttoets, als het wekenlijkse oefenmateriaal dat gedurence de eerste cursus wiskunde ter beschikking werd gesteld, en dat de studenten de kans bood om VWO leerstof te herhalen, als ook nieuwe leerstof in te oefenen, waren volledig samengesteld uit de ONBETWIST database. Hetzelfde

9 had gegolden voor de facultatieve zomercursus die daaraan voorafgaand was aangeboden. Was door het vrijwillige karakter het intensieve gebruik in de zomercursus gericht op een deel van de studentenpopulatie, dat in de reguliere cursus was dat zeker niet: gemiddeld werd er 24 uur per student geoefend. Succesvol was ook de afname en het gebruik van de startoets: uit de analyses blijkt die een zeer sterke diagnostische waarde te hebebn. Misschien wel te sterk: de starttoetsscore blijkt eigenlijk de enige goede voorspeller van het eindcijfer te zijn dat de studenten in hun eerste wiskunde vak behalen. Uit de statistische analyses komt geen helder beeld over hoe de studenten de informatie die ze verkregen hadden uit de starttoets hebben gebruikt om hun leerproces richting te geven, net zo min als er een beeld ontstaat hoe het gebruik van de oefenomgeving het eindcijfer heeft beinvloed. Verdere experimenten zullen hiervoor nodig zijn.