Toetsgestuurd leren van statistiek, UM, UMC, semester 1, 2012/2013 ONBETWIST Werkpakket 5 Deliverable 5.4.6, Februari 2013 Dirk Tempelaar, Maastricht University School of Business and Economics
Introductie In het statistiekonderwijs van het University College van de UM, onderwijs dat wordt gegeven aan studenten die hebben gekozen voor de concentratie Social Sciences (SS is één van de drie hoofdrichtingen die studenten UCM kunnen kiezen; de andere twee zijn (Life) Sciences en Humanities) en wordt verzorgd door docenten van de SBE, wordt al enige tijd intensief gebruik gemaakt van zowel oefenmaterialen uit de Onbetwist en NKBW projecten, en de commerciële oefenomgeving MSL. In de uitvoering van dit semester is ervoor gekozen enkel en alleen van Onbetwist materialen gebruik te maken, en MSL niet te benutten. Dit om over een experiment te beschikken waarin studenten zich toeleggen op het gebruik van enkel de Onbetwist leermiddelen. Net als in vorige uitvoeringen van de cursus, is de leerstof ingedeeld in drie perioden van twee weken. Aan het eind van elke periode van twee weken, is een toets afgenomen die als quiz werd aangeduid. Studenten konden deze drie quizzen voorbereiden door, naast het bestuderen van de leerstof in het leerboek en het (verplicht) bijwonen van tutorsessies, waarin zowel de theorie als toepassingen ervan werden behandeld, oefentoetsen te maken. Per quiz waren vier gelijkwaardige oefentoetsen beschikbaar (die allemaal één keer konden worden gemaakt, om zo zicht te houden op het aantal keren dat studenten zich met oefentoetsen bezig hielden). Quiz en bijbehorende oefentoetsen werden steeds uit hetzelfde Onbetwist materiaal samengesteld: per twee weken gemiddeld 50 oefenvraagstukken, die in verschillende varianten zijn benut in quiz en oefentoetsen. In totaal zijn hier 150 Onbetwist vraagstukken voor gebruikt. Daarnaast is ook de CAOS instaptoets en exittoets gebruikt, welke ook onderdeel uitmaakt van de Onbetwist database. Zowel quizzen en oefentoetsen zijn ontsloten via de lokale UM BlackBoard. Dat brengt het nadeel met zich mee dat BB niet registreert hoeveel tijd studenten zich met de oefentoetsen bezig houden: BB werkt met clicks. Intensiteit van gebruik van oefentoetsing is dus slechts aan te geven middels het aantal oefentoetsen, en de daarin behaalde scores, door studenten uitgevoerd. Intensiteit van gebruik van toetsgestuurde leerplatforms Aan de cursus hebben 48 studenten deelgenomen. Wanneer onder die 48 studenten wordt gekeken naar de verdeling van aantal oefentoetsen, dan valt op dat die verdeling zeer gelijkmatig is: bijna uniform: zie Figuur 1. Anders dan in de SBE cursus beschreven in Deliverable 5.4.3, waar op een hoge uitzondering na alle studenten gebruik maakten van alle geboden mogelijkheden tot oefentoetsing, is hier aanzienlijke variatie waar te nemen: sommige studenten benutten inderdaad alle 12 beschikbare toetsen, andere studenten niet meer dan 2, en alles daartussen in. Door het relatief geringe aantal studenten, dat beperkingen stelt aan het gebruik van statistische classificatietechnieken, is gebruik gemaakt van deze variatie door op het oog uit de populatie van studenten drie clusters te selecteren: de intensieve oefenaars: de 13 studenten met 10, 11 of 12 oefentoetsen; de extensieve oefenaars: de 10 studenten met de minste pogingen, en de strategische oefenaars: ook 10 studenten, tussen beide andere clusters in, die ophouden zo gauw ze een goede/redelijke oefentoets hebben gedaan voor ieder van de quizzen.
Figuur 1: verdeling van aantal oefentoetsen Als eerste vervolgstap is onderzocht, of deze drie clusters verschillen op achtergrondkenmerken waarop de studenten in het begin van de cursus bevraagd zijn. Oefenintensiteit en studentkenmerken Middels een drietal vragenlijsten, welke aan het begin van de cursus zijn afgenomen, zijn studentkenmerken gemeten welke verondersteld worden de inrichting van leerprocessen te beïnvloeden: Metacognitieve vaardigheden: RAS (Rapportage Autonoom Studeren)/AILI Attitudes ten opzichte van statistiek: SATS Motivatie en betrokkenheid: SMS Tezamen omvatten deze vragenlijsten 26 schalen, die nagenoeg allemaal kenmerkende patronen laten zien voor de drie verschillende clusters. Door de geringe steekproefomvang laten echter slechts de patronen in een vijftal schalen statistisch significante verschillen tussen de drie clusters zien, en de analyse zal zich op deze verschillen richten. Figuur 2 geeft een grafische presentatie daarvan.
7.0 6.0 5.0 4.0 3.0 2.0 1.0 extensief strategisch intensief Figuur 2: significante verschillen in studentkenmerken in drie clusters van oefentoetsgebruik Drie schalen uit het motivatie en betrokkenheid instrument (dit instrument is ook in het SBE onderwijsproject gebruikt, en nader toegelicht in Deliverable 5.4.4) laten significante verschillen zien: Zelfvertrouwen, Studiemanagement, en Plannen. Het zijn alle drie schalen uit de twee adaptieve kwadranten: Zelfvertrouwen als adaptieve gedachten/cognities, Studiemanagement en Plannen als adaptieve gedragingen. De patronen die we in Figuur 2 herkennen lijken intuïtief: intensieve oefenaars zijn enigszins onzeker wat betreft hun zelfperceptie van kennis: ze hebben minder zelfvertrouwen dan bijvoorbeeld de strategische oefenaars, maar munten uit op het vlak van leerregulatie: vermogen tot plannen en studiemanagement. Die combinatie van kenmerken van onzekerheidsmijding en discipline lijkt een noodzakelijke voorwaarde te zijn om in deze context alle oefenopties langs te gaan. Strategische studenten hebben enerzijds net wat meer zelfvertrouwen, zijn anderzijds minder sterk in het reguleren van hun eigen leerproces, en blijven daardoor achter. Nog minder zelfvertrouwen kan zelfs ertoe leiden bijna niet te oefenen: de extensieve oefenaars. De vierde schaal, Affectie, is uit het attitude-instrument, en signaleert dat de extensieve oefenaars niet enkel weinig zelfvertrouwen hebben, maar vooral ook weinig plezier hebben in het leren van statistiek. De laatste schaal, uit het metacognitie-instrument, meet metacognitieve vaardigheden op het gebied van de evaluatie van het eigen leerproces. Ook daar leggen de extensieve oefenaars het af tegen de intensieve en strategische oefenaars.
Toetsgestuurd oefenen en cursusprestaties Verreweg de meest significante verschillen tussen de drie clusters zijn echter niet op het vlak van de achtergrondkenmerken, maar de cursusprestaties: het eindcijfer van de cursus. Strategische en intensieve oefenaars zijn hierin niet onderscheidbaar: de eersten behalen een gemiddeld eindcijfer van 8,0, de anderen van 8,1. Maar beide clusters steken gunstig af ten opzichte van de extensieve oefenaars, die niet verder komen dan een gemiddeld eindcijfer van 6,35: zie Figuur 3. 10 9 8 7 6 5 Cijfer 4 3 2 1 extensief strategisch intensief Figuur 3: significante verschillen in cursusprestaties in drie clusters van oefentoetsgebruik Eindconclusie Het hier onderzochte onderwijsproject is één van de kleinere onderwijsprojecten, hetgeen enige terughoudendheid vereist in de interpretatie van de uitkomsten. Daar waar ondanks kleine steekproefomvang toch patronen zijn waar te nemen, lijken die verwantschap te tonen met het onderwijsproject verslagen in het eerste deliverable. Er is een patroon zichtbaar van aanzienlijke variatie in intensiteit van gebruik van de oefenomgeving tussen studenten. Een variatie die zich niet laat verklaren door een objectieve noodzaak om te oefenen, bijvoorbeeld voortkomend uit een mindere vooropleiding, of een lager beheersingsniveau (cijfer op de instaptoets). Kennelijk zijn andere, niet-cognitieve kenmerken die een rol spelen als determinanten van gebruiksintensiteit van oefenomgevingen. In deze studie was een aantal zelf-score instrumenten opgenomen die voor een deel inzicht verschaffen in welke factoren een rol kunnen spelen. Uit de lijst van onderzochte achtergrondkenmerken lijken vooral aspecten van zelf-regulatie van het leerproces (vermogen te plannen, studiemanagement, metacognitieve vaardigheden) een cruciale rol te spelen. Zwakkere studenten die een cognitieve nood hebben om de toetsomgevingen te gebruiken, maar de studievaardigheden missen om zich zelf daartoe te zetten, lijken hier de slag te missen. Hetgeen opmerkelijk is, omdat in dit onderwijsproject een forse extrinsieke prikkel was ingebouwd om alle
studenten te verleiden intensief van de oefenomgevingen gebruik te maken: de quizzen telden voor 30% mee in het eindcijfer. Informele studentevaluaties (binnen UCM is de formele evaluatie gestandaardiseerd, en laat geen ruimte voor het bevragen van experimentele aspecten) bevestigen dat beeld: het aanbieden van oefenmateriaal sec, zonder integratie van de uitkomsten van oefensessies in de aansturing van de leerprocessen (zoals in sommige e-tutorials), stelt hoger eisen aan studievaardigheden en discipline van de student, en verhindert juist zwakkere studenten optimaal van die oefenomgevingen gebruik te maken.