ONBETWIST Deliverable 5.4.3

Transcriptie

1 Toetsgestuurd leren van kwantitatieve methoden, UM, SBE, semester 1, 2012/2013 ONBETWIST Werkpakket 5 Deliverable 5.4.3, Februari 2013 Dirk Tempelaar, Maastricht University School of Business and Economics

2 Introductie In het academisch jaar 2011/2012 was aan het kwantitatieve methoden onderwijs in het eerste jaar van UM, SBE (School of Business and Economics), gebruik gemaakt van een component toetsgestuurd leren die op de volgende wijze was samengesteld: Diagnostische toetsing op basis van ONBETWIST instaptoetsen; Wekelijks oefenmateriaal wiskunde afkomstig uit de ONBETWIST database; Wekelijks oefenmateriaal statistiek afkomstig uit de MyStatLab leeromgeving (Pearson). Gebruikersevaluaties maakten duidelijk dat in de ogen van de studenten, de commerciële MyLab beter in staat was de feedback afkomstig van het maken van oefenvraagstukken te integreren in de aansturing van het onderwijs. Om tot een oordeel te komen wat de potentie van toetsgestuurd leren is bij een optimale invulling van de leeromgevingen, is in het academisch jaar 2012/2013 geëxperimenteerd met het volgende ontwerp voor toetsgestuurd leren: Diagnostische toetsing op basis van ONBETWIST instaptoetsen; Wekelijks oefenmateriaal wiskunde afkomstig uit de MyMathLab leeromgeving (Pearson); Wekelijks oefenmateriaal statistiek afkomstig uit de MyStatLab leeromgeving (Pearson). In het Maastrichtse onderwijssysteem staat het probleemgestuurd leren centraal. Studenten moeten dan ook verplicht deelnemen aan de wekelijkse pgo-tutorsessies, en zich daar adequaat op voorbereiden. Het gebruik van de toetsgestuurde leerplatforms is facultatief, en primair gericht op de zwakkere studenten. Om toch de studenten te verleiden deze facultatieve leermiddelen serieus te nemen, is naast de allesbepalende schriftelijke eindtoets, van een bonuspuntensysteem gebruik gemaakt dat bonuspunten toekent tot een maximum van 20% van de totaalscore, op basis van prestaties in tweewekelijkse quizzen. Die quizzen worden afgenomen in de MML en MSL leerplatforms, en zijn qua inhoud sterk verwant aan het oefenmateriaal waarmee studenten voorafgaande aan die quizzen kunnen oefenen (selecties uit dezelfde itembanken van geparametriseerde vragen). Intensiteit van gebruik van toetsgestuurde leerplatforms De 986 studenten die op enige wijze actief zijn geweest in de MML en MSL platforms, besteden een gemiddelde oefentijd van 4,77 uur/week in MML (wiskunde), en 3,26 uur/week in MSL (statistiek). Tezamen ruim 8 uur/week gemiddeld, hetgeen 40% van de voor de cursus beschikbare leertijd inhoudt: de cursus heeft een belasting van 50%, hetgeen neerkomt op 20 studie-uren per week, gedurende acht weken. Die nominale studielast komt goed overeen met de door de studenten gepercipieerde studielast: in de enerlaatste week van de cursus zijn de studenten bevraagd over de wekelijkse studielast, hetgeen een gemiddelde opleverde van 20,1 studie-uren (in het vorige studiejaar was de wekelijkse studielast nog 17,5 uur/week, zo n 2½ uur lager). In Figuur 1 zijn, voor de 871 studenten waarvan zowel MML leertijd, MSL leertijd, en zelf-gepercipieerde studielast, bekend zijn, deze drie gegevens in een lijngrafiek afgebeeld (naar oplopende totale leertijd).

3 ONBETWIST Deliverable MML/week MSL/week QM/week Figuur 1: totale leertijd per week (QM/week), en de aandelen daarin voor MML en MSL, van 871 studenten Naast de omstandigheid dat een zeventigtal studenten een onwaarschijnlijk lage gepercipieerde studiebelasting opgeeft, namelijk van minder dan 10 uur/week (in de meeste gevallen is de ML leertijd al hoger), valt op dat het tijdsbeslag van oefenen in de MML en MSL leeromgevingen erg constant is. Behoudens een beperkt aantal pieken, vooral in het gebruik van de wiskunde oefenomgeving, lijken de meeste studenten op vergelijkbare wijze te oefenen, en onderscheiden de zwakkere studenten zich vooral door meer tijd uit te trekken in de voorbereiding van de pgo-sessies, en het examen. Toetsgestuurd oefenen en cursusprestaties In de MML en MSL oefenomgevingen werden per week een twintigtal oefenvraagstukken ter beschikking gesteld, voor zowel wiskunde als statistiek, waaruit in de twee wekelijkse quizzen een selectie werd bevraagd. Een optimale voorbereiding van die quizzen bestond er dan ook uit om voorafgaand alle van de wekelijkse oefenopdrachten met succes te oefenen (in de oefenmodus krijgt een student zo uitvoerige feedback, dat uiteindelijk ieder onderwerp met succes afgesloten kan worden). De indicatoren die aangeven hoe hoog het beheersingsniveau van studenten is voor de wekelijkse oefenstof (aangeduid met de lelijke term mastery, hetgeen een proportie is), liggen dan ook hoog, zowel voor wiskunde als statistiek. Om toch enige variatie zichtbaar te maken, is eerst de studentenpopulatie onderverdeeld in vier kwantielen, op basis van de totaalscore per vakgebied. Die totaalscore is opgebouwd uit tentamenscore (0 20 punten) plus bonusscore uit de quizzen (0 8 punten), zowel voor wiskunde en statistiek. De vier kwantielen bestaan steeds uit een kwart van het aantal studenten (227 in totaal), waarbij Q1 het kwart van de slechtst scorende studenten is, Q2 het volgende kwart, tot aan Q4 bestaande uit het kwart van de studenten met de hoogste totaalscore. Vervolgens is voor ieder van die kwantielen, zowel voor wiskunde als statistiek, onderzocht hoe het verloop van het mastery niveau over de zeven weken van de cursus (week acht is de tentamenweek), er uit ziet. Figuren 2 en 3 laten dat grafisch zien, voor wiskunde respectievelijk statistiek.

4 MMLw1 MMLw2 MMLw3 MMLw4 MMLw5 MMLw6 MMLw7 Q1 Q2 Q3 Q4 Figuur 2: verloop van mastery in MML, de wiskunde oefenomgeving, voor vier kwantielen MSLw1 MSLw2 MSLw3 MSLw4 MSLw5 MSLw6 MSLw7 Q1 Q2 Q3 Q4 Figuur 3: verloop van mastery in MSL, de statistiek oefenomgeving, voor vier kwantielen Duidelijk is dat een grote meerderheid van de studenten de oefenomgevingen tot aan het eind van de cursus serieus blijft nemen. De beheersingsniveaus nemen licht af in de tijd, maar enkel in het eerste kwantiel, d.w.z. de 25% slechts scorende studenten, is er sprake van een aanzienlijke verslechtering. Hierbij is de kanttekening te plaatsen dat beide figuren enkel studenten bevatten, die zowel in de oefenomgevingen actief geweest zijn, als aan het tentamen hebben deelgenomen. Er is een kleine groep van ongeveer 20 studenten die uiteindelijk niet aan het tentamen deelneemt; mogelijk is voor deze studenten het verloop in de tijd groter geweest. Ondanks de omstandigheid dat de grote meerderheid van studenten goede prestaties behaald in de oefenomgevingen, is er toch een sterke relatie tussen beheersing in de oefenomgeving, en behaalde totaalscore in het vakgebied. Figuur 4 illustreert die relatie aan de hand van correlaties. Het verloop

5 in de tijd van die correlaties is licht verschillend voor de twee vakgebieden: bij statistiek zijn de correlaties het hoogst voor de mastery in de laatste weken, mogelijk door de sterk hiërarchische opbouw van de leerstof, terwijl de sterkste correlaties voor wiskunde in het midden van de cursus zijn waar te namen MML MSL W1 W2 W3 W4 W5 W6 W7 Figuur 4: correlaties tussen totaalscore, wiskunde en statistiek, en mastery in MML en MSL, per week Ook de hoeveelheid tijd die studenten in beide oefenomgevingen besteden is gerelateerd aan studieprestaties, maar die relatie is minder sterk, om voor de hand liggende redenen. Meer oefenen, dus meer oefentijd, is enerzijds gunstig voor de prestaties. Maar er is ook een tegengesteld effect: de student die meer tijd nodig heeft om eenzelfde beheersingsniveau te halen, is juist zwakker dan de student die dezelfde opgaven in minder tijd kan doen. We kunnen dit zichtbaar maken door een efficiency variabele te definiëren: het aantal opgaven dat een student met succes kan doen, per tijdseenheid. Zowel voor wiskunde als statistiek correleert die efficiency variabele positief met totaalscore voor wiskunde c.q. statistiek. Er is een alternatieve manier om die tegengestelde effecten te illustreren: met behulp van multipele regressie. Daarbij wordt de totaalscore per vakgebied verklaart uit enerzijds beheersingsniveau (gemiddeld, over alle weken), en anderzijds totale oefentijd. Die twee regressierelaties zien er als volgt uit: WiskundeTotaalScore = 10, ,687*MMLOverallMastery 0,309*MMLOefentijd StatistiekTotaalScore = 11, ,581*MSLOverallMastery 0,251*MSLOefentijd waarbij in beide relaties de regressiecoëfficiënten gestandaardiseerd zijn (beta s). De interpretatie van de negatieve coëfficiënten voor oefentijd in beide relaties is: van twee studenten die een gelijk niveau van mastery hebben, is de student die dat niveau in minder tijd heeft behaald sterker dan de student die meer oefentijd nodig heeft om dat niveau te behalen.

6 Studentevaluaties van MML en MSL oefenomgevingen Als onderdeel van de standaard cursusevaluatie, waarin studenten gevraagd wordt alle onderdelen van het onderwijsaanbod in de cursus te waarderen, is de appreciatie van de oefenplatforms gemeten. Die appreciatie is hoog: scores voor zowel MML en MSL liggen tussen 4,2 en 4,5 (kleine verschillen tussen studierichtingen) op een 5-punts schaal, en maken de twee tools tot het hoogst gewaardeerde onderdeel van het onderwijsaanbod. Hetgeen opmerkelijk is vanuit het perspectief dat eerder gebruikte digitale leermiddelen, zowel zelf samengestelde oefenomgevingen als de voorheen voor statistiekonderwijs benutte e-tutorial ALEKS, op een meer bescheiden studentwaardering moesten rekenen, met vooral ook grote variatie in waardering tussen verschillende studenten. Studentevaluaties zijn anoniem, dus de evaluatiegegevens zijn spijtig genoeg niet te combineren met de gebruiksgegevens, zodat het niet mogelijk is aan te geven welke verbanden er bestaan tussen waardering van de oefenomgevingen, en de intensiteit van het gebruik ervan. Statistische analyses van gebruiksdata Het intensieve gebruik van beide oefenomgeving is zowel een succesfactor, als tegelijk een complicerende factor. De complicaties die voortkomen uit teveel succes worden goed in beeld gebracht door Figuur 5, welke de verdelingen weergeeft van het bereikte beheersingsniveau (uitgedrukt als proportie van alle geselecteerde oefenopdrachten). In statistische analyses is de, vaak onuitgesproken, veronderstelling dat de te onderzoeken fenomenen een normale verdeling volgen: een symmetrische, klokvormige verdeling. Het zal duidelijk zijn dat onze twee belangrijkste doelvariabelen dat allerminst zijn: ze volgen een sterk links-scheve verdeling, die afgeknot wordt bij het maximum van de verdeling: meer dan 100% beheersing is niet te behalen, en de grote meerderheid van studenten haalt dat niveau. Figuur 5: histogrammen van Overall Mastery in de MML en MSL oefenomgevingen Omdat standaard technieken om verbanden te onderzoeken, zoals correlatie en regressie, zich op de veronderstelling van normaliteit baseren, zijn die strikt genomen hier niet toepasbaar. Makkelijk valt ook in te zien dat als ze wel worden toegepast, de uitkomsten niet anders dan relatief zwak kunnen

7 zijn: als bijna iedereen de maximale score behaalt, is er heel weinig ruimte voor andere invloeden op de beheersingsgraad, zoals bijvoorbeeld die van persoonlijkheidskenmerken. Desondanks zijn er aantal verbanden waar te nemen, die sporen met de verbanden die we eerder vonden in de vorige uitvoering van deze cursus (zie Deliverable 5.3.1, tevens in OnderwijsInnovatie, september 2012, opgenomen). Vooropleiding. Het belangrijkste onderscheid in onze populatie is dat tussen WiA en WiB (en de internationale equivalenten daarvan, zoals voor het Duitstalige onderwijs: Grundkurs versus Leistungskurs). Wat de wiskunde oefenomgeving MML betreft: studenten met advanced mathematics behalen een iets hogere beheersingsgraad, maar het verschil is niet statistisch significant. Wat wel statistisch significant is, is het verschil in tijd dat ze er voor nodig hebben: gemiddeld 5,3 uur minder. De verschillen voor de statistiek oefenomgeving MSL zijn steeds in dezelfde richting (betere beheersing, minder tijd), maar nergens significant. Hetgeen niet verbaast, omdat advanced mathematics meestal juist niet betrekking heeft op statistische onderwerpen. Voorkennis. De twee ONBETWIST diagnostische instaptoetsen voor wiskunde en statistiek, afgenomen in de eerste week van de cursus, laten ook verwachte verbanden zien met de gebruiksgegevens van de oefenomgevingen. De score op de wiskunde instaptoets heeft een significante positieve correlatie met MML Mastery (r = 0,22), en een significante maar zwakke negatieve correlatie met MML leertijd (r = -0,08): studenten die een goede score halen in de instaptoets, komen een stuk verder in de oefenomgeving, en het kost ook nog minder oefentijd. Voor de statistiek instaptoets is er geen verband met de score op de instaptoets, maar wel weer het negatieve verband met leertijd (r = -0,17): alle studenten komen ongeveer even ver in de oefenomgeving, maar zij met meer voorkennis, kunnen dat efficiënter doen. Motivatie en betrokkenheid. Eén van de meer kenmerkende verbanden welke in de analyse van verleden jaar werd gevonden, was die tussen gebruiksgegevens en de motivatie en betrokkenheid data set, welke onderscheid maakt tussen adaptieve gedachten en gedragingen van studenten, en maladaptieve gedachten en gedragingen. De verbanden die zichtbaar waren in de data van afgelopen jaren, herhalen zich bijna één-op-één in de huidige gebruiksdata, ondanks de omstandigheid dat de oefenomgevingen nogal verschillend zijn. Figuur 6 geeft de verbanden weer tussen de gebruikergegevens (MML, Mastery en Tijd, en MSL, Mastery en Tijd) en de adaptieve kenmerken: de adaptieve gedachten Zelfvertrouwen, Waardering van school en Leerfocus, en de adaptieve gedragingen Plannen, Studiemanagement en Doorzetten.

8 MMLMastery MMLTijd MSLMastery MSLTijd Figuur 6: correlaties tussen MML en MSL gebruiksgegevens en adaptieve studentkenmerken Alle verbanden zijn significant positief, zoals te verwachten, met de sterkste verbanden voor de drie adaptieve gedragingen, en Leerfocus als cognitie. Net als in de analyses van vorig jaar, laten de maladaptieve gedachten en gedragingen een minder eenduidig patroon zien: zie Figuur MMLMastery MMLTijd MSLMastery MSLTijd Figuur 7: correlaties tussen MML en MSL gebruiksgegevens en maladaptieve studentkenmerken

9 Beide maladaptieve gedragingen, Zelfhandicapping en Onverschilligheid/Uitval, hebben een sterk negatief effect. De impact van de maladaptieve gedachten is echter meer genuanceerd. Het bestaan van leerangst leidt ertoe dat studenten meer tijd in de oefenomgevingen doorbrengen (zonder overigens productiever te zijn). Onzekerheid leidt tot meer leertijd, maar minder leeropbrengsten (maar omvang van effecten is gering). Faalangst beïnvloedt zowel leertijd als leeropbrengsten negatief. Eindconclusie Studenten hebben intensief van de oefenomgevingen gebruik gemaakt: zo n 8 uur/week, wat een fors deel is van de voor het vak beschikbare studiebelasting. Studietijd is in vergelijking met verleden jaar toegenomen, hetgeen mogelijk is toe te schrijven aan het intensieve gebruik van de oefenomgevingen. In die oefentijd behaalt de grote meerderheid van de studenten een beheersingsniveau van 100% of daar vlak onder. Dat succes bemoeilijkt echter tegelijkertijd analyses van verbanden tussen gebruikersgegevens, en achterliggende studentkarakteristieken: de geringe variatie in die gebruikersgegevens laat weinig ruimte over voor een sterke rol van andere bepalende factoren. Eenzelfde opmerking geldt de analyse tussen intensiteit van oefenen, en studiesucces: dat verband is duidelijk aanwezig, maar zou veel uitgesprokener geweest kunnen zijn bij meer variatie in gebruiksgegevens. Referenties Tempelaar, Dirk, Hans Cuypers, Evert van de Vrie, Henk van der Kooij, & André Heck (2012). Toetsgestuurd leren en learning analytics. OnderwijsInnovatie, September 2012, pp