Deliverable 4.4 en 4.5 Verslag en evaluatie onderwijsactiviteiten testfase 1 1 september 2011 1 februari 2012 Evert van de Vrie
Inleiding In dit document zijn de verslagen en evaluaties opgenomen van de onderwijsactiviteiten van het ONBETWIST-project in testfase 1. Voor het opstellen van de verslagen en evaluaties was een sjabloon beschikbaar gesteld. Het project Lineaire Algebra van de Technische Universiteit (Aart Blokhuis) start voor het eerst in komend semester (voorjaar 2012). Daarvan is dus nog geen verslag over afgelopen periode. Van het project Universiteit Utrecht / Statistiek van Yolanda Grift is nog geen afzonderlijke rapportage ontvangen. De bevindingen van dit onderwijsproject zijn echter wel terug te vinden in Deliverable 5.3.4. In het hierna volgende overzicht zijn de afzonderlijke rapportages weergegeven.
Contactpersoon ct Onderwijsinstelling / faculteit / afdeling Léon Driessen Open Universiteit / Faculteit Informatica - Basiscursus wiskunde, docent: Bart Pauw Dirk Tempelaar UM, SBE, Bachelor IB & EC - Voorbereidingscursus wiskunde B, docent Léon Driessen Uit welk inhoudelijk domein zijn items en/of toetsen (VWO-wiskunde, Calculus, Lineaire algebra, Statistiek) items en/of toetsen uit Onbetwist beschikbaar gesteld aan de studenten? VWO wiskunde Via www.onbetwist.org Voor ingangstoetsing: Schoolwiskunde & Statistiek, VWO leerstof. Voor voortgangstoetsing: Calculus, Lineaire Algebra, Statistiek (voor Gamma opleidingen). Digitaal, via de instellings-elo: BB. En digitaal, via elo uitgever: MyLab vvan Pearson. (Elektronisch, op papier, via moodle.onbetwist.org, via MapleTA, via instellings-elo, ) items en/of toetsen uit Onbetwist ingezet? (facultatief, wekelijks, als oefening, als officiële toets, ) Basiscursus wiskunde: - uiteindelijk is geen gebruik gemaakt van de items; in het reguliere onderwijsmateriaal was voldoende aanwezig, en de items waren niet gemakkelijk toegankelijk. Voorbereidingscursus wiskunde B: Ingangstoetsing, en voortgangstoetsing (tweewekelijks).voortgangstoets heeft beperkte summatieve betekenis (bonuspunten), ingangstoetsing niet. Hoeveel items en/of toetsen zijn - Wekelijks, als extra oefening bij de lessen Ongeveer 100 Veel (tienduizenden)
Werden er ook nog gebruikt buiten Onbetwist? Was de Onbetwist database voldoende gevuld met items en toetsen voor dit ct? Hoe werd gebruik van Onbetwist-items en -toetsen gestimuleerd of afgedwongen? Ja, de items en opgaven uit de boeken, en van de oefententamens. Nog niet. Het werd studenten geadviseerd. Enkelen gingen serieus er mee aan de slag. Uiteindelijk is het de verantwoordelijkheid van de studenten zelf. Ja De gevolgde werkwijze is nu primair geweest: toetsen/ items maken, of uit andere itembestanden downloaden, ze in het onderwijs gebruiken, en vervolgens geschikt maken voor de Onbetwist itembank. Slechts één enkele toets (3TU instaptoets) kon zonder aanpassing uit de Onbetwist databank worden gehaald. In de loop van dit academisch jaar zal de Onbetwist databank zo goed gevuld raken, dat vragen ook daaruit gehaald kunnen worden. Enerzijds door verplicht stellen, anderzijds door bonuspunten te koppelen aan het gebruik ervan. Hoeveel uren zijn in deze fase van het project ingezet? 20 uur Zeer veel (en ruim meer dan gepland), maar het is moeilijk een onderscheid maken tussen werkzaamheden sec voor Onbetwist, en werkzaamheden om het bestaande systeem van formatieve toetsing te optimaliseren. Evaluatie Geef hiernaast een korte evaluatie van testfase 1, met als aandachtspunten: activiteiten uitgevoerd? doelen gehaald? - wat ging goed, wat ging slecht? - wat moet er komende fasen van het project worden veranderd? Bij de Basiscursus wiskunde is uiteindelijk niet meer gebruik gemaakt van de onbetwist-items. De toegang was nog lastig, het interface nog niet best, en studenten waren ook in de weer met een ander systeem. Bij de Voorbereidingscursus wiskunde is het gelukt om studenten naar de items te verwijzen en een aantal heeft er hun voordeel mee gedaan. Belangrijk is dat de opgaven heel makkelijk toegankelijk zijn voor de studenten, en dat ze er zonder technisch gedoe mee aan de slag De toetsing heeft plaatsgevonden op de geplande wijze. Wat bij het opmaken van de planning destijds niet duidelijk was, was de fasering van de werkwijze: zou het mogelijk zijn om eerst de Onbetwist database te vullen voorafgaande aan het onderwijs, om de toetsen/items dan tijdens het onderwijsproject uit de database te downloaden en in het onderwijs in te zetten, of zouden de toetsen buiten de Onbetwist database om moeten worden samengesteld, in het onderwijs gebruikt worden, om vervolgens daarna aan de Onbetwist database toegevoegd te worden. Het is de laatste systematiek geworden. Voor het onderwijsproject heeft dat op zich niet uitgemaakt; nu wel zorgen dat voor de volgende uitvoering de omgekeerde weg bewandeld kan worden.
kunnen. Als er technisch dingetjes fout gaan, worden ze extra onzeker en haken heel snel af. De bruikbaarheid zal dus in de komende fasen van het project sterk verbeterd moeten worden.
Contactpersoon ct Onderwijsinstelling / faculteit / afdeling Dirk Tempelaar, Lutz Krebs UM, MSoG, master Dirk Tempelaar, Boudewijn Kuperus UM, UCM: Bachelor Uit welk inhoudelijk domein zijn items en/of toetsen (VWO-wiskunde, Calculus, Lineaire algebra, Statistiek) beschikbaar gesteld aan de studenten? Voor ingangstoetsing: Schoolwiskunde & Statistiek, VWO leerstof. Voor voortgangstoetsing: Statistiek (voor Gamma opleidingen). Primair op papier. Voor ingangstoetsing: Schoolwiskunde & Statistiek, VWO leerstof. Voor voortgangstoetsing: Statistiek (voor Gamma opleidingen). Digitaal, via de instellings-elo: BB. En digitaal, via elo uitgever: MyLab vvan Pearson. (Elektronisch, op papier, via moodle.onbetwist.o rg, via MapleTA, via instellings-elo, ) ingezet? (facultatief, wekelijks, als oefening, als officiële toets, ) Hoeveel items en/of toetsen zijn Werden er ook nog gebruikt buiten Onbetwist? Ingangstoetsing, en voortgangstoetsing (wekelijks).voortgangstoets heeft zware summatieve betekenis (hoofdbestanddeel blokscore), ingangstoetsing niet. Honderden Ja: belangrijkste bron is uitgever. Ingangstoetsing, eindtoetsing, en voortgangstoetsing (tweewekelijks).voortgangstoets heeft beperkte summatieve betekenis (30% van de eindscore), ingangstoetsing niet. Veel (tienduizenden) Ja Was de Onbetwist De gevolgde werkwijze is nu primair De gevolgde werkwijze is nu primair
database voldoende gevuld met items en toetsen voor dit ct? Hoe werd gebruik van Onbetwistitems en -toetsen gestimuleerd of afgedwongen? Hoeveel uren zijn in deze fase van het project ingezet? Evaluatie Geef hiernaast een korte evaluatie van testfase 1, met als aandachtspunten: activiteiten uitgevoerd? doelen gehaald? geweest: toetsen/ items maken op basis van toetsbestanden van de uitgever, ze in het onderwijs gebruiken, en vervolgens geschikt maken voor de Onbetwist itembank. Door de sterke summatieve rol ervan. Redelijk volgens planning (maar moeilijk te onderscheiden van andere UM onderwijsprojecten):maken veelal gebruik van dezelfde materialen. Doelstellingen zijn gehaald, met de kanttekening dat deze doelgroep van studenten (masterstudenten met gamma of alfa vooropleiding) zich minder goed lijkt te lenen voor digitaal gebruik van toetsen. Toetsen zijn daarom primair op papier afgenomen. geweest: toetsen/ items maken, of uit andere itembestanden downloaden, ze in het onderwijs gebruiken, en vervolgens geschikt maken voor de Onbetwist itembank. Voorbeeld daarvan is de zogenaamde ARTIST CAOS test: ontleend aan het Amerikaanse NSF project Assessment Resource Tools for Improving Statistical Thinking, een project met soortgelijke doelstelling als SURF TTL. De in dat project ontwikkelde CAOS test, Comprehensive Assessment of Outcomes in a first Statistics Course, is in het onderwijsproject als instaptoets én als uitgangstoets gebruikt. Afname heeft plaatsgevonden via de speler van het ARTIST project. Echter, de CAOS test is nu ook toegevoegd aan de Onbetwist databank (als Engelse en Nederlandse versie), zodat in de toekomst de Onbetwist speler gebruikt kan worden. In de loop van dit academisch jaar zal de Onbetwist databank zo goed gevuld raken, dat steeds meer toetsen/vragen ook daaruit gehaald kunnen worden. Enerzijds door verplicht stellen, anderzijds door bonuspunten te koppelen aan het gebruik ervan. Zeer veel (en ruim meer dan gepland), maar het is moeilijk een onderscheid maken tussen werkzaamheden sec voor Onbetwist, en werkzaamheden om het bestaande systeem van formatieve toetsing te optimaliseren. De toetsing heeft plaatsgevonden op de geplande wijze. Wat bij het opmaken van de planning destijds niet duidelijk was, was de fasering van de werkwijze: zou het mogelijk zijn om eerst de Onbetwist database te vullen voorafgaande aan het onderwijs, om de toetsen/items dan tijdens het onderwijsproject uit de database te downloaden en in het onderwijs in te zetten, of zouden de toetsen buiten de Onbetwist database om moeten worden samengesteld, in het onderwijs gebruikt
- wat ging goed, wat ging slecht? - wat moet er komende fasen van het project worden veranderd? worden, om vervolgens daarna aan de Onbetwist database toegevoegd te worden. Het is de laatste systematiek geworden. Voor het onderwijsproject heeft dat op zich niet uitgemaakt; nu wel zorgen dat voor de volgende uitvoering de omgekeerde weg bewandeld kan worden.
Contactpersoon ct Onderwijsinstelling / faculteit / afdeling Dirk Tempelaar, Hans de Graaff UM, ECT, Bachelor Ectrie F.Beukers Universiteit Utrecht Uit welk inhoudelijk domein zijn items en/of toetsen Lineaire algebra Lineaire algebra (VWO-wiskunde, Calculus, Lineaire algebra, Statistiek) beschikbaar gesteld aan de studenten? Via externe spelers, waarschijnlijk www.telmme.nl. Via Moodle (Elektronisch, op papier, via moodle.onbetwist.o rg, via MapleTA, via instellings-elo, ) ingezet? (facultatief, wekelijks, als oefening, als officiële toets, ) Hoeveel items en/of toetsen zijn Dit onderwijs project is wel in de uitvoering geremd door de beperkte beschikbaarheid van materialen in het begin van het academisch jaar. Daarom besloten het door te schuiven naar komend voorjaar, en de module aan te bieden als oefenomgeving voor studenten die moeten herkansen. Dat kan nu al in de speler ontwikkeld binnen het Telmme project; mogelijk dan ook met de Onbetwist speler zelf, wanneer op tijd alle materialen in Onbetwist zijn ontsloten. Wekelijks, als oefening, facultatief Er zijn 6 hoofdstukken beschikbaar gesteld (nrs 1 t/m 6)
Werden er ook nog gebruikt buiten Onbetwist? Was de Onbetwist database voldoende gevuld met items en toetsen voor dit ct? Afgelopen najaar nog niet, komend voorjaar wel. Ja, reguliere schriftelijke oefeningen Redelijk, sommige items waren beter gevuld dan andere. Hoe werd gebruik van Onbetwistitems en -toetsen gestimuleerd of afgedwongen? Hoeveel uren zijn in deze fase van het project ingezet? Evaluatie Geef hiernaast een korte evaluatie van testfase 1, met als aandachtspunten: activiteiten uitgevoerd? doelen gehaald? - wat ging goed, wat ging slecht? - wat moet er komende fasen van het project worden veranderd? Facultatief gebruik. Zal volgen na afloop van komend semester. De oefeningen werden in het wekelijkse programma van de cursus opgenomen 14 Zelf heb ik deze fase ook gebruikt om kennis te maken met de voorradige opgaven. Zeker in het begin heeft een redelijk aantal studenten gebruik gemaakt van de oefenmogelijkheid (20 van de 100). Aan het eind van de cursus zakte dit gebruik af, met een piek vlak voor het tentamen. In de evaluatie van de cursus zijn er vragen opgenomen over het bebruik van online oefeningen. De uitslagen daarvan moeten nog bekend worden.
Contactpersoon ct Onderwijsinstelling / faculteit / afdeling Dr.E Mulder Universiteit Utrecht/ Bètawetenschappen/ Scheikunde Johan Jeuring Universiteit Utrecht / Betawetenschappen / Informatica Uit welk inhoudelijk domein zijn items en/of toetsen alle VWO-wiskunde (VWO-wiskunde, Calculus, Lineaire algebra, Statistiek) beschikbaar gesteld aan de studenten? Elektronisch http://www.fi.uu.nl/dwo/sk/ en op papier voor de toetsing (entreetoets) Items worden voornamelijk elektronisch ter beschikking gesteld via intellingswiki. Toetsen worden op papier afgenomen. (Elektronisch, op papier, via moodle.onbetwist.o rg, via MapleTA, via instellings-elo, ) ingezet? In de wiskunde zomercursus en facultatief als oefening tijdens de eerste wiskundecursus Onbetwist items worden ingezet bij de instaptoets en uiteindelijke toets, en bij de oefenitems door het jaar heen. (facultatief, wekelijks, als oefening, als officiële toets, ) Hoeveel items en/of toetsen zijn Werden er ook nog gebruikt buiten Onbetwist? Niet bekend hoeveel van de opgaven in de DWO daadwerkelijk worden gebruikt. Ja, door studenten die verdere oefening nodig hebben. Er wordt gebruik gemaakt van de landelijke entreetoets Twee toetsen, enkele honderden items. Er worden ook nog items aangeboden uit Math-Bridge. Was de Onbetwist ja Nog niet: het zou mooi zijn als de
database voldoende gevuld met items en toetsen voor dit ct? Freudenthal applets ook toegevoegd zouden worden op de een of andere manier. Hoe werd gebruik van Onbetwistitems en -toetsen gestimuleerd of afgedwongen? Het belang van goede wiskundevaardigheden wordt sterk benadrukt in de colleges. Je bent (bijna) kansloos als je dit niet doet. Verder eigen verantwoordelijkheid van de student. Door het te publiceren op de vakpagina s, het gebruik te demonstreren, en eventuele problemen met oefeningen te bespreken. Tijdens de feedback-bijeenkomsten worden alleen problemen met het oplossen van opgaven besproken. Hoeveel uren zijn in deze fase van het project ingezet? 31 uur (docent) 6 Evaluatie Geef hiernaast een korte evaluatie van testfase 1, met als aandachtspunten: activiteiten uitgevoerd? doelen gehaald? - wat ging goed, wat ging slecht? Genoemde activiteiten zijn uitgevoerd. Door studenten is slechts door enkelen het materiaal gebruikt voor oefening naast het reguliere oefenmateriaal van de cursus. De DWO zal in 2012 breder worden ingezet in het wiskundeonderwijs voor eerstejaars, d.w.z. naast de zomercursus en de toetsing zal de DWO gebruikt worden in de werkcolleges. Ik kan de Freudenthal applets makkelijk gebruiken, maar het is me nog niet helemaal duidelijk hoe ik de Onbetwist database in zou kunnen zetten. - wat moet er komende fasen van het project worden veranderd?
Contactpersoon ct Onderwijsinstelling / faculteit / afdeling André Heck, Tanneke den Blaauwen UvA, FNWI Celbiologie en wiskunde André Heck, Maarten Boerlijst UvA/FNWI Statistiek Uit welk inhoudelijk domein zijn items en/of toetsen (VWO-wiskunde, Calculus, Lineaire algebra, Statistiek) beschikbaar gesteld aan de studenten? VWO-wiskunde, i.h.b. rekenen met grootheden, wiskundige functies en hun afgeleiden. wiskunde van groeiprocessen, Elecktronisch: BlackBoard is communicatiemiddel en DWO is de digitale wiskunde oefenomgeving Statistiek en analyse van biologische data. Geselecteerde opgaven sluiten aan bij het studieboek The Analysis of Biological Data van Whitlock en Schluter. Elecktronisch: Via Maple TA in BlackBoard (Elektronisch, op papier, via moodle.onbetwist.o rg, via MapleTA, via instellings-elo, ) ingezet? (facultatief, wekelijks, als oefening, als officiële toets, ) In week 1 een diagnostische toets; verder wekelijks in blok 1, met digitale wiskundeoefeningen om op het gewenste wiskunde A niveau (terug) te komen en met een klein nieuw stukje wiskunde (differentiaalvergelijkingen) kennis te maken. Oefening was volledig digitaal zonder werkcolleges of vragenuur. Digitale oefenopgaven voor deeltentamens En verder digitale oefening met meer opdrachten.
Hoeveel items en/of toetsen zijn Werden er ook nog gebruikt buiten Onbetwist? Was de Onbetwist database voldoende gevuld met items en toetsen voor dit ct? Diagnostische vwo-wiskunde A toets (met 16 vragen) is gebruikt. Verder is nieuw materiaal (50 items) ontwikkeld afgestemd op de studie levenswetenschappen, maar dat ook als toepassing van wiskunde in andere studies gebruikt kan worden. Ja, toetsen op Prep-U niveau 5 uit de bioportal horende bij het studieboek Life Wat betreft basisvaardigheden (bijv. rekenen, differentiëren van functies) wel, maar er was behoefte aan oefeningen in de context van levenswetenschappen om de studenten te motiveren. 2 toetsen: 30 oefenopgaven 1 ste deeltentamen, 25 oefenopgaven 2 e deeltentamen, en 27 verdere oefeningen. In totaal: 82 items. nee Vulling vond plaats in ONBETWIST kader; in test- en ontwikkelfase 1 zijn al items ontwikkeld die ingezet werden Hoe werd gebruik van Onbetwistitems en -toetsen gestimuleerd of afgedwongen? Een minimum slagingspercentage gaf toegang tot (deel)tentamens Minimumdeelname aan opgavenpractica. Hoeveel uren zijn in deze fase van het project ingezet? 15 uur in testfase 1 In testfase 1: 20 uur. Evaluatie Geef hiernaast een korte evaluatie van testfase 1, met als aandachtspunten: activiteiten uitgevoerd? doelen gehaald? - wat ging goed, wat ging slecht? - wat moet er komende fasen van Voorgenomen activiteiten voor ICT Wiskunde 1 in blok 1 van het studiejaar zijn uitgevoerd. Uit evaluatie is gebleken dat de doelen bereikt zijn, maar dat studenten behalve oefening graag college, werkcollege en/of vragenuur hebben. Ook hebben ze behoefte aan uitgewerkte voorbeelden. Toetsresultaten voor wiskunde waren bevredigend. Toetsgestuurd leren heeft een hoger rendement dan vorig studiejaar opgeleverd. Fouten in lesmateriaal moeten verbeterd worden, meer voorbeeldmateriaal moet ontwikkeld worden, en colleges moeten geïntroduceerd en voorbereid worden. De cursus wordt ontvlecht naar doelgroepen psychobiologie en naar biologie + biomedische wetenschappen. Voorgenomen activiteiten voor Methoden van Onderzoek en Statistiek in blok 1 en 2 van het studiejaar zijn uitgevoerd. De doelen zijn niet volledig bereikt zijn want de uitvoering had te leiden onder technische problemen met de Maple TA implementatie op de UvA. Hierin is extra tijd gaan zitten om uit te zoeken wat er precies aan de hand was en er moest uitgeweken worden naar een externe Maple TA server. Desalniettemin hebben 258 studenten de oefentoets voor het tentamen gemaakt. Dit was ongeveer de helft van het studentenaantal. Een verbetering van de logistiek en een uitbouw van opdrachten moet gerealiseerd worden. Een hernieuwde test met een oefentoets met MapleTA wordt gedaan.
het project worden veranderd?
Contactpersoon ct Onderwijsinstelling / faculteit / afdeling Hans Cuypers, Emiel van Berkum TU/e, wiskunde Hans Cuypers, Ruud Pellikaan TU/e, wiskunde Het betreft hier onderwijs voor Bouwkunde studenten Uit welk inhoudelijk domein zijn items en/of toetsen VWO-wiskunde, VWO-wiskunde en Calculus (VWO-wiskunde, Calculus, Lineaire algebra, Statistiek) beschikbaar gesteld aan de studenten? Elektronisch: Via omgeving van de TU/e (www.wistue.nl) Elektronisch: Via moodle omgeving van de TU/e (www.telmme.nl) (Elektronisch, op papier, via moodle.onbetwist.o rg, via MapleTA, via instellings-elo, ) ingezet? (facultatief, wekelijks, als oefening, als officiële toets, ) Alle aankomende eerstejaars studenten ontvingen een login voor de oefenomgeving www.wistue.nl. Gedurende de zomer kon men oefenen met het beschikbare materiaal. In de eerste week van september werd een ingangstoets afgenomen. In Oktober werd een herkansing gepland. Gedurende deze periode werd de oefenomgeving intensief gebruikt. Digitale oefenopgaven om zowel de VWO-stof op te frissen als ook nieuwe stof te verwerken. De opgaven zijn continue aangeboden, maar zijn wel ingedeeld conform de collegeindeling. Hoeveel items en/of toetsen zijn Circa 250 items en 5 voorbeeldtoetsen en 2 echte toetsen. Circa 400 items
Werden er ook nog gebruikt buiten Onbetwist? Was de Onbetwist database voldoende gevuld met items en toetsen voor dit ct? Ja, de toetsen en de oefenitems werden deels uit de Onbetwist overgenomen. De gebruikte opgaven zijn deels uit Onbetwist genomen en de overige items zijn beschikbaar gemaakt voor gebruik binnen Onbetwist. Zij zijn echter niet allemaal door redacties beoordeeld. Ja, de oefenitems werden deels uit de Onbetwist overgenomen. De gebruikte opgaven zijn deels uit Onbetwist genomen en de overige items zijn beschikbaar gemaakt voor gebruik binnen Onbetwist. Zij zijn echter niet allemaal door redacties beoordeeld. Hoe werd gebruik van Onbetwistitems en -toetsen gestimuleerd of afgedwongen? Hoeveel uren zijn in deze fase van het project ingezet? Evaluatie Geef hiernaast een korte evaluatie van testfase 1, met als aandachtspunten: activiteiten uitgevoerd? doelen gehaald? - wat ging goed, wat ging slecht? - wat moet er komende fasen van het project worden veranderd? Deelname aan de toets was voor alle eerstejaars verplicht. Slagen voor de toets leverde soms een studiepunt o, en soms een bonus voor een tentamen wiskunde. Dit is afhankelijk van de faculteit. Het gehele project is slechts deels door Onbewist gedekt. Hiervoor zijn ca 100 uur gebruikt. Het doel van het project is de aankomende studenten bewust te maken van de belangrijke rol die wiskunde speelt binnen een technische opleiding en hun vaardigheden al in de eerste weken van het collegejaar op peil te hebben. De evaluaties van de tests, de reacties van onze studenten en docenten geven aan dat deze doelen bereikt zijn. Ook op technisch vlak is de uitvoering goed verlopen. Komend jaar zal het project herhaald worden en dan geïntegreerd worden in het reguliere Calculus onderwijs. Oefen was op vrijwillige basis, maar er werd wel regelmatig op belang van dit oefen gewezen In testfase 1: 20 uur. Het doel van het project is studenten extra mogelijkheden te beiden om te oefenen. Dit doel is bereikt. De cursus kan ook volgende jaar ingezet worden.