Verslag en evaluatie onderwijsactiviteiten testfase 3 1 september januari 2013

Transcriptie

1 Deliverable 4.12 Verslag en evaluatie onderwijsactiviteiten testfase 3 In dit document zijn de verslagen en evaluaties opgenomen van de onderwijsactiviteiten van het Onbetwist-project in testfase 3. Voor het opstellen van de verslagen en evaluaties was een sjabloon beschikbaar gesteld. Bij de TU Eindhoven (Calculus en Lineaire algebra) zijn items uit de Onbetwist database grootschalig ingezet via de instellings-elo. Ongeveer studenten hebben de items gebruikt. Bij de Universiteit Maastricht zijn via de eigen instellings ELO opgaven beschikbaar gesteld aan studenten (MyMathLab en MyStatLab). De Onbetwist database is praktisch gezien minder dan gepland ingezet. Bij de Universiteit Utrecht / Informatica zijn wel toetsitems ingezet, maar er is geen gebruik gemaakt van de Onbetwist database. Bij de Universiteit van Amsterdam zijn afgelopen periode activiteiten uitgevoerd in twee onderwijsprojecten. Toetsitems werden gebruikt via Maple TA en DWO. Items worden ook aangeleverd bij Onbetwist, maar er is weinig gebruik gemaakt van de Onbetwist database. Bij de Open Universiteit waren afgelopen periode geen onderwijsactiviteiten waarbij gebruik gemaakt kon worden van Onbetwist. Van de Onderwijsprojecten UU/Economie, UU/Wiskunde en UU/Scheikunde zijn geen rapportages en evaluaties over de afgelopen periode ontvangen. Conclusie Uit de rapportages valt af te leiden dat er op het gebied van digitale toetsing en wiskunde aansluit- en eerstejaars onderwijs bij de instellingen veel gebeurt, maar dat er nog weinig gebruik gemaakt wordt van de Onbetwist database. Iedere instelling werkt vooralsnog voornamelijk met eigen oplossingen en materialen. Perspectief is wel dat er items aangeleverd en ingevoerd zullen worden. Alleen in Eindhoven wordt grootschalig gebruik gemaakt van items die ook in de Onbetwist database voorkomen, al moeten veel van die items nog beoordeeld worden door de redactiecommissies. Hierna zijn de afzonderlijke rapportages opgenomen, voor zover ontvangen.

2 Verslag en evaluatie Calculus-onderwijs TU/e Implementatieproject testfase 3 Contactpersoon implementatieproject Onderwijsinstelling / faculteit / afdeling Hans Cuypers TU/e Verslag Uit welk inhoudelijk domein zijn items en/of toetsen gebruikt? (VWO-wiskunde, Calculus, Lineaire algebra, Statistiek) Onbetwist beschikbaar gesteld aan de studenten? (Elektronisch, op papier, via moodle.onbetwist.org, via MapleTA, via instellings-elo, ) Onbetwist ingezet? (facultatief, wekelijks, als oefening, als officiële toets, ) Calculus Via de instellings elo/onbetwist database Wekelijks werd een aantal items gebruikt om te oefenen, en was er een test met ongeveer 20 items. Hoeveel items en/of toetsen zijn gebruikt? 250 Werden er ook nog items en/of toetsen gebruikt buiten Onbetwist? Was de Onbetwist database voldoende gevuld met items en toetsen voor dit implementatieproject? Hoe werd gebruik van Onbetwist-items en -toetsen gestimuleerd of afgedwongen? Hoeveel uren zijn in deze fase van het project ingezet? Er was naast de elektronsiche opdrachten ook nog schriftelijk huiswerk uit het boek Ja De oefenopgaven waren niet verplicht, de toetsen wel. Ze vormden deel van het tentamencijfer. 50

3 Evaluatie testfase 3 Geef hiernaast een korte evaluatie van testfase 3, met als aandachtspunten: - zijn de voorgenomen activiteiten uitgevoerd? - zijn de voorgenomen doelen gehaald? - wat ging goed, wat ging slecht? De activiteiten zijn uitgevoerd en de doelen gehaald Terugblik op hele project Geef hiernaast een korte terugblik op het gehele project. - Heeft het opgeleverd wat je er van had gehoopt. - Wat is er wel/niet goed gegaan. Met behulp van Onbetwist is een groot deel van het Calculus-onderwijs aan eerstejaars van de TU/e van digitale leerminddelen voorzien. Aan deze test hebben alle 1700 eerstejaars meegedaan. Technisch en inhoudelijk is alles goed verlopen.

4 Verslag en evaluatie Lineaire Algebra-onderwijs TU/e Implementatieproject testfase 3 Contactpersoon implementatieproject Onderwijsinstelling / faculteit / afdeling Hans Cuypers TU/e Verslag Uit welk inhoudelijk domein zijn items en/of toetsen gebruikt? (VWO-wiskunde, Calculus, Lineaire algebra, Statistiek) Onbetwist beschikbaar gesteld aan de studenten? (Elektronisch, op papier, via moodle.onbetwist.org, via MapleTA, via instellings-elo, ) Onbetwist ingezet? (facultatief, wekelijks, als oefening, als officiële toets, ) Lineaire algebra Via de instellings elo/onbetwist database Wekelijks werd een test met ongeveer 20 items gebruikt. Hoeveel items en/of toetsen zijn gebruikt? 140 Werden er ook nog items en/of toetsen gebruikt buiten Onbetwist? Was de Onbetwist database voldoende gevuld met items en toetsen voor dit implementatieproject? Hoe werd gebruik van Onbetwist-items en -toetsen gestimuleerd of afgedwongen? Hoeveel uren zijn in deze fase van het project ingezet? Er was naast de elektronische opdrachten ook nog schriftelijk huiswerk uit het boek Ja De toetsen waren niet verplicht, Ze verschaften wel een bonuspunt voor het tentamencijfer. 10

5 Evaluatie testfase 3 Geef hiernaast een korte evaluatie van testfase 3, met als aandachtspunten: - zijn de voorgenomen activiteiten uitgevoerd? - zijn de voorgenomen doelen gehaald? - wat ging goed, wat ging slecht? De activiteiten zijn uitgevoerd en de doelen gehaald Terugblik op hele project Geef hiernaast een korte terugblik op het gehele project. - Heeft het opgeleverd wat je er van had gehoopt. - Wat is er wel/niet goed gegaan. Met behulp van Onbetwist is een groot deel van het Lineaire algebra-onderwijs aan eerstejaars van de TU/e van digitale leerminddelen voorzien. Aan deze tests hebben twee maal meer dan 150 eerstejaars en hbo-instromers meegedaan. Technisch en inhoudelijk is alles goed verlopen. Verslaggeving Implementatieproject testfase 3 UM, School of Business & Economics: 1 e jaars Contactpersoon implementatieproject Onderwijsinstelling / faculteit / afdeling Dirk Tempelaar UM, School of Business & Economics Uit welk inhoudelijk domein worden items en/of toetsen gebruikt? (VWO-wiskunde, Calculus, Lineaire algebra, Statistiek) Hoe worden de items en/of toetsen uit Onbetwist beschikbaar gesteld aan de studenten? (Elektronisch, op papier, via moodle.onbetwist.org, via MapleTA, via Voor ingangstoetsing: Schoolwiskunde & Statistiek, VWO leerstof. Via de eigen LMS: BB, dus digitaal.

6 instellings-elo, ) Hoe worden de items en/of toetsen uit Onbetwist ingezet? (facultatief, wekelijks, als oefening, als officiële toets, ) Hoeveel items en/of toetsen zullen worden gebruikt? Worden er ook nog items en/of toetsen gebruikt buiten Onbetwist? Is de Onbetwist database voldoende gevuld met items en toetsen voor dit implementatieproject? Hoe wordt gebruik van Onbetwist-items en -toetsen gestimuleerd of afgedwongen? In de uitvoering van komend najaar is het Onbetwist materiaal gebruikt worden voor verplichte, diagnostische instaptoetsing. Daarnaast heeft formatieve toetsing plaatsgevonden via MyMathLab & MyStatLab Twee ingangstoetsen: één van de wiskunde instaptoetsen uit de Onbetwist/NKBW database, een 3TU instaptoets, en een statistiek instaptoets die eveneens uit de Onbetwist/NKBW database komt, en ook in het verleden gebruikt is Ja: in deze cyclus van het vak is geëxperimenteerd door alle formatieve toetsing door de twee omgevingen MML en MSL te laten plaatsvinden. Onderzocht zal worden hoe de feedback functie van MML & MSL wordt geëvalueerd in vergelijking tot die van Onbetwist materialen. Ja Vereist: in totaal hebben 916 studenten de twee instaptoetsen gedaan. Welke tijdsinzet wordt voorzien in deze fase van het project? Verslaggeving Implementatieproject testfase 3 UM, University College: inleidend statistiekvak Contactpersoon implementatieproject Onderwijsinstelling / faculteit / afdeling Dirk Tempelaar UM, School of Business & Economics Uit welk inhoudelijk domein worden items en/of toetsen gebruikt? Voor ingangstoetsing: Schoolwiskunde & Statistiek, VWO leerstof.

7 (VWO-wiskunde, Calculus, Lineaire algebra, Statistiek) Hoe worden de items en/of toetsen uit Onbetwist beschikbaar gesteld aan de studenten? (Elektronisch, op papier, via moodle.onbetwist.org, via MapleTA, via instellings-elo, ) Hoe worden de items en/of toetsen uit Onbetwist ingezet? (facultatief, wekelijks, als oefening, als officiële toets, ) Hoeveel items en/of toetsen zullen worden gebruikt? Worden er ook nog items en/of toetsen gebruikt buiten Onbetwist? Is de Onbetwist database voldoende gevuld met items en toetsen voor dit implementatieproject? Hoe wordt gebruik van Onbetwist-items en -toetsen gestimuleerd of afgedwongen? Welke tijdsinzet wordt voorzien in deze fase van het project? Voor voortgangstoetsing: Statistiek Via de eigen LMS: BB, dus digitaal. In de uitvoering van komend najaar zal het Onbetwist materiaal gebruikt worden voor verplichte, diagnostische instaptoetsing, en de formatieve toetsing. Alles wat beschikbaar is in de Statistiek sectie In principe niet. Voor dit vak is een omgekeerd experiment uitgevoerd: waar afgelopen jaar de voortgangstoetsing was georganiseerd via MSL, is dat nu gedaan met louter Onbetwist materialen. Ja, als er deze zomer voldoende progressie wordt geboekt met het vullen. Vereist: 48 studenten hebben de instaptoetsen en formatieve toetsing gedaan dit is een majeure operatie Terugblik op hele project Geef hiernaast een korte terugblik op het gehele project. - Heeft het opgeleverd wat je er van had gehoopt. - Wat is er wel/niet goed gegaan. Zoals ook al uit eerdere feedback duidelijk was, is de Onbetwist database/speler onderbenut gebleven. Voor onze eigen deelprojecten had dat geen negatieve consequenties: we wisten precies welke toetsmaterialen we wilden gebruiken, hadden die al zelf in huis op het goede formaat, dus was er geen behoefte aan het gebruik van de database om oefensets samen te stellen, of van de speler gebruik te maken. Voor ons was er dus geen relevant functieverlies; voor anderen kan dat anders hebben gelegen. In ons project hebben we de MyLabs van

8 Pearson vergeleken met de Onbetwist toetsmaterialen. Uit die vergelijking blijkt dat de MyLabs wel veel toegevoegde waarde hebben boven sec toetsmaterialen. Dat is enerzijds een resultaat van ons project, anderzijds wel eentje die wat tegenvalt; je had mogen hopen dat het Onbetwist materiaal de vergelijking met commerciële, toetsgerichte leeromgevingen beter had doorstaan. Verslag en evaluatie Implementatieproject testfase 3 Contactpersoon implementatieproject Johan Jeuring Onderwijsinstelling / faculteit / afdeling Universiteit Utrecht / Betawetenschappen / Informatica Verslag Uit welk inhoudelijk domein zijn items en/of toetsen gebruikt? (VWO-wiskunde, Calculus, Lineaire algebra, Statistiek) Onbetwist beschikbaar gesteld aan de studenten? (Elektronisch, op papier, via moodle.onbetwist.org, via MapleTA, via instellings-elo, ) Onbetwist ingezet? (facultatief, wekelijks, als oefening, als officiële toets, ) Hoeveel items en/of toetsen zijn gebruikt? Werden er ook nog items en/of toetsen gebruikt buiten Onbetwist? Was de Onbetwist database voldoende VWO-wiskunde Items worden voornamelijk elektronisch ter beschikking gesteld via instellings-wiki. Toetsen worden op papier afgenomen. Onbetwist items worden ingezet bij de instaptoets en uiteindelijke toets, en bij de oefenitems door het jaar heen. Een toets, enkele tientallen items. Er worden ook nog items aangeboden uit Math-Bridge. Ik ben bang dat me dat niet helemaal

9 gevuld met items en toetsen voor dit implementatieproject? Hoe werd gebruik van Onbetwist-items en -toetsen gestimuleerd of afgedwongen? Hoeveel uren zijn in deze fase van het project ingezet? duidelijk is geworden: ik heb dezelfde items gebruikt als het afgelopen jaar, en daarvoor niet meer naar de Onbetwist databank gekeken. Door het te publiceren op de vakpagina s, het gebruik te demonstreren, en eventuele problemen met oefeningen te bespreken. Tijdens de feedback-bijeenkomsten worden alleen problemen met het oplossen van opgaven besproken. 8.5 Evaluatie testfase 3 Geef hiernaast een korte evaluatie van testfase 3, met als aandachtspunten: - zijn de voorgenomen activiteiten uitgevoerd? - zijn de voorgenomen doelen gehaald? - wat ging goed, wat ging slecht? Ik kan de Freudenthal applets makkelijk gebruiken, maar het is me nog niet helemaal duidelijk hoe ik de Onbetwist database makkelijk in zou kunnen zetten. Terugblik op hele project Geef hiernaast een korte terugblik op het gehele project. - Heeft het opgeleverd wat je er van had gehoopt. - Wat is er wel/niet goed gegaan. Ik heb voldoende toetsen en oefenmateriaal kunnen krijgen, maar dat is toch meer via de informele weg gegaan, dan via de databank. Mogelijk is er iets mis gegaan, maar ik heb nooit algemene informatie ontvangen over waar en hoe ik makkelijk aan toetsen zou kunnen komen. Op moodle.onbetwist.org staat zeker materiaal, maar dat lijkt me nogal onvolledig. (Ik kan bv de serie NKBW toetsen Wiskunde B niet vinden.) Het lijkt allemaal nog niet af, ook gezien de opmerkingen nu nog voor TELMME, maar wordt aangepast Verslag en evaluatie

10 Implementatieproject testfase 3 Contactpersoon implementatieproject Onderwijsinstelling / faculteit / afdeling Maarten Boerlijst UvA, FNWI Verslag Uit welk inhoudelijk domein zijn items en/of toetsen gebruikt? (VWO-wiskunde, Calculus, Lineaire algebra, Statistiek) Onbetwist beschikbaar gesteld aan de studenten? (Elektronisch, op papier, via moodle.onbetwist.org, via MapleTA, via instellings-elo, ) Onbetwist ingezet? (facultatief, wekelijks, als oefening, als officiële toets, ) Hoeveel items en/of toetsen zijn gebruikt? Werden er ook nog items en/of toetsen gebruikt buiten Onbetwist? Was de Onbetwist database voldoende gevuld met items en toetsen voor dit implementatieproject? Hoe werd gebruik van Onbetwist-items en -toetsen gestimuleerd of afgedwongen? Hoeveel uren zijn in deze fase van het project ingezet? Statistiek MapleTA toets via Blackboard Oefentoets Multiple Choice 2 deeltoetsen van ieder 33 MC vragen nvt Vragen uit oefententamen zijn allen beschikbaar voor Onbetwist database. Niet alle vragen zijn opgenomen in database Nvt 6 (er volgen nog meer uren voor implementatie van de tweede deeltoets) Evaluatie testfase 3 Geef hiernaast een korte evaluatie van testfase 3, met als aandachtspunten: Activiteiten zijn uitgevoerd. Digitale oefentoets wordt goed gewaardeerd door

11 - zijn de voorgenomen activiteiten uitgevoerd? - zijn de voorgenomen doelen gehaald? - wat ging goed, wat ging slecht? studenten. Uitslag (item statistics) oefentoets geeft docenten goed handvat voor bespreking tijdens vragenuur. Software (MapleTA) bevalt goed Terugblik op hele project Geef hiernaast een korte terugblik op het gehele project. - Heeft het opgeleverd wat je er van had gehoopt. - Wat is er wel/niet goed gegaan. Implementatie is succesvol geweest. Volgende stap is het implementeren van geparameteriseerde vragen, zodat de tool ook tijdens werkcolleges ingezet kan worden Verslag en evaluatie Implementatieproject testfase 3 Contactpersoon implementatieproject André Heck, Tanneke den Blaauwen, Onderwijsinstelling / faculteit / afdeling UvA, FNWI Verslag Uit welk inhoudelijk domein zijn items en/of toetsen gebruikt? (VWO-wiskunde, Calculus, Lineaire algebra, Statistiek) Onbetwist beschikbaar gesteld aan de studenten? (Elektronisch, op papier, via moodle.onbetwist.org, via MapleTA, via instellings-elo, ) Onbetwist ingezet? (facultatief, wekelijks, als oefening, als officiële toets, ) VWO-wiskunde, i.h.b. rekenen met grootheden, wiskundige functies en hun afgeleiden. wiskunde van groeiprocessen, Elecktronisch: BlackBoard is communicatiemiddel en DWO is de digitale wiskunde oefenomgeving In week 1 een diagnostische toets; verder wekelijks in blok 1, met digitale wiskundeoefeningen om op het gewenste wiskunde A niveau (terug) te komen en met een klein

12 nieuw stukje wiskunde (differentiaalvergelijkingen) kennis te maken. Oefening was volledig digitaal zonder werkcolleges of vragenuur. Wel is één college over wiskunde geïntroduceerd en is het laatste stuk van de module opgesplitst in twee delen. Lesteksten, maar ook items zijn hierop aangepast. Hoeveel items en/of toetsen zijn gebruikt? Diagnostische vwo-wiskunde A toets (met 16 vragen) is gebruikt als entreetoets. Verder is materiaal ontwikkeld (50 items) afgestemd op de studie levenswetenschappen, maar dat ook als toepassing van wiskunde in andere studies gebruikt kan worden. Ook zijn 15 items uit calculus vragenbank gebruikt. Werden er ook nog items en/of toetsen gebruikt buiten Onbetwist? Ja, toetsen op Prep-U niveau 5 uit de bioportal horende bij het studieboek Life Was de Onbetwist database voldoende gevuld met items en toetsen voor dit implementatieproject? Hoe werd gebruik van Onbetwist-items en -toetsen gestimuleerd of afgedwongen? Hoeveel uren zijn in deze fase van het project ingezet? Wat betreft basisvaardigheden (bijv. rekenen, differentiëren van functies) wel, maar er was behoefte aan oefeningen in de context van levenswetenschappen om de studenten te motiveren. Een minimum slagingspercentage (80%) was noodzakelijk voor het slagen voor vak (ongeacht of tentamen en praktikum voldoende was) 43 uur Evaluatie testfase 3 Geef hiernaast een korte evaluatie van testfase 3, met als aandachtspunten: - zijn de voorgenomen activiteiten uitgevoerd? - zijn de voorgenomen doelen gehaald? - wat ging goed, wat ging slecht? Voorgenomen activiteiten voor ICT Wiskunde 1 in blok 1 van het studiejaar zijn uitgevoerd. Uit evaluatie is gebleken dat de doelen bereikt zijn, maar dat studenten behalve oefening graag college, werkcollege en/of vragenuur hebben. Het ene college in ronde 2 bleek toch nog onvoldoende. Ook hebben studenten behoefte aan nog meer uitgewerkte voorbeelden dan toegevoegd waren aan de lesmodule. Toetsresultaten voor wiskunde waren evenwel bevredigend en met name in het laatste moeilijkere deel is er blijkens evaluatie van resultaten een significante verbetering opgetreden. Toetsgestuurd leren heeft voor het wiskundeonderdeel van dit vak een

13 vergelijkbaar rendement met vorig studiejaar opgeleverd, terwijl de algemene score lager was dan vorig jaar. Fouten in het lesmateriaal zijn verbeterd en onderdelen van de module zijn in kleinere, meer hanteerbare en motiverende stukken opgedeeld. Dit heeft goed gewerkt. Deze verbetering van de cursus wordt voortgezet naar komend studiejaar: er wordt gedacht aan een syllabus en meer (werk)colleges. De cursus was in testfase 3 ontvlecht naar doelgroepen psychobiologie en naar biologie + biomedische wetenschappen. Dit proces wordt verder voortgezet door aanpassingen van het lesmateriaal. Terugblik op hele project Geef hiernaast een korte terugblik op het gehele project. - Heeft het opgeleverd wat je er van had gehoopt. - Wat is er wel/niet goed gegaan. De ontwikkel- en testfase hebben in ONBETWIST hebben bijgedragen aan de ontwikkeling van ICT wiskunde voor levenswetenschappen en aan een beter inzicht bij docententeam en opleidingsmanagement in mogelijkheden en onmogelijkheden van toetsgestuurd leren van wiskunde in serviceonderwijs. Men was vooraf te optimistisch over ICT-gestuurd leren van wiskunde zonder ondersteunende colleges en werkcolleges. Ook op basis van de opgedane ervaringen met het wiskundeniveau van studenten wordt nu dieper nagedacht over het opzetten van een wiskundeleerlijn in de opleidingen Wel goed ging de implementatie van ICT-ondersteund werken in de DWO: technische problemen in testfase 1 zijn niet meer opgetreden in testfase 3. Studenten geven wel aan dat de feedback voor hen soms ontoereikend is. Items kunnen in dit opzicht nog verbeterd worden. Voor extra oefenen van wiskunde en voor een intensievere samenwerking met docenten had het geholpen als de ONBETWIST itembank eerder in het project in volle glorie beschikbaar was geweest. Nu is er selectief en beperkt uit gekozen. Succes is ook dat er spin-off is naar andere cursussen in levenswetenschappen die wiskunde nodig hebben; een voorbeeld is de cursus Modellen

14 van Ziekte en Gezondheid. Hierin wordt voor een deel de toetsgestuurde aanpak met items uit de itembank geadopteerd.