Schrijvers: Arjeh Cohen (TU/e), Hans Cuypers, Rik Kaasschieter (TU/e)

Deliverable: M13 TELMME versie: 1.0 september 2011 Schrijvers: Arjeh Cohen (TU/e), Hans Cuypers, Rik Kaasschieter (TU/e) Korte beschrijving: Buitenlandse studenten en HBO-ers die starten met een masteropleiding aan een Nederlandse technische universiteit hebben grote verschillen in kennisachtergrond. Met name de verschillen in wiskundekennis zijn groot. Wiskunde is in de technische opleidingen vaak een sleutelvak. Om uitval en studievertraging te voorkomen, kunnen aankomende studenten met behulp van digitaal toets- en oefenmateriaal hun wiskundekennis meten en bijspijkeren. In het systeem geregistreerde studenten worden begeleid door een docent. De leerstof is in het Engels beschikbaar, en de vorderingen van studenten zijn door de student zelf en door zijn docent te volgen. Op deze manier kunnen studenten beter voorbereid starten met hun opleiding. Deelnemende instellingen: Technische Universiteit Eindhoven, Technische Universiteit Delft, Universiteit Twente Projectleider: A.M. Cohen Begindatum: dinsdag 1 september 2009 Einddatum: donderdag 1 september 2011 c TELMME Consortium 2009 Page 1 of 22

Project ref.no. SURF/NAP project TELMME (Tender 2008) Project titel TELMME Technology-Enhanced Learning of Mathematics for Masters Education Deliverable status rapport voor Mid Term Review laat- Afleveringsdatum ste versie Deliverable titel Type afleve- Contractuele ringsdatum Projectmaand 25 - september 2011 september 2011 Document Versie 1.0 Aantal pagina s 22 WP dat aan de deliverable bijdroeg WP/verantwoordelijke Auteurs SURF project officer 1 Arjeh M. Cohen Arjeh Cohen (TU/e), Hans Cuypers, Rik Kaasschieter (TU/e) Annette Peet c TELMME Consortium 2009 Page 2 of 22

Inhoudsopgave 1 Inleiding 3 2 De klankbordgroep 4 3 Het projectteam 5 4 De aanpak 8 4.1 Werkpakket 1: Management.......................... 10 4.1.1 Doel................................... 10 4.1.2 Activiteiten en resultaten....................... 10 4.2 Werkpakket 2: Techniek............................ 11 4.2.1 Doel................................... 11 4.2.2 Activiteiten en resultaten....................... 12 4.3 Werkpakketten 3-4-5: Content......................... 13 4.3.1 Doel................................... 13 4.3.2 Activiteiten en resultaten....................... 13 4.4 Werkpakket 6: Testen............................. 14 4.4.1 Doel................................... 14 4.4.2 Activiteiten en resultaten....................... 14 4.5 Werkpakket 7: Disseminatie en duurzaamheid................ 16 4.5.1 Doel................................... 16 4.5.2 Activiteiten en resultaten....................... 16 5 Conclusies 18 6 Veranderingen in het project ten opzichte van de planning 19 6.1 Vermenging fasen................................ 19 6.2 130 uur van Twente s bijdrage aan Tests WP6 naar Statistiek WP5.... 19 6.3 100 uur van Eindhoven s bijdrage aan Lineaire Algebra WP3 naar Techniek WP2....................................... 19 6.4 Twente intern.................................. 19 6.5 300 uur van Delft naar Eindhoven....................... 20 7 Financiën 20 c TELMME Consortium 2009 Page 3 of 22

1 Inleiding Dit document behelst het eindrapport van TELMME en is bedoeld als input voor de Final Review, die gepland staat voor 14 oktober 2011. Het project is redelijk volgens plan verlopen. Er zijn grote vorderingen gemaakt met de ontwikkeling van de techniek en de inhoud. Een uitgebreide en uiteenlopende serie tests laat zien dat TELMME helpt de instroom vanuit het HBO sneller de vereiste wiskundevaardigheden aan te leren. De gelegenheid tot het nauwkeurig meten van effecten was echter beperkter dan verwacht. De ervaringen in TELMME en de belendende projecten Wortel TU/e en Experience Mathness leiden ertoe dat de drie partners binnen 3TU.AMI doorgaan met samenwerking in de didactiek van elektronisch verrijkt onderwijs, en dat de MathDox technieken naar alle waarschijnlijkheid worden ingezet in het reguliere Bachelor onderwijs aan de TU/e vanaf 1 september 2012. In het eerste jaar heeft een verschuiving van uren (van Twente naar Eindhoven) plaatsgevonden in verband met ziekte van een medewerker. In het tweede jaar heeft een verschuiving van uren (van Delft naar Eindhoven) plaatsgevonden in verband met een grote behoefte aan meer uren voor WP2 (Techniek). Verder vonden er vier relatief kleine verschuivingen van één deelproject naar een ander (elk jaar twee), die echter geen verandering van locatie met zich meebrengen. Alle deliverables zijn klaar en te vinden op de website www.telmme.tue.nl. De indeling van deze rapportage volgt grotendeels die van het controlling document. Eerst, in 2, worden de activiteiten van de klankbordgroep besproken. Vervolgens, in 3, de structuur van het projectteam met de aan het project gewerkte uren en in 4 de aanpak met de voornaamste resultaten. In 5 bespreken we de voornaamste conclusies die we aan het eind van het project uit onze resultaten en de opgedane ervaringen trekken. De veranderingen in gerealiseerde uurbestedingen ten opzichte van het controlling document staan aangegeven in 6. Dit eindrapport wordt afgesloten met 7 waarin de financiële verantwoording te vinden is. 2 De klankbordgroep De klankbordgroep bestond deels uit gebruikers van de te ontwikkelen producten en deels uit experts in de technologie en didactiek van andere (de algemene) universiteiten. In de eerste categorie zijn de volgende personen toegetreden. Dr.ir. S.P.G. Moonen, opleidingsdirecteur Bouwkunde, TU/e Ir. P.F.A.M. Janssens, opleidingsdirecteur Scheikundige Technologie, TU/e Dr. J.F.M. Tonino, opleidingsdirecteur Informatica, TUD Ir. M. Rijkeboer, bacheloronderwijscoördinator opleiding Werktuigbouwkunde, UT c TELMME Consortium 2009 Page 4 of 22

Vanwege drukke werkzaamheden en de geringe betrokkenheid van de Informatica-opleidingen in Delft bij het project, heeft Tonino zich in de zomer van 2010 teruggetrokken met de uitdrukkelijke melding dat hij het project nog steeds zeer zinvol acht en een warm hart toedraagt. De tweede categorie bestaat uit de volgende personen. Prof. dr. P. De Bra, Technische Universiteit Eindhoven Dr. L. van Gastel, Amstel Instituut, Universiteit van Amsterdam Prof. dr. J. Jeuring, Universiteit Utrecht C. de Joode, Haagse Hogeschool, locatie Rijswijk A.P.W. Vissers, Fontys Hogeschool ICT Eerstgenoemde is een expert op het gebied van adaptiviteit voor documenten en websites. De volgende twee personen hebben ervaring met andere projecten op gebied van interactieve wiskunde (bijvoorbeeld Intelligent Feedback en NKBW). De laatstgenoemde personen kennen de zij-instromers vanuit het HBO aan de bron. Taak van de klankbordgroep. In het totaal is gepland dat de klankbordgroep vijf maal bij elkaar komt. Dit zijn uiteindelijk vier bijeenkomsten geworden: 1. bij de kick-off op 23 september 2009, 2. in een bijeenkomst op 5 februari 2010 in TU/e waarbij bijna alle deelprojectleiders aanwezig waren, 3. aan het einde van de workshop op 8 september 2010 op de Domstad Hogeschool te Utrecht. 4. op de avond van de eerste dag van de ELAM conferentie op 6 juni 2011 in Eindhoven. De groep adviseerde het projectmanagement over de wiskundig-inhoudelijke en de didactische aspecten van het project. Zij wees op mogelijkheden voor samenwerking en voor disseminatie. De klankbordgroep heeft er op aangedrongen dat met een svn-server gewerkt werd ter voorbereiding van deliverables. Deze aanbeveling is uitgevoerd. Ook heeft de groep geholpen bij de totstandkoming van het implementatieplan, deliverable M12. 3 Het projectteam In het controlling document werden per deelproject de naam van de voorziene leider en de namen van kandidaat-projectmedewerkers genoemd. Op het moment van indienen had elk van de betrokkenen ingestemd met hun beoogde inzet. Er zijn echter in de loop van c TELMME Consortium 2009 Page 5 of 22

het project taken uitgewisseld (op grond van beschikbaarheid en expertise), dan wel aan nog nieuwe medewerkers toegewezen. Daarom geven we hieronder de uiteindelijke lijst, met achter elke naam het aantal uren dat de betreffende persoon gewerkt heeft aan het betreffende deelproject. WP1 Management WP2 Technisch Arjeh Cohen (TU/e, projectleider, 335) Hans Cuypers (TU/e, technische zaken, 18) Rik Kaasschieter (TU/e, administratie, 91) Henk van Tilborg (TU/e, Eindhoven, 27) Jacob van der Woude (TUD, Delft, 41) Jan Willem Polderman (UT, Twente, 52) Hans Cuypers (TU/e, deelprojectleider, 372) Jan Willem Knopper (TU/e, ICT, 722) Wim Caspers (TUD, tester, 15) Guit-Jan Ridderbos (TUD, tester, 7) Jan-Kees van Ommeren (UT, tester, 10) Pranab Mandal (UT, tester, 42) WP3 Lineaire Algebra WP4 Analyse Hans Cuypers (TU/e, schrijver, 278) Luc Habets (TU/e, schrijver, 27) Henk van Tilborg (TU/e, deelprojectleider, 32) Benne de Weger (TU/e, schrijver, 90) Bernard Meulenbroek (TUD, reviewer, 86) Mike Boldy (UT, reviewer, 99) Arjeh Cohen (TU/e, reviewer, 59) Hans Cuypers (TU/e, schrijver, 22) Luc Habets (TU/e, schrijver, 18) Georg Prokert (TU/e, reviewer, 127) Sjoerd Rienstra (TU/e, reviewer, 6) c TELMME Consortium 2009 Page 6 of 22

Wim Caspers (TUD, schrijver, 136) Hans Melissen (TUD, schrijver, 7) Peter van Nieuwenhuizen (TUD, schrijver, 88) Guit-Jan Ridderbos (TUD, schrijver, 67) Paul Visser (TUD, schrijver, 156) Jacob van der Woude (TUD, deelprojectleider, 76) Ruud van Damme (UT, reviewer, 72) WP5 Statistiek en Stochastiek Emiel van Berkum (TU/e, reviewer, 38) Arjeh Cohen (TU/e, reviewer, 59) Jacques Resing (TU/e, reviewer, 81) André Hensbergen (TUD, reviewer; 70) Hans Melissen (TUD, reviewer, 30) Pranab Mandal (UT, schrijver, 376) Jan-Kees Van Ommeren (UT, schrijver, 260) Jan Willem Polderman (UT, deelprojectleider, 51) WP6 Praktijktesten Fitzner (TU/e, 16) Hulshof (TU/e, 29) Rik Kaasschieter (TU/e, effectenanalyse, 87) Jan Willem Knopper (TU/e, 30) Emiel van Berkum (TU/e, deelprojectleider, 161) Frans Martens (TU/e, instroom vanuit HBO, 114) Ruud Pellikaan (TU/e, Bouwkunde instroom, 163) Sjoerd Rienstra (TU/e, Scheikunde instroom, 188) Wim Caspers (TUD, Informatica instroom, 28) Ingeborg Goddijn (TUD, instroom vanuit HBO, 9) Bernard Meulenbroek (TUD, instroom vanuit HBO, 41) Peter van Nieuwenhuizen (TUD, 22) Paul Visser (TUD, instroom vanuit HBO, 82) Guit-Jan Ridderbos (TUD, verscheidene tests, 7) c TELMME Consortium 2009 Page 7 of 22

Jacob van der Woude (TUD, 18) Mike Boldy (UT, instroom vanuit HBO, 133) Ruud van Damme (UT, instroom vanuit HBO, 144) Jan-Kees van Ommeren (UT, Werktuigbouw instroom, 74) WP7 Disseminatie Hans Cuypers (TU/e, 30) Yves Houben (TU/e, PR medewerker, 35) Hans Sterk (TU/e, deelprojectleider, 251) Wim Caspers (TUD, 50) Bernard Meulenbroek (TUD, 29) Peter van Nieuwenhuizen (TUD, 8) Paul Visser (TUD, 52) Jacob van der Woude (TUD, 42) Mike Boldy (UT, 164) Pranab Mandal (UT, schrijver, 40) Jan-Kees van Ommeren (UT, 6) 4 De aanpak Opdeling in werkpakketten. Het project TELMME liep van 1 september 2009 tot 1 september 2011 en is onderverdeeld in de volgende zeven werkpakketten. WP1: Management. Dit werkpakket had tot doel leiding te geven aan het hele project, de contacten tussen de verschillende werkpakketten te bewaken, en het overleg tussen de verschillende instellingen en overige betrokkenen te onderhouden. WP2: Techniek. Binnen het werkpakket techniek werd een elektronische leeromgeving opgezet, waarmee het online lesmateriaal van het project aan de studenten wordt aangeboden. Tevens ondersteunde dit project de makers van wiskundige content, door middel van het ontwikkelen van een aantal authoring tools. WP3: Content-Lineaire Algebra, WP4: Content-Analyse, WP5: Content- Statistiek. Deze drie werkpakketten verzorgden de samenstelling en ontwikkeling van binnen TELMME te gebruiken e-learning materialen. WP6: Testen. Het binnen het project gemaakte lesmateriaal werd gedurende het project in verschillende pilots uitgeprobeerd en geëvalueerd. Daartoe diende het werkpakket Testen. c TELMME Consortium 2009 Page 8 of 22

WP7: Disseminatie. Dit werkpakket verzorgde de disseminatie van de projectresultaten zowel binnen de deelnemende instellingen als daarbuiten. De deliverables staan op het interne deel van de website www.telmme.tue.nl. Voor toegang tot het interne deel zijn de loginnaam telmme en het wachtwoord intern nodig. Fasering. De startdatum van het project was 1 september 2009. Elk van de werkpakketten doorliep de volgende fasen. De projectfasen oorspronkelijk Definitiefase september 2009 - november 2009 Ontwikkelfase 1 december 2009 - april 2010 Testfase 1 april 2010 - september 2010 Ontwikkelfase 2 september 2010 - januari 2011 Testfase 2 januari 2011 - juli 2011 Afsluiting augustus 2011 Tijdens de definitiefase werden inventarisaties en keuzes gemaakt. De ontwikkelfasen 1 en 2 werden gebruikt voor ontwikkeling van techniek en onderwijsmaterialen, terwijl in de testfasen 1 en 2 het TELMME gerelateerde onderwijs geïmplementeerd werd aan de zij-instromers en het aangeboden materiaal geëvalueerd werd. Om de onderlinge samenhang tussen de verschillende werkpakketten te waarborgen, werd deze indeling in fasen voor elk van de werkpakketten in grote lijnen aangehouden. Niettemin is gebleken dat het testen niet altijd optimaal in de geplande periodes kon plaats vinden; de ontwikkelfase pas zeer gericht kon werken als eenmaal bekend was welke inhoud in een test aan bod komt; de ontwikkelaars graag bijstellingen aanbrachten aan het materiaal naar aanleiding van ervaringen in de tests. Daarom is het plan voor het tweede jaar in die zin herzien dat de Testfase 2 meteen in september 2010 begint in plaats van in januari 2011. De herziene fasering aan het einde van het eerste jaar was als volgt. De projectfasen herzien Definitiefase september 2009 - november 2009 Ontwikkelfase 1 december 2009 - april 2010 Testfase 1 april 2010 - september 2010 Ontwikkelfase 2 september 2010 - januari 2011 Testfase 2 september 2010 - juli 2011 Afsluiting augustus 2011 c TELMME Consortium 2009 Page 9 of 22

De werkpakketten. Voor elk van de werkpakketten beschrijven we nu de doelstellingen als in het controlling document, de concrete deliverables, en de meest saillante resultaten. De verantwoordelijken van en medewerkers aan elk deelproject staan vermeld in 3. 4.1 Werkpakket 1: Management 4.1.1 Doel Het doel van het werkpakket management was het coördineren van de werkzaamheden, het afstemmen met de probleemeigenaren, subsidiegevers en partijen in het veld, en het afleggen van verantwoording over de werkzaamheden en budgetten. Verder viel onder projectmanagement het onderhouden van de communicatie tussen betrokkenen door overleg, projectbijeenkomsten, website en nieuwsbrief. 4.1.2 Activiteiten en resultaten Het management coördineerde de werkzaamheden binnen het project en verzorgde de communicatie met de probleemeigenaren, de subsidiegevers en partijen in het veld. Tevens verzorgde het management de (financiële) administratie van het project. In het bijzonder werd bijgehouden hoeveel uur welke personen op welke taken in welke periode gaan werken ( 3 vermeldt het eindresultaat). Het management organiseerde bijeenkomsten van de werkpakketleiders, de managementploeg en de projectleiders, evenals de in 2 genoemde bijeenkomsten van de klankbordgroep. Ongeveer eenmaal per kwartaal was er een videoconferentie, waarin alle problemen die zich in het project voordeden werden geadresseerd. De laatste vijf vonden plaats op 1 okt 2010, 11 februari 2011, 1 april 2011, 1 juli 2011, en op 16 september 2011. De kwaliteitsbewaking van documenten werd vereenvoudigd door het svn-systeem. Daarin konden deliverables geplaatst worden, die dan toegankelijk werden voor iedere medewerker aan het project. Ook werden de van een speciale naam voorziene deliverables van daar automatisch gecopieerd naar het interne deel van de project website www.telmme.tue.nl. Nieuwe versies konden gemakkelijk ge-upload worden, zonder gevaar van verlies van oude informatie. Behalve de gebruikelijke administratieve en financiële kwartaalrapportages, verzorgde het management de volgende deliverables. Om de rapportage samen te doen vallen met kwartaalrapportages, hebben enkele rapporten van fasen ook de functie van kwartaalrapporten gekregen. Omdat de fasen niet helemaal met de kwartalen te matchen waren, zijn twee extra deliverables verschenen: M6-b en M6-c. Voor de volledigheid is hier de hele lijst. M4: januari maart 2010 M6: april juni 2010 M6-b: juli september 2010 c TELMME Consortium 2009 Page 10 of 22

Deliverables WP1 nr Deliverable Type Coörd. Fase M1 Projectinrichting Doc TU/e Definitie M2 Rapport Definitiefase Doc TU/e Definitie M3 Planning Ontwikkelfase 1 Doc TU/e Definitie M4 Rapport Ontwikkelfase 1 Doc TU/e Ontw. 1 M5 Planning Testfase 1 Doc TU/e Ontw. 1 M6 Rapport Testfase 1 Doc TU/e Test 1 M6-b Rapport derde kwartaal 2010 Doc TU/e M6-c Rapport vierde kwartaal 2010 Doc TU/e M7 Planning Ontwikkelfase 2 Doc TU/e Test 1 M11 Tussenrapport Doc TU/e maand 12 M8 Rapport Ontwikkelfase 2 Doc TU/e Ontw. 2 M9 Planning Testfase 2 Doc TU/e Ontw. 2 M10 Rapport Testfase 2 Doc TU/e Afsluiting M12 Implementierapport Doc TU/e Test 2 M13 Doc TU/e Afsluiting M6-c: oktober december 2010 M8: januari maart 2011 M10: april september 2011 Volgens afspraak met SURF zijn in de laatste kwartaalrapportage de twee laatste maanden van het project (juli en augustus 2011) meegenomen. In deliverable M12 staat beschreven welke maatregelen genomen zijn om de resultaten van het project van nut te laten zijn. Er wordt een minimum en een meer ambitieus scenario beschreven. Tenslotte worden drie nieuwe ontwikkelingen geschetst die aangeven die de verwachtingen omtrent indaling van TELMME in reguliere activiteiten positief stemmen: het ontstaan van de firma SOWISO, de adoptie van TELMME methoden in het regulier onderwijs en aandacht in 3TU.AMI (samenwerkingsverband van de wiskundegroepen van de drie TU s) verband voor didactiek van het elektronisch verrijkt onderwijs. 4.2 Werkpakket 2: Techniek 4.2.1 Doel Binnen het werkpakket Techniek stond centraal: het opzetten van een elektronische leeromgeving (ELO); het vaststellen van het technische format waarin de content wordt aangeleverd; c TELMME Consortium 2009 Page 11 of 22

het creëren van authoring tools voor het aanmaken van de content; beheer en onderhoud van de leeromgeving en tools, en support aan de gebruikers. 4.2.2 Activiteiten en resultaten Gedurende de definitiefase zijn de wensen aan en de te realiseren mogelijkheden voor de te maken e-learning materialen en uitleveromgeving geïnventariseerd. Deze wensen zijn opgesteld aan de hand van het didactische plan dat binnen het werkpakket content wordt opgesteld. Aan de hand van deze wensen is een format voor het realiseren van de e-learning materialen vastgesteld, dat aansluit op de nationale en internationale standaarden voor e-learning. De gewenste functionaliteiten zijn in de voor het project voorziene leeromgeving, gebaseerd op Moodle en MathDox software van de TU/e, gerealiseerd. Het resultaat draait als de website www.telmme.nl. Gedurende de verschillende testfasen stond de ELO ter beschikking van de pilots. De ELO zal ook gedurende vervolgprojecten gebruikt worden om de leermaterialen aan docenten en studenten aan te bieden. Op het interne deel van de project website www.telmme.tue.nl is een aantal authoring tools geplaatst, die door het deelproject ontwikkeld zijn om het de schrijvers (WP3-4- 5) makkelijker te maken de e-learning materialen te creëren. In het bijzonder kunnen de auteurs hiermee content aanmaken in de voor hun vertrouwde L A TEX-omgeving. De aangemaakte bronteksten in L A TEX worden vervolgens automatisch omgezet in het voor het ELO systeem vereiste MathDox format. In de tweede ontwikkelfase heeft, aan de hand van de evaluaties van de ELO en tools gemaakt gedurende testfase 1, een verbeterslag plaatsgevonden en zijn de versies 1.0 van de ELO en van de authoring tools opgeleverd. Naast de ELO en authoring tools is tevens een database met front end ontwikkeld ter beheer van de ontwikkelde lesmaterialen. Deze tool, de MathDox Content Manager, wordt gebruikt om vanuit de database lespakketten samen te stellen, die binnen de ELO gebruikt kunnen worden. Deze lespakketten worden in SCORM-format aangemaakt. SCORM is de standaard voor het aanleveren van deze lespakketten die door de belangrijkste ELO s (zoals Blackboard, Moodle, Sakai) wordt ondersteund. De verschillende sofware componenten worden uitgebreider beschreven in het techniek (Te9). c TELMME Consortium 2009 Page 12 of 22

Deliverables WP2 nr Deliverable Type Coörd. Fase Te1 Specificaties ELO Doc TU/e Definitie Te2 Specificaties doc. format Doc TU/e Definitie Te3 ELO alpha versie Appl TU/e Ontw. 1 Te4 Handleiding ELO, alpha vs Doc TU/e Ontw. 1 Te5 Authoring tools Appl TU/e Ontw. 1 Te6 Handleiding authoring tools Doc TU/e Ontw. 1 Te7 ELO Appl TU/e Ontw. 2 Te8 Handleiding ELO gebruik Doc TU/e Ontw. 2 Te9 Techniek Doc TU/e Afsluiting Naar aanleiding van de wensen van zowel gebruikers als schrijvers voor meer feedback mogelijkheden, zijn de authoring tools verder uitgewerkt dan aanvankelijk gepland was. Hierdoor is het aantal uren dat binnen het werkpakket Techniek is besteed groter dan oorspronkelijk begroot. 4.3 Werkpakketten 3-4-5: Content 4.3.1 Doel De werkpakketten Content-Analyse (WP4), Content-Statistiek (WP5) en Content-Algebra (d.w.z. Lineaire Algebra; WP3) hebben tot doel het samenstellen en ontwikkelen van goede en waardevolle online cursussen Analyse, Statistiek en Algebra voor de doelgroep van het project. 4.3.2 Activiteiten en resultaten De drie werkpakketten belast met het maken van content zijn gestart met het maken van een gezamenlijk didactisch model voor het aan te bieden onderwijs. Aan de hand van dit model (en natuurlijk de mogelijkheden geboden door de techniek) zijn afspraken over de opzet van de cursussen gemaakt. In twee workshops op locatie zijn de contentontwikkelaars op de hoogte gebracht van dit didactische model om te anticiperen op de specifieke technische problemen die de ontwikkelaars tegen konden komen. Daarna is online materiaal verzameld en ontwikkeld. Hierbij is deels uitgegaan van reeds bestaand materiaal. Voor elk van de drie werkpakketten leverde één partner de auteur(s), terwijl de andere partners aanvullend materiaal leverden, en de inhoud kritisch lazen om de auteur(s) van feedback te voorzien. Het totale aantal theoriepagina s en het aantal opgaven aanwezig op de website www.telmme.nl bedraagt Lineaire Algebra (WP3): theorie-pagina s: 52; opgaven: 246 Analyse (WP4): theorie-pagina s: 18; opgaven: 240 c TELMME Consortium 2009 Page 13 of 22

Statistiek (WP5): theorie-pagina s: 26; opgaven: 259 Het lesmateriaal is tijdens de pilots in testfase 1 gebruikt en geëvalueerd (zie WP6). Aan de hand van de resultaten van deze evaluaties zijn gedurende de tweede ontwikkelfase het didactische model en de leermiddelen aangepast en uitgebreid om tijdens de pilots in de tweede testfase te worden gebruikt en geëvalueerd. De leermaterialen zijn van metadata worden voorzien conform de afspraken gemaakt binnen het NKBW-project. Deliverables WP3-4-5 nr Deliverable Type Coörd. Fase C1 Didactisch model online cursus Doc TU/e Definitie C2 Workshop Didactisch model Meet TU/e Definitie CAN 1 Inhoudsbeschrijving Analyse Doc TUD Definitie CAN 2 Online cursus Analyse versie 1 Appl TUD Ontw. 1 CAN 3 Online cursus Analyse Appl TUD Ontw. 2 CS 1 Inhoudsbeschrijving Statistiek Doc UT Definitie CS 2 Online cursus Statistiek versie 1 Appl UT Ontw. 1 CAL 1 Inhoudsbeschrijving Algebra Doc TU/e Definitie CAL 2 Online cursus Algebra versie 1 Appl TU/e Ontw. 1 CAL 3 Online cursus Algebra Appl TU/e Ontw. 2 CAN 4 Metadata Analyse Doc TUD Ontw. 2 CS 3 Online cursus Statistiek Appl UT Ontw. 2 CS 4 Metadata Statistiek Doc UT Ontw. 2 CAL 4 Metadata Algebra Appl TU/e Ontw. 2 C3 Content Doc TU/e Afsluiting 4.4 Werkpakket 6: Testen 4.4.1 Doel De binnen het project gemaakte online cursussen werden binnen het werkpakket Testen gedurende twee periodes uitvoerig getest en geëvalueerd. De effecten van het volgen van de cursussen op het studieverloop en de studieresultaten werden geanalyseerd en naast de hoofddoelen van het project gelegd. 4.4.2 Activiteiten en resultaten Op elk van de drie participerende instellingen werd via pilot projecten uitgebreid gebruik gemaakt van de online-cursussen op www.telmme.nl in de gebieden Analyse, Statistiek en Algebra. Elk van de drie instellingen leverde in definitiefase 1 een planning voor deze pilots. Omdat in de tests de betrokken docenten met nieuwe technieken te maken kregen, zijn ze vooraf geïnstrueerd over hun nieuwe taak. Hier zijn enkele kengetallen over het gebruik van de website na twee jaar. c TELMME Consortium 2009 Page 14 of 22

Figuur 1: Het gebruik van www.telmme.nl Aantal geregistreerde gebruikers: 1481 Aantal gemaakte opgaven: 132160 Aantal paginabezoeken: ongeveer 300000 Aantal tot stand gekomen opgaven: 650, waarvan ongeveer 240 analyse, 250 lineaire algebra en 160 statistiek Aantal gerealiseerde cursussen: 33 Hier volgen de meest markante conclusies. TELMME helpt! De gemiddelde scores zijn in verschillende tests omhoog gegaan (variërend van 0,5 tot 1,5 punt) en de slagingspercentages ook. TELMME helpt vooral als er consistent geoefend wordt. Als de studenten een kritisch aantal sessies met TELMME gedurende een cursus uitgevoerd hebben, lijkt de slaagkans voor het tentamen bijzonder hoog te worden. De randomisatie en feedback zijn sterke eigenschappen van het systeem. Aan de opbouw van opgaven, de editor en feedback dient verder geslepen te worden. De TELMME-leeromgeving zonder meer aanbieden aan studenten die uit het HBO instromen, is geen garantie voor succes. De meest effectieve vorm van studeren bestaat uit een goed geïntegreerde mix van elektronisch materiaal en persoonlijk contact met een docent. Blijvende moeilijkheden met de wiskundestof bij gebruik van TELMME lijken een indicatie te zijn dat de wiskunde ook later als struikelblok ervaren zal worden. Onderstaande tabel geeft een overzicht van de deliverables binnen het werkpakket WP6. c TELMME Consortium 2009 Page 15 of 22

Deliverables WP6 nr Deliverable Type Coörd. Fase T1 Test planning TUD Doc TUD Definitie T2 Test planning UT Doc UT Definitie T3 Test planning TU Doc TU/e Definitie T4 Planning Effectmeting Doc TU/e Definitie T5 Evaluatie protocol TUD Doc TUD Ontw. 1 T6 Evaluatie protocol UT Doc UT Ontw. 1 T7 Evaluatie protocol TU/e Doc TU/e Ontw. 1 T8 Workshop didactiek Meet TU/e Ontw. 1 T9 Rapport Pilot 1 TUD Doc TUD Test 1 T10 Rapport Pilot 1 UT Doc UT Test 1 T11 Rapport Pilot 1 TU/e Doc TU/e Test 1 T12 Evaluatie protocol 2 TUD Doc TUD Ontw. 2 T13 Evaluatie protocol 2 UT Doc UT Ontw. 2 T14 Evaluatie protocol 2 TU/e Doc TU/e Ontw. 2 T15 Rapport Effectmeting 1 Doc TU/e Ontw. 2 T16 Rapport Pilot 2 TUD Doc TUD Test 2 T17 Rapport Pilot 2 UT Doc UT Test 2 T18 Rapport Pilot 2 TU/e Doc TU/e Ontw. 2 T19 Rapport Effectmeting 2 Doc TU/e Afsluiting T20 Testen Doc TU/e Afsluiting 4.5 Werkpakket 7: Disseminatie en duurzaamheid 4.5.1 Doel Dit werkpakket verzorgde de disseminatie van de projectresultaten zowel binnen de deelnemende instellingen als ook daarbuiten. Het doel van dit werkpakket was de resultaten van het project te verspreiden en blijvend beschikbaar te stellen, niet alleen aan de participerende instellingen maar ook aan de overige instellingen in het Hoger Onderwijs in Nederland. 4.5.2 Activiteiten en resultaten Dit werkpakket verzorgde de disseminatie van de projectresultaten zowel binnen de deelnemende instellingen als daarbuiten. Dit gebeurde onder meer door middel van presentaties en publicaties over de resulaten van het project. Daarnaast werden de binnen het project ontwikkelde e-learning materialen verspreid. Er is een project website opgezet: www.telmme.tue.nl. Daarin staat nieuws, informatie over het project, contactadres, en een communicatiekalender met activiteiten. Op het interne deel zijn opgenomen: rapportages, bijeenkomsten, publicaties, presentaties, deliverables, en verwijzingen naar relevante websites. c TELMME Consortium 2009 Page 16 of 22

Volgens planning is een workshop gehouden aan het einde van het eerste jaar. Daarin stond uitwisseling van ervaringen opgedaan in de tesfase centraal. De bijeenkomst vond plaats op 8 september en telde zo n 25 bezoekers. Een tweede, veel grotere bijeenkomst is gehouden op 6 en 7 juni 2011. Deze was gericht op verdere kruisbestuiving met andere HOinstellingen (zo had Meta Kamminga zitting in het programmacomité). Er waren ongeveer 70 deelnemers. Meer informatie is te vinden op de website www.telmme.tue.nl/elam2011/program.html Met name in het tweede jaar heeft de afstemming en contact met bestaande netwerken en andere projecten meer aandacht gekregen. Het gaat in het bijzonder om: SIG wiskunde (SIGMA), 3TU.AMI, Centrum voor aansluiting VSNU, NKBW, ONBETWIST en andere NAP-projecten. Ook is contact gezocht met consortia in het buitenland. TELMMEis besproken op de NKBW2-bijeenkomst van 8 maart 2010, Cuypers heeft een grote presentatie van TELMME gegeven op het openingscongres van het 3TU.AMI (Applied Mathematics Institute) in Delft op 15 april 2010. Meulenbroek en Visser hebben TELMME op de Inter- TU studiedag naar voren gebracht en Cuypers heeft de Universitat Oberta de Catalunya bezocht en bericht over TELMME. Bij de NKBW-bijeenkomst Wiskunde op de drempel op 15 december 2009 in Amsterdam en bij het Nederlands Mathematisch Congres op 22 en 23 april in Utrecht zijn TELMMEflyers verspreid. In het tweede jaar werd het project gepresenteerd op bijeenkomsten voor het hoger onderwijs, zoals het Nederlands Mathematisch Congres. Informatie over TELMME is verspreid via effectieve kanalen als Kennislink, NVS-NVL, WiskundeEbrief, Wiskunde PersDienst, wiskundeonderwijs webwijzer WWM (de website van de samenwerkende niet-commerciële wiskundeonderwijswebsites in Nederland), en de JEM website. De ontwikkelde onderwijsmaterialen zullen zoveel mogelijk onder open licenties (Creative Commons) beschikbaar zijn. Ze worden van metadata voorzien conform de standaarden opgesteld binnen de NKBW-projecten. De grootste en meest in het oog springende disseminatie-activiteit van het project is de al genoemde workshop E-learning and Mathematics. Op deze workshop, die gehouden werd op 6 en 7 juni, 2011, kwamen meer dan 70 experts en gebruikers op het gebied van e-learning en wiskunde samen, om hun ervaringen en expertise te delen. De deelnemers waren niet alleen afkomstig uit het gehele Nederlandse hoger onderwijs, maar ook uit de uitgeverswereld en e-learning industrie en uit het buitenland (o.a., Oostenrijk, Spanje, Engeland, België en Duitsland). c TELMME Consortium 2009 Page 17 of 22

Deliverables WP7 nr Deliverable Type Coörd. Fase D1 Disseminatieplanning Doc TU/e Definitie D2 Project Website Web TU/e Ontw. 1 D3 Workshop 1 Meet TU/e Ontw. 2 D4 Brochure Doc TU/e Ontw. 2 D5 Workshop 2 Meet TU/e Afsluiting D6 Overzicht Presentaties Doc TU/e Afsluiting D7 Overzicht Publicaties Doc TU/e Afsluiting D8 Dissem. Doc TU/e Afsluiting Het is wellicht vermeldenswaard dat TELMME de MathJax website gehaald heeft. Zie http://www.mathjax.org/resources/articles-and-presentations/mathematics-e-learning-community-benefits-from-mathjax/ 5 Conclusies Aan het einde van het project zijn de volgende conclusies getrokken. WP1: De implementatie van de resultaten van TELMME zijn geborgd in een indaling van de TELMME methoden in het regulier vak Calculus voorzien in het hervormde Bachelor programma dat naar verwachting op 1 september 2012 zal starten in Eindhoven, in een 3TU.AMI project over de didactiek van het gebruik van elektronisch verrijkte leermethoden, en in de oprichting van een spin-off, SOWISO b.v., van de TU/e, die de MathDox technologie gebruikt. WP2: De techniek heeft een werkbaar systeem opgeleverd. De door een ander project gefinancierde inspanning ter verbetering van de capaciteit (meer dan 200 gebruikers tegelijkertijd) van MathDox heeft geleid tot robuuste software. De mogelijkheden voor het vanuit L A TEX voorbereiden van opgaven zijn vergroot. WP3-4-5: De inhoud op de gebieden Lineaire Analyse, Statistiek en Analyse heeft een goede basisverzameling opgaven tot stand gebracht. In alle drie onderdelen zijn open, geparametriseerde en van feedback voorziene opgaven ingevoegd. Er blijft ruimte voor verbetering op het gebied van feedback en gecompliceerder gestructureerde opgaven. Tevens zullen enkele gebieden die nog niet aan bod gekomen zijn worden geadresseerd. WP6: Er is een uitgebreid stel tests uitgevoerd, die een gevarieerd beeld opleveren. De indrukken zijn dat TELMME helpt bij de verbetering van het wiskundeniveau van de instroom. In het bijzonder hebben studenten die de hele cursus lang van TELMME gebruik maken, er veel profijt van. De studenten ervaren TELMME ook als plezierig en nuttig. Wel wordt opgemerkt dat TELMME van meer feedback voorzien zou moeten zijn en dat TELMME geen panacee is: begeleiding in de klassieke zin naast TELMME blijft geboden. c TELMME Consortium 2009 Page 18 of 22

WP7: De brochure is gemaakt, de kick-off en de twee workshop zijn gehouden: de eerst meer intern, met zo n 25 participanten, de tweede naar buiten (HBO en buitenland gericht) met zo n 70 participanten. De ontvangst van TELMME is goed. Aan de zichtbaarheid is gewerkt door presentaties van TELMME op congressen, zoals de Nederlandse Mathematische Congressen en 3TU onderwijsbijeenkomsten. 6 Veranderingen in het project ten opzichte van de planning Door voortschrijdend inzicht en wegvallen van enkele medewerkers, zijn de volgende veranderingen in het werk ten opzichte van het controlling document tot stand gekomen. 6.1 Vermenging fasen Een belangrijke verandering in de planning ten opzichte van het controlling document is de vermenging van de ontwikkelfase 2 met testfase 2. Hiertoe was besloten omdat veel tests beter in het eerste kwartaal van een academisch jaar vallen dan later, en omdat de tests sterker dan verwacht bepalend waren voor de inhoud van de interactieve documenten. Door de twee fasen parallel en over een langere periode te laten lopen, werden deze bezwaren opgeheven en kwam er grotere flexibiliteit voor de medewerkers in de uitvoering van hun taken. 6.2 130 uur van Twente s bijdrage aan Tests WP6 naar Statistiek WP5 In het eerste jaar is hard gewerkt om de cursussen Statistiek van inhoud te kunnen voorzien. Dit is gelukt, maar leverde in eerste instantie alleen multiple choice vragen op. In het tweede jaar is dit ruimschoots goed gemaakt, zodat nu ook voor Statistiek open vragen met feedback in de database zitten. 6.3 100 uur van Eindhoven s bijdrage aan Lineaire Algebra WP3 naar Techniek WP2 Omdat bestaand Lineaire Algebra materiaal relatief eenvoudig omgezet kon worden in interactieve opgaven, zijn er uren vrijgekomen, die ingezet werden ter verfijning van de Techniek WP2. Daartoe is 100 uur uit Lineaire Algebra WP3 die in Eindhoven wordt uitgevoerd omgezet naar Techniek WP2. 6.4 Twente intern De Universiteit Twente heeft de volgende interne verschuivingen aangebracht. Deze maakten niets uit voor de verdeling over de drie partners. c TELMME Consortium 2009 Page 19 of 22

WP2 van 50 naar 60 WP3 van 150 naar 100 WP4 van 75 naar 85 WP5 van 630 naar 750 WP6 van 400 naar 300 WP7 van 200 naar 210 6.5 300 uur van Delft naar Eindhoven De Technische Universiteit Delft heeft een totaal van 300 uur werk overgeheveld naar de Technische Universiteit Eindhoven. Hoewel er erg veel goed werk gedaan is in Delft, heeft men daar relatief weinig uren voor gedeclareerd. Eindhoven kon die uren goed gebruiken voor aanvulling management WP1 en Techniek WP2, die te krap ingeschat waren. Een klein restant is gebruikt voor een laatste controle van de content (WP3-4-5). Hier is het overzicht van deze overheveling in urenverdeling van Delft naar TU/e WP6: WP7: totaal in geld: 250 van TUD naar TU/e 50 van TUD naar TU/e 14625 euro De hierdoor in Eindhoven te besteden uren zijn ingezet als aangegeven in Tabel 1. 11 uur naar WP1 met 100 procent subsidie dus 825 euro 256 uren naar WP2 met subsidiegrootte 12480 euro 9 uren naar WP 3 met subsidiegrootte 439 euro 9 uren naar WP 4 met subsidiegrootte 439 euro 9 uren naar WP 5 met subsidiegrootte 439 euro totaal 14622 euro Tabel 1: Verdeling nieuwe Eindhovense uren 7 Financiën De in 6.5 gemelde verschuivingen van financiën tussen universiteiten ten opzichte van de begroting in het controlling document zijn verwerkt in onderstaand kostenoverzicht. c TELMME Consortium 2009 Page 20 of 22

De financiële gegevens, bijgeleverd in 7, leiden tot de volgende observaties. Het management WP1 heeft veel meer uren nodig gehad dan begroot. De overschrijding is deels door overheveling vanuit Delft gecomponseerd, en wordt deels door de TU/e gedragen worden. Het techniek WP2 heeft ook veel meer uren nodig gehad dan begroot voor verfijning van het reeds tot stand gebrachte systeem en aanpassing aan de wensen van de schrijvers en testers. Hiertoe is 100 uren overgeheveld vanuit WP3 binnen de TU/e en een deel van de overgebleven uren uit Delft; zie 6.3. De aanmaak van inhoud WP3-4-5 heeft een goed stel opgaven opgeleverd. De tests hebben een rijk en divers beeld van het gebruik van TELMME opgeleverd. De grootste inzet bij Disseminatie WP7 is in de ELAM conferentie gestoken, de grote afsluitende workshop op 6 en 7 juni 2011. Concluderend: Enkele posten materiële kosten worden niet uitgenut. De uren nodig voor management WP1 en techniek WP2 zijn in het oorspronkelijke voorstel te bescheiden ingeschat. De met SURF afgestemde verschuivingen hebben enige verlichting gebracht in deze knelpunten. Referenties [1] MathDox, www.mathdox.org/; manual www.mathdox.org/player/. [2] Sowiso, www.sowiso.nl. c TELMME Consortium 2009 Page 21 of 22

Kostenoverzicht TELMME Rapportage over periode: apr t/m aug 2011 datum: 30-sep-11 Begroting conform controlling document met mutatie (1) d.d. 15-06-10 kenmerk: NAP 10.1316, mutatie (2) d.d. 3-2-11 (mail Arjeh Cohen), mutatie (3) d.d. 30-3-11 (mail Annette Peet) en mutatie (4) d.d. 24-8-11 kenmerk 11972 Realisatie projectkosten t/m rapportage periode (B) t/m voorgaande periode TUD TU/e UT Totaal Prognose kosten ( ) tot restant op einde project begroting in rapportage periode ( A ) - ( B ) Materiele kosten: TUD TU/e UT (A) Management * WP1 0 0 0 0 0 0 0 0 0,00 Technisch WP2 3.000 3.000 2.971 0 2.971 0 2.971 0 0 29,00 Lineaire Algebra WP3 200 267 200 667 0 0 254 0 254 254 0 413,50 Analyse WP4 200 267 200 667 0 0 121 0 121 121 0 546,00 Statistiek en Stochastiek WP5 200 266 200 666 0 0 0 0 0 0 0 666,00 Praktijktesten WP6 4.000 5.000 4.000 13.000 0 3.154 3.455 0 6.610 6.610 0 6390,15 Disseminatie WP7 1.000 7.500 1.000 9.500 5.036 0 5.036 0 5.036 0 0 4464,00 TU/e ingepland Totaal mat. Kosten 5.600 16.300 5.600 27.500 8.007 3.154 11.837 0 14.991 6.984 0 12508,65 Subsidie 65%: 3.640 10.595 3.640 17.875 5.205 2.050 7.694 0 9.744 4.540 0 8130,62 t/m rapportage periode (B) t/m voorgaande periode TUD TU/e UT Totaal in rapportage periode ( A ) - ( B ) Personele kosten: TUD TU/e UT (A) Management * WP1 3.750 23.325 3.750 30.825 35.326 3.075 35.326 3.900 42.301 6.975 0-11475,50 Technisch WP2 3.750 80.436 4.500 88.686 68.700 1.650 82.050 3.900 87.600 18.900 0 1086,00 Lineaire Algebra WP3 11.250 30.675 7.500 49.425 39.113 6.450 31.988 7.425 45.863 6.750 0 3562,50 Analyse WP4 37.500 17.550 6.375 61.425 51.938 39.713 17.400 5.400 62.513 10.575 0-1088,00 Statistiek en Stochastiek WP5 11.250 11.925 56.250 79.425 60.450 7.500 13.350 51.525 72.375 11.925 0 7050,00 Praktijktesten WP6 21.000 51.000 22.500 94.500 56.663 15.488 58.988 26.325 100.801 44.138 0-6300,50 Disseminatie WP7 11.250 22.500 15.750 49.500 20.663 13.575 23.663 15.750 52.988 32.325 0-3487,50 TU/e ingepland Totaal pers. Kosten 99.750 237.411 116.625 453.786 332.853 87.451 262.764 114.225 464.439 131.588 0-10653,00 Subsidie 65%: 62.400 139.156 73.369 274.925 193.393 54.844 147.835 71.711 274.390 80.998 0 534,63 * subsidie 100% (max 34.463) 3.750 23.325 3.750 30.825 35.326 3.075 35.326 3.900 42.301 6.975 0 0,00 34.463 162.481 t/m rapportage periode (B) t/m voorgaande periode TUD TU/e UT Totaal in rapportage periode ( A ) - ( B ) Overige kosten: TUD TU/e UT (A) Accountant 1.000 1.000 1.000 3.000 0 1.000 1.000 1.000 3.000 3.000 0 0,00 Administratie, etc. 600 800 600 2.000 0 0 825 0 825 825 0 1175,00 Reiskosten 800 900 800 2.500 415 394 1.167 0 1.561 1.146 0 939,12 Onvoorzien 0 264 0 264 264 0 264 0 264 0 0 0,00 TU/e ingepland Totaal overige Kosten 2.400 2.964 2.400 7.764 679 1.394 3.256 1.000 5.650 4.971 0 2114,12 Subsidie 65%: 1.560 1.927 1.560 5.047 441 906 2.116 650 3.672 3.231 0 1374,18 Totaal projectkosten 107.750 256.675 124.625 489.050 341.539 91.999 277.857 115.225 485.080 143.543 0 3969,37 eigen bijdrage totaal 36.400 81.673 42.306 160.379 107.175 31.123 84.886 38.964 154.973 47.799 0 5406,53 Subsidie SURF totaal 71.350 175.003 82.319 328.671 234.364 60.875 192.971 76.261 330.107 95.744 0-1436,16 Overzicht opvraging subsidie: Maximale subsidie (A) Opgevraagde subsidie t/m voorgaande periode rapportage periode: - materiele kosten - personele kosten - overige kosten Totaal subsidie rapportage periode Resteert op te vragen subsidie toekomstige rapportage periode Totaal 328.671 234.364 4.540 87.973 3.231 95.744-1.437 c TELMME Consortium 2009 Page 22 of 22