Spikker - Sieverink, B. (Barbara, CES)

Transcriptie

1 Spikker - Sieverink, B. (Barbara, CES) From: Faber, E.J. (Erik, EWI) Sent: dinsdag 13 mei :12 To: Spikker - Sieverink, B. (Barbara, CES); Salm, C. (Cora, EWI); Poel, M. (Mannes, EWI); Passel, P. van (CTW); Akker, H.J.A. op den (Rieks, EWI); Bruinenberg, M. (Martijn, Student B-CREA); Kolkmeier, J. (Jan, Student M-HMI); Lammers, F.G. (Frank, Student B-CREA); Hoeven, G.F. van der (EWI) Subject: UT brede module evaluatie rapporten Attachments: rapportageut-bredeevaluatie module1_ pdf; rapportageutbredeevaluatie module2_ pdf Beste OLC leden, Ter informatie. Dit zijn de tot dusver verschenen rapporten van de UT brede module evaluaties. Groeten, Erik 1

2

3

4 PROGRAMMABUREAU ONDERWIJSVERNIEUWINGEN VAN DATUM PAGINA I.E. Steens 14 januari van 81 C. Oude Alink T i.e.steens@utwente.nl c.oudealink@utwente.nl ONS KENMERK POV/161/14/Sts Rapportage UT-brede evaluatie module Universiteit Twente, januari 2014 Charlotte Oude Alink, MSc Irene Steens, MSc

5 14 januari 2014 POV/161/14/Sts 2 van 81 Inhoudsopgave Rapportage UT-brede evaluatie module Management samenvatting... 3 Deel I Inleiding... 7 Wijze van publicatie... 7 Deel II Methode... 9 OWD-vragenlijst... 9 Maturity Model gesprekken... 9 SEQ Gesprekken met wiskundeteam Informele bijeenkomsten Deel III Resultaten Algemeen beeld TOM-visie Resultaten per categorie Deel IV Conclusie en discussie Conclusie Discussie Deel V Aanbevelingen Deel VI Evaluatie wiskundeleerlijn Inleiding Methode Resultaten Conclusie evaluatie wiskundeleerlijn Aanbevelingen Bijlage 1: Vragenlijst OWD Zelfevaluatie Bijlage 2: Maturity Model zelfevaluatie modulecoördinatoren Bijlage 3: SEQ uitkomsten UT-breed Bijlage 4: Verslagen informele bijeenkomsten Bijlage 5: Vragenlijst wiskundeteam... 79

6 14 januari 2014 POV/161/14/Sts 3 van 81 Management samenvatting Dit rapport gaat over de UT-brede evaluatie van de eerste module van studiejaar Er is gebruik gemaakt van meerdere evaluatie-instrumenten en bronnen die niet los van elkaar te zien zijn. Aan de OWD s is gevraagd om per module een vragenlijst in te (laten) vullen. Eventueel konden zij de benodigde informatie opvragen bij de modulecoördinatoren of teams. Hier is informatie verkregen van16 respondenten Met 18 teams moduleteams zijn gesprekken gevoerd ter aanvulling op deze vragenlijsten. In deze gesprekken is eerst de open vraag gesteld hoe deze module is verlopen, wat het algemene beeld van de module was en hoe tevreden men was over de module. Vervolgens werd de vraag gesteld om een Maturity Model in te vullen. Door in kaart te brengen in welke fase elk aspect van de module volgens het team zat, kwam veel inhoudelijke informatie over de module aan bod. Na afloop van de eerste module is onder alle TOM-studenten een vragenlijst afgenomen met behulp van het programma Evasys. Deze UT-brede resultaten (n=944) zijn naast de evaluatieuitkomsten van de OWD-vragenlijst en gesprekken met moduleteams gelegd. Er is tijdens informele bijeenkomsten (mini-seminar Atlas=TOM?! en de put-it-on-the table bijeenkomst tijdens de afsluitende sportconferentie) informatie verkregen over meerdere TOMgerelateerde onderwerpen. Waar relevant is die informatie in de rapportage meegenomen. Een apart onderdeel in dit rapport is de evaluatie van de wiskundeleerlijn. In de gesprekken met de moduleteams is gevraagd naar de organisatie en naar de afstemming van de wiskundeleerlijn met de overige module-onderdelen (qua inhoud en niveau). Met het wiskundeteam zijn twee separate evaluatiegesprekken gehouden, waarin is ingegaan op het didactische concept achter de wiskundeleerlijn, het effect, de inhoud, organisatie en de toetsing. In totaal is gesproken met 14 betrokkenen. Daarnaast is een online vragenlijst afgenomen onder het complete wiskundeteam. De uitkomsten van deze evaluatie zijn onafhankelijk van de rest van de rapportage te lezen (Deel VI) en inmiddels besproken met de OLD. Belangrijkste uitkomsten Er is veel werk verzet om op 1 september 2013 van start te gaan met het TOM onderwijs. Na afloop van de eerste module geven de meeste moduleteams aan tevreden te zijn met de module. Dit correspondeert met het beeld van de zelfscores in het Maturity Model. Tegelijkertijd gaven alle moduleteams aan dat er nog wel een verbeterslag gemaakt moet worden - maar de basis is er. De moduleteams kwamen tot de conclusie dat het onderwijs zoals het nu is ontworpwen arbeidsintensiever, en daarmee duurder, is geworden. De werkdruk onder docenten lag hoog. Dit kwam mede doordat ad hoc oplossingen gemaakt moesten worden bij het uitvoeren van nieuw onderwijs, doordat veel onderling overleg en afstemming tussen docenten en ondersteuning nodig was,

7 14 januari 2014 POV/161/14/Sts 4 van 81 er extra administratieve taken bij gekomen waren en door problemen met Blackboard, Osiris en zaalbeheer. Ook het voorbereiden en nakijken van toetsen nam veel tijd in beslag. Door de druk van het BSA waren teams geneigd om nog een reparatie aan te bieden aan het eind van de module. Omdat veel van deze factoren ook zullen spelen wanneer de nieuwigheid eraf is, is de verwachting dat de werkdruk voor docenten de komende periode niet veel lager zal zijn. Studenten ervoeren ook een hoge werkdruk. Dit kwam doordat ze druk voelden door het BSA, een module in zijn geheel moest worden afgerond, er veel werd getoetst, er veel van deze toetsen afhing en er geen rustmoment zat tussen de eerste en tweede module. Studenten werkten vaak van toets naar toets.. Veel moduleteams gaven aan het lastig te vinden om de toetsen én de reparatiemomenten binnen dezelfde module plaats te laten vinden. De korte tijd tussen de toets en het reparatiemoment verhoogt de werkdruk van de docenten, omdat ze maar weinig tijd hebben om de toetsen na te kijken. Ook de studenten gaven aan vaak niet genoeg tijd te hebben om zich op de toetsen voor te bereiden. Diagnostisch, geïntegreerd en/of compensatoir toetsen biedt kansen om problemen rondom 15 EC in één keer halen, BSA en (te)veel reparaties op te lossen. Er werd echter weinig diagnostisch getoetst (zonder cijfer). Ook was men terughoudend over geïntegreerd toetsen. Een mogelijke oorzaak voor deze terughoudendheid kan zijn dat de moduleonderdelen theoretisch los van elkaar stonden. Dit had ook gevolgen voor de compensatieregelingen binnen een module. Wanneer werd gecompenseerd tussen moduleonderdelen was dit meestal een cijfermatige compensatie (men mocht één onvoldoende halen of het gemiddelde van een aantal toetsen telde). De moduleteams hebben hard aan de samenhang van een module gewerkt. Binnen de meeste modules is het project een belangrijk onderdeel van de module en vormen de overige moduleonderdelen de basis voor het project. Veel moduleteams hebben de module niet vanuit oude vakken ontworpen, maar hebben kritisch naar hun onderwijs gekeken en deze op een nieuwe manier vormgegeven. Binnen de technische opleidingen werd veelal aangegeven dat de gemeenschappelijke wiskundeleerlijn nog niet goed was geïntegreerd in de module. Bij de M&T-leerlijn lijkt de integratie beter te zijn verlopen. Ongeveer de helft van de modules hebben naast de gezamenlijke leerlijnen onderwijs gedeeld. Wel gaven veel moduleteams aan dat hier nog een verbeterslag nodig is en sommige moduleteams gaven aan volgend jaar geen onderwijs meer te willen delen. Over het niveau van de eerste module waren zowel veel studenten als moduleteams tevreden. Een derde van de moduleteams gaf aan dat het niveau dat de studenten na het eerste kwartiel hebben bereikt hoger was dan vorig jaar. Binnen de meeste moduleteams was het project niet alleen een toepassingsproject, maar deden de studenten ook nieuwe kennis op en leerden ze nieuwe

8 14 januari 2014 POV/161/14/Sts 5 van 81 vaardigheden. Binnen de meeste opleidingen waren er geen problemen rondom de tutorrol, hoewel het soms lastig was om in de procesrol of juist de rol van inhoudsdeskundige te blijven. Een aantal moduleteams gaf aan dat TOM de studenten stimuleerde om samen te werken. Studenten gaven ook aan geleerd te hebben van de samenwerking. Daarnaast gaven de meeste studenten aan dat de manier waarop het onderwijs wordt verzorgd, aansloot bij hun manier van leren. Naast het samenwerken stimuleert TOM ook studenten om de verantwoordelijkheid te nemen over hun eigen leerproces. Dit is nog wel een punt waar veel moduleteams nog mee worstelen. Veel moduleteams hebben wel geprobeerd de verantwoordelijkheid aan de studenten te geven. Vaak namen studenten deze verantwoordelijkheid nog niet waardoor deze soms halverwege de module weer werd teruggenomen door het moduleteam. De vraag kwam naar voren hoe de verantwoordelijkheid bij de studenten ontwikkeld kon worden. Aanbevelingen Hieronder staan de aanbevelingen op hoofdpunten. In het desbetreffende hoofdstuk worden ze verder toegelicht en uitgewerkt 1. Aanbeveling: Neem een duidelijk standpunt in ten aanzien van de wijze waarop de module of delen daarvan gerepareerd kunnen worden. Er leven vragen over het aantal reparaties en voor wie (elk onderdeel of een beperkt aantal onderdelen standaard voor iedereen mogelijk, of selectief bepalen wie mag meedoen afhankelijk van de scores, en wat precies de reparatie moet zijn) en het moment (binnen of buiten de module). Geadresseerde: Dit is de verantwoordelijkheid van de opleidingen en de examencommissie. S&B dient de mogelijkheden te onderzoeken tot algemene richtlijnen (bandbreedte). 2. Aanbeveling: Ga, in overleg tussen opleidingsmanagement en examencommissie, na welke oplossingen er zijn om te voorkomen dat kansrijke studenten die modules net niet hebben gehaald vroegtijdig (moeten) stoppen met hun opleiding. Geadresseerde: Dit is de verantwoordelijkheid van de opleidingen. De decaan OWV dient de kennisuitwisseling tussen de examencommissies te bevorderen. 3. Aanbeveling: Het is van belang om tot slimmere manieren van toetsen te komen. Bijvoorbeeld toetsen per module-leerdoel in plaats van bet toetsen van de afzonderlijke onderdelen; geïntegreerd toetsen. Geadresseerde: Ondanks dat dit onder de verantwoordelijkheid valt van de opleidingen, dient de OD en Programmabureau Onderwijsvernieuwing (POV) een trekkende rol in te nemen en actief de kennis m.b.t. tot toetsen onder docenten te bevorderen. 4. Aanbeveling: Neem onderwijstaken explicieter op in de functiewaardering en het beloningssysteem van docenten. Geadresseerde: HR dient dit mee te nemen bij het project professionalisering en loopbaanperspectief in bet onderwijs. 5. Aanbeveling: Stel financiële middelen beschikbaar voor extra ondersteuning/handen in het primaire proces (bijv. studentassistenten)

9 14 januari 2014 POV/161/14/Sts 6 van 81 Geadresseerde: Deze zal later geadresseerd worden. 6. Aanbeveling: Besteed aandacht aan de wijze waarop Blackboard zo functioneel en effectief mogelijk ingericht en toegepast kan worden ter ondersteuning van de modules en zorg ervoor dat docenten hiervan op de hoogte zijn, cq. ondersteun hen daarbij. Geadresseerde: Dit, zowel de inrichting van Blackboard als de communicatie hierover, dient CES op te pakken. 7. Aanbeveling: Creëer oplossingen voor de problemen rond (deel)cijferregistratie in Osiris Geadresseerde: CES en ICTS dienen deze aanbeveling op te pakken. 8. Aanbeveling: Er is meer aandacht nodig voor de (verdere) paradigmashift van teaching naar learning en ondersteuning van docenten daarbij. Geadresseerde: Dit dient opgepakt worden door de CD (o.a. in BKO en SKO) en het POV (inspireren/best practices delen).

10 14 januari 2014 POV/161/14/Sts 7 van 81 Deel I Inleiding Dit rapport gaat over de UT-brede evaluatie van de eerste module van studiejaar Elk deel in dit rapport gaat over een ander onderwerp. Deel I is inleidend en beschrijft de wijze van publicatie van dit rapport. In Deel II wordt de methode van deze evaluatie beschreven, zoals wie de respondenten waren en welke instrumenten zijn toegepast om data op te halen. In Deel III worden de resultaten van deze evaluatie weergegeven. Er wordt door middel van een afbeelding een globaal beeld geven van de Maturity Model gesprekken en hoe de moduleteams tegen de TOM-visie aankijken. Vervolgens worden de resultaten per categorie weergeven. Binnen de categorieën zijn de resultaten van alle drie de instrumenten samengenomen. Deel IV betreft de conclusies en in Deel V worden knelpunten en aanbevelingen beschreven. Deel VI kan ook losstaand worden gelezen en betreft de evaluatie van de wiskunde-leerlijn. Behalve het deel over de wiskunde-leerlijn, zijn de resultaten van de verschillende evaluaties weergegeven in één rapportage, om een integraal beeld te kunnen geven van de eerste module, belicht vanuit verschillende invalshoeken. Hierbij is deze evaluatie meer dan de som der delen. Ter illustratie: de cijfers van het Maturity Model of de data uit de OWD-vragenlijsten kunnen niet bekeken en geïnterpreteerd worden zonder de toelichting gegeven in de gesprekken met moduleteams. Een algemeen tevredenheidscijfer van studenten zegt niets zonder de toelichting over de module gegeven door docenten. Naast module 1 zullen ook de volgende modules op ongeveer dezelfde wijze geëvalueerd worden. De OWD-vragenlijst en de SEQ zullen na afloop van iedere module afgenomen worden en de gesprekken met moduleteams zullen in ieder geval in collegejaar 2013/2014 bij elke module gehouden worden. Op deze manier kan ook in kaart gebracht worden hoe het onderwijs door de tijd heen evolueert. Het gemeenschappelijke thema van de eerste module ( Sport in collegejaar 2013/2014) wordt apart geëvalueerd 1. Wijze van publicatie - 13 januari : presentatie van de eerste conceptresultaten tijdens de OLD-dag. Reacties of vragen ter verduidelijking zijn waar nodig verwerkt in deze rapportage januari: presentatie van dezelfde conceptresultaten in het decanenoverleg januari: bespreking rapport met Rector Magnificus - 30 januari: bespreking van het rapport in UCO, mede gericht op hoe om te gaan met de aanbevelingen en hoe de voortgang en ervaringen daarmee met elkaar te delen. - 3 februari: vaststelling door het CvB 1 Zie POV/158/13/Sts d.d. 11 december 2013

11 14 januari 2014 POV/161/14/Sts 8 van 81 - Mailing naar decanen, OLDs, module-coördinatoren en UR. Publicatie op de website onderwijsvernieuwingen. ( - De gespreksverslagen van de eigen modules is door de opleiding op te vragen bij de evaluatoren.

12 14 januari 2014 POV/161/14/Sts 9 van 81 Deel II Methode De evaluatie bestaat uit een aantal onderdelen. Hieronder is uiteengezet welke instrumenten gebruikt zijn voor deze evaluatie. Voor het ophalen van de data zijn drie instrumenten gebruikt, zie tabel 1. Tabel 1: Overzicht van evaluatiemethode Instrument Respondent Aantal respondenten Vorm van inzet OWD-vragenlijst OWD s / OLD s / 16 Vragenlijst Modulecoördinatoren verstuurt via mail Maturity Model Moduleteams 18 teams Gesprekken CW SEQ Studenten 944 (Digitale) vragenlijst Geen data verkregen van BIT, EE, TN = 772 studenten OWD-vragenlijst Aan de OWD s is gevraagd om per module een vragenlijst in te (laten) vullen. Eventueel konden zij de benodigde informatie opvragen bij de modulecoördinatoren of teams. De vragenlijst ging in op de werkwijze van het moduleteam (benodigd voor één van de TOM-AiO s), de werkdruk van de docenten en de ontwerpkeuzen en uitvoering van de module. De vragenlijst is opgenomen in bijlage 1. Van de 19 uitgezette vragenlijsten zijn er 16 ingevuld en geretourneerd. Informatie van BIT, EE, en TN ontbreekt daardoor in dit rapport. De resultaten van dit deel van de evaluatie zijn weergeven in Deel III en Deel VI van dit rapport. Maturity Model gesprekken Met de moduleteams zijn gesprekken ingepland ter aanvulling op deze vragenlijsten. Hiervoor zijn de modulecoördinatoren per benaderd met de vraag om betrokkenen van de module samen te brengen die gezamenlijk een goed beeld konden geven van de module. Dit resulteerde in verschillende formaties van panels waarmee gesproken is. In het vervolg van deze rapportage worden deze gesprekken MM-gesprekken genoemd. In deze gesprekken is de eerst de open vraag gesteld hoe deze module ging, wat het algemene beeld van de module was of hoe tevreden men was over de module. Vervolgens werd de vraag gesteld om het Maturity Model (zie bijlage 2) in te vullen. Door in kaart te brengen in welke fase elk aspect van de module zat, kwam veel inhoudelijke informatie over de module aan bod. De resultaten hiervan zijn weergegeven in Deel III van dit rapport. Verder is in deze gesprekken gevraagd naar de wiskundeleerlijn. Gevraagd is naar de organisatie en naar de afstemming met de overige module-onderdelen (qua inhoud en niveau). De resultaten hiervan staan in Deel VI van dit rapport. In een aantal gevallen is er uit efficiëntieoverwegingen niet een aparte afspraak ingepland met het moduleteam, maar is er aangesloten bij een al eerder ingepland teamoverleg of evaluatiebijeenkomst.

13 14 januari 2014 POV/161/14/Sts 10 van 81 Wanneer bleek dat hier te weinig informatie uit naar voren kwam, is aan de modulecoördinator gevraagd om hier in een apart gesprek, of via , aanvullingen op te geven. In één geval is alleen via informatie vergaard. Zie tabel 2. Tabel 2: Wijze van informatievergaring door middel van het Maturity Model; per module Opleiding Module Wijze van informatievergaring AT, BMT, BIT, CiT, EE, B1, Mod. MM-gesprek GZW, IO, IBA, INF, PSY, TBK, TN, TW 1 ST B1, Mod. MM-gesprek, aanvulling modulecoördinator via 1 TG, WB B1, Mod. 1 Aansluitend bij bestaand evaluatiegesprek, aanvulling modulecoördinator via Create*, EPA B1, Mod. Via modulecoördinator 1 CW B1, Mod. 1 Geen data van verkregen * Geen ingevuld Maturity Model ontvangen Door aan elk moduleteam te vragen het Maturity Model in te vullen, werd getracht een UT-breed beeld te krijgen van waar de UT ongeveer staat in de TOM-implementatie. Hierbij moet opgemerkt worden dat er in dit rapport niet beoordeeld of geoordeeld wordt over de aangegeven fasen. In veel gevallen is er bewust gekozen voor karakteristieken uit een bepaalde fase in het model en het is daarmee niet gezegd dat fase 5 beter zou zijn dan eerdere fasen. De resultaten (zie Algemeen beeld in Deel III van dit rapport) moeten dan ook niet los gezien worden van de toelichting gegeven in Deel III. SEQ Na afloop van de eerste module is onder alle TOM-studenten een vragenlijst afgenomen met behulp van het programma Evasys. De vragenlijst kent 27 vragen, verdeeld over de hoofdonderwerpen: algemeen, leren, module, project, toetsing, inzet voor studeren, waardering. In totaal hebben 944 studenten de vragenlijst geheel of grotendeels ingevuld. Dat is een response van zo n 55%, ongekend hoog voor een digitale enquête. In figuur 1 is weergegeven van welke opleidingen de studenten die de SEQ hebben ingevuld afkomstig zijn. Ook wordt weergegeven in welk studiejaar de respondenten zich bevinden. De resultaten van dit deel van de evaluatie zijn weergeven in Deel III van dit rapport.

14 14 januari 2014 POV/161/14/Sts 11 van 81 Figuur 1: Overzicht van de respondenten van de SEQ Gesprekken met wiskundeteam Met het wiskundeteam (docenten hoorcollege, docenten werkcollege, vwo-docenten studentassistenten en faculteitsonderwijskundige) zijn twee separate evaluatiegesprekken gehouden, waarin is ingegaan op het didactische concept achter de wiskundeleerlijn, het effect, de inhoud, organisatie en de toetsing. In totaal is gesproken met 14 betrokkenen. Daarnaast is er een online vragenlijst afgenomen onder het complete wiskundeteam (zie bijlage 5). De resultaten van dit deel van de evaluatie zijn weergeven in Deel VI van dit rapport. Tevens zijn hierin de evaluatiegegevens van de MM-gesprekken in opgenomen. Informele bijeenkomsten Er is tijdens informele bijeenkomsten (mini-seminar Atlas=TOM?! en de put-it-on-the table bijeenkomst tijdens de afsluitende sportconferentie) informatie verkregen over meerdere TOMgerelateerde onderwerpen. Waar relevant is die informatie in de rapportage meegenomen.

15 14 januari 2014 POV/161/14/Sts 12 van 81 Deel III Resultaten Algemeen beeld Figuur 2: Algemeen beeld van de TOM-implementatie, weergegeven als boxplots in het Maturity Model Tijdens de MM-gesprekken werd gezamenlijk met het moduleteam het Maturity Model ingevuld. Bovenstaande afbeelding geeft de UT-brede resultaten weer. Per aspect is door middel van een boxplot weergegeven hoe de moduleteams zichzelf gescoord hebben 2. In figuur 2 is te zien dat met name in de aspecten Karakter en Toetsing veel spreiding zit. Aan het aspect Onderwijscultuur worden redelijk gelijke scores gegeven de cirkeltjes geven twee uitschieters aan. Met een uitzondering van het aspect Toetsing is op alle aspecten een mediaan van fase drie of hoger zichtbaar. Zowel tijdens de MM-gesprekken als tijdens de informele bijeenkomsten bleek dat toetsing binnen TOM nog lastig was om goed te organiseren. Dit verklaart de wat lagere score en de hogere spreiding van dit aspect. Belangrijk om in acht te nemen bij het bekijken van deze afbeelding, is dat deze resultaten niet zonder de bijbehorende uitleg bekeken kunnen worden. Zo gaven sommige opleidingen aan heel bewust de 2 Scores van de moduleteams van CW en Create ontbreken in dit overzicht.

16 14 januari 2014 POV/161/14/Sts 13 van 81 keuze te hebben gemaakt om de module te ontwerpen op een manier die in fase één of twee wordt omschreven. Bijvoorbeeld omdat het de eerste module van een opleiding is en er daarom is gekozen om de studenten aan projectonderwijs te laten wennen. Om een goed beeld te krijgen, zijn de resultaten die per categorie worden beschreven onmisbaar. TOM-visie Naast de algemene indruk is tijdens de meeste MM-gesprekken ook gevraagd of de uiteindelijke TOM-visie, zoals die beschreven is in fase vijf van het Maturity Model, overeenkomt met het beeld waar zij als opleiding naartoe willen. Tijdens acht gesprekken is de uiteindelijke TOM-visie naar voren gekomen. Vijf moduleteams gaven aan dat het geen uiteindelijk doel is om modules te hebben die alleen uit een project bestaan. Hiervoor werden verschillende redenen gegeven; 1. sommige onderdelen zijn ter voorbereiding op volgende modules, 2. eerst moet er een basis gelegd worden, anders kunnen de studenten niet met bepaalde opdrachten aan het werk, 3. een geheel geïntegreerde module zou ook elk jaar opnieuw ontzettend veel werk opleveren. Dit omdat het thema van de module jaarlijks verandert en als je alles wilt blijven integreren zou ook jaarlijks de hele module opnieuw ontworpen moeten worden. Twee moduleteams gaven aan wel als uiteindelijk doel te hebben om een module geheel uit een project te laten bestaan. Bij de overige gesprekken is dit onderwerp niet aan de orde geweest. Eén moduleteam gaf aan dat het geen doel was om onderwijs met andere opleidingen te delen. Dit omdat ze een beeld willen scheppen van hun eigen opleiding, zodat het voor de student duidelijk wordt wat de desbetreffende opleiding inhoudt. Een ander moduleteam gaf aan dat het delen van onderwijs tegenstrijdig is met het creëren van eenheid. Eén moduleteam gaf aan dat het geen doel is om onderwijs op aanvraag aan te bieden. Voor een kleine opleiding zou het misschien mogelijk zijn, maar voor een grote opleiding zijn er te veel praktische hindernissen. Het zou bijvoorbeeld een veel grotere werkdruk opleveren voor de docenten, omdat de kans bestaat dat studenten allemaal individueel bij de docent zouden komen met een en dezelfde vraag. Vier moduleteams gaven aan dat het geïntegreerd toetsen geen doel is. Volgens hen is dit ook onmogelijk en schaadt dit de kwaliteit van het onderwijs. Tijdens de overige gesprekken is dit onderwerp niet aan de orde gekomen. Veel moduleteams gaven aan dat het eens te zijn met het doel dat studenten verantwoordelijk worden voor hun eigen leerproces. Resultaten per categorie Hierna zijn per categorie de resultaten van de evaluaties weergegeven. De resultaten van de verschillende meetinstrumenten zijn met elkaar gecombineerd.

17 14 januari 2014 POV/161/14/Sts 14 van 81 Werkdruk Figuur 3: Resultaten OWD-vragenlijst De werkdruk voor de docenten in deze Heel module was hoog Heel laag n = 17 av. = 1,71 md. = 2 dv. = 0,69 ab. = 2 Was geen doel: - De verwachte werkdruk voor dezelfde module over twee jaar (wanneer de module is gestabiliseerd) is Heel hoog Heel laag n = 17 av. = 2,24 md. = 2 dv. = 0,56 ab. = 2 Was geen doel: - Figuur 4: Resultaten SEQ Tabel 3: Resultaten MM-gesprekken N=18 Aantal moduleteams Eens Oneens Niet ter sprake geweest De werkdruk van de docenten was hoog De werkdruk van de studenten was hoog moduleteam gaf aan dat de werkdruk wel erg hoog was voor de docenten die ook bij de tweede module betrokken waren Werkdruk docenten Elf moduleteams gaven aan dat de werkdruk van de docenten hoog was, zowel voor als tijdens de module (zie tabel 3). Dit komt ook terug in de resultaten van de OWD-vragenlijst (zie figuur 3). Een reden die werd gegeven is dat er door het modulaire onderwijs veel meer onderling overleg nodig is, waar veel tijd in gaat zitten. Vooral de modulecoördinatoren zijn erg druk, zij zijn degenen die het overzicht hebben over de hele module en iedereen komt bij hen met zijn vragen. Daarnaast kwamen er ook extra administratieve taken bij voor de modulecoördinator, zoals het bijhouden van alle deel-deelcijfers. Een paar modulecoördinatoren gaven aan dat ze voorafgaand aan de module geen goed beeld hadden van de taak en dat het meer werk en tijd kostte dan van tevoren ingeschat. Eén moduleteam

18 14 januari 2014 POV/161/14/Sts 15 van 81 vraagt zich af of het realistisch is om van mensen te vragen om zo n uitgebreide taak er vrijwillig naast te blijven doen. Een ander aspect dat vaak naar voren kwam was dat docenten veel tijd kwijt waren met het voorbereiden en nakijken van toetsen. Een aantal opleidingen hebben veel getoetst tijdens de eerste module. Drie moduleteams gaven aan dat er nog wel veel ad hoc oplossingen werden gemaakt tijdens de uitvoering van de module. Veel dingen liepen toch anders dan verwacht of pakten anders uit, hier moest snel op worden ingesprongen. Dit zorgde ook voor extra stress onder de docenten en voor onduidelijkheid bij de docenten en studenten. Uit de resultaten van de OWD-vragenlijst blijkt dat de verwachting is dat de werkdruk na twee jaar (wanneer de modules zijn gestabiliseerd) niet veel lager zal zijn. Werkdruk studenten Tien moduleteams gaven tijdens de gesprekken aan dat ook de studenten een hoge werkdruk hadden (zie tabel 3). Veel studenten studeerden meer dan 40 uur in de week, uit de resultaten van de SEQ blijkt dat 54,8% van de studenten 40 uur of meer per week aan de studie besteedden (zie figuur 4). Bij de vraag of de studenten de hoeveelheid studietijd te doen vonden, werd gemiddeld een 2,9 (op een schaal van 5) gescoord, wat aangeeft dat het redelijk te doen was. Veel moduleteams gaven aan dat één van de oorzaken van de hoge werkdruk onder studenten is dat de modules in zijn geheel gehaald moeten worden. De studenten kunnen niet meer prioriteren, omdat alles binnen de module voldoende moet worden afgerond. In combinatie met de invoering van het BSA roept dit een angst op: wat nou als ik één klein dingetje niet haal?. Veel moduleteams gaven aan dat een gevolg van deze angst is dat studenten van toets naar toets gaan werken. Wat volgens de moduleteams ertoe leidt dat studenten de kennis gefragmenteerd leren. Daarnaast krijgen de moduleonderdelen die niet vaak getoetst worden minder aandacht. Eén moduleteam geeft aan dat studenten moeite hebben met organiseren en dat zij alleen aan het werk gaan voor opdrachten waarvoor samengewerkt moet worden. Een ander punt dat werd genoemd is dat de studenten geen rustmoment meer hebben tussen de kwartielen. In het oude onderwijsmodel hadden de studenten in de laatste twee weken van het kwartiel tentamenweken. Wanneer een student zijn tentamens had gemaakt had hij daarna de tijd om even uit te rusten. In TOM gaat dit niet op, want dan wordt tot in de laatste week van het kwartiel nog hard gewerkt aan bijvoorbeeld het project.

19 14 januari 2014 POV/161/14/Sts 16 van 81 Het karakter van de module als geheel Figuur 5: Resultaten OWD-vragenlijst 1. In hoeverre werd er aan de O van Onderzoeken gewerkt? Niet 2. In hoeverre werd er aan de O van Ontwerpen gewerkt? 3. In hoeverre werd er aan de O van Organiseren gewerkt? 4. In hoeverre had de module een realistische context? 5. In hoeverre daagde deze module studenten uit om kritisch te denken? 6. In hoeverre daagde deze module studenten uit om te reflecteren op eigen handelen? 7. In hoeverre daagde deze module studenten uit om creativiteit te ontwikkelen? 8. In hoeverre daagde deze module studenten uit om probleemoplossend te werk te gaan? 9. In hoeverre daagde deze module studenten uit om grensverleggend te werk te gaan? 10. In hoeverre heeft deze module een High Tech Human Touch karakter? 11. In hoeverre heeft deze module een ondernemend karakter? Niet Niet Niet Niet Niet Niet Niet Niet Niet Niet In zeer sterke mate In zeer sterke mate In zeer sterke mate In zeer sterke mate In zeer sterke mate In zeer sterke mate In zeer sterke mate In zeer sterke mate In zeer sterke mate In zeer sterke mate In zeer sterke mate n = 13 av. = 3,62 md. = 4 dv. = 0,87 ab. = 6 n = 16 av. = 3,86 md. = 4 dv. = 1,15 ab. = 3 n = 14 av. = 3,93 md. = 4 dv. = 0,48 ab. = 5 n = 17 av. = 4,41 md. = 5 dv. = 0,80 ab. = 2 n = 17 av. = 4,00 md. = 4 dv. = 0,87 ab. = 2 n = 17 av. = 3,53 md. = 4 dv. = 1,18 ab. = 2 n = 16 av. = 3,69 md. = 4 dv. = 1,02 ab. = 3 n = 17 av. = 3,88 md. = 4 dv. = 0,86 ab. = 2 n = 15 av. = 3,13 md. = 3 dv. = 1,13 ab. = 4 n = 16 av. = 3,88 md. = 4 dv. = 1,09 ab. = 3 n = 12 av. = 2,5 md. = 2 dv. = 0,90 ab. = 7 Was geen doel: N = 1 Was geen doel: N = 1 Was geen doel: N = 3 Was geen doel: N = 0 Was geen doel: N = 0 Was geen doel: N = 0 Was geen doel: N = 1 Was geen doel: N = 0 Was geen doel: N = 1 Was geen doel: N = 1 Was geen doel: N = 4

20 14 januari 2014 POV/161/14/Sts 17 van 81 Figuur 6: Resultaten SEQ Tabel 4: Resultaten MM-gesprekken N=18 Aantal moduleteams Eens Oneens Gedeeltelijk eens Niet ter sprake geweest De module had een realistische context De modules is niet vanuit oude vakken ontworpen De moduleteams gaven aan dat het project een realistische context had, maar de rest van de module niet Uit de MM-gesprekken bleek dat twaalf opleidingen de implementatie van TOM hebben aangegrepen om hun onderwijs kritisch te bekijken en de modules niet vanuit oude vakken op te bouwen (zie tabel 4). Tijdens een aantal gesprekken kwam ook naar voren dat men dit als zeer positief heeft ervaren. Ook kwam bij één gesprek naar voren dat het herontwerpen van het onderwijs de overlap goed in kaart bracht. Wel werd aangegeven dat het helemaal nieuw ontwerpen van de modules veel tijd heeft gekost. Eén moduleteam gaf aan dat door meer onderling overleg en afstemming met de docenten binnen een module er beter inzicht ontstaat in wat iedereen nu doet en in interesses in elkaars onderdelen. Dit wordt als positief ervaren. In items 1 t/m 3 van de OWD-vragenlijst (zie figuur 5) is te zien dat er, volgens de respondenten, in de eerste module aan alle drie O s gewerkt wordt. In drie modules kwam Organiseren (nog) niet aan de orde, in 1 module werd (nog) niet gewerkt aan de O van Ontwerpen en in 1 module (nog) niet aan Onderzoeken. De modules hadden een realistische context; dit komt zowel uit de resultaten van de MM-gesprekken naar voren (zie tabel 4) als de resultaten van de OWD-vragenlijst (zie figuur 5). Wel werd er door veel moduleteams onderscheid gemaakt tussen het project en de rest van de module. Negen moduleteams gaven aan dat het project in ieder geval een realistische context had, maar dat de overige moduleonderdelen dit niet hadden. Volgens de respondenten van de OWD-vragenlijst daagden de modules studenten uit om kritisch te denken, te reflecteren, creativiteit te ontwikkelen en probleemoplossend en grensverleggend te werk te gaan (zie figuur 5). Ook uit de resultaten van de SEQ (zie figuur 6) blijkt dat dat de studenten de

21 14 januari 2014 POV/161/14/Sts 18 van 81 modules als uitdagend ervoeren: 68,6% van de studenten scoorden een vier of hoger (op een schaal van vijf). Het testen van een oplossing voor een probleem werd door de studenten laag gescoord (57,7% scoorde een 3 of lager). Deze vraag had betrekking op de rol van ontwerper. Dit is opvallend, want uit de OWD-vragenlijst blijkt dat slechts 1 opleiding geen aandacht heeft besteed aan deze rol. Volgens de respondenten hebben de modulen een High Tech Human Touch karakter. De modulen hebben echter in mindere mate een ondernemend karakter; bij 4 modulen was dit ook geen doel (zie figuur 5). Samenwerking Figuur 7: Resultaten OWD-vragenlijst 12. In hoeveel moduleonderdelen Geen moesten studenten met elkaar module- samenwerken? onder- delen 13. In hoe veel moduleonderdelen waren de studenten gezamenlijk verantwoordelijk voor een eindproduct? (waar ze gedeeltelijk individueel naartoe werkten) 14. In hoeverre leerden studenten elkaar aan te spreken op elkaars verantwoordelijkheden en/of het nakomen van de gemaakte afspraken? 15. In hoeverre werden studenten gestimuleerd om elkaar inhoudelijke feedback te geven? 16. In hoeverre werden studenten gestimuleerd om van elkaar te leren? Geen moduleonderdelen Niet Niet Niet Alle moduleonderdelen Alle moduleonderdelen In zeer sterke mate In zeer sterke mate In zeer sterke mate n = 16 av. = 2,63 md. = 2 dv. = 0,89 ab. = 3 n = 17 av. = 2,63 md. = 2 dv. = 0,77 ab. = 2 n = 16 av. = 2,29 md. = 2 dv. = 0,93 ab. = 3 n = 17 av. = 3,71 md. = 4 dv. = 1,10 ab. = 2 n = 17 av. = 3,59 md. = 4 dv. = 0,94 ab. = Was geen doel: N = 1 Was geen doel: N = 0 Was geen doel: N = 1 Was geen doel: N = 0 Was geen doel: N = 0 Figuur 8: Resultaten SEQ

22 14 januari 2014 POV/161/14/Sts 19 van 81 Tabel 5: Resultaten MM-gesprekken N=18 Aantal moduleteams Ja Nee Gedeeltelijk Niet ter sprake geweest Studenten leerden gezamenlijk De student is verantwoordelijk voor zijn leren opleidingen gaven aan dit de intentie was, maar dat het wel lastig was 2 4 opleidingen gaven aan dit de intentie was, maar dat het wel lastig was 3 2 opleidingen gaven aan dat studenten dit erg lastig vonden Veel opleidingen gaven dat dat studenten tijdens het project samenwerkten, maar daar buiten weinig. Binnen TOM is samenwerking van studenten van belang, omdat studenten dan van en met elkaar leren. Uit de OWD-vragenlijst blijkt dat in iets minder dan de helft van de moduleonderdelen studenten met elkaar samenwerkten en dat studenten werden gestimuleerd om elkaar feedback te geven en van elkaar te leren (zie figuur 7). Dit sluit aan bij de resultaten van de MM-gesprekken, waarin de meeste opleidingen aangaven dat de studenten gedeeltelijk samen leerden. De studenten zelf beoordeelden het samenwerken in de modules ook positief: 71% scoorde een vier of hoger, wat aangaf dat ze geleerd hebben van de samenwerking. Van de respondenten scoorde 75,6% een vier of hoger op de vraag of ze (door het project) geleerd hadden om samen te werken (zie figuur 8). Een aantal moduleteams gaven aan dat TOM de studenten stimuleert om meer samen te werken. Eén moduleteam gaf aan dat studenten ook buiten college-uren met elkaar afspraken om samen te studeren.. Eén team gaf aan dat er sociale actie op gang komt, met studenten die elkaar helpen en een studievereniging die de spirit omhoog brengt. Op de miniseminar TOM = ATLAS?! werd opgemerkt dat TOM een samenwerkcultuur forceert, terwijl het in het verleden iedereen voor zich was. Studenten werden in iets minder dan de helft van de moduleonderdelen gezamenlijk verantwoordelijk gehouden voor een eindproduct (zie figuur 7). Uit de MM-gesprekken bleek dat in elf modules de verantwoordelijk van het leerproces bij de studenten lag (zie tabel 5). Acht moduleteams gaven wel aan dat dit nog erg lastig was, de houding van de studenten was nog te passief. Een aantal moduleteams gaven aan te denken dat dit komt doordat de studenten nog maar net van het VWO afkomstig zijn en niet gewend zijn zelf veel initiatief te nemen. Een paar opleidingen hebben daarom gedurende de module steeds meer handvatten gegeven. Eén team wil het Leren in TOM werken explicieter aan de orde brengen, vergelijkbaar met het PBL systeem in Aalborg. Dit team ervaart overigens een paradox: studenten klaagden in het begin over het schoolse karakter en willen academische vrijheid, maar blijken hier in de praktijk niet mee om te kunnen keen. Veel moduleteams stelden zichzelf de vraag hoe deze verantwoordelijkheid bij de studenten te ontwikkelen. Komt dit vanzelf of moet dit aangeleerd worden? Moet je studenten juist wel of niet in het diepe gooien? Bij de miniseminar ATLAS is TOM?! werd verteld dat ATLAS studenten zonder hulpmiddelen in het diepe gooit maar de diepte van het zwembad reguleert, terwijl bij TOM studenten over het algemeen in het diepe worden gegooid met allemaal hulpmiddelen (zwembandjes, drijfplankjes, etc.) en een trainer aan de rand van het zwembad.

23 14 januari 2014 POV/161/14/Sts 20 van 81 Soortgelijke vragen kwamen naar voren op de Put it on the table bijeenkomst. Er is meer kennis(deling) nodig over vragen als: hoe studenten elkaars verslagen kunnen beoordelen (peer assessment), waarop je de samenstelling van een projectgroep baseert (kwaliteit, willekeurig, zelf kiezen) en wat de ideale grootte van projectgroepen is. Multidisciplinariteit van de module Figuur 9: Resultaten OWD-vragenlijst 1. Hoeveel moduleonderdelen werden samen met andere opleidingen gevolgd? (studenten van verschillende opleidingen hoefden niet per se samen te werken) 2. In hoeveel moduleonderdelen werkten studenten van verschillende opleidingen met elkaar samen? (studenten van verschillende opleidingen moesten met elkaar samenwerken) 3. In hoeveel moduleonderdelen kwamen meerdere vakdomeinen aan de orde? Geen moduleon der-delen Geen moduleon der-delen Geen moduleonderdelen Alle module onderdelen Alle module onderdelen Alle module onderdelen n = 13 av. = 2,15 md. = 2 dv.= 0,80 ab. = 6 n = 8 av. = 1,13 md. = 1 dv. = 0,35 ab. = 11 n = 15 av. = 2,67 md. = 2 dv. = 0,98 ab. = 4 Was geen doel: N = 4 Was geen doel: N = 8 Was geen doel: N = 2 Tabel 6: Resultaten MM-gesprekken N=18 Aantal moduleteams Ja Nee Geen onderwerp van gesprek Er werd (naast de wiskunde- of M&T leerlijn) onderwijs met andere opleidingen gedeeld Uit de MM-gesprekken bleek dat negen opleidingen moduleonderdelen met elkaar hebben gedeeld (zie tabel 6). Van de dertien respondenten van de OWD-vragenlijst gaven tien aan dat in minder dan de helft van de module-onderdelen onderwijs gedeeld werd. In geen van de moduleonderdelen werkten studenten van verschillende opleidingen met elkaar samen (zie figuur 9). Tijdens veel MM gesprekken werd er nog wel aangegeven dat hier een verbeterslag moet komen. Het delen van onderwijs zorgde voor een aantal onduidelijkheden, bijvoorbeeld wie voor het gedeelde onderwijs verantwoordelijk was (welk moduleteam). Ook werd aangegeven dat soms de weging, compensatieregels en het aantal EC s dat voor het onderdeel stond verschilden voor studenten van verschillende opleidingen; dit zorgde voor onrust onder de studenten. Sommige moduleteams gaven dan ook aan de volgende keer dat de module draait geen moduleonderdelen meer te willen delen. Multidisciplinariteit van de module kan ook naar voren komen in de module doordat er verschillende vakdomeinen aan de orde komen. Dit bleek in minder den de helft van de moduleonderdelen het geval te zijn volgens de OWD-vragenlijst (zie figuur 9).

24 14 januari 2014 POV/161/14/Sts 21 van 81 Project en integratie Figuur 10: Resultaten OWD-vragenlijst 1. Hoeveel moduleonderdelen (incl. project) sloten aan bij het Geen module- modulethema? onder- delen 2. Hoeveel moduleonderdelen (incl. project) hingen met elkaar samen (het ene onderdeel was nodig om het andere moduleonderdeel goed af te ronden, of ze versterkten elkaar)? 3. Hoe belangrijk waren onderstaande doelen voor het project? De studenten passen geleerde kennis toe. 4. Hoe belangrijk waren onderstaande doelen voor het project? De studenten leren problemen op te lossen. 5. Hoe belangrijk waren onderstaande doelen voor het project? De studenten ontwikkelen nieuwe kennis en inzichten. Geen moduleonderdelen Niet Niet Niet Alle module onderdelen Alle module onderdelen In zeer sterke mate In zeer sterke mate In zeer sterke mate n = 15 av. = 3,60 md. = 4 dv. = 1,06 ab. = 4 n = 17 av. = 3,65 md. = 4 dv. = 0,86 ab. = 2 n = 17 av. = 4,35 md. = 5 dv. = 1,11 ab. = 2 n = 17 av. = 4,12 md. = 4 dv. = 0.93 ab. = 2 n = 17 av. = 4,41 md. = 4 dv. = 0,62 ab. = 2 Was geen doel: N = 2 Was geen doel: N = 0 Was geen doel: N = 0 Was geen doel: N = 0 Was geen doel: N = 0 Figuur 11: Resultaten SEQ

25 14 januari 2014 POV/161/14/Sts 22 van 81 Tabel 7: Resultaten MM-gesprekken N=18 Aantal moduleteams Ja Nee Geen onderwerp van gesprek Er zat een groot project in de module Het project was met de andere moduleonderdelen ,3,4 1 geïntegreerd Binnen het project werd naast het toepassen ook nieuwe kennis en vaardigheden opgedaan opleidingen gaven aan een bescheiden project te hebben, overige een klein project 2 2 opleidingen gaven aan dat dit een bewuste keuze was, omdat ervoor gekozen is om een goed beeld van de hele opleiding te geven, met al zijn verschillende componenten. 3 1 opleiding gaf aan dat het een bewuste keuze was om de onderdelen te integreren, omdat het een opstart module was voor projectonderwijs 4 2 opleidingen gaven aan dat het wel de intentie was om het project te integreren, maar dat dit niet echt gelukt is De grootte van het project verschilde veel per opleiding (zie tabel 7). Bij de meeste opleidingen was het project geïntegreerd met de andere moduleonderdelen. Veelal waren de moduleonderdelen de basis van het project. Binnen veel modules leerden de studenten tijdens het project nieuwe kennis en vaardigheden. Sommige moduleteams gaven aan dat niet alle moduleonderdelen terugkwamen in het project, maar dat deze bijvoorbeeld ter voorbereiding waren op een volgende module. Uit item 1 en 2 van de OWD-vragenlijst is op te maken dat meer dan de helft van de moduleonderdelen met elkaar samenhingen (zie figuur 10). In twee gevallen was het niet het doel om moduleonderdelen aan te laten sluiten bij het modulethema. Dit kwam ook tijdens de MM-gesprekken naar voren; twee moduleteams gaven aan dat het project heel bewust niet geïntegreerd was met alle moduleonderdelen, omdat in de eerste module een beeld werd gegeven van de hele opleiding. Een voorbeeld is dat alle moduleonderdelen een beeld geven van de verschillende kernconcepten van de opleiding. Eén moduleteam gaf aan dat het ook als voordeel kan werken wanneer niet alle onderdelen helemaal in elkaar passen: studenten kunnen het als prettig ervaren om ook ergens anders mee bezig te zijn wanneer er een onderdeel in de module zit die van karakter verschilt ten opzicht van de rest. Iets minder dat de helft van de studenten (47,7% scoorde een vier of hoger) gaf aan dat de module logisch in elkaar zat (zie figuur 11). Tijdens een paar gesprekken met moduleteams kwam naar voren dat de moduleonderdelen wel met elkaar samenhingen, maar dat de studenten dit niet zo ervoeren. Een reden die werd gegeven is dat de studenten het overzicht nog niet genoeg hadden om het grote plaatje te zien. Eén moduleteam gaf aan dat ook de medewerkers zelf de module nog grotendeels losse vakken in de module ervaren, maar dat de ervaring van nu al wel leert hoe er volgend jaar verdere integratie bewerkstelligd kan worden. De meerderheid van de respondenten gaf aan dat het toepassen van geleerde kennis een zeer belangrijk doel was van het project (zie figuur 10 en tabel 7). Van de studenten gaf 61,1% dan ook een 4 of hoger op de vraag of het project hen geleerde kennis leerde toepassen (zie figuur 11). Een belangrijk doel

26 14 januari 2014 POV/161/14/Sts 23 van 81 was verder om studenten te leren om problemen op te lossen en nieuwe kennis en inzichten te ontwikkelen. Dit werd door bijna alle respondenten aangegeven. Dit betekent dat projecten niet alleen maar toepassingsprojecten zijn, maar dat studenten ook iets nieuws leren van een project. Bovendien lijkt het project een geslaagd middel om een probleemoplossende attitude te ontwikkelen bij studenten. Alle opleidingen nemen deel aan één van de twee gezamenlijke leerlijnen, namelijk de wiskunde- of de M&T leerlijn. Hoewel uit item 1 en 2 van de OWD-vragenlijst op te maken is dat er samenhang zit tussen de moduleonderdelen, blijkt uit item 6 dat het integreren van de wiskundeleerlijn met de rest van de module, lastig is. Bij de M&T-leerlijn lijkt de aansluiting iets beter te gaan. Aansluiting met de werkcolleges lijkt, zowel qua inhoud als qua niveau bij beide leerlijnen goed te gaan (zie figuur 12). Een belangrijk doel van de gezamenlijke wiskundeleerlijn was het creëren van een groepsgevoel onder studenten. Dit gebeurde volgens de respondenten echter niet. Voor een meer gedetailleerd verslag van de evaluatie betreffende de wiskundeleerlijn, zie deel VI van dit verslag. Figuur 12: Resultaten OWD-vragenlijst 6. De wiskundeleerlijn was goed geïntegreerd met de andere moduleonderdelen. Zeer mee oneens 7. De hoorcolleges Wiskunde sloten goed aan bij de werkcolleges. 8. De wiskundeleerlijn was passend qua niveau. 9. De gezamenlijke wiskunde zorgde voor een wij-gevoel onder eerstejaars studenten. 10. De M&T-leerlijn was goed geïntegreerd. 11. De hoorcolleges M&T sloten goed aan bij de werkcolleges. 12. De M&T-leerlijn was passend qua niveau. 13. De gezamenlijke M&T-leerlijn zorgde voor een wij-gevoel onder eerstejaars studenten. Zeer mee oneens Zeer mee oneens Zeer mee oneens Zeer mee oneens Zeer mee oneens Zeer mee oneens Zeer mee oneens Zeer mee eens Zeer mee eens Zeer mee eens Zeer mee eens Zeer mee eens Zeer mee eens Zeer mee eens Zeer mee eens n = 9 av. = 2,00 md. = 2 dv. = 1,32 ab. = 10 n = 5 av. = 3,20 md. = 4 dv. = 1,30 ab. = 14 n = 8 av. = 3,50 md. = 4 dv. = 1,07 ab. = 11 n = 7 av. = 1,86 md. = 2 dv. = 0,90 ab. = 12 n = 4 av. = 2,50 md. = 2,5 dv. =1,29 ab. = 15 n = 3 av. = 3,33 md. = 4 dv. = 1,15 ab. = 16 n = 4 av. = 3,50 md. = 4 dv. = 1 ab. = 15 n = 4 av. = 2,50 md. = 2,50 dv. = 1,29 ab. = 15 Was geen doel: - Was geen doel: - Was geen doel: - Was geen doel: - Was geen doel: - Was geen doel: - Was geen doel: - Was geen doel: -

27 14 januari 2014 POV/161/14/Sts 24 van 81 Tutoring Tabel 8: Resultaten OWD-vragenlijst 1. Wie vervulde de rol van tutor (meerdere antwoorden mogelijk)? N % ja a. Docenten die ook instructie (flankerend/frontaal onderwijs) gaven 17 70,6% b. Docenten die verder niet in de module betrokken waren 17 58,8% c. PhD-ers / promovendi 17 17,6% d. Student-assistenten (ouderejaars) 17 89,5% e. Anders 17 11,8% - Namelijk: geen echte tutoren, de projectbegeleiders vervulden die rol enigszins 1 - Namelijk: de docenten die verder niet in de module betrokken waren zijn ten behoeve van de invoering van TOM tijdelijk aangestelde toegevoegde docenten. 1 Was onderstaande de beoogde rol van de tutor? N % ja 2. Studenten begeleiden bij de organisatie van het project (bijv. bij het opstellen van een 17 76,5% planning) 3. Bewaken van het groepsproces / de samenwerking 17 88,2% 4. Als inhoudsdeskundige optreden 16 43,8% 5. Het beoordelen van (tussen-)producten 16 68,8% 6. Mentoring (bespreken van voortgang, persoonlijke situaties, studiekeuze, e.d.) 17 47,1% Figuur 13: Resultaten OWD-vragenlijst 7. In hoeverre hebben de tutoren het volgende weten te realiseren? Stimuleren van reflectie bij de projectgroep 8. In hoeverre hebben de tutoren het volgende weten te realiseren? Diagnosticeren (volgen en bewaken van het leerproces van de studenten) 9. In hoeverre hebben de tutoren het volgende weten te realiseren? De studenten uitdagen Niet Niet Niet In zeer sterke mate In zeer sterke mate In zeer sterke mate n = 17 av. = 4,00 md. = 4 dv. = 0,93 ab. = 2 n = 13 av. = 3,77 md. = 4 dv. = 0,83 ab. = 6 n = 16 av. = 3,63 md. = 4 dv. = 0,69 ab. = 3 Was geen doel: N = 0 Was geen doel: N = 2 Was geen doel: N = 1 Figuur 14: Resultaten SEQ Tabel 9: Resultaten MM-gesprekken N=18 Aantal moduleteams Eens Oneens Gedeeltelijk eens Geen onderwerp van gesprek De student neemt het initiatief (bijv. bij tutor-bijeenkomsten) Veel opleidingen gaven aan dit de intentie was, maar dat het wel lastig was

28 14 januari 2014 POV/161/14/Sts 25 van 81 Binnen TOM vervult de tutor een belangrijke rol in het leerproces van studenten. Bij bijna alle opleidingen bewaakte de tutor het groepsproces en/of de samenwerking (item 3, OWD-vragenlijst, zie tabel 8) en in driekwart van de opleidingen begeleidt de tutor bij de organisatie van het project (item 2, OWD-vragenlijst, tabel 8). In tweederde van de modules beoordeelt de tutor (tussen-)producten. In iets minder dan de helft van de opleidingen heeft de tutor de rol van inhoudsdeskundige en/of die van mentor. Op de Put it on the table bijeenkomst kwam echter naar voren dat het soms nog onduidelijk is wat de taken van een tutor zijn en dat het management de keuze van de rol van de tutor moet ondersteunen. Tijdens de MM-gesprekken gaven de meeste moduleteams aan dat de manier waarop tutoren werden ingezet, goed werkte. Wel werd aangegeven dat de tutoren die inhoudelijk deskundig waren, maar alleen de rol hadden om het proces te begeleiden, het lastig vonden om niet ook inhoudelijk te ondersteunen. Tegelijkertijd gaven twee moduleteams aan dat het in hun module, waarin de tutoren geen inhoudelijke deskundigen waren, lastig was om de projectgroepen te begeleiden, ook al ging het alleen om procesbegeleiding. Opvallend is dat in bijna alle modules student-assistenten (ouderejaars) ingezet werden om de rol van tutor te vervullen. De enige opleiding die geen student-assistenten inzette, gaf aan geen echte tutoren in te zetten. Dit betekent dat alle opleidingen met een tutor hier student-assistenten voor inzetten. Driekwart van de modules zetten docenten in die ook instructie gaven en ongeveer tweederde van de respondenten gaf aan hier ook docenten voor in te zetten die verder niet in de module betrokken waren. Een idee zou kunnen zijn om een koppeling te maken tussen tutoring en BKO, zoals voorgesteld werd op de Put it on the table bijeenkomst. Verder werd daar het idee geopperd om ook ondersteunende diensten zoals S&B, HR en M&C een (proces)tutorrol te vervullen. Zij moeten zich de inhoud dan wel enigszins eigen (kunnen) maken. Uit item 7, 8 en 9 van de OWD-vragenlijst is op te maken dat tutoren geslaagd zijn in het stimuleren van reflectie, het bewaken van het leerproces van studenten en het uitdagen van studenten (zie figuur 13). Ook uit de SEQ kwam naar voren dat de studenten tijdens het project geleerd hebben om een project (inclusief time management) uit te voeren (zie figuur 14). Mogelijk komt dit door de ondersteuning van de tutoren. Uit de resultaten van de MM-gesprekken blijkt dat in tien modules de studenten tijdens de tutorbijeenkomsten initiatief namen (zie tabel 9). Maar veel moduleteams gaven aan dat dit nog wel lastig was, door de afwachtende houding van de studenten. De mate waarin initiatief moest worden getoond, was nogal verschillend. Voor sommige opleidingen waren de bijeenkomsten namelijk al ingepland, voor sommige waren middagen vrij gehouden (maar moesten de studenten zelf de afspraak maken) en bij andere opleidingen was het helemaal vrij gelaten wanneer de studenten een afspraak inplanden. Ook de frequentie van het aantal afspraken en de tijd tussen de afspraken verschilde per opleiding.

29 14 januari 2014 POV/161/14/Sts 26 van 81 Werkvormen Figuur 15: Resultaten OWD-vragenlijst 1. Hoe gevarieerd was de module lettend op de gehanteerde werkvormen? 2. Hoe gevarieerd was de moduleindeling, lettend op de roostering van onderwijsbijeenkomsten per week (bijv. elke maandagochtend hoorcollege van moduleonderdeel x) 3. Hoe gevarieerd was de weekindeling, lettend op de roostering van onderwijsbijeenkomsten per dag (bijv. elke ochtend hoorcollege en elke middag werkcollege). Niet Niet Niet Heel erg Heel erg Heel erg n = 16 av. = 4,25 md. = 4 dv. = 0,68 ab. = 3 n = 15 av. = 3,13 md. = 3 dv. = 1,06 ab. = 4 n = 15 av. = 3,47 md. = 3 dv. = 0,99 ab. = 4 Was geen doel: N = 0 Was geen doel: N = 2 Was geen doel: N = 2 Tabel 10: Resultaten MM-gesprekken N=18 Aantal moduleteams Eens Oneens Gedeeltelijk eens Geen onderwerp van gesprek Het projectwerk voerde de boventoon Een aantal vaste contactmomenten zijn ingepland ,4 1 6 en de student roostert de week zelf in Er zit veel variatie in de weekindeling opleiding gaf aan dat dit wel de intentie was, maar niet gelukt is 2 opleidingen gaven aan dat dit een bewuste keuze was 3 2 opleidingen gaven aan dat de studenten de niet ingeroosterde uren als tussenuren zagen i.p.v. als zelfstudietijd 4 2 opleidingen gaven aan dat dit een bewuste keuze was 5 2 opleidingen gaven aan dat het wel het streven is om het project de boventoon te laten voeren Wanneer onderwijs niet langer betekent dat opleidingen instrueren, maar dat er effectieve leeromgevingen gecreëerd worden, heeft dit automatisch consequenties voor de aangeboden werkvormen en de verroostering. Er zal dan niet standaard een hoorcollege ingeroosterd worden op elke dinsdagochtend, maar er zal een variatie aan werkvormen ingezet worden op momenten passend bij het leerproces in de module. Op de Put it on the table bijeenkomst werd opgemerkt dat er meer kennis(deling) vereist is over activerende werkvormen. Verder kwam daar de vraag naar voren hoe je het beste kunt aansluiten op verschillende type studenten, die verschillende leren. Welke type project past bij welk type student? De respondenten gaven in de OWD-vragenlijst allemaal aan dat de gehanteerde werkvormen gevarieerd waren en ook de module-indeling was redelijk gevarieerd (met drie uitschieters naar beneden) (zie figuur 15). Wanneer wordt gekeken naar de verhouding van projectwerk en overige werkvormen, is er een redelijke spreiding te zien (zie tabel 10). Veel opleidingen die in de tabel gedeeltelijk eens hebben

30 14 januari 2014 POV/161/14/Sts 27 van 81 gescoord gaven aan dat het project niet 50% van de module is, maar dat het wel het grootste moduleonderdeel was. Tijdens de gesprekken werd aangegeven dat veel moduleteams het project wel een belangrijk onderdeel vinden binnen de module, maar dat het (nog) niet de boventoon voert. Voor een aantal opleidingen is dit ook geen doel, de theoretische achtergrond werd vooral binnen andere moduleonderdelen onderwezen. Tijdens de MM-gesprekken gaven een aantal moduleteams aan het rooster van dag tot dag te hebben ingepland. Bij sommige opleidingen waren de bijeenkomsten verplicht, terwijl bij andere opleidingen dit vrijblijvend was. Ook hier kwam in sommige gesprekken de houding van de studenten naar voren; waarbij aangegeven werd dat studenten de (niet ingeplande) zelfstudie uren als tussenuren zagen. Op de miniseminar TOM = ATLAS?! werd aangegeven dat er binnen TOM veel beoordelingen en verplichtingen waren. Er zit een contrast in de resultaten van de OWD-vragenlijst en de resultaten van de MM-gesprekken wanneer gekeken wordt naar de variatie in de weekindeling. Uit de resultaten van de vragenlijst lijkt veel variatie in de weekplanning te zitten(zie figuur 15), terwijl in de resultaten van de MMgesprekken een spreiding zichtbaar is (zie tabel 10). Sommige moduleteams gaven tijdens de gesprekken aan dat het een hele bewuste keuze was om weinig variatie in te brengen, omdat de structuur duidelijk en overzichtelijker was voor de studenten. ICT Tabel 11: Resultaten OWD-vragenlijst 1. Van welke ICT-toepassingen werd gebruik gemaakt (meerdere antwoorden mogelijk)? N % ja a. Geen 17 35,3% b. Videocolleges 17 29,4% c. Stemkastjes 17 10,5% d. Digitale portfolio s 17 11,8% e. Videoconferenties 17 0,0% f. Social media 17 0,0% g. Anders 17 41,2% - Namelijk Blackboard 2 - Namelijk Diagnostische totesen bij wiskunde (MyLabsPlus) 3 - Namelijk Google Docs (voor tussentijdse evaluatie) 1 - Equivalent van stemkastjes, via webapplicatie (freeware) 1 - Diverse software 1 - ICT voorzieningen in collegezalen 1 - Practica op laptop 1 Noch in de SEQ, noch in de MM-gesprekken is specifiek naar ICT gevraagd. Tijdens één van de MMgesprekken kwam dit onderwerp echter wel naar voren. Een docent had korte videocolleges opgenomen voor de studenten om zich voor te bereiden op het college. Studenten moesten de stof verder zelf gaan ontdekken na het kijken van deze video s. Maar dit concept werd tijdens de module aangepast, omdat studenten niet zelf op zoek gingen naar de oplossing van het probleem. Uit de OWD-vragenlijst blijkt dat 35,5% van de opleidingen nog geen gebruik hebben gemaakt van ICT-toepassingen in de eerste module (zie tabel 11).

31 14 januari 2014 POV/161/14/Sts 28 van 81 Toetsing Figuur 16: Resultaten OWD-vragenlijst 1. Hoe vaak kwam het voor dat studenten elkaar feedback moesten geven (zonder beoordeling/cijfer) 2. Hoe vaak werden diagnostische toetsen ingezet (toetsen zonder beoordeling/cijfer) 3. Hoeveel is er gebruik gemaakt van reparatiemogelijkheden in de module? 4. In hoeverre konden projectcijfers gedifferentieerd worden naar individuele prestaties? Nooit Nooit Nooit Niet Heel vaak Heel vaak Heel vaak Heel erg n = 15 av. = 2,07 md. = 2 dv. = 0,80 ab. = 4 n = 17 av. = 2,24 md. = 2 dv. = 1,14 ab. = 2 n = 17 av. = 3,29 md. = 3 dv. = 1,05 ab. = 2 n = 15 av. = 2,73 md. = 3 dv. = 1,22 ab. = 4 Was geen doel: N = 1 Was geen doel: N = 0 Was geen doel: N = 0 Was geen doel: - Tabel 12: Resultaten OWD-vragenlijst 5. Waren er compensatiemogelijkheden (meerdere antwoorden mogelijk)? N % ja a. Nee 17 5,9% b. Ja, namelijk binnen moduleonderdelen 17 88,2% c. Ja, namelijk tussen moduleonderdelen 17 29,4% Tabel 13: Resultaten OWD-vragenlijst 6. Met wat voor doel is er getoetst (meerdere antwoorden mogelijk)? N % ja a. Studenten aan het werk houden 19 52,9% b. Zorgen voor een gespreide werkdruk 19 82,4% c. Monitoring (diagnosticeren of studenten goed op weg zijn) 19 64,7% d. Beoordelen of leerdoelen behaald zijn % e. Anders 16 5,3% - Stimuleren tot leren 1 - Een cijfer vasstellen 1 - Goede prestaties belonen 1 - Slecte prestaties straffen 1 Figuur 17: Resultaten OWD-vragenlijst 7. De hierboven aangekruiste doelen van het toetsen wogen op tegen de docentbelasting (denk bijvoorbeeld aan nakijken). Zeer mee oneens 8. De hierboven aangekruiste doelen van het toetsen wogen op tegen de belasting voor de modulecoördinator (denk bijvoorbeeld aan schaduwadministratie bijhouden). Zeer mee oneens Zeer mee eens Zeer mee eens n = 16 av. = 3,19 md. = 3 dv. = 1,05 ab. = 3 n = 14 av. = 3,07 md. = 3 dv. = 0,92 ab. = 5 Was geen doel: - Was geen doel: -

32 14 januari 2014 POV/161/14/Sts 29 van 81 Figuur 18: Resultaten SEQ Tabel 14: Resultaten MM-gesprekken Aantal moduleteams van toepassing niet van toepassing gedeeltelijk van toepassing N=18 Geen onderwerp van gesprek Alle moduleonderdelen worden , geïntegreerd getoetst Er zijn compensatiemogelijkheden 11 1, Er wordt veel diagnostisch getoetst De toetsvormen sluiten aan bij de leerdoelen en werkvormen opleidingen gaven aan dat er cijfermatig gecompenseerd kon worden, deze compensatie is niet gebaseerd op de inhoud 2 6 opleidingen gaven aan dat binnen één moduleonderdeel cijfers met elkaar gecompenseerd konden worden, niet tussen moduleonderdelen 3 de opleidingen gaven aan dat dit alleen van toepassing was binnen het project 4 3 opleidingen gaven aan dat het geïntegreerd toetsen of compenseren voor problemen zorgde met Osiris 5 1 opleiding gaf aan dat het een bewuste keuze was om niet geïntegreerd te toetsen Er is in de eerste module veel getoetst. Toetsing kan verschillende functies hebben. Belangrijkste reden is het beoordelen of leerdoelen behaald zijn (alle respondenten gaven dit als doel aan, zie item 6d in tabel 13). Binnen de eerste modules was verder het zorgen voor een gespreide werkdruk van belang. Dit werd door 82,4% van de respondenten als doel opgegeven (zie item 6b in tabel 13). Ook monitoring en studenten aan het werk houden werden vaak (respectievelijk 64,7% en 52,9%) genoemd als doel. Hoewel het monitoren wel vaak als doel is aangegeven zijn er nauwelijks diagnostische toetsen (zonder cijfer) ingezet (item 6c in tabel 13). De moduleteams gaven in de gesprekken aan vaak geen tijd te hebben om feedback te geven op basis van diagnostische toetsen-uitslagen. Dit is niet te zien in figuur 17, waar de meeste opleidingen een 3 scoren op de vraag of de doelen van de toetsen opwegen tegen de docentenbelasting. Veel moduleteams gaven aan niet geïntegreerd te toetsen, een paar moduleteams gaven aan wel geïntegreerd te toetsen binnen het project (zie tabel 14). Tijdens veel gesprekken werd ook gevraagd wat er met geïntegreerd toetsen werd bedoeld. Na de uitleg dat geïntegreerd toetsen inhoudt dat binnen één toets (of projectverslag) verschillende kennisdomeinen aan de orde komen en zo niet elk moduleonderdeel meer apart getoetst hoeft te worden, waren veel moduleteams nog

33 14 januari 2014 POV/161/14/Sts 30 van 81 terughoudend. Een reden die voornamelijk werd gegeven, was dat als er geïntegreerd wordt getoetst het naar buiten niet te verantwoorden is welke stof de student beheerst. Dit geeft problemen wanneer een student wil overstappen naar een andere studie of een gedeelte van zijn studie ergens anders wil volgen (bijvoorbeeld in het buitenland). Dat er niet geïntegreerd getoetst wordt, heeft waarschijnlijk invloed op de compensatiemogelijkheden. In 15 van de 17 modulen wordt gecompenseerd binnen de moduleonderdelen (zie tabel 12). Sommige moduleteams gaven als reden om niet tussen moduleonderdelen te compenseren dat de moduleonderdelen theoretisch los van elkaar stonden, wat inhoudelijke compensatie niet mogelijk maakt. Uit de resultaten van de OWD-vragenlijst blijkt dat in ongeveer een derde van de modules er tussen moduleonderdelen gecompenseerd kon worden (zie tabel 12). Tijdens de MM gesprekken gaven vier moduleteams aan dat de studenten cijfermatig konden compenseren (zie tabel 14), wat inhoudt dat er niet wordt gekeken naar de inhoud, maar dat studenten bijvoorbeeld voor één moduleonderdeel een onvoldoende mogen hebben. Uit de resultaten van de OWD-vragenlijst blijkt dat er redelijk vaak tot vaak gebruik wordt gemaakt van reparatiemogelijkheden, met uitzondering van één module, waarbij nooit wordt gerepareerd in de module (zie figuur 16). Zes opleidingen gaven tijdens de MM-gesprekken aan ze het lastig vonden om de module zo in te richten dat ook de reparatiemomenten binnen de module vallen. Sommige moduleteams hebben er daarom voor gekozen om de reparaties buiten de module te houden. Een nadeel is dan dat een module niet meer een afgesloten geheel is en de reparaties het onderwijs van de volgende module in de weg kan zitten. Wanneer het reparatiemoment in de module plaatsvindt zit er vaak weinig tijd tussen de oorspronkelijke toets en het reparatiemoment, waardoor de docenten heel snel na moeten kijken en de studenten maar weinig voorbereidingstijd hebben. Dit kwam ook naar voren in de resultaten van de SEQ, waar 50,6% van de studenten een 2 of lager scoort op de vraag of ze voldoende tijd hebben om hun toetsen voor te bereiden (zie figuur 18). Deze vraag heeft niet alleen betrekking op de reparatiemomenten, maar die spelen wel mee. Om de tijd tussen het reparatiemoment en de toets te vergroten zou de toets eerder in de module kunnen worden afgenomen. Maar dit zorgt ervoor dat er minder tijd overblijft om te onderwijzen en dat studenten die de toets wel in één keer halen een tijd niets te doen hebben. Een aantal opleidingen gaven daarom aan graag goede voorbeelden hiervan te zien. Over de toetsen zelf zijn de studenten tevreden. Op zowel de vraag of de toetsen goed bepaalden wat de student geleerd had, als de vraag of de toets stimulerend was om voor te leren, hebben de studenten positief gescoord (zie figuur 18). Op de Put it on the table bijeenkomst werd opgemerkt dat er een groot beroep gedaan werd op toetsruimtes, doordat er veel getoetst werd in de eerste module. Voor toetsen zouden de college-uren daarom uitgebreid moeten worden naar avonden en weekenden en de voor toetsen gereserveerde maandag en vrijdag moeten worden losgelaten. Omdat er aan reparaties veel studenten meedoen, kan men beter van 100% deelname uitgaan, zodat de ingeroosterde ruimtes groot genoeg zijn.

34 14 januari 2014 POV/161/14/Sts 31 van 81 De organisatie van de module Figuur 19: Resultaten OWD-vragenlijst 1. Voor het moduleteam was het onderwijsrooster duidelijk. Zeer mee oneens 2. Voor het moduleteam was het onderwijsrooster op tijd beschikbaar. 3. Voor het moduleteam waren de regels duidelijk (denk bijvoorbeeld aan toets-, compensatie-, en reparatieregels). 4. Voor het moduleteam waren de regels op tijd beschikbaar (denk bijvoorbeeld aan toets-, compensatie-, en reparatieregels). 5. Blackboard was zo in te richten dat het duidelijk was voor studenten. Figuur 20: Resultaten SEQ Zeer mee oneens Zeer mee oneens Zeer mee oneens Zeer mee oneens Zeer mee eens Zeer mee eens Zeer mee eens Zeer mee eens Zeer mee eens n = 17 av. = 4,00 md. = 4 dv. = 0,71 ab. = 2 n = 16 av. = 4,06 md. = 4 dv. = 0,57 ab. = 3 n = 16 av. = 3,38 md. = 3 dv. = 0,89 ab. = 3 n = 17 av. = 3,59 md. = 4 dv. = 1,06 ab. = 2 n = 16 av. = 3,75 md. = 4 dv. = 1,34 ab. = 3 Was geen doel: - Was geen doel: - Was geen doel: - Was geen doel: - Was geen doel: -

35 14 januari 2014 POV/161/14/Sts 32 van 81 Uit de OWD-vragenlijst kwam naar voren dat de organisatie van de module (redelijk) goed gegaan is, wanneer gekeken wordt naar het onderwijsrooster en regels (zie figuur 19). Uit de MM-gesprekken kwam een ander beeld naar voren. Betreffende roosterzaken gaven zes moduleteams aan problemen te hebben gehad met de ingeroosterde collegezalen. Vier opleidingen gaven aan dat de geboekte collegezalen niet voldeden aan de eisen. Voorbeelden zijn dat er niet genoeg stopcontacten aanwezig waren voor de laptops, het netwerk het aantal studenten niet aankon, het meubilair niet paste bij de werkvorm of dat zalen dubbel geboekt waren. Dit resulteerde in frustraties en een aantal ineffectieve bijeenkomsten. Dit merkten de studenten waarschijnlijk ook: 42,8% van de studenten scoort een 2 of lager op de vraag of de module goed was georganiseerd (zie figuur 20). Daarnaast gaven twee opleidingen aan dat er te weinig tijd was tussen het college en het begin van een toets. Vooral wanneer studenten ver moesten lopen, gingen de studenten eerder uit de collegezaal weg. Veel moduleteams gaven aan graag een jaarzaal te willen, omdat fysieke en sociale samenhang zorgt voor een groepsspirit. Betreffende de digitale leeromgeving scoorden de studenten wel positief: 80,7% van de studenten scoorden een 4 of hoger op de vraag of de digitale leeromgeving (inclusief de voorlichting) goed was (zie figuur 20). Uit de resultaten van de OWD-vragenlijst blijkt dat de meningen over Blackboard meer verdeeld zijn. Gemiddeld gezien is men het eens met de stelling dat Blackboard duidelijk in te richten is (zie figuur 19). Vijf moduleteams gaven aan problemen te hebben gehad met Blackboard. Drie opleidingen gaven aan dat de problemen werden veroorzaakt doordat studenten zich voor alleen voor de gehele module konden inschrijven. Wanneer een student maar een gedeelte van de module volgde (bijvoorbeeld pre-masterstudenten of studenten die nog iets moesten herkansen van het vorige jaar) kreeg hij alle informatie over de gehele module. Hierdoor werden de desbetreffende studenten overspoeld met informatie en was het voor hen lastig te filteren wat voor hen relevant was. Ook de docenten die bij de module betrokken waren kregen elk mailtje en notificatie die op de Blackboard pagina werd gezet, waardoor ook hun mailbox volstroomde met onnodige informatie. Het werd hierdoor soms lastig het overzicht te houden. Twee opleidingen gaven aan dat de keuze om wiskunde als een organisatie (i.p.v. cursus) op Blackboard te zetten, voor problemen heeft gezorgd. Een aantal studenten hadden dit niet gezien waardoor ze te laat het boek hadden besteld en hierdoor geen inlogcodes hadden om deel te nemen aan de (diagnostische) toetsen. Eén opleiding gaf aan dat studenten niet op Blackboard kijken, waardoor ze veel informatie missen. Dit werd ook op de Put it on the table bijeenkomst gemeld. Studenten lezen hun mail niet en kijken niet op Blackboard, waardoor het lastig is om hen te bereiken en informeren. Een ander opleiding gaf aan geen problemen te hebben gehad met Blackboard. Op de vraag of studenten wisten wat van hen werd verwacht werd negatief gescoord (45,8% scoorde een 2 of lager)(zie figuur 20). Wellicht hangt dit samen met de problemen rondom Blackboard. Vier moduleteams gaven aan problemen te hebben gehad met Osiris. Redenen die werden

36 14 januari 2014 POV/161/14/Sts 33 van 81 gegeven waren dat er geen deelcijfers konden worden ingevoerd. Hierdoor moesten schaduwboekhoudingen bij worden gehouden. Dit kost erg veel extra tijd. Daarnaast is het niet mogelijk om compensatieregelingen in te voeren in het systeem. Nu werd in het systeem aangegeven dat een student gezakt was voor een module wanneer hij één onvoldoende had, terwijl hij misschien volgens de regels van het toetsschema wel voor de module geslaagd zou zijn. Studieadviseurs die aanwezig waren op de Put it on the table bijeenkomst van 6 november gaven aan dat ze graag een tussenstand willen kunnen zien van studenten. Een integraal studentendossier is gewenst. Eén moduleteam gaf aan dat de inschrijving van modules in Osiris erg snel sloot. Studiematerialen Tabel 15: Resultaten OWD-vragenlijst 1. Van welke studiematerialen werd gebruik gemaakt (meerdere antwoorden mogelijk)? N % ja a. Boek 17 94,1% b. Video 17 41,2% c. Artikelen 17 64,7% d. Weblogs 17 5,9% e. Websites 17 64,7% f. Handleidingen 17 64,7% g. Studiegidsen 17 0,0% h. Anders 17 21,1% - Blackboard 1 - Moeten ze deels zelfs zoeken (leerdoel) 1 - Reader psychologisch ontwerpen 1 - Syllabi, slides, filmpjes 1 Figuur 21: Resultaten SEQ Tabel 16: Resultaten MM-gesprekken Aantal moduleteams Eens Oneens Geen onderwerp van gesprek De student had inbreng in de leerbronnen opleidingen gaven aan dit de intentie was, maar dat het wel lastig was 2 2 opleidingen gaven aan dat dit een bewuste keuze was N=18 In de eerste module werd voornamelijk gebruik gemaakt van boeken, artikelen, websites en handleidingen (zie item 1 van tabel 15). De studenten waren over het algemeen positief over de ingezette studiematerialen (zie figuur 21). Vijf moduleteams gaven aan dat de studenten ook zelf leerbronnen moesten zoeken (zie tabel 16). Drie moduleteams gaven aan dat dit wel lastig was. De vaardigheden en de houding van de studenten zorgde ervoor dat dit nog niet helemaal uit de verf kwam.

37 14 januari 2014 POV/161/14/Sts 34 van 81 Niveau Figuur 22: Resultaten SEQ Tabel 17: Resultaten MM-gesprekken N=18 Aantal moduleteams Eens Oneens Geen onderwerp van gesprek Het niveau dat de studenten in het eerste kwartiel hebben bereikt is hoger dan voorgaande jaren moduleteams gaven aan dat er te veel was verandert om het niveau van de studenten te kunnen vergelijken Uit de SEQ blijkt dat de meeste studenten tevreden zijn met het niveau van de eerste module (76,9% van de respondenten scoorde een 4 of hoger)(zie figuur 22). Zes moduleteams gaven aan dat de studenten nu (na het eerste kwartiel) meer geleerd hadden in vergelijking met wat studenten in voorgaande jaren na het eerste kwartiel geleerd hadden (zie tabel 17). Twee moduleteams gaven aan dat er te veel was veranderd was om een vergelijking te maken met voorgaande jaren. Hoe het onderwijs werd verzorgd sloot over het algemeen goed aan bij de manieren waarop de studenten leerden: 50,6% van de studenten scoorde op deze vraag een 4 of hoger. Selecterende functie en beeld van de studie Figuur 23: Resultaten OWD-vragenlijst 1. In hoeverre gaf deze module een beeld van de rest (betreft inhoud en werkhouding) van de opleiding? Niet 2. In hoeverre representeerden de eindcijfers het gepercipieerde niveau van de studenten? Tabel 18: Resultaten MM-gesprekken Niet In zeer sterke mate Heel erg n = 17 av. = 3,94 md. = 4 dv. = 1,03 ab. = 2 n = 15 av. = 4,40 md. = 4 dv. = 0,63 ab. = 4 Was geen doel: N = 0 Was geen doel: - N=18 Aantal moduleteams Eens Oneens Geen onderwerp van gesprek De eerste module geeft een goed beeld van de rest van de opleiding De eerste module had een goede selecterende functie moduleteams gaven aan dat dit wel consequenties had voor de samenhang in de module

38 14 januari 2014 POV/161/14/Sts 35 van 81 Eén van de doelstellingen van de eerste module is om een goed beeld van de opleiding te geven. De meerderheid van de modulen doet dit volgens de respondenten van de OWD-vragenlijst (zie figuur 23). Tijdens de MM-gesprekken gaven vijf moduleteams aan dat de eerste module een goed beeld gaf van de rest van de opleiding (zie tabel 18). Twee moduleteams gaven wel aan dat dit consequenties had voor de samenhang binnen de module. Zij gaven aan dat ze de kernconcepten of de multidisciplinariteit van de opleiding in kaart wilden brengen, waardoor de onderwerpen die aangeboden werden erg van elkaar verschilden. Zeven moduleteams gaven aan dat de module een goede selecterende functie had (zie tabel 18). De studenten waarvan men verwachtte dat zij de module zouden halen, hebben deze over het algemeen ook gehaald en minder goede studenten haalden de module niet. Natuurlijk is er ook een grijs gebied, de opleidingen hebben hier verschillend op gereageerd. Sommige opleidingen hebben een rapportvergadering gehouden om deze twijfelgevallen te bespreken, andere hebben de compensatieen/of reparatieregels aangepast of hebben (na overleg met de examencommissie) een extra reparatiemoment ingelast. Waardering Figuur 24: Resultaten SEQ Tabel 19: Resultaten MM-gesprekken N=18 Aantal moduleteams Eens Oneens Geen onderwerp van gesprek Het moduleteam is tevreden over de eerste module 10 8

39 14 januari 2014 POV/161/14/Sts 36 van 81 Tien moduleteams gaven aan dat ze tevreden waren over de module zoals die er nu stond (zie tabel 19). Tegelijkertijd werd gezegd dat de module nog wel moet worden aangepast, maar veel moduleteams gaven aan dat er een mooie basis ligt. De studenten gaven de eerste module gemiddeld een 6,4 als eindcijfer en 50,9% scoorde een 4 of hoger op de vraag of ze de opleiding aan iemand anders zouden aanbevelen (zie figuur 24). Overig Er kwamen een aantal punten naar voren die niet onder één van de bovenstaande categorieën passen. Deze worden hier genoemd. Niet voltijds kunnen studeren Figuur 25: Resultaten SEQ Uit de SEQ blijkt dat 7,2% van de respondenten niet voltijds kan studeren (zie figuur 25). Tijdens de MM-gesprekken kwam dit onderwerp ook een paar keer naar voren. Twee moduleteams gaven aan dat het voor studenten die extra ondersteuning nodig hebben lastig is om in TOM te studeren. Door de samenhang van de moduleonderdelen is het voor studenten met bijvoorbeeld een chronische ziekte lastig om slechts een deel van de module te volgen. Vooral voor het project is dit lastig, omdat er veel groepswerk in zit en studenten met extra ondersteuning geen last of meelifters mogen zijn van de andere studenten. Daarnaast gaf één opleiding aan dat er tijdens de tentamens geen rekening was gehouden met studenten met dyslexie. Eén moduleteam en aanwezigen op de Put it on the table bijeenkomst gaven aan dat het voor studenten die langer dan één week ziek zijn geweest lastig is om bij te komen, omdat je niet meer een vak kunt laten vallen. Eén moduleteam gaf aan dat de trage maar gestage leerders onder ook druk staan in het modulesysteem. Hetzelfde team gaf aan dat voor de betere student er niet altijd uitdaging in de module zit. Er is meer aandacht voor de groep die module net wel zou kunnen halen, wanneer ze worden meegenomen met een strakke structuur en veel deadlines. Financieel Twee opleidingen gaven aan dat het onderwijs door de invoering van TOM een stuk duurder is geworden. Veel meer mensen zijn bij het onderwijs betrokken en men is langer bezig met de voorbereiding en dergelijke. Op de Put it on the table bijeenkomst werd ook de vraag gesteld of het onderwijs op deze manier wel efficiënt (genoeg) is. Onderwijskwaliteit Eén moduleteam gaf aan dat het direct voelbaar is in de gehele module wanneer één onderdeel wat zwakker is, bijvoorbeeld door een docentwisseling.

40 14 januari 2014 POV/161/14/Sts 37 van 81 Deel IV Conclusie en discussie Conclusie Er is veel werk verzet om op 1 september 2013 van start te gaan met het TOM onderwijs. Na afloop van de eerste module geven de meeste moduleteams aan tevreden te zijn over de module. Dit correspondeert met het beeld van de zelfscores in het Maturity Model. Tegelijkertijd gaven alle moduleteams aan dat er nog wel een verbeterslag gemaakt moet worden - maar de basis is er. De moduleteams kwamen tot de conclusie dat het onderwijs arbeidsintensiever, en daarmee duurder, is geworden. De werkdruk onder docenten lag hoog. Dit kwam doordat er ad hoc oplossingen gemaakt moesten worden bij het uitvoeren van nieuw onderwijs, doordat er veel onderling overleg nodig was, er extra administratieve taken bij gekomen waren en door problemen met Blackboard, Osiris en zaalbeheer. Ook het voorbereiden en nakijken van toetsen nam veel tijd in beslag. Omdat veel van deze factoren ook zullen spelen wanneer de nieuwigheid eraf is, is de verwachting van de OWD s zelf dat de werkdruk voor docenten de volgende ronde niet veel lager zal zijn. Studenten ervoeren ook een hoge werkdruk. Dit kwam doordat ze de druk voelden van de BSA, het feit dat een module in zijn geheel moet worden afgerond, er veel werd getoetst en dat er veel van deze toetsen afhing en er geen rustmoment zat tussen de eerste en tweede module. Module als geheel Een aspect van TOM is het modulaire onderwijs, waarbij een module (van 15 EC) in zijn totaliteit wordt afgerond. De module is een eenheid, waarbinnen de verschillende onderdelen met elkaar samenhangen. De moduleteams hebben hard aan deze samenhang gewerkt. Veel moduleteams hebben de module niet vanuit oude vakken ontworpen, maar hebben kritisch naar hun onderwijs gekeken en deze op een nieuwe manier vormgegeven. Binnen de meeste modules is het project een belangrijk 3 onderdeel van de module en vormen de overige moduleonderdelen de basis voor het project. Om van de onderlinge samenhang tussen de moduleonderdelen een succes te maken, was veel onderlinge afstemming en overleg nodig, dit verhoogde de werkdruk van docenten. Iets minder dan de helft van de studenten gaf nog aan de samenhang in de modules niet te merken. Mogelijke redenen zijn dat de studenten nog niet genoeg overzicht hebben om het grote plaatje te zien, of dat de module op papier beter is geïntegreerd dan in de praktijk bleek. Sommige moduleteams gaven aan een bewuste keuze te hebben gemaakt om niet alle moduleonderdelen met elkaar te integreren, om zo een beeld te laten zien van de verschillende aspecten van de opleiding, of dat sommige moduleonderdelen ter voorbereiding waren voor volgende modules. 3 Er werd niet verder gespecificeerd wat werd verstaan onder belangrijk.

41 14 januari 2014 POV/161/14/Sts 38 van 81 Binnen de technische opleidingen werd veelal aangegeven dat de gemeenschappelijke wiskundeleerlijn nog niet goed was geïntegreerd in de module. Bij de M&T-leerlijn is volgens de OWD-vragenlijst de integratie beter verlopen. Ook buiten de wiskunde- en M&T-leerlijn hebben modules onderwijs met elkaar gedeeld. Dit was voor ongeveer de helft van de modules het geval. Wel gaven veel moduleteams aan dat hier nog een verbeterslag nodig is en sommige moduleteams gaven aan volgend jaar geen onderwijs meer te willen delen. Het delen van onderwijs zorgde voor extra veel benodigde onderlinge afstemming, iets wat niet altijd goed verliep. Hierdoor werd het stressgevoel en de werkdruk bij docenten verhoogd. Uit de resultaten bleek dat zowel docenten als studenten het lastig vonden dat een module in zijn totaliteit moet worden afgesloten. Omdat dit veel samenhangt met het onderwerp toetsing, wordt het hieronder toegelicht. Toetsing Een negatief effect van de module als eenheid is dat het de werkdruk van de studenten heeft verhoogd. Studenten voelden, vooral in samenhang met de BSA, de druk dat een module op een klein onderdeel niet gehaald kon worden. Veel moduleteams gaven aan dat een gevolg hiervan was dat de studenten van toets naar toets gingen werken. Het moduleonderdeel met de eerstvolgende (of de meeste) toetsen had de prioriteit en de studenten leerden de stof daardoor gefragmenteerd. Een ander punt dat zowel met de eenheid van de module als met toetsing te maken heeft, zijn de reparatiemomenten. Veel moduleteams gaven aan het lastig te vinden om de toetsen én de reparatiemomenten binnen dezelfde module te laten plaatsvinden. Nu zitten de reparatiemomenten vaak dicht op de oorspronkelijke toets. De korte tijd tussen de toets en het reparatiemoment verhoogt de werkdruk van de docenten, omdat ze maar weinig tijd hebben om de toetsen na te kijken. Ook de studenten gaven aan vaak niet genoeg tijd te hebben om zich op de toetsen voor te bereiden. Wat de werkdruk voor de studenten en docenten ook verhoogde, was het aantal toetsen. Over het algemeen werd er in de eerste modules veel getoetst en de docenten gaven aan dat ze veel tijd kwijt waren met het voorbereiden en nakijken van deze toetsen. Het hoge aantal toetsen was, naast het behalen van de hele module, een oorzaak dat de studenten van toets naar toets gingen werken en stof gefragmenteerd leerden. Hoewel monitoring van studenten veel werd genoemd als doel van het toetsen, zijn de toetsen vooralsnog veelal gebruikt om een cijfer te geven en niet om diagnostisch te monitoren. Veel moduleteams gaven aan dat ze te weinig tijd hebben om meer feedback te geven aan de hand van de toetsen dan alleen het cijfer. Door het tijdgebrek was het niet mogelijk om op basis van de toetsresultaten het onderwijs aan te passen.

42 14 januari 2014 POV/161/14/Sts 39 van 81 Veel moduleteams stonden terughoudend tegenover het geïntegreerd toetsen. Men vroeg zich af hoe binnen een geïntegreerde toets kon worden aangetoond dat alle leerdoelen (van alle verschillende moduleonderdelen) door de student beheerst werden. Een mogelijke oorzaak voor deze terughoudendheid kan zijn dat de moduleonderdelen theoretisch los van elkaar stonden. Dit had ook gevolgen voor de compensatieregelingen binnen een module. Binnen bijna alle modules was het mogelijk om binnen een moduleonderdeel te compenseren. Het compenseren tussen moduleonderdelen kwam een paar keer voor. Wanneer werd gecompenseerd tussen moduleonderdelen was dit meestal een cijfermatige compensatie (men mocht één onvoldoende halen of het gemiddelde van een aantal toetsen telde). In een aantal gesprekken kwam naar voren dat studenten na een reparatie nog een reparatie mocht doen aan het eind van de module. Didactische aspecten Alle respondenten gaven aan dat het project een realistische context had en iets minder dan de helft van de moduleteams gaven aan dat ook sommige moduleonderdelen buiten het project een realistische context hadden. Ook over de samenwerking binnen de modules waren veel respondenten positief. Een aantal moduleteams gaf ook aan dat TOM de studenten stimuleerde om samen te werken. Studenten gaven ook aan geleerd te hebben van de samenwerking. Daarnaast gaven de meeste studenten aan dat de manier waarop het onderwijs wordt verzorgd, aansloot bij hun manier van leren. Ook over het niveau van de eerste module waren zowel veel studenten als moduleteams tevreden. Een derde van de moduleteams gaf aan dat het niveau dat de studenten na het eerste kwartiel hebben bereikt hoger was dan vorig jaar (zie tabel 17). Binnen de meeste moduleteams was het project niet alleen een toepassingsproject, maar deden de studenten ook nieuwe kennis op en leerden ze nieuwe vaardigheden. Daarnaast werd er aan alle drie de O s gewerkt. Wat wel opvallend was, is dat veel studenten aangaven niet geleerd te hebben hoe ze oplossingen moesten testen, wat bij de ontwerprol past, maar dat deze rol wel bij (op één na) alle modules aan de orde is gekomen. Een punt waar veel moduleteams nog mee worstelen was de houding van studenten. Veel moduleteams gaven aan dat het de intentie was dat studenten meer verantwoordelijkheden zouden krijgen en nemen. Dit kwam vaak nog niet goed uit de verf, omdat de studenten afwachtend waren. De vraag kwam naar voren hoe de verantwoordelijkheid bij de studenten ontwikkeld konden worden. Nu werden in sommige gevallen gedurende de module steeds meer handvatten gegeven om bij hen aan te geven hoe ze de opdrachten aan moesten pakken. Dit impliceert dat deze moduleteams studenten weer minder eigen verantwoordelijkheid lieten nemen in hun leerproces.

43 14 januari 2014 POV/161/14/Sts 40 van 81 Het onderwijs werd veelal van uur tot uur ingepland, sommige opleidingen hadden ook de zelfstudie uren in het rooster opgenomen. Een reden die hiervoor werd gegeven was dat de studenten op die manier beter in konden zien hoe veel tijd ze aan de verschillende moduleonderdelen moesten besteden. De werkvormen die tijdens de eerste module werden ingezet waren gevarieerd. Tutoring De tutoren hadden in de eerste module voornamelijk de rol van procesbegeleiders en in mindere mate van inhoudsbegeleiders. Binnen de meeste opleidingen waren er geen problemen rondom de tutorrol. Een aantal moduleteams gaf wel aan dat het als inhoudsdeskundige wel lastig is om (als procesbegeleider) niet ook inhoudelijk te gaan begeleiden. Daartegenover kwam ook naar voren dat de procesbegeleiders, die geen inhoudsdeskundigen waren, het lastig vonden om de projectgroepjes te begeleiden. De docenten gaven aan dat ze het gevoel hadden het project niet goed te kunnen begeleiden, omdat ze de inhoud niet volledig snapten. Een ander punt dat opviel rondom tutoring is dat binnen alle opleidingen ook student-assistenten (ouderejaars) werden ingezet als tutor. Het is onbekend hoe dit is bevallen. Blackboard, Osiris en Zalenbeheer Moduleteams gaven aan ook veel tijd kwijt te zijn geweest met organisatorische problemen, rondom Blackboard, Osiris en de zalen waarin colleges plaatsvonden. Meerdere moduleteams gaven aan dat de zalen waarin onderwijsbijeenkomsten waren geroosterd niet aan de eisen van de bijeenkomst voldeden. Dit zorgde ervoor dat dit ineffectieve bijeenkomsten werden en dat de docenten ad hoc een oplossing moesten verzinnen. Dit verhoogde de werkdruk en heeft daarnaast waarschijnlijk bijgedragen aan het beeld van de studenten dat de modules niet goed georganiseerd waren. Sommige moduleteams gaven aan dat zowel Osiris en Blackboard als systeem niet passen binnen TOM. Deze problemen zouden eigenlijk niet door de docenten zelf opgelost te hoeven worden, maar dit was nu nog wel het geval. Discussie Uit deze evaluatie komen een aantal problemen naar voren, die in te delen zijn in drie categorieën. Dit zijn 1. Systematische problemen, die veroorzaakt worden door het systeem (modules i.c.m. het BSA); 2. Kinderziektes en 3. Moeilijkheden die voortkomen uit een natuurlijke reactie op (onderwijs)vernieuwing. Een probleem kan zijn oorsprong hebben in meerdere van deze categorieën. Een probleem moet dan ook op verschillende niveaus worden aangepakt. De uitkomsten van deze evaluatie moeten in het licht gezien worden van het feit dat dit de eerste keer was dat álle bacheloropleidingen in TOM draaiden. Dit betekent dat er nog een aantal kinderziektes in het onderwijs zitten, waarvan te verwachten valt dat deze bij een tweede keer draaien minder zullen worden. Zo is bijvoorbeeld de verwachting dat problemen rondom Blackboard en Osiris minder

44 14 januari 2014 POV/161/14/Sts 41 van 81 zullen worden en ook communicatieproblemen zullen waarschijnlijk verminderen doordat docenten beter weten wat er speelt, wie waar verantwoordelijk voor is, welke taken zij hebben, etc. Deze kinderziektes zorgden er in de huidige situatie voor dat docenten een hoge werkdruk ervoeren. Wanneer deze kinderziektes zijn verholpen, zal de werkdruk onder docenten naar verwachting ook iets afnemen. Hierbij moet opgemerkt worden dat kinderziektes zich niet vanzelf oplossen, maar dat hier actief naar oplossingen gezocht moet worden zie Deel V (Aanbevelingen). De werkdruk werd echter ook veroorzaakt door een systematisch probleem: het vele toetsen en repareren omdat een module in één keer gehaald moet worden. De verwachting is dat een andere manier van toetsing ook zou kunnen helpen om de werkdruk te verminderen, zowel bij docenten als studenten. Dat studenten een hoge werkdruk ervoeren, kwam niet alleen door het toetsen, maar ook doordat modules volgepland waren. Dit is een vaker voorkomend effect bij onderwijsvernieuwing: er wordt teveel inhoud gepland in het daarvoor bestemde tijdsbestek (EC s). Dit komt doordat docenten geen oude onderwerpen of stof willen schrappen, maar er wel nieuwe content (zoals het project) wordt toegevoegd. Dit hangt sterk samen met het durven loslaten van de inhoud en meer verantwoordelijkheid durven geven aan studenten. Een voorbeeld hiervan is dat de laatste twee vrije dagen van de module (om reparaties mogelijk te maken) toch vol gepland werden met onderwijsactiviteiten, waardoor studenten geen rustmoment hadden tussen twee modules. Een goed voorbeeld van een probleem dat zijn oorsprong heeft in twee verschillende categorieën, is de worsteling die docenten ervaren met het geven van eigen verantwoordelijkheid aan studenten. Enerzijds heeft de druk om de module in één keer te moeten halen tot gevolg dat docenten de studenten graag bij de hand willen houden en de studenten dit zelf ook graag willen, anderzijds moeten zowel docenten als studenten hier ook gewoon aan wennen. Wanneer de docent de verantwoordelijkheid voor leren bij studenten legt, terwijl zij hier nog niet aan gewend zijn, geven studenten de verantwoordelijkheid weer terug aan de docent. De verleiding is dan groot om in het oude gedrag terug te vallen: wanneer docenten de verantwoordelijkheid weer terug nemen, kan dit leiden tot passieve studenten. Uit deze evaluatie komt duidelijk naar voren dat het onderwerp toetsing als lastig wordt ervaren en dat toetsing de werkdruk heeft verhoogd: er werden veel deel-deeltoetsen afgenomen. Een reden hiervoor kan zijn dat men moduleonderdelen toch nog ziet als vakken, die allemaal apart getoetst moeten worden. De wens om geen megatoets aan het eind van de module af te nemen heeft verder tot de hoge toetsfrequentie geleid. Toetsen wordt gezien als het kunnen afvinken van leerdoelen, in plaats van als leermoment voor de student. Er moet kritisch gekeken worden naar het onderwerp toetsing en waarom deze worden ingezet. Verwacht wordt dat wanneer hier creatiever mee omgesprongen

45 14 januari 2014 POV/161/14/Sts 42 van 81 wordt, dit de werkdruk zal verminderen, zonder afbreuk te doen aan het kunnen waarborgen van leerdoelen. Zie hiervoor Deel V (Aanbevelingen). Een belangrijk element van TOM is het delen van onderwijs. Oorspronkelijk was één van de argumenten voor het delen van onderwijs de efficiëntieslag die gemaakt zou kunnen worden. Uit deze evaluatie komt echter een ander beeld naar voren. Het delen van onderwijs vergt op opleidings- en docentniveau veel communicatie en afstemming, tijd en energie en ook hier hangt een kostenplaatje aan. Hiermee kan in twijfel getrokken worden of het delen van onderwijs het onderwijs goedkoper maakt. Het delen van onderwijs heeft naast financiële echter nog andere doelstellingen. Namelijk het verhogen van de multidisciplinariteit van het onderwijs, waardoor er gewerkt wordt aan de ontwikkeling van T-shaped professionals. Daarnaast zorgt het ervoor dat overstappen naar een andere studie gemakkelijker wordt bijvoorbeeld doordat studenten dezelfde wiskunde al beheersen. Vanuit dit perspectief heeft het delen van onderwijs dus voordelen betreffende de kwaliteit van het onderwijs.

46 14 januari 2014 POV/161/14/Sts 43 van 81 Deel V Aanbevelingen Op basis van voorgaande conclusie en de gesprekken die zijn gevoerd tijdens de OLD-dag op maandag 13 januari 2013 zijn knelpunten geformuleerd. Deze knelpunten moeten worden omgezet in actiepunten en gekoppeld aan een afdeling/dienst/opleiding om de knelpunten op te lossen. Uit deze evaluatie komt duidelijk naar voren dat medewerkers een hoge werkdruk ervaren. Hoewel het aannemelijk lijkt dat een deel van de stress komt door onzekerheid over het nieuwe onderwijs, moet niet onderschat worden hoeveel extra uren medewerkers in moeten zetten in hun onderwijstaken. De hoge werkdruk zou niet als een gegeven moeten worden beschouwd; er moet serieus gewerkt worden aan een oplossing om werkdruk te verminderen. Deels wordt een hoge werkdruk veroorzaakt door het ad hoc moeten oplossen van problemen in de uitvoering van het onderwijs. De verwachting is dat kinderziektes zullen afnemen, maar ad hoc oplossingen zijn in de uitvoering van onderwijs altijd aan de orde. Ook komt de hoge werkdruk deels voort uit het meer moeten overleggen met het moduleteam. Dit zal in de toekomst ook blijven om het overzicht te kunnen blijven houden en een eenheid in de module te waarborgen. De werkdruk die door deze activiteiten veroorzaakt wordt zal dus met de tijd niet veel afnemen. Een aanbeveling is dan ook om ervoor te zorgen dat a) voorafgaand aan de module er heel duidelijk naar medewerkers gecommuniceerd wordt wat er van hen verwacht wordt en hoeveel tijd dit gaat kosten; b) docenten zoveel mogelijk tijd aan het onderwijs kunnen besteden en dus zoveel mogelijk vrijgeroosterd worden van andere taken dit geldt zeker voor de modulecoördinator; c) geld vrijmaken om bijvoorbeeld student-assistenten aan te kunnen nemen; d) docenten waar mogelijk niet twee modules achter elkaar worden ingezet, om een voortdurende piekbelasting te voorkomen. Een deel van de werkdruk zit echter ook in het vele toetsen en het moeten uitvoeren van administratieve zaken. Door hier oplossingen voor te bedenken, kan de werkdruk onder docenten afnemen. Een manier om de werkdurk te verlagen, is om het aantal toetsen te verminderen, zonder dat er afbreuk gedaan wordt aan het waarborgen van de leerdoelen. De docenten hebben dan minder voorbereidings- en nakijktijd nodig. Dit vergt creativiteit in de manier van denken over toetsen en het bedenken van geschikte toetsvormen; de Onderwijskundige Dienst zou hierbij kunnen ondersteunen. Tot slot komt een deel van de werkdruk door de vele administratieve zaken waar het moduleteam zich mee bezig moet houden. Met name de modulecoördinator is een groot gedeelte van zijn tijd kwijt aan het bijhouden van schaduwboekhoudingen, het doorrekenen van formules om tot een eindcijfer te komen, deelnemerslijsten bijhouden per moduleonderdeel, Blackboard inrichten, het ad hoc regelen van een andere zaal, etc. Voor de werkgroep Hernieuwde aanbesteding digitale leeromgeving is de aanbeveling om Blackboard aan te laten sluiten bij de wensen van de moduleteams en juist bij de gebruikers (moduleteams) te inventariseren wat de wensen, eisen en behoeften zijn. Voorbeelden uit deze evaluatie zijn: het mogelijk kunnen maken om studenten voor een deel van de module in te laten schrijven (bijvoorbeeld voor pre-masters) of de wiskundeleerlijn in de Blackboardomgeving

47 14 januari 2014 POV/161/14/Sts 44 van 81 van de module op te kunnen nemen. In Osiris is het onmogelijk om compensatieregels op te nemen en om deel-deelcijfers in te voeren. Ook hier zou een werkbare oplossing voor bedacht moeten worden gevonden door CES / ICTS. Tot slot is de aanbeveling aan het roosterteam en het facilitair bedrijf om ruim voor aanvang van de module te inventariseren welke behoeften er zijn met betrekking tot de onderwijsruimten (wel of geen stopcontacten, verschuifbare tafels), zodat de geschikte zaal gereserveerd kan worden. Betreffende de ervaren werkdruk van de medewerkers ligt ook een belangrijke aanbevelingen richting HR. Momenteel is er vooral uiting van waardering op onderzoeksgebied, niet op onderwijstaken. Wanneer men voldoende gewaardeerd wordt, kan men een hogere belasting aan. Wanneer men echter voortdurend piekt en niet voor een deel van het werk (onderwijs) beloond wordt, kan dit risico s met zich meebrengen betreffende de arbeidsbelasting. Onderwijs zou daarom explicieter als onderdeel in de functiewaardering en het beloningssysteeem van docenten moeten worden opgenomen. Veel moeilijkheden in de eerste module kwamen voort uit de benodigde maar nog niet voltooide paradigmashift. Docenten worstelen met het geven van eigen verantwoordelijkheid aan studenten (zie Deel IV, Discussie). De overgang naar deze nieuwe manier van werken gaat niet vanzelf: docentprofessionalisering is hierbij van belang. Hier ligt een taak voor de Onderwijskundige Dienst en het Programmabureau Onderwijsvernieuwingen. Een mogelijkheid is om een koppeling te maken met de BKO en SKO. Ook kan de Onderwijskundige Dienst opleidingen adviseren over het omgaan met de passieve houding van studenten. De studenten kunnen nog niet de eigen verantwoordelijkheid nemen over hun leerproces; dit verdient extra aandacht. Aanbeveling is wel om de verantwoordelijkheid over de manier waarop hiermee wordt omgegaan bij de opleidingen c.q. moduleteams te houden. Vanuit de moduleteams is er een sterke wens om duidelijke afspraken te maken over het reparatiebeleid. Hoeveel reparaties mogen er aangeboden worden en mag er buiten de module gerepareerd worden? Moet een module in het volgende collegejaar in zijn totaliteit overgedaan worden wanneer een onderdeel niet gehaald is, of mag slechts het betreffende onderdeel gerepareerd worden? Hier is vooral duidelijkheid voor nodig omdat opleidingen een advies moeten geven m.b.t. het BSA. Er moet gezocht worden naar een geschikte werkwijze. Enerzijds moet goed nagedacht worden over de vraag hoe ver je wilt gaan met het aanbieden van reparaties, gezien de werkdruk onder docenten en het waarborgen van de onderwijskwaliteit. Anderzijds moeten studenten wel voldoende gelegenheid krijgen om een module van 15 EC te kunnen halen. Studenten ervaren namelijk een hoge werkdruk door het modulaire systeem. Hier ligt nog een uitdaging voor de opleidingen en de examencommissies, in samenspraak met S&B, die de bandbreedt van mogelijkheden zou kunnen aangeven.

48 14 januari 2014 POV/161/14/Sts 45 van 81 Deel VI Evaluatie wiskundeleerlijn Inleiding De gezamenlijke wiskundeleerlijn, die in september 2013 van start is gegaan als onderdeel van het Twents Onderwijsmodel, is geëvalueerd onder de moduleteams die dit wiskundeonderwijs inkopen en het wiskundeteam : de personen die het wiskunde verzorgd hebben (van ontwerp t/m uitvoering en toetsing). Met de wiskundeleerlijn zijn veel zaken gemoeid. Gezamenlijk onderwijs is een belangrijk onderdeel van de Onderwijsvernieuwing. Door het gemeenschappelijke wiskunde: - werk je aan een herkenbaar wiskunde UT-profiel; - is de overstap naar een andere technische studie gemakkelijker, omdat je de wiskunde dan al gehad hebt; - creëer je gemeenschappelijkheid onder de studenten; - en kunnen de hoorcolleges worden ingezet als inspiratiebron waarbij studenten geprikkeld worden om zich in de materie te verdiepen. In dit deel zijn de resultaten te lezen van de evaluatie van de wiskundeleerlijn. De informatie is separaat opgehaald: bij de zogenaamde Maturity Model-gesprekken (MM gesprekken) met moduleteams en bij twee aparte evaluatiebijeenkomsten met het wiskundeteam (zie Methode). De informatie is integraal weergegeven in deze rapportage. Er wordt antwoord gegeven op de vragen: - Hoe kwam het didactische concept van de wiskundeleerlijn in de eerste module uit de verf? - Wat voor leereffect had de wiskundeleerlijn bij studenten? - Hoe tevreden zijn zowel de moduleteams als het wiskundeteam over de inhoud van de wiskundeleerlijn en de aansluiting/integratie tussen de leerlijn en de rest van de module? - Hoe tevreden is men over de organisatie (afstemming, communicatie, onderwijsorganisatie) van de wiskundeleerlijn? - Hoe tevreden is men over het toetsbeleid van de wiskundeleerlijn? - In welke mate is het wiskundeteam gewaardeerd voor het geleverde werk? Methode Met het wiskundeteam (docenten hoorcollege, docenten werkcollege, vwo-docenten, studentassistenten en faculteitsonderwijskundige) zijn twee separate evaluatiegesprekken gehouden. Tijdens deze gesprekken is ingegaan op het didactische concept achter de wiskundeleerlijn, het effect, de inhoud, organisatie en de toetsing. In totaal is gesproken met 14 betrokkenen vanuit het wiskundeteam en met 11 moduleteams die de wiskundeleerlijn afnamen. Onder het gehele wiskundeteam is voorafgaand aan de evaluatiesessies een enquête afgenomen. Van de 25 betrokkenen hebben 13 respondenten deze online vragenlijst ingevuld. Verder is in de OWD-vragenlijst, in het kader van de samenhang van de module, gevraagd naar de afstemming van wiskunde met de rest van de module. Ook in de MM-gesprekken is de wiskundeleerlijn aan bod gekomen. Gevraagd is naar de organisatie en naar de afstemming met

49 14 januari 2014 POV/161/14/Sts 46 van 81 de overige module-onderdelen (qua inhoud en niveau). Achter iedere opmerking die werd gemaakt door de moduleteams staat tussen haakjes weergegeven in hoeveel MM-gesprekken/opleidingen dit opgemerkt werd. Hierbij moet opgemerkt worden dat alles wat over de wiskunde gezegd werd, vermeld is in dit rapport. Wanneer er bijvoorbeeld een (3) achter een opmerking staat, betekent dit dat slechts drie moduleteams hun mening over dit onderwerp hebben gegeven. Bij de andere moduleteams is dit niet aan bod gekomen in het gesprek. Het is dus onbekend of deze teams het eens of eens zijn met de 3 teams. Indien relevant, zijn de uitkomsten van de OWD-vragenlijst vermeld. Resultaten Hieronder is per onderzoeksvraag weergegeven wat erover gezegd is door het wiskundeteam (W), door de moduleteams (M) en eventueel door de respondenten van de OWD-vragenlijst (O). Didactisch concept Werken aan een herkenbaar UT-profiel W Het hoorcollege op maandag werd voor alle technische opleidingen gezamenlijk aangeboden, de andere bijeenkomsten werden opleidingsgewijs aangeboden. Wiskunde moet op den duur verankerd raken met het onderwijs van de modules. M Wiskunde moet qua onderwijsvorm beter geïntegreerd worden met de onderwijsvorm van de module; qua karakter, onderwijscultuur en werkvormen sloot wiskunde niet goed aan bij de rest van de module (2). W De wijze waarop het wiskundeonderwijs werd vormgegeven, riep de vraag op of de wiskundeleerlijn niet teveel een hbo-karakter kreeg; uiting hiervan was het vele toetsen. M - Gemakkelijkere overstap W Uit de vragenlijst (zie Table 1) bleek dat de wiskundedocenten vonden dat overstappen naar een andere technische studie aan de UT gemakkelijker was, door de gezamenlijke wiskundeleerlijn. M - Table 1: Uitkomst vragenlijst wiskundeteam In hoeverre is het gelukt om het volgende doel te behalen? Het overstappen naar een andere technische studie gemakkelijker maken (N=11) 0,00% 9,00% 54,55% 27,27% 9,00% Creëren van gemeenschappelijkheid

50 14 januari 2014 POV/161/14/Sts 47 van 81 W Een UT-brede wiskundeleerlijn zorgde voor saamhorigheid. Uit de vragenlijst (zie Table 2) blijkt dat meer dan de helft van de respondenten vindt dat het groepsgevoel bevorderd wordt (77,77% scoort een 3 of hoger). Je moet dan wel hetzelfde blijven doen; nu waren er toch verschillen in de werkcolleges waarbij andere onderwerpen aan bod kwamen. O Volgens de respondenten zorgde het gezamenlijke wiskunde echter niet of nauwelijks voor een wij-gevoel onder eerstejaars studenten (n = 7, av. = 1,86, md. = 2, dv. = 0,90). M Hier en daar werd geprobeerd om wiskunde te integreren (2), bijvoorbeeld door werkcolleges bij de module aan te laten sluiten (1), specifiek voor de module ontwikkelde cases aan te bieden (1) of een aantal moduleonderdelen aan wiskunde te koppelen (1). Werkcolleges bij de module aan laten sluiten was echter niet gelukt (1). M In een latere module willen twee opleidingen de benodigde wiskunde zelf aanbieden (2). M Matlab zou gemakkelijk gedeeld kunnen worden met andere opleidingen, omdat het in een scala van disciplines wordt toegepast (1). M Het feit dat wiskunde een aparte Blackboardpagina had, maakte het extra duidelijk dat wiskunde een losstaand onderdeel van de module was (1). Table 2: Uitkomst vragenlijst wiskundeteam In hoeverre is het gelukt om het volgende doel te behalen? Het groepsgevoel onder technische studenten bevorderen (N=9) 11,11% 11,11% 44,44% 33,33% 0,00% Hoorcolleges als inspiratiebron W Een klassiek hoorcollege heeft maar een beperkt leereffect, maar de rol van de meester is wel belangrijk. Als inspirerend hoorcollege hadden de hoorcolleges een duidelijke rol. Door de grote hoorcolleges kon je echt laten zien hoe leuk wiskunde is. Het concept is positief, maar er moeten nog wel aanpassingen worden gemaakt; je zou veel meer uit de inspirerende colleges kunnen halen. Uit de vragenlijst (zie Table 3) blijkt dat ongeveer een derde vindt dat het inspireren tijdens de hoorcolleges gelukt is. Ongeveer de helft van het team neemt scoort neutraal mogelijk omdat men het niet weet. W In de wiskundeleerlijn zou elke onderwijsbijeenkomst zijn eigen doel hebben hoorcolleges ter inspiratie, werkcolleges om opgaven te maken en begeleide zelfstudie voor de verdieping in de theorie. In de praktijk bleek dit echter niet zo te gaan; studenten gebruikten de begeleide zelfstudie als werkcollege. M Bij studenten was het doel van de inspirerende hoorcolleges niet duidelijk, dat ging aan studenten voorbij (2).

51 14 januari 2014 POV/161/14/Sts 48 van 81 W Door de massale colleges was er weinig interactie met alle studenten. Student-assistenten konden bij de begeleide zelfstudie de waarom -vragen (theoretische inzichten) niet beantwoorden omdat zij het grote plaatje niet overzien. Een oplossing hiervoor zou kunnen zijn dat de docenten aanwezig zijn bij de begeleide zelfstudie. M De hoorcolleges waren te massaal (1). Doordat wiskunde in zo n grote groep werd gegeven, was het lastig om vragen te kunnen beantwoorden (1). M Een hele maandag vol wiskunde werd door het moduleteam niet als prettig ervaren (1). Table 3: Uitkomst vragenlijst wiskundeteam In hoeverre is het gelukt om het volgende doel te behalen? Het inspireren tijdens de hoorcolleges (N=9) 0,00% 11,11% 55,56% 33,33% 0,00% Effect W De vernieuwingen in het onderwijs sluiten aan bij de veranderende studentenpopulatie. M - W Studenten werkten hard. Ze hadden een goede werkhouding. Studenten namen echter nog niet de verantwoordelijkheid over hun eigen leren, dit konden ze nog niet. Studenten besteedden veel tijd aan wiskunde en moesten ook veel tijd besteedden aan andere module-onderdelen. Enerzijds was het goed dat ze hard werken, anderzijds was het ook een knelpunt. Het ene onderwijs kan het andere bijten. M Studenten konden door de gehanteerde didactiek in de module minder tijd besteden aan wiskunde (1). M Door het gehanteerde toetsschema van het wiskundeonderdeel (eisen, aantal toetsen en bonuspunten) besteedden studenten hier meer tijd en aandacht aan (4). Door afwijkende regels (wiskunde versus de andere module-onderdelen), raakten studenten wat in paniek (2). W Was er nog wel tijd voor bezinking? Studenten zagen de opgegeven opdrachten als huiswerk, maakten het tentamen en verdiepten zich er verder niet in. Studenten klaagden dat ze trucjes leerden, zonder dat ze de materie echt begrepen. Als begrijpen van de theorie een leerdoel is, moet dit terugkomen in de toetsen. M Er was te weinig tijd voor verwerking. Studenten merkten op dat ze een trucje leerden, maar dat ze niet begrepen wat ze aan het doen waren (1). M De cijfers voor wiskunde waren ongeveer hetzelfde gebleven als vorig jaar, terwijl je zou verachten dat ze beter zouden zijn, omdat er nu meer tijd en aandacht werd besteed aan wiskunde (1). Opvallend was dat maar weinig studenten de herkansing van wiskunde voldoende gemaakt hadden (1).

52 14 januari 2014 POV/161/14/Sts 49 van 81 Aansluiting Inhoudelijke aansluiting W Studenten van verschillende opleidingen voelden de wiskunde nog als losstaand onderdeel. Inhoudelijk sloot de wiskunde niet altijd even goed aan bij de rest van de module. In de vragenlijst (zie Table 4) is te zien dat 75% van de respondenten aangaf dat de aansluiting goed gelukt was. O Respondenten waren het, gemiddeld gezien, oneens met de stelling dat de wiskundeleerlijn goed geïntegreerd was met de andere moduleonderdelen (n = 9 av. = 2,00, md. = 2, dv. = 1,32 op een schaal van 5). M Twee moduleteams gaven aan dat de inhoudelijke integratie met het project/module goed was (2). Daarentegen gaven vier teams aan dat wiskunde als apart, niet geïntegreerd werd ervaren (4). De wiskundeleerlijn sloot qua behandelde onderwerpen niet goed aan bij de rest van de module (6). Hier en daar was geprobeerd om wiskunde te integreren (2), bijvoorbeeld door werkcolleges bij de module aan te laten sluiten (1), specifiek voor de module ontwikkelde cases aan te bieden (1) of een aantal moduleonderdelen aan wiskunde te koppelen (1). Werkcolleges bij de module aan laten sluiten is echter niet gelukt (1). W Het is ondoenlijk om alle moduleteams te betrekken in de vraag wat aan bod komt, maar je kunt wel kijken hoe je (voor zover mogelijk) de aangeboden wiskunde zo goed mogelijk aan kan laten sluiten en in verband kunt brengen met de inhoud van de module. W Er was nog veel onduidelijkheid over welke onderwerpen in de eerste module aan bod kwamen. Een aantal werkcollegedocenten was verbaasd over de onderwerpen waaraan aandacht besteed is in de hoorcolleges. Ondanks dat was het volgens de uitkomsten van de vragenlijst (zie Table 4), wel gelukt om hoor- en werkcolleges op elkaar aan te laten sluiten. Op basis van het studieboek waren voorafgaand aan de leerlijn nog een aantal veranderingen doorgevoerd in de volgorde van de te behandelen topics. In de evaluatiesessie werd aangegeven dat er in het hele proces behoefte was aan striktere sturing. O De hoorcolleges sloten volgens de respondenten aan bij de werkcolleges (n = 5, av. = 3,2, md. = 4, dv. = 1,30). M De relatie tussen de hoorcolleges en de stof was onduidelijk (1). M In het oude curriculum werd Matlab nergens aangeboden. In de eerste module is Matlab geen eindterm, maar werd het als middel ingezet en was het belangrijk voor de projecten (1).

53 14 januari 2014 POV/161/14/Sts 50 van 81 W Vaak hadden studenten onvoldoende algebraïsche vaardigheden op het moment dat ze met een universitaire studie beginnen. Dit moest worden opgefrist. Met de wiskundelijn is Matlab of het programmeren weggevallen uit veel opleidingen. Het kan zo zijn dat een student geacht wordt te kunnen programmeren, terwijl dat nergens in het curriculum als leerdoel staat opgenomen. M Mocht de wiskundeleerlijn volgens jaar veranderen (aanbod van onderwerpen), dan gaat de module niet mee veranderen; dit kost teveel tijd (1). In een latere module gaan twee opleidingen de benodigde wiskunde zelf aanbieden (2). Table 4: Uitkomst vragenlijst wiskundeteam In hoeverre is het gelukt om het volgende doel te behalen? De behandelde stof aan te laten sluiten bij de modules van de verschillende opleidingen (N =12) Hoor- en werkcolleges op elkaar aan te laten sluiten (N=12) Voor elke opleiding passende cases aan te bieden (N=11) ,67% 8,33% 75,00% 0,00% 0,00% 8,33% 0,00% 16,67% 75,00% 0,00% 9,09% 0,00% 36,36% 45,45% 9,09% Aansluiting qua niveau W Op dit moment wogen de voordelen van een inspirerend hoorcollege nog niet op tegen het nadeel dat het niveau en de aansluiting met de opleiding hieronder te leiden hadden. Het niveau van de wiskundeleerlijn sloot niet bij alle opleidingen goed aan, voor sommige opleidingen was het niveau te laag, voor andere te hoog. In de vragenlijst (zie Table 5) geven de wiskundedocenten dit ook duidelijk aan; meer dan de helft van de respondenten vindt dat aansluiting qua niveau niet goed gelukt is. O Respondenten waren het, gemiddeld gezien, eens met de stelling dat de wiskundeleerlijn passend was qua niveau (n = 8, av. = 3,50, md. = 4, dv. = 1,07 op een schaal van 5). M De wiskunde sloot qua niveau niet aan; voor de ene opleiding was het niveau te hoog, voor de ander was het niveau juist te laag. Het gemiddelde eindcijfer voor wiskunde was laag: studenten die op andere moduleonderdelen hoog scoren, scoren laag bij wiskunde (1). Het niveau van de wiskunde is te laag voor de opleiding; daarnaast wordt er in dezelfde tijd nu veel minder stof behandeld t.o.v. vorig jaar (1). Tijdens de werkcolleges was wiskunde beter op niveau, maar de toetsen waren te laag van niveau (1).

54 14 januari 2014 POV/161/14/Sts 51 van 81 W In de evaluatiebijeenkomst werd het idee geopperd om de wiskundelijn in een aantal groepen op te delen, om zo goed mogelijk aan te sluiten bij het gewenste wiskunde niveau van de desbetreffende opleiding. Dit doet echter afbreuk aan het didactische concept van gezamenlijkheid. M Eén opleiding zou liever een wiskundeprogramma hebben dat specifiek voor hen is (1). Een voorstel zou zijn om een soort keuzemodel te ontwikkelen waarbij sommige opleidingen altijd bij aansluiten en sommige opleidingen alleen bij bepaalde modules (1), zo realiseer je tailoring op het juiste moment (1). Table 5: Uitkomst vragenlijst wiskundeteam In hoeverre is het gelukt om het volgende doel te behalen? Het niveau aan te laten sluiten bij de modules van de verschillende opleidingen (N=11) ,18% 45,45% 18,18% 18,18% 0,00% Organisatie Verantwoordelijkheden W Er zaten veel kapiteins op één schip, het was onduidelijk wie waar verantwoordelijk voor was (zowel binnen de leerlijn als tussen de leerlijn en het moduleteam). Vroeger had je als wiskundedocent leiding in alles binnen je vak, maar nu alleen over het werkcollege. Je had nu dus niet meer alles in de hand. Als docent voelde men zich een klein pionnetje in een groot geheel, wat niet motiverend was. Ook voor studenten was het nadelig, zij zagen zoveel gezichten dat het niet duidelijk was wie ze waarvoor moesten benaderen. Het zou handig zijn om iemand als leerlijncoördinator in te stellen, iemand die verantwoordelijk is voor de inhoud en de didactiek en waar je met vragen terecht kan, M De modulecoördinator stond erop dat cijfers voor wiskunde via hem/haar naar BOZ gingen, anders zou hij/zij deze niet eerder zien dan de studenten (1). Werkdruk en organisatie W De wiskundeleerlijn vergde veel organisatie en overhead, het was enorm veel gedoe om het voor elkaar te krijgen. De werkdruk onder docenten was hoog. Dit kwam mede door het vele toetsen. M Het fijne van de gezamenlijke leerlijn was dat je een deel van de module uit kon besteden en dit was een vermindering van de werkdruk binnen de module (1). Maar als de wiskundeleerlijn zou gaan veranderen, dan zou het voor het moduleteam teveel tijd kosten om de module hierin mee te veranderen (1). Onderwijsmiddelen W Er werd snel gereageerd op problemen die tijdens de module ontstonden.

55 14 januari 2014 POV/161/14/Sts 52 van 81 M Er waren een aantal organisatorische problemen (met bijvoorbeeld het boek) (1). Communicatie W De hoor- en werkcolleges werden door verschillende wiskundedocenten verzorgd. Verder werden er student-assistenten ingezet ter ondersteuning bij de werkcolleges en voor de begeleide zelfstudie. De toetsen werden door de hoorcollegedocenten opgezet, die bij de opleidingen langsgingen om feedback te vragen. Communicatie binnen de wiskundeleerlijn (bijvoorbeeld tussen de student-assistenten van de begeleide zelfstudie en de werkcollegedocenten) verliep moeizaam. M De werkcollegedocenten wisten niet precies wat er in de hoorcolleges aan de orde was gekomen. Dit maakte het lastig om de vragen van studenten te behandelen (1). W Het was lastig om regels van de wiskundeleerlijn af te stemmen met de regels van de modules. Regels werken alleen als iedereen erachter staat en je moet ze tijdens het spel ook niet veranderen. M Vervelend waren de voortdurend veranderende regels over het zakken en slagen. Dit zorgde voor onduidelijkheid en frustratie bij studenten en docenten (1). Op de Put it on the table bijeenkomst werd de vraag gesteld welke examencommissie er nou eigenlijk beslist over de toetsregels van wiskunde. W Doordat er nog veel onduidelijkheden waren rondom de inhoud van de wiskunde, was er met sommige moduleteams veel contact. Er vonden veel overleggen plaats, was heel positief was. In veel gevallen verliep de communicatie met de moduleteams moeizaam of ontbrak vrijwel. De wiskundedocenten gaven aan dat de moduleteams het blijkbaar lastig vonden om de wiskundedocent op tijd te informeren of om informatie te vragen over bijvoorbeeld wijzigingen in het programma of het rooster en vice versa. M Qua organisatie werd de bal veel heen en weer gegooid tussen wiskunde en de modulecoördinator. Dit gebeurde via (1). Docenten hebben weinig van wiskunde gezien (1). Het moduleteam werd niet op de hoogste gesteld van bepaalde regels, ideeën en verroostering, de communicatie hierover was onduidelijk (2). Rondom het toetsschema was er in het begin van de module veel onduidelijkheid onder studenten: golden de regels alleen voor wiskunde, of ook voor de rest van de module? De docenten en tutoren hoorden via studentassistenten dat hier onduidelijkheid over was (1). In de vragenlijst die was afgenomen onder de wiskundedocenten (zie Table 6) kwam naar voren dat niet alle respondenten tevreden waren met de onderlinge communicatie en over de communicatie met de moduleteams.

56 14 januari 2014 POV/161/14/Sts 53 van 81 Table 6: Uitkomst vragenlijst wiskundeteam In hoeverre bent u het eens met de stelling De afstemming tussen de wiskundedocenten verliep goed (verschillende docenten voor HC, WC, BZ, etc.) (N=12) 16,67% 8,33% 25,00% 33,33% 16,67% De communicatie met de moduleteams verliep goed (N=11) 18,18% 27,27% 27,27% 27,27% 0,00% Rol van wiskunde binnen de module W Tijdens het ontwerpproces is het wiskundeteam langs geweest bij de OLD s om te overleggen over de wiskundeleerlijn, maar dit betekende niet dat modulecoördinatoren het er ook mee eens zijn. De moduleteams zagen de wiskundeleerlijn als iets wat opgelegd en apart was; hierdoor voelde men zich niet verantwoordelijk voor het wiskundedeel in de module. Moduleteams wilden graag eenheid in hun module, maar konden niet om de vaststaande wiskundeleerlijn heen. Daarom zouden de werkcollegedocenten met moduleteams in gesprek moeten gaan en de discussie aan moeten gaan hoe ze de wiskunde zo mogelijk aan kunnen laten sluiten; wat is er wel mogelijk. Dit gebeurde nu nog niet altijd. M Er was weinig ruimte in of door de wiskundeleerlijn, wiskunde was een inflexibel, vaststaand iets (3). Wiskunde nam een te dominante rol in de module in (3). Dit was ook wel logisch, omdat het ondoenlijk was om met zoveel studies helemaal rekening te houden (1). M De individuele werkcollegedocent wilde graag meer aansluiting maken, maar kon niets aan de leerlijn veranderen (1). M Men zou graag zien dat er meer flexibiliteit komt in de timing en de inhoud van de wiskunde (1). Een voorstel zou zijn om een soort keuzemodel te ontwikkelen waarbij sommige opleidingen altijd bij aansluiten en sommige opleidingen alleen bij bepaalde modules (1). M Voor wiskunde was de zelfstudie ingeroosterd, dit nam veel ruimte van het rooster in beslag (3). Wiskunde trekt de prioriteit naar zich toe (1). Voor volgend jaar zou het beter zijn om op het rooster niet aan te geven dat het zelfstudietijd voor wiskunde betreft, maar openlaten aan welk moduleonderdeel studenten hun zelfstudietijd gebruiken (1). Men had liever gezien dat wiskunde een minimum vereiste door had gegeven, niet alleen qua verroostering, maar ook qua aantal studie-uren (1). Uit de vragenlijst (zie Table 7) blijkt dat het wiskundeteam gemiddeld genomen tevreden is met de verroostering en het tijdsbeslag van wiskunde binnen de module.

57 14 januari 2014 POV/161/14/Sts 54 van 81 Table 7: Uitkomst vragenlijst wiskundeteam In hoeverre bent u het eens met de stelling Ik ben tevreden met de verroostering van de wiskundeleerlijn (N=13) 15,38% 15,38% 7,69% 61,54% 0,00% De hoeveelheid tijd die binnen de module is gereserveerd voor wiskunde is passend (N=12) 8,33% 8,33% 16,67% 66,67% 0,00% Toetsing W In de evaluatiesessie gaven de wiskundedocenten aan dat diagnostisch toetsen een goed idee was. Je kon studenten regelmatig confronteren met hun vorderingen en geeft ze snel feedback. Eén docent gaf echter aan dat de diagnostische toetsen op dit moment mogelijk niet goed werden ingezet. De resultaten uit de vragenlijst van het wiskundeteam (zie Table 8) lijken dit te bevestigen: ongeveer een kwart van de respondenten gaf aan dat het diagnostisch toetsen niet hielp bij de monitoring. De organisatie van de diagnostische toets had beter gekund. Daarnaast was ook de timing een probleem (de vroege maandagochtend). W Doordat je met de diagnostische toets een bonuspunt kon verdienen, werden studenten gestimuleerd om deel te nemen. Maar dit werkte ook fraude in de hand. Wanneer je het bonuspuntensysteem af zou schaffen, stimuleer je de eigen verantwoordelijkheid van studenten voor het monitoren van hun leren. Deze ontevredenheid over de timing en over het gehanteerde toetsschema is ook te zien in de uitkomsten van de vragenlijst. W Een voorstel dat werd gedaan was dat je de diagnostische toets thuis zou kunnen laten maken en tijdens de begeleide zelfstudie de mogelijkheid geven om vragen te stellen over de diagnostische toets. Je zou de toets ook een hele week open kunnen zetten, wanneer de student de toets maakt is dan aan hemzelf. M - W Er werden (te)veel deeltoetsen afgenomen. Hierdoor was de werkdruk bij studenten en docenten erg hoog en het creëert angst bij studenten dat ze de module zouden halen. Ontevredenheid over het aantal deeltoetsen is ook te zien in de vragenlijst. Uit dezelfde vragenlijst bleek dat de redenen om te toetsen (beoordelen (69,23%); studenten aan het werk houden (61,54%); zorgen voor een gespreide werkdruk (46,15%) en om de voortgang te monitoren (38,46%)) voor meer dan de helft van de respondenten niet opwogen tegen de docentenbelasting van toetsen. M Het aantal toetsen was te hoog (3), waardoor studenten van toets naar toets toe werkten. Studenten waren bang door wiskunde de hele module niet te halen (1). Door het aantal toetsen en het gehanteerde toetsbeleid hebben studenten de prioriteit gelegd bij wiskunde in plaats van de rest van de module (1).

58 14 januari 2014 POV/161/14/Sts 55 van 81 Table 8: Uitkomst vragenlijst wiskundeteam In hoeverre bent u het eens met de stelling Het gehanteerde toetsschema was goed voor het leereffect van de studenten 7,69% 38,46% 38,46% 15,38% 0,00% De diagnostische toetsen hielpen bij het monitoren van de voortgang van studenten 16,67% 8,33% 50,00% 25,00% 0,00% Het aantal toetsen was goed 38,46% 30,77% 15,38% 15,38% 0,00% Ik was tevreden over de momenten waarop er getoetst werd (maandagochtend en vrijdagmiddag) 7,69% 46,15% 23,08% 15,38% 7,69% De doelen van het toetsen wogen op tegen de docentbelasting (denk bijvoorbeeld aan nakijken) 18,18% 54,55% 9,09% 18,18% 0,00% Waardering W Sommige wiskundedocenten voelden zich niet gewaardeerd (zie table 9). De meeste docenten scoren een 4 of 5, maar er zijn een aantal lage uitschieters. In de evaluatiebijeenkomst werd aangegeven dat dit onder andere komt doordat ze slechts een pionnetje zijn in het grotere geheel (dit werkte niet motiverend) en door een negatieve houding vanuit sommige moduleteams. Bovendien werden er negatieve s gestuurd (soms tot tranen toe). M De houding van wiskunde (dominante rol in de module) werd niet op prijs gesteld (2). Deze houding was echter begrijpelijk, omdat het ondoenlijk zou zijn om met zoveel verschillende studies rekening te houden (1). Het werd niet gewaardeerd dat wiskunde alle prioriteit naar zich toetrekt (2), dit was frustrerend. M Drie moduleteams gaven aan de werkcollegedocent wel te waarderen (3). De desbetreffende werkcollegedocenten hadden de intentie om wiskunde aan te laten sluiten bij de rest van de module (3), helaas is slechts één werkcollegedocent hierin geslaagd. De ervaringen met de wiskunde leerlijn waren over het algemeen goed (1). Table 9. Uitkomst vragenlijst wiskundeteam Mate waarin ik mij gewaardeerd voel voor het werk dat ik lever voor de wiskundeleerlijn: Count (N=13) Ratio (5 van 5) 3 23, 08% (4 van 5) 7 53, 85% (3 van 5) 0 0,00% (2 van 5) 0 0,00% (1 van 5) %

59 14 januari 2014 POV/161/14/Sts 56 van 81 Overig W - M De wiskundeleerlijn heeft geen eindzeggenschap over het toetsbeleid, dat is de taak van de examencommissie van de desbetreffende opleiding (1). M De wiskundeleerlijn is was te duur voor het moduleteam. Het argument dat het gezamenlijke wiskunde een efficiëntieslag zou zijn, is daarmee van tafel. M Studenten vonden het niet allemaal leuk dat wiskunde in volgende modules in het Engels aangeboden gaat worden. Conclusie evaluatie wiskundeleerlijn Hoe kwam het didactische concept van de wiskundeleerlijn in de eerste module uit de verf? Uitgangspunt van het gezamenlijke wiskundeonderwijs is dat er gewerkt wordt aan een herkenbaar UT-wiskunde-profiel, gemeenschappelijkheid en saamhorigheid. Dit bleek nu niet (overal) het geval, omdat er in de werkcolleges niet overal hetzelfde gedaan werd en er meer gedeeld zou kunnen worden dan alleen de inspirerende hoorcolleges. Het wiskundeteam was over het algemeen positief over het concept van een inspirerend hoorcollege (hoewel er in de uitvoering nog wel verbeteringen mogelijk zijn), maar een aantal opleidingen waren van mening dat het doel van deze hoorcolleges bij studenten onduidelijk was en dat de hoorcolleges te massaal waren. Geconcludeerd kan worden dat niet iedereen positief is over het didactisch concept van de wiskundeleerlijn. Mogelijk komt dit doordat het nog niet overal goed uit de verf gekomen is in de uitvoering. Wat voor leereffect had de wiskundeleerlijn bij studenten? Zowel het wiskundeteam als het moduleteams signaleerden dat studenten het gevoel hadden trucjes te leren en vroegen zich af of er voldoende tijd was voor bezinking. Studenten leerden van toets naar toets en verdiepten zich niet in de theoretisch stof. Hoe tevreden waren zowel de moduleteams als het wiskundeteam over de inhoud van de wiskundeleerlijn en de aansluiting/integratie tussen de leerlijn en de rest van de module? Studenten, moduleteams en het wiskundeteam voelden de wiskunde nog als een losstaand onderdeel van de module. De organisatie (bijvoorbeeld een aparte Blackboardpagina en afwijkende toetsschema s), het niveau (voor sommige opleidingen te gemakkelijk, voor anderen te moeilijk) en de inhoud van de wiskundeleerlijn leken hier belangrijke oorzaken van te zijn. Voor de inhoudelijke integratie speelden de werkcolleges een belangrijke rol. Er is voor de eerste module in veel gevallen onvoldoende overleg en afstemming geweest om integratie via de werkcolleges te bevorderen. In veel gevallen werden er heel andere onderwerpen in de wiskundeleerlijn aangeboden dan benodigd in de

60 14 januari 2014 POV/161/14/Sts 57 van 81 modules. Hoe tevreden was men over de organisatie (afstemming, communicatie, onderwijsorganisatie) van de wiskundeleerlijn? Binnen de wiskundeleerlijn was veel onduidelijkheid over wie waar verantwoordelijk voor was. Dit kwam doordat veel verschillende mensen binnen de wiskundeleerlijn betrokken waren, maar velen een losse taak hadden. Waar men vroeger verantwoordelijk was voor één vak, was dit nu voor één onderdeel in de leerlijn (bijvoorbeeld alleen de werkcolleges). Een gevolg hiervan was dat sommige wiskundedocenten zich slechts een klein pionnetje in een groter geheel voelden. Ook moduleteams waren niet tevreden over de organisatie van de wiskundeleerlijn. De wiskundeleerlijn werd door veel moduleteams als een los onderdeel van de module ervaren. Dit had als gevolg dat deze moduleteams zich niet verantwoordelijk voelden voor de inhoud van de wiskundeleerlijn. Bovendien werd er weinig gecommuniceerd tussen moduleteams en de desbetreffende wiskundedocenten. De wiskundedocent was in veel gevallen (nog) geen onderdeel van het moduleteam. Er lijkt sprake te zijn van tweespalt. Enerzijds liepen moduleteams ertegenaan dat de inhoud van de wiskunde vaststond. Anderzijds liep het wiskundeteam ertegenaan dat je het inhoudelijk gezien nooit alle opleidingen naar de zin kunt maken. Zo goed mogelijk integreren zou alleen mogelijk zijn wanneer beide teams goed met elkaar overleggen en afstemmen. Dit verliep nu nog moeizaam, omdat de moduleteams wiskunde als star en dominant ervoeren en wiskundedocenten niet uitgenodigd werden voor overleggen. Van deze moeizame communicatie en afstemming was sprake tijdens zowel het ontwerpproces als de uitvoering van de module. Het maakte het lastig om samen te bedenken hoe je wiskunde aan kunt laten sluiten bij het overige onderwijs van de module. In de uitvoering leidde het tot frustratie en lichte paniek bij docenten en studenten. Hoe tevreden was men over het toetsbeleid van de wiskundeleerlijn? Door te toetsen met strenge eisen, besteedden studenten bij een aantal opleidingen meer tijd en aandacht aan de wiskunde dan aan de rest van de module. Wiskunde had hier voor de studenten de prioriteit. Bovendien leerden studenten van toets naar toets, waardoor er mogelijk geen tijd was voor bezinking. Algemene conclusie is dat het aantal deeltoetsen volgend jaar minder zou moeten zijn. Het wiskundeteams staat positief tegenover het idee van diagnostisch toetsen, maar er is nog een discussie gaande over de vraag of deelname verplicht gesteld moet worden, of de toets op de UT gemaakt moet worden en of er een bonuspunt toegekend moet worden bij deelname. In welke mate werd het wiskundeteam gewaardeerd voor het geleverde werk?

61 14 januari 2014 POV/161/14/Sts 58 van 81 Een aantal opleidingen gaven aan de werkcollegedocent te waarderen vanwege de intentie om de wiskunde aan te laten sluiten bij het moduleonderwijs. Helaas voelden sommige wiskundedocenten zich niet gewaardeerd voor hun geleverde werk. Veel opleidingen gaven aan ontevreden te zijn over de houding van wiskunde; ze namen een te dominante, starre positie in binnen de module. Enerzijds was deze ontevredenheid begrijpelijk, maar dit hoeft niet te betekenen dat ontevredenheid op een onprofessionele manier geuit wordt. Bovendien was enige starheid logisch, omdat het ondoenlijk zou zijn om met zoveel verschillende studies rekening te moeten houden. Aanbevelingen Om van de wiskundeleerlijn binnen het modulair onderwijs een succes te maken, is de inzet nodig van veel verschillende betrokkenen: zowel van het wiskundeteam als van de moduleteams. Hiervoor is goede onderlinge afstemming en communicatie tussen moduleteams en het wiskundeteam nodig. Een aanbeveling is om hier meer aan te werken, zowel in het (her-)ontwerp van modules en de wiskunde (invulling van de werkcolleges) als in de uitvoering (wie hanteert welke regels, wie is er verantwoordelijk). Daarom zouden de werkcollegedocenten met moduleteams in gesprek moeten gaan en de discussie aan moeten gaan hoe ze de wiskunde zo veel mogelijk aan kunnen laten sluiten; wat is er wel mogelijk. Dit vergt tijd en inzet, maar kan ertoe bijdragen dat de tevredenheid over het didactische concept groter wordt en de inhoudelijke aansluiting met de modules beter wordt. 4 Het verdiend verder de aanbeveling om ook binnen de wiskundeleerlijn te werken aan betere communicatie en afstemming, met name over welke onderwerpen aan bod komen in de hoorcolleges en hoe de werkcolleges zowel hierop als op de modules aan kunnen sluiten. Verder wordt aanbevolen om ook duidelijk binnen het wiskundeteam te communiceren wie er eindverantwoordelijk is voor de wiskundeleerlijn. Vanuit de respondenten kwam de aanbeveling om de wiskundeleerlijn in drieën op te splitsen om te kunnen differentiëren op niveau, of om een leerlijn te ontwerpen waaraan opleidingen bloksgewijs (als keuzemodel) deel kunnen nemen. Dit doet echter afbreuk aan het didactische concept van gemeenschappelijkheid en uniformiteit. Door zowel de moduleteams als bij het wiskundeteam werd aangegeven dat er teveel deeltoetsen afgenomen werden in de wiskundeleerlijn. Dit had niet alleen een hoge werkdruk bij docenten tot gevolg, maar ook het risico van het van toets naar toets leren door studenten, met het risico tot te weinig bezinking. Aanbeveling is dan ook om kritisch naar het toetsschema van de wiskundeleerlijn te kijken en indien mogelijk het aantal deeltoetsen te verminderen. Ook wordt aanbevolen om kritisch naar de wijze van diagnostisch toetsen binnen de wiskundeleerlijn te kijken. 4 Na de OLD-dag op 13 januari 2014, waarop de voorlopige bevindingen van dit rapport gepresenteerd zijn, is de opleidingsdirecteur al begonnen aan een rondje langs de verschillende moduleteams.

62 14 januari 2014 POV/161/14/Sts 59 van 81 Bijlage 1: Vragenlijst OWD Zelfevaluatie TOM-module zelf-evaluatie vragenlijst Deze vragenlijst is bedoeld voor de OWD s en/of OLD s. Eventueel kunnen zij de benodigde informatie opvragen bij de modulecoördinatoren of -teams. Ingevulde vragenlijst graag uiterlijk 29 november retourneren aan: m.zwarthof-mulder@utwente.nl Geef a.u.b. per vraag aan of datgene waar de vraag over gaat, ook een doel was voor deze module. Voorbeeld: Als werken aan de O van Organiseren geen doel van de module was, en de vraag wordt gesteld in hoeverre er aan de O van Organiseren werd gewerkt, kruis dan het vakje Dit was geen doel aan en maak vervolgens een keuze uit de 7 andere opties. Algemeen Opleiding: Modulenaam: Jaar: B 1/2/3 Kwartiel 1/2/3/4 Werkwijze moduleteam 27. Uit hoeveel personen bestaat het team dat de module heeft ontworpen (ontwerpteam)? 28. Wanneer is het ontwerpteam voor het eerst bij elkaar gekomen? (maand, jaar) 29. Hoeveel bijeenkomsten van het ontwerpteam hebben er sindsdien plaatsgevonden?

63 n.v.t. Weet ik niet Heel laag Redelijk laag Goed Redelijk hoog Heel hoog n.v.t. Weet ik niet In zeer sterke mate Behoorlijk Redelijk Een beetje Niet Dit was geen doel 14 januari 2014 POV/161/14/Sts 60 van De werkdruk voor de docenten in deze module was 31. De verwachtte werkdruk voor dezelfde module over twee jaar (wanneer de module is gestabiliseerd) is Het karakter van de module als geheel 32. In hoeverre werd er aan de O van Onderzoeken gewerkt? 33. In hoeverre werd er aan de O van Ontwerpen gewerkt? 34. In hoeverre werd er aan de O van Organiseren gewerkt? 35. In hoeverre had de module een realistische context? 36. In hoeverre daagde deze module studenten uit om kritisch te denken? 37. In hoeverre daagde deze module studenten uit om te reflecteren op eigen handelen? 38. In hoeverre daagde deze module studenten uit om creativiteit te ontwikkelen? 39. In hoeverre daagde deze module studenten uit om probleemoplossend te werk te gaan? 40. In hoeverre daagde deze module studenten uit om grensverleggend te werk te gaan? 41. In hoeverre gaf deze module een beeld van de rest (betreft inhoud en werkhouding) van de opleiding? 42. In hoeverre heeft deze module een High Tech Human Touch karakter? 43. In hoeverre heeft deze module een ondernemend karakter?

64 n.v.t. Weet ik niet Alle moduleonderdelen Meer dan de helft van de moduleonderdelen De helft van de moduleonderdelen Minder dan de helft van de moduleonderdelen Geen moduleonderdelen Dit was geen doel n.v.t. Weet ik niet In zeer sterke mate Behoorlijk Redelijk Een beetje Niet Dit was geen doel n.v.t. Weet ik niet Alle moduleonderdelen Meer dan de helft van de moduleonderdelen De helft van de moduleonderdelen Minder dan de helft van de moduleonderdelen Geen moduleonderdelen Dit was geen doel 14 januari 2014 POV/161/14/Sts 61 van 81 Samenwerking 44. In hoeveel moduleonderdelen moesten studenten met elkaar samenwerken? 45. In hoe veel moduleonderdelen waren de studenten gezamenlijk verantwoordelijk voor een eindproduct? (waar ze gedeeltelijk individueel naartoe werkten) 46. In hoeverre leerden studenten elkaar aan te spreken op elkaars verantwoordelijkheden en/of het nakomen van de gemaakte afspraken? 47. In hoeverre werden studenten gestimuleerd om elkaar inhoudelijke feedback te geven? 48. In hoeverre werden studenten gestimuleerd om van elkaar te leren? Multidisciplinariteit van de module

65 n.v.t. Weet ik niet Alle moduleonderdelen Meer dan de helft van de moduleonderdelen De helft van de moduleonderdelen Minder dan de helft van de moduleonderdelen Geen moduleonderdelen Dit was geen doel 14 januari 2014 POV/161/14/Sts 62 van Hoeveel moduleonderdelen werden samen met andere opleidingen gevolgd? (studenten van verschillende opleidingen hoefden niet per se samen te werken) 50. In hoeveel moduleonderdelen werkten studenten van verschillende opleidingen met elkaar samen? (studenten van verschillende opleidingen moesten met elkaar samenwerken) 51. In hoeveel moduleonderdelen kwamen meerdere vakdomeinen aan de orde? Project en integratie 52. Kun je in ongeveer drie zinnen beschrijven wat voor project de studenten tijdens module 1 moesten doen? 53. Hoeveel moduleonderdelen (incl. project) sloten aan bij het modulethema?

66 n.v.t. Weet ik niet In zeer sterke mate Behoorlijk Redelijk Een beetje Niet Dit was geen doel n.v.t. Weet ik niet Zeer mee eens Eens Neutraal Oneens Zeer mee oneens 14 januari 2014 POV/161/14/Sts 63 van Hoeveel moduleonderdelen (incl. project) hingen met elkaar samen (het ene onderdeel was nodig om het andere moduleonderdeel goed af te ronden, of ze versterkten elkaar)? Hoe belangrijk waren onderstaande doelen voor het project: 55. De studenten passen geleerde kennis toe. 56. De studenten leren problemen op te lossen. 57. De studenten ontwikkelen nieuwe kennis en inzichten. 58. De wiskundeleerlijn was goed geïntegreerd met de andere moduleonderdelen. 59. De hoorcolleges Wiskunde sloten goed aan bij de werkcolleges. 60. De wiskundeleerlijn was passend qua niveau. 61. De gezamenlijke wiskunde zorgde voor een wij-gevoel onder eerstejaars studenten. 62. De M&T-leerlijn was goed geïntegreerd. 63. De hoorcolleges M&T sloten goed aan bij de werkcolleges. 64. De M&T-leerlijn was passend qua niveau. 65. De gezamenlijke M&T-leerlijn zorgde voor een wij-gevoel onder eerstejaars studenten. Tutoring 66. Wie vervulde de rol van tutor (meerdere antwoorden mogelijk): a. Docenten die ook instructie (flankerend/frontaal onderwijs) gaven b. Docenten die verder niet in de module betrokken waren c. PhD-ers/promovendi d. Student-assistenten (ouderejaars)

67 n.v.t. Weet ik niet In zeer sterke mate Behoorlijk Redelijk Een beetje Niet Dit was geen doel n.v.t. Weet ik niet Heel erg Behoorlijk Redelijk Een beetje Niet Dit was geen doel 14 januari 2014 POV/161/14/Sts 64 van 81 e. Anders, namelijk: Was onderstaande de beoogde rol van de tutor? Ja Nee 67. Studenten begeleiden bij de organisatie van het project (bijv. bij het opstellen van een planning) 68. Bewaken van het groepsproces / de samenwerking 69. Als inhoudsdeskundige optreden 70. Het beoordelen van (tussen-)producten 71. Mentoring (bespreken van voortgang, persoonlijke situaties, studiekeuze, e.d.) In hoeverre hebben de tutoren het volgende weten te realiseren? 72. Stimuleren van reflectie bij de projectgroep 73. Diagnosticeren (volgen en bewaken van het leerproces van de studenten) 74. De studenten uitdagen Werkvormen 75. Hoe gevarieerd was de module lettend op de gehanteerde werkvormen? 76. Hoe gevarieerd was de module-indeling, lettend op de roostering van onderwijsbijeenkomsten per week (bijv. elke maandagochtend hoorcollege van moduleonderdeel x)

68 n.v.t. Weet ik niet Heel vaak Vaak Redelijk vaak Soms Nooit Dit was geen doel 14 januari 2014 POV/161/14/Sts 65 van Hoe gevarieerd was de weekindeling, lettend op de roostering van onderwijsbijeenkomsten per dag (bijv. elke ochtend hoorcollege en elke middag werkcollege). ICT 78. Van welke ICT-toepassingen werd gebruik gemaakt (meerdere antwoorden mogelijk): f. Geen g. Videocolleges h. Stemkastjes i. Digitale portfolio s j. Videoconferenties k. Social media l. Anders, namelijk: Toetsing 79. Hoe vaak kwam het voor dat studenten elkaar feedback moesten geven (zonder beoordeling/cijfer) 80. Hoe vaak werden diagnostische toetsen ingezet (toetsen zonder beoordeling/cijfer) 81. Hoeveel is er gebruik gemaakt van reparatiemogelijkheden in de module? 82. Waren er compensatiemogelijkheden (meerdere antwoorden mogelijk) m. Nee n. Ja, namelijk binnen moduleonderdelen o. Ja, namelijk tussen moduleonderdelen

69 n.v.t. Weet ik niet Heel erg Behoorlijk Redelijk Een beetje Niet n.v.t. Weet ik niet Zeer mee eens Eens Neutraal Oneens Zeer mee oneens n.v.t. Weet ik niet Zeer mee eens Eens Neutraal Oneens Zeer mee oneens 14 januari 2014 POV/161/14/Sts 66 van In hoeverre representeerden de eindcijfers het gepercipieerde niveau van de studenten? 84. In hoeverre konden projectcijfers gedifferentieerd worden naar individuele prestaties? 85. Met wat voor doel is er getoetst (voor een cijfer)? (meerdere antwoorden mogelijk) p. Studenten aan het werk houden q. Zorgen voor gespreide werkdruk r. Monitoring (diagnosticeren of studenten goed op weg zijn) s. Beoordelen of leerdoelen behaald zijn t. Anders, namelijk: 86. De hierboven aangekruiste doelen van het toetsen wogen op tegen de docentbelasting (denk bijvoorbeeld aan nakijken). 87. De hierboven aangekruiste doelen van het toetsen wogen op tegen de belasting voor de modulecoördinator (denk bijvoorbeeld aan schaduwadministratie bijhouden). Organisatie van de module 88. Voor het moduleteam was het onderwijsrooster duidelijk. 89. Voor het moduleteam was het onderwijsrooster op tijd beschikbaar.

70 14 januari 2014 POV/161/14/Sts 67 van Voor het moduleteam waren de regels duidelijk (denk bijvoorbeeld aan toets-, compensatie-, en reparatieregels). 91. Voor het moduleteam waren de regels op tijd beschikbaar (denk bijvoorbeeld aan toets-, compensatie-, en reparatieregels). 92. Blackboard was zo in te richten dat het duidelijk was voor studenten. Studiematerialen 93. Van welke studiematerialen werd gebruik gemaakt? (meerdere antwoorden mogelijk): u. Boek v. Video w. Artikelen x. Weblogs y. Websites z. Handleidingen aa. Studiegidsen bb. Anders, namelijk: Bedankt voor het invullen van de vragenlijst! Graag uiterlijk 29 november retourneren aan:

71 14 januari 2014 POV/161/14/Sts 68 van 81 Bijlage 2: Maturity Model zelfevaluatie modulecoördinatoren

72 14 januari 2014 POV/161/14/Sts 69 van 81 Bijlage 3: SEQ uitkomsten UT-breed

73 14 januari 2014 POV/161/14/Sts 70 van 81

74 14 januari 2014 POV/161/14/Sts 71 van 81

75 14 januari 2014 POV/161/14/Sts 72 van 81

76 14 januari 2014 POV/161/14/Sts 73 van 81

77 14 januari 2014 POV/161/14/Sts 74 van 81

78 14 januari 2014 POV/161/14/Sts 75 van 81

79 14 januari 2014 POV/161/14/Sts 76 van 81 Bijlage 4: Verslagen informele bijeenkomsten Put it on the table (6 november) In de Put it on the table bijeenkomst tijdens de Slotconferentie zijn verschillende opmerkingen en vragen naar voren gekomen. Hieronder staan de belangrijkste opmerkingen en vragen genoteerd. Belangrijkste uitkomsten van de Put it on the Table bijeenkomst Thema Opmerking/vraag Organisatie Studieadviseurs willen de tussenstand kunnen zien van studenten. Een 76re en76l studentendossier in Osiris is gewenst. Voor toetsen zouden de college-uren uitgebreid moeten worden naar avond/weekend Er blijken veel studenten aan herkansingen mee te doen, daarom uitgaan van 100% deelname bij inroostering van de ruimtes. Blijven we op maandag en vrijdag toetsen? Toetsing Welke examencommissie beslist over de toetsregels van wiskunde? Procedure nodig voor identificatie studenten bij digitaal toetsen Wat is het optimum/maximum aan toetsen? Hoe om te gaan met de angst voor het modulaire systeem in combinatie met BSA? Hoe om te gaan met bijv. twee weken ziekte tijdens een module? Maatwerk? Project en integratie Er is kennisdeling (wat werkt wel/niet, hoe werkt het) vereist over: Hoe studenten elkaars verslagen kunnen beoordelen (peer assessment) Zelf criteria bedenken voor een project deliverable Ideale grootte van projectgroepen Waarop je de samenstelling van een projectgroep baseert (kwaliteit, willekeurig, zelf kiezen?) Aansluiten op type student (studenten leren verschillend, welk type project past bij welk type student?) Activerende Er is kennisdeling (wat werkt wel/niet, hoe werkt het) vereist over: werkvormen Activerende werkvormen Tutoring Managementlagen moeten de keuze van de rol van de tutor ondersteunen Wat zijn de taken van een tutor? Is er een koppeling te maken tussen tutoring en BKO? Kunnen ondersteunende diensten, S&B/HR/M&C ook (proces)tutorrol vervullen (inhoud wel enigszins eigen maken)? Obstakels en Door ontgroening zijn studenten extra moe, aandachtspunten Hoe handig is de schaalvergroting van de wiskundeleerlijn? Is er wel sprake van efficiëntie? Zorgen voor faciliteiten bij functiebeperking, topsport, e.d. Hoe informeren we studenten? Ze lezen hun mail niet, kijken niet op Blackboard en lezen de handleiding niet.

80 14 januari 2014 POV/161/14/Sts 77 van 81 Mini seminar ATLAS = TOM?! (11 december 2013) Wytze Koopal, 8 januari 2013 Vorm en doel Inspiratiebijeenkomst voor en door docenten. Zoveel mogelijk interactie, uitwisseling van ervaringen en kennis tussen docenten. Ronde tafels, waar men elkaar kan informeren, inspireren, vragen kan stellen etc. Noteren van suggesties etc op flipover vellen. Aan elke rondetafel een vertegenwoordiger van ATLAS en van het programmabureau. Afsluiting met plenaire discussie met aanwezigen. Er waren plusminus 25 personen aanwezig, waaronder ook enkele studenten. Korte samenvatting van de bijeenkomst is via intranet beschikbaar: 1. Korte presentatie over ATLAS (Kees Ruijter). Presentatie beschikbaar via 2. Vijf rondetafels (na 25 min wisselen van tafel: men kon aan 3 tafels meedoen) a. Selectie en Intake gesprekken (een selectie van gemaakte opmerkingen en suggesties op het flipover vel): Waarom selection & intake? - juist om drop-out later te vermijden/voorkomen - als je het (selectie)gesprek aangaat, doe je al aan community building, geeft ook vertrouwen aan de student dat hij/zij het kan Selecteer op meta-cognitief niveau. Self-report van studenten is niet altijd bruikbaar, vanwege wenselijke antwoorden. Selecteer op verhouding beta/gamma binnen de groep. Hou ook rekening met de klik tussen studenten onderling. Altijd uitgaan van vertrouwen. Doe ook exit interviews met studenten, om te testen of intake (genoeg) voorspellende waarde had/ heeft. Selectie in fases. Bijvoorbeeld: motivatiebrief en cijferlijst, interview, assessment b. Organisatie van module onderwijs Een tutor moet goed genoeg de inhoud kennen. Module ontwerp: eerst het project ontwerpen (66% van je tijd) en daarna de rest van module. Komt alle kennis nog wel aan bod? Zwembad metafoor. ATLAS gooit studenten in het diepe zonder hulpmiddelen, en reguleert de diepte van het zwembad. Bij TOM gooien we studenten in het diepe met allerlei hulpmiddelen (zwembandjes, drijfplank etc) en een trainer aan de rand van zwembad. Twee voordelen: er is samenhang binnen de module, EN student leert beter/dieper doordat je langer met een thema bezig bent. Hoe zorg je voor samenwerkcultuur? TOM forceert dit, terwijl van nature het veel meer ieder voor

81 14 januari 2014 POV/161/14/Sts 78 van 81 zich was /is. Dit moet de tijd krijgen. Twee teleurstellingen in TOM: veel beoordelingen en veel verplichtingen. Volgende jaar in TOM: 2/3 minder toetsen, 2/3 minder verplichtingen, 2/3 minder college. Verplichte contacturen is een gevaar. Wat te doen bij 1 moduleonderdeel onvoldoende (stress bij studenten, motivatie voor module 2 verdwijnt)? Rapportvergaderingen door examencommissies. Compensatieregelingen binnen de module. Wat heb je liever? Een student met voor alle onderdelen een zesje, OF een student met meerdere achten, en 2 vieren? ATLAS studenten ronden module af met een portfolio, dat input is voor zelfevaluatie. Goede projecten zorgen dat ondernemerschap mogelijk is. c. Projectonderwijs: welke varianten zijn er op de UT Meer aandacht voor meta-cognitieve skills (studievaardigheden, zelfmanagement etc) van studenten. Je moet studenten de vrijheid gunnen, zodat ondernemerschap/zelfstandigheid zich kan ontwikkelen. Bezorgd over dat er geen finaal en beste antwoord is aan het einde van een project, te veel vrijheden? Voordelen van het feit dat je probleem/projectonderwijs doet: meer motivatie bij studenten. Zijn er deadlines, en hoeveel dan? Wie is waarvoor verantwoordelijk: student of docent? d. Zelfsturing van studenten; nieuwe rollen voor tutoren en mentoren Zelfsturing OK, maar hoe leer je structuren, hoe leer je plannen? ATLAS verzorgt skills training. BSA geeft veel druk. Bij ATLAS heeft ieder student een mentor. Bij ATLAS: Zijn studenten in staat om zo snel te kiezen? Bij ATLAS is er een code of honor (no plagiarism, no cheating, students help each other, mutual trust). Hoe ga je om met feit dat er geen cijfers worden gegeven? Formatieve feedback! Durf langer dan 5 minuten bij een vraag stil te staan. Er zijn meerdere niveau s: (a) binnen een project, (b) welke studierichting, (c) zelf verantwoordelijk voor het leren. e. Toetsen en beoordelen in projectonderwijs Begin bij het gewenste eindresultaat (en delen daarvan). Leren leren en reflecteren is leuk en heel erg nuttig, ook buiten de studie. Een Persoonlijk Ontwikkel Plan (POP) voor een student is erg zinvol.

82 14 januari 2014 POV/161/14/Sts 79 van 81 Bijlage 5: Vragenlijst wiskundeteam Evaluatie Wiskundeleerlijn Module 1 Deze enquête is opgezet om de wiskundeleerlijn te evalueren. Vul a.u.b. onderstaande vragen in. (1= helemaal niet, 5= helemaal wel) In hoeverre is het gelukt om aan de volgende DOELEN van de wiskundeleerlijn te voldoen? Het inspireren tijdens de hoorcolleges Het groepsgevoel onder technische studenten bevorderen Het overstappen naar een andere technische studie gemakkelijker maken Gelet op de INHOUD van de wiskundeleerlijn: in hoeverre is het gelukt om de behandelde stof aan te laten sluiten bij de modules van de verschillende opleidingen het niveau aan te laten sluiten bij de modules van de verschillende opleidingen hoor- en werkcolleges op elkaar aan te laten sluiten voor elke opleiding passende cases aan te bieden In hoeverre bent u het eens met de volgende stellingen over TOETSING? Het gehanteerde toetsschema was goed voor het leereffect van de studenten De diagnostische toetsen hielpen bij het monitoren van de voortgang van studenten Het aantal toetsen was goed Ik was tevreden over de momenten waarop er getoetst werd (maandagochtend en vrijdagmiddag) Met wat voor doel is er getoetst binnen de wiskundeleerlijn? om de studenten aan het werk te houden

83 14 januari 2014 POV/161/14/Sts 80 van 81 om de voortgang te monitoren om te zorgen voor een gespreide werkdruk om te beoordelen De hierboven aangekruiste doelen van het toetsen wogen op tegen de docentbelasting (denk bijvoorbeeld aan nakijken). In hoeverre bent u het eens met de volgende stellingen over de ORGANISATIE? Blackboard is op de juiste manier ingezet Ik ben tevreden met de cijferadministratie/osiris De zalen waren geschikt voor de hoor- en werkcolleges, begeleide zelfstudie en de toetsen De afstemming tussen de wiskundedocenten verliep goed (verschillende docenten voor HC, WC, BZ, etc.) De communicatie met de moduleteams verliep goed Ik ben tevreden met de verroostering van de wiskundeleerlijn De hoeveelheid tijd die binnen de modules is gereserveerd voor wiskunde is passend Ik voel me gewaardeerd voor het werk dat ik lever voor de wiskundeleerlijn 0 / 5 Mijn waardering voor de wiskundeleerlijn is... 0 / 10

84 14 januari 2014 POV/161/14/Sts 81 van 81

85 UNIVERSITEIT TWENTE. PROGRAMMABUREAU ONDERWIJSVERNIEUWINGEN VAN I.E. Steens C. Oude Alink T i.e.steens@utwente.nl c.oudealink@utwente.nl DATUM 15 april 2014 ONS KEN MERK POV/1 78/1 4/sts/oak PAGINA 1 van 69 Rapportage UT-brede evaluatie module Universiteit Twente, 16 april 2014 Charlotte Oude Alink, MSc Irene Steens, MSc VASTGESTELD Datum CvB besluit: Auteur, dienst: AZ-POV Paraaf secretaris:

86 15 april 2014 POV/178/14/sts/oak 2 van 69 Inhoudsopgave Management samenvatting... 3 Deel I Inleiding... 9 Werkwijze van publicatie... 9 Deel II Methode OLD-vragenlijst Maturity Model gesprekken SEQ Informele bijeenkomst Deel III Resultaten Algemeen beeld TOM-visie Resultaten per categorie Deel IV Vergelijking met module Deel V Conclusie en discussie Conclusie Discussie Deel VI Aanbevelingen Bijlage 1: Uitkomsten OLD-Zelfevaluatie vragenlijst Bijlage 2: Uitkomsten SEQ UT-breed Bijlage 3: Vergelijking MM uitkomsten module 1 en module Bijlage 4: Maturity Model zelfevaluatie modulecoördinatoren... 69

87 15 april 2014 POV/178/14/sts/oak 3 van 69 Management samenvatting Dit rapport gaat over de UT-brede evaluatie van de tweede module van studiejaar Er is gebruik gemaakt van meerdere evaluatie-instrumenten en bronnen die niet los van elkaar te zien zijn. Aan de OLD s is gevraagd om per module een vragenlijst in te (laten) vullen. Eventueel konden zij de benodigde informatie opvragen bij de modulecoördinatoren of teams. Op deze manier is informatie verkregen over de modules van 13 opleidingen. Daarnaast zijn met de moduleteams van de 19 bachelor opleidingen gesprekken ingepland ter aanvulling op deze vragenlijsten. In deze gesprekken is eerst de open vraag gesteld hoe deze module ging, wat het algemene beeld van de module was of hoe tevreden men was over de module. Vervolgens werd de vraag gesteld om een Maturity Model in te vullen. Door in kaart te brengen in welke fase elk aspect van de module zat, kwam veel inhoudelijke informatie over de module aan bod. Na afloop van de tweede module is onder alle TOM-studenten een vragenlijst afgenomen met behulp van het programma Evasys (SEQ). De UT-brede resultaten zijn naast de evaluatie-uitkomsten van de OLD-vragenlijst en gespreksverslagen met moduleteams gelegd. Er is tijdens een informele bijeenkomst (mini-seminar Anders dan anders toetsen ) informatie verkregen over het onderwerp toetsing en de zak/slaagregelingen. Waar relevant is deze informatie in de rapportage meegenomen. Belangrijkste uitkomsten De tweede module was zowel voor studenten en voor docenten spannend. Na een halfjaar TOM werd voorzichtig een duidelijker beeld van de resultaten van TOM zichtbaar. De opleidingen waren over het algemeen tevreden over de module. In de uitvoering van de module ziet men veelal nog wel verbeteringen voor volgend jaar, met name om de integratie van verschillende moduleonderdelen te verbeteren. Studenten waren echter matig tevreden over de module; zij beoordeelden de module gemiddeld met een 5,9. Betreffende het niveau van de module gaven vier opleidingen aan dat het behaalde niveau van studenten na de tweede module vergelijkbaar was met hetzelfde niveau vorig jaar; één opleiding gaf aan dat het niveau hoger was en één opleiding gaf aan dat het niveau lager was. TOM-visie Wat op viel was dat een aantal moduleteams zeer negatief was over TOM als onderwijsmodel. Docenten van negen verschillende opleidingen gaven aan niet tevreden te zijn met het modulesysteem. De belangrijkste reden hiervoor was dat studenten mogelijk voor een hele module zakken, doordat ze één klein onderdeel niet halen en dus de module in zijn totaliteit over moeten doen. Verder zijn vijf (deels dezelfde) opleidingen ontevreden over het onderwijsmodel omdat ze TOM niet goed bij B1-studenten vinden passen. Volgens hen moeten eerstejaars studenten nog leren om verantwoordelijkheid te nemen en wordt dit gedurende het eerste jaar aangeleerd.

88 15 april 2014 POV/178/14/sts/oak 4 van 69 Positief aan een onderwijsvernieuwing als TOM is dat moduleteams nieuwe dingen kan uitproberen. Tien opleidingen noemden dit als voordeel van TOM. Een voorbeeld van dit uitproberen is het toepassen van peer feedback, dat in de tweede module door een kwart van de opleidingen werd toegepast. Ook werd er in een module op een zeer creatieve manier diagnostisch getoetst. Werkdruk Hoewel studenten in de SEQ aangeven dat de hoeveelheid studietijd gemiddeld genomen niet te doen is, lijkt de werkdruk wel iets minder te zijn dan in de eerste module. In de SEQ gaf 43,2% van de studenten aan meer dan 40 uur per week te studeren. Dit is 11,6 procentpunt lager dan in module 1. Hierbij moet opgemerkt worden dat de spreiding in de antwoorden redelijk groot is. De werkdruk onder studenten lijkt dus iets te zijn afgenomen, tegelijkertijd gaven elf opleidingsdirecteuren nog wel aan dat de werkdruk onder docenten heel hoog was. Moduleteams gaven aan dat dit vooral komt door organisatorische zaken zoals cijferregistratie en ook door het delen van onderwijs, dat veel afstemming vereist. Vooral een aantal opleidingen met een lagere capaciteit aan docenten hebben hun zorg geuit over de druk die het intensieve onderwijs hen qua docenturen oplegt. Verantwoordelijkheden Uit deze evaluatie komt duidelijk naar voren dat moduleteams worstelden met de vraag wie er verantwoordelijk is, of verantwoordelijkheid zou moeten nemen voor het leerproces van studenten. Studenten namen hun verantwoordelijkheid niet (automatisch) en opleidingen probeerden op allerlei manieren om studenten aan het werk te zetten. Een aantal moduleteams gaven aan dat studenten hun zaakjes niet op orde hadden omdat ze de informatie op Blackboard of in studiehandleidingen niet lazen. Dit is er wellicht ook een oorzaak van dat studenten de organisatie van de module op sommige aspecten een onvoldoende gaven (rood stoplicht in de SEQ). Veel studenten vonden dat de module niet goed georganiseerd was of vonden het onvoldoende duidelijk wat er van hen verwacht werd. Project en tutoring In alle modules zat een project. De aard van dit project verschilde per opleiding: bij in ieder geval acht opleidingen was er sprake van toepassingsprojecten en bij vijf opleidingen was het doel om niet alleen kennis toe te passen, maar ook nieuwe kennis en vaardigheden op te doen gedurende het project. Het overgrote deel van de studenten gaf aan veel geleerd te hebben door, en van, docenten, tutoren, studentassistenten, etc. Er zat veel verschil tussen opleidingen wat betreft de invulling dan de tutorrol. Tutoren hadden in de helft van de gevallen wel een taak of rol als inhoudsdeskundige, het beoordelen van (tussen-)producten of een rol als mentor en in de andere helft van de gevallen juist niet. Een punt van aandacht is

89 15 april 2014 POV/178/14/sts/oak 5 van 69 echter dat er ook binnen opleidingen verschil zat in de begeleiding die tutoren gaven. Per tutor verschilde het bijvoorbeeld in hoeverre de studenten eigen verantwoordelijkheid moesten nemen in het maken van afspraken of de mate waarin inhoudelijke feedback gegeven werd. Gedeeld onderwijs Twee modules werden in zijn geheel gedeeld (door 5 opleidingen) en minimaal twee opleidingen hebben één of meerdere moduleonderdelen met elkaar gedeeld. Net als gedurende de eerste module bleek het delen van onderwijs een aantal praktische problemen met zich mee te brengen. Eén aspect dat lastig bleek, was dat eenzelfde module te maken had met verschillende examencommissies. Wanneer examencommissies het niet met elkaar eens zijn over de reparatieregels, ontstaan er verschillende regelingen binnen eenzelfde module. Dit kan verwarring en frustraties oproepen bij studenten. Een ander aspect dat lastig bleek, was dat studenten van verschillende opleidingen andere voorkennis hebben. Ook werden de wiskunde- en M&T-leerlijn gedeeld. Over de M&T-leerlijn vallen geen harde conclusies te trekken wegens het lage aantal respondenten. Over de wiskundeleerlijn is door meer respondenten informatie gegeven. De lijn zelf lijkt in deze module goed in elkaar te zitten de hooren werkcolleges sluiten goed op elkaar aan. Van aansluiting met de overige moduleonderdelen is volgens tweederde van de OLD s echter (nog) geen sprake. Het niveau van de wiskundeleerlijn was volgens het overgrote deel van de OLD s passend. Toetsing Net als in de eerste module werden toetsen vaak ingezet met als doel om studenten aan het werk te zetten. In de OLD-vragenlijst werd in 76,9% van de gevallen zorgen voor een gespreide werkdruk als doel van toetsing gegeven. Studenten gaven in de SEQ aan dat de toetsing gestimuleerd heeft om te leren. Verder werden toetsen gebruikt om te zorgen voor een gespreide werkdruk en monitoring. Studenten gaven aan onvoldoende tijd te hebben gehad voor de toetsen. Hoewel dit een indicatie is dat er te veel toetsen zijn afgenomen, moet hierbij opgemerkt worden dat de spreiding van de antwoorden bij deze vraag groot was. Een paar moduleteams gaven aan dat toetsregels na verloop van tijd wat soepeler zijn geworden (bijvoorbeeld met betrekking tot de kansrijk gezakten ). BSA De tweede module was spannend in verband met het BSA. Het BSA heeft positieve effecten: het werkt als stok achter de deur en studenten modderen minder lang aan omdat ze eerder stoppen met de studie wanneer ze deze niet aan blijken te kunnen. Het BSA had echter ook een keerzijde. De combinatie van TOM en het BSA werd door studenten als een druk ervaren. Voor sommige studenten werkte deze angst en stress verlammend, wat tot averechtse effecten leidde, bijvoorbeeld doordat de studenten zich niet meer goed konden focussen op de inhoud en gefragmenteerd gingen studeren (werken van

90 15 april 2014 POV/178/14/sts/oak 6 van 69 toets naar toets). Een ander nadeel was dat het voor studieadviseurs lastig was om een goed advies te geven, omdat de module op 1 februari nog niet afgelopen was. Desgevraagd gaven twee opleidingen aan de 1 februari deadline te willen verschuiven naar 1 maart. Eén opleiding gaf aan dat de deadline op 1 februari onhandig was, maar dat het niet voor problemen had gezorgd. Vier opleidingen gaven aan dat het verschuiven van de deadline niets uit zou maken. Tot slot had het BSA voor docenten als nadeel dat docenten toetsen in zeer korte termijn (voor de 1 februari deadline) nagekeken moesten hebben, wat de werkdruk vergrootte. Roostering Moduleteams uitten een aantal klachten en wensen over de verroosteringen en beschikbaarheid van zalen. Vier opleidingen gaven aan dat een jaarzaal erg belangrijk was voor hun opleiding. Men was ontevreden over de beschikbaarheid van geschikte (project)ruimten. Ook waren sommige moduleteams van mening dat de verroostering qua zalen geoptimaliseerd zou kunnen worden. Studenten hadden niet altijd voldoende tijd om tussen onderwijsbijeenkomsten en/of toetsen van het ene gebouw naar het andere te fietsen. Vergelijking met module 1 ( ) Hoewel het verleidelijk is om de twee modulen met elkaar te vergelijken, is het van belang om te weten dat module 2 al bijna afgerond was op het moment dat het evaluatierapport van module 1 gereed was. Deze vergelijking is dan ook alleen bedoeld om de verschillen en overeenkomsten in de implementatie van TOM te laten zien. - TOM-visie: Een opvallend verschil met module 1 is dat er tijdens de MM-gesprekken veel duidelijker ontevredenheid over TOM als onderwijsmodel en het modulesysteem geuit werd; - Werkdruk studenten: Het meest opvallende verschil is dat de werkdruk onder studenten iets minder lijkt te zijn dan in module 1. Wel lijkt de stress onder studenten iets te zijn toegenomen, vanwege het BSA; - Werkdruk docenten: De werkdruk onder docenten is ongeveer gelijk aan de werkdruk in module 1. Oorzaken voor een hoge werkdruk zijn blijvende factoren, dus de verwachting is ook niet dat de werkdruk afneemt wanneer de nieuwigheid van TOM eraf is ; - Verantwoordelijkheid voor het leerproces: Net als in module 1, worstelden moduleteams ook in module 2 met de houding van studenten en het geven of nemen van verantwoordelijkheid; omdat de studenten hun verantwoordelijkheid niet altijd namen. - Toetsing: De voorbereidingstijd voor toetsen werd door studenten nog steeds als te krap ervaren. Dit is vergelijkbaar met module 1. De aard van de toetsing verschilde nauwelijks met die van module 1: er werd nauwelijks diagnostisch, compensatoir of geïntegreerd getoetst.

91 15 april 2014 POV/178/14/sts/oak 7 van 69 Wanneer het ingevulde Maturity Model van module 1 vergeleken wordt met die van module 2, kan geconcludeerd worden dat het UT-brede beeld in tien weken tijd niet veel veranderd is. De manier waarop de modules 2 zijn uitgevoerd verschillen niet sterk met modules 1. Er is echter wel een belangrijk ander verschil: in vergelijking tot module 1 zit er in module 2 veel meer spreiding in hoe er over TOM wordt gedacht. Er zijn een aantal moduleteams die erg positief zijn over TOM, terwijl andere teams uitgesproken negatief zijn. Aanbevelingen De aanbevelingen in deze rapportage zijn geformuleerd op informatie verkregen uit het primaire proces. Er is niet met de diensten gesproken betreffende de haalbaarheid van de aanbevelingen. Wel is in de formulering van de aanbevelingen geprobeerd rekening te houden met de context. 1. Aanbeveling: Er moet worden voorzien in de behoefte van opleidingen aan een (Bachelor 1) voorbeeldmodule die voldoet aan de beschrijving van fase 4 en 5 (Maturity Model). Geadresseerde: De OD en POV dienen opleidingen hierin te ondersteunen. 2. Aanbeveling: Houd bij het (her)ontwerpen van de modules er rekening mee dat moduleonderdelen met elkaar kunnen concurreren; moduleteams dienen hiermee rekening te houden bij het (her)ontwerp van de modules (bijvoorbeeld door de module niet te laten bestaan uit veel (kleine) moduleonderdelen). Geadresseerde: Dit is de verantwoordelijkheid van de opleidingen. De OD dient hier de opleidingen in te ondersteunen. 3. Aanbeveling: Overweeg om de werkdruk van de studenten en docenten te verlagen door op slimmere manieren te toetsen. Bijvoorbeeld toetsen per module-leerdoel in plaats van het toetsen van de afzonderlijke onderdelen; geïntegreerd toetsen en inhoudelijk te compenseren. Geadresseerde: Ondanks dat dit onder de verantwoordelijkheid valt van de opleidingen, dient de OD en Programmabureau Onderwijsvernieuwing (POV) een trekkende rol in te nemen en actief de kennis m.b.t. tot toetsen en compenseren onder docenten te bevorderen (bijvoorbeeld door concrete voorbeelden te verschaffen). 4. Aanbeveling: Er moet voorzien worden in de behoefte van opleidingen aan goede ondersteuning op het vlak van: het formuleren van een open projectopdracht, het inzetten van peer feedback/reviewing, individuele beoordeling in groepswerk en het bevorderen van kennisdeling binnen een projectgroep i.p.v. het opsplitsen van taken en nadien het samenvoegen van individueel werk. Geadresseerde: De OD dient opleidingen hierin te ondersteunen. 5. Aanbeveling: Zorg ervoor dat tutoren binnen eenzelfde module dezelfde begeleiding geven. Geadresseerde: Dit valt onder de verantwoordelijkheid van de opleidingen, hierbij kan gebruik worden gemaakt van de tutortrainingen aangeboden door de OD.

92 15 april 2014 POV/178/14/sts/oak 8 van Aanbeveling: Er moet meer duidelijkheid komen over de richtlijnen van de zak- en slaagregelingen (bandbreedte) waarbinnen opleidingen/examencommissies hun opleidingsspecifieke regelingen kunnen formuleren. Geadresseerde: CvB/S&B dient meer duidelijkheid te verschaffen over deze bandbreedte. 7. Aanbeveling: Beperk het aantal zak/slaagregelingen om het mogelijke gevoel van ongelijkheid tussen studenten van verschillende opleidingen te minimaliseren (dit is vooral van toepassing bij gedeeld onderwijs). Geadresseerde: Dit is de verantwoordelijkheid van de opleidingen en examencommissies. De OD en POV dienen hierbij te ondersteunen. 8. Aanbeveling: Er dient beter afgestemd te worden tussen de opleidingen/moduleteams en de keyusers van Osiris; zodat er beter kan worden aangesloten op de wensen en behoeften van de opleidingen (denk aan wegingen van deelcijfers, geïntegreerde toetsen, etc.). Geadresseerde: Deze aanbeveling dient in samenwerking opgepakt te worden door CES (IM FAB) en de opleidingen/moduleteams. 9. Aanbeveling: Zorg ervoor dat docenten binnen een moduleteam de Blackboardomgeving op dezelfde manier gebruiken/inrichten. Geadresseerde: Dit is de verantwoordelijkheid van de opleidingen, ze kunnen hierbij ondersteund worden door CES (IM FAB en de OD) en/of gebruik maken van de website: Aanbeveling: Zorg voor een werkbare Blackboard-omgeving; waarbij docenten geen extra werk hoeven te doen bij gedeeld onderwijs. Ook moet het voor de gebruikers duidelijk zijn, bij een verzonden mail via Blackboard, of een boodschap voor hen bedoeld is en wie deze boodschap allemaal hebben ontvangen. Geadresseerde: CES (IM FAB en OD) dient deze aanbeveling op te pakken. 11. Aanbeveling: Er dient beter afgestemd te worden tussen de opleidingen, het roosterteam en FB; zodat er beter kan worden aangesloten op de wensen en behoeften van de opleidingen (denk aan het soort zalen, de locatie op de campus, etc.) Geadresseerde: Deze aanbeveling dient in samenwerking opgepakt te worden door het roosterteam FB en de opleidingen. 12. Aanbeveling: TOM maakt het onderwijs qua docenturen extra duur; doordenk bij de geplande evaluatie en mogelijke aanpassing van het onderwijsverdeelmodel de optie om extra geld/ec s beschikbaar te stellen voor modulecoördinatoren en docenten die extra (organisatorische) taken moeten uitvoeren. Geadresseerde: Deze aanbeveling dient opgepakt te worden door FEZ.

93 15 april 2014 POV/178/14/sts/oak 9 van 69 Deel I Inleiding Dit rapport gaat over de UT-brede evaluatie van de tweede module van studiejaar Elk deel in dit rapport gaat over een ander onderwerp. Deel I is inleidend en beschrijft de wijze van publicatie van dit rapport. In Deel II wordt de methode van deze evaluatie beschreven, zoals wie de respondenten waren en welke instrumenten zijn toegepast om data op te halen. In Deel III worden de resultaten van deze evaluatie weergegeven. Er wordt door middel van een afbeelding een globaal beeld geven van de Maturity Model gesprekken en hoe de moduleteams tegen de TOM-visie aankijken. Vervolgens worden de resultaten per categorie weergeven. Binnen de categorieën zijn de resultaten van alle drie de instrumenten samengenomen. In deel IV wordt een vergelijking gemaakt met module 1. Deel V betreft de conclusies en in Deel VI worden knelpunten en aanbevelingen beschreven. De resultaten van de verschillende evaluaties zijn weergegeven in één rapportage, om een integraal beeld te kunnen geven van de tweede module, belicht vanuit verschillende invalshoeken. Hierbij is deze evaluatie meer dan de som der delen. Ter illustratie: de cijfers van het Maturity Model of de data uit de OLD-vragenlijsten kunnen niet bekeken en geïnterpreteerd worden zonder de toelichting gegeven in de gesprekken met moduleteams. Een algemeen tevredenheidscijfer van studenten zegt niets zonder de toelichting over de module gegeven door docenten. Werkwijze van publicatie - 10 april: Concept versie als mededeling in de UCO, UCO-leden krijgen 2 werkdagen de tijd om te reageren op de aanbevelingen april: Presentatie conceptversie in het decanenoverleg en bespreking rapport met Rector Magnificus april: Vaststelling door het CvB april: Mailing naar decanen, OLDs, module-coördinatoren, URaad en dienstdirecteuren. Publicatie op de website onderwijsvernieuwingen. ( - De gespreksverslagen van de eigen modules is door de opleiding op te vragen bij de evaluatoren.

94 15 april 2014 POV/178/14/sts/oak 10 van 69 Deel II Methode De evaluatie bestaat uit een aantal onderdelen. Hieronder is uiteengezet welke instrumenten gebruikt zijn voor deze evaluatie. Voor het ophalen van de data zijn drie instrumenten gebruikt, zie tabel 1. Tabel 1: Overzicht van evaluatiemethode Instrument Respondent Aantal OLD-vragenlijst OLD s / Modulecoördinator Wijze respondenten 13 (Digitale) vragenlijst via Evasys Maturity Model Moduleteam 19 Gesprekken - SEQ Student 953 (Digitale) vragenlijst via Evasys Geen data verkregen van AT, CW, CreaTe, IBA, ST, TN = 694 studenten OLD-vragenlijst Aan de OLD s is gevraagd om per module een vragenlijst in te (laten) vullen. Eventueel konden zij de benodigde informatie opvragen bij de modulecoördinatoren of teams. De vragenlijst ging in op de werkwijze van het moduleteam (benodigd voor één van de TOM-AiO s), de werkdruk van de docenten en de ontwerpkeuzen en uitvoering van de module. De vragenlijst is opgenomen in bijlage 1. Van de 19 uitgezette vragenlijsten zijn er 13 ingevuld en geretourneerd (zie tabel 1). Twee modules waren volledig gedeeld met verschillende opleidingen. De desbetreffende OLDs hebben één vragenlijst ingevuld, welke dubbel meegeteld is in de resultaten. De resultaten van deze vragenlijst zijn weergeven in Deel III van dit rapport. Maturity Model gesprekken Met de moduleteams zijn gesprekken ingepland ter aanvulling op deze vragenlijsten. Hiervoor zijn de modulecoördinatoren per of telefonisch benaderd met de vraag om betrokkenen van de module samen te brengen die gezamenlijk een goed beeld konden geven van de module. Dit resulteerde in verschillende formaties van panels waarmee gesproken is. In het vervolg van deze rapportage worden deze gesprekken MM-gesprekken genoemd. In deze gesprekken is de eerst de open vraag gesteld hoe deze module ging, wat het algemene beeld van de module was of hoe tevreden men was over de module. Vervolgens werd de vraag gesteld om het Maturity Model (zie bijlage 2) in te vullen. Door in kaart te brengen in welke fase elk aspect van de module zat, kwam veel inhoudelijke informatie over de module aan bod. De resultaten hiervan zijn weergegeven in Deel III van dit rapport. In een vijf gevallen is er uit efficiëntieoverwegingen niet een aparte afspraak ingepland met het moduleteam, maar is er aangesloten bij een al eerder ingepland teamoverleg of evaluatiebijeenkomst. Wanneer bleek dat hier te weinig informatie uit naar voren kwam, is aan de modulecoördinator gevraagd om hier in een apart gesprek aanvullingen op te geven. In twee gesprekken is

95 15 april 2014 POV/178/14/sts/oak 11 van 69 vanwege tijdsgebrek gekozen om het MM niet meer in te vullen (zie tabel 2). In één gesprek werd aangegeven dat module 2 eigenlijk de helft is van een grotere module van 30 EC (kwartiel 2 en 3). In de tabellen met de uitkomsten van de MM-gesprekken is deze module aangegeven met een uitroeptekentje (! ). Tabel 2: Wijze van informatievergaring door middel van het Maturity Model; per module Opleiding Module Wijze van informatievergaring AT, BIT, BMT, CreaTe, EE, EPA, IBA*, B1, Mod. 2 MM-gesprek IO, PSY, ST, TBK, TI, TN, TW CiT*, CW, GZW, TG, WB B1, Mod. 2 Aangesloten bij bestaand evaluatiegesprek * Geen Maturity Model ingevuld Door aan elk moduleteam te vragen het Maturity Model in te vullen, werd getracht een UT-breed beeld te krijgen van waar de UT ongeveer staat in de TOM-implementatie. Hierbij moet opgemerkt worden dat er in dit rapport niet beoordeeld of geoordeeld wordt over de aangegeven fasen. De fasen zijn door de moduleteams zelf aangegeven en hier slechts gerapporteerd. In veel gevallen is er bewust gekozen voor karakteristieken uit een bepaalde fase in het model en het is daarmee niet gezegd dat fase 5 beter zou zijn dan eerdere fasen. De resultaten (zie Algemeen beeld in Deel III van dit rapport) moeten dan ook niet los gezien worden van de toelichting gegeven in Deel III. SEQ Na afloop van de eerste module is onder alle TOM-studenten een vragenlijst afgenomen met behulp van het programma Evasys. De vragenlijst kent 27 vragen, verdeeld over de hoofdonderwerpen: algemeen, leren, module, project, toetsing, inzet voor studeren, waardering. In totaal hebben 953 studenten de vragenlijst geheel of gedeeltelijk ingevuld; dit is een respons van 58%. In figuur 1 is informatie over de steekproef gegeven De resultaten van dit deel van de evaluatie zijn weergeven in Deel III van dit rapport.

96 15 april 2014 POV/178/14/sts/oak 12 van 69 Figuur 1: Overzicht van de respondenten van de SEQ Informele bijeenkomst Er is tijdens een informele bijeenkomst (mini-seminar Anders dan anders toetsen 1 ) informatie verkregen over het onderwerp toetsing en de zak/slaagregelingen). Waar relevant is deze informatie in de rapportage meegenomen. 1 Zie voor het verslag van deze bijeenkomst:

97 15 april 2014 POV/178/14/sts/oak 13 van 69 Deel III Resultaten Algemeen beeld Figuur 2: Algemeen beeld van de TOM-implementatie, weergegeven als boxplots in het Maturity Model Belangrijk om in acht te nemen bij het bekijken van deze afbeelding, is dat deze resultaten niet zonder de bijbehorende uitleg bekeken kunnen worden. Zo gaven sommige opleidingen aan heel bewust de keuze te hebben gemaakt om de module te ontwerpen op een manier die in fase één of twee wordt omschreven. Bijvoorbeeld omdat het pas de tweede module van een opleiding is en er daarom is gekozen om de studenten aan projectonderwijs te laten wennen. Om een goed beeld te krijgen, zijn de onderstaande resultaten, die per categorie worden beschreven, onmisbaar.

98 15 april 2014 POV/178/14/sts/oak 14 van 69 TOM-visie Tabel 3: Resultaten MM-gesprekken N=19 Aantal moduleteams Eens Oneens Geen onderwerp van gesprek Het modulesysteem werkt goed ! TOM kan alleen als een student het gelijk goed doet (en niet 5 14! achter komt te lopen) TOM past bij B1 6! 13 Studenten moeten eerst een basis aangeleerd krijgen voordat ze 5 14! verschillende onderwerpen met elkaar integreren of in het project gebruiken Onderwijs delen kan prima 4 15! TOM leidt op tot de gestelde leerdoelen 5 13! TOM haalt zijn gestelde doelstellingen (efficiëntie etc.) 6 13! TOM is werkbaar in de praktijk 3 16! TOM creëert kansen om nieuwe dingen uit te proberen 10 9! 1 1 Opleiding gaf aan dat de module te kort was Tijdens de MM-gesprekken is ook aandacht besteed aan de TOM-visie, zoals deze is beschreven in het visiestuk van 14 mei Tien opleidingen gaven aan niet tevreden te zijn met het modulesysteem, redenen die voor de ontevredenheid werden gegeven waren: - Doordat een module alleen in zijn totaliteit gehaald kan worden levert dit stress op bij studenten - Studenten hebben te kort de tijd om verschillende opties te onderzoeken en eerst fouten te maken (de consequenties van fouten maken is te groot) - Geen mogelijkheid voor lijnonderwijs (en dus diepgang) - Wanneer studenten een module in zijn totaliteit over moeten doen, zal de motivatie tijdens het overdoen van de module laag zijn. Dit omdat studenten ook onderdelen over moet doen die ze al wel beheersten. - Binnen een modulesysteem is het erg lastig om te differentiëren en zo de excellente studenten extra uit te dagen. Vijf opleidingen gaven aan dat TOM als systeem niet goed past bij het eerste jaar van de bachelor. Vooral de visie zoals deze was beschreven in fase vijf van het MM. De opleidingen gaven aan dat de studenten eerst moeten leren meer verantwoordelijkheden te nemen. Een positief punt dat door tien opleidingen werd genoemd is dat men binnen TOM nieuwe dingen kan uitproberen. Voorbeelden zijn nieuwe projecten, innovatieve manieren van diagnostisch toetsen en het inzetten van peer feedback.

99 15 april 2014 POV/178/14/sts/oak 15 van 69 Vier opleidingen gaven aan dat het delen van onderwijs lastig is, omdat studenten van verschillende opleidingen andere voorkennis hebben. Resultaten per categorie Hierna zijn per categorie de resultaten van de evaluaties weergegeven. De resultaten van de verschillende meetinstrumenten zijn met elkaar gecombineerd. Werkdruk Figuur 3: Resultaten OLD-vragenlijst Figuur 4: Resultaten SEQ

100 15 april 2014 POV/178/14/sts/oak 16 van 69 Tabel 4: Resultaten MM-gesprekken N=19 Aantal moduleteams Eens Oneens Gedeeltelijk eens Niet ter sprake geweest De werkdruk van de docenten was hoog 13! De werkdruk van de studenten was hoog 7! Opleiding gaf aan dat de werkdruk betreffende het uitvoeren van het onderwijs was gelijk aan voorgaande jaren. 2 3 opleidingen gaven aan dat de werkdruk per docent erg verschilde Werkdruk docenten Elf opleidingen gaven aan dat de werkdruk onder docenten nog steeds erg hoog is. Hiervoor werden verschillende aanleidingen geven. Vier opleidingen gaven aan dat de werkdruk onder andere hoog was door organisatorische zaken die nu geregeld moeten worden, zoals bijvoorbeeld cijferregistraties. Vijf opleidingen gaven aan dat het delen van onderwijs voor een hogere werkdruk zorgde. Alle opleidingen gaven aan dat ze meer tijd kwijt waren met het overleggen binnen een team. De opleidingen die onderwijs met elkaar deelden waren hier extra veel tijd mee kwijt, omdat de docenten van de verschillende opleidingen bij elkaar moesten komen. Eén opleiding gaf aan dat de modulecoördinator alleen een coördinerende functie had gehad. Hierdoor was zijn werkdruk niet te hoog geworden. Zowel de modulecoördinator zelf als het moduleteam gaven aan dat de modulecoördinator ondanks zijn niet docerende rol een goed beeld had van de stand van zaken tijdens de module. De werkdruk van de docenten in deze module was wel heel hoog. Eén opleiding gaf aan dat de rol van projectcoördinator en modulecoördinator gescheiden was om de werkdruk te verminderen, maar dat dit niet aan te raden is. Vier opleidingen uitten tijdens de MM-gesprekken de zorg over de druk die TOM legt op kleine opleidingen. Docenten die betrokken zijn bij een module, zijn hier heel intensief mee bezig. Drie opleidingen gaven aan dat parttime werkende docenten soms terug moesten komen op dagen die ze eigenlijk vrij zijn, omdat anders het rooster niet rond kwam. Een andere opleiding gaf aan dat TOM een druk op docenten legt die bij meerdere (of zelfs alle) modules betrokken zijn; deze docenten kunnen gedurende het jaar geen rust week nemen om bij te komen. Werkdruk studenten Uit de SEQ (zie figuur 4) blijkt dat studenten de werkdruk verschillend ervaren. Van de 918 respondenten heeft 43,2% aangegeven meer dan 40 uur per week te studeren. Dit is 11,6 procentpunt lager dan in module 1 en is daarmee een indicatie dat de werkdruk onder studenten iets afgenomen is. Gemiddeld genomen vinden studenten de hoeveelheid studietijd te doen (zie figuur 4). Zeven opleidingen gaven echter nog wel aan dat de werkdruk onder studenten erg hoog is. Een aantal opleidingen gaven aan dat de studenten erg gestrest waren. Deze stress werd vooral veroorzaakt door onzekerheid en de combinatie van TOM en het BSA. Vier opleidingen gaven aan dat de werkdruk voor studenten niet te hoog was. Eén opleiding gaf aan dat het voorkomen van een te hoge werkdruk

101 15 april 2014 POV/178/14/sts/oak 17 van 69 een aandachtspunt was geweest, omdat de eerste module erg druk was. Een andere opleiding gaf aan dat de studenten beter wisten wat ze konden verwachten, omdat ze er al een module op hadden zitten. Het karakter van de module als geheel Figuur 5: Resultaten OLD-vragenlijst

102 15 april 2014 POV/178/14/sts/oak 18 van 69 Figuur 6: Resultaten SEQ Tabel 5: Resultaten MM-gesprekken N=19 Aantal moduleteams Eens Oneens Gedeeltelijk eens Niet ter sprake geweest De module had een realistische context 9! De modules is niet vanuit oude vakken ontworpen 11! opleidingen gaven aan dat alleen het project een realistische context had Uit de OLD-vragenlijst (zie figuur 5) blijkt dat 25% van de opleidingen in meer of mindere mate gebruik hebben gemaakt van een echte opdrachtgever. Eén opleiding gaf tijdens de MM-gesprekken aan dat de externe opdrachtgever de module qua niveau wel erg complex maakte. Een andere opleiding gaf aan dat de realistische context de module erg complex maakte. Uit de MM-gesprekken kwam naar voren dat elf opleidingen de module helemaal nieuw hadden vorm gegeven. In de resultaten van dan de SEQ (zie figuur 6) is bij de vraag Het probleem leerde me een oplossing voor een probleem te testen veel spreiding en een rood stoplicht te zien. Het minst is er gewerkt aan de O van onderzoeken (zie figuur 5). Vier opleidingen gaven aan dat dit ook geen doel was. Betreft de O van organiseren is er veel spreiding te zien. Twee opleidingen gaven aan dat het geen doel was om expliciet aan de O van organiseren te werken. Ook de vraag of de module HTHT was, laat veel spreiding zien. Drie opleidingen gaven aan dat dit geen doel was.

103 15 april 2014 POV/178/14/sts/oak 19 van 69 Samenwerking Figuur 7: Resultaten OLD-vragenlijst Figuur 8: Resultaten SEQ Tabel 6: Resultaten MM-gesprekken N=19 Aantal moduleteams Ja Nee Gedeeltelijk Niet ter sprake geweest Studenten leerden gezamenlijk 19!1 De student is verantwoordelijk voor 4 2 2! zijn leren Zetten peer feedback/review in 5 14! 1 Alle opleidingen gaven aan dat studenten zowel gezamenlijk als individueel leerden 2 3 opleidingen gaven aan dat dit wel lastig was 3 3 opleidingen gaven aan dat dit afhankelijk was van de onderwijsbijeenkomst

104 15 april 2014 POV/178/14/sts/oak 20 van 69 Uit de OLD-vragenlijst (zie figuur 7) blijkt dat samenwerking in deze module belangrijk is (bij één opleiding was het geen doel om studenten te laten samenwerken). In meer dan de helft van de moduleonderdelen moesten studenten volgens de OLD s samenwerken. In ongeveer de helft van de moduleonderdelen werden studenten ook gezamenlijk verantwoordelijk gehouden voor een eindproduct. Het is dan ook niet verwonderlijk dat studenten in deze module moesten leren om elkaar aan te spreken op elkaars verantwoordelijkheden en het nakomen van gemaakte afspraken en elkaar feedback te geven. Uit de SEQ (zie figuur 8) blijkt dat studenten gemiddeld genomen veel geleerd hebben door deze samenwerking: 84% van de studenten scoorde een 3 of hoger. Ook in de MMgesprekken werd aangegeven dat studenten in deze module samenwerkten, maar hier werden wel kritische kanttekeningen bij geplaatst. Drie opleidingen gaven tijdens de MM-gesprekken aan dat studenten tijdens het groepswerk inhoudelijke taken gaan verdelen en dat ze deze inhoudelijke kennis die wordt opgedaan weinig onderling wordt gedeeld. Ze hadden het gevoel dat de studenten op het laatst hun werk bij elkaar plakten. Men vroeg zich af of dit de verantwoordelijkheid is van groepen zelf is en wanneer dit niet het geval is hoe dit dan kan worden tegengegaan. Uit de resultaten van de OLD-vragenlijst blijkt dat de studenten werden gestimuleerd om elkaar inhoudelijk feedback gaven (92,3% scoorde een 4 of hoger). Ook werden de studenten gefaciliteerd in het leren van elkaar (84,7% scoorde een 3 of hoger). Een manier waarop dit gefaciliteerd werd, is de inzet van peer feedback. Uit de MM-gesprekken bleek dat vijf opleidingen peer feedback in hadden gezet, waar studenten feedback moesten geven op elkaars werk. Eén opleiding gaf aan dat het inzetten van peer feedback niet goed was verlopen. De studenten zagen het nut er niet van in. Het niveau waarop de studenten elkaar feedback gaven was onder de maat. Deze opleiding had geen format ontwikkeld die de studenten konden gebruiken bij het geven van feedback. Een andere opleiding gaf aan wel met een format te hebben gewerkt. Bij deze opleiding was het inzetten van peer feedback erg positief verlopen. Het format had de studenten een handvat gegeven, waardoor ze kritisch naar het werk van hun medestudenten konden kijken.

105 15 april 2014 POV/178/14/sts/oak 21 van 69 Multidisciplinariteit van de module Figuur 9: Resultaten OLD-vragenlijst Tabel 7: Resultaten MM-gesprekken N=19 Aantal moduleteams Ja Nee Geen onderwerp van gesprek Er werd (naast de wiskunde- of M&T leerlijn) onderwijs met andere opleidingen gedeeld 7 9! 3 Binnen dit kwartiel waren er twee modules die geheel door meerdere opleidingen werden gevolgd. Eén module werd door twee opleidingen gezamenlijk verzorgd en de andere module door drie opleidingen. Daarnaast waren er nog twee opleidingen die een moduleonderdeel met elkaar gedeeld hebben. In vrijwel geen module kwam het voor dat studenten van verschillende opleidingen binnen een moduleonderdeel met elkaar moesten samenwerken. Alle opleidingen die (een deel van de) modules gedeeld hadden, gaven aan dat het overleggen tussen de verschillende opleidingen veel tijd koste. Vijf opleidingen gaven aan dat er een praktisch probleem ontstaat bij het delen van onderwijs, namelijk omdat je met twee verschillende examencommissies te maken krijgt. Onder het kopje Toetsregels en examencommissies in het hoofdstuk Overig (pag. 40) zal hier verder op worden ingegaan.

106 15 april 2014 POV/178/14/sts/oak 22 van 69 Gezamenlijke leerlijnen: Figuur 10: Resultaten OLD-vragenlijst Tabel 8. Resultaten MM-gesprekken Wiskundeleerlijn M&T leerlijn 6! De leerlijn stond los van module 1 De leerlijn stond los van module 3 De case sloot aan bij de module 1 De leerlijn had samenhang met het project 2 Doel is om de docent volgend jaar meer bij moduleteam te betrekken 1 De leerlijn voldeed niet aan de verwachtingen en leerdoelen van de module 2! De timing van herkansing was lastig 1 De samenwerking/afstemming verliep goed 1 Het niveau was te laag 1 De case sloot niet aan bij module Zes opleidingen gaven tijdens de MM-gesprekken aan dat de wiskundeleerlijn los staat van de module. Dit komt overeen met de resultaten van de OLD-vragenlijst, waar 70% lager dan een 3 scoort op de vraag op de wiskundeleerlijn goed geïntegreerd was met de overige moduleonderdelen. Drie

107 15 april 2014 POV/178/14/sts/oak 23 van 69 opleidingen gaven aan dat de opleidings-specifieke case wel bij de module aansloot. Eén opleiding gaf aan dat de case ook niet bij de module aansloot. Twee opleidingen gaven aan dat de timing van de herkansing van wiskunde onhandig was. Beide opleidingen gaven aan dat de studenten van hun opleiding maar 2 reparaties mochten doen, maar dat op het moment van de wiskundereparatie nog niet alle cijfers bekend waren. De studenten konden hierdoor geen goed overwogen keuze maken. Uit de resultaten van de OLD-vragenlijst blijkt dat 100% vind dat de wiskundeleerlijn niet zorgde voor een wij-gevoel onder de eerstejaars studenten. Wel moet worden opgemerkt dat deze vraag maar door vier opleidingen is ingevuld. Betreffende de M&T-leerlijn gaf één opleiding tijdens het MM-gesprek aan dat de leerlijn niet voldeed aan de verwachtingen en leerdoelen van de module. Een andere opleiding gaf aan dat deze leerlijn los stond van de module. Eén opleiding gaf aan dat de leerlijn wel samenhang had met het project en dat de afstemming goed verliep. Het aantal respondenten in de OLD-vragenlijst (N=3) is echter te laag om hier harde conclusies uit te kunnen trekken. Project en integratie Figuur 11: Resultaten OLD-vragenlijst * Noot. Eén opleiding gaf aan nee te hebben beantwoord op de vraag Zat er een project in de module?, hoewel er wel een project in de module zat.

108 15 april 2014 POV/178/14/sts/oak 24 van 69 Figuur 12: Resultaten SEQ Tabel 9: Resultaten MM-gesprekken N=19 Aantal moduleteams Ja Nee Geen onderwerp van gesprek Er zat een groot project in de module 6! Het project was met de andere moduleonderdelen geïntegreerd 16!2,3 3 Het project binnen deze module was een toepassingsproject 8! opleidingen gaven aan dat ze een redelijk project in de module hadden 11 opleidingen gaven aan dat de moduleonderdelen de basis voor project vormden 1 opleiding gaf aan dat de module was ontworpen vanuit het project Uit de MM gesprekken blijkt dat vijf opleidingen gaven aan dat de studenten tijdens het project ook expliciet nieuwe kennis en vaardigheden opdoen. Acht opleidingen gaven aan dat het project in de module voornamelijk een toepassingsproject was. De opleidingen gaven aan dat de studenten ook tijdens het toepassen uiteraard wel nieuwe kennis opdoen. De uitkomsten van de SEQ bevestigen dit: van de studenten heeft 87,3 % aangegeven dat ze nieuwe kennis toe leerden passen (scoorden een drie of hoger). De vijf opleidingen die tijdens de MM-gesprekken aangaven dat het project niet een toepassingsproject was, gaven aan dat het project als hoofddoel had om nieuwe kennis en vaardigheden aan te leren. Van de studenten scoorde 86,5% een 3 of hoger op de vraag of ze in het project nieuwe kennis en inzichten hebben ontwikkeld. Zestien opleidingen gaven tijdens de MM-gesprekken aan dat het project met andere moduleonderdelen was geïntegreerd. Van de studenten gaf 85,1% aan dat ze door het project

109 15 april 2014 POV/178/14/sts/oak 25 van 69 verschillende onderwerpen leerden integreren. Ook de OLD s gaven aan dat, gemiddeld genomen, meer dan de helft van de moduleonderdelen met elkaar samenhingen. Tutoring Figuur 13: Resultaten OLD-vragenlijst Hadden de tutoren de volgende rollen?

110 15 april 2014 POV/178/14/sts/oak 26 van 69 Tabel 10: Resultaten MM-gesprekken N=19 Aantal moduleteams Eens Oneens Geen onderwerp van gesprek De student neemt het initiatief (bijv. bij tutorbijeenkomsten) 6 6!1 7 De tutorrol werd door alle tutoren op dezelfde manier 6 13! vervuld De turorrol is heel bepalend 8 11! 1 4 opleidingen gaven aan dat B1 studenten deze sturing nodig hebben De tutorrol werd het meest vervuld door docenten die ook instructie binnen de module verzorgden (76,9%). Student-assistenten (ouderejaars) werden het minst ingezet (38,5%). Naast de genoemde opties in de OLD-vragenlijst werd aangegeven dat één opleiding junior docenten had ingezet en een andere opleiding had projectdocenten als tutor ingezet. Ook de manier waarop de tutorrol werd ingevuld verschilde veel. Uit de resultaten van de OLDvragenlijst blijkt dat de verdeling of een tutor inhoudsdeskundige is 50/50 is verdeeld. Dit geld eveneens voor de rol van mentor. In 61,5% van de gevallen beoordeelt de tutor tussenproducten. Tijdens de gesprekken kwam bij acht opleidingen naar voren dat de tutor een erg bepalend persoon is tijdens de begeleiding van de projectgroepen. Een aantal opleidingen gaven aan dat de tutoren, om hun werk goed te doen, ervaring moeten hebben en inhoudelijke kennis moeten hebben van het onderwerp en het daarom niet gewenst was om student-assistenten als tutoren in te zetten. Sommige opleidingen gaven aan dat de begeleiding van tutoren nogal verschilde. Voorbeelden van de verschillende begeleiding zijn in hoeverre de studenten eigen verantwoordelijkheden moeten nemen in het maken van afspraken of het wel of niet geven van inhoudelijke feedback. Eén opleiding gaf aan dat de feedback die door de student-assistenten (in de tutorrol) niet in lijn lag met de feedback die ze als docent gegeven zouden hebben. Eén opleiding gaf aan dat studenten ook inhoudelijke feedback van de tutoren verwachten. Maar dat door capaciteitsgebrek dit niet mogelijk was.

111 15 april 2014 POV/178/14/sts/oak 27 van 69 Houding studenten Figuur 14: Resultaten SEQ Tabel 11: Resultaten MM-gesprekken N=19 Aantal moduleteams Eens Oneens Gedeeltelijk eens Geen onderwerp van gesprek De studenten gingen ook tijdens niet ! ingeroosterde zelfstudie uren aan het werk De opkomst in de colleges was goed 3 7 1,2 9! Studenten planden vooruit 3 16! 1 4 opleidingen gaven aan dat de colleges op vrijdagochtend of middag slecht werden bezocht 2 1 opleiding gaf aan dat de feedbackmomenten slecht werden bezocht Hoewel de studenten over het algemeen aangeven gemotiveerd te zijn (83,8% scoort een 4 of hoger) kwam gaven de MM-gesprekken negen opleidingen gaven dat de opkomst bij (sommige) colleges laag was. Eén opleiding gaf aan dat ze de studenten zelfs voor bijeenkomsten moesten uitnodigen, omdat ze anders niet kwamen. Vooral de vrijdag was een dag waarop men merkte dat de opkomst van de studenten terugliep. De vrijdagochtend was voor studenten niet populair omdat er donderdagavond vaak activiteiten waren gepland. De vrijdagmiddag was niet populair omdat studenten dan een lange week erop hadden zitten en ze moe en loom waren 2. Drie opleidingen gaven aan dat de studenten over het algemeen erg gestrest waren. Twee opleidingen gaven aan dat de combinatie van TOM en BSA hier een oorzaak van was (over de combinatie van TOM en BSA wordt onder het kopje BSA verder ingegaan). De andere opleiding kon niet benoemen wat de oorzaak voor de gestreste studenten was, maar gaf wel aan dat dit een punt was om in het oog te houden. 2 Tijdens een informele bijeenkomst met onderwijscommissarissen werd aangegeven dat vooral het toetsen op de vrijdagmiddag (8 e en 9 e uur) niet goed beviel. Studenten moesten vaak wachten tot ze de toets konden maken en werden daar loom van, daarnaast was het onhandig voor studenten die nog ver naar huis moesten reizen.

112 15 april 2014 POV/178/14/sts/oak 28 van 69 Werkvormen Figuur 15: Resultaten OLD-vragenlijst Tabel 12: Resultaten MM-gesprekken N=19 Aantal moduleteams Eens Oneens Gelijk verdeeld Geen onderwerp van gesprek Het projectwerk voerde de boventoon 1 3 5! 10 Een aantal vaste contactmomenten zijn ingepland 8!1,2 4 6 en de student roostert de week zelf in Er zit veel variatie in de weekindeling 6! opleidingen gaven aan uren wel in te roosteren om de studenten een beeld te geven hoe veel tijd ze aan het onderdeel moesten besteden 2 2 opleidingen gaven aan dat dit een bewuste keuze was 3 1 opleiding gaf aan dat dit een bewuste keuze was Acht opleidingen gaven tijdens de MM-gesprekken aan dat het rooster van uur tot uur was ingepland. Vijf opleidingen gaven aan dat dit een bewuste keuze was, waarvan drie opleidingen als reden aangaven dat studenten zo beter een beeld konden vormen van hoe veel tijd ze in hun studie zouden moeten steken. De volgeplande dagen betekende niet altijd dat dit verplicht was, een paar opleidingen gaven aan dat het meer om de suggestie ging. ICT Figuur 16: Resultaten OLD-vragenlijst Noch in de SEQ, noch in de MM-gesprekken is specifiek naar ICT gevraagd. Uit de OLD-vragenlijst blijkt dat 38,5% geen ICT heeft ingezet in de tweede module. Digitaal portfolio (23,1%) en digitaal toetsen (15,4%) wordt het vaakst ingezet. Stemkastjes of videoconferences worden beide niet ingezet.

113 15 april 2014 POV/178/14/sts/oak 29 van 69 Naast de bovengenoemde mogelijkheden werd één keer aangegeven gebruik te worden gemaakt van optimalisatiesoftware en één keer van Matlab Solid Works. Toetsing Figuur 17: Resultaten OLD-vragenlijst

114 15 april 2014 POV/178/14/sts/oak 30 van 69 Figuur 18: Resultaten SEQ Tabel 13: Resultaten MM-gesprekken N=19 Aantal moduleteams Eens Oneens Geen onderwerp van gesprek Alle moduleonderdelen 17!1 2 werden apart van elkaar getoetst Er wordt ook diagnostisch ! getoetst Het aantal toetsen in de module was goed ! 1 Eén opleiding gaf aan dat dit een bewuste keuze was i.v.m. nationale regelgevingen omtrent de opleiding 2 Drie opleidingen gaven aan dat er te veel getoetst werd Uit de OLD-vragenlijst blijkt dat diagnostische toetsen niet vaak werden ingezet (69,3% scoort een 2 of lager). Alle opleidingen toetsen inzetten om te beoordelen of de leerdoelen gehaald zijn. Van de OLD s (N=13) gaf 76,9% aan dat een ander doel van het toetsen was om te zorgen voor een gespreide werkdruk. Van de studenten gaf 78,3% in de SEQ aan dat de toetsing (inclusief de tussentoetsen) hen gestimuleerde om te leren. Wel gaven 43,6 % van de studenten in de SEQ aan dat ze niet voldoende tijd hadden om zich op de toetsen voor te bereiden (scoorden een 2 of lager). Andere doelen voor de toetsing die werden genoemd is het beoordelen of studenten veilig op het lab kunnen werken (n=1). Een tweede toevoeging was dat de monitoring zowel voor de docent gold (om te achterhalen of en waar extra instructie nodig was) als de student (om te achterhalen aan welk onderwerp hij extra aandacht moet schenken) (n=1). Eén opleiding gaf aan de toetsen en inlevermomenten volgend jaar meer te willen stroomlijnen, zodat er meer regelmaat in komt. Dit zou de studenten meer structuur geven en hen helpen bij het plannen. Meerdere opleidingen gaven aan meer duidelijkheid te willen over de richtlijnen voor de zak- en slaag regelingen die zijn opgesteld. Men gaf aan dat het onduidelijk was wat er nou wel en wat niet mag/kan. Onderwerpen die onduidelijk waren zijn bijvoorbeeld het repareren van losse moduleonderdelen en/of het verstrekken van een uitgesteld BSA.

115 15 april 2014 POV/178/14/sts/oak 31 van 69 Compenseren Figuur 19: Resultaten OLD-vragenlijst Tabel 14: Resultaten MM-gesprekken Aantal moduleteams van toepassing niet van toepassing gedeeltelijk van toepassing N=19 Geen onderwerp van gesprek Er zijn compensatiemogelijkheden 9! (waarvan 6 cijfermatig) 7 3 Uit de resultaten van de OLD-vragenlijst blijkt dat in meer dan de helft van de modules kon worden gecompenseerd (58,3%). Dit komt overeen met de resultaten uit de MM-gesprekken. In 87,5% van de gevallen was de compensatie cijfermatig. Een cijfermatige compensatie houdt in dat een onvoldoende kan worden weggestreept tegenover een voldoende, de inhoud heeft hierop geen betrekking. Een inhoudelijke compensatie houdt in dat een onvoldoende kan worden weggestreept, wanneer een student in een later stadium aangetoond dat hij de inhoud wel beheerst. De organisatie van de module Figuur 20: Resultaten OLD-vragenlijst

116 15 april 2014 POV/178/14/sts/oak 32 van 69 Figuur 21: Resultaten SEQ Uit de resultaten van de SEQ blijkt dat 30,4% van de studenten niet goed wist wat er van hen verwacht werd en dat 42,6% van de studenten de module niet goed georganiseerd vond (scoorden een 2 of lager). Eén opleiding gaf aan dat er gedurende het project meer aanwijzingen zijn gekomen, de studenten vatten dit op als een verandering in de module, waardoor deze op hen als niet goed georganiseerd overkwam. Meerdere opleidingen gaven aan dat studenten slecht op Blackboard keken en/of niet de (module)handleidingen lazen. Het niet lezen van beschikbare informatie kan van invloed zijn geweest op hoe de studenten de organisatie van de module hebben ervaren.

117 15 april 2014 POV/178/14/sts/oak 33 van 69 Studiematerialen Figuur 22: Resultaten OLD-vragenlijst Figuur 13: Resultaten SEQ Tabel 15: Resultaten MM-gesprekken Aantal moduleteams Eens Oneens Geen onderwerp van gesprek De student had inbreng in de leerbronnen ! 1 2 Opleidingen gaven aan dat het een bewuste keuze was om studenten geen eigen bronnen te laten zoeken N=19 In de tweede module werd voornamelijk gebruik gemaakt van boeken, handleidingen, readers, artikelen en websites (zie figuur 22). Video s werden in 15,4% van de gevallen ingezet en er werd geen gebruik gemaakt van weblogs. Naast de bovengenoemde opties gaf één opleiding aan gebruik te maken van een dictaat. Van de studenten gaf 91,3% aan dat het studiemateriaal goed paste bij het onderwerp (scoorden een 3 of hoger). Tijdens de MM-gesprekken gaven 2 opleidingen aan dat studenten ook hun eigen leerbronnen zochten. Drie opleidingen gaven aan van niet. Twee van die opleidingen gaven aan dat dit een bewuste keuze was, omdat de studenten nog niet konden beoordelen of de gevonden bronnen van goede kwaliteit waren. Niveau Figuur 24: Resultaten SEQ

118 15 april 2014 POV/178/14/sts/oak 34 van 69 Tabel 16: Resultaten MM-gesprekken N=19 Aantal moduleteams Eens Oneens Geen onderwerp van gesprek Het niveau dat de studenten in het kwartiel hebben bereikt is hoger dan voorgaande jaren ! 1 4 opleidingen gaven aan dat het niveau gelijk is gebleven Van de studenten gaf 87,5% aan veel geleerd te hebben tijdens deze module (scoorden een 3 of hoger)(zie figuur 24). Eén opleiding gaf aan dat studenten in de tweede module meer hadden geleerd dan tijdens het tweede kwartiel van voorgaande jaren. Vier opleidingen gaven aan dat het niveau gelijk was gebleven en één opleiding gaf aan dat het niveau lager was geworden. Hoe het onderwijs werd verzorgd sloot over het algemeen goed aan bij de manieren waarop de studenten leerden: 81,1% van de studenten scoorde op deze vraag een 3 of hoger. Selecterende functie en beeld van de studie Figuur 25: Resultaten OLD-vragenlijst Uit de resultaten van de OLD-vragenlijst blijkt dat de tweede module een goed beeld schept van de rest van de opleiding (100% scoorde een 3 of hoger). Tijdens de MM-gesprekken is de selecterende functie van specifiek deze module niet aan de orde gekomen. Wel gaven drie opleidingen aan dat TOM als modulair systeem te selecterend werkt. Ze gaven aan bang te zijn studenten kwijt te raken die de opleiding eigenlijk wel succesvol zouden kunnen afronden. Eén opleiding gaf aan dat de selecterende functie van TOM in combinatie met het BSA juist goed werkt. De studenten die de modules niet halen, halen de modules terecht niet.

119 15 april 2014 POV/178/14/sts/oak 35 van 69 Waardering Figuur 26: Resultaten SEQ Tabel 17: Resultaten MM-gesprekken Aantal moduleteams Eens Oneens Gedeeltelijk Geen onderwerp van gesprek Het moduleteam is tevreden over de 13! module N=19 De meeste opleidingen gaven aan dat ze tevreden waren met gegeven module. Veelal gaf men nog wel aan dingen aan te willen passen. Vier opleidingen waren ontevreden met de module, drie opleidingen gaven aan dat men zich zorgen maakten om de vorm die het onderwijs binnen TOM krijgt. Een opleiding gaf aan dat ze ontevreden was over het strakke kader waarbinnen ze moesten ontwerpen en dat daardoor de module niet goed was. Deze opleiding gaf aan naast de richtlijnen van TOM ook strakke ontwerp richtlijnen te hebben gekregen van de opleidingsdirecteur, waar het ontwerpteam het niet mee eens was. Ook waren ze gebonden aan het financieringsmodel. Hoewel 72,8% van de studenten hun opleidingen op basis van deze module zouden aanbevelen, is het beoordeling met een cijfer van de studenten maar net voldoende. Van de studenten gaf 66,7% de module een voldoende (scoorde een 6 of hoger) en het gemiddelde cijfer waarmee de module wordt beoordeeld is een 5,9. Tijdens veel MM-gesprekken gaven opleidingen aan de module volgend jaar aan te willen passen. Onderdelen waarop opleidingen hun modules willen aanpassen zijn in de onderstaande tabel (18) weergegeven. Tabel 18: Resultaten MM-gesprekken N=19 Aantal moduleteams Eens Oneens Niet ter sprake geweest Aanpassingen op gebied van integratie 6 13 Aanpassingen op gebied van verantwoordelijkheden 2 17 Aanpassingen op gebied van aantal en/of grootte 5 14 moduleonderdelen Aanpassingen op gebied van werkdruk 3 15 Aanpassingen op het gebied van beoordeling 1 18 Aanpassingen op het gebied van het project 4 15

120 15 april 2014 POV/178/14/sts/oak 36 van 69 Veelal gaven opleidingen aan dat ze op bepaalde aspecten aanpassingen wilden maken, maar dat ze nog een keer met het team bij elkaar moesten komen om gezamenlijk te kijken wat de aanpassingen precies zouden zijn. Een aantal opleidingen hadden al een concreter idee van de aanpassingen. De meeste opleidingen (n=6) gaven aan nog aanpassingen te willen maken betreffende de integratie van de verschillende moduleonderdelen. Eén opleiding gaf bijvoorbeeld aan de wiskundedocent directer bij het moduleteam te willen betrekken, om zo te proberen de wiskundeleerlijn en de case beter bij de module aan te laten sluiten. Vijf opleidingen gaven aan het aantal moduleonderdelen in de module aan te willen passen. Deze opleidingen gaven aan dat de kleine moduleonderdelen in verdrukking kwamen met grotere moduleonderdelen. Ze gaven aan minder verschillende moduleonderdelen in de module te willen hebben, zodat alle onderdelen van substantiële grootte zijn en voldoende aandacht krijgen van de studenten. Twee opleidingen gaven aan dat ze de werkdruk van studenten wilden verlagen. Eén opleiding gaf aan het aantal deliverables te willen verlagen, zodat de student niet meer elke week iets in hoeft te leveren. De andere opleiding gaf aan inhoudelijke compensatie toe te willen passen. Een voorbeeld dat ze hiervoor gaven betrof het schrijven van een lab journaal. In deze module moesten alle labjournaals met een voldoende worden afgerond. Wanneer studenten volgend jaar een onvoldoende krijgen voor een labjournaal, maar bij het schrijven van een volgend labjournaal aantonen dat ze de vaardigheid beheersten, hoeven ze het eerdere labjournaal niet opnieuw te maken. Dit verminderd de werkdruk van de student en de docent, omdat de docent niet nog een extra labjournaal na hoeft te kijken. Eén opleiding gaf aan het project naar het eind van de module te willen schuiven, om zo de studenten eerst een basis aan te leren. Op deze manier zou de opleiding de complexiteit van de module willen verlagen. Twee opleidingen gaven aan gedurende de opleiding al aanpassingen te hebben gedaan op basis van panelgesprekken met studenten. Dit werd erg door de studenten gewaardeerd.

121 15 april 2014 POV/178/14/sts/oak 37 van 69 Ondersteunende diensten Osiris Tabel 19: Resultaten MM-gesprekken N=19 Aantal moduleteams Eens Oneens Geen onderwerp van gesprek De cijferregistratie is onhandig / niet passend 4! Het was onduidelijk of studenten automatisch werden ingeschreven voor een reparatie 1! 0 18 Eén opleiding gaf aan dat er rondom de cijferregistratie wat onduidelijkheden waren, maar dat daar nu heldere afspraken over gemaakt worden. Er werden meerdere problemen rondom te cijferregistratie in Osiris genoemd. Zo is het in Osiris niet mogelijk om één cijfer te geven voor een geïntegreerde toets met drie inhoudelijke domeinen; er moesten per se drie deelcijfers ingevoerd worden. Ook compensatie kan niet binnen het systeem. Daarnaast moet de weging van de deelcijfers precies tot 100% optellen. Wanneer drie onderdelen elk voor een derde meetellen, levert dit problemen op. Osiris werkt maar met één decimaal achter de komma, wat voor afrondingsproblemen kan zorgen. Eén moduleteam gaf aan dat het voor studenten en docenten onduidelijk was of studenten zichzelf voor een herkansing in moesten schrijven, of dat dit automatisch gebeurde. Blackboard Tabel 20: Resultaten MM-gesprekken N=19 Aantal moduleteams Eens Oneens Geen onderwerp van gesprek Er waren geen problemen met Blackboard ! Eén Blackboardpagina voor de gehele module is onhandig 2! 1 16 Blackboard is onhandig wanneer onderwijs gedeeld wordt ! Twee moduleteams gaven aan dat het onhandig is om slechts één pagina te hebben voor de gehele module. Genoemde redenen hiervoor waren dat het lastig is om de juiste informatie te vinden, omdat iedereen de pagina op een andere manier beheert - en dat er (nog) meer afgestemd moest worden betreffende de opzet en inrichting van de site. Eén team vindt dat het ook geen meerwaarde heeft om één Blackboardpagina te hebben. Eén team gaf aan dat Blackboard onhandig is bij gedeeld onderwijs, aangezien de docent dan steeds op twee verschillende sites de informatie moet plaatsen. Hij moet dus dubbel werk doen. Verder zijn er nog een aantal gedetailleerde aandachtspunten gegeven door één moduleteam: het kwam voor dat geüploade documenten blanco waren; het zorgt voor onduidelijkheden dat er aan de die vanuit Blackboard gestuurd wordt, niet zichtbaar is voor wie deze relevant is en wie deze mail nog meer hebben ontvangen; en de terminologie die werd gebruikt bleek erg belangrijk.

122 15 april 2014 POV/178/14/sts/oak 38 van 69 Rooster/zalen Tabel 21: Resultaten MM-gesprekken N=19 Aantal moduleteams Eens Oneens Geen onderwerp van gesprek Er zijn onvoldoende (project)ruimten om elke groep een 5! 14 eigen ruimte aan te bieden Het gebruik van de practicumzalen is erg inefficiënt 3 16! Een jaar zaal is belangrijk voor de opleiding 4! 15 Er waren problemen in het rooster ! MyTimetable werkt onhandig voor docenten 1 18! Vijf opleidingen gaven aan dat er onvoldoende (project)ruimten beschikbaar waren om alle groepen een eigen werkplek te geven. Vier opleidingen gaven daaropvolgend aan dat een jaarzaal erg belangrijk is voor de opleiding. Drie opleidingen gaven aan dat het gebruik van de practicumzalen erg inefficiënt was. Veel studenten moeten op dezelfde dag gebruik maken van de practicumopstellingen, terwijl de ruimte op andere momenten door geen enkele opleiding gebruikt wordt, omdat studenten dan gezamenlijk onderwijs hebben. Dit is erg inefficiënt en duur. Over de verroostering gaf één opleiding aan dat studenten te weinig tijd hadden om tussendoor naar het sportcentrum te fietsen om een toets te maken, waardoor ze eerder weggingen uit college. Een ander moduleteam gaf aan dat er veel last-minute veranderingen in het rooster waren, wat voor veel verwarring leidde onder studenten en docenten. De communicatie over deze wijzigen verliep ook niet goed, waardoor men soms pas vlak voor het college achter de wijziging kwam. De studenten gaven aan dat het rooster duidelijk en op tijd beschikbaar was; 89% scoorde een 3 of hoger (zie figuur 21 onder organisatie van de module ). Eén moduleteam gaf aan dat MyTimetable niet handig werkt voor docenten: de integratie van outlook en MyTimetable is niet goed, waardoor docenten met twee agenda s moeten werken. Daarbij kan het secretariaat kan de MyTimetable agenda s van de docenten niet inzien. Als de docent een wijziging wil doorvoeren in MyTimetable, dan zorgt dit voor veel rompslomp en gedoe.

123 15 april 2014 POV/178/14/sts/oak 39 van 69 OD/professionalisering Tabel 22: resultaten MM-gesprekken Aantal moduleteams Eens Oneens Geen onderwerp van gesprek De faculteitsonderwijskundige heeft praktisch ! geholpen De modulecoördinator zou graag verder ! willen professionaliseren, maar heeft hier geen tijd voor Er is behoefte aan meer voorbeelden / onderwijskundige kennis 2 17! N=19 Eén opleiding gaf aan dat de faculteitsonderwijskundig heeft geholpen bij het opstellen van toetsformulieren. Dit was heel prettig, omdat het werk uit handen nam. Twee opleidingen gaven aan behoefte te hebben aan goede voorbeelden. Eén team zou graag een voorbeeld van een fase 5-module willen zien; bij voorkeur een module uit B1. Een ander team zou meer willen weten over het individueel toetsen binnen het project, geschikt voor een grote opleiding. Overig Niet voltijds kunnen studeren Figuur 27: Resultaten SEQ Uit de resultaten van de SEQ blijkt dat 8% van de studenten de module niet voltijds heeft kunnen studeren (zie figuur 26). Tijdens de MM-gesprekken is dit onderwerp niet naar voren gekomen. Financiering Twee opleidingen gaven aan ontevreden te zijn met het huidige onderwijsverdeelmodel. De ene opleiding gaf aan sterk gebonden te zijn geweest door dit model, wat een negatief effect had op het ontwerp van de module. De andere opleiding gaf aan dat de rol van modulecoördinator essentieel is binnen deze vorm van onderwijs. Het vervullen van deze functie kost erg veel tijd, waardoor hij weinig tijd over heeft voor bijvoorbeeld onderzoek. Deze opleiding gaf aan dat het werk van de modulecoördinator meer gewaardeerd zou moeten worden binnen het onderwijsmodel.

124 15 april 2014 POV/178/14/sts/oak 40 van 69 Toetsregels en Examencommisies Tabel 23: Resultaten MM-gesprekken N=19 Aantal moduleteams Eens Oneens Geen onderwerp van gesprek 5 14! Onderwijs delen levert problemen op doordat examencommissies het met elkaar eens moeten worden De toetsregels versoepelen na verloop van tijd ! Vijf opleidingen gaven aan dat het delen van de module lastig is, omdat er dan ook examencommissies van verschillende opleidingen bij betrokken zijn. De herkansingsregelingen kunnen dan per opleiding verschillend zijn, terwijl alle studenten samen dezelfde module hebben gevolgd. Wanneer examencommissies het niet met elkaar eens zijn over de reparatieregels, ontstaan er verschillende regelingen binnen eenzelfde module. Dit kan verwarring en frustraties oproepen. Tijdens de miniseminar over toetsing werd aangegeven dat enige uniformiteit betreffende zak/slaag regelingen wenselijk was. Drie opleidingen gaven aan dat de toetsregels bij de start van TOM heel strak waren, maar dat deze gaandeweg versoepelen: de kansrijk gezakten krijgen in hetzelfde jaar een extra herkansing aangeboden. Eén opleiding gaf aan de neiging tot het versoepelen van de toetsregels te hebben onderdrukt. Deze opleiding heeft geen extra reparatiemomenten ingepland. Reparaties Tabel 24: Resultaten MM-gesprekken N=19 Aantal moduleteams Eens Oneens Geen onderwerp van gesprek ! Herkansingen/reparties worden liever buiten de module aangeboden De timing van reparaties is niet handig ! Twee opleidingen gaven aan liever herkansingen buiten de module aan te bieden, omdat studenten die een reparatie moeten maken vaak ook extra tijd voor het project nodig hebben. De reparties nemen nu tijd weg van het project. Eén opleiding vraagt zich af hoe je buiten de module zou moeten repareren, omdat je dan intervenieert met die module. Deze opleiding stelt de oplossing voor om modules 1 en 2 te repareren in een reparatieweek vlak voor de zomervakantie en modules 3 en 4 vlak na de zomervakantie 3. 3 In toetskader 2013 staat vermeld: Herkansingen (binnen TOM) worden, indien mogelijk, direct na een vakantie gepland, in ieder geval zo snel mogelijk na het afsluiten van de module. Dit maakt het voor studenten mogelijk om fulltime bezig te gaan met de volgende module.

125 15 april 2014 POV/178/14/sts/oak 41 van 69 Eén moduleteam gaf aan dat de timing van de reparaties niet handig was. Studenten moesten een keuze maken welke onderdelen ze gingen repareren (maximaal 2). Op het moment van de wiskundeherkansing waren nog niet alle andere cijfers bekend, waardoor het voor de studenten lastig was om te bedenken wat wijsheid was. BSA Tabel 25: Resultaten MM-gesprekken N=19 Aantal moduleteams Eens Neutraal Oneens Geen onderwerp van gesprek Het BSA heeft een positief effect 3 16! Studenten ervaren het BSA als negatief 3 16! De 1 februari deadline moet verschoven 2 5!1 16 worden naar 1 maart Het BSA zorgt voor een verhoogde 1 18! werkdruk bij docenten Er is behoefte aan een UT-brede richtlijn 1 18! 1 1 opleiding gaf aan dat de deadline op 1 februari wel onhandig was, maar dat het deze module niet voor problemen had gezorgd. 3 opleidingen gaven aan dat het niet uit maakte wanneer de deadline was en eenmaal werd opgemerkt dat het voor studenten van lotingsstudies (naast een mogelijk financieel voordeel) geen voordelen oplevert om zich voor 1 februari uit te schrijven, omdat ze volgend studiejaar weer het geluk moeten hebben om ingeloot te worden. Drie opleidingen noemden positieve effecten van het BSA. Studenten gaan er hard van werken, er is een drive om een positief advies te halen, het werkt als stok achter de deur en studenten modderen met een BSA minder lang aan omdat ze eerder stoppen met de studie wanneer ze het niet aankunnen. Het BSA heeft echter ook een keerzijde, die genoemd werd door 3 moduleteams. De combinatie van TOM en het BSA wordt als een druk ervaren. De combinatie is stressvol en gevaarlijk. Voor sommige studenten werkt het verlammend. Ze kunnen zich door de angst of stress niet meer focussen, zodat het averechts werkt. Studenten worden er zenuwachtig van. Twee opleidingen gaven aan dat de deadline van uitschrijven (om te voorkomen dat de student een negatief BSA advies krijgt) een de werkdruk voor docenten extreem verhoogde. De docenten moesten tot diep in de nacht toetsen nakijken, om de studenten aan te kunnen geven of ze de tweede module zouden halen of niet. Deze opleidingen gaven aan de deadline graag naar 1 maart te willen verschuiven, wanneer de tweede module geheel is afgerond. Op die manier kunnen de studieadviseurs een beter advies uitbrengen en onzekerheid bij de studenten wegnemen. Eén opleiding gaf aan behoefte te hebben aan een UT-brede richtlijn over het BSA. Deze richtlijn zou meer duidelijkheid moeten geven over wat wel en niet kan.

126 15 april 2014 POV/178/14/sts/oak 42 van 69 Deel IV Vergelijking met module 1 Vergelijking met module 1 ( ) 4 Nu er twee modules uitgevoerd en geëvalueerd zijn, is het verleidelijk om deze twee modulen met elkaar te vergelijken. Hierbij is het van belang om te weten dat de tweede module al bijna afgelopen was op het moment dat het evaluatierapport over module 1 afgerond werd. Veranderingen zijn dus niet toe te schrijven aan de UT-brede evaluatie, maar door de eigen ervaringen en interne evaluatie van opleidingen. Deze vergelijking is dan ook alleen bedoeld om de verschillen en overeenkomsten in de implementatie van TOM te laten zien. Verschillen tussen module 1 en module 2: - TOM-visie: Een opvallend verschil met module 1 is dat er tijdens de MM-gesprekken veel duidelijker ontevredenheid over TOM als model en het modulesysteem geuit werd; - Werkdruk studenten: Het meest opvallende verschil is dat de werkdruk onder studenten iets minder lijkt te zijn dan in module 1. Wel lijkt de stress onder studenten iets te zijn toegenomen, vanwege het BSA; - Gedeeld onderwijs: Er zijn meer moduleonderdelen gedeeld. In module 1 hebben weliswaar negen opleidingen onderwijs gedeeld en in module 2 zeven opleidingen, maar in module 1 ging het om enkele moduleonderdelen per opleiding terwijl er in module 2 twee gehele modules gedeeld werden. - Leereffect: Moduleteams zijn gemiddeld genomen iets minder enthousiast over het behaalde niveau van studenten in vergelijking met module 1; waar men in module 1 nog inschatte dat studenten meer geleerd hadden dan in het eerste kwartiel vorig jaar, gaven de meeste teams nu juist aan dat het geleerde na een half jaar ongeveer gelijk was. - Waardering: Studenten waardeerden de module met 0,4 procentpunt minder (module 2 kreeg gemiddeld een 5,9); Onveranderd ten opzicht van module 1: - Werkdruk docenten: De werkdruk onder docenten is ongeveer gelijk gebleven aan de werkdruk van module 1. Hier werden dezelfde redenen voor opgegeven (administratieve zaken, noodzakelijke afstemming, delen van onderwijs). Dit zijn blijvende factoren, dus de verwachting is ook niet dat de werkdruk afneemt wanneer de nieuwigheid van TOM eraf is ; - Karakter van de module: Net als in module 1 werd er het meest aan de O van ontwerpen gewerkt; 4 Zie voor de rapportage UT-brede rapportage evaluatie module :

127 15 april 2014 POV/178/14/sts/oak 43 van 69 - Toetsing: De voorbereidingstijd voor toetsen werd door studenten net als in module 1 als te krap ervaren. Ook de aard van de toetsing verschilde nauwelijks: er werd, gelijk aan module 1, nauwelijks diagnostisch, compensatoir of geïntegreerd getoetst. - Wiskundeleerlijn: De wiskundeleerlijn was net als in module 1 niet of nauwelijks geïntegreerd met overige moduleonderdelen. - Verantwoordelijkheid voor het leerproces: Net als in module 1, worstelden moduleteams ook in module 2 met de houding van studenten en het geven of nemen van verantwoordelijkheid; omdat de studenten hun verantwoordelijkheid niet altijd namen. Vergelijking van de Maturity Modellen: - Visueel gezien is de score van MM2 nauwelijks anders dan MM2 (zie bijlage 3). De gemiddelden zijn op alle aspecten gelijk, met uitzondering van het karakter. Hier is de zelfscore gemiddeld iets hoger bij MM2. De spreiding is wat kleiner bij MM2, wat betekent dat de opleidingen qua invulling van TOM in module 2 iets meer op elkaar lijken.

128 15 april 2014 POV/178/14/sts/oak 44 van 69 Deel V Conclusie en discussie Conclusie Er is veel werk verzet om module 2 te ontwerpen en uit te voeren. De tweede module was zowel voor studenten en voor docenten spannend. Na een halfjaar TOM werd voorzichtig een duidelijker beeld van de resultaten van TOM zichtbaar. Bovendien maakte het BSA deze module extra spannend voor studenten en was er een zorg van de opleidingen om onterecht de goede studenten kwijt te raken. TOM-visie Sommige opleidingen maken zich zorgen over de vraag of aan het eind van B3 hetzelfde eindniveau wordt gehaald met TOM als onderwijssysteem. Een aantal docenten vroeg zich af of TOM academisch genoeg is, of je studenten wel opleidt tot onderzoeker en of je door TOM niet meer richting een HBO opleiding gaat. Deze zorgen uiten zich in een negatieve houding ten opzichte van TOM. De geuite ontevredenheid komt ook door zorgen over het modulesysteem. Docenten van tien verschillende opleidingen gaven aan niet tevreden te zijn met het werken in modules. De belangrijkste reden hiervoor was dat studenten mogelijk voor een hele module zakken, doordat ze één klein onderdeel niet halen en dus de module in zijn totaliteit over moeten doen. Verder zijn vijf opleidingen ontevreden over het onderwijsmodel omdat ze TOM niet goed bij B1-studenten vinden passen. Volgens hen moeten eerstejaars studenten nog leren om verantwoordelijkheid te nemen. Uit deze evaluatie komt duidelijk naar voren dat moduleteams worstelden met de vraag wie er verantwoordelijk is, of verantwoordelijkheid zou moeten nemen voor het leerproces van studenten. Studenten namen hun verantwoordelijkheid niet (automatisch) en opleidingen probeerden op allerlei manieren om studenten aan het werk te zetten. Waar tien opleidingen wel positief over waren, is dat TOM een mooie aanleiding is om nieuwe dingen uit te proberen. Tien opleidingen noemden dit als voordeel. Een voorbeeld van dit uitproberen is het toepassen van peer feedback, dat in de tweede module door een kwart van de opleidingen werd toegepast. Nog niet bij alle opleidingen verliep het zoals gewenst. Een ander genoemd voordeel van TOM is dat men nu goed ziet waar collega s (binnen hetzelfde moduleteam) mee bezig zijn dit komt de onderwijskwaliteit ten goede. Niveau Vier opleidingen gaven aan dat het behaalde niveau van studenten na de tweede module vergelijkbaar was met hetzelfde niveau vorig jaar; één opleiding gaf aan dat het niveau hoger was en één opleiding gaf aan dat het niveau lager was. Studenten gaven in de SEQ aan veel geleerd te hebben van docenten, tutoren en student-assistenten.

129 15 april 2014 POV/178/14/sts/oak 45 van 69 Tevredenheid over de module De opleidingen over het algemeen tevreden over hun gegeven module. Veelal gaf men aan nog wel verbeteringen te zien voor volgend jaar, met name om de integratie tussen moduleonderdelen te bevorderen. Vaak gaven opleidingen aan dat ze nog geen concrete ideeën hadden voor de verbeteringen, maar dat ze nog een keer met het team bij elkaar moesten komen om gezamenlijk te kijken wat de aanpassingen precies zouden zijn. Een aantal opleidingen hadden al een concreter idee van de aanpassingen. Zo willen vijf opleidingen bijvoorbeeld het aantal moduleonderdelen in de module verminderen. Ze gaven aan minder verschillende moduleonderdelen in de module te willen hebben, zodat alle onderdelen van substantiële grootte zijn en voldoende aandacht krijgen van de studenten. Twee opleidingen willen de werkdruk van studenten verlagen, bijvoorbeeld door het toepassen van inhoudelijke compensatie en door het aantal deliverables te verlagen. Volgens de uitkomsten van de survey waarderen de studenten de tweede module gematigd positief, 66,7% van de studenten scoort de module een 6 of hoger (op een schaal van 1-10). De gemiddelde score is een 5,9. Dit is beduidend lager dan de score van module 1, waar 81,3% van de studenten een 6 of hoger scoorde (met als gemiddelde een 6,4). Aspecten waar studenten ontevreden of negatief over waren, zijn: de werkdruk, onvoldoende voorbereidingstijd voor toetsen, de organisatie van de module, onduidelijk wat er van hen verwacht werd. Wel scoorde maar liefst 72,8% van de studenten een 3 of hoger op de vraag of ze de opleiding aan anderen aan zouden bevelen. Daarnaast gaven de studenten ook aan veel geleerd te hebben van docenten, tutoren en student-assistenten en dat het onderwijs van de module goed aansloot op de manier waarop ze leerden. Werkdruk van studenten en docenten Hoewel studenten in de SEQ aangaven dat de hoeveelheid studietijd gemiddeld genomen niet te doen was, lijkt de werkdruk wel iets minder te zijn dan in de eerste module. In de SEQ gaf 43,2% van de studenten aan meer dan 40 uur per week te studeren. Dit is 11,6 procentpunt lager dan in module 1. Hierbij moet opgemerkt worden dat de spreiding in de antwoorden redelijk groot is. Hoewel de werkdruk onder studenten dus iets lijkt te zijn afgenomen, gaven elf opleidingsdirecteuren nog wel aan dat de werkdruk onder docenten heel hoog is. Moduleteams gaven aan dat dit vooral komt door organisatorische zaken zoals cijferregistratie, het delen van onderwijs; dat veel afstemming vereist en het tegelijkertijd ontwerpen en uitvoeren van de module. Vooral een aantal opleidingen met een lagere capaciteit aan docenten hebben hun zorg geuit over de druk die het intensieve onderwijs hen oplegt. Toetsing Net als in de eerste module werden toetsen vaak ingezet met als doel om studenten aan het werk te zetten. Studenten gaven in de SEQ aan dat de toetsing gestimuleerd heeft om te leren. Verder werden toetsen gebruikt om te zorgen voor een gespreide werkdruk en monitoring. Studenten gaven aan

130 15 april 2014 POV/178/14/sts/oak 46 van 69 onvoldoende tijd te hebben gehad voor de toetsen. Hoewel dit een indicatie is dat er te veel toetsen zijn afgenomen, moet hierbij opgemerkt worden dat de spreiding van de antwoorden bij deze vraag groot was. Een paar moduleteams gaven aan dat toetsregels na verloop van tijd wat soepeler zijn geworden (bijvoorbeeld met betrekking tot de kansrijk gezakten ). Af en toe kwam de wens naar voren om meer uniformiteit te bereiken in de zak- en slaagregels tussen opleidingen. Gedeeld onderwijs In de tweede module wordt meer gedeeld dan in de eerste module. Wel wordt dit lastig gevonden doordat er verschillende regels gelden wanneer examencommissies het niet met elkaar eens zijn, doordat er meer afstemming nodig is en doordat studenten van verschillende opleiding andere voorkennis hebben. Ook werden de wiskunde- en M&T-leerlijn gedeeld. Over de M&T-leerlijn vallen geen harde conclusies te trekken wegens het lage aantal respondenten. De wiskundeleerlijn lijkt in deze module goed in elkaar te zitten de hoor- en werkcolleges sluiten goed op elkaar aan. Het niveau van de wiskundeleerlijn was volgens het overgrote deel van de OLD s passend. Wel gaf de meerderheid van de OLD s aan dat er (nog) geen sprake is van aansluiting met de overige moduleonderdelen. Projecten en tutoring In alle modules zat een project. De aard van dit project verschilde per opleiding: bij in ieder geval acht opleidingen was er sprake van toepassingsprojecten en bij vijf opleidingen was het doel om niet alleen kennis toe te passen, maar dat studenten nieuwe kennis en vaardigheden op zouden doen gedurende het project. Er zat veel verschil tussen opleidingen wat betreft de invulling dan de tutorrol. Tutoren hadden in de helft van de gevallen wel een taak of rol als inhoudsdeskundige, het beoordelen van (tussen-)producten of een rol als mentor en in de andere helft van de gevallen juist niet. Een punt van aandacht is echter dat er ook binnen opleidingen verschil zat in de begeleiding die tutoren gaven. Per tutor verschilde het bijvoorbeeld in hoeverre de studenten eigen verantwoordelijkheid moesten nemen in het maken van afspraken of de mate waarin inhoudelijke feedback werd gegeven. Roosters en zalen Moduleteams uitten een aantal klachten en wensen over de verroosteringen en beschikbaarheid van zalen. Vier opleidingen gaven aan dat een jaarzaal erg belangrijk was voor hun opleiding. Men was ontevreden over de beschikbaarheid van geschikte (project-)ruimten. Ook waren sommige moduleteams van mening dat de verroostering qua zalen geoptimaliseerd zou kunnen worden. Zo hadden studenten niet altijd voldoende tijd om tussen onderwijsbijeenkomsten en/of toetsen van het ene gebouw naar het andere te fietsen.

131 15 april 2014 POV/178/14/sts/oak 47 van 69 BSA De tweede module was spannend in verband met het BSA. Het BSA heeft positieve effecten: het werkt als stok achter de deur en studenten modderen minder lang aan omdat ze eerder stoppen met de studie wanneer ze deze niet aan blijken te kunnen. Het BSA had echter ook een keerzijde. De combinatie van TOM en het BSA werd door studenten als een druk ervaren. Voor sommige studenten werkte de angst en stress verlammend, wat tot averechtse effecten leidt. Tot slot had het BSA voor docenten als nadeel dat docenten toetsen in zeer korte termijn (voor de 1 februari deadline) nagekeken moesten hebben, wat de werkdruk vergrootte. Vergelijking met module 1 ( ) Hoewel het verleidelijk is om de twee modulen met elkaar te vergelijken, is het van belang om te weten dat module 2 al bijna afgerond was op het moment dat het evaluatierapport van module 1 gereed was. Deze vergelijking is dan ook alleen bedoeld om de verschillen en overeenkomsten in de implementatie van TOM te laten zien. - TOM-visie: Een opvallend verschil met module 1 is dat er tijdens de MM-gesprekken veel duidelijker ontevredenheid over TOM als onderwijsmodel en het modulesysteem geuit werd; - Werkdruk studenten: Het meest opvallende verschil is dat de werkdruk onder studenten iets minder lijkt te zijn dan in module 1. Wel lijkt de stress onder studenten iets te zijn toegenomen, vanwege het BSA; - Werkdruk docenten: De werkdruk onder docenten is ongeveer gelijk aan de werkdruk in module 1. Oorzaken voor een hoge werkdruk zijn blijvende factoren, dus de verwachting is ook niet dat de werkdruk afneemt wanneer de nieuwigheid van TOM eraf is ; - Verantwoordelijkheid voor het leerproces: Net als in module 1, worstelden moduleteams ook in module 2 met de houding van studenten en het geven of nemen van verantwoordelijkheid; omdat de studenten hun verantwoordelijkheid niet altijd namen. - Toetsing: De voorbereidingstijd voor toetsen werd door studenten nog steeds als te krap ervaren. Dit is vergelijkbaar met module 1. De aard van de toetsing verschilde nauwelijks met die van module 1: er werd nauwelijks diagnostisch, compensatoir of geïntegreerd getoetst. Wanneer het ingevulde Maturity Model van module 1 vergeleken wordt met die van module 2, kan geconcludeerd worden dat het UT-brede beeld in tien weken tijd niet veel veranderd is. De manier waarop de modules 2 zijn uitgevoerd verschillen niet sterk met modules 1. Er is echter wel een belangrijk ander verschil: in vergelijking tot module 1 zit er in module 2 veel meer spreiding in hoe er over TOM wordt gedacht. Het ene moduleteam is erg positief over TOM, terwijl andere teams uitgesproken negatief zijn.

132 15 april 2014 POV/178/14/sts/oak 48 van 69 Discussie Kanttekening bij de methode In het resultatendeel van dit rapport is te zien dat veel onderwerpen bij een heel aantal MMgesprekken niet ter sprake is geweest. Dit komt doordat de gesprekken bewust heel open gehouden zijn; vaak is begonnen met de vraag hoe de module ging. Dit is gedaan om redelijk snel veel informatie op te halen over wat moduleteams op het hart hebben. Het voordeel van dit open interviewen is dat er echt geluisterd kan worden en dat er niet op antwoorden aangestuurd wordt. Het nadeel hiervan is dat er in een uur tijd lang niet alle onderwerpen aan bod kunnen komen. Een tweede kanttekening bij de gehanteerde methode is dat er alleen informatie is opgehaald uit het primaire proces; er is niet gesproken met de diensten. Dit betekent dat de conclusies gedaan zijn op een eenzijdig beeld van de situatie; er is puur gekeken naar de wens van de opleidingen, zonder hierbij de haalbaarheid (vanuit de diensten) in ogenschouw te namen. Wel is door de evaluatoren getracht om de aanbevelingen zoveel mogelijk in hun context te plaatsen. De conclusies en aanbevelingen moeten in dit licht bekeken worden. Uit deze evaluatie blijkt dat de moduleteams heel verschillend over TOM denken. Sommige moduleteams zijn uitgesproken negatief, terwijl anderen behoorlijk positief zijn over het onderwijsmodel. De meningen hierover liggen meer uiteen dan in de eerste module. Het is aannemelijk dat de mening die men over TOM heeft, van invloed is op hoe de module eruit ziet. Dit beeld komt echter niet uit deze evaluatie naar voren, omdat de scores op de Maturity Modellen dicht bij elkaar liggen. Hier moet echter de kanttekening bij geplaatst worden dat het om een zelfscore gaat: de moduleteams vullen zelf de Maturity Modellen in. Het ene team zal de uitgevoerde module een lagere score geven, terwijl een ander team eenzelfde soort module juist een hogere score geven. Dit is een nadeel van het hanteren van zelfscores. Verantwoordelijkheid over het leerproces Opvallend was dat veel moduleteams, net als in module 1, worstelen met het geven van verantwoordelijkheid van studenten. Sommige moduleteams gaven aan dat het niet past bij B1- studenten. Anderen signaleerden dat studenten niet deden wat er van ze verwacht werd. Deze worsteling is logisch. Enerzijds heeft de druk om de module in één keer te moeten halen tot gevolg dat docenten de studenten graag bij de hand willen houden en de studenten dit zelf ook graag willen, anderzijds moeten zowel docenten als studenten hier ook gewoon aan wennen. Wanneer de docent de verantwoordelijkheid voor leren bij studenten legt, terwijl zij hier nog niet aan gewend zijn, geven studenten de verantwoordelijkheid weer terug aan de docent. De verleiding is dan groot om in het oude gedrag terug te vallen. Wanneer docenten de verantwoordelijkheid weer terug nemen, kan dit leiden

133 15 april 2014 POV/178/14/sts/oak 49 van 69 tot passieve studenten. Dit voelt dan als een bevestiging van wat de docent al verwachte: de student kan de verantwoordelijkheid niet aan. Uniformiteit bij examencommissies Veel opleidingen gaven aan zich zorgen te maken over de grote diversiteit op de UT en het mogelijke gevoel van ongelijkheid tussen studenten van verschillende opleidingen. Men heeft behoefte aan een overzicht van al deze verschillende regelingen en meer uniformiteit in regels bij gedeeld onderwijs. Hierbij moet opgemerkt worden dat er vóór TOM ook al een diversiteit aan regels bestond. Doordat onderwijs met TOM soms gedeeld wordt en doordat er bij een onderwijsvernieuwing kritisch naar alle aspecten (inclusief de regels en richtlijnen) gekeken wordt, komt de diversiteit nu meer aan het licht. Wiskundeleerlijn In een aantal MM-gesprekken werd opgemerkt dat de wiskundeleerlijn niet samenhing met de overige module-onderdelen, ook bleek uit de OLD-vragenlijst. Dit is slechts een constatering; uit deze evaluatie blijkt niet of men negatief vond. Om de samenhang te bevorderen, is het van belang om dat de werkcollegedocenten met moduleteams in gesprek gaan en de discussie aangaan hoe ze de wiskunde zo veel mogelijk aan kunnen laten sluiten; gekeken moet worden naar wat er in de huidige opzet van de wiskundeleerlijn mogelijk is. Toetsing Net als in de eerste module werden toetsen vaak ingezet met als doel om studenten aan het werk te zetten. Hoewel studenten in de SEQ aangaven dat de toetsen gestimuleerd hebben om te leren, gaven zij ook aan dat ze onvoldoende voorbereidingstijd hadden voor de toetsen. De vraag is of veel toetsen afnemen een passend middel is om studenten aan het werk te zetten. Om de werkdruk onder studenten (van toets naar toets leren) en docenten (veel voorbereiding en nakijkwerk) te verlagen, zou er kritisch gekeken moeten worden naar de hoeveelheid aan toetsen en de wijze waarop er getoetst wordt. SEQ In de SEQ geven studenten een cijfer aan de module om de algemene tevredenheid aan te geven. Het gemiddelde van dit cijfer was maar een kleine voldoende (5,9). Het is van belang om dit cijfer in zijn context te plaatsen. In dezelfde SEQ gaf namelijk bijna driekwart van de studenten aan deze module aan te bevelen aan anderen. Ook gaven de studenten aan veel geleerd te hebben van docenten, tutoren en student-assistenten en dat het onderwijs van de module goed aansloot op de manier waarop ze leerden. Het relatief lage cijfer is wellicht te verklaren doordat studenten negatieve punten zwaarder mee laten wegen dan de positieve punten. Het is dus niet gezegd dat er geen werk gemaakt hoeft te worden van de verbetering van de module.

134 15 april 2014 POV/178/14/sts/oak 50 van 69 De studenten gaven aan ontevreden of negatief te zijn over de werkdruk, onvoldoende voorbereidingstijd voor toetsen, de organisatie van de module, onduidelijk wat er van hen verwacht werd en of het project hen een oplossing voor het probleem leerden testen (aangegeven met een rood stoplicht in de SEQ). De scores op de laatste twee stellingen zijn niet per se negatief, ook al doet een rood stoplicht anders vermoeden. Het kan bijvoorbeeld een bewuste keuze zijn om de student, in het licht van hun vorming, zelf dingen te laten uitzoeken en niet alles helemaal te expliciteren. Ook kan het een bewuste keuze zijn geweest om de rol van onderzoeker of evaluator niet in het project te integreren.

135 15 april 2014 POV/178/14/sts/oak 51 van 69 Deel VI Aanbevelingen Deze aanbevelingen zijn geformuleerd op informatie verkregen uit het primaire proces. Er is niet met de diensten gesproken betreffende de haalbaarheid van de aanbevelingen. Wel is in de formulering van de aanbevelingen geprobeerd rekening te houden met de context. (Her)ontwerpen Uit de MM-gesprekken kwam naar voren dat opleidingen graag een voorbeeld zouden willen zien van een module zoals die beschreven staat in fase 5 van het Maturity Model. Veel opleidingen uitten namelijk hun zorg of deze vorm van onderwijs wel passend is voor eerstejaars studenten. Op basis van deze vraag is de eerste aanbeveling geformuleerd. De tweede aanbeveling is gebaseerd op de gesprekken met een aantal moduleteams. Meerdere keren is het naar voren gekomen dat moduleonderdelen met elkaar concurreren. De moduleonderdelen die op de achtergrond raken zijn meestal de kleinere moduleonderdelen, of de moduleonderdelen die niet zwaar meetellen voor het eindcijfer van de module. Een paar opleidingen gaven aan volgend jaar de module te herontwerpen zodat de module bestaat uit minder moduleonderdelen. Wanneer de onderdelen in de module van substantiële grootte zijn, hoeven de studenten minder vaak te switchen van onderwerp. Het beter integreren van de verschillende moduleonderdelen hangt hier ook sterk mee samen. Wanneer de studenten de samenhang tussen de verschillende moduleonderdelen zien, zullen ze waarschijnlijk beter inzien waarom de onderdelen belangrijk zijn. Het onderwerp toetsing blijft een lastig onderdeel; vandaar dat de derde aanbeveling is geformuleerd. Deze aanbeveling kwam ook na de evaluatie van module 1 naar voren. 1. Aanbeveling: Er moet worden voorzien in de behoefte van opleidingen aan een (Bachelor 1) voorbeeldmodule die voldoet aan de beschrijving van fase 5 (Maturity Model). Geadresseerde: De OD en POV dienen opleidingen hierin te ondersteunen. 2. Aanbeveling: Houd bij het (her)ontwerpen van de modules er rekening mee dat moduleonderdelen met elkaar kunnen concurreren; de module dient daarom niet te bestaan uit veel (kleine) moduleonderdelen. Geadresseerde: Dit is de verantwoordelijkheid van de opleidingen. De OD dient hier de opleidingen in te ondersteunen. 3. Aanbeveling: Overweeg om de werkdruk van de studenten en docenten te verlagen door op slimmere manieren te toetsen. Bijvoorbeeld toetsen per module-leerdoel in plaats van het toetsen van de afzonderlijke onderdelen; geïntegreerd toetsen en inhoudelijk te compenseren. Geadresseerde: Ondanks dat dit onder de verantwoordelijkheid valt van de opleidingen, dient de OD en Programmabureau Onderwijsvernieuwing (POV) een trekkende rol in te nemen en actief de kennis m.b.t. tot toetsen en compenseren onder docenten te bevorderen.

136 15 april 2014 POV/178/14/sts/oak 52 van 69 Verantwoordelijkheden en tutoring Een kwart van de opleidingen heeft gedurende de tweede module peer feedback ingezet. Bij sommige opleidingen is dit zeer goed verlopen, bij andere opleidingen was de feedback die door studenten werd gegeven onder de maat. Daarnaast gaven een aantal opleidingen aan dat ze het lastig vonden om studenten individueel te beoordelen wanneer ze een groepsopdracht hadden uitgevoerd, of merkten opleidingen dat studenten het werk in hun groepsopdracht opsplitsten en aan op het eind achter elkaar plakten. De opleidingen zouden graag voorbeelden zien en bij de invoering hiervan ondersteund worden. Op basis van deze behoefte is aanbeveling 4 geformuleerd. Uit de resultaten kwam naar voren dat de rol van tutor door de opleidingen heel verschillend wordt vervuld. Binnen de ene opleiding is de tutor puur procesbegeleider, binnen de andere opleiding is hij ook expert en/of vervult de tutor een mentor rol. Dat deze verschillen tussen opleidingen bestaan is geen probleem. Wat wel een punt van aandacht is, is dat de rol van tutor ook soms binnen eenzelfde opleiding verschillend wordt vervuld. Een verschil in begeleiding binnen eenzelfde opleiding kan zorgen voor een gevoel van ongelijkheid tussen de verschillende projectgroepen. Vandaar dat aanbeveling 5 is geformuleerd. 4. Aanbeveling: Er moet voorzien worden in de behoefte van opleidingen aan goede ondersteuning op het vlak van: het inzetten van peer feedback/reviewing, individuele beoordeling in groepswerk en het bevorderen van kennisdeling binnen een projectgroep i.p.v. het opsplitsen van taken en nadien het samenvoegen van individueel werk. Geadresseerde: De OD dient opleidingen hierin te ondersteunen. 5. Aanbeveling: Zorg ervoor dat tutoren binnen eenzelfde module dezelfde begeleiding geven. Geadresseerde: Dit valt onder de verantwoordelijkheid van de opleidingen, hierbij kan gebruik worden gemaakt van de tutortrainingen aangeboden door de OD. Zak- en slaagregelingen De tweede module was een spannende module in verband met het BSA. Om ervoor te zorgen dat de goede studenten niet uit zouden vallen door problemen met het modulesysteem was de behoefte voor duidelijkheid rondom zak- en slaagregelingen groot. Opleidingen gaven aan meer duidelijkheid te willen over de richtlijnen die vanuit het CvB zijn opgesteld, wat er nou wel en wat niet mag/kan binnen TOM met betrekking tot bijvoorbeeld het repareren van losse moduleonderdelen en/of het verstrekken van een uitgesteld BSA. Op basis van deze behoefte aan duidelijkheid is aanbeveling 6 geformuleerd. Aanbeveling 7 is geformuleerd omdat er naast de duidelijkheid over de richtlijnen van de zak- en slaagregelingen ook onduidelijkheid was over welke regelingen andere opleidingen hebben. Veel opleidingen gaven aan zich zorgen te maken over de grote diversiteit op de UT en het mogelijke gevoel van ongelijkheid tussen studenten van verschillende opleidingen. Men heeft behoefte aan een

137 15 april 2014 POV/178/14/sts/oak 53 van 69 overzicht van al deze verschillende regelingen. Daarnaast werd vooral door de opleidingen die modules delen aangegeven dat het lastig is wanneer verschillende examencommissies betrokken zijn bij één module. Dit zou er namelijk in kunnen resulteren dat studenten binnen eenzelfde module te maken krijgen met verschillende regels. 6. Aanbeveling: Er moet meer duidelijkheid komen over de richtlijnen van de zak- en slaagregelingen (bandbreedte) waarbinnen opleidingen/examencommissies hun opleidingsspecifieke regelingen kunnen formuleren. Geadresseerde: CvB/S&B dient meer duidelijkheid te verschaffen over deze bandbreedte. 7. Aanbeveling: Beperk het aantal zak/slaagregelingen om het mogelijke gevoel van ongelijkheid tussen studenten van verschillende opleidingen te minimaliseren (dit is vooral van toepassing bij gedeeld onderwijs). Geadresseerde: Dit is de verantwoordelijkheid van de opleidingen en examencommissies. De OD en POV dienen hierbij te ondersteunen. Blackboard en Osiris Uit de resultaten blijkt dat docenten en vooral modulecoördinatoren een erg hoge werkdruk hebben. Deze hoge werkdruk komt deels doordat er veel extra organisatorische taken moeten worden uitgevoerd. Hier kwam bij dat Osiris en Blackboard een aantal problemen kennen. Een aantal opleidingen gaven aan dat deze onderwijssystemen niet goed passen bij TOM. Een probleem bij Osiris is dat de optelsom van de verschillende deelcijfers (weging in acht nemend), precies op 100% moet uitkomen. Wanneer de module bijvoorbeeld bestaat uit drie toetsen (met een gelijke weging) komt de optelsom uit op 99,9% en Osiris accepteert dat niet. Wanneer men de weging hierop iets aanpast (één toets 33,4% mee laat tellen) kan dit van invloed zijn op de afronding van het eindcijfer van de module en daarmee het behalen of niet van de module. Daarnaast moet binnen Osiris voor elk moduleonderdeel een deelcijfer worden ingevoerd. Wanneer de opleiding verschillende moduleonderdelen geïntegreerd toetst, levert dit problemen op bij de invoering van deze deelcijfers in Osiris. Een kanttekening die bij deze behoefte aan oplossingen geplaatst moet worden, is dat er binnen Osiris veel mogelijkheden zijn. Opleidingen en moduleteams hebben vaak geen weet van deze mogelijkheden, waardoor frustraties ontstaan. De meeste problemen kunnen worden opgelost door een betere samenwerking en contact tussen de moduleteams en de key-users van Osiris. Op basis hiervan is aanbeveling 8 geformuleerd. Binnen TOM heeft een module één Blackboardpagina. Dit houdt in dat verschillende docenten informatie op de pagina toe moeten voegen. Om ervoor te zorgen dat de Blackboardpagina overzichtelijk blijft, zullen de docenten de informatie op eenzelfde manier op de pagina moeten plaatsen. Vandaar dat aanbeveling 9 is geformuleerd.

138 15 april 2014 POV/178/14/sts/oak 54 van 69 Aanbeveling 10 heeft hier ook mee te maken. Meerdere opleidingen gaven aan dat Blackboard geen overzichtelijke leeromgeving is. Onhandigheden die werden aangegeven waren: 1. docenten die onderwijs verzorgen voor een gedeeld moduleonderdeel moeten dubbel werk doen. Ze moeten dezelfde informatie namelijk op beide Blackboardpagina s publiceren; 2. wanneer docenten of studenten een mail ontvangen vanuit Blackboard is het voor hen niet te zien wie deze informatie allemaal heeft gekregen en wie de informatie op Blackboard heeft geplaatst. 8. Aanbeveling: Er dient beter afgestemd te worden tussen de opleidingen/moduleteams en de keyusers van Osiris; zodat er beter kan worden aangesloten op de wensen en behoeften van de opleidingen (denk aan wegingen van deelcijfers, geïntegreerde toetsen, etc.). Geadresseerde: Deze aanbeveling dient in samenwerking opgepakt te worden door CES (IM FAB) en de opleidingen/moduleteams. 9. Aanbeveling: Zorg ervoor dat docenten binnen een moduleteam de Blackboardomgeving op dezelfde manier gebruiken/inrichten. Geadresseerde: Dit is de verantwoordelijkheid van de opleidingen, ze kunnen hierbij ondersteund worden door CES (IM FAB en de OD) en/of gebruik maken van de website: Aanbeveling: Zorg voor een werkbare Blackboard-omgeving; waarbij docenten geen extra werk hoeven te doen bij gedeeld onderwijs. Ook moet het voor de gebruikers duidelijk zijn, bij een verzonden mail via Blackboard, of een boodschap voor hen bedoeld is en wie deze boodschap allemaal hebben ontvangen. Geadresseerde: CES (IM FAB en OD) dient deze aanbeveling op te pakken. Roostering Een onderwerp dat bij meerdere gesprekken naar voren kwam, was ontevredenheid over beschikbare ruimtes. Meerdere opleidingen gaven aan dat er niet genoeg projectruimtes voor de studenten beschikbaar waren, waar ze gedurende zelfstudie-uren konden gaan zitten. Een aantal opleidingen sprak de wens uit om jaarzalen te herintroduceren. Doordat er binnen TOM meer contacturen zijn en er vaker wordt getoetst, zijn er vaker grote zalen nodig. Hierdoor wordt het voor het verroosteren van alle bijeenkomsten een erg lastige puzzel. Om beter aan te kunnen sluiten op de wensen van de opleidingen zou meer afstemming tussen het roosterteam, FB en de opleidingen gewenst zijn. Op basis hiervan is aanbeveling elf geformuleerd. 11. Aanbeveling: Er dient beter afgestemd te worden tussen de opleidingen, het roosterteam en FB; zodat er beter kan worden aangesloten op de wensen en behoeften van de opleidingen (denk aan het soort zalen, de locatie op de campus, etc.) Geadresseerde: Deze aanbeveling dient in samenwerking opgepakt te worden door het roosterteam FB en de opleidingen.

139 15 april 2014 POV/178/14/sts/oak 55 van 69 Onderwijsverdeelmodel Tijdens gesprekken met de opleidingen kwam meerdere keren naar voren dat het onderwijs qua docenturen veel duurder is geworden. Docenten die betrokken zijn bij de module besteden veel tijd aan onderwijs en kunnen weinig tijd besteden aan bijvoorbeeld hun onderzoek of het begeleiden van PhDers. Een paar opleidingen spraken de wens uit om het onderwijsverdeelmodel hierop aan te passen. Nu is de situatie dat het onderwijsverdeelmodel net is vastgesteld en op korte termijn niet zal worden aangepast. Wel is er al een evaluatie gepland, vandaar dat aanbeveling twaalf is geformuleerd. 12. Aanbeveling: TOM maakt het onderwijs qua docenturen extra duur; doordenk bij de geplande evaluatie en mogelijke aanpassing van het onderwijsverdeelmodel de optie om extra geld/ec s beschikbaar te stellen voor modulecoördinatoren en docenten die extra (organisatorische) taken moeten uitvoeren. Geadresseerde: Deze aanbeveling dient opgepakt te worden door FEZ.

140 15 april 2014 POV/178/14/sts/oak 56 van 69 Bijlage 1: Uitkomsten OLD-Zelfevaluatie vragenlijst

141 15 april 2014 POV/178/14/sts/oak 57 van 69

142 15 april 2014 POV/178/14/sts/oak 58 van 69

143 15 april 2014 POV/178/14/sts/oak 59 van 69

144 15 april 2014 POV/178/14/sts/oak 60 van 69

145 15 april 2014 POV/178/14/sts/oak 61 van 69

146 15 april 2014 POV/178/14/sts/oak 62 van 69

147 15 april 2014 POV/178/14/sts/oak 63 van 69 Bijlage 2: Uitkomsten SEQ UT-breed

148 15 april 2014 POV/178/14/sts/oak 64 van 69

149 15 april 2014 POV/178/14/sts/oak 65 van 69

150 15 april 2014 POV/178/14/sts/oak 66 van 69

151 15 april 2014 POV/178/14/sts/oak 67 van 69

152 15 april 2014 POV/178/14/sts/oak 68 van 69 Bijlage 3: Vergelijking MM uitkomsten module 1 en module 2. Algemeen beeld van de TOM-implementatie, weergegeven als boxplots in het Maturity Model: (bovenste figuur betreft M1, onderste figuur betreft M2)

153 15 april 2014 POV/178/14/sts/oak 69 van 69 Bijlage 4: Maturity Model zelfevaluatie modulecoördinatoren