Vakevaluatie methoden Overzicht van methoden en overwegingen, en een toekomstvisie Lijst Bèta Maaike Boot 2014-2015
Inhoud Inleiding... 3 Samenvatting... 4 1. Algemeen... 5 2. Gedeelde thema s... 6 Moment... 6 Opkomst... 7 Docent aanwezig... 8 Implementatie... 8 Overig... 8 3. EvaTool en toekomst... 10 Vakevaluatie methoden Maaike Boot 2/12
Inleiding De Technische Universiteit in Delft groeit. Al jaren neemt het aantal studenten toe, zonder grote veranderingen op het gebied van faciliteiten of personeel. Dit laat zijn sporen na in het onderwijs: jaarlagen worden groter; colleges worden steeds vaker in geschakelde collegezalen gegeven en het contact tussen docent en student wordt oppervlakkiger, met name in de bachelor. De TU Delft werkt hard om het onderwijs zo goed te houden als het was, en waar nodig te verbeteren. Vakevaluaties zijn in dit proces een cruciale factor. Door verbeterpunten van dit jaar mee te nemen naar het volgende jaar kunnen vakken structureel worden verbeterd. De studieverenigingen, met name de onderwijscommissarissen, spelen een belangrijke rol bij de evaluaties. Zij fungeren als de brug tussen de student en het personeel van de universiteit en zorgen voor de overdracht van de evaluaties van de studenten naar de docenten of onderwijsdirecteur. Elke studievereniging evalueert op zijn eigen manier. Alle methoden hebben overeenkomsten, maar ook verschillen. De communicatie onderling kan beter: het komt voor dat één studievereniging met een probleem kampt dat bij een andere studievereniging al is opgelost. Om de studieverenigingen gebruik te laten maken van elkaars kennis, is er een inventarisatie geweest van de evaluatiemethoden aan de hand van een vragenlijst die per mail is verstuurd (zie bijlage 1). Hierop hebben elf studieverenigingen gereageerd; de uitgeschreven reacties zijn te vinden in de bijlage (zie bijlage 2). Het verslag geeft de belangrijkste overeenkomsten en verschillen. In juni 2014 is er een gesprek geweest tussen de studieverenigingen over precies dit onderwerp. De notulen hiervan zijn ook bijgevoegd in bijlage 3. Dit verslag heeft ten eerste als doel om duidelijkheid te geven over de methode van elke studievereniging, zodat die informatie voor elke studievereniging beschikbaar is. Dit zal worden beschreven in het eerste hoofdstuk algemeen. Daarnaast is een doel om de gezamenlijke thema s te identificeren en de verschillende oplossingen daarvoor uiteen te zetten, te vinden in het tweede hoofdstuk: gedeelde thema s. Als laatste is er een korte introductie van een programma dat waarschijnlijk breder gaat worden ingezet: EvaTool. Hoofdstuk 3 blikt vooruit op de methoden die waarschijnlijk in de nabije toekomst gaan worden ingezet voor het evalueren. Vakevaluatie methoden Maaike Boot 3/12
Samenvatting Om de verschillende manieren van evalueren in kaart te brengen en om de studieverenigingen meer kennis te geven van elkaars methoden, is er een inventarisatie gedaan volgens een vragenlijst (zie bijlage 1). De volledige antwoorden hierop zijn te vinden in de bijlage (zie bijlage 2). Uit deze antwoorden wordt duidelijk dat alle studieverenigingen een kwalitatieve en een kwantitatieve methode gebruiken, die elkaar versterken. EvaSys enquêtes worden gebruikt als kwantitatieve methode en College Responsie Groepen, 3 tot 15 studenten, leveren de input voor de kwalitatieve methode. In de kwantitatieve enquête wordt bewijs geleverd voor de knelpunten die in de kwalitatieve sessie worden genoemd. Tegelijkertijd levert de kwalitatieve sessie oplossingen en uitleg voor de knelpunten uit de kwantitatieve evaluatie. Ook was duidelijk dat de studieverenigingen dezelfde thema s overwegen, waaronder de volgende. Voor het moment van de evaluatie waren drie mogelijkheden; week vijf, week 8 en week 2 van de nieuwe periode. Ieder moment had zijn eigen voor- en nadelen, waardoor er geen conclusie is te geven over het beste moment. Ieder moment kan werken voor de vereniging, als deze bewust is gekozen. De opkomst was een ander thema dat studieverenigingen bezig hield. Voor de EvaSys enquêtes geldt met betrekking tot de opkomst dat de respons kan vervijfvoudigen als deze fysiek wordt uitgedeeld op het tentamen. Verder werden er door de studieverenigingen verschillende methoden gebruikt om mensen te werven. Communicatie was een duidelijke factor: het hielp erg om goed te communiceren wat het nut van de evaluaties was. Een gratis lunch is ook altijd een goede motivatie. Sommige studieverenigingen kiezen er bewust voor om de evaluaties te laten houden door een kleine groep studenten per jaarlaag. Dit groepje is ingericht als een commissie, en is ook echt verantwoordelijk voor de evaluaties. Ook de aanwezigheid van de docent varieerde. Evalueren zonder docent heeft als voordeel dat de studenten makkelijker spreken en zich niet geremd voelen. Evalueren met docent heeft als voordeel dat de docent dingen kan ophelderen en om verduidelijking kan vragen. Bij de implementatie werd duidelijk dat de meeste studieverenigingen graag een reactie van de docent naar de studenten toe verplicht willen stellen. Een aantal studieverenigingen hebben dit al ingevoerd. Meestal spreekt de onderwijscommissaris af met de docent hoe de verbeteringen worden doorgevoerd. De ervaring is dat dit meestal ook gebeurt. Als er wordt gekeken naar de studieverenigingen die het meest recent wijzigingen hebben doorgevoerd in de manier van evalueren, kan er iets gezegd worden over de toekomst van evalueren. Een programma dat recent gebruikt wordt is EvaTool. Het lijkt erop dat dit programma breder ingezet gaat worden. EvaTool voegt de resultaten van de verschillende evaluaties samen en mailt deze naar de docent. Het persoonlijk contact in deze methode wordt gemist. Ook wordt genoemd dat de docent op deze manier te laat in deze evaluatiecyclus wordt betrokken. Het is waarschijnlijk dat de evaluaties binnen de TU de komende jaren een vorm aannemen die meer is als deze. Vakevaluatie methoden Maaike Boot 4/12
1. Algemeen Bij het inventariseren van de verschillende evaluatiemethodes werd al snel duidelijk dat er een duidelijke, gemeenschappelijke opzet is voor alle evaluaties. Die opzet zal hier worden beschreven. Voor elke studie worden de vakken zowel kwantitatief als kwalitatief geëvalueerd, waarbij de kwalitatieve evaluatie wordt gebruikt als toelichting op de kwantitatieve uitkomsten. Voor de kwantitatieve input worden bij elke studie EvaSys enquêtes gebruikt. Dit zijn enquêtes van 1 tot 6 A4 tjes met meerkeuzevragen of Likert-schalen waarbij de student zijn mening kan geven over verschillende aspecten van het vak. De respons op deze enquêtes wisselt aanzienlijk (daarover meer in hoofdstuk 2 onder opkomst ), maar over het algemeen vult een representatief aandeel van de studenten de enquête in. De uitkomsten van deze enquête geven goed aan wáár de knelpunten liggen, maar niet wat er precies fout gaat of wat er als oplossing gevoerd kan worden. Dit is waar de kwalitatieve sessies hulp bieden. De kwalitatieve input wordt bij elke studievereniging geleverd door een groep studenten. Bij sommige studieverenigingen heten deze College Responsie Groep (CRG), bij andere Jaar Commissie of Evaluatie Commissie, maar ze hebben allemaal hetzelfde doel: meer diepgang geven aan de EvaSys uitkomsten. Bij deze bijeenkomsten wordt aan de hand van een standaard lijstje besproken hoe een vak is bevallen. De knelpunten worden besproken en oplossingen overwogen. De onderwijscommissaris van de studievereniging is hier in alle gevallen aanwezig en leidt de sessie. Hoe deze input wordt teruggekoppeld naar de onderwijsdirecteur en docent verschilt erg per studievereniging, dit wordt besproken in hoofdstuk 2 onder implementatie. De kwalitatieve en kwantitatieve evaluaties versterken elkaar: bij de kwantitatieve enquête wordt bewijs geleverd voor de knelpunten die in de kwalitatieve sessie worden genoemd. Daarnaast levert de kwalitatieve sessie oplossingen voor de knelpunten uit de kwantitatieve evaluatie. Hoewel deze combinatie dus overal aanwezig is, zijn er nog vele varianten van de aanpak, die in het volgende hoofdstuk besproken zullen worden. Vakevaluatie methoden Maaike Boot 5/12
2. Gedeelde thema s Bij het analyseren van de antwoorden op de vragenlijst, werd al snel duidelijk dat veel studieverenigingen over dezelfde thema s nadenken. Deze thema s zijn bijvoorbeeld het moment, de opkomst, de rol van de docent of de implementatie. Ieder heeft hier zijn eigen oplossing voor, met zijn eigen redenen. In dit hoofdstuk worden de oplossingen met de overwegingen gegeven. Moment Voor de studieverenigingen die gebruik maken van een CRG methode, is het moment van de evaluatie vaak van belang voor de opkomst. Natuurlijk is dit moment minder van belang wanneer de studievereniging gebruik maakt van een jaarcommissie, een begrip dat later nog wordt toegelicht. De waarde van de input verschilt ook per moment. Daarom worden de voor- en nadelen van elk moment hieronder uiteengezet. Uit de resultaten werd duidelijk dat er drie momenten zijn die veel worden gebruikt voor de evaluaties, ieder met zijn eigen voor- en nadelen. 1. Halverwege de periode 2. Aan het eind van de periode 3. In het begin van de nieuwe periode Vijf studieverenigingen evalueren halverwege de periode. De reden hiervoor is dat een deel van de verbeteringen voor deze periode nog kan worden doorgevoerd, en zo ook de studenten die evalueren er baat bij hebben. Ook zijn studenten op dit moment nog betrokken, omdat het om hún vak gaat. Een nadeel dat hierbij genoemd wordt is dat het vak soms maar net begonnen is, en er daarom weinig te bespreken valt. Drie van deze vijf studieverenigingen kiezen er dan ook voor om twee keer te evalueren; met een extra evaluatie aan het eind van of na het vak. Het voordeel hiervan is dat er meer input is en dat de voordelen van beide momenten worden gecombineerd. Nadeel is dat het de onderwijscommissaris veel tijd kost. Bovendien is de opkomst het tweede moment lager omdat mensen aan het eind minder begaan zijn met het vak. Er zijn twee studieverenigingen die aan het eind van de periode evalueren; één of twee weken voor het tentamen. De reden hiervoor is dat de studenten nog betrokken zijn het vak loopt immers nog, en omdat er op dit moment nog weinig deadlines zijn. Wel is het duidelijk dat de studenten op dit punt niet zitten te wachten op een evaluatie: de opkomst is laag (of moeilijk(er) te krijgen) omdat de tentamenweek dichterbij komt. Het overgrote gedeelte van de studieverenigingen (8 van de 11 die gereageerd hebben) evalueert in het begin van de nieuwe periode. Het grote voordeel hiervan is dat de studenten het minder druk hebben, maar alles over het vak nog wel vers in het geheugen ligt. De input die je op dit moment krijgt is waardevol: het hele vak is al doorlopen, dus er is een totaalplaatje waarbij ook kritiek op het tentamen of de samenhang kan worden besproken. Een nadeel dat veel wordt genoemd, is dat de opkomst matig is omdat de studenten niet zo betrokken meer zijn: het vak is afgerond, waarom nog evalueren? Zij hebben er niets aan. Iedere studievereniging heeft zijn eigen reden om voor dat moment te kiezen, wat een conclusie trekken over het beste moment lastig maakt. De conclusie is vooral dat elk moment geschikt kan zijn als deze bewust gekozen wordt. Vakevaluatie methoden Maaike Boot 6/12
Opkomst De opkomst (of respons) voor zowel de CRG s als de EvaSys enquêtes is ook iets wat veel wisselt. De opkomst voor EvaSys wordt vaak te laag bevonden en voor CRG s is het soms moeilijk om mensen te vinden. Ook hier hebben de studieverenigingen verschillende oplossingen voor gevonden, die hieronder worden beschreven. Één duidelijke conclusie die getrokken kan worden uit de resultaten is dat de EvaSys enquêtes beter worden ingevuld als ze fysiek worden uitgedeeld op het tentamen. Op dit moment worden ze bij veel studieverenigingen per mail verstuurd, maar de respons daarop is heel laag. Door het fysieke uitdelen stijgt het aantal reacties van 10% naar 50 tot 60%. Bij één studievereniging wordt het invullen van de enquête zelfs verplicht door de surveillanten van het tentamen. Een argument om de enquêtes niet fysiek uit te delen is dat Kwaliteitszorg bang is dat het tentamen een te grote invloed heeft op het invullen van de enquête. Volgens die theorie zou een student die het tentamen heel slecht heeft gemaakt de enquête heel negatief invullen. Naar mijn weten zijn er geen gegevens die deze theorie ontkrachten dan wel bevestigen. Voor de College Responsie Groep, waarbij het de bedoeling is dat een wisselende groep van tien tot vijftien studenten de vakken evalueert, gelden andere kwesties. Iets wat vaak genoemd werd is dat deze groep steeds bestaat uit dezelfde mensen, wat de representatie niet ten goede komt. Dit zijn betrokken leden van de vereniging; het grootste gedeelte van de studenten laat zich nooit zien. Echte oplossingen voor dit probleem zijn niet genoemd, behalve het vergroten van de opkomst en de communicatie over het nut van de evaluaties. Om de opkomst te vergroten wordt er vaak een lunch verstrekt door de studievereniging of de faculteit.de opkomst is zoals gezegd vaak afhankelijk van het moment. Bij één van de studieverenigingen wordt het evaluatiemoment gehouden direct na een college van de volgende periode, in dezelfde collegezaal. Hierdoor is de opkomst heel hoog, omdat iedereen blijft zitten. Iedereen die het te evalueren vak niet heeft gevolgd kan de zaal verlaten. Een nadeel hiervan is dat de groep heel groot wordt en dat steeds dezelfde mensen praten. Wel kunnen er stemmingen gehouden worden over wie het ergens mee eens is. Een ander punt dat gerelateerd is aan de opkomst en die vaak naar voren kwam is de communicatie, en dan met name de terugkoppeling over wat er met de enquêtes gebeurt. Bij één studievereniging was de opkomst steeds heel laag, totdat ze actief gingen promoten wat het nut was van de enquêtes en wat ermee gedaan werd. Zo is de opkomst bij die vereniging erg omhoog gegaan. Door veel van de studieverenigingen wordt de communicatie over wat er met de enquêtes gedaan wordt als heel belangrijk ervaren, en tegelijkertijd als te beperkt. De studieverenigingen zien graag dat de docent verplicht is om op de evaluatie te reageren, of dat er in het college wordt genoemd wat de kritiek was en wat er is veranderd. Dit gebeurt nu heel weinig: slechts bij drie studieverenigingen is een reactie op de evaluatie verplicht, en zelfs daar is deze karig. Dit ziet de grote meerderheid van de studieverenigingen graag anders, zodat het zichtbaarder wordt wat er met de evaluaties gebeurd. Het verschil tussen Jaarcommissies en CRG s is ook niet onbelangrijk om te benoemen. Waar de meeste studieverenigingen werken met CRG s, is er ook een minderheid (twee studieverenigingen) die werkt met een vast groepje mensen (vaak slechts drie tot zes) die alle vakken evalueren voor een jaar. Het voordeel hiervan is dat dit groepje studenten de verantwoordelijkheid wordt gegeven om de vakken te evalueren. Zo is de onderwijscommissaris dus niet meer verantwoordelijk voor de Vakevaluatie methoden Maaike Boot 7/12
opkomst van de CRG s en ligt ook de meeste verantwoordelijkheid voor de evaluaties ergens anders. Een nadeel is dat het groepje klein is en daarom misschien minder representatief. Docent aanwezig Iedere studievereniging heeft een bewuste, maar ook duidelijk verschillende, keus gemaakt voor de aanwezigheid van de docent. Bij drie studieverenigingen is de docent bij alle besprekingen aanwezig. Dit is een bewuste keus, om de docent de kans te geven zijn keuzes uit te leggen en zich te verdedigen. Ook kan de docent om verduidelijking vragen als hem iets niet duidelijk is. Zo wordt er tegelijkertijd begrip gekweekt bij de studenten en krijgt de docent persoonlijke feedback. Bij vier studieverenigingen is de docent bij geen van de besprekingen aanwezig, maar communiceert de Onderwijscommissaris de uitkomsten naar de docent. Ook dit is opzettelijk gedaan, omdat studenten vrijuit kunnen spreken over wat ze van een vak vinden, en niet worden geremd door de aanwezigheid van de verantwoordelijke. De studieverenigingen hebben het gevoel dat er op deze manier de meest waardevolle kritiek uitkomt. De onderwijscommissaris krijgt zo de verantwoordelijkheid om de evaluatie in de juiste vorm bij de docent te brengen. De drie overige studieverenigingen hebben een bespreking zonder- en met docent. Hierbij is het gesprek zonder docent een voorbereiding op het gesprek met docent en wordt daar besloten wat de belangrijkste punten zijn om naar de docent te communiceren. Bij het tweede gesprek (vaak nablokbespreking ) gaan er drie tot vijf studenten en de onderwijscommissaris in gesprek met de docent. Vaak is hierbij ook een medewerker van kwaliteitszorg, de onderwijsdirecteur en/of de decaan aanwezig. De extra bijeenkomst bij het evalueren kost de onderwijscommissaris meer tijd, wat een negatief punt is. Implementatie De implementatie de manier waarop de evaluatie wordt doorgevoerd naar verbeteringen voor het vak loopt ook erg uiteen. Bij de meerderheid van de evaluaties wordt meteen om oplossingen gevraagd voor de pijnpunten. Meestal is de onderwijscommissaris degene die controleert of de verbeteringen worden doorgevoerd, maar is de docent hier samen met de onderwijsdirecteur verantwoordelijk voor. Sommige grote veranderingen worden zelfs helemaal buiten de docent om via de onderwijsdirecteur doorgevoerd. Over het algemeen ervaren zowel de onderwijscommissaris als de docent het persoonlijk contact over de evaluaties als prettig. De onderwijscommissaris kan zo punten goed toelichten en de juiste nadruk leggen, terwijl de docent om opheldering kan vragen. Veel studieverenigingen geven aan dat ze het liefst een reactie van de docent op de evaluatie verplicht zouden stellen en bij een aantal is dit al verplicht. Één studievereniging heeft een stoplichtsysteem waarbij de score op de EvaSys enquête bepaalt of dit stoplicht op rood, geel of groen staat. Bij een rood of geel stoplicht is een reactie van de vakcoördinator (modulemanager) verplicht. Deze reactie wordt met de evaluatie online gezet, zodat de studenten kunnen zien wat de docent te zeggen heeft over de evaluatie. Op dit moment wordt er vaak met de docent afgesproken hoe het vak het volgende jaar zal worden aangepast op de evaluatie. Hierbij is de ervaring dat de meeste verbeteringen inderdaad worden doorgevoerd, terwijl andere punten genegeerd worden. Overig Naast de punten die hierboven behandeld zijn, zijn er nog andere dingen die het waard zijn om genoemd te worden. Vakevaluatie methoden Maaike Boot 8/12
Openbaarheid Opvallend was dat de enquêtes vrijwel overal openbaar zijn. Slechts bij twee studieverenigingen zijn de evaluaties niet openbaar en ook niet op te vragen. Geëvalueerde vakken Bij negen van de elf studieverenigingen worden alle vakken geëvalueerd, en slechts bij twee studieverenigingen geselecteerde vakken. Bij één van deze twee studieverenigingen wordt gekeken naar de score uit de EvaSys enquête van het vak; als deze erg negatief is, wordt het vak ook kwalitatief geëvalueerd. Bij de andere studieverenigingen besluiten de onderwijscommissarissen en de FSR samen welke vakken worden geëvalueerd. Evaluatiemoeheid van studenten is de reden dat niet alle vakken geëvalueerd kunnen worden. Inputmomenten Een ander aspect wat eruit sprong bij de resultaten, was dat twee studieverenigingen behalve de evaluaties nog meer momenten hebben om input te verzamelen. Deze studieverenigingen houden flipoversessies na de colleges. Hierbij staat de onderwijscommissaris met een kladblok bij de ingang om de eerste pijnpunten te vragen. De diepgang hierbij ontbreekt, maar het geeft al wel een goed idee van de belangrijkste punten om te evalueren. Vakevaluatie methoden Maaike Boot 9/12
3. EvaTool en toekomst Zoals duidelijk wordt uit dit verslag hebben de studieverenigingen onderling erg verschillende manieren van evalueren, die op dezelfde basis rusten. Wanneer gekeken wordt naar de studieverenigingen die het meest recent wijzigingen hebben doorgevoerd in de manier van evalueren, kan er iets gezegd worden over de waarschijnlijke koers die de evaluaties gaan nemen. Op dit moment wordt er bij de nieuwste methoden van evalueren gebruikt gemaakt van het programma EvaTool. Dit programma combineert de verschillende vormen van evaluatie. Bij de evaluatiebijeenkomst is een aparte notulist aanwezig. De aantekeningen die gemaakt worden zijn groot op het scherm te zien, zodat iedereen aan kan geven of er nog dingen missen of anders moeten worden geformuleerd. Zo is het document na de evaluatiesessie meteen klaar om naar de docent te versturen. EvaTool voegt hier ook de EvaSys resultaten bij en mailt dit als één pakket naar de docent. De docent en de opleidingsdirecteur zijn verplicht hier een reactie op te geven en dit ook naar de studenten terug te koppelen in de volgende bespreking. Meer informatie over dit programma is te vinden op de website 1. Er zijn twee studieverenigingen die deze tool op dit moment al gebruiken. Ze zijn positief over de evaluatiemethode, maar het feit dat de evaluatie per mail naar de docent gaat is niet per se een plus. Het is duidelijk dat de docent het persoonlijk contact mist. Daarom gaat de onderwijscommissaris er vaak zelf ook nog langs. Een ander nadeel van EvaTool dat werd genoemd was dat docenten te laat in de feedbacklus zaten. Ze zijn niet (meer) aanwezig bij de evaluatiebijeenkomst en kunnen daarom niet zelf met oplossingen of verbeteringen komen. Bij de studievereniging waar het evaluatieprogramma nu geheel op de schop gaat, komen er meer informele feedback momenten tussen docent en student, zoals een wekelijks koffiemoment. Hierbij kan de docent een vast groepje studenten vragen hoe zij zijn/haar vak ervaren. Daarnaast willen ze de EvaSys en CRG evaluaties beter op elkaar afstemmen, door de CRG evaluatie als verdiepende slag op de EvaSys evaluatie in te richten. Het is waarschijnlijk dat alle evaluaties binnen de TU binnen de komende jaren een vorm aannemen zoals de bovenstaande. Natuurlijk is evalueren iets dynamisch, en zullen de veranderingen blijven komen. De bedoeling van dit verslag was meer duidelijkheid te scheppen over hoe er geëvalueerd werd en om zo te leren van elkaars redenaties. 1 EvaTool: http://department.st.ewi.tudelft.nl/ Vakevaluatie methoden Maaike Boot 10/12
Lieve onderwijscommissarissen, Met dit verslag hoop ik jullie meer inzicht gegeven te hebben in de overwegingen die schuil gaan achter de verschillende evaluaties. Jullie hebben meer gezichtspunten gezien, die als doel hadden jullie te laten reflecteren op je eigen methoden. Mijn vraag aan jullie is dan ook: kijk kritisch naar de keuzes die jullie maken in je evaluatieproces en vergelijk deze met die van je collega s. Mogelijk hebben jullie reden gekregen om sommige aspecten van de evaluatiemethode te heroverwegen, om deze, en zo het onderwijs, net iets beter te maken. Liefs, Maaike
Lijst Bèta Gebouw 36 Mekelweg 4, Kamer HB 20.150 2628 CD Delft T +31 (0)15 27 83121 W www.lijstbeta.nl