Faculteit der Letteren Evaluatieprotocol Gids voor keuze en toepassing van een adequate methode voor vak- en l september 2004 Afdeling Onderwijs- en Wetenschapsbeleid
2
Inhoudsopgave 1. Inleiding 1.1 Een nieuw evaluatieprotocol 1.2 Faculteits- versus opleidingsperspectief 1.3 Taken en verantwoordelijkheden 1.4 Opzet van het evaluatieprotocol 2 Gids voor de uitvoering van facultaire onderwijsevaluatie 2.1 Vak- en programma-evaluatie: waarom dit onderscheid? 2.2 Hoe vaak moet facultaire onderwijsevaluatie plaatsvinden? 2.3 Wat is de juiste evaluatiemethode voor ons onderwijs? 2.4 Hoe evalueert men een onderwijsgroep groter dan +15 studenten? 2.4.1 Uitleg van de kwantitatieve rapportage en de interpretatie ervan 2.4.2 De ICLON-dienstverlening voor kwantificerende evaluatie 2.5 Hoe evalueert men een onderwijsgroep kleiner of gelijk aan +15 studenten? 2.5.1 Voorbeelden van evaluatievarianten voor kleine onderwijsgroepen waarbij de collegeopkomst hoog is 2.5.2 Voorbeelden van evaluatievarianten voor kleine onderwijsgroepen waarbij de collegeopkomst laag of onvoorspelbaar is 2.6 Hoe kan de anonimiteit van studenten worden gewaarborgd? 3 De follow up van onderwijsevaluatie 3.1 Voor wie zijn de evaluatieresultaten bedoeld? 3.2 Hoe gaat de opleiding om met evaluatieresultaten? 3.3 Hoe om te gaan met evaluatieformulieren met geschreven antwoorden, opmerkingen en suggesties? 3.4 In hoeverre moeten evaluatieformulieren, rapportages en verslagen bewaard blijven? 3.5 Hoe staat het met de openbaarheid van evaluatiegegevens? Bijlagen: a. Facultaire vragenlijst voor kwalitatieve vakevaluatie (mondeling, of schriftelijk als open vragen) b. Facultaire vragenlijst voor kwantitatieve vakevaluatie (schriftelijk, wordt aangeleverd op ICLON-formulieren) c. Facultaire vragenlijst voor kwalitatieve programma-evaluatie (mondeling, of schriftelijk als open vragen) d. Facultaire vragenlijst voor kwantitatieve programma-evaluatie (schriftelijk, wordt aangeleverd op ICLON-formulieren) 3
De tekst van dit evaluatieprotocol is in digitale vorm geplaatst op de facultaire OWB-website op www.letwijzer.leidenuniv.nl Onderwijs- en Wetenschapsbeleid, Onderwijsbeleid, documenten 4
1 Inleiding 1.1 Een nieuw evaluatieprotocol Onderwijsevaluatie vraagt direct naar de ervaringen en meningen van degenen voor wie het onderwijs is bedoeld: de studenten. Goede onderwijsevaluatie levert daarom waardevolle informatie op die in samenhang met andere informatie (bijv. zak/slaaggegevens, rendementen, arbeidsmarktonderzoek bij afgestudeerden) docenten, opleidingen en faculteit in staat stellen het onderwijs zo in te richten en bij te stellen dat de in hun ogen sterke punten kunnen worden behouden en zwakke verbeterd. Het voor u liggende evaluatieprotocol is bedoeld voor alle opleidingen van de Faculteit der Letteren. De reden daarvoor is dat facultair onderwijsbeleid alleen kan slagen als de informatie waarop dit beleid zich baseert, redelijk vergelijkbaar en betrouwbaar is; dit kan alleen als er faculteitsbreed bepaalde eisen worden gesteld aan de evaluatieprocedure. Tegelijk echter is met dit protocol geprobeerd recht te doen aan de verscheidenheid van opleidingsculturen die deze faculteit kenmerkt door binnen dit kader van faculteitsbrede evaluatievereisten zoveel mogelijk ruimte te laten aan opleidingsbehoeften aangaande onderwijsevaluatie. Het evaluatieprotocol is bovendien ook zo opgezet dat een voorschot wordt genomen op de planmatige kwaliteitszorg die elke academische instelling zal moeten gaan hanteren. Concreet betekent dit dat evaluatiegegevens verkregen volgens het protocol direct bruikbaar zijn voor zelfstudies in het kader van visitatie en accreditatie en daarmee extra werk overbodig maken. Dit protocol zou zijn doel voorbijschieten als het teveel procedurele voorschriften en papieren exercities met zich meebrengt; gepoogd is het bureaucratisch gehalte zoveel mogelijk te reduceren. De tijd zal moeten leren in hoeverre het protocol hierin is geslaagd of nog zal moeten worden aangepast: de faculteit wil hier benadrukken dat zij openstaat voor alle suggesties die het draagvlak voor goede onderwijsevaluatie kunnen vergroten. Met dit evaluatieprotocol vervalt de blauwe brochure Evaluatie in de Faculteit der Letteren die tot nog toe de gids voor onderwijsevaluatie was. Veranderingen betreffen vooral de facultaire vereisten en de wijze waarop de follow up plaats zou moeten vinden. 1.2 Faculteits- versus opleidingsperspectief De evaluatie-ervaringen van de afgelopen jaren in de Faculteit der Letteren hebben duidelijk gemaakt dat docenten en opleidingen onderwijsevaluatiegegevens vanuit een ander perspectief benaderen dan de faculteit. Docenten en opleidingen hebben behoefte aan specifieke, genuanceerde informatie die zij direct kunnen vertalen in verbetering van vakken en programma s. De faculteit heeft daarentegen, omwille van de bestuurlijke hanteerbaarheid, behoefte aan meer globale informatie op een aantal kritisch gekozen aspecten die functioneren als een thermometer, een vinger aan de pols; bij gelegenheid van een meerjarengesprek tussen faculteit en opleiding kan die globale informatie dan aanleiding zijn dieper op bepaalde aspecten van het onderwijs in te gaan. Het voorliggende evaluatieprotocol heeft dit onderscheid tot uitgangspunt gemaakt door de faculteitsbrede vereisten alleen te verbinden aan de facultaire thermometer-evaluatie en de docenten en opleidingen in aansluiting hierop alle vrijheid te laten voor eigen, specifieke opleidingsevaluatie. Omwille van de efficiëntie worden in het protocol waar mogelijk suggesties gedaan om beide perspectieven in de uitvoering op elkaar aan te laten sluiten. 1.3 Taken en verantwoordelijkheden 5
Als het gaat om onderwijskwaliteit, en daarmee ook om onderwijsevaluatie, zijn er een aantal spelers in het veld. Het opleidingsbestuur is direct verantwoordelijk voor de kwaliteit van het onderwijs van de opleiding; het faculteitsbestuur geeft richtlijnen hieromtrent en houdt hierop toezicht. Hoogleraren zijn bij uitstek verantwoordelijk voor de inhoud van het onderwijs in het hen toegewezen wetenschapsgebied; aangezien de inhoud zou lijden onder gebrekkige onderwijskwaliteit, heeft ook de hoogleraar een verantwoordelijkheid wat betreft de onderwijskwaliteit en wel in het bijzonder als leidinggevende van de docenten die aan zijn wetenschapsgebied zijn toegewezen. De opleidingscommissie heeft geen formele verantwoordelijkheden, maar adviseert en overlegt met het opleidingsbestuur (en het faculteitsbestuur) volgens haar (wettelijke) taken: a) jaarlijks de uitvoering van het onderwijs (in de zin van de onderwijs- en examenregeling) te beoordelen, en b) gevraagd en ongevraagd advies uit te brengen over de onderwijs- en examenregeling, c.q. over alles wat het onderwijs van de opleiding betreft. Deze taken hebben voor een belangrijk deel gestalte gekregen in het zorg dragen voor de evaluatie van het onderwijs, zowel wat betreft de technische organisatie als wat betreft de verslaglegging en de daaruit voortvloeiende advisering. Zoals gezegd ligt de verantwoordelijkheid voor de onderwijskwaliteit bij het opleidingsbestuur; daaruit vloeit voort dat ook de verantwoordelijkheid voor een goede onderwijsevaluatie bij het opleidingsbestuur ligt. Dit betekent dat als de opleidingscommissie om wat voor reden ook niet in staat is haar uitvoerende taak waar te maken, het opleidingsbestuur naar andere wegen zal moeten zoeken om tot een goede inrichting van onderwijsevaluatie te komen. Op deze plaats wil de faculteit benadrukken dat het evaluatieprotocol niets wil afdoen aan de waarde van een evaluatief gesprek met studenten door docent(en) zelf. Veel docenten wisselen aan het einde, of ook tijdens de onderwijsperiode met studenten van gedachten over hun onderwijs. De faculteit vindt dit een zeer toe te juichen praktijk die eigenlijk voor elke docent vanzelfsprekend zou moeten zijn. 1.4 Opzet van het evaluatieprotocol Hoofdstuk 2 is gewijd aan de technische organisatie van de onderwijsevaluatie, dat wil zeggen aan de wijze waarop informatie verzameld en verslagen moet worden wil zij voldoen aan de vanuit faculteitsperspectief geldende vereisten. Een aantal van die vereisten zijn trouwens relevant voor verantwoorde opleidingsevaluatie, terwijl er ook suggesties worden gedaan voor een efficiënte aansluiting van opleidingsevaluatie op facultaire evaluatie. De faculteit hoopt dat zo de opleiding op tenminste een aantal punten kan profiteren van de facultaire evaluatie. De opzet van dit hoofdstuk lijkt op die van het belastingformulier: al lezende moet men keuzes maken op basis van opleidingskenmerken; deze keuzes leiden naar de vorm(en) van evaluatie die voor de typische onderwijspraktijk van de betreffende opleiding adequaat is (zijn). Het is in eerste instantie bedoeld voor de opleidingscommissies (of in voorkomende gevallen de andere uitvoerenden), tot wier taak de organisatie behoort. Hoofdstuk 3 behandelt de follow up van onderwijsevaluatie; het is in dit hoofdstuk dat de verdeling van verantwoordelijkheden genoemd in de vorige paragraaf nader wordt uitgewerkt. Let wel: de inhoud van dit hoofdstuk heeft zowel betrekking op facultaire als op opleidingsevaluatie! Dit hoofdstuk is van direct belang voor alle betrokken partijen: opleidingsbestuur, hoogleraren, overige docenten en studenten. 6
2 Gids voor de uitvoering van facultaire onderwijsevaluatie 2.1 Vak- en programma-evaluatie: waarom dit onderscheid? De facultaire procedure maakt onderscheid tussen vakevaluatie en programma-evaluatie: onder een vak wordt verstaan een studieonderdeel dat met een vorm van toetsing wordt afgerond, onder een programma wordt verstaan een samenhangend geheel van vakken (propedeuse, 2e bachelorjaar, 3e bachelorjaar, bijvakprogramma, 1e masterjaar, eventueel 2e masterjaar). Zowel de facultaire vak- als programma-evaluatie concentreert zich op een aantal kritisch gekozen aspecten relevant voor goed onderwijs. Een groot aantal van deze aspecten houdt nauw verband met het facultaire onderwijsbeleid Optimalisering van onderwijsvormen en onderwijsproces. Voor vakevaluatie omvatten deze aspecten: aard van inschrijving; mate van interessantheid; beeld van wat op het einde beheerst moet worden; studielast; moeilijkheidsgraad; voorbereiding op colleges; stimulering kritisch denkvermogen; stimulering zelfstandige, actieve inzet; studiemateriaal; werkvorm(en); interne samenhang van het onderwijs; eventuele ondersteuning door Blackboard/COO; aansluiting op voorgaande vakken; didactische vaardigheden docent(en); sterke, resp. zwakke punten; overige opmerkingen. Voor programma-evaluatie omvatten deze aspecten: aard van inschrijving; vakinhoudelijke studievordering; stimulering zelfstandige studiehouding; studielast; samenhang studieprogramma; vordering algemene academische vaardigheden; toetsing; studielastspreiding; studievertraging; propedeusementoraat (alleen voor propedeuse); studiecoördinaat; voornemens na behalen bachelor (alleen voor bachelorjaren); sterke, resp. zwakke punten; overige opmerkingen. De vorm waarin deze aspecten aan de orde moeten worden gesteld vindt men in de bijlagen en wordt verderop in dit hoofdstuk toegelicht. Het staat de opleidingen vrij aan deze faculteitsbrede aspecten eigen aspecten in de vorm van extra vragen toe te voegen. 2.2 Hoe vaak moet facultaire onderwijsevaluatie plaatsvinden? Planmatige kwaliteitszorg, waar onderwijsevaluatie deel van uitmaakt, is cyclisch van aard: men verzamelt informatie, men formuleert op basis van die informatie verbeteringsdoelstellingen, men voert deze uit, men verzamelt opnieuw informatie, men beoordeelt op basis van die informatie in hoeverre de doelstellingen zijn gehaald en formuleert bijgestelde verbeterdoelstellingen, men voert deze uit, men verzamelt opnieuw informatie, enz. Voor het universitair onderwijs is de accreditatiecyclus (vroeger: de visitatiecyclus) fundamenteel: elke zes jaar moet een academische opleiding opnieuw worden geaccrediteerd dooor het National Accreditatie Orgaan Hoger Onderwijs. Het ligt voor de hand de onderwijsevaluatiecyclus hierop af te stemmen zodat men niet apart voor de accreditatie nog eens informatie over de uitvoering van het onderwijs behoeft te verzamelen. Om tussentijds het effect van aanpassingen in het onderwijs te kunnen nagaan, ligt het dan voor de hand tenminste eens in de drie jaar alle vakken en programmajaren te hebben geëvalueerd. Opleidingen kunnen naar behoefte een hogere evaluatiefrequentie hanteren dan de facultaire evaluatiefrequentie, al dan niet met gebruikmaking van de verplichte facultaire aandachtspunten. Het kan bijvoorbeeld nuttig zijn een nieuw vak vaker te evalueren om snel tot een optimale inrichting van het onderwijs ervan te komen. Overwegingen om niet elk jaar alle vakken en programma s te evalueren zijn: het optreden van evaluatiemoeheid bij studenten en de investering in tijd en energie die evaluatie van de opleidingscommissie, c.q. de opleiding vergt. 7
Het faculteitsbestuur heeft besloten dat voor elk nieuw in te voeren bachelor/masterjaar (dus vanaf september 2002) alle vakken en het betreffende jaarprogramma geëvalueerd moet worden. Zodra een jaarprogramma compleet geëvalueerd is, kan worden overgegaan op een systeem van alternerende evaluaties, waarbij elk vak minimaal eens per drie jaar geëvalueerd moet worden. De OLC doet de betrokkenen (leerstoelhouders, OLB/OIB, FB) een voorstel voor een evaluatiekalender. 2.3 Wat is de juiste evaluatiemethode voor ons onderwijs? De belangrijkste factor in de keuze van de juiste evaluatiemethode de kwalificerende of de kwantificerende is de grootte van de onderwijsgroep die wordt geëvalueerd. Met onderwijsgroep wordt bedoeld de groep studenten die een bepaald vak volgt èn aanwezig zal zijn op het moment van evaluatie, dat wil zeggen in de meeste gevallen het laatste college. Doorslaggevend is dus het aantal studenten dat naar verwachting aan de evaluatie deel kan nemen. Dit betekent dat het getalscriterium van 15 een richtlijn is; de faculteit zal er niet over vallen dat als men op minder dan 15 studenten rekende en men dus de kwalificerende evaluatie koos, er uiteindelijk een paar meer kwamen opdagen zodat achteraf gezien de kwantificerende evaluatie van toepassing was (en vice versa). Onderwijsevaluatie vindt in principe plaats tijdens het laatste uur van het laatste college van het vak in geval van vakevaluatie, en tijdens het laatste college van het betreffende programmadeel, c.q. studiejaar, in geval van programma-evaluatie (ook dit is een richtlijn; belangrijk is dat er voldoende tijd wordt gereserveerd). Tijdens dat college kunnen dus twee evaluaties plaatsvinden: de programmaevaluatie en de vakevaluatie van het vak waartoe dat college behoort. De keuze van het laatste college als evaluatiemoment betekent dat bij vakevaluatie de toetsing van het vak niet kan worden mee geëvalueerd. De oplossing die vooralsnog is gekozen is naar de toetsing van de vakken te vragen in de (programma-)evaluatie tijdens het laatste college van een studiejaar; men mist dan alleen de evaluatie van de toetsing van het vak waartoe dit laatste college behoort (elke suggestie voor een betere oplossing is welkom). > Is de onderwijsgroep groter dan +15 studenten, lees dan verder bij 2.4: kwantificerende evaluatie. > Is de onderwijsgroep kleiner of gelijk aan +15 studenten, lees dan verder bij 2.5: kwalificerende evaluatie. 2.4 Hoe evalueert men een onderwijsgroep groter dan +15 studenten? In dit geval dient voor de facultaire evaluatie gebruik gemaakt te worden van de vragenlijst met vijfpuntsschaalvragen ( gesloten vragen ) omdat kwantificerende evaluatie moet worden toegepast. Kwantitatieve rapportage vergroot namelijk de efficiëntie in het globaal vergelijken van informatie. Aan kwantificerende evaluatie moeten bepaalde technische eisen worden gesteld om de scores met voldoende zekerheid als globale indicatoren voor de beantwoording van de vragen te kunnen beschouwen. Om die reden moet gebruik gemaakt worden van vragenformulieren die door het ICLON worden aangeleverd. Ingevulde vragenformulieren worden door het ICLON worden verwerkt tot een kwantitatieve rapportage volgens door de faculteit vastgesteld format. De (voor dit doel herziene) ICLON-vragenformulieren zijn zo ingericht dat de opleiding, als zij dit wenst, eigen evaluatievragen kan laten toevoegen. Dit kunnen open vragen zijn, d.w.z. vragen die worden beantwoord met geschreven tekst, of gesloten vragen (zoals vijfpuntsschaalvragen, maar het mogen ook minder of meer alternatieven zijn al naargelang de aard van de vraag). Op het 8
standaardformulier is ruimte voor drie (open) tot vijf (gesloten) extra vragen. Als de opleiding tekort heeft aan drie open vragen, kan zij bij de evaluatie haar open vragen ook op een apart vel papier zelf toevoegen. Eventueel door de opleiding toegevoegde gesloten vragen worden automatisch door het ICLON verwerkt in de kwantitatieve rapportage. De antwoorden op de open vragen moeten door de opleiding zelf worden geïnventariseerd en samengevat. Als de opleiding haar eigen evaluatievragen op een apart vel papier aan de studenten wil voorleggen (bijvoorbeeld omdat men meer dan drie open vragen wil stellen), is dat natuurlijk een prima werkwijze. Zouden daar gesloten vragen op voorkomen, dan kunnen die echter niet door het ICLON worden verwerkt en toegevoegd aan de kwantitatieve rapportage. Het grote voordeel van open vragen is dat de antwoorden specifieke, genuanceerde informatie opleveren die direct kunnen worden vertaald naar verbeteringsadviezen. Een tegenvallende gemiddelde score op gesloten vragen van het vijfpuntsschaaltype maakt het meestal noodzakelijk verder door te vragen naar wat er precies mis is; dat kost extra tijd en inspanning, zeker als de onderwijsgroep al uit elkaar is gegaan. De kwalitatieve informatie in antwoord op open vragen is van een andere orde dan de kwantitatieve als resultaat van gesloten vragen: kwalitatieve informatie is geen globale indicatie, maar specifiek. De waarde van specifieke informatie ligt in de kritische afweging (in eerste instantie door de opleidingscommissie, de betrokken leidinggevenden en de docent(en)) van de verschillende meningen die naar voren gekomen zijn. Op basis van die afweging besluit men al dan niet actie te ondernemen. Ook al heeft de faculteit voldoende aan gemiddelde scores op de facultaire vragen, om bovenstaande reden zouden opleidingen ook behoefte kunnen hebben aan geschreven antwoorden op de facultaire vragen. Het formulier vraagt de student daarom nadrukkelijk zijn of haar score te nuanceren, c.q. kwalificeren, in drie open slotvragen (resp. Wat zijn de sterke punten van dit vak?, Wat zijn de zwakke punten van dit vak?, Heeft u nog iets toe te voegen? ). Elders zijn hier redelijk goede ervaringen mee opgedaan, maar de praktijk zal moeten uitwijzen of dit ook werkt voor de Letterenopleidingen. Tot slot: voor de vragenlijsten en de rapportages worden aan de opleiding geen kosten in rekening gebracht. > Als u meer wilt weten over de interpretatie van de kwantitatieve rapportage, lees dan verder bij 2.4.1. > Als u wilt weten hoe u zich tot het ICLON moet wenden voor de vragenformulieren, voor het toevoegen van extra vragen en voor de verwerking van de formulieren, lees dan verder bij 2.4.2 2.4.1 Uitleg van de kwantitatieve rapportage en de interpretatie ervan Het lezen van de kwantitatieve rapportage Voor voorbeelden van de kwantificerende ICLON-vragenlijsten wordt verwijzen naar bijlagen b en d. De rapportage bestaat uit twee A-4-pagina s (eventueel ook digitaal aan te leveren als pdf-bestand), één met cijfermatige resultaten per vraag, één met dezelfde resultaten in grafische weergave per vraag: [afbeelding kwantitatieve ICLON-rapportage] 9
De cijfermatige weergave vermeldt per vraag het percentage 1 studenten dat heeft gescoord op een bepaald antwoordalternatief; verder wordt, in het geval van vijfpuntsschaalvragen, de gemiddelde score (Gem) en de standaardafwijking (Std) vermeld. In de laatste kolom staat het totale aantal studenten dat op betreffende vraag heeft gescoord. Dit is nodig om de representativiteit van de scores te kunnen bepalen: stel dat maar vier studenten op een vraag hebben gescoord terwijl de onderwijsgroep achttien studenten telde, dan zegt het gemiddelde natuurlijk niets over de mening van die onderwijsgroep als geheel. De grafische weergave is een weergave van gemiddelde scores op de vijfpuntsschaalvragen door de dikke streep in het midden van de grijze balk. De grijze balk is het zogenaamde onzekerheidsgebied: hoe korter de balk, des te zekerder het is dat het gemiddelde de scores weerspiegelt. Om duidelijk te maken wat hiermee wordt bedoeld: als de helft van de studenten een 1 zou scoren ( geheel mee oneens ) en de andere helft een 5 ( geheel mee eens ), zou de gemiddelde score 3 bedragen. Niemand heeft echter een 3 gescoord, noch een 2 of een 4; het gemiddelde is dus op geen enkele wijze een weerspiegeling van de feitelijke score. Zo n score zou bijvoorbeeld mogelijk zijn als de stelling was geweest Dit vak sloot goed aan op mijn voorkennis en de helft van de onderwijsgroep totaal geen voorkennis van het gedoceerde vak had, de andere helft perfecte voorkennis. Een vaker voorkomend geval is dat studenten van de onderwijsgroep tamelijk gespreid over de vijf punten van de schaal scoren en dus sterk van mening verschillen; ook dan zegt het gemiddelde weinig over de feitelijke score en is het nodig terug te gaan naar de cijfermatige gegevens. Een laatste geval is al genoemd: het geval dat slechts een klein deel van de onderwijsgroep op de vraag een score heeft gegeven en de rest van de groep de vraag dus niet heeft beantwoord. In al deze gevallen is de grijze balk relatief lang en is het verstandig de cijfermatige gegevens te raadplegen. Als vuistregel voor zorgwekkende lengte mag gelden: het onzekerheidsgebied is langer dan de afstand tussen twee opeenvolgende punten van de schaal dan is het zaak de cijfermatige gegevens nauwkeurig te bekijken. Tenderen de scores naar het gemiddelde, dan is het gemiddelde een goede afspiegeling van de scores en is de grijze balk relatief kort, korter dan de afstand tussen twee opeenvolgende punten van de schaal. Interpretatie van de scores Vooraf stellen we hier nogmaals dat gekwantificeerde evaluatie indicatieve waarde heeft: de scores geven aan dát er in positieve of negatieve zin wat aan de hand kan zijn, maar vertellen niet precies wát. Dat is voldoende voor het bestuurlijke vinger aan de pols houden, maar docenten en opleidingen kunnen eerst gerichte initiatieven ontplooien als zij meer specifieke, kwalitatieve informatie hebben via geschreven commentaar of open vragen. Om tot een verantwoorde interpretatie te komen, neme men de volgende stappen: 1) Vergewis u van de lengte van het onzekerheidsgebied: is het langer dan de afstand tussen twee opeenvolgende punten van de schaal in de grafiek, lees dan eerst de volgende alinea; is het korter, ga door naar 2). 2) Interpreteer de gemiddelde waarden voor VRAAG 3 en VRAAG 4 volgens de volgende vuistregels: 1-2: de studielast/moeilijkheidsgraad is te laag, moet worden verzwaard 2-2,5: de studielast/moeilijkheidsgraad is aan de lage kant, overweeg verzwaring; 1 Het ICLON werkt eraan om bij kleinere onderwijsgroepen (zeg, kleiner dan 30) deze percentages te vervangen door aantallen, zodat de interpretatie wordt vergemakkelijkt. 10
2,5-3,5: de studielast/moeilijkheidsgraad is in orde; 3,5-4: de studielast/moeilijkheidsgraad is wat aan de hoge kant, overweeg verlaging als de toetsresultaten achter blijven; 4-5: de studielast/moeilijkheidsgraad is te hoog, moet worden verlaagd. 3) Interpreteer de gemiddelde waarden voor de OVERIGE VRAGEN volgens de vuistregels: 1-2,5: zwak, verbetering noodzakelijk; 2,5-3: matig, verbetering aanbevolen; 3-4: voldoende tot ruim voldoende, beter kan altijd (nog); 4-5: sterk, probeer zo te houden. In het geval van een relatief lang onzekerheidsgebied raadplege men de cijfermatige gegevens; het volgende kan aan de hand zijn: Veel studenten hebben de vraag niet beantwoord. Ga na waarom dat zo is en besluit op grond daarvan of de score waardeloos is dan wel op een bijzondere wijze geïnterpreteerd moet worden. Als bijvoorbeeld slechts 6 van de 20 studenten van de onderwijsgroep de vraag naar de effectiviteit van de ondersteuning door COO hebben beantwoord, kan het zijn dat slechts 6 studenten van een COOaanbod gebruik hebben gemaakt. De spreiding van de scores over de schaalwaarden is groot. Ga na waarom dat zo is en besluit op grond daarvan of de score waardeloos is dan wel op een bijzondere wijze geïnterpreteerd moet worden bijvoorbeeld subgroepen van studenten met verschillende achtergrond of voorkennis. Een combinatie van beide. 2.4.2 De ICLON-dienstverlening voor kwantificerende evaluatie Hoe bestelt men vragenformulieren bij het ICLON? Voor het bestellen van vragenformulieren wendt u zich UITERLIJK 10 WERKDAGEN vóór de dag waarop de evaluatie plaats moet vinden tot: Mevr. Kirsten Ran (aanwezig op alle ochtenden en de maandag- en donderdagmiddag) Email: ran@iclon.leidenuniv.nl Telefoon: 071 527 7170 Fax: 071 527 7181 Bij de bestelling dient u de volgende informatie te verschaffen: 1. Naam van de opleiding. 2. Naam van het te evalueren vak. 3. Datum van de geplande evaluatie. 4. Na(a)m(en) van de docent(en) die bij het onderwijs van het vak betrokken zijn. 5. De tekst van de vragen die de opleiding eventueel wil toevoegen aan de vragenlijst: u kunt deze DIGITAAL aanleveren, in MS WORD bestandsformat (maximaal 3 open vragen of 5 gesloten vragen; als meer dan 3 docenten het onderwijs verzorgen, wordt het maximaal aantal toe te voegen vragen evenredig minder, anders passen de vragen niet langer op één vel en dat heeft consequenties voor de verwerking van de formulieren). 6. Het aantal formulieren dat men denkt nodig te hebben (schat liever wat te ruim dan te krap in). 7. Het adres waarnaar de vragenformulieren moeten worden verzonden. 8. Voorkeur voor een papieren dan wel een digitale rapportage (als pdf-bestand). 9. Het adres en bij voorkeur ook het emailadres voor terugzending van de rapportage en de verwerkte vragenformulieren. 11
Als u dit prettig vindt, kan mevr. Ran u een email-formulier toesturen waarop u bovenstaande gegevens kunt invullen en een eventueel extra vragen-bestand als attachment aan kunt aanhechten. Bij wie kan men inhoudelijk onderwijskundig advies over eventuele extra vragen krijgen? Inhoudelijk onderwijskundig advies over eventuele extra vragen kan men verkrijgen bij de ICLONcontactpersoon voor de Faculteit der Letteren: Dr. Kees Groot Email: cggroot@iclon.leidenuniv.nl Telefoon: 071 527 7180 Adres: ICLON, Afdeling Hoger Onderwijs Pieter de la Court-gebouw Wassenaarseweg 52 Postbus 9555 2300 RB Leiden Aan wie moeten ingevulde evaluatieformulieren worden geretourneerd? Bij voorkeur per INTERNE POST aan: ICLON, Afdeling Hoger Onderwijs t.a.v. Mevr. Kirsten Ran (kmr. 4A29) Wassenaarseweg 52 Postbus 9555 2300 RB Leiden Houd er rekening mee dat de interne postdienst soms meerdere werkdagen nodig heeft voor de bezorging! Deze zijn NIET verdisconteerd in de bovenvermelde aanvraagtermijn. Op welke termijn kan men de rapportage en de retournering van de ingevulde vragenlijsten verwachten? Het ICLON heeft maximaal 15 werkdagen nodig om de ingevulde vragenformulieren te verwerken tot een rapportage; de verwerkte formulieren worden geretourneerd tegelijk met de verzending van de rapportage. Opnieuw: deze periode vangt aan op de dag van ONTVANGST en eindigt op de dag van VERZENDING. Men moet altijd rekening houden met de extra werkdagen die de interne postdienst nodig heeft. (Het ICLON verzorgt de verwerking van evaluatieformulieren van alle faculteiten van de Universiteit Leiden; dit gegeven ligt ten grondslag aan de genoemde verwerkingstermijn.) Bij wie kan men terecht voor hulp bij de interpretatie van de rapportage? Als de interpretatiehulp op de evaluatie-website u onvoldoende verder brengt, is de ICLONcontactpersoon voor de faculteit altijd beschikbaar voor hulp bij de interpretatie van de rapportage. Voor diens bereikbaarheid, zie hierboven. Kan men, op basis van vraag 1 (hoofd- of bijvakker, major- of minorstudent), uitgesplitste rapportages verkrijgen? Omdat aan uitsplitsingen extra kosten zijn verbonden, is vraag 1 in eerste instantie toegevoegd ten behoeve van facultair onderwijsbeleid: op momenten die zij wenselijk acht kan de faculteit over opleidingen die met kwantificerende evaluatie werken uitsplitsingen aanvragen. 12
Mocht een opleiding echter voor haar eigen beleid op zeker moment dringend behoefte hebben aan een uitsplitsing, hetzij voor een bepaald vak of programmadeel, hetzij voor meerdere (alle) vakken of programmadelen, neem dan contact op met het Faculteitsbureau, afdeling Onderwijs- en Wetenschapsbeleid (OWB; t: 2404). 2.5 Hoe evalueert men onderwijsgroepen kleiner of gelijk aan +15 studenten? Dit betekent dat kwalificerende evaluatie moet worden toegepast. Kern van deze methode is dat de meningen van studenten worden geïnventariseerd over de facultair vastgestelde aandachtspunten aangaande het onderwijs. Deze meningen worden vervolgens in een verslag per aandachtspunt samengevat, zodat de verslagen kwalitatief vergelijkbaar zijn. Soms treft men het misverstand aan dat evaluatie in kleine onderwijsgroepen geen betrouwbare of generaliseerbare informatie oplevert over het onderwijs. In feite verwart men dan gekwantificeerde informatie met kwalitatieve informatie. Gekwantificeerde informatie moet voldoen aan bepaalde statistische eisen die een voldoende grote onderwijsgroep veronderstellen. Wordt de groep te klein, dan is kwantificering niet meer zinvol: de invloed van toevalsfactoren wordt zo groot dat de kwantitatieve resultaten niet meer met voldoende zekerheid als globale indicatoren voor de beantwoording van de vragen kunnen worden beschouwd. Kwalitatieve informatie is van een andere orde: deze informatie is geen globale indicatie, maar specifiek. De waarde van specifieke informatie ligt in de kritische afweging (in eerste instantie door de opleidingscommissie, de betrokken leidinggevenden en de docent(en)) van de verschillende meningen die naar voren gekomen zijn. Op basis van die afweging besluit men al dan niet actie te ondernemen. Er zijn vele vormen van kwalitatieve informatieverzameling denkbaar: schriftelijke, mondelinge, varianten binnen deze twee, combinaties, en dat alles weer groepsgewijs of individueel. Welke de beste, de meest efficiënte is hangt af van de opleidingscontext of opleidingscultuur. Elke vorm is acceptabel mits wordt voldaan aan de volgende eisen: 1) Zoveel mogelijk aan het onderwijs deelnemende studenten doen aan de evaluatie mee. 2) Alle facultair vastgestelde aandachtspunten komen aan bod. 3) De student krijgt voldoende gelegenheid om zijn of haar mening te geven of op te schrijven. 4) De student kan deze mening anoniem geven of opschrijven. 5) Het evaluatieverslag vat deze meningen per aandachtspunt samen. 6) Het evaluatieverslag vermeldt het (geschatte) aantal deelnemers aan het onderwijs en het aantal studenten dat aan de evaluatie heeft deelgenomen (naast, vanzelfsprekend, de naam en het codenummer van het vak, het academisch jaar waarin het gegeven is, de datum van de vaststelling van het verslag). 7) Het evaluatieverslag vermeldt (als eerste aandachtspunt) de aantallen studenten naar de aard van inschrijving (hoofdvakker, bijvakker, majorstudent, minorstudent, overig). Als de opleiding dit wenst, voegt zij haar eigen aandachtspunten toe aan de facultaire aandachtspunten. Indien meningen per aandachtspunt duidelijk uiteenlopen, wordt dit in het samenvattende verslag weerspiegeld in bijvoorbeeld meerderheids- en minderheidsstandpunten; er hoeft dus geen overeenstemming te worden bereikt. Bovenstaand lijkt misschien relatief simpel, maar de praktijk heeft geleerd dat moeilijk kan zijn voor een bepaalde kleine opleiding een efficiënt functionerende kwalitatieve evaluatievariant te bedenken. Het maakt bijvoorbeeld een groot verschil of de onderwijsgroepen in een bepaald te 13
evalueren semester allemaal ongeveer tien studenten omvatten die altijd trouw het college bezoeken, dan wel twee tot vijf studenten waarvan de helft het college niet volgt, maar alleen tentamen doet. In het eerste geval zou je bijvoorbeeld voor elk vak op het laatste college een uur kunnen besteden aan een kwalitatieve evaluatiediscussie, voorgezeten door een studentlid van de opleidingscommissie (de docent verlaat het collegelokaal), waarbij een van de deelnemende studenten het verslag schrijft. In het tweede geval een situatie die meer dan eens voorkomt bij de hele kleine opleidingen kan dat grote problemen opleveren. Stel dat drie studenten een bepaald vak volgen, twee zijn regelmatig aanwezig, maar op de laatste collegebijeenkomst is er maar één student. Omdat er zo weinig studenten zijn, zou je toch geen van hen in de evaluatie willen missen. Moet je nu voor deze drie studenten bij het laatste college van elk vak afzonderlijk een uur gaan reserveren voor evaluatie? En wat doe je als blijkt dat ze niet allemaal bij elkaar te krijgen zijn? Tot slot, hoeveel blijft er over van de anonimiteitsgarantie als de onderwijsgroep uit slechts enkele studenten bestaat? > Als u voorbeelden wil lezen van evaluatievarianten voor kleine onderwijsgroepen waarbij de collegeopkomst hoog is, lees dan verder bij 2.5.1. > Als u voorbeelden wil lezen van evaluatievarianten voor kleine onderwijsgroepen waarbij de collegeopkomst laag of onvoorspelbaar is, lees dan verder bij 2.5.2. 2.5.1 Evaluatievarianten voor kleine onderwijsgroepen waarbij de college-opkomst hoog is In principe vindt evaluatieve discussie (mondelinge evaluatie) plaats gedurende het laatste uur van het laatste college; de docent verlaat het collegelokaal. De taken van discussieleider en notulist vallen NIET samen in één persoon. De discussieleiding De volgende varianten zijn denkbaar: 1. De discussie wordt geleid door een studentlid van de opleidingscommissie. Voordelen: De discussieleider is vanuit zijn olc-functie betrokken bij de onderwijsaangelegenheden van de opleiding. De discussieleider is een buitenstaander ten opzichte van het te evalueren onderwijs, hetgeen diens objectiviteit ten goede komt. De discussieleider is ook student zodat deelnemers zich mogelijk minder geremd voelen. Nadelen: Als het een opleiding met veel vakken betreft, hebben de studentleden van de opleidingscommissie een zware taak. 2. De discussie wordt geleid door één van de studenten uit de onderwijsgroep. Voordelen: Als het een opleiding met veel vakken betreft is dit een efficiënte oplossing voor een tekort aan discussieleiders. De discussieleider is medestudent zodat deelnemers zich mogelijk minder geremd voelen. Nadelen: De discussieleider heeft het onderwijs zelf gevolgd hetgeen diens objectiviteit kan belemmeren. 14
De discussieleider is niet echt voorbereid op zijn taak (tenzij dit geregeld kan worden zonder onevenredige inspanning van de opleidingscommissie). 3. De discussie wordt geleid door een volstrekte buitenstaander (bijvoorbeeld een ICLON-medewerker). Voordelen: De discussieleider is een buitenstaander ten opzichte van het te evalueren onderwijs en ten opzichte van de opleiding, hetgeen diens objectiviteit ten goede komt. Indien dit om bepaalde redenen gewenst zou zijn, kan men een discussieleider kiezen die voor de evaluatie relevante deskundigheid of professionaliteit te bieden heeft. Nadelen: Volstrekte buitenstaanders die geschikt zijn liggen niet voor het opscheppen, zodat hun beschikbaarheid beperkt is. Volstrekte buitenstaanders zullen meestal een vergoeding verlangen (zou het om ICLONbuitenstaanders gaan, dan is het aantal uren dat de faculteit hiervoor ter beschikking stelt, beperkt). (Voor)structurering van de discussie Het is van belang voor de kwaliteit van de evaluatie dat de discussie gestructureerd verloopt; voor alle betrokkenen is het verder belangrijk dat de discussie efficiënt verloopt. Beide gaan goed samen, beide hebben niet alleen te maken met de discussieleiding, maar ook met de wijze waarop de input voor de discussie wordt gegeven. Hier volgen een aantal mogelijke varianten: 1. Bij aanvang van de evaluatie krijgt elke student, bij wijze van agenda, de te evalueren aandachtspunten als vragen op een A4-tje. Voordelen: Vergt minimale voorbereiding. Nadelen: Vergt veel van de discussieleider in termen van doordringen tot de kern, het afkappen bijzaken ten gunste van de hoofdzaken, er op letten dat ieder aan bod komt, er op letten dat de diverse meningen voldoende aan bod komen. 2. Bij aanvang van de evaluatie krijgt elke student, bij wijze van agenda, de te evalueren aandachtspunten als open vragen op een A4-tje; zij schijven eerst hun antwoorden beknopt op, binnen bijvoorbeeld 15 minuten, vóór de discussie begint. Voordelen: Vergt weinig voorbereiding. Elke student wordt gedwongen eerst na te denken en te formuleren voor hij zijn mening te berde geeft. Indien gewenst (en mits de studenten daarmee instemmen) kunnen de individuele genoteerde antwoorden later nog gebruikt worden bij een verfijning van de verslaglegging. Nadelen: Deze werkwijze zou meer tijd kunnen kosten (dan een uur) als de discussieleider de winst in structurering niet voldoende weet om te zetten in grotere efficiëntie. 3. Bij aanvang van de evaluatie krijgt elke student, bij wijze van agenda, de te evalueren aandachtspunten als vragen op een A4-tje. Bij elke vraag vraagt de discussieleider wie positief zou 15
antwoorden, vervolgens wie negatief; de discussieleider telt de vingers. Dan laat de discussieleider de positieve, resp. negatieve studenten hun houding verwoorden. Tot slot wordt er een eindoordeel geformuleerd (dat dus positieve en negatieve elementen kan omvatten als men niet tot een eenduidig eindoordeel komt). Voordelen: Vergt weinig voorbereiding. Structureert zeer efficiënt. Nadelen: Vergt alertheid van de discussieleider om de hoofdzaken vast te houden, zodat men niet afdwaalt naar bijzaken. Verslaglegging De verslaglegging is de taak van een aparte notulist om de discussieleider optimaal zijn werk te kunnen laten doen. Het is van groot belang voor de bruikbaarheid van de verslaglegging dat deze puntsgewijs en beknopt gebeurt. Hier volgen enkele mogelijke varianten: 1. De notulist is een studentlid van de opleidingscommissie. Voordelen: De notulist is vanuit zijn olc-functie betrokken bij de onderwijsaangelegenheden van de opleiding. De notulist is een buitenstaander ten opzichte van het te evalueren onderwijs, hetgeen diens objectiviteit ten goede komt. Nadelen: Als het een opleiding met veel vakken betreft hebben de studentleden van de opleidingscommissie een zware taak. 2. De notulist is één van de studenten uit de onderwijsgroep. Voordelen: Als het een opleiding met veel vakken betreft is dit een efficiënte oplossing voor een tekort aan notulisten. De notulist is medestudent zodat deelnemers zich mogelijk minder geremd voelen. Nadelen: De discussieleider heeft het onderwijs zelf gevolgd hetgeen diens objectiviteit kan belemmeren. 3. De notulist is een buitenstaander (bijvoorbeeld een secretarieel medewerker of een ICLONmedewerker). Voordelen: De notulist is een buitenstaander ten opzichte van het te evalueren onderwijs en ten opzichte van de opleiding, hetgeen diens objectiviteit ten goede komt. Nadelen: Buitenstaanders die willen notuleren liggen niet voor het opscheppen, zodat hun beschikbaarheid beperkt is. 16
Buitenstaanders zullen meestal een regeling of vergoeding verlangen (voor de secretarieel medewerker moet het in de taakomschrijving worden opgenomen; zou het om ICLONbuitenstaanders gaan, dan is het aantal uren dat de faculteit hiervoor ter beschikking stelt, beperkt). 2.5.2 Voorbeelden van evaluatievarianten voor kleine onderwijsgroepen waarbij de college-opkomst laag of onvoorspelbaar is Hoewel dit organisatorisch de lastigste situatie is, is er enig soelaas omdat het meestal om erg kleine aantallen studenten gaat en het in principe makkelijker is ieder individueel te benaderen voor één van de volgende mogelijkheden. Nogmaals: onderstaande zijn voorbeelden elke andere creatieve oplossing wordt toegejuicht mits deze voldoet aan de eisen geformuleerd onder paragraaf 2.2. 17
Eén algemene evaluatiebijeenkomst per semester Bijvoorbeeld als afsluiting van een semester, op de laatste onderwijsdag; of juist als opening van een nieuw semester op de eerste onderwijsdag, waarbij wordt teruggeblikt op het afgesloten semester. Voordelen: De studenten hoeven maar één keer te komen, of langer te blijven, voor een bijeenkomst waarop alle vakken, en eventueel ook het semester-programma worden geëvalueerd. De bijeenkomst kan bijvoorbeeld plaatsvinden in het kader van een openingsdag(deel) (of sluitingsdag(deel) ) van een semester zoals sommige kleine opleidingen die kennen om de band tussen studenten en docenten informeel te stimuleren. Een soortgelijk alternatief is de bijeenkomst te plannen in het kader van activiteiten van de studievereniging, als die bestaat. In het geval van een evaluatiebijeenkomst aan het begin van een nieuw semester kan de toetsing van het afgesloten semester worden meegenomen, hetgeen extra werk bespaart. Nadelen: Men moet er zeker van kunnen zijn dat verreweg de meeste betrokken studenten acte de présence zullen geven. Als er sterk individuele studietrajecten mogelijk zijn wat juist bij kleine opleidingen vaker voorkomt in de hogere studiejaren zullen de aanwezige studenten niet alle te evalueren vakken gevolgd hebben en er, bij de evaluatie van een niet-gevolgd vak, voor spek en bonen bijzitten (hebben zij het vak in een verder verleden gevolgd, dan kan hun bijdrage natuurlijk wel interessant zijn, zij het dat deze moet worden onderscheiden van de meningen van degenen die het vak onlangs hebben gevolgd). In het geval van één of slechts enkele deelnemers aan een vak: deel expliciet mee dat het wordt gerespecteerd als men besluit niet aan de evaluatie deel te nemen vanwege de onmogelijkheid van een anonimiteitswaarborg. Voor het structureren en verslagleggen van de evaluatieve discussie wordt verwezen naar paragraaf 2.5.1. Schriftelijke evaluatie met controle op de respons Is een bijeenkomst een onhaalbare kaart of om andere redenen onwenselijk, dan kan men studenten per post of per email de evaluatievragen (als open vragen) toesturen. Omdat het aantal studenten relatief klein is, is deze werkwijze redelijk uitvoerbaar. Omwille van de efficiëntie kan men overwegen dit in één keer voor alle vakken van een bepaald semester te doen aan het begin van het nieuwe semester (de evaluatie van de toetsing kan dan ook worden meegenomen). Vereiste: Om de noodzakelijke maximale respons te bewerkstelligen ONTKOMT MEN ER ECHTER NIET AAN EEN- OF MEERMAALS TE RAPPELLEREN (na vooraf bepaalde termijnen) BIJ STUDENTEN DIE GEEN REACTIE GEVEN. De reactie die men minimaal zou moeten terugontvangen is een weigering om mee te doen (elke student heeft daar het recht toe). Voordelen: Er kan tenminste geëvalueerd worden. Nadelen: 18
Het vereiste van rappèl betekent meer werk voor de studentleden van de opleidingscommissie (eventueel ondersteund door het secretariaat), zij het dat het om relatief kleine studentenaantallen gaat. Ondanks herhaaldelijk rappèl kan de respons toch mager uitpakken Een mogelijke variant bij zeer kleine studentenaantallen (en/of zeer individuele studietrajecten) is één keer per jaar na de laatste tentamenperiode elke student van de opleiding een aantal evaluatieformulieren met open vragen toe te sturen, waarbij de student zelf aangeeft welke vakken hij dat jaar heeft gevolgd en per vak een evaluatieformulier invult. Aanvullende evaluatie door middel van een exit-gesprek Het zal duidelijk zijn dat het in bepaalde gevallen in zeer kleine opleidingen moeilijk kan zijn om aan goede informatie over de onderwijskwaliteit te komen. Men moet zich echter realiseren dat onderwijsevaluatie niet de enige bron van informatie is. Een tweede, aanvullende bron die de opleiding kan overwegen is om elke net-afgestudeerde (dus ná het behalen van de bul) uit te nodigen voor een vertrouwelijk, terugblikkend gesprek over het onderwijs aan de hand van een lijst aandachtspunten (men kan ook per post of email vragen toesturen, maar dan zal de respons weer problematisch zijn). Enkele opleidingen hebben van het exit-gesprek al een reguliere praktijk gemaakt; het wordt dan gevoerd door de studiecoördinator. De faculteit is een groot voorstander van het houden van exitgesprekken als onderdeel van de kwaliteitsbewaking van het onderwijs. 2.6 Hoe kan de anonimiteit van studenten worden gewaarborgd? Studenten hebben in principe recht op anonimiteit als zij aan een evaluatie meedoen zodat zij zich niet geremd hoeven voelen bij het geven van hun oordeel. Op een evaluatieformulier wordt dus niet gevraagd naar persoonsgegevens en bij evaluatie-discussies is de docent afwezig. Verder kan een student niet worden verplicht om aan onderwijsevaluatie mee te doen. Bij grotere onderwijsgroepen levert dit meestal geen probleem op. Hoewel handgeschreven antwoorden en opmerkingen zullen worden gelezen door docent(en), leidinggevende hoogleraar en opleidingscommissie (zie volgende hoofdstuk) zal de kans op herkenning van het handschrift te verwaarlozen zijn. Bij kleinere onderwijsgroepen kan handschriftherkenning wel een rol spelen; gebruikt men evaluatieformulieren, dan kan men overwegen de antwoorden over te typen of te parafraseren (zie ook paragraaf 3.3). Het is echter moeilijk algemene regels te geven: is de sfeer tussen docent(en) en studenten constructief en oplossingsgericht, dan telt anonimiteitswaarborg natuurlijk minder zwaar. Kan men hier niet voldoende zeker van zijn, dan moet men binnen de mogelijkheden van de opleiding, c.q. opleidingscommissie, naar een weinig tijd- en energierovende oplossing zoeken om anonimiteit te waarborgen. Het is de taak van de opleidingscommissie inzake de mogelijkheden en onmogelijkheden van anonimiteitswaarborg een besluit te nemen. Mocht onverhoopt een student zich onheus bejegend voelen in reactie op diens evaluatieve oordeel over een bepaald vak en hiervoor geen gehoor vinden binnen de opleiding, dan kan deze hierover een formele klacht indienen bij de faculteit. Verder geldt hier de slotalinea van de vorige paragraaf: onderwijsevaluatie is niet de enige bron van informatie. Een tweede, aanvullende bron die de opleiding kan overwegen is om elke net-afgestudeerde uit te nodigen voor een exit-gesprek waarin de uitvoering van het onderwijs aan de orde komt. 19
3 De follow up van onderwijsevaluatie 3.1 Voor wie zijn de evaluatieresultaten bedoeld? Zoals al aangegeven in paragraaf 1.3 hebben opleidingsbestuur, hoogleraren en opleidingscommissie directe taken en verantwoordelijkheden in de follow up van onderwijsevaluatie. Tenminste eenmaal per jaar dient de opleidingscommissie de uitvoering van het onderwijs te beoordelen en op basis hiervan, indien men dit nodig acht, advies uit te brengen aan het opleidingsbestuur. De resultaten van de in dat jaar uitgevoerde vak- en/of programma-evaluaties vormen daarvoor belangrijke informatie (verdere relevante informatie kan bijvoorbeeld komen van het docentenoverleg, het studiecoördinaat, de examencommissie, de faculteit, enz.). Een hoogleraar heeft vanzelfsprekend recht op inzage in alle evaluatiegegevens die het onderwijs (van de docenten) in diens wetenschapsgebied betreffen, zowel vanuit diens verantwoordelijkheid voor de inhoud van een wetenschapsgebied als vanuit diens positie als leidinggevende. Het opleidingsbestuur heeft vanzelfsprekend recht op inzage in alle evaluatiegegevens van de opleiding vanuit diens verantwoordelijkheid voor de kwaliteit van het onderwijs. Maar ook: Elke docent heeft vanzelfsprekend recht op inzage in, en het geven van een reactie op, de evaluatiegegevens die het door hem/haar verzorgde onderwijs betreffen. Die reactie kan gericht zijn aan de opleidingscommissie en het opleidingsbestuur in het kader van de jaarlijkse beoordeling van de onderwijsuitvoering, en aan diens leidinggevende hoogleraar in het kader van een functionerings- of beoordelingsgesprek. Studenten hebben recht op inzage in de evaluatieverslagen opgesteld door de opleidingscommissie, zowel die van de facultaire als opleidingsevaluatie, die het onderwijs betreffen dat zij hebben gevolgd of van plan zijn te gaan volgen. De opleiding kan zelf het beste bepalen wat de meest praktische en minst bureaucratische handelwijze is om ervoor te zorgen dat de evaluatieresultaten terecht komen bij degenen bij wie ze terecht moeten komen. 3.2 Hoe gaat de opleiding om met evaluatieresultaten? Als er is gewerkt met facultaire vijfpuntsschaal-vragenlijsten stuurt het ICLON deze terug te samen met de kwantitatieve rapportage. De opleiding draagt er zorg voor dat de kwantitatieve rapportage, of in het geval van kwalificerende evaluatie, de open vragen-formulieren en/of evaluatieverslagen direct aan de betreffende leidinggevende hoogleraren, de betreffende docenten en de opleidingscommissie ter inzage worden gesteld. Deze omvatten dus ook de geschreven antwoorden en opmerkingen op de vragenformulieren; in het geval dat de anonimiteit van studenten in de het gedrang zou kunnen komen, zie paragraaf 3.6 voor overwegingen en tips. Betreffen de evaluatieresultaten het onderwijs van een hoogleraar, dan worden zij ook beschikbaar gesteld aan diens leidinggevende, de decaan, zodra deze hierom verzoekt. Een hoogleraar (resp. de decaan) gebruikt de evaluatieresultaten voor oordeelsvorming omtrent het onderwijs, c.q. het functioneren van de docent (resp. de hoogleraar) op het hem toegewezen wetenschapsgebied en kan hierover met de docent overleggen of het in een functioneringsgesprek te sprake brengen als hij dit nodig acht. Het spreekt vanzelf dat hij meer algemene adviezen en suggesties omtrent het onderwijs die naar aanleiding daarvan opkomen, inbrengt bij het opleidingsbestuur en/of de opleidingscommissie. 20