Voor intern gebruik bij een opleiding wordt gerapporteerd over alle stellingen, vragen, toelichtingen enz.

Transcriptie

1 Standaardisatie en formulering stellingen en vragen voor module evaluaties VHL versie 27 maart 2011 Inleiding In het voorjaar van 2010 is het project Standaardiseren module evaluaties VHL breed o.l.v. Tjallie Botden van start gegaan. Door ziekte van Tjallie is de voortgang van het project geremd. In januari 2011 is besloten het project voort te laten zetten door Ben Rankenberg, Sietse Miedema en Elsbeth Hugenholtz. Dit voorstel is het resultaat van hun samenwerking. Het voorstel is in het ODO van 27 september 2011 goedgekeurd. Dit voorstel bevat: - een nieuwe versie van de uitgangspunten voor module-evaluaties - met daarin een voorstel voor de grens voor het trekken van conclusies (op welk moment noemen we iets een knelpunt?) - een statistische onderbouwing daarbij, rekening houdend met kleine responsgroepen - een voorstel voor het gebruik van uniforme stellingen en vragen voor module-evaluaties - met verantwoording: koppeling van resultaten van de stelling aan bijv. een accreditatie-onderwerp - een voorstel voor een koppeling aan de jaarlijkse management rapportage (de management-sheet ) met daarbij aangegeven welke resultaten wel en niet opgenomen worden op deze sheet (zie ook punt 6 van Module-evaluatie Uitgangspunten) - een voorbeeld van de nieuwe vragenlijst (alleen de standaard onderdelen, voor afname op papier). De vragenlijst De vragenlijst voor de module-evaluatie is bedoeld als een signalerende lijst. De stellingen en vragen waarvan afgesproken is dat zij als standaard gelden, worden niet verwijderd uit deze lijst. Respondenten worden altijd uitgenodigd toelichtingen te schrijven. Voor duidelijk afwijkende modules, zoals stages, zijn andere vragenlijsten beschikbaar. (De hier voorgestelde vragenlijst betreft alleen de reguliere module-evaluaties.) In dit document zijn bij de verantwoording per stelling en vraag de volgende aspecten aangegeven: - of de stelling of vraag als standaard benoemd is en het resultaat ervan opgenomen wordt in het management sheet (voorstel is om 13 van de 18 standaard onderdelen op te nemen) - welke koppeling er is met het nieuwe accreditatiekader (verwezen wordt naar de Graadmeter van AeQui) - of de resultaten ervan vergeleken kunnen worden met resultaten van de Nationale Studenten Enquête (NSE) of de Hbomonitor. Voor intern gebruik bij een opleiding wordt gerapporteerd over alle stellingen, vragen, toelichtingen enz. Qteam project Standaardisatie module-evaluaties Pagina 1 van 7

2 Uitgangspunten voor module evaluatie m.b.v. vragenlijsten N.B. In plaats van module wordt ook de term period of semester gebruikt, in het examenreglement staat de meer algemene term onderwijseenheid. 1. Het doel van de vragenlijsten is om met de resultaten ervan de inhoud en organisatie van het onderwijs te verbeteren. 2. In principe wordt de vragenlijst afgenomen bij alle modules onder alle studenten, elk jaar weer. 3. Er is een basisset van standaard evaluatievragen die bij elke module gesteld worden. Daar kunnen modulespecifieke vragen aan worden toegevoegd, de standaardvragen kunnen niet worden verwijderd. Aan de student wordt ook gevraagd een totaalbeoordeling te geven voor de module in de vorm van een rapportcijfer. 4. De vragen in de vragenlijsten zijn zo veel mogelijk gerangschikt volgens de clusters in het accreditatiekader en zijn vastgelegd in een database evaluatievragen. De vragen zijn ook in het Engels beschikbaar. 5. Per vraag wordt een conclusie getrokken t.a.v. de tevredenheid (beter gezegd: de kwaliteit betreffende inhoud en/of organisatie van het onderwijs) tenzij het responspercentage en/of het aantal studenten dat de enquête heeft ingevuld te laag is. Ligt het resultaat bij een vraag onder de norm, dan noemen we dat een knelpunt (zie ook de toelichting hieronder). 6. Ten behoeve van trendgegevens wordt per module het totaal aantal knelpunten m.b.t. de standaardvragen vastgesteld. 7. De kwaliteitszorg coördinator per opleiding zorgt er voor dat de vragenlijst aan het eind van of z.s.m. na de uitvoering van de module wordt afgenomen. 8. De kwaliteitszorg coördinator zorgt voor publicatie van een samenvatting van de resultaten. 9. Het proces van module-evaluatie is vastgelegd in het processchema Evaluaties VHL. NB Naast de vragenlijsten voor studenten over modules zijn er aparte evaluatieformulieren voor externe deskundigen bij modules en externe begeleiders bij stages/afstudeerprojecten. Er zijn ook aparte vragenlijsten voor studenten over stages/afstudeeropdrachten, en voor studenten en alumni over het gehele onderwijsprogramma en de voorzieningen van VHL. bij punt 5 Het kental is het percentage tevreden studenten. Per vraag kan gescoord worden van 1 tot 4. We spreken van een knelpunt als dit percentage lager is dan 50%. De manier waarop dit percentage bepaald wordt verschilt bij Larenstein en VHI: bij Larenstein is er sprake van een knelpunt als de score 3 en 4 samen lager is dan 50%, voor VHI als de gemiddelde score < 2,5 is. Bij een respons van minder dan 70% èn minder dan 50 studenten is het kental het aantal tevreden studenten. De aanduiding knelpunt wordt in dat geval uit onderstaande tabel gehaald, waarbij rekening gehouden wordt met een statistische afwijking. Aantal respondenten Er is sprake van een knelpunt als het aantal tevreden studenten kleiner is: Bij een respons van minder dan 70% èn minder dan 10 studenten worden er geen conclusies getrokken. Qteam project Standaardisatie module-evaluaties Pagina 2 van 7

3 Voorstel formulering stellingen en vragen voor module evaluaties VHL: de verantwoording Nr Onderwerp Stelling / vraag Standaard? Indien ja: naar management sheet Algemeen Koppeling accreditatie (Beperkte opl. beoordeling) Vergelijking mogelijk met hbo(-monitor) of NSE? 1 kernvraag Ik heb van deze module veel geleerd. ja niet specifiek niet specifiek * voldoende uitdagend * duidelijkheid competenties Het programma was voldoende uitdagend. nee inhoud + docenten Het was mij duidelijk aan welke competenties ik deze module moest werken. nee hbo: selectie NSE: inhoud De module als geheel 2 duidelijkheid producten 3 bruikbaarheid feedback 4 duidelijkheid deadlines Het was mij duidelijk welke prestaties en/of producten er tijdens de module van mij verwacht werden. ja Ik vind dat ik in de module voldoende bruikbare feedback heb gekregen op mijn ja 2.7 NSE: docenten prestaties en/of producten. * De deadlines voor deze prestaties en/of producten stonden duidelijk aangegeven. ja Het programma 5 actuele beroepspraktijk Tijdens deze module werd uitgegaan van de actuele beroepspraktijk. ja 2.2 hbo: progr. NSE: voorber. beroep 6 werkvormen De werkvormen (contacturen, opdrachten, begeleiding) hebben mij goed geholpen de competenties te verwerven. ja leermiddelen De leermiddelen waren goed bruikbaar (studiehandleiding, Blackboard, boeken, ja 2.10 NSE: studiefac. dictaten, internet enz.). 8 rooster Ik ben tevreden over het rooster van deze module. ja 2.6 NSE: rooster * Voorstel is om tijdens het studiejaar 2011/2012 ervaring met deze stelling op te doen en daarna te beslissen om gespecificeerd moet worden of het om tussentijdse feedback of feedback op een tentamen gaat. Qteam project Standaardisatie module-evaluaties Pagina 3 van 7

4 Nr Onderwerp Stelling / vraag Standaard? Indien ja: naar management sheet De docenten (algemeen) 9 vakkennis docenten Koppeling accreditatie (Beperkte opl. beoordeling) Vergelijking mogelijk met hbo(-monitor) of NSE? Ik ben tevreden over de vakinhoudelijke kwaliteiten van de docent(en). ja 2.8 hbo: personeel NSE: docenten 10 begeleiding Ik ben tevreden over de (proces)begeleiding door de docent(en). ja 2.8 hbo: personeel NSE: docenten * SLB Ik ben tevreden over de studieloopbaanbegeleiding. nee 2.7 NSE: studiebeg. De docenten (specifiek) * individuele waardering Ik ben tevreden over de individuele docenten van onderdeel naam docent (Indien je geen mening hebt over een bepaalde docent, kun je de desbetreffende docent overslaan.) nee nee hbo: personeel NSE: docenten De beoordeling (assessment/toetsen/tentamens) 11 beoordelingscriteria 12 inhoud assessment * vorm assessment De beoordelingscriteria van de toetsen waren duidelijk. ja 3.3 NSE: toetsing De inhoud van de toets(en) was relevant voor de competenties waar ik deze periode aan ja 3.4 NSE: toetsing moest werken. De vorm van het assessment was geschikt. nee Qteam project Standaardisatie module-evaluaties Pagina 4 van 7

5 Nr Onderwerp Stelling / vraag Standaard? Indien ja: naar management sheet De studiebelasting Leeuwarden 4-puntsschaal, Velp en Wageningen 5-puntsschaal (m.i.v. 2011/2011, tot nu toe 3-puntsschaal) 13 studiebelasting (Leeuwarden) 13 studiebelasting (Velp+Wag) Ik vond de studiebelasting van deze module goed (niet te hoog en niet te laag). (Bij toelichting: Als je het niet bent met de stelling, dan graag hier vermelden of je de studiebelasting te hoog of te laag vond.) Ik vond de studiebelasting van deze module te laag / laag / goed / hoog / te hoog. (verslag altijd in ongewogen percentages, alleen te = bij > 50% knelpunt) (tot nu toe 3-puntsschaal: verslag altijd in ongewogen percentages; alleen goed = bij < 50% knelpunt) Koppeling accreditatie (Beperkte opl. beoordeling) Vergelijking mogelijk met hbo(-monitor) of NSE? ja 2.6 hbo: progr. NSE: studielast ja 2.6 hbo: progr. NSE: studielast * verdeling De totale studielast van de module is evenredig over de weken verdeeld. nee Rapportcijfer 14 rapportcijfer Welk rapportcijfer geef je deze module? ja nvt - De open vragen 15 sterkste Wat vond je het sterkste onderdeel van deze module? nee onderdeel 16 zwakste Welke suggesties heb je ter verbetering van het zwakste onderdeel van deze module? nee onderdeel 17 aanvulling Heb je nog aanvullende opmerkingen? nee * open vraag naam SLB er 18 (open vraag) afsluiting Wie is je studieloopbaanbegeleider? (alleen opnemen als de stelling over SLB opgenomen is) Dank + contact nee nee We hebben o.a. ook gesproken over: - aansluiting op voorkennis, samenhang programma, meeliften => horen thuis in een programma-evaluatie - inzien toetsen => kan niet worden opgenomen want evaluatie in lesweek 1 en inzien in lesweek 3. Qteam project Standaardisatie module-evaluaties Pagina 5 van 7

6 Evaluatie module Hierna volgen 14 stellingen en 3 open vragen. Indien een stelling niet van toepassing is, laat dan het antwoord open. helemaal mee helemaal mee Algemeen 1 Ik heb van deze module veel geleerd. De module als geheel 2 Het was mij duidelijk welke prestaties en/of producten er tijdens de module van mij verwacht werden. 3 Ik vind dat ik voldoende bruikbare feedback heb gekregen op mijn prestaties en/of producten. 4 De deadlines voor deze prestaties en/of producten stonden duidelijk aangegeven. Programma 5 Tijdens deze module werd uitgegaan van de actuele beroepspraktijk. 6 De werkvormen (contacturen, opdrachten, begeleiding) hebben mij goed geholpen de competenties te verwerven. 7 De leermiddelen waren goed bruikbaar (studiehandleiding, Blackboard, boeken, dictaten, internet enz.). 8 Ik ben tevreden over het rooster van deze module. De docenten (algemeen) 9 Ik ben tevreden over de vakinhoudelijke kwaliteiten van de docent(en). 10 Ik ben tevreden over de (proces)begeleiding door de docent(en). De docenten (specifiek) Ik ben tevreden over de individuele docenten van onderdeel (Indien je geen mening hebt over een bepaalde docent, kun je de desbetreffende docent overslaan.) docent A (onderdeel A) docent B (onderdeel B) docent C (onderdeel C) docent D (onderdeel D) docent E (onderdeel E) Qteam project Standaardisatie module-evaluaties Pagina 6 van 7

7 De toetsen (assessments) 11 De beoordelingscriteria van de toetsen waren duidelijk. 12 De inhoud van de toets(en) was relevant voor de competenties waar ik deze periode aan moest werken. helemaal mee helemaal mee De studiebelasting (Leeuwarden) 13 Ik vond de studiebelasting van deze module goed (niet te hoog en niet te laag). De studiebelasting (Velp+Wageningen) te laag laag goed hoog te hoog 13 Ik vond de studiebelasting van deze module Voor Leeuwarden: Als je het niet bent met de stelling, dan graag hier vermelden of je de studiebelasting te hoog of te laag vond. 14 Welk rapportcijfer geef je deze module? 15 Wat vond je het sterkste onderdeel van deze module? 16 Welke suggestie heb je ter verbetering van deze module? 1 zeer slecht 2 slecht 3 zwak 4 onvoldoende 5 twijfelachtig 6 voldoende 7 ruim voldoende 8 goed 9 erg goed 10 uitstekend 17 Heb je nog aanvullende opmerkingen? Hartelijk dank voor je medewerking! Als je daar behoefte aan hebt, kun je contact met mij opnemen via ( adres coördinator kwaliteitszorg) Qteam project Standaardisatie module-evaluaties Pagina 7 van 7