%HRRUGHOHQLVPHQVHQZHUN. Bevindingen over de wenselij kheid en m ogelijkheid van een gezamenlijk protocol voor het beoordelen van (kern)werkstukken

Transcriptie

1 %HRRUGHOHQLVPHQVHQZHUN Bevindingen over de wenselij kheid en m ogelijkheid van een gezamenlijk protocol voor het beoordelen van (kern)werkstukken van de expertgroep Protocol in opdracht van de Vereniging Hogescholen 31 januari 2014

2 ,QKRXGVRSJDYH Voorwoord... 3 DEEL 1: Wenselijkheid en mogelijkheid van een protocol Aanleiding, context en opdracht Samenstelling en werkwijze expertgroep Conceptueel model van afstuderen Analyse Conclusies en aanbevelingen Deel 2: Protocol Verbeteren en Verantwoorden van Afstuderen in het hbo Inleiding Protocol Uitwerking en toelichting Deel 3: Visie op onderzoekend vermogen Bijlagen Bijlage 1: Lijst van gesprekspartners Bijlage 2: Verklarende woordenlijst Bijlage 3: Overzicht beoordelaarseffecten Bijlage 4: Toetsing en beoordeling van eindniveau bij een visitatie Bijlage 5: Handreiking Ontwikkelen beoordelingsmodellen Bijlage 6: Handreiking Kalibreersessies Gebruikte bronnen

3 9RRUZRRUG Voor u ligt het rapport van de expertgroep protocol. De expertgroep heeft van de Vereniging Hogescholen de opdracht gekregen om de wenselijkheid en m ogelijkheid te verkennen van een gezam enlijk, bottom -up opgesteld protocol of protocollen voor het beoordelen van (kern)werkstukken en te adviseren over de wijze waarop deze tot stand dienen te kom en en aan welke kwaliteitseisen deze dienen te voldoen. De expertgroep is zich bij haar werk voortdurend bewust geweest van het dilem m a dat in het idee van gezam enlijke protocollen zit verscholen. Enerzijds is het verantwoord beoordelen van ( kern) w erkst ukken van st udent en zo belangrij k voor de kwalit eit en geloofwaardigheid van het onderwijs dat er sterke waarborgen m oeten zijn dat dit proces goed verloopt en transparant is. Dit m aakt de vraag naar standaardisering en protocollering reëel. Anderzijds is het vaak onm ogelijk en ook onwenselijk het beoordelen van prestaties terug te brengen tot een soort algoritm e. Beoordelen is m ensenwerk. Het streven naar volledige standaardisatie en objectiviteit leidt vrij gem akkelijk tot beoordeling van observeerbare m aar oppervlakkige aspecten van het presteren, die geen recht doen aan de werkelijke kwaliteit van het te beoordelen product of gedrag. Beoordelen is in de eerste plaats het werk van vakbekwam e professionals. Dat werk m oet worden ondersteund m et het aanreiken van criteria en werkwijzen zodat het zoveel m ogelijk geldigheid heeft. Maar de docent m ag daarbij niet het gevoel krijgen dat het zijn of haar beoordeling niet m eer is. De expertgroep heeft haar opdracht uitgevoerd in het licht van dit dilem m a tussen dichtt im m eren en het t im m erm ansoog. Ze heeft daarbij gew erkt vanuit het principe: gezam enlijk wat kan, lokaal wat m oet. I n deel 1 geeft de expertgroep antwoord op de vraag wat de wenselijkheid en m ogelijkheid is om te kom en tot een gezam enlijk protocol. Met dit deel voldoet de expertgroep aan de opdracht. Kernboodschap van deel 1 is dat afstuderen in het hbo veel m eer is dan het schrijven van een werkstuk. I n deel 2 doet de expertgroep een voorstel voor een landelijk protocol voor het verbeteren en verantwoorden van het afstuderen in het hbo. Kernboodschap is dat dit protocol een goed middel is om de system atische kwaliteitszorg van afstuderen te bevorderen en de externe validering te vergroten. I n deel 3 wordt specifiek ingegaan op de eis dat studenten m oeten beschikken over onderzoekend verm ogen, op de vraag welke rol dat speelt binnen het afstuderen en op de vraag welke eisen daaruit voortvloeien. Kernboodschap is dat onderzoekend verm ogen in het hbo- onderw ij s een onderst eunende rol heeft bij het m aken van goede beroepsproducten en dat de lat daarom niet te hoog m oet worden gelegd. Dit deel is geen onderdeel van haar opdracht m aar is in de ogen van de expertgroep wel voorwaardelijk voor transparantie van afstuderen. De expertgroep is van m ening dat een goede verantwoording van opleidingen over het afstudeerproces bijdraagt aan externe validering en daarm ee aan de kwaliteit en legitim i- teit van het diplom a. Landelijke afspraken hierover kunnen helpen onduidelijkheden weg te nem en en transparantie te bevorderen. Nam ens de expertgroep, Daan Andriessen Voorzitter expertgroep Petra Manders Secretaris expertgroep Januari

4 '((/ :(16(/,-.+(,'(102*(/,-.+(,'9$1 ((135272&2/ $IVWXGHUHQLQKHWKERLVYHHOPHHUGDQKHW VFKULMYHQYDQHHQZHUNVWXN 4

5 $DQOHLGLQJFRQWH[WHQRSGUDFKW Sinds 2010 worden er in Nederland m et enige regelm aat vraagtekens gezet bij de kwaliteit van de hbo-diplom a s. Reden daarvoor waren onder andere incidenten m et alternatieve afstudeertrajecten bij enkele hogescholen. Hoewel uit onderzoeken van de I nspectie HO en de NVAO duidelij k werd dat het geen hbo- breed probleem was, leidden deze onderzoeken er wel toe dat het beeld ontstond dat de waarde van de hbo-diplom a s niet boven alle twijfel verheven was. Dat was voor de Vereniging Hogescholen (toen nog HBO-raad) reden om een com m issie in te stellen (de Com m issie Bruijn) m et als opdracht te inventariseren welke m ogelijkheden voor externe validering van exam ens er zijn (waaronder centrale exam inering), wat de voor- en nadelen van de verschillende alternatieven zij n en of er nog andere opties voor externe validering zijn. I n m ei 2012 leverde de com m issie Bruijn haar rapportage Vreem de ogen dwingen op, m et daarin een zevental aanbevelingen. De Vereniging Hogescholen heeft uit die zeven aanbevelingen een viertal, onderling sam enhangende en in haar ogen m eest urgente projecten, gedefinieerd (Brief HBO-Raad aan Staatssecretaris Zijlstra, referentienum m er , O&S): 1. Externe validering door m iddel van gezam enlijke toetsing in pilots. 2. Verantwoording van gezam enlijk toetsen in jaarverslagen hogescholen. 3. Externe validering door m iddel van een gem eenschappelijk protocol voor de beoordeling van werkstukken (expertgroep Protocol). 4. Externe validering door m iddel van vergroting toetsdeskundigheid van docenten (expertgroep BKE/ SKE). Voor de im plem entatie van de overige aanbevelingen van de com m issie Bruijn draagt iedere hogeschool zelf verantwoordelijkheid. Acties die hieruit voortvloeien dienen aan te sluiten bij de eigen situatie, profiel en visie. Voor punt 3 is de expertgroep Protocol ingesteld. De opdracht aan de expertgroep Protocol is op 29 m aart 2013 als volgt geform uleerd: " 2QGHU]RHNGHZHQVHOLMNKHLG HQPRJH OLMNKHLG YDQ HHQ JH]DPHQOLMN ERWWRPXS RSJHVWHOG SURWRFRO RI SURWRFROOHQ YRRU KHW EH RRUGHOHQYDQNHUQZHUNVWXNNHQHQDGYLVHHURYHUGHZLM]HZDDURSGH]HWRWVWDQGGLHQHQ WHNRPHQHQDDQZHONHNZDOLWHLWVHLVHQGH]HGLHQHQWHYROGRHQ" (E-m ail R. Sm its aan de leden van de expertgroep d.d. 29 m aart 2013). Deel 1 van dit rapport geeft antwoord op deze vraag en is als volgt opgebouwd. Hoofdstuk 2 schetst de sam enstelling en werkwijze van de expertgroep. I n hoofdstuk 3 wordt een conceptueel m odel van het afstuderen geschetst waarm ee antwoord kan worden gegeven op bovenstaande vraag. Dit model wordt in hoofdstuk 4 gebruikt voor een analyse van de vraag en het form uleren van een antwoord. Hoofdstuk 5 bevat de conclusies en de aanbevelingen aan de Vereniging Hogescholen. 5

6 6DPHQVWHOOLQJHQZHUNZLM]HH[SHUWJURHS I n overleg m et de Vereniging Hogescholen is een expertgroep Protocol sam engesteld (zie tabel 1). De expertgroep is acht m aal bij elkaar geweest en heeft daarnaast gesprekken gevoerd (zie bijlage 1) m et de NVAO, m et twee evaluatiebureaus en m et een lid van de Com m issie Bruij n. I n bij eenkom st en van de expert groep is allereerst de opdracht verkend en gewerkt aan een gem eenschappelijk begrippenkader (zie bijlage 2). Vervolgens zijn ideeën geïnventariseerd voor het protocolleren van afstuderen. Ook zijn er casussen besproken uit verschillende inst ellingen waaruit blij kt t egen welke vraagst ukken opleidingen aanlopen bij het afstuderen. Tussen de bij eenkom sten door hebben leden gewerkt aan teksten voor het eindrapport, zijn voorbeelden verzam eld en is achtergrondinform a- tie gedeeld via Dropbox. Op basis hiervan is een protocol opgesteld dat is voorgelegd aan de NVAO, de drie evaluatiebureaus die actief zijn in het hbo en een zelfstandig opererende gecertificeerde secretaris. 7DEHOVDPHQVWHOOLQJYDQGHH[SHUWJURHS3URWRFRO Daan Andriessen Hogeschool Utrecht Lector Methodologie van Praktijkgericht Onderzoek (voorzitter) Petra Manders Saxion Senior Beleidsmedewerker Kwaliteitszorg (secretaris) Dan Greve Hogeschool Utrecht Onderwijsadviseur instituut ICT / Onderzoeker Methodologie van praktijkgericht onderzoek Peter Hermans Cito Knowledge Manager Artez Research Program Manager Lecturer in Research in Arts Education Linda Jakobs Hogeschool Arnhem Onderwijskundig adviseur Onderwijsontwikkeling Nijmegen Lucie te Lintelo Hogeschool van Amsterdam Onderwijskundig adviseur en ontwikkelaar / trainer op gebied van (leerwegonafhankelijke) toetsen Karin Neijenhuis Hogeschool Rot terdam Hoofddocent Evidence Based Care, I nstituut voor Gezondheidszorg, opl. Logopedie/ Kenniscentrum Zorginnovatie Gerard Straetmans Saxion Lector Assessment Cito Toetsdeskundige 6

7 &RQFHSWXHHOPRGHOYDQDIVWXGHUHQ Een onderzoek naar de wenselijkheid en m ogelijkheid van een protocol vereist een helder begrippenkader. Daarom heeft de expertgroep een conceptueel m odel opgesteld dat aangeeft wat afstuderen in het hbo is en welke onderdelen en hulpm iddelen daarbij een rol spelen. Dit m odel is een abstractie en houdt geen rekening m et de enorm e variëteit aan afstudeerprogram m a s die in het hbo voor kom en. Figuur 1 geeft de essentie van het afstudeerproces grafisch weer vanuit het perspectief van de opleiding. I n de tekst worden de kernbegrippen uit het m odel toegelicht. )LJXXU0RGHOPDWLJHZHHUJDYHYDQDIVWXGHHUSURFHVVHQLQKHWKER $IVWXGHHUSURJUDPPD Het t akenpakket van een beroepsbeoefenaar is veelal zo divers dat één prest at ie daarvoor nooit representatief kan zij n (zie kader). Daarom hebben hbo-opleidingen vaak m eerdere onderdelen in het curriculum aangewezen waarin de st udent laat zien t e beschikken over de eindkwalificaties van de opleiding. Deze toetsonderdelen gezam enlijk noem t de expertgroep het afstudeerprogram m a. Het program m a bestaat uit één of m eerdere beroepsopdrachten die uitgevoerd kunnen worden in stages, in opdrachten voor externe opdrachtgevers of in eigen projecten. Met het uitvoeren van de beroepsopdracht en wordt bew ij sm at eriaal verzam eld op basis waarvan w ordt beslot en of de st u- dent de eindkwalificaties beheerst. Als ook alle andere toetsen in het toetsprogram m a voldoende zijn kan besloten worden het diplom a te verstrekken. Als bijvoorbeeld een ambulanceverpleegkundige-in-opleiding laat zien dat hij adequaat kan handelen bij een geval van verdrinking, dan kan die prestatie hooguit worden opgevat als één bijdrage aan het bewijs voor beroepsbekwaam heid op het gebied van het verlenen van spoedeisende hulp door am bulanceverpleegkundigen. Het takenpakket van deze beroepsbeoefenaar en de omstandigheden waaronder hulp verleend moet worden zijn namelijk zo divers dat één prestatie daarvoor nooit representatief kan zijn. Het probleem van de beperkte generaliseerbaarheid van prestaties geldt voor de meeste bekwaamheden. De consequentie hiervan voor de beoordeling is dat er meerdere prestaties nodig zijn, die samen voldoende representatief zijn voor de taaksituaties waarin de betreffende beroepsbekwaam heid zich kan manifesteren. Overigens is het vaak niet haalbaar om alle eindkwalificaties te toetsen m et m eerdere prestaties. Daarom wordt vaak een best practice per eindkwalificatie (bv in een portfolioassessm ent) getoetst en/ of de m eest com plexe beroepsopdracht. 7

8 %HURHSVEHNZDDPKHLG Het doel van het afstuderen is om vast te stellen of de student voldoende bekwaam is om adequaat te handelen in taaksituaties die representatief zijn voor de kerntaken van het beroep waarvoor wordt opgeleid. Dit gebeurt op basis van de beoordeling van door een student geleverde prestaties. (LQGNZDOLILFDWLHV Een overzicht van de te toetsen eindkwalificaties vorm t het uitgangspunt van ieder afstudeerprogram m a. I n de eindkwalificaties zijn de eisen vanuit het werkveld, de Dublin Descriptoren en de hbo-standaard uit Kwaliteit als Opdracht verwerkt (HBO-raad, 2009). I n het afstudeerprogram m a m aakt de opleiding duidelijk hoe de eindkwalificaties zijn afgeleid van de com pet ent ies waarover een beginnende, hbo- gekw alificeerde beroepsbeoefenaar m oet beschikken. Som m ige opleidingen hanteren de com petenties zoals vastgelegd in het landelij k opleidingsprofiel van de opleiding. Andere opleidingen vert alen de com petenties in eigen eindkwalificaties om zich te kunnen profileren. %HRRUGHOLQJVGLPHQVLHV Beoordelingsdim ensies geven globaal aan waarop het handelen van de kandidaat en/ of resulterende producten daarvan m oeten worden beoordeeld. Globaal vanwege het feit dat deze beoordelingsdim ensies bruikbaar m oeten zijn voor elke prestatie waarm ee de bekwaam heid t en aanzien van de kernt aak kan worden aanget oond. Beoordelingsdim ensies worden niet rechtstreeks gebruikt om de prestaties van kandidaten m ee te beoordelen; ze dienen in de eerste plaats als richtsnoer voor de form ulering van prestatiecriteria (zie voor een toelichting bijlage 5). I n het beroepsprofiel van fysiotherapie is een van de benoemde competenties Onderzoeken. Deze com petenties is als volgt omschreven: De fysiotherapeut registreert systematisch patiënt- en behandelgegevens ten behoeve van kwaliteitszorg en onderzoek. Hij neemt deel aan wetenschappelijk onderzoek voor de verdere ontwikkeling van de beroepspraktijk en de wetenschappelijke fundering ervan. (KNGF, 2006, p. 23) Bij de competentie zijn meerdere beoordelingsdimensies aangegeven onder het kopje niveau-indicatoren. Een daar van is Is goed ingevoerd in frequent gebruikte methoden en technieken van toegepast wetenschappelijk onderzoek. In het afstudeerprogramma van een opleiding kunnen meerdere prestaties zitten waarin deze beoordelingsdimensie kan worden getoetst. Indien het wordt getoetst in een schriftelijk verslag dient de dimensie vertaald te worden in een prestatiecriterium dat verwoordt hoe in een schriftelijk verslag zichtbaar is dat de student hier aan voldoet. 3UHVWDWLH Onder een prestatie wordt het resultaat verstaan van de uitvoering van een beroepsopdracht. De prestatie is een beroepsproduct. I n navolging van Losse (Losse, 2012) onderscheidt de expertgroep vijf typen beroepsproducten: 1) advies, 2) ontwerp, 3) fysiek of digitaal product, 4) serie handelingen, 5) sec het antwoord op een onderzoeksvraag. Deze opsom m ing geeft aan hoe divers in het hbo de opleidingen zijn en daarm ee ook de afstudeerprogram m a s. Tabel 2 geeft van elk van de onderscheiden beroepsproducten een aantal voorbeelden. 7DEHOYRRUEHHOGHQYDQEHURHSVSURGXFWHQLQKHWKER! #"$%& ( & %) * +. %)/ :3; 6 3<>= Q R <?7 ' 5 9:3>BJ07 47 P E06 5 V0G#3>B, 5 <M<?7 50J>GTE04 Z[@ - E@ J ;DG#30JDNO?P N7 PTS 7 X@ PY3 B ; N = OW3>@O6 N><?7 5< 3>@PIS 5 GU; H Organisatieadvies Pedagogisch advies Financieel advies Bouwontwerp Bestemmingsplan Ondernemingsplan Schilderij I CT applicatie Apparaat Film Journalistiek tekst Les geven Voorstelling geven Hulp verlenen Verplegen Therapie geven Leiding geven Ondernemen Archeologisch rapport Laboratorium rapport Forensisch rapport Vaak wordt er naast het beroepsproduct ook een verant woording van dat product gevraagd. De student verantwoordt de totstandkom ing van het product en onderbouwt de keuzes die hij heeft gem aakt. Bij som m ige beroepsproducten, zoals een advies en een 8

9 onderzoek, kan de verantwoording een integraal onderdeel vorm en van het product. Bij een ontwerp, een fysiek of digitaal product of een handeling, legt de student de verantwoording m eest al vast in een separaat verslag. De expert groep hant eert voor het beroepsproduct en de bijbehorende verantwoording de term NHUQZHUNVWXN. I ndien het m a- ken van een kernwerkstuk helem aal aan het eind van de opleiding wordt gevraagd is er sprake van een HLQGZHUNVWXN. Uit de opsom m ing van beroepsproducten m ag duidelijk zij n dat bepaalde producten niet blijvend m aar vluchtig zijn en alleen te beoordelen zijn door het handelen te observeren. Procesbeoordeling is sowieso aan te raden aangezien de kwaliteit van het product alleen niet altijd voldoende inform atie geeft over de bekwaam heid. Voor het goed toetsen van beroepsbekwaam heid (de 'b van hbo) is het noodzakelijk dat in een afstudeerprogram - m a voldoende bewijs van het juiste type (passend bij de te toetsen eindkwalificaties) wordt verzam eld. Dat pleit voor een diversiteit aan producten. Er wordt daarom in het hbo een scala aan bewijsvorm en gehanteerd binnen het afstuderen waaronder handelingen binnen st ages, ont werpen, creat ieve product en, gebruiksvoorw erpen, dienst verlening, film s, com posit ies, voorst ellingen et c.. De expert groep signaleert m et zorg echter dat er onder druk van accreditaties de laatste jaren steeds m eer nadruk wordt gelegd op de schriftelijke werkstukken. Men kan zich afvragen hoe representatief dit is voor het aantonen van de beroepsbekwaam heid. %HURHSVRSGUDFKW Een beroepsopdracht zet de student ertoe aan om zijn bekwaam heid m et betrekking tot een kerntaak van het beroep te dem onstreren door het uitvoeren van m eer of m inder authentieke taken onder m eer of m inder authentieke om standigheden, leidend tot een beroepsproduct. Uit deze form ulering w ordt duidelij k dat beroepsopdracht en kunnen variëren voor wat betreft hun natuurgetrouwheid. Uiteraard geeft een prestatie die het resultaat is van een authentieke taak uitgevoerd onder aut hent ieke om st andigheden het best e bew ij s voor de bet reffende beroepsbekwaam heid. Vaak zijn er echter dwingende redenen om af te wijken van deze perfect fit, zoals: hoge kosten van apparatuur en/ of m aterialen, gevaar voor de kandidaat en/ of diens om geving, de beperkte beschikbaarheid van opdrachten in de reële werksituatie, de inefficiëntie van de authentieke taak. Een m ethodem ix (com binatie van authentieke en m inder authentieke assessm enttaken) zal vaak nodig zijn om efficiënte wijze de inform atie te verzam elen die nodig is om m et vertrouwen een conclusie te trekken over de bekwaam heid van kandidaten. Het niveau van beroepsopdrachten dient representatief te zij n voor het niveau van de taken die beginnende professionals m oeten kunnen uitvoeren in de beroepspraktijk. Bulthuis (2013) ontwikkelde een system atiek om het niveau van beroepsopdrachten te bepalen op grond van drie factoren: de cognitieve com plexiteit van de taak; de context waarbinnen gehandeld m oet worden; de zelfstandigheid van rol die de student m oet vervullen. De cognitieve com plexiteit wordt doorgaans groter als de taak niet zonder m eer uitvoerbaar is door de toepassing van geleerde standaardprocedures, m aar vraagt om nieuwe, creatieve oplossingen. De context wordt com plexer als er bijvoorbeeld m eerdere partijen betrokken zijn bij de beroepsopdracht, die bovendien verschillende belangen kunnen hebben. De zelfst andigheid van een st udent is van een hoger niveau naarm at e de vrij - heid van handelen bij het ontwikkelen van de opdracht en de verantwoordelijkheid voor de kwaliteit van het eindresultaat toeneem t. Het verdient aanbeveling dat hogescholen die dezelfde beroepsopleiding aanbieden sam en m et vert egenwoordigers van de beroepsgroep het gewenste niveau van de beroepsopdrachten vastleggen. Dit m et het oog op de vergelijkbaarheid van afstudeerresultaten en diplom a s. 9

10 ([DPLQDWRU Exam inator is de benam ing voor de persoon die belast wordt m et de beoordeling van prestaties. Om deugdelijke beoordelingen te geven m oeten exam inatoren deskundig op: A. de te beoordelen bekwaam heid. Studenten zullen niet veel vertrouwen hebben in een beoordeling van een exam inator waarvan ze de vakdeskundigheid in twijfel trekken. B. het beoordelingsproces zelf. Dit houdt niet alleen in dat de exam inator op voorhand kennis heeft genom en van het in te zetten beoordelingsm odel, m aar ook dat hij/ zij op de hoogte is van aspecten die van invloed zijn op de betrouwbaarheid en validiteit van de beoordeling. De kwaliteit van beoordeling is voor een groot deel afhankelijk van de kwaliteit van de exam inator. Beoordelen is m ensenwerk. I n de onderwijskundige literatuur bestaat dan ook grote overeenstem m ing over de noodzaak om exam inatoren te trainen en, eventueel, te certificeren. Ook de com m issie Bruijn adviseert om docenten toetsdeskundigheid te laten verwerven tot op het niveau van hun betrokkenheid bij het toets- en beoordelingsproces (Com m issie externe validering exam enkwaliteit hoger beroepsonderwijs, 2012). De expert groep BKE/ SKE heeft dit advies onlangs geconcret iseerd in een program m a van eisen (Expertgroep BKE/ SKE, 2013). %HRRUGHOLQJVPRGHO ] Beroepsbekwaam heid m oet blijken uit: de kwaliteit van een of m eer vervaardigde beroepsproducten; verantwoordingsverslag(en); de kwaliteit van het proces dat tot het beroepsproduct heeft geleid. Zowel product als proces dienen beoordeeld te worden door een ter zake deskundige, exam inat or genoem d. Door een beoordelingsm odel in t e zet t en kan m en de beoordelingskwalit eit t e bevorderen. Een beoordelingsm odel specificeert de kwalit eit waarop product en proces beoordeeld worden m iddels prestatiecriteria en beoordelingsschalen (Am erican Educational Research Association, 1999). Beoordelingsm odellen dienen valide te zijn, voor de student inzichtelijk en ze dienen bij te dragen aan een betrouwbare beoordeling van de geleverde prestaties. Tot slot m oet het m odel ook praktisch hanteerbaar zijn. 9DOLGH Valide betekent dat het gebruik van het beoordelingsm odel bijdraagt aan een deugdelijke zak-/ slaagbeslissing.,q]lfkwholmn Voor de student inzichtelijk betekent dat de prestatiecriteria voorafgaand aan de start van de beroepsopdracht aan de studenten worden gecom m uniceerd en dat ze voor de student herkenbaar zijn uit het curriculum. %HWURXZEDUHEHRRUGHOLQJ Beoordelingsm odellen dragen bij aan een bet rouwbare beoordeling wanneer de eindkwalificaties zijn vertaald in observeerbare criteria en ze exam inatoren voldoende houvast bieden om tot eenzelfde interpretatie en oordeel te kom en. De score die een exam inator toekent, krijgt pas betekenis als die wordt afgezet tegen een kritische score, ook wel cesuur genoem d. De cesuur is niets anders dan de kwantificering van de eindkwalificatie (dat wat de kandidaat m oet beheersen). Naast de bepaling van de cesuur zullen voor een t ransparant e beslissingsprocedure ook nog andere uit slagregels vastgelegd m oeten worden. Bijvoorbeeld over de m ate van com pensatie die wordt toegestaan. 1 De expertgroep volgt hierin de terminologie van de Expertgroep BKE/ SKE (2013) 10

11 $QDO\VH Opdracht aan de expertgroep is het in kaart brengen van de m ogelijkheid en wenselijkheid van bottom -up protocolleren en te adviseren over de wijze waarop protocollen tot stand kunnen kom en en aan welke kwaliteitseisen deze m oeten voldoen. Het conceptuele m odel van het afstudeerprogram m a uit het vorige hoofdstuk m aakt het m ogelijk te kij - ken welke elem enten in het afstuderen zich lenen voor protocolleren om de externe validering te vergroten. I n haar analyse heeft de expertgroep de term protocolleren ruim opgevat. Het gaat om m aatregelen die de kwaliteit en transparantie van het afstudeerprogram m a verhogen door sam en te werken. Hieronder valt: 1. Het gezam enlij k ont w ikkelen en vast st ellen van elem ent en van het afst udeerprogram m a. 2. Het gezam enlijk uitvoeren van elem enten van het afstudeerprogram m a. 3. Het laten reviewen van elem enten van het afstudeerprogram m a. Reviewen is het beoordelen van elem enten van het afstudeerprogram m a aan de hand van kwaliteitscriteria m et als doel deze te verbeteren. Daarnaast heeft de expertgroep overwogen op welk niveau de sam enwerking m ogelijk is. Daarbij onderscheidt zij vier niveaus: Niveau 1: Alle opleidingen van alle instellingen; Niveau 2: Alle opleidingen m et het zelfde opleidingprofiel / CROHO- num m er van alle instellingen; Niveau 3: Beperkt aantal opleidingen m et hetzelfde opleidingprofiel / CROHO-num m er die onderwijsinhoudelijk overeenkom en; Niveau 4: Binnen één instelling. 0RJHOLMNKHGHQHQZHQVHOLMNKHLGYDQSURWRFROOHUHQ De m ogelijkheden voor protocolleren die de expertgroep als wenselijk bestem pelt zijn sam engevat in tabel 3. Deze worden hieronder één voor één besproken. Belangrijke overweging bij de analyse is de grote diversiteit aan hbo opleidingen m et daarbinnen een grote diversiteit aan afstudeerprogram m a s. Er wordt opgeleid tot vele verschillende beroepen m et m inst ens evenzoveel verschillende eindkwalificat ies. Ook binnen één opleidingsprofiel signaleert de expert groep verschillen t ussen hogescholen, zow el qua specifieke invulling van de eindkwalificaties als qua afstudeerprogram m a s. Dit is onder m eer het gevolg van het feit dat opleidingen een bepaalde opvatting hebben over onderwijs, een eigen gezicht willen hebben in de m arkt en willen inspelen op regionale verschillen. 1LYHDX$*HVWDQGDDUGLVHHUGHZLM]HYDQYHUVODJOHJJLQJRYHUKHWDIVWXGHHUSUR JUDPPDDOVJHKHHO Op landelijk niveau is er volgens de expertgroep een gestandaardiseerde wijze van verantwoording van afstudeerprogram m a s m ogelijk. De wijze van verantwoording door een opleiding staat nam elijk los van de te toetsen eindkwalificaties en de inrichting van het afstudeerprogram m a en kan daarom gelden voor alle opleidingen van alle hogescholen. Een goede verantwoording van het afstudeerprogram m a bevordert de transparantie en draagt bij aan een proces van voortdurende verbetering. Een protocol Verbeteren en Verantwoorden van afstuderen in het hbo kan behulpzaam zijn om te kom en tot een dergelijke gestandaardiseerde wijze van verantwoording. I n deel 2 van dit rapport doet de expertgroep een voorstel voor een dergelijk landelijk protocol. De expertgroep erkent dat er een risico zit aan het gebruik van een dergelijk landelijk protocol, nam elijk dat het protocol als checklist wordt gebruikt aan de hand waarvan opleidingen worden afgerekend. Op dat m om ent verliest het protocol een deel van zijn 11

12 , ' h h h ~ ~ ~ ƒ ƒ f waarde als verbeterinstrum ent en bestaat de kans dat opleidingen de werkelijkheid op papier t e rooskleurig voorschot elen. De expert groep ziet een landelij k prot ocol de kom ende jaren vooral als een groeim odel dat opleidingen kunnen gebruiken om hun afstuderen en de verantwoording daarover te verbeteren. De Vereniging Hogescholen zou na invoering van een dergelijk protocol na drie jaar kunnen reviewen hoe het staat m et de kwaliteit van de verantwoording van de afstudeerprogram m a s en op basis daarvan kunnen besluiten tot aanvullende m aatregelen. 7DEHO0RJHOLMNKHGHQYRRUSURWRFROOHUHQELMDIVWXGHHUSURJUDPPD V ^ * _ /> L Ẁ1A #"a 11D cb _ /> $ Ẁ1 DY "$ Dde 0&%# 1 *Y # %# ^ *g h Z iyjy;c <33 GeP 7 4D5$S[78)k 5 K5 GIE0@PIS 3>3>G#J5@cKME@Al 50P E0BU= Landelijk alle opleidingen < PmNDJ0505>GU;DG)34DGTEnCn:EoE0E0@$J5 van alle instellingen le0@jakwe@al 5PV0G#30Pm30OW3>6 F5 G= HD50PU5 P#S EB < 50P l H3 pi[q 7 PIS 5 GI905@AHD5Pm5 <r5@ n$nnc5>7 J5>GUk 3>5D= ^ * Alle opleidingen m et hetzelfde opleidingprofiel / CROHO nummer van alle instellingen ^ * Beperkt aantal opleidingen m et hetzelfde opleidingprofiel / CROHO nummer een groep opleidingen die onderwijsinhoudelijk overeenkomen ^ * Binnen één instelling z 789CKME>< P < PU5 6 6 HD30J0R:3 50J 4 5o a<m9>7 6 6 < j\@ J5GTk 3>5>9>5>@ JcF5 GInA3 4D5>@ 50P}>jj i 789CKME>< P < PU J09DS[E6 7 B 7 OE P 7 5 < i 5?k?E= na5>@d6 789CKME>< P <PU >@cKME0@$J5 50P EB < PUNDJ0505 GU; G#34DGTEnCn:E i 5?k?E= na5>@d6 PTS\7 KME>< P <Pm >@cKME0@AHD5>303>G#J05D= 6 6 5>@ Q>i I@k 5>PTP S[E>EGT@5 na5 GT< KME0@CE@ J5 G)5 l 3 4 5<Ol3 6 5>@ P J5xH5D= 303 G)J05>6 Q>i I@k 5>PTP 5? KME0@CE@ J5 G)5 l 3 4 5<Ol3 6 5>@ Zi s5k?7 5 9DS[E6 7 PU5 7 P\KME@$J05CK5>GTE0@PU= S\303 < PUN= J0505 GT;DG#3 4DGTE0nCnCE y < i{[5k?ena5@ 6 78e9xG)5K?7 5 KWE@$J05xE0B < PUNDJ0505 GT;DG#3D= 4GTEnCn:Ey j { i {[5k?EnA5@ 6 78e9xG)5K?7 5 KWE@CE0B < PUNDJ0505 GU;DG)34DGTEnL= n:e y < i s5k?7 5 #J5>6 KWE@>.l 50P EB <PTNJ5>5 GU; G#3D= 4GTEnCn:ECJ303>G l 5P S\5 G#90= K?5>6 J i s5k?7 5 #J5>6 KWE@>.l 50P EB <PTNJ5>5 GU; G#3D= 4GTEnCn:ECJ303>G\< P EB n$5= J05 S\5>GI905 GT< 6 5 4E = 3?; LYHDX%%HWHNHQLVHQPLQLPXPHLVHQ2QGHU]RHNHQG9HUPRJHQ De expertgroep heeft gem erkt dat er in het land veel onduidelijk bestaat bij opleidingen over een specifiek onderdeel uit de hbo-standaard zoals weergegeven in de nota Kwaliteit als Opdracht (HBO-raad, 2009), nam elijk het onderzoekend verm ogen. De expertgroep is van m ening dat het goed zou zijn wanneer er een landelijke visie wordt ontwikkeld op de rol van onderzoekend verm ogen in het hoger beroepsonderwijs m et daarin een aantal m inim um eisen op het gebied van onderzoekend verm ogen. I n deel 3 van dit rapport doet de expertgroep hiervoor een voorstel. 1LYHDX&%RG\RINQRZOHGJH VNLOOV2QGHU]RHNHQG9HUPRJHQ I n Landelijke OpleidingsOverleggen (LOO) worden de opleidingsprofielen ontwikkeld en vastgesteld conform de daarvoor opgestelde procedure (HBO-raad, 2010). De profielen beschrijven de basiscom petenties en veelal ook de kennis en vaardigheden waarover st udent en dienen t e beschikken in een body of know ledge & skills. Dit landelij ke opleidingsprofiel is daarm ee een reeds bestaande vorm van protocolleren. Echter, in veel opleidingsprofielen is niet ingevuld wat de specifieke eisen op het gebied van onderzoekend verm ogen zij n. Vaak best aan er t ussen hogescholen verschillende visies. De expertgroep acht het m ogelijk en wenselijk dat in de LOO s vastgesteld wordt wat de voorgeschreven body of knowledge & skills is op het gebied van onderzoek (BoK- 12

13 SO). Een dergelijke BoKSO beschrijft bijvoorbeeld welke onderzoekm ethoden studenten dienen te beheersen en wat de eisen zijn op het gebied van het gebruik van literatuur. Deel 3 van het rapport beschrijft welke aspecten in de BoKSO kunnen worden m eegenom en. 1LYHDX'*H]DPHQOLMNUHYLHZHQYDQGHDIVWXGHHUSURJUDPPD V Gegeven de grote diversiteit tussen opleidingen, zelfs binnen hetzelfde opleidingsprofiel, acht de expertgroep het niet m ogelijk en wenselijk om op niveau 2 het afstuderen te standaardiseren. Wel is het m ogelijk en wenselijk om in de LOO s aandacht te besteden aan de verschillen en overeenkom sten tussen afstudeerprogram m a s. Veel LOO s doen dat al. Daar kan dan ook het gezam enlij k review en van de individuele afst udeerprogram m a s aan worden gekoppeld. Het Protocol Verbeteren en verantwoorden afstuderen kan daarbij als norm kader worden gehanteerd. 1LYHDX(*H]DPHQOLMNHLQYXOOLQJGHOHQYDQKHWDIVWXGHUHQ De Com m issie Bruijn pleit in haar rapport Vreem de ogen dwingen voor Een gestandaardiseerde wijze van verslaglegging om trent de beoordeling van (eind)werkstukken, stageverslagen, scripties etc. (p ) en verwijst daarbij onder andere naar bijlage 3 van haar rapport waarin het beoordelingsm odel staat weergegeven dat de NVAO-Com m issie Onderzoek Hogeschool I nholland (I nholland, 2011) heeft ontwikkeld. Het standaardiseren van beoordelingsm odellen is volgens de expertgroep alleen m ogelijk voor opleidingen die onderw ij sinhoudelij k overeenkom en. Dat zij n volgens de expertgroep in het algem een opleidingen m et het zelfde opleidingsprofiel die een st erk vergelijkbare profilering hebben. Beoordelingsm odellen zijn vrijwel altijd specifiek voor een bepaald opleidingsprofiel en dienen aan t e sluit en bij de gehant eerde beoordelingsdim ensies en beroepsopdrachten. Daarm ee vervalt naar de mening van de expertgroep de m ogelijkheid om een valide beoordelingsm odel voor DOOH eindwerkstukken voor het JHKHOH hbo te ontwikkelen. Toch zijn er thans m eerdere lijsten m et prestatiecriteria in om loop die beogen aan te geven wat een goed kernw erkst uk is. Voorbeeld hiervan is de bovengenoem de lij st van de NVAO- Com m issie Onderzoek Hogeschool I nholland die in het land bekend is geworden onder de naam de Dunnewijk-criteria. Deze criteria worden ook wel, m aar ten onrechte, de NVAO-criteria genoem d. De expertgroep vindt het belangrijk te benadrukken dat dit beoordelingsm odel is ontwikkeld voor een specifieke situatie waarin een com m issie vanuit haar opdracht geen gebruik PRFKW m aken van het beoordelingsm odel van de t e onderzoeken econom ische opleidingen. Het beoordelingsm odel is dus heel specifiek en heeft geen officiële landelijke status. Andere voorbeelden van landelijke beoordelingsm odellen zijn de lijsten die som m ige evaluatiebureaus in een aantal gevallen hanteerden bij visitaties. Ook dit zijn algem ene m o- dellen die niet zijn afgeleid uit de specifieke te toetsen eindkwalificaties. Dit m aakt dat ze alleen bij toeval valide zijn voor de te toetsen kwalificaties. Het feit dat de beoordelingsm odellen van evaluat iebureaus onderling ook nog eens st erk verschillen heeft bij gedragen aan de verwarring. I nm iddels zijn evaluatiebureaus deze m odellen aan het heroverwegen. De expertgroep is van mening dat de beoordelingsm odellen van de opleiding ]HOI leidend dienen t e zij n bij de beoordeling alsook bij het vellen van een oordeel over het gerealiseerde eindniveau van een opleiding in het kader van een accreditatie. Het gebruik van andere beoordelingsm odellen dan die van de opleiding is alleen te billijken wanneer het eigen beoordelingsm odel ondeugdelij k is. Een ondeugdelij k beoordelingsm odel is overigens een signaal dat een opleiding het toetsbeleid nog niet helem aal op orde heeft. De verschillen die tussen hogescholen bestaan binnen één en hetzelfde opleidingprofiel m aken het ontwikkelen van gezam enlijke beoordelingsm odellen op niveau 2 lastig. Een gezam enlijk beoordelingsm odel vereist afspraken over de beroepsopdracht waarvoor het 2 Bladzijde numm ers verwijzen naar de pdf versie 13

14 m odel wordt gebruikt en over de eindkwalificaties die m et die beroepsopdracht worden getoetst. Opleidingen van verschillende hogescholen kunnen verkennen welke clusters van hogescholen op elkaar lij ken qua eindkwalificat ies en afst udeerprogram m a en vervolgens op niveau 3 werken aan gezam enlijke beoordelingsm odellen. De expertgroep ziet een aantal voordelen van het hanteren van een gezam enlijk beoordelingsm odel op niveau 3: Het m aken van een goed beoordelingsm odel voor een valide en betrouwbare beoordeling is arbeidsintensief en vereist specifieke (toets)deskundigheid. Bundeling van kracht en van m eerdere opleidingen kan posit ieve invloed hebben op de kwaliteit hiervan. Door het gezam enlijk ontwikkelen van beoordelingsm odellen is er sprake van ext erne validering. Peers van het zelfde t ype opleiding uit verschillende hogescholen werken m ee aan de totstandkom ing ervan en bevorderen de kwaliteit door de inbreng van hun verschillende visies. Het gebruiken van een gezam enlijk beoordelingsm odel m aakt het m akkelijker om exam inatoren van verschillende hogescholen uit te wisselen. Dit bevordert de externe validering van de beoordeling. Wanneer er op deze wijze per type opleiding landelijk een beperkt aantal beoordelingsm odellen ontstaat, wordt het m akkelijker en efficiënter om clustervisitaties te houden. Wanneer er een gezam enlijk beoordelingsm odel is, wordt het m akkelijker om docenten gezam enlijk te trainen in het begeleiden van beroepsopdrachten en om exam inatoren te trainen in het beoordelen van afstudeerprestaties. De expertgroep signaleert ook een aantal nadelen of risico s: Wijzigingen in het beoordelingsm odel hebben veelal gevolgen voor de inhoud en werkwijze in het curriculum. Er is een risico dat de gezam enlijke beoordelingsm odellen te ver af kom en te staan van het curriculum waardoor er incongruentie ontstaat. Een gezam enlijk beoordelingsm odel is alleen m ogelijk wanneer er gezam enlijkheid is qua eindkwalificaties, beoordelingsdim ensies en beroepsopdrachten in het afstudeerprogram m a. Over verbeteringen in het beoordelingsm odel m oet altijd m et m eerdere hogescholen worden overlegd. Dat is m inder efficiënt, kan leiden tot langere procedures en daarm ee tot uitstel of zelfs afstel van noodzakelijke verbeteringen. Een goed beoordelingsm odel levert niet per definit ie bet rouwbare beoordelingen op. Daarvoor is ook nodig dat exam inatoren deskundig zijn en tot een gem eenschappelijke interpretatie van criteria en beslisregels kom en. I n het kader hiervan is het belangrijk dat exam inatoren periodiek m et elkaar afstem m en hoe zij de criteria en beslisregels in de praktijk hanteren in kalibreersessies (in bijlage 6 is een handleiding voor het houden van een kalibreersessie opgenom en). Als een gezam enlijk beoordelingsm odel betekent dat opleidingen elkaars exam inatoren inzetten, dan is de consequentie dat kalibreersessies ook gezam enlijk georganiseerd m oeten worden. Dit kost tijd, en dus geld. De expert groep signaleert dat veel opleidingen bovendien sporadisch of nog geen kalibreersessies houden m et het eigen team van exam inatoren. Het opleidingsoverstijgend organiseren hiervan is dan m isschien nog een stap te ver. Het eigenaarschap van het beoordelingsm odel m oet duidelijk blijven. Elke opleiding blij ft verant woordelij k voor het beoordelingsm odel dat w ordt gehanteerd, ook als deze tot stand is gekom en m et andere opleidingen. Dat betekent dat de exam encom m issie en exam inatoren de validiteit, betrouwbaarheid en hanteerbaarheid bij audits m oeten kunnen verantwoorden. Daarom is draagvlak voor het beoordelingsm odel essentieel. Voorkom en m oet worden dat het ontwikkelen van het beoordelingsm odel de verantwoordelijkheid is van een enkele vertegenwoordiger van de deelnem ende opleidingen, of uit- 14

15 m ondt in een com prom is dat de kwaliteit van de beoordeling uiteindelijk niet verbetert. Dit stelt hoge eisen aan het ontwikkelproces van het beoordelingsm odel. 1LYHDX),Q]HWWHQYDQZDDUQHPHUVHQH[DPLQDWRUHQ Opleidingen kunnen op niveau 3 docenten van elkaar inzetten om als waarnem er te fungeren t ij dens het afst udeerproces. Zij kunnen aanw ezig zij n wanneer st udent en afst u- deerprest at ies leveren of wanneer prest at ies worden beoordeeld. Opleidingen die eenzelfde beoordelingsm odel hant eren kunnen ook exam inat oren uit w isselen. De expertgroep adviseert overigens wel dat deze exam inatoren ook gezam enlijke kalibreersessies houden om tot een zelfde interpretatie van het beoordelingsm odel te kom en. 1LYHDX**H]DPHQOLMNUHYLHZHQYDQDIVWXGHHUSURJUDPPD V Op niveau 3 is het ook m ogelijk om afstudeerprogram m a s van elkaar te reviewen. Dit kan waarschijnlijk grondiger dan op niveau 2. De expertgroep acht het m ogelijk en wenselij k als clust ers van een aant al opleidingen periodiek de onderdelen van afst udeerprogram m a s tegen het licht houden, bijvoorbeeld aan de hand van de vragen uit het protocol Verbeteren en Verantwoorden van Afstuderen in het hbo. 1LYHDX+5HYLHZHQYDQDIVWXGHHUSURJUDPPD VGRRUFROOHJD VRIKHWZHUNYHOG Op het niveau van individuele opleidingen gebeurt op dit m om ent al veel om de kwaliteit van afstuderen te verbeteren. Er wordt veelal gewerkt m et twee exam inatoren, er worden beoordelaars uit het werkveld in het proces betrokken, en er zijn interne visitaties. I n aanvulling daarop pleit de expert groep voor het lat en reviewen van afst udeerprogram m a s door het werkveld, bijvoorbeeld binnen de beroepenveldcom m issie of door collega s. Dit laatste kan bijvoorbeeld vorm worden gegeven door in de interne visitaties nadrukkelijk het afstudeerprogram m a te reviewen aan de hand van de vragen uit het protocol. +HWWRWVWDQGNRPHQYDQSURWRFROOHQ De expertgroep is ook gevraagd te adviseren over het tot stand kom en van protocollen. Opleidingen die op niveau 2 of 3 willen toewerken naar protocolleren van afstudeerprogram m a s zouden de volgende stappen kunnen zetten: 1. I n kaart brengen van de verschillende afstudeerprogram m a s van de hogescholen en het analyseren van overeenkom st en en verschillen qua eindkwalificat ies, beoordelingsdim ensies, beroepsopdrachten en beoordelingsm odellen. 2. I ndien nog niet gedaan: gezam enlijk ontwikkelen van een visie op de rol van onderzoekend verm ogen in het beroep en de opleiding en het opstellen van een BoKSO. 3. Gezam enlijk reviewen van beroepsproducten uit het afstuderen om verschillen en overeenkom sten in beroepsopdrachten en in het gebruik van beoordelingsm odellen te onderzoeken. 4. Harm oniseren van de onderdelen van het afstudeerprogram m a. 5. Gezam enlij k ont w ikkelen van een beoordelingsm odel voor onderdelen van het afst u- deerprogram m a die opleidingen gem eenschappelijk hebben. 15

16 &RQFOXVLHVHQDDQEHYHOLQJHQ De Vereniging Hogescholen heeft de expertgroep Protocol gevraagd een antwoord te geven op de vraag wat de wenselijkheid en m ogelijkheid is van een gezam enlijk, bottom -up opgesteld protocol of protocollen voor het beoordelen van (kern)werkstukken en te adviseren over de wijze waarop deze tot stand dienen te kom en en aan welke kwaliteitseisen deze dienen te voldoen. &RQFOXVLHV De expertgroep kom t tot de volgende conclusies: 1. Afstudeerprogram m a s in het hbo zijn zeer divers. Tussen opleidingsprofielen bestaan grote verschillen in eindkwalificaties en inrichting van afstudeerprogram m a s. Ook binnen hetzelfde opleidingsprofiel zijn er verschillen tussen hogescholen. 2. Opleidingen in het hbo leiden op tot beroepsbekwaam heid. Dat m en gekwalificeerd is voor een bepaald beroep m oet blijken uit het feit dat m en de kerntaken van dat beroep op adequate wijze kan uitvoeren. Toetsing daarvan vraagt om de inzet van een scala aan toetsvorm en binnen het afstudeerprogram m a waarvan het werken m et (kern)werkstukken er slechts één is. 3. Het is wenselijk dat verschillende hogescholen voor hetzelfde type opleiding streven naar m eer overeenkom st ige afst udeerprogram m a s, zow el qua eindkwalificat ies, verstrekte beroepsopdrachten als beoordelingsm odellen. Dit m ag echter niet ten koste gaan van de gewenste profilering die opleidingen nastreven. 4. De kwaliteit van beoordeling is voor het grootste deel afhankelijk van de kwaliteit van de exam inator. Beoordelen is m ensenwerk. 5. Het is m ogelijk en wenselijk om binnen het afstudeerprogram m a te protocolleren. Dat kan op vier niveaus. Op landelijk niveau (niveau 1) is het m ogelijk en wenselijk om t ot afspraken t e kom en over een eenvorm ige wij ze van verant woording van afst u- deerprogram m a s en om tot een visie te kom en op de betekenis van onderzoekend verm ogen. Op niveau van opleidingsprofielen (niveau 2) is het wenselijk dat wordt gewerkt aan invulling van de body of know ledge & skills voor onderzoek. Op dit niveau kunnen ook afst udeerprogram m a s worden gereviewd. Op niveau van een beperkt aantal opleidingen m et het zelfde opleidingsprofiel die onderwijsinhoudelijk overeenkom en (niveau 3) is het m ogelijk (delen) van het afstudeerprogram m a gezam enlijk te ontwikkelen. Of dit wenselijk is hangt af van de vraag of de gezam enlij k- heid niet ten koste gaat van de individuele profilering. Op het niveau van de individuele opleiding ( niveau 4) is het w enselij k dat het afst udeerprogram m a wordt gereviewd door het werkveld of door collega s binnen de hogeschool. 6. De beoordelingsm odellen die binnen het afstuderen gebruikt worden dienen valide en inzichtelijk te zijn, en dienen bij te dragen aan een betrouwbare beoordeling. Dit vereist onder andere dat de prestatiecriteria zijn afgeleid uit de te toetsen eindkwalificaties en ook dat ze zijn afgestem d op de verstrekte beroepsopdrachten. Opleidingen die w illen werken aan gezam enlij ke beoordelingsm odellen zullen dus eerst overeenstem m ing m oeten bereiken over dezelfde eindkwalificaties en beroepsopdrachten. 7. Er zijn landelijke beoordelingsm odellen in om loop. Deze hebben geen officiële status en kunnen hooguit bij toeval valide zijn voor de te toetsen kwalificaties. Het gebruik van deze m odellen bij zak-/ slaagbeslissingen en bij visitaties dient zoveel m ogelijk te worden verm eden. 16

17 $DQEHYHOLQJHQ De expertgroep adviseert de Vereniging Hogescholen op basis van deze conclusies het volgende: 1. Ontwikkel een protocol ter verbetering en verantwoording van het afstuderen. Zie de bijlage voor een voorstel voor zo n protocol. Neem hierin de eis op dat opleidingen hun afstudeerprogram m a periodiek laten reviewen op m inim aal niveau 4. Hanteer dit m odel vooralsnog als groeim odel dat opleidingen kunnen gebruiken om hun afst u- deerprogram m a s en de verantwoording daar over te verbeteren. Onderzoek over drie jaar de kwaliteit van de verantwoording alsm ede de m ogelijkheden om tot verdere harm onisering te kom en. I n deel 2 staat een voorbeeld van een dergelijk protocol. 2. Geef duidelij kheid over de rol van onderzoekend verm ogen in het hoger beroepsonderwijs. Geef tevens aan wat het m inim um niveau is voor het beheersen van onderzoekend verm ogen op bachelor- en m asterniveau. I n deel 3 staat een voorstel hiervoor. 3. Bepleit bij de NVAO, de evaluat iebureaus en de zelfst andige secret arissen een uniform e wijze van werken bij het beoordelen van standaard 3/ 16, 2 e deel waarin: a. er gebruik wordt gem aakt van de beoordelingsm odellen van de opleiding, tenzij deze van onvoldoende kwaliteit zijn; b. er bij de visitatie gekeken wordt naar ál het bewijs dat in het afstudeerprogram m a wordt verzam eld en niet alleen naar de eindwerkstukken. 4. St im uleer bij opleidingen gezam enlij kheid in afst udeerprogram m a s, zonder dit verplichtend op te leggen. Start hiervoor bij de LOO s 3 en vraag hen invulling te geven aan het gezam enlijk vaststellen van de body of knowledge & skills onderzoekend verm ogen en het reviewen van de afstudeerprogram m a s. &RQVHTXHQWLHVYDQGHDDQEHYHOLQJHQ Bovengenoem de aanbevelingen hebben consequent ies voor LOO s, opleidingen en visit a- tiepanels. De LOO s krijgen een nadrukkelijke rol bij het bepalen van het eindniveau op het gebied van onderzoekend verm ogen en bij het zoeken naar m ogelijkheden om tot gezam enlijkheid te kom en. Opleidingen zijn thans al druk bezig m et het verbeteren van hun toetsbeleid. Zij zullen nog nadrukkelijker dan thans het geval is daarin aandacht m oeten besteden aan de invulling van het afstudeerprogram m a. De expertgroep schat in dat dit voor veel opleidingen onder andere betekent dat zij hun beoordelingsm odellen m oeten aanscherpen. Visitatiepanels kunnen niet volstaan m et het beoordelen van 15 eindwerkstukken aan de hand van een eigen beoordelingsm odel zoals in het verleden wel voor kwam. Voor een goede beoordeling van standaard 3/ 16, 2 e deel zullen zij m eer bewijsm ateriaal m oeten bestuderen, hetgeen uiteraard ook m eer tijd zal kosten. Daar staat tegenover dat op het m om ent dat een protocol voor het verbeteren en verantwoorden afstuderen in het hbo heeft geleid tot een sterke verbetering van de kwaliteit en de verantwoording van het afstudeerprogram m a s, het systeem m ogelijk zo veranderd zou kunnen worden dat visit at iepanels alleen nog m aar de uit voering van het afst udeerprogram m a via een systeem audit hoeven te beoordelen en niet m eer het gerealiseerde eindniveau zelf. 3 Comm erciële aanbieders van hbo-onderwijs zijn op dit moment nog niet vertegenwoordigd in de LOO s. Bij een grotere rol van LOO s in het protocolleren van het afstuderen dient hier een oplossing voor gevonden te worden. 17

18 '((/ 35272&2/9(5%(7(5(1(19(5$17:225 '(19$1$)678'(5(1,1+(7+%2 Protocol als m iddel voor system atische kwaliteitszorg en externe validering van afstuderen 18

19 ,QOHLGLQJ De expertgroep heeft in deel 1 geconstateerd dat het m ogelijk en wenselijk is om op landelijk niveau tot afspraken te kom en over de wijze waarop opleidingen zich over hun afst udeerprogram m a verant woorden. Een goede verant w oording van het afst udeerprogram m a bevordert de transparantie en draagt bij aan een proces van voortdurende verbetering. Een protocol Verbeteren en Verantwoorden van Afstuderen in het hbo kan behulpzaam zijn om te kom en tot een dergelijke gestandaardiseerde wijze van verantwoording. De bedoeling van dit protocol is om opleidingen in het hbo te helpen sam en werken aan het valide, betrouwbaar en voor studenten inzichtelijk toetsen van de beoogde eindkwalificaties, zoals beoogd in standaard 3/ 16 van de NVAO en het rapport Vreem de ogen dwingen van de com m issie Bruijn. Gegeven de grote variëteit aan opleidingen en afstudeerprogram m a s zal dit protocol vooral beschrijven op welke punten opleidingen zich dienen te verantwoorden over de kwalit eit van het afst udeerprogram m a en waarop ze zich m ogelij k ook kunnen verbet e- ren. Om dit te bereiken heeft het protocol drie doelen: 1. Duidelijkheid scheppen over term inologie en inrichting van het afstuderen. 2. Een kader scheppen voor gezam enlijk leren en verbeteren. 3. Een kader scheppen voor borging en verant w oording. I n deze doelen zit iets paradoxaals: Borgen en verantwoorden suggereert dat precies duidelijk is waar de lat ligt, terwijl gezam enlijk leren en verbeteren ook over het vinden en verhogen van de lat gaat. Bovendien suggereert het leggen van een lat dat alles wat er onder valt niet goed is, terwijl daar juist de ruim te voor ontwikkeling zit. Gelukkig m aakt het verschil tussen voldoende, goed en excellent in de beoordelingskaders van de NVAO het m ogelijk hier rekening m ee te houden (zie bijlage 4). Het protocol bevat daarom een opsom m ing van vragen over het afstudeerprogram m a waar een opleiding een goed antwoord op m oet hebben om een goede beoordelings- en beslissingskwalit eit in het afst uderen t e garanderen. I n een verant w oording van het afstudeerprogram m a beschrijft en verantwoordt de opleiding op inzichtelijke wijze voor alle betrokkenen: de eindkwalificaties die worden getoetst, op welke m anier toetsing plaatsvindt, in het bijzonder de beroepsopdrachten die worden uitgevoerd, door wie en op welke m anier prestaties worden beoordeeld, en hoe de inform atie die het afstudeerprogram m a oplevert wordt geaggregeerd tot een zak-/ slaagbeslissing. Tegelijkertijd is het protocol geen checklist aangezien er vaak m eerdere goede m ethoden zijn om de stappen van het protocol in te vullen. Het is aan de opleiding en hun (staf)adviseurs om hier keuzes in te m aken die afhankelijk zijn van het profiel van de opleiding m aar ook van de organisatorische context. Daarbij verbeteren opleidingen en (staf)adviseurs de gebruikte m ethoden of ontdekken nieuwe m ogelijkheden. Dit heeft weer nieuwe keuzevragen en verbeteracties tot gevolg. Dit hele proces past in de door de NVAO gewenste system atische kwaliteitszorg en een consequent verbeterbeleid. Hierdoor draagt het werken m et het protocol bij aan een groeiende kwaliteitscultuur rond afstudeerprogram m a s. 19

20 De vragen in het protocol zijn afgeleid uit standaard 1 en 3/ 16 van de NVAO (NVAO, 2011) en de relatie tussen die twee: 6WDQGDDUG ³'H EHRRJGH HLQGNZDOLILFDWLHV YDQ GH RSOHLGLQJ ]LMQ ZDW EHWUHIW LQKRXG QLYHDX HQRULsQWDWLHJHFRQFUHWLVHHUGHQYROGRHQDDQLQWHUQDWLRQDOHHLVHQ De beoogde eindkwalificaties passen wat betreft niveau en oriëntatie (bachelor of m aster; hbo of wo) binnen het Nederlandse kwalificatieraam werk. Ze sluiten bovendien aan bij de actuele eisen die in internationaal perspectief vanuit het beroepenveld en het vakgebied worden gesteld aan de inhoud van de opleiding. 6WDQGDDUG GHHO ³'HRSOHLGLQJEHVFKLNWRYHUHHQDGHTXDDWV\VWHHPYDQWRHWVLQJ De toetsen en de beoordeling zijn valide, betrouwbaar en voor studenten inzichtelijk. Daarnaast is bij het opstellen van het protocol gebruik gem aakt van theorie over toetsen en van beschrijvingen van good practices van diverse opleidingen. Het protocol bevat daardoor nauwelijks nieuwe eisen voor opleidingen ten opzichte van de huidige situatie. De enige uitzonderingen hierop zijn dat het protocol helderheid eist over het specificeren van eindkwalificat ies voor onderzoekend verm ogen en de eis om vreem de ogen het afstudeerprogram m a te laten reviewen. Op welke m anier opleidingen ervoor zorgen dat de vragen uit het prot ocol w orden beantwoord, is aan de opleidingen zelf. De expertgroep heeft voor twee punten een handreiking geschreven om opleidingen daarbij te helpen. Bijlage 5 gaat over het ontwikkelen van goede beoordelingsm odellen en bij lage 6 gaat over het organiseren van kalibreersessies. Wat bet reft het beoordelen zelf m aakt het prot ocol geen onderscheid t ussen kernw erkstukken en andere prestaties die binnen het afstudeerprogram m a worden beoordeeld. De expertgroep is van m ening dat alle beoordelingen die deel uitm aken van het afstudeerprogram m a aan dezelfde kwaliteitsstandaarden m oeten voldoen. Hoewel de expertgroep zich richt op de bacheloropleidingen in Nederland, is gedurende het ont wikkelt raj ect gebleken dat zow el de Associat e degree- program m a s als de hbom ast eropleidingen m et dezelfde problem at iek worst elen. Het prot ocol is volgens de expertgroep ook toe te passen op de afstudeerprogram m a s van deze opleidingen. 20

21 3URWRFRO (LQGNZDOLILFDWLHV :HHUVSLHJHOHQGHHLQGNZDOLILFDWLHVYDQGHRSOHLGLQJ]RZHOGHHLVHQYDQXLW KHWZHUNYHOGDOVGHHLVHQDDQKHWKERQLYHDX" +HHIWGHRSOHLGLQJKHWYHUHLVWHQLYHDXYRRURQGHU]RHNHQGYHUPRJHQEH VFKUHYHQLQGHHLQGNZDOLILFDWLHV" 7RHWVWGHRSOHLGLQJDOOHHLQGNZDOLILFDWLHVLQKHWDIVWXGHHUSURJUDPPDHQLQ GLHQKHWPHHUGHUHDIVWXGHHURQGHUGHOHQEHWUHIWLVKHWGXLGHOLMNZDDUZDWJH WRHWVWZRUGW" %HURHSVRSGUDFKWHQ =LMQGHEHURHSVRSGUDFKWHQGLHVWXGHQWHQXLWYRHUHQLQKHWDIVWXGHHUSUR JUDPPDJHVFKLNWYRRUKHWDDQWRQHQYDQGHWHYHUZHUYHQHLQGNZDOLILFDWLHV" %HZDDNWGHRSOHLGLQJGDWGHFRPSOH[LWHLWYDQGHEHURHSVRSGUDFKWHQYRRU DOOHVWXGHQWHQGH]HOIGHLVHQGDWHUHHQYHUJHOLMNEDUHPDWHYDQ]HOIVWDQGLJ KHLGYDQKHQYHUZDFKWZRUGWELMGHXLWYRHULQJKLHUYDQ" %HRRUGHOLQJ :DDUERUJWGHRSOHLGLQJGDWHONHH[DPLQDWRUEHNZDDPLVRPHHQRQGHU ERXZGRRUGHHOYDQGHSUHVWDWLHVYDQVWXGHQWHQWRWVWDQGWHEUHQJHQ" %LHGHQGHJHKDQWHHUGHEHRRUGHOLQJVPRGHOOHQYROGRHQGHJDUDQWLHRSHHQYD OLGHEHWURXZEDUHHQWUDQVSDUDQWHEHRRUGHOLQJHQ]LMQ]HWHJHOLMNHUWLMG ZHUNEDDUYRRUH[DPLQDWRUHQ" %RUJWGHRSOHLGLQJHHQJHPHHQVFKDSSHOLMNHLQWHUSUHWDWLHYDQGHEHRRUGH OLQJVPRGHOOHQGRRUGHH[DPLQDWRUHQ",VGHEHRRUGHOLQJVSURFHGXUHYRRUDOOHEHWURNNHQHQWUDQVSDUDQWHQZHUNEDDU HQEHYRUGHUWGH]HHHQ]REHWURXZEDDUPRJHOLMNHEHRRUGHOLQJ" 5DQGYRRUZDDUGHQ =RUJWGHRSOHLGLQJHUYRRUGDWKHWDIVWXGHHUSURJUDPPDGRRUDOOHEHWURNNH QHQELQQHQGHEHVFKLNEDUHWLMGHQPRJHOLMNKHGHQXLWJHYRHUGNDQZRUGHQ" 9HUDQWZRRUGLQJHQRQWZLNNHOLQJNZDOLWHLW *HHIWGHRSOHLGLQJLQYXOOLQJDDQKHWµYUHHPGHRJHQ SULQFLSHRPGHNZDOLWHLW YDQKHWDIVWXGHHUSURJUDPPDDDQWRRQEDDUWHEHYRUGHUHQ" 2YHUOHJWGHRSOHLGLQJELMHHQYLVLWDWLHEHZLM]HQGLHVDPHQHHQWUDQVSDUDQW HQUHSUHVHQWDWLHIEHHOGJHYHQYDQKHWDIVWXGHHUSURJUDPPDHQKHWJHUHDOL VHHUGHHLQGQLYHDXYDQVWXGHQWHQ" 21

22 8LWZHUNLQJHQWRHOLFKWLQJ (LQGNZDOLILFDWLHV Een overzicht van de te toetsen eindkwalificaties vorm t het startpunt van elk afstudeerprogram m a. Uitgangspunt is dat de opleiding alle eindkwalificaties van de opleiding in het afstudeerprogram m a toetst. :HHUVSLHJHOHQGHHLQGNZDOLILFDWLHVYDQGHRSOHLGLQJ]RZHOGHHLVHQYDQXLW KHWZHUNYHOGDOVGHHLVHQDDQKHWKERQLYHDX" I n de eindkwalificaties zijn de eisen vanuit het werkveld, de Dublin Descriptoren en de hbo-standaard uit Kwaliteit als Opdracht verwerkt. Een landelijk opleidingsprofiel vorm t m eestal de basis voor deze eindkwalificaties, m aar opleidingen geven hier vaak een eigen inkleuring aan. Behalve dat de eindkwalificaties relevant en op het hbo-niveau dienen te zijn, is het ook belangrijk dat ze bruikbaar zijn voor de vorm geving van leeractiviteiten en toetsen. +HHIWGHRSOHLGLQJKHWYHUHLVWHQLYHDXYRRURQGHU]RHNHQGYHUPRJHQEH VFKUHYHQLQGHHLQGNZDOLILFDWLHV" De hbo- st andaard uit Kwalit eit als Opdracht kent vier onderdelen: een gedegen t heoret i- sche basis, onderzoekend verm ogen, professioneel vakm anschap en beroepsethiek & m aatschappelijke oriëntatie. Van deze vier is onderzoekend verm ogen het onderdeel waarover de grootste onduidelijkheid bestaat terwijl het grote invloed heeft op het te realiseren eindniveau. Daarom form uleert de opleiding een visie op de rol van onderzoekend verm ogen in de opleiding en in het afstuderen en verwerkt het vereiste niveau in de eindkwalificaties (zie deel 3 van dit rapport). 7RHWVWGHRSOHLGLQJDOOHHLQGNZDOLILFDWLHVLQKHWDIVWXGHHUSURJUDPPDHQLQ GLHQKHWPHHUGHUHDIVWXGHHURQGHUGHOHQEHWUHIWLVKHWGXLGHOLMNZDDUZDWJH WRHWVWZRUGW" Bij afstuderen is het uiteindelijke doel van de beoordeling vast te stellen of de student voldoende bekwaam is om professioneel en op hbo-niveau te handelen in taaksituaties die representatief zijn voor de kerntaken van het beroep waarvoor deze wordt opgeleid. Die taaksituaties en de te beoordelen eindkwalificaties zijn veelal zo divers dat één prestatie daarvoor niet representatief kan zijn. Dit pleit voor een afstudeerprogram m a dat uit m eerdere onderdelen bestaat en waarin de student in verschillende taaksituaties m oet handelen. Stages zijn hiervoor vaak bij uitstek geschikte gelegenheden die som s nog m aar beperkt worden benut. Voorwaarde voor het gebruik van stages als onderdeel van het afstudeerprogram m a is dat de com petenties op het vereiste eindniveau worden getoetst. De opleiding m oet kunnen aangeven welke eindkwalificat ies in welke afst udeeronderdelen worden getoetst en m oet deze keuze kunnen verantwoorden. Het toetsen van alle eindkwalificaties in het afstudeerprogram m a is alleen mogelijk wanneer de opleiding een realistisch aantal eindkwalificaties heeft gedefinieerd. %HURHSVRSGUDFKWHQ =LMQGHEHURHSVRSGUDFKWHQGLHVWXGHQWHQXLWYRHUHQLQKHWDIVWXGHHUSUR JUDPPDJHVFKLNWYRRUKHWDDQWRQHQYDQGHWHYHUZHUYHQHLQGNZDOLILFDWLHV" Het gaat hierbij om de volgende vragen: Hebben de beroepsopdrachten waarm ee de beoogde eindkwalificaties m oeten worden aangetoond voldoende gelijkenis m et de taaksituaties waarvoor een beginnend beroepsbeoefenaar zich gest eld ziet in de w erkelij ke beroepsprak- 22

23 tijk? Dit betreft de authenticiteit van beroepsopdrachten en de situatie waarin ze worden uitgevoerd. Worden de eindkwalificat ies in voldoende m at e gedekt door de beroepsopdrachten? I s sprake van voldoende opdrachten om een uitspraak te kunnen doen over de bekwaam heid van een student? Zijn de uitgevoerde beroepsopdrachten sam en voldoende representatief voor alle m ogelijke opdrachten die studenten voorgelegd zouden kunnen krij gen? Anders gezegd: I s het aannem elijk dat een student dezelfde beoordeling zou hebben gekregen ten aanzien van de betreffende eindkwalificatie als hij iets andere beroepsopdrachten had m oeten uitvoeren? I s de zelfstandigheid waarm ee de student uitvoering geeft aan beroepsopdrachten vergelijkbaar m et die van een beginnend professional? %HZDDNWGHRSOHLGLQJGDWGHFRPSOH[LWHLWYDQGHEHURHSVRSGUDFKWHQYRRU DOOHVWXGHQWHQGH]HOIGHLVHQGDWHUHHQYHUJHOLMNEDUHPDWHYDQ]HOIVWDQGLJ KHLGYDQKHQYHUZDFKWZRUGWELMGHXLWYRHULQJ" Om dat studenten in de afstudeerfase niet allem aal dezelfde beroepsopdrachten uitvoeren (of niet in dezelfde context) en zij vaak zelf een opdrachtgever m oeten verwerven, is het belangrij k dat de opleiding de kwalit eit van de beroepsopdracht en goed bewaakt. Opdrachten dienen tijdig beoordeeld te worden op complexiteit en zelfstandigheid. %HRRUGHOLQJ Beoordelen is in de eerste plaats het werk van vakbekwam e professionals. Exam inatoren hebben een belangrijke m aatschappelijke opdracht. Zij beoordelen de bekwaam heid van afst udeerders en bepalen daardoor m ede de kwalit eit van de beginnende beroepsbeoefenaar op de arbeidsm arkt. Beoordelingsm odellen zijn daarbij een hulpm iddel. Terugkerend vraagstuk bij het ontwikkelen van beoordelingsm odellen is de m ate waarin een opleiding ruim te biedt aan de professionaliteit van de exam inatoren. Zowel het volledig vertrouwen op het tim m erm ansoog van de exam inator als het dichttim m eren van procedures en criteria is ongewenst. Het is belangrijk dat exam inatoren deskundigen zijn die in staat worden gesteld hun door jarenlang opgebouwde expertise en ervaring ontwikkelde tim m erm ansoog in te zetten bij de beoordelingen. Tegelijkertijd is het nodig de transparantie en herleidbaarheid van beslissingen te vergroten. De expertise en ervaring van de exam inatoren is nodig voor de ontwikkeling van duidelij ke prest at iecrit eria, beoordelingsprocedures en beoordelingsform ulieren, eenduidige en professionele uit voering van de beoordeling, alsm ede kalibrat ie m et collegaexam inatoren om tot de juiste interpretatie van criteria en de prestaties van studenten te kom en. Dit leidt tot de onderstaande vragen. :DDUERUJWGHRSOHLGLQJGDWHONHH[DPLQDWRUDDQWRRQEDDUEHNZDDPLVLQKHW EHRRUGHOHQYDQSUHVWDWLHVYDQVWXGHQWHQ" Exam inatoren hebben de taak om de prestaties van studenten te analyseren en te interpret eren, leidend t ot het form uleren van onderbouwde oordelen. Om dat beoordelingsm o- dellen voor com plexe prestaties nooit op zo n m anier uitgewerkt kunnen worden dat verschil in interpretatie uitgesloten kan worden, is de deskundigheid van exam inatoren cruciaal voor het vertrouwen in een betrouwbare beoordeling. Beschikken exam inat oren over de inhoudelij ke deskundigheid om de prest a- ties van studenten te beoordelen? Hebben zij, zoals de Expertgroep BKE/ SKE (2013, p. 28) aangeeft een doorleefd beeld van wat in een bepaalde professie aan kennis en vaardigheden w ordt verwacht en nodig is? Zijn de exam inatoren bekwaam in de toetsvorm en die gebruikt worden bij het beoordelen van de eindkwalificaties en zijn ze zich bewust van de beoordelaarseffecten die kunnen optreden (zie bijlage 3)? 23

24 Voldoen de exam inatoren aan de Basiskwalificaties Exam inatoren zoals de Expertgroep BKE/ SKE (2013) heeft vastgesteld? %LHGHQGHJHKDQWHHUGHEHRRUGHOLQJVPRGHOOHQYROGRHQGHJDUDQWLHRSHHQYD OLGHEHWURXZEDUHHQWUDQVSDUDQWHEHRRUGHOLQJHQ]LMQ]HWHJHOLMNHUWLMG ZHUNEDDUYRRUH[DPLQDWRUHQ" Beroepsbekwaam heid m oet blijken uit de kwaliteit van een (of m eer) vervaardigd(e) beroepsproduct(en) en uit de kwaliteit van het proces dat tot het beroepsproduct heeft geleid. Beide dienen beoordeeld te worden door een ter zake deskundige exam inator. Door een beoordelingsm odel in te zetten kan de beoordelingskwaliteit worden bevorderd. Een beoordelingsm odel specificeert: de prestatiecriteria die worden gebruikt om de kwaliteit van product en proces te beoordelen; de beoordelingsschalen (norm ering) waarm ee kwaliteitsverschillen tussen studenten uitgedrukt worden; de wijze waarop de resultaten die door studenten zijn behaald worden geaggregeerd tot een eindresultaat; de regels voor een zak- / slaagbeslissing. I n het kader van een valide, betrouwbare en transparante beoordeling zijn de volgende vragen aan de orde: Zijn de prestatiecriteria die in het beoordelingsm odel worden gebruikt op een goede en navolgbare m anier afgeleid van de in het afstudeerprogram m a te beoordelen eindkwalificaties? Zijn de eindkwalificaties die in de afstudeerwerken beoordeeld worden, zoveel m ogelijk uitgewerkt in observeerbare prestatiecriteria? I s duidelijk hoe de scores op prestatiecriteria van één beroepsproduct gecom - bineerd worden tot conclusies over de kwaliteit van een beroepsproduct? I s duidelijk hoe de beoordelingen van een reeks prestaties gecom bineerd worden tot een eindoordeel over de verwerving van de eindkwalificatie(s)? I s duidelijk bij welke (geaggregeerde) score de grens tussen zakken of slagen ligt? I s het beoordelingsm odel praktisch hanteerbaar voor exam inatoren om tot een oordeel en de onderbouwing daarvan te kom en? Maakt het beoordelingsm odel aan alle betrokkenen (studenten, exam inatoren en derden) inzichtelijk wat het oordeel is over de kwaliteit van een prestatie, waarom dit oordeel is toegekend en hoe dit tot stand is gekom en? Voor het m aken van beoordelingsm odellen heeft de expertgroep een handreiking ontwikkeld (zie bij lage 5). %RUJWGHRSOHLGLQJHHQJHPHHQVFKDSSHOLMNHLQWHUSUHWDWLHYDQGHEHRRUGH OLQJVPRGHOOHQGRRUGHH[DPLQDWRUHQ" Zijn de exam inatoren in staat om tot eenzelfde interpretatie van en oordeel over een prestatie te kom en? Vinden er bijvoorbeeld regelm atig bijeenkom sten plaats waar de exam inatoren aan de hand van authentiek m ateriaal de deugdelijkheid van hun beoordelingen checken en eventueel (de toelichting bij) prestatiecriteria vervangen of bijstellen ( kalibreersessies )? De expert groep heeft hiervoor een Handreiking Kalibreersessies ontwikkeld (zie bijlage 6).,VGHEHRRUGHOLQJVSURFHGXUHYRRUDOOHEHWURNNHQHQWUDQVSDUDQWHQZHUNEDDU HQEHYRUGHUWGH]HWHJHOLMNHUWLMGHHQ]REHWURXZEDDUPRJHOLMNHEHRRUGHOLQJ" Zijn de rollen van de verschillende betrokkenen bij de beoordeling van afstudeerprestaties duidelijk? I s duidelijk wie op welk m om ent een rol heeft in het 24

25 beoordelingsproces, en wat de status van een eventuele (praktijk)begeleider en/ of opdrachtgever hierbij is? Worden er m instens twee exam inatoren ingezet voor de beoordeling van prestaties van een student? I s de beoordelingsprocedure zo ingericht dat ongewenst e beoordelaarseffecten worden bestreden (zie bijlage 3)? Zijn de exam inatoren zo onafhankelijk m ogelijk? Dat betekent dat ten m inste één exam inator niet betrokken is geweest bij de begeleiding van afstudeeronderdelen. Zijn er afspraken gem aakt over wat te doen bij (grote) discrepantie in oordelen tussen twee exam inatoren? I s duidelijk wanneer eventueel een onafhankelijke derde exam inator m oet worden ingeschakeld? 5DQGYRRUZDDUGHQ =RUJWGHRSOHLGLQJHUYRRUGDWKHWDIVWXGHHUSURJUDPPDGRRUDOOHEHWURNNH QHQELQQHQGHEHVFKLNEDUHWLMGHQPRJHOLMNKHGHQXLWJHYRHUGNDQZRUGHQ" Het is de verant woordelij kheid van het opleidingsm anagem ent om alle bet rokkenen voldoende te faciliteren. Voor studenten geldt: I s sprake van voldoende tijd en de j uiste ondersteuning om een de verlangde prestaties te kunnen leveren? Heeft het onderwijs voorafgaand aan het afstudeerprogram m a hen voldoende voorbereid om zelfstandig de beroepsopdrachten uit te voeren die nodig zijn om de eindkwalificaties aan te tonen? Voor exam inatoren geldt: I s er voldoende tijd, zowel in aantal uren als in doorlooptijd, om prestaties van st udent en t e beoordelen en een correct e naleving van beoordelingsprocedures te bewerkstelligen? Als er onder een te grote tijdsdruk wordt gewerkt, is de kans groot dat exam inatoren niet alle inform atie even zorgvuldig wegen, dat ze niet eerst individueel tot een weloverwogen oordeel kom en, of onvoldoende onderbouwing geven. Worden zij voldoende gefaciliteerd, in tijd en m iddelen, om de benodigde deskundigheid te verwerven en op peil te houden? Beoordelen is m oeilijk en er is veel training en ervaring voor nodig om te groeien van beginnend beoordelaar naar expertbeoordelaar (Expertgroep BKE/ SKE, 2013). 9HUDQWZRRUGLQJHQRQWZLNNHOLQJNZDOLWHLW *HHIWGHRSOHLGLQJLQYXOOLQJDDQKHWµYUHHPGHRJHQ SULQFLSHRPGHNZDOLWHLW YDQKHWDIVWXGHHUSURJUDPPDDDQWRRQEDDUWHEHYRUGHUHQ" Andere m ensen lat en m eekij ken bij het opzet t en en uit voeren van het afst udeerprogram m a kan de kwaliteit ervan bevorderen. Vreem de ogen geven vaak een positieve im puls aan kwaliteitsontwikkeling. Zoals in deel 1 is aangegeven zijn er m eerdere m ogelijkheden: Reviewen: het beoordelen van het afstudeerprogram m a aan de hand van kwaliteitscriteria m et als doel deze te verbeteren; gezam enlijk uitvoeren; gezam enlijk ontwikkelen & afspreken. Dit kan op m eerdere niveaus: Niveau 1: Landelijk alle opleidingen van alle instellingen; Niveau 2: Alle opleidingen m et hetzelfde opleidingprofiel / CROHO-num m er van alle instellingen; 25

26 Niveau 3: Beperkt aantal opleidingen m et hetzelfde opleidingprofiel; Niveau 4: Binnen één instelling. Hoe geeft de opleiding hieraan invulling? I s m inim aal sprake van het periodiek laten reviewen van het afstudeerprogram m a op niveau 4? 2YHUOHJWGHRSOHLGLQJELMHHQYLVLWDWLHEHZLM]HQGLHVDPHQHHQWUDQVSDUDQW HQUHSUHVHQWDWLHIEHHOGJHYHQYDQKHWDIVWXGHHUSURJUDPPDHQKHWJHUHDOL VHHUGHHLQGQLYHDXYDQVWXGHQWHQ" Visitaties zijn een belangrijk instrum ent om de kwaliteit van afstudeerprogram m a s tegen het licht te houden en te verbeteren. Opleidingen worden iedere zes jaar extern gevisit eerd waarna een beslissing volgt over de accredit at ie. Daarnaast organiseren veel hogescholen tussentijdse interne visitaties. Onderdeel van de visitatie is een oordeel over het toetsbeleid van de opleiding. Dit betreft dus ook een oordeel over de opzet en m otivatie van het afstudeerprogram m a. De NVAO eist dat de opleiding beschikt over een adequaat systeem van toetsing. Wat onder adequaat wordt verstaan bij de toetsing van eindkwalificaties is naar de mening van de expertgroep in dit protocol gespecificeerd. Dat betekent dat de opleiding bij een visitatie een verantwoording kan aanleveren van de opzet van het afstudeerprogram m a langs de lijnen van dit protocol. I n het kader van de verantwoording is het niet voldoende dat de inform atie over het afstuderen op papier deugt. Uiteindelijk m oet zichtbaar zij n dat de uitvoering overeenkom t m et wat afgesproken is. Daaruit blijkt dat procedures en instrum enten werkbaar zijn, exam inatoren deskundig zijn en alle betrokkenen tijdig en volledig zijn geïnform eerd. Beoordelen blij ft m ensenw erk. Openheid in de uit voering wordt bevorderd als het opleidingsteam achter de uitgangspunten en opzet staat. Het opleidingsteam betrekken bij de totstandkom ing van het afstudeerprogram m a is één van de m anieren om dit te realiseren. Naast een oordeel over het systeem van toetsing wordt bij een visitatie ook een oordeel geveld over het gerealiseerde eindniveau. De opleiding t oont aan dat de beoogde eindkwalificaties worden gerealiseerd. Dat betekent dat beslissingen van de opleiding over de beroepsbekwaam heid van st udent en herleidbaar m oet en zij n voor derden. Deze st andaard wordt in de prakt ij k geoperat ionaliseerd door een herbeoordeling door het visit a- tiepanel van het bewijsm ateriaal van 15 studenten. De richtlijn NVAO beoordeling afstudeerwerken instrueert panels een aselecte en gestratificeerde steekproef te trekken van 15 verschillende eindwerken (of portfolio s) uit de grootste variant van de opleiding (NVAO, 2012, p.1). Zoals in deel 1 is betoogd tonen opleidingen dat veelal aan door het verzam elen van diverse vorm en van bewij sm at eriaal in m eerdere afst udeeronderdelen. Om een representatief beeld te geven van de gerealiseerde eindkwalificaties is het dus zaak om van de geselect eerde st udent en ál dit bewij sm at eriaal aan t e leveren, sam en m et de beoordelingsm odellen die de panels dienen te hanteren bij de herbeoordeling van het m ateriaal. Het is voor opleidingen dus belangrijk om goed na te denken wat ze in het dossier van de student opnem en om eindkwalificaties aan te tonen. Het is de expertgroep opgevallen dat er veel onduidelijkheid bestaat over de wijze waarop visitatiepanels het bereikte eindniveau van een opleiding toetsen. Daarom staat deze werkwijze in bijlage 4 beschreven. 26

27 '((/ 9,6,(2321'(5=2(.(1'9(502*(1 Onderzoekend verm ogen is ondersteunend bij het m aken van een beroepsproduct 27

28 ,QOHLGLQJ Afgest udeerde hbo- ers dienen t e beschikken over de bekwaam heid onderzoekend verm ogen (HBO-raad, 2009) m aar er is veel onduidelijkheid over wat dit precies betekent. Wel is duidelijk dat het hbo niet opleidt tot onderzoeker (behalve opleidingen zoals die t ot laborat orium onderzoeker) m aar t ot beroepsbeoefenaar. Wat dan wél de rol van onderzoekend verm ogen is, is voor veel opleidingen onduidelij k. Een gevolg van die onduidelijkheid is dat opleidingen in het hbo m oeite hebben onderzoek te integreren in de rest van het curriculum en niet goed weten hoe onderzoekend verm ogen te toetsen. Een ander gevolg is dat de eisen aan het werk van studenten op het gebied van onderzoek onrealistisch hoog worden. Het woord onderzoek roept veel associaties op m et kwaliteitseisen die m aar beperkt relevant zij n voor beroepsonderwijs op bachelorniveau. De expertgroep probeert in onderstaande tekst te verhelderen wat kan worden verstaan onder onderzoekend verm ogen, welke rol dit verm ogen speelt bij het uit voeren van beroepsopdrachten en hoe dit verm ogen kan worden geëxam ineerd. De tekst sluit af m et een opsom m ing van m inim um eisen voor onderzoekend verm ogen op bachelorniveau die volgens de expertgroep realistisch zijn. :DDUNRPWGHHLVYDQRQGHU]RHNHQGYHUPRJHQYDQGDDQ" We gaan hier niet in op het grote debat over de rol van onderzoek in het hbo in het algem een en het karakt er van dat onderzoek ( zie voor een overzicht Griffioen, Visser- Wijnveen, & Willem s, 2013). We richten ons op de eis dat bachelorstudenten onderzoekend verm ogen m oeten hebben. Deze eis is als eerste geform uleerd in de nota Kwaliteit als opdracht (2009, p.17) van de toenm alige HBO-raad: I n onze moderne sam enleving is het cruciaal dat hbo-bachelors over een onderzoekend verm ogen beschikken dat leidt tot reflectie, tot evidence based practice, en tot innovatie. Deze eis kom t voort uit de visie dat onze econom ie in toenem ende m ate is gebaseerd op kennis. Het innovatieverm ogen van de econom ie is sterk afhankelijk van het verm ogen om nieuwe kennis te ontwikkelen. De m otor voor die nieuwe kennis is niet alleen de wetenschap m aar ook de kennisint ensieve organisat ies in het bedrij fsleven en bij de overheid waarin de hboopgeleide zo n belangrijke rol speelt. De eis van onderzoekend verm ogen is overigens niet nieuw. De Dublin Descriptoren (Joint Quality I nitiative, 2004) - die ook voortkom en uit de visie van Europa als de kenniseconom ie - wezen ook al in de richting van een dergelijk verm ogen. De descriptor Oordeelsvorm ing wordt daarin als volgt om schreven: I s in staat om relevante gegevens te verzam elen en interpreteren (m eestal op het vakgebied) m et het doel een oordeel te vorm en dat m ede gebaseerd is op het afwegen van relevante sociaalm aatschappelijke, wetenschappelijke of ethische aspecten. Gegevensverzam eling en interpretatie is een belangrijk aspect van onderzoek. Ook de Com m issie Franssen (2001) die de generieke kwalificaties voor de hbo-bachelor heeft opgesteld, wees al in de richting van onderzoekend verm ogen. Zo m oesten studenten volgens de com m issie com plexe probleem situaties kunnen analyseren, relevante ( w et enschappelij k) inzicht en, t heorieën concept en en onderzoeksresult at en kunnen t oepassen, werkzaam heden planm atig kunnen aanpakken, oplossingen kunnen ontwikkelen en beoordelen en kunnen reflecteren op het handelen. Op basis van de Dublin Descriptoren en de generieke kwalificaties zou m en nog kunnen concluderen dat een bachelorstudent alleen onderzoek hoeft te kunnen toepassen en geen onderzoek zelfstandig hoeft te kunnen uitvoeren. Met de introductie van het begrip onderzoekend verm ogen geeft de HBO-raad aan dat studenten ook in staat m oeten zijn om zelf een onderzoek uit te voeren. Dit gaat verder dan het beschikken over een kritische houding ten opzichte van de beroepspraktijk en het toepassen van onderzoeksresultaten van anderen. De HBO-raad geeft in Kwaliteit als opdracht aan dat onderzoekend verm ogen m eer is dan een onderzoekende houding wanneer ze st elt dat onderzoekend verm ogen m oet leiden tot reflectie, evidence-based practice en innovatie (HBO-raad, 2009). Deze term en 28

29 worden in het docum ent niet nader om schreven. De expert groep int erpret eert deze t erm en als volgt: 5HIOHFWLH: dit bet reft in dit verband het t erugkij ken op het eigen handelen in de beroepspraktijk, signaleren wat er niet goed ging, dat proberen te verklaren vanuit de kennisbasis en in diezelfde kennisbasis ook de uitgangspunten vinden voor een betere aanpak. Reflectie is alleen m ogelijk als het handelen ook goed is YHUDQWZRRUG. (YLGHQFHEDVHG SUDFWLFH: dit betreft het gebruiken van de kennisbasis om de juiste handelingen te kiezen. Het gaat dus om het goed RQGHUERXZHQ van het handelen. De kennisbasis m ag daarbij divers zij n: literatuur, kennis uit de praktijk en kennis van de patiënt, cliënt of opdrachtgever.,qqrydwlh: dit betreft het YHUQLHXZHQ van de beroepspraktijk om deze te verbeteren. Met nam e het derde punt laat zien dat onderzoekend verm ogen ook m eer is dan onderzoeksresultaten kunnen toepassen. Vernieuwing om de beroepspraktijk te verbeteren vereist het genereren van kennis naast het benutten van bestaande kennis. Hoe ver die vernieuwing dient te gaan kom t in hoofdstuk 5 aan de orde. +RHNXQQHQZHRQGHU]RHNHQGYHUPRJHQGHILQLsUHQ" Onderzoekend verm ogen bestaat uit drie com ponenten: 2QGHU]RHNHQGHKRXGLQJ I n de eerste plaats betekent onderzoekend verm ogen het beschikken over een onderzoekende houding. Voor de invulling van dit begrip kunnen we gebruik maken van het werk van Van der Rij st ( 2009). Hij onderscheidt zes aspect en aan een onderzoekende houding: kritisch zijn; willen begrijpen; willen bereiken; willen delen; willen vernieuwen; en willen weten..hqqlvxlwrqghu]rhnydqdqghuhqwrhsdvvhq De t w eede com ponent is het beschikken over het verm ogen om bij het m aken van beroepsproducten gebruik te m aken van de kennis van anderen. Dat kunnen resultaten zijn van ander onderzoek of de praktijkkennis van professionals in de beroepspraktijk. =HOIRQGHU]RHNGRHQ De derde com ponent is het beschikken over het verm ogen om zelf de onderzoekscyclus te doorlopen, die loopt van het form uleren van een vraag via het verzam elen van data tot het geven van een antwoord. De data die verzam eld m oeten worden m ogen daarbij ook uit secundaire bronnen of uit de literatuur kom en. Het gaat erom dat de student het principe van de rode draad die in de onderzoekscyclus zit begrijpt en kan hanteren. :DWLVGDQRQGHU]RHN" Een definit ie voor onderzoek m ag alleen definiërende eigenschappen van onderzoek bevatten en geen kwaliteitseisen voor goed onderzoek. De m eeste definities bevatten dergelijke kwaliteitseisen wel. Bij het zoeken van een goede, oordeelsneutrale, definitie van onderzoek kan de definitie van Verschuren (2009) als startpunt dienen. Verschuren stelt dat onderzoek is: het doelbewust en m ethodisch zoeken naar nieuwe kennis in de vorm van antwoorden op vooraf gestelde vragen volgens een tevoren opgesteld plan. Deze definitie bevat nog wel een aantal kwaliteitseisen waarover niet iedereen hetzelfde denkt. Niet in alle onderzoeksparadigm a s is m en het eens m et de eis dat onderzoek altijd doelbewust is, dat vragen van tevoren m oeten worden gesteld en dat het m ogelijk is 29

30 van tevoren een plan op te stellen. Daarbij kom t dat het bij praktijkgericht onderzoek in het hbo niet prim air gaat om het bijdragen van nieuwe kennis aan wat er in de theorie al bekend is m aar om het ontwikkelen van kennis die relevant is voor de beroepspraktijk. Dit leidt tot de volgende, door de expertgroep aangepaste, definitie van onderzoek die specifiek is voor het hbo onderwijs: 2QGHU]RHNLVKHWPHWKRGLVFKEHDQWZRRUGHQYDQYUDJHQGDWOHLGWWRWUHOHYDQWHNHQQLV :DWLVKHWYHUHLVWHQLYHDXYDQRQGHU]RHNLQEDFKHORUHQPDVWHU" Over het verschil in vereist niveau tussen de professional bachelor- en de professional m asteropleiding is elders al veel gezegd (Bulthuis, 2013). Wat betreft onderzoekend verm ogen wijzen Griffioen en Wortm an (2013) er terecht op dat het verschil tussen bachelor en m ast er zit in de com - plexiteit van de taak & context en de m ate van zelfstandigheid die wordt verwacht. Bij onderzoek is de com plexit eit van de t aak prim air een funct ie van t wee variabelen: 1) de m at e w aarin gestreefd wordt naar relevantie van de resultaten voor een bredere groep (de relevantie-claim ) en 2) de m ate waarin gestreefd wordt naar grondigheid van de m et hode (de rigor-claim ) (Butter, 2013). 5HOHYDQWLHFODLP Het doel van onderzoek kan zijn om resultaten op te leveren die alleen relevant zijn voor een specifieke situatie die is onderzocht. Dat kan bijvoorbeeld de situatie van een patiënt, cliënt of opdrachtgever zijn. De relevantie-claim is dan bescheiden. Hieraan kunnen we ook de eis van innovatie koppelen. Bij een bescheiden relevantie-claim hoeft de innovatie niet nieuw te zijn voor de hele wereld m aar wel nieuw voor de specifieke situatie. Het doel kan echter ook zijn om resultaten op te leveren die in potentie relevant zijn voor andere sit uat ies, pat iënt en, cliënt en of opdracht gevers en daarm ee voor de collega beroepsbeoefenaren in hele vakgebied. De relevantie-claim is dan groter. Ook kan er sprake zijn van een nog bredere doelgroep. Dan is de claim om iets bij te dragen aan de m aatschappij als geheel of een wetenschappelijk forum, zoals in het geval van een prom ot ieonderzoek. Op deze m anier zij n drie niveaus van relevant ie t e onderscheiden. 5LJRUFODLP Er zijn ook m eerdere niveaus te onderscheiden in de m ate waarin het onderzoek grondig wordt uit gevoerd. Schön ( 1991) hant eert hiervoor de term rigor. Basisvoorwaarde is dat er een duidelijke ketting van bewijsm ateriaal ( chain of evidence ) ten grondslag ligt aan de uitspraken die op basis van het onderzoek worden gedaan. Het niveau van rigor hangt vervolgens af van onder andere: 30