Examenorganisatie Summa College

Transcriptie

1 Nulmeting van de Examencommissie en Examenraad Datum: 3 april 2014 Auteur(s): Jesse Artz Versie: 1.0 Status: Definitief 2014 Summa College

2 Nulmeting van de Examencommissie en Examenraad Versie Datum Omschrijving Door april 2014 Concept rapport ter bespreking in Jesse Artz O&K Besturingshart mei 2015 Besproken in Besturingshart Hans Bataille Pagina: 2 van 10

3 Inhoud 1. Inleiding 4 2. Het onderzoek; de nulmeting Examencommissies en algemene reflectie 4 3. Opbrengsten nulmeting 5 4. Aanbevelingen 8 5. Advies voor vervolg uniformering examenorganisatie 9 Pagina: 3 van 10

4 1. Inleiding Korte situatieschets Het Summa College heeft het afgelopen jaar verschillende acties ingezet om de examenorganisatie te herinrichten conform de nieuwe rol en eisen die de wetgeving en het Summa zelf vereist. De elf clusters van het Summa hebben dit schooljaar de opdracht gekregen om een nieuwe of aangepaste Examencommissie samen te stellen en hiervoor een ambtelijk secretaris te werven. Dit is gebeurd op basis van vastgestelde Summa kaderdocumenten. Daarnaast is als gevolg van teamsupport onlangs ook de examenadministratie heringericht. De administratie valt niet meer onder het cluster, maar wordt vanuit drie administraties aangestuurd. Elk team heeft een docent met taken examinering die contact heeft met de administratie. De taken die de administratie nu uitvoert, zijn puur administratief, in tegenstelling tot hoe het bij sommige clusters voorheen was georganiseerd en een examenbureau ook een inhoudelijke rol had. Dit gaat gepaard met de invoering van uniforme processen en bijbehorende documenten met betrekking tot examinering. Al deze ontwikkelingen hebben geleid tot het gaan monitoren en bestendigen van de inrichting van de examenorganisatie. In dit stuk beperken we ons tot de Examencommissie. Echter, de inrichting van de administratie met senior examenmedewerkers, taakdocenten examinering in teams, invoering processen is op dit moment in ontwikkeling. In dit rapport doen we verslag van het traject dat met de Examencommissies wordt doorlopen. Er is afgesproken om een nulmeting uit te voeren, als basis voor verdere ondersteuning en advies. Dit moet uitmonden in een professioneel functionerende Examencommissie die de vereiste rol oppakt en taken uitvoert waardoor de kwaliteit van examinering adequaat geborgd is. De nulmeting bij de Examencommissie beoogde meerdere doelen. Ten eerste, om een algemeen beeld te krijgen waar de Examencommissies staan. Ten tweede, een inventarisatie van gedeelde en specifieke verbeterpunten van de commissies, om zodoende specifieke en generieke ondersteuning te bieden. Ten derde, bewustwording over de taak, rol en positie van de Examencommissie. En als laatste leidt de 0-meting tot aanbevelingen en advies voor de verdere kwaliteitsverbetering en borging van examinering voor geheel Summa. 2. Het onderzoek; de nulmeting Examencommissies en algemene reflectie Aanpak Er zijn twee digitale vragenlijsten voor de elf Examencommissies ontwikkeld en uitgezet. Eén versie voor de ambtelijk secretaris en één versie voor de overige leden van de Examencommissie. Met elke Examencommissie (of een afvaardiging van) is een interview gehouden. De resultaten uit de digitale enquête dienden als opmaat voor het interview. Elke Examencommissie heeft een terugkoppeling ontvangen over de belangrijkste bevindingen en de gevraagde ondersteuning. Acht van de elf commissies hebben hun concrete behoeften aangegeven. Afhankelijk van de vragen worden deze op de korte of langere termijn opgepakt, via scholing, advies en/of ontwikkeling van instrumentarium. De overige drie commissies hebben geen expliciete behoeften aangegeven, maar zullen door middel van algemene scholing en ontwikkeling van instrumentarium ondersteund worden. Naast interviews met de Examencommissies, is er ook een interview gehouden met de Examenraad. Pagina: 4 van 10

5 Uit de verschillende interviews kwam de examenadministratie als aandachtspunt in de borging en veiligheid van examinering naar voren. Op basis van deze signalen is er ook gesproken met de examenadministratie om hun bevindingen mee te nemen. De interviews zijn gehouden door Hans Bataille (Summa), Jesse Artz en Alie Kamphuis (CINOP). Ten aanzien van de enquête en het interview Verschillende leden van de Examencommissies gaven aan moeite te hebben met het invullen van de digitale enquête. De vraagstelling en de schaalindeling werd niet altijd begrepen. Dit heeft bij sommigen geleid tot het invullen van vragen met n.v.t. of weet ik niet. De respons op de enquêtes was hoog: 100% bij de ambtelijk secretarissen (n=11) en 94,4% bij de leden van de Examencommissies (n=36). Niet alle leden van de Examencommissies hebben de digitale enquête toegestuurd gekregen, omdat deze namen niet bekend waren bij de dienst Onderwijs- & Studentencentrum. Vermoedelijk gaat het om 10 leden. Daarnaast gaven verschillende mensen aan dat ook de vraagstelling in de interviews moeilijk was. Men begreep niet altijd waar precies naar gevraagd werd. Met name de vragen over eisen die je stelt aan de kwaliteiten van examenbetrokkkenen vond men verwarrend. Op basis van de uitkomsten van de digitale enquête en op basis van de interviews met de Examencommissies worden hieronder de belangrijkste en/of opvallendste bevindingen teruggekoppeld. Let wel het gaat om een beeld wat is geschetst. De inrichting en borging kan in de praktijk anders zijn. Tevens volgt in dit rapport een algemene reflectie op de examenorganisatie. Deze reflectie is ontstaan op basis de algemene indrukken die de nulmeting heeft opgeleverd, de gesprekken met collega s van het Summa, het gebruiken van systemen en documentatie, het met elkaar bespreken van situaties en het reflecteren op bevindingen. Bijlage 1: uitkomsten digitale enquête Examencommissies en digitale enquête ambtelijk secretarissen Bijlage 2: interviewleidraad Examenraad Bijlage 3: interviewleidraad Examencommissies Bijlage 4: interviewverslagen 11 Examencommissies, Examenraad en examenadministratie 3. Opbrengsten nulmeting Bevindingen digitale enquête 1. Evenredige verdeling van zeer ervaren, ervaren en minder ervaren leden van de Examencommissie en ambtelijk secretarissen; In totaal vijf nieuwe ambtelijk secretarissen (Opmerking: in principe is de rol van ambtelijk secretaris voor alle elf Examencommissies nieuw, maar deze mensen hebben in het verleden al soortgelijke taken voor de Examencommissie uitgevoerd en beschouwden zich daarom niet als nieuw). Tien nieuwe leden van een Examencommissie. 2. Ongeveer 1/3 onervaren leden Examencommissie en ambtelijk secretarissen, met veelal (jarenlange) ervaring in andere examineringsrollen. 3. Wisselende jaartaak van ambtelijk secretarissen, loopt uiteen van 0,2-0,6 fte, waarbij 0,5 fte het meest wordt genoemd. Leden Examencommissie geven vaak aan geen jaartaak te hebben; het is een onderdeel van hun functie als teamleider of manager, directeur. 4. Het aantal keren dat Examencommissies vergaderen wisselt. Er zijn commissies die vier keer of minder per schooljaar bij elkaar komen. En commissies die meer dan negen keer per Pagina: 5 van 10

6 schooljaar samenkomen. Slechts 21% van de leden Examencommissie en ambtelijk secretarissen geeft aan PROTOS, het digitale examineringshandboek in complexe situaties te gebruiken. De overige gebruiken het in eenvoudige situaties (34%) of weet er van maar gebruikt het nog niet (38%), de overige 6% weet het niet of heeft de vraag niet beantwoord. 5. Veel ambtelijk secretarissen en leden van Examencommissies geven aan geen inwerkprogramma of scholing te hebben gehad bij aanvang van hun rol. 6. Met name een aantal aansturingstaken die de Examencommissie heeft wordt door de ambtelijk secretarissen niet gezien als een taak en verantwoordelijkheid die bij hun takenpakket hoort. Anderen geven aan dat deze nog ontwikkeld moet worden. (bijvoorbeeld inrichten van effectieve examenorganisatie, operationaliseren van visie en kaders). Bevindingen Interviews Examencommissie De interviews met de Examencommissie laten het volgende algemene beeld zien: 1. Niet één Examencommissie binnen het Summa is hetzelfde. Elke Examencommissie is anders van samenstelling, werkwijze, de taken die de ambtelijk secretaris uitvoert en de relatie met subexamencommisie(s). 2. Examencommissies kunnen niet precies duiden waarom ze het op deze manier hebben ingevuld. Thema s als, efficiënt werken, juiste kwaliteiten in de commissie, borging van de onafhankelijk, taakverdeling en betrokkenheid werkveld zijn veelal niet bewust in de commissie besproken en is niet altijd bewust voor gekozen. 3. Examencommissies laten over het algemeen zien dat zij zelf goed zicht hebben op het examineringsproces. Echter, deze zijn niet altijd uitgewerkt naar eigen taken en verantwoordelijkheden. Met name thema s als resultatenanalyse, kwaliteit van examenfunctionarissen en het vastleggen van besluiten worden hierbij genoemd. 4. Examencommissies zijn zeer actief bezig met de kwaliteit of het verbeteren van de kwaliteit van examinering. Examencommissies gaven aan dat de KIT-gesprekken hiervoor een belangrijke aanleiding waren. 5. In de meeste gesprekken was een zeer actieve betrokkenheid van de geïnterviewden, waarbij zichtbaar werd dat het interview direct benut werd voor het aanscherpen van de eigen werkwijzen. 6. Examencommissies drijven vaak op de kracht van één of een beperkt aantal leden. Deze individuen hebben het overzicht, zijn geïnformeerd en weten hoe ze moeten aanpakken. Dit is een risico bij uitval en overdracht van werkzaamheden. 7. De Examencommissies zijn veelal niet op de hoogte van de Examenraad. Sommige leden kennen de term Examenraad, maar geven aan niet te weten wat de Examenraad doet en waarvoor deze bestaat. 8. De meeste Examencommissies hebben een duidelijk beeld van hoe ze de praktijk bij het examineringsproces betrekken. In sommige commissies zit een afgevaardigde vanuit de praktijk. De ervaring die de commissies hebben is dat zij de betrokkenheid van de praktijk anders willen organiseren, bijvoorbeeld via praktijkbijeenkomsten. Bij verschillende clusters is dat al zo georganiseerd. 9. De meeste Examencommissies hebben behoefte aan een goed planningsinstrument; een jaarplan waarin de examenprocessen in de plan-do-check act cyclus worden beschreven en daarbij flankerend de eigen planning van Examencommissies en eventuele Subexamencommissies. 10. Verschillende Examencommissies hebben zichtbaar gemaakt dat zij niet zorgvuldig genoeg gemaakte afspraken en/of besluiten vastleggen, terwijl ze wel degelijk monitoren en terugkoppelingen krijgen. Pagina: 6 van 10

7 11. De resultatenanalyse en evaluatie is een terugkerend aandachtspunt in de Examencommissies. Er wordt geanalyseerd en geëvalueerd, maar bij de meeste Examencommissies is dit niet structureel, maar slechts op incidentbasis. Daarnaast, daar waar analyses en evaluaties plaatsvinden is niet altijd inzichtelijk wat er mee wordt gedaan. Bijvoorbeeld worden examens bijgesteld? 12. Bij kleinere clusters waar de examenadministratie onder eigen beheer is, zijn er weinig problemen met de afstemming over de administratieve afhandeling. Bij grote clusters wordt aangegeven dat de administratie een zorgpunt is. Met name de houding en kennis over het belang van examinering en het waarom bepaalde zaken zo moeten, is nog niet altijd aanwezig bij de administratie. 13. De invulling van de onafhankelijkheid is bij de meeste commissies nog een aandachtspunt. Deze wordt meestal door één schakel/lid gewaarborgd en in de meeste gevallen is dit de ambtelijk secretaris of de manager onderwijs. 14. Bij twee van de elf clusters geeft het algemene beeld van het interview aanleiding tot meer zorgen over de borging en kwaliteit van examinering. Het beeld wat deze clusters laten zien is dat de volledige Examencommissie nog niet voldoende bewust is van de rol en taak van de Examencommissie en daardoor nog veelal op de oude structuren de examenorganisatie hebben ingericht. 15. De komst van de entree-opleidingen leidt tot het ontwikkelen van nieuw exameninstrumentarium. De inrichting van de examenorganisatie en de samenwerking van de clusters is hierin een aandachtspunt. Afhankelijk van landelijke ontwikkelingen kan hier menskracht bij nodig zijn om exameninstrumentarium te ontwikkelen en het eventueel herinrichten van de examenorganisatie. Bevindingen interview Examenraad Letterlijk verwoord geeft de Examenraad haar eigen rol kernachtig weer in onderstaande zin: Wij zijn met name reactief geweest in onze rol. We hebben als raad niet de intentie gehad om de luis in de pels te zijn van examinering. De vraag is OF de Examenraad nodig is en ZO JA, hoe deze dan moet worden ingericht en met welke mensen? Bevindingen gesprek examenadministratie 1. Met een beperkt aantal clusters verloopt de samenwerking goed, bij de overige clusters verloopt het moeizaam. 2. Daar waar het moeizaam verloopt lijkt dit met name veroorzaakt te worden door een gebrekkige informatiedeling en inrichting van samenwerkingsstructuren en afspraken. 3. De examenprocessen zijn nog onvoldoende bekend in de teams. Hier wordt aan gewerkt, maar zolang er nog niet aan die processen gehouden wordt, kan de administratie de processen onvoldoende als handvat gebruiken en moeten ze doen wat gevraagd wordt. 4. Het is onduidelijk wat je van elkaar mag verwachten administratie versus Examencommissie en meer specifiek de rol van de ambtelijk secretaris. Algemeen Reflectie examenorganisatie De visie en het beleid zijn gedateerd (2009). Het is van belang deze zo spoedig mogelijk te reviseren omdat dit de basis is van de inrichting van de examenorganisatie. Er is geen duidelijke organisatie- en beslisstructuur ten aanzien van examinering. Wordt dit gedaan in het besturingshart, door de Examenraad, de Examencommissies of MT van de clusters? Bijvoorbeeld ten aanzien van het ontwikkelen van een nieuwe visie en beleid. Pagina: 7 van 10

8 Er is heel veel materiaal (Summa breed) op PROTOS voorhanden, maar het is niet duidelijk op basis van welke criteria deze ontwikkeld zijn, en wat de status is van deze documenten (kader of interpretatie). Daarnaast is niet bekend of PROTOS zo wordt ingericht dat de Examencommissies van de cluster hun eigen materiaal er in kunnen zetten. Dit is wel een vereiste om de kwaliteit te borgen. De ondersteuningsvraag en benodigde expertise om de examenorganisatie optimaal in te richten is groot. Is er voldoende bezetting en kennis over het thema examinering bij O&K om ondersteunend en adviserend te zijn aan directie en clusters? Het is onduidelijk wat de rol en functie is van de Examenraad. De examenadministratie is onlangs opnieuw ingericht. Er is nog onvoldoende kennis van het examenproces aanwezig. Er is geen structurele (inhoudelijke) ondersteuning voor de senior examenmedewerkers. Zij zijn onvoldoende geïnformeerd over de administratieve processen ten aanzien van de borging van de kwaliteit van het examenproces. Bijvoorbeeld zorgen dat je weet dat examens veilig moeten worden opgeborgen. De administratie wordt hier bij ondersteund, maar het is nog in ontwikkeling en heeft tijd nodig om zich te zetten. De ambtelijk secretaris is benoemd als een tijdelijke positie. In de organisatie is er onduidelijkheid of dit zo blijft of verandert. Dit bepaalt de prioriteit en investering van sommige clusters bij deze rol. 4. Aanbevelingen 1. Voorwaardelijke aanbeveling. Om verder te gaan met de overige aanbevelingen, is het raadzaam om eerst een besluit te nemen over HOE je de borging van de examenorganisatie wilt realiseren. Ga je uniformeren en werken aan de cultuurverandering of richt je je nu alleen op de structuurverandering (structuur versus cultuur). 2. Ontwikkel een nieuwe examineringsvisie. Herijk bestaande visie en beleid en werk deze uit naar kaders en richtlijnen. 3. Richt de beslisstructuur ten aanzien van examinering opnieuw in. Met name de functie van de Examenraad in relatie tot het besturingshart. 4. Scherp de examenorganisatie verder aan en werk aan de bewustwording van de onafhankelijke rol van de betrokkenen in de examenorganisatie: Rol Examenraad t.o.v. Examencommissie. Verheldering rol Examencommissie t.o.v. Subexamencommissie - waarborgen van onafhankelijkheid en kwaliteit. Ontwerp een transparante beslisstructuur ten aanzien van examinering (Examenraadbesturingshart, onderwijsmanagers etc.). Bemensing Examencommissie (grootte, onafhankelijkheid en kwaliteit). Besluit nemen over de rol van de ambtelijk secretaris: structurele rol of nu alleen als overbrugging? Rollen, taken en bekwaamheidseisen van alle examenfunctionarissen (vaststellers, beoordelaars etc). 5. Update het exameninstrumentarium. Pas de exameninstrumenten aan de huidige normen aan (is al in gang gezet). 6. Zorg voor een geschikt middel waar Examencommissies hun exameninstrumentarium in kunnen plaatsen: Onderzoek of PROTOS de mogelijkheid heeft om hier schoolspecifieke documenten in te plaatsten waardoor de kwaliteitsborging ondersteund wordt. Pagina: 8 van 10

9 7. Draag zorg voor voldoende capaciteit en deskundigheid bij O&K ten behoeve van: Macro: visie en kaders en vertaling beleid. Meso: (on the job) ondersteuning van examenorganisatie clusters (advies & professionalisering). Micro: ondersteuning bij de ontwikkeling van exameninstrumentarium clusters. 8. Draag zorg voor voldoende deskundigheid en capaciteit bij de Examencommissie en ambtelijk secretarissen: Ondersteun Examencommissie bij de uitvoering van hun taken en rol door training onthe-job of via andere professionaliseringsvormen. Ontwikkelen een inwerkprogramma voor nieuwe leden EXCIE en de ambtelijk secretaris Maak voor nieuwe leden Examencommissies en/of ambtelijk secretarissen een scholingsprogramma waarin voor hen de kapstok van examinering wordt toegelicht (het examineringsproces, eisen vanuit de wet/inspectie, en kwaliteitseisen die Summa stelt). Belangrijk daarbij is aandacht voor het gebruik van PROTOS en het hanteren van bepaalde specifieke documenten. Aanbeveling is om dit centraal op te pakken en jaarlijks in twee dagdelen aan te bieden. 9. Stuur meer op samenwerking en afstemming tussen cluster en examenadministratie Bijscholing examenadministratie op kennis. Sturing van management op samenwerking (zowel bij administratie als bij het onderwijs). 10. Voer over een jaar een ontwikkelingsgerichte audit uit op het functioneren van de examenorganisatie & ondersteun de Examencommissie. 5. Advies voor vervolg uniformering examenorganisatie Bovengenoemde aanbevelingen leiden tot het volgende advies. Zorg voordat je verder gaat met het bestendigen en borgen van de examenorganisatie, voor: 1. Helderheid over de besluitvormingsstructuur van de examenorganisatie. Wie neemt besluiten (personen/rollen en het bevoegd orgaan), hoe worden besluiten genomen en op welke wijze zorgen we ervoor dat de besluiten worden nagekomen, Van belang hierbij is de rol van de Examenraad in relatie tot de rol van het besturingshart. Welk orgaan neemt de besluiten ten aanzien van examinering en heeft de toezichthoudende rol? Wie neemt de beslissingen over bijvoorbeeld veranderingen in het examenreglement en wie neemt het besluit over koers en beleid? Wie ziet tot op de kwaliteitsborging door de Examencommissies? Wie benoemt de voorzitters van de Examencommissie? Geadviseerd wordt te kiezen de examenorganisatie te positioneren naast de schoolorganisatie en de Examenraad (vanuit het Besturingshart) de opdracht te geven de toezichthoudende rol op de examenorganisatie uit te voeren. Hiermee wordt de onafhankelijkheid van de borging van de kwaliteit van examinering gewaarborgd. Dit vraagt een gedragsverandering van de leden van de Examencommissie omdat van hen verwacht wordt vanuit een onafhankelijke rol te participeren in de commissie. Teams blijven uiteraard verantwoordelijk voor de examinering zelf. 2. Een principe-uitspraak over uniformeren van de examenorganisatie: Hoe ver willen we uniformeren? Zijn de kaders over het WAT die er liggen voldoende of gaan we naar meer gelijke positionering van het HOE (de Examencommissies en invulling Pagina: 9 van 10

10 van rollen en taken ten aanzien van examinering zoals de ambtelijk secretaris? zowel in de lijnorganisatie, als in de examenorganisatie)? Geadviseerd wordt de uniformering van de examenorganisatie verder door te zetten, en dit geleidelijk te laten ontstaan in een periode van een jaar. De ambtelijk secretarissen krijgen daarbij eenzelfde invulling van hun taken. 3. Ontwikkel een Plan van Aanpak voor het vervolg van het traject. Welke activiteiten, processen en producten moeten er gerealiseerd worden en welke tijdpad staat daar voor. De aanbevelingen uit paragraaf 4 dienen als input. Pagina: 10 van 10