Examinering MBO Utrecht Jaarverslag 2013

Transcriptie

1 Examinering MBO Utrecht Jaarverslag 2013 Colofon Uitgave : 25 maart 2014 Versie jaarverslag examinering : 1.0 Vastgesteld door de examencommissie op : 25 maart 2014 Definitief vastgesteld door het College van Bestuur op : 25 maart 2014 Opgesteld door : De Examencommissie Kenmerk : U OW40

2 Inhoudsopgave Inleiding 3 1 Beleid examinering Doelen op het gebied van beleid 1.2 Activiteiten en resultaten 1.3 Verbeteracties 2 Examenorganisatie Doelen ten aanzien van de examenorganisatie 2.2 Activiteiten en resultaten 2.3 Verbeteracties 3 Kwaliteitszorg 3.1 Doelen op het gebied van kwaliteitszorg Activiteiten en resultaten 3.3 Verbeteracties 4 Overige gegevens Resultaat COE 4.2 Resultaat gediplomeerden 4.3 Klachten en Beroep pag. Jaarverslag examinering pagina 2 van 9

3 Inleiding De examencommissie van MBO Utrecht beschrijft in dit jaarverslag de examinering in 2013: de start van het jaar, de doelen in 2013, de activiteiten die daarvoor zijn opgezet en de resultaten. In dit jaarverslag is daarnaast een overzicht van diplomeringen en beroepsprocedures opgenomen. In januari bestond de examencommissie MBO Utrecht nog geen half jaar. Na de oprichting in september 2012 lag de prioriteit bij het opzetten en inrichten van een eigen examenorganisatie, die verantwoordelijk is voor de aansturing van de examinering en de borging van de kwaliteit van de examinering. Het ging daarbij om een examenorganisatie met de volgende kenmerken: - onafhankelijk van het onderwijs, - transparant voor alle betrokkenen, - duidelijke verdeling van taken en verantwoordelijkheden, - zicht op exameninstrumenten, afname en beoordelingsprocessen en diplomering, - kaders voor de uitvoering van het proces van examinering en diplomering. Het was nodig om de examenorganisatie opnieuw in te richten, omdat de taken op het niveau van Amarantis centraal belegd waren en de examenorganisatie geschaald moest worden naar het niveau van de veel kleinere zelfstandige instelling die MBO Utrecht nu is. In januari was de examencommissie zelf nog in ontwikkeling en het verder ontwikkelen van de examenorganisatie was in die situatie dan ook een uitdaging. Deze opdracht is vertaald in een plan van aanpak met de focus op de kwaliteit van de examinering. Het beleid was in 2013 erop gericht de examinering te laten voldoen aan de examenstandaarden van de Inspectie van het Onderwijs, zoals die zijn omschreven in de Regeling standaarden examenkwaliteit MBO Speerpunten daarbij waren het bemensen van de examenorganisatie met deskundige/geschoolde medewerkers, kaders voor de uitvoering van de examinering ontwikkelen en toezicht houden op de processen van examinering en diplomering. Naast deze aanpak zijn aan het eind van 2013 gerichte verbeteracties ingezet. Jaarverslag examinering pagina 3 van 9

4 1. BELEID EXAMINERING 1.1. Doel De examencommissie heeft in 2013 de volgende beleidsdoelen geformuleerd. - Kaders examinering aangeven. - Kwaliteitsborging door standaardisering. - Betrokkenheid beroepenveld Activiteiten en resultaten Kaderdocumenten Er is gewerkt aan het ontwikkelen van kaders voor de examinering met het volgende resultaat. - Visie examinering MBO Utrecht is in 2012 gestart met het opstellen van een visie op examinering. In 2013 heeft dit geresulteerd in het kaderdocument Visie op Examinering. Dit document is door het CvB vastgesteld. - Kwaliteitskader examinering en handboek examinering De examencommissie heeft het kwaliteitshandboek voor competentiegerelateerde examens op geldigheid en actualiteit getoetst en aangepast. Dit heeft geresulteerd in het document Kwaliteitskader examinering en een nieuw Handboek examinering, waarin respectievelijk de examentaken, werkprocessen en procedures voor zijn beschreven. - Examenreglement In 2013 is een examenreglement, waarin de kaders voor de afname van de examens zijn aangegeven, opgeleverd. - Regeling Beroep tegen Examenbeslissingen Voor beroepszaken examenbeslissingen is een regeling opgesteld. Standaardisering Er zijn activiteiten opgezet op het gebied van kwaliteitsborging door standaardisering met het volgende resultaat. - Eenzelfde wijze van examinering voor dezelfde opleiding. Binnen elke opleiding van MBO Utrecht wordt de examinering op één wijze uitgevoerd, ook als de opleiding op meerdere locaties wordt aangeboden. - Exameninstrumenten Beleid vastgesteld ten aanzien van het inkopen van exameninstrumenten in plaats van zelf te construeren: ingekochte exameninstrumenten voor de proeven (kerntaken), Nederlands (overige taalvaardigheden naast de COE s), MVT. Een uitzondering wordt gemaakt voor opleidingen die nog in ontwikkeling zijn of waarvoor geen examenleveranciers beschikbaar zijn. Er is gestuurd op het inkopen van examens met als resultaat dat slechts bij een beperkt zeer aantal opleidingen nog zelf examens geconstrueerd worden. Beleid vastgesteld ten aanzien van de beroepsgerichte eisen voor Nederlands, rekenen en MVT: deze eisen worden geëxamineerd in de kerntaken. - Overzicht examenleveranciers De examencommissie heeft de inkoop van de exameninstrumenten geïnventariseerd, met het doel de kwaliteit te bewaken en te borgen. Vervolgens is voor de generieke examenonderdelen het aantal leveranciers beperkt, contracten beëindigd of niet verlengd. - Centrale examinering van de generieke examenonderdelen Beleid vastgesteld ten aanzien van de COE: alle studenten doen mee aan de pilots. Daar waar de planning van de COE in het nadeel is van een student, wordt met toestemming van de examencommissie een instellingsexamen ingezet. Dit kan van toepassing zijn op BBLstudenten en extranei. Op basis van inventarisatie van de exameninstrumenten voor de generieke instellingsexamens is een selectie gemaakt voor één leverancier. Beleid ingezet om instellingsexamens Nederlands en MVT te centraliseren. In 2013 zijn de mogelijkheden onderzocht en waar mogelijk is op enkele locaties gestart met de voorbereiding. - Beleid vastgesteld t.a.v. afname en beoordeling van examens Vrijstellingen: er wordt geen vrijstelling voor examens verleend. Jaarverslag examinering pagina 4 van 9

5 Voorwaarden voor deelname aan examens. In artikel 8, en met name lid 1, van de Onderwijsovereenkomst is de volgende bepaling opgenomen: om deel te mogen nemen aan het examen/de examens is de student verplicht de opleidingsactiviteiten volgens het voor hem/haar geldende programma te volgen. Hiermee is voor studenten voldoende duidelijk dat er voorwaarden gesteld worden. Er is een regeling vastgesteld voor afname van de examens in de beroepspraktijk. Een proeve van bekwaamheid (PvB) wordt in eerste instantie beoordeeld door een beoordelaar in de BPV en de eindbeoordeling wordt gegeven door een bevoegde docent/assessor van de school. Bij iedere beoordeling moet tenminste één docent betrokken zijn. Betrokkenheid van het beroepenveld Er is invulling gegeven aan de betrokkenheid van het beroepenveld. - Beschrijving van de betrokkenheid van het beroepenveld bij het proces van examinering. - Inventarisatie van de betrokkenheid van het beroepenveld bij beleid. Gebleken is dat de betrokkenheid van het beroepenveld voornamelijk wordt vormgegeven middels het aanbieden van een praktijkwerkplek als examenlocatie (examinering in de beroepspraktijk) en het mede beoordelen van de examens. En bij enkele opleidingen participeert het beroepenveld in een bedrijfscommissie. Besloten is de mogelijkheden voor de betrokkenheid van het beroepenveld bij de beleidsvorming te onderzoeken en hier invulling aan te geven Verbeteracties - Evaluatie van de visie op examinering toetsen aan de actuele ontwikkelingen in het onderwijs. Het doel is een lange termijn visie te formuleren. - De betrokkenheid van het beroepenveld bij de examinering binnen MBO Utrecht vergroten door: als klankbord op te treden bij de analyse van de evaluaties en het opstellen van verbeterplannen en bij het aanpassen van het handboek examinering, als belanghebbende op te treden bij het onderzoek naar de examenkwaliteit, op school én in de beroepspraktijk, een vertegenwoordiger uit de beroepspraktijk als lid op te nemen in de examencommissie. Jaarverslag examinering pagina 5 van 9

6 2. EXAMENORGANISATIE 2.1 Doelen De doelen ten aanzien van de examenorganisatie waren: - het verder ontwikkelen van de examenorganisatie, - scholing van de examencommissie, - scholing examenfunctionarissen. 2.2 Activiteiten en resultaten Ontwikkelen van de examenorganisatie In 2013 is de examenorganisatie aangepast en zijn de taken en bevoegdheden van de diverse geledingen beschreven. De examenfunctionarissen zijn geïnformeerd over hun rol binnen de examenorganisatie en hiervoor gefaciliteerd in de vorm van tijd, middelen, scholing en ondersteuning. Ook zijn de kosten voor examinering op het gebied van de inzet van examenfunctionarissen in beeld gebracht. Scholing van de examencommissie De examencommissie heeft geïnvesteerd in verbetering van het eigen functioneren middels reflectie, begeleid door met een externe deskundige. Het resultaat was: Ondersteuning van de examencommissie door een examensecretaris. Dit betekent dat aan het eind van 2013 de examenorganisatie op dit punt is aangepast. Het benoemen en beleggen van de examentaken binnen de examenorganisatie. De examenprocessen en de sturing hiervan zijn opgenomen in een jaarplanning. De planning is gericht op monitoring en beheersing van de examenprocessen. Scholing examenfunctionarissen - Gerichte scholing van alle medewerkers die betrokken zijn bij de examenorganisatie met informatie over hun rol, taken en bevoegdheden. - Training examenbureaus (en examensecretariaten). - Deskundigheidsbevordering op het gebied van examinering door 3x per jaar op de scholingsdag aan iedereen die daarvoor belangstelling heeft scholing aan te bieden. - Gerichte scholing van: Assessoren. De behoefte aan scholing is groot. In april 2013 is gestart met de scholing. De deelnemers hebben allemaal een evaluatieformulier ingevuld en de beoordeling was positief. Er was behoefte aan een terugkomdag om de deskundigheid te delen en onderhouden. Nog niet alle assessoren zijn geschoold. Examencommissie. Het resultaat is een verbeterplan. Vaststellers. De vaststellers die de scholing gevolgd hebben zijn gecertificeerd. 2.3 Verbeteracties De taken en bevoegdheden van de diverse geledingen binnen de examenorganisatie zijn beschreven en geïmplementeerd en dit vergde een grote tijdsinvestering. Hierdoor is de examencommissie niet of nauwelijks toegekomen aan de evaluatie. Er zijn evaluatieformulieren ontwikkeld, die in 2013 deels zijn uitgezet en ook reeds geleid hebben tot verbeteracties. Het is belangrijk om een meer gestructureerde vorm te kiezen en dit in de tijd uit te zetten. De evaluatiegegevens worden vervolgens verwerkt in beleid ten aanzien van de examenorganisatie en de uitvoering van het proces van examinering. Dit leidt tot aanpassing van het handboek examinering voor Verbeteren van de communicatie binnen de examenorganisatie: meer persoonlijk contact en een nieuwsbrief voor examenfunctionarissen met informatie over de besluiten van de examencommissie.m Kosten examinering verder specificeren. De scholing van de examenfunctionarissen wordt voortgezet met als doel: - scholing van nieuwe examenfunctionarissen, - scholing van alle assessoren. Jaarverslag examinering pagina 6 van 9

7 3. KWALITEITSZORG 3.1 Doelen De examencommissie heeft in 2013 de volgende concrete doelen geformuleerd. - Het beschikken over een instrumentarium waarmee per relevante eenheid inzichtelijk in beeld wordt gebracht of de kwaliteitsaspecten van toetsing en examinering voldoen aan de door de inspectie gestelde normen. - Het systematisch monitoren of er wordt voldaan aan de normen en verbetertrajecten uitvoeren op die punten waar dat nodig is (auditing). - Het opzetten van een planning en controlcyclus om de kwaliteit van de examenprocessen te borgen. 3.2 Activiteiten en resultaten Procesarchitectuur examinering (PE) In september 2013 is in het kader van kwaliteitsborging een projectgroep ingesteld, met als taak de examinering binnen MBO Utrecht volledig te beschrijven en aan te sluiten bij de landelijk ontwikkelde Procesarchitectuur Examinering (PE2.0). Uitgangspunt hierbij is meer inzicht in en grip op de examinering te krijgen, door de werkzaamheden en rollen te laten uitvoeren volgens beschreven procedures. Het doel is de basiskwaliteit van alle opleidingen te laten voldoen aan alle examenstandaarden en de kwaliteit daadwerkelijk te verankeren in de organisatie en te borgen. Het resultaat is een instrument voor kwaliteitsborging: MBO Utrecht heeft via het Servicepunt Examinering MBO een eigen website procesarchitectuur examinering. Dit kwaliteitsinstrument is ontwikkeld en geïmplementeerd met de volgende gebruikswaarden. - Meer inzicht in en grip op de kwaliteitscyclus van de examinering, en zo de kwaliteit van de examinering op de middellange termijn te verhogen en te borgen. - Het faciliteren van de examencommissie als vertegenwoordiging van de instelling om in- en extern makkelijker verantwoording af te leggen over de wijze waarop men binnen de eigen school de kwaliteit van de examenprocessen borgt. - Verder uitbreiden en verankeren van een gemeenschappelijk taalgebruik rondom de kwaliteit van examinering in MBO Utrecht en hierbij aansluiting zoeken bij het begrippenkader zoals dat ontwikkeld is. - Digitale omgeving waarin alle informatie beschikbaar is t.a.v. examinering, examen producten, examentaken, examentijden etc. Examenplannen en exameninstrumenten - Er is door de vaststellingscommissie een overzicht gegenereerd van alle bestaande en vastgestelde examenplannen en exameninstrumenten. Wekelijks is de stand van zaken van het overzicht besproken en waar nodig zijn acties uitgezet. Uitgangspunt van het overzicht van examenplannen- en producten is geweest: van alle cohorten zijn de examenplannen vastgesteld, van alle cohorten die in het cursusjaar 2013/2014 examineren zijn er vastgestelde plannen én exameninstrumenten (de examenbundel). - Voor examinering bij MBO Utrecht wordt gewerkt met ingekochte examens. Om hier zicht op te krijgen, heeft de examencommissie een inventarisatie van de ingekochte examens uitgezet. Het resultaat is een overzicht van leveranciers en ingekochte exameninstrumenten. Dit is van belang voor het proces van standaardisering. Audit examinering De examencommissie heeft in 2013 beleid ten aanzien van monitoring van de examinering geformuleerd. Resultaat: - Er is een check op de werkprocessen van de examenbureaus (en examensecretariaten) uitgevoerd. De resultaten zijn besproken met de betrokken examenfunctionarissen en het handboek examinering is bijgesteld. - Aan het eind van 2013 is een auditcommissie ingesteld, die een plan van toezicht heeft opgesteld. Jaarverslag examinering pagina 7 van 9

8 Onderzoek Inspectie van het Onderwijs De Inspectie van het Onderwijs voerde in 2013 een onderzoek naar de kwaliteitsverbetering uit. Dit OKV had betrekking op de opbrengsten van de opleiding Sociaal-maatschappelijk dienstverlener niveau 4, crebo De conclusie van het onderzoek was dat het onderwijs en de opbrengsten onvoldoende waren. MBO Utrecht heeft besloten de opleiding niet meer aan te bieden per 1 augustus Alle nog ingeschreven studenten voor deze opleiding worden voor 1 januari 2015 gediplomeerd of uitgeschreven. Op 1 januari 2015 stop de licentie voor deze opleiding voor minimaal 2 jaar. Sturing examenprocessen Er is een jaaragenda opgesteld waarin de examenprocessen in tijd zijn uitgezet. Deze jaaragenda is vertaald naar een factsheet examinering om de sturing van de examenprocessen te monitoren. 3.3 Verbeteracties Procesarchitectuur examinering (PE) De website Procesarchitectuur Examinering moet verder gevuld worden met content, die sturing geeft aan de uitvoering (richtlijnen, formats en dergelijke). Monitoring en onderzoek plannen in de examencyclus - Meetbare doelen voor de kwaliteit van examenprocessen formuleren, de evaluaties in tijd uitzetten en gerichte audits plannen en uit voeren. - Planning van de zelfevaluaties, het controleren van de verbeteracties en het organiseren van gerichte controles op de uitvoering om de kwaliteit van de examinering te verhogen. - Formats opstellen voor: evaluatie en documentatie van de examinering voor de jaarlijkse rapportage, de verantwoording van de verbetering. - De kwaliteit van de examens bewaken en onderzoek laten doen naar de kwaliteit van de processen en de resultaten. Signaleren van: mogelijke risico s voor betrouwbaarheid, validiteit en transparantie, discrepanties tussen examenvisie en actuele wet- en regelgeving (WEB en examenstandaarden). - Voor monitoring en onderzoek van de examinering: een lange termijn plan opstellen, een jaarplan opstellen en prioriteiten benoemen voor de komende examencyclus de monitoring- en onderzoekstaken verdelen (of extern toekennen); maatregelen nemen om de betrouwbaarheid (onafhankelijkheid) van het onderzoek te waarborgen. - Plan van toezicht aanscherpen: Controle organiseren op: o de naleving van afspraken, procedures en het gebruik van documenten, evaluaties en dergelijke, o de deskundigheid(sbevordering) van examenpersoneel, o de aansturing van de examenprocessen. Meer interne audits uitvoeren in het kader van risicobeheersing. Evaluatieformulieren van examenkandidaten en assessoren analyseren om in beeld te brengen of het beoogd effect gerealiseerd is. Jaarverslag examinering pagina 8 van 9

9 4. OVERIGE GEGEVENS 4.1 Resultaat COE De Centraal Ontwikkelde Examens gaan een steeds grotere rol spelen binnen MBO Utrecht. In schooljaar is de eerste ervaring opgedaan met het centraal examineren voor Nederlands en rekenen. In 2012 is de COE opgeschaald en in 2013 is dit verder uitgewerkt door de COE verplicht te stellen voor alle BOL studenten. In het kalenderjaar 2013 zijn 2332 COE-afnames geteld voor Nederlands en rekenen. Verspreid over drie examenperiodes hebben studenten één of meer keer deelgenomen aan deze examens. Per niveau (2F en 3F) is dit als volgt uit te spitsen voor Nederlands en rekenen: COE-onderdeel Aantal afnames % met resultaat > 6 Nederlands 2F Rekenen 2F Nederlands 3F Rekenen 3F % 44% 53% 22% De examens zijn afgenomen op de Columbuslaan waar het voormalige OLC is ingericht als toetsen examencentrum. Hier kunnen maximaal 50 studenten tegelijkertijd een examen maken. Bij aanvang van een examensessie zijn de computers/examens ingelogd door de surveillant en toetsleider, zodat de studenten na de algemene instructie gelijk kunnen starten. Na afloop van een examen verstuurt de toetsleider het gemaakte werk via de examensoftware retour naar Cito. Na enige tijd koppelt Cito voor heel MBO Utrecht de resultaten terug naar de toetsleider en worden deze verspreid richting de teams. Tijdens de examens houden de surveillant(en) en/of toetsleider toezicht, zodat alle examens rustig verlopen. Technische storingen, onduidelijkheden bij vragen, of andere incidenten worden bijgehouden en indien er sprake is van fraude wordt dit direct gemeld bij de betreffende teammanager en later teruggekoppeld bij de examencommissie van MBO Utrecht. Zo is bijvoorbeeld bij vier studenten (nog voor de start van het examen) de toegang/deelname ontzegd, omdat zij zich niet konden gedragen. In deze gevallen heeft de betreffende teammanager de situatie afgehandeld. 4.2 Resultaat gediplomeerden In 2013 zijn totaal 1270 diploma s uitgereikt. In onderstaande tabel wordt de verdeling over de vier opleidingsniveaus weergegeven. Niveau opleiding Totaal Niveau 1 87 Niveau Niveau Niveau Eindtotaal aantal diploma s Klachten en Beroep In 2013 zijn 6 klachten die betrekking hadden op de examinering ingediend. Deze klachten varieerden van ontevreden over toetsen en examens, niet toegelaten tot een toets wegens te veel verzuim, bezwaar tegen planning van panelgesprekken, bezwaar tegen beoordeling panelgesprek, onvoldoende tijd om een toets te maken tot bezwaar tegen een tussentijdse wijziging in de boekjes voor de Proeve van Bekwaamheid. Eén student heeft beroep ingesteld bij de Commissie van Beroep en dit vervolgens weer ingetrokken voordat het tot een behandeling door de Commissie kwam. Conclusie: alle klachten over examinering zijn naar tevredenheid van de klagers opgelost door de betreffende teammanager of de examencommissie. Jaarverslag examinering pagina 9 van 9