In het verslagjaar zijn twee instellingsverklaringen uitgereikt voor REN-vakken aan OA-studenten die de opleiding zonder diploma verlieten.

Transcriptie

1 JAARVERSLAG EXAMINERING Pedagogisch werk en Artiest Schooljaar ROC MONDRIAAN Versie EXAMENCOMMISSIE PEDAGOGISCH WERK en ARTIEST School voor Pedagogisch werk en Onderwijsassistent Den Haag School voor Zorg en Welzijn Westland Voorzitter examencommissie: Dhr. M.J. Bonarius

2 Inhoud INLEIDING EXAMENCOMMISSIE Opleidingen Samenstelling examencommissie Taken en verantwoordelijkheid van de examencommissie Functioneren van de examencommissie Functioneren van het examenbureau Deskundigheid examencommissie Conclusie en verbetervoorstellen over de prestaties van de examencommissie KWALITEITSBORGING ED Vaststellen diploma s, instellingsverklaringen, vrijstellingen; resultaten centraal examen Kwaliteit van de diplomering Kwaliteit van exameninstrumenten Kwaliteit van afname en beoordeling Betrokkenheid beroepenveld EXAMENINSTRUMENTARIUM ED Dekking kwalificatiedossier Dekking keuzedelen Examenvormen Evenwichtige waardering Cesuur is op het juiste niveau Objectieve beoordeling AFNAME EN BEOORDELING ED Afname en beoordeling gelijkwaardig Afnamecondities Beoordeling Transparantie organisatie examens Beroep en bezwaarprocedure AUDITS EN/OF ONDERWIJSINSPECTIE KEUZEDELEN CONCLUSIE EN VERBETERVOORSTELLEN EXAMENCOMMISSIE Terugblik borging van de kwaliteit van de examinering en diplomering Conclusies ten aanzien van de kwaliteitsdoelen, PvT en meldingen Kwaliteitsdoelen examinering Bijlage 1 Beoordelaarstrainingen + centrale examencommissiebijeenkomsten Bijlage 2 Resultaten Centrale examens Nederlands, rekenen, Engels Bijlage 3 Steekproeven afname en beoordeling - theorie en praktijkexamens Bijlage 4 Realisatie Plan van Toezicht

3 INLEIDING Een van de taken van de examencommissie is het opstellen van het jaarverslag examinering (wet 7.4.5a, lid 6). De examencommissie doet daarin verslag van haar werkzaamheden en de examenkwaliteit per opleiding a.d.h.v. de standaarden examenkwaliteit van de inspectie. De Examencommissie Pedagogisch werk Artiest legt met dit jaarverslag verantwoording af aan het College van Bestuur over het verloop van de examinering en diplomering in het afgelopen schooljaar van de volgende opleidingen uitgevoerd door de school voor Pedagogisch werk en Onderwijsassistent en de school voor Zorg en Welzijn Westland van ROC Mondriaan: Pedagogisch werk: Pedagogisch Werk (PW3) Gespecialiseerd Pedagogisch Medewerker (GPM) Onderwijsassistent (OA) Artiesten: Musicalperformer (MP). Dit jaarverslag maakt onderdeel uit van de PDCA-cyclus Examinering, zoals in de procesarchitectuur van ROC Mondriaan is beschreven. Elke school voert daarnaast een zelfevaluatie uit, ook op het gebied van examinering. Mondriaan beschikt daarvoor over een digitaal zelfevaluatie-instrument, Yucan. Door middel van deze zelfevaluatie evalueert de school de exameninstrumenten, de processen van afname, beoordeling, diplomering, functioneren van de examenorganisatie en formuleert vaar aanleiding daarvan verbeteracties. Met ingang van is de artiestenopleiding verplaatst naar de nieuwe School voor Maatschappelijke Zorg en Verzorgende. De School voor Pedagogisch werk en Onderwijsassistent heeft als nieuwe naam gekregen: School voor Pedagogische en Sociale beroepen. 3

4 1. EXAMENCOMMISSIE 1.1 Opleidingen De examencommissie voor Pedagogisch werk en Artiest is sinds voorjaar 2017 zelfstandig geworden, los van de examencommissie voor Sociaal Werk en Maatschappelijke Zorg. Reden hiervoor was de (grote) omvang van de commissie Welzijn. Het schooljaar was het eerste geheel zelfstandige vergaderjaar van de commissie. Dit betekent dat regelmatig aandacht is besteedt aan het herijken van procedures en afspraken. De examencommissie Pedagogisch werk en Artiest draagt de verantwoordelijkheid voor de examinering en diplomering van de onderstaande opleidingen. Deze opleidingen worden aangeboden binnen de scholen: School voor Pedagogisch werk en Onderwijsassistent Den Haag (sinds verhuisd naar de HFD met een uitvoeringslocatie op de BRO) School voor Zorg en Welzijn Westland (sinds verhuisd naar EUR). Crebo Naam opleiding EUR BRO HFD Pedagogisch medewerker kinderopvang (PW3) X X Pedagogisch medewerker kinderopvang (PW3) X X Gespecialiseerd Pedagogisch medewerker (GPM) X Gespecialiseerd Pedagogisch medewerker (GPM) X Onderwijsassistent (OA) X X Onderwijsassistent (OA) X X Musicalperformer (MP) X Behaalde diploma s tussen en Crebo Crebo omschrijving BRA* EUR BRO (LWP) HFD (APL) Totaal Pedagogisch medewerker kinderopvang Pedagogisch medewerker kinderopvang 2* Gespecialiseerd Pedagogisch medewerker Gespecialiseerd Pedagogisch medewerker Onderwijsassistent Onderwijsassistent 1 2* Musicalperformer Totaal *: uitvoeringslocatie van In het verslagjaar zijn twee instellingsverklaringen uitgereikt voor REN-vakken aan OA-studenten die de opleiding zonder diploma verlieten. 1.2 Samenstelling examencommissie De examencommissie bestond in uit de volgende leden. Naam: Dhr. M.J. Bonarius Mevr. E.J. Boer Mevr. M.J.H. Spaans Mevr. B. Bhoedjang Mevr. B.M. Jansen Mevr. H.W.J. Rutten Mevr. M. Poutsma Mevr. E.M. Bogaard Dhr. D. Oosterbaan Mevr. A. Meppelink Mevr. M. van Heezik Dhr. J.W. Hoekstra Rol/functie: Voorzitter/schooldirecteur Secretaris Lid met portefeuille CE, steekproeven, deskundigheid Toehoorder namens examenbureau Lid namens opleiding PW3 Den Haag Lid namens opleiding PW3 Den Haag Lid namens opleiding GPM Den Haag Lid namens opleiding OA en PW3 Naaldwijk Lid namens opleiding OA Den Haag en opleiding Artiest Lid als onderwijskundig medewerker opleidingen PW-Artiest Lid namens werkveld PW; DAK Kindercentra Lid namens werkveld Artiesten; NME Foundation 4

5 Er zijn twee wijzigingen geweest in de bezetting vanuit Naaldwijk vanaf schooljaar De heer Van Deijk heeft de examencommissie verlaten en mevrouw Boogaard heeft de taak als lid overgenomen van mevrouw Immink. Daarnaast is mevrouw Bhoedjang als toehoorder bij de vergaderingen gevraagd, om de communicatie met het examenbureau te verbeteren. De examencommissie is zeven keer bijeengekomen elke 5 à 6 weken. Daarnaast heeft de voltallige commissie een gezamenlijke scholingsdag gevolgd met examencommissie Sociaal Werk-Maatschappelijke zorg (zie ook 1.6). Er wordt geen vergoeding toegekend aan externe leden. 1.3 Taken en verantwoordelijkheid van de examencommissie De examencommissie is formeel verantwoordelijk voor: De kwaliteit van examinering en diplomering De deskundigheid van alle betrokkenen bij examinering en diplomering De kwaliteit van het examenplan en de exameninstrumenten binnen de eigen school; De kwaliteit van afname en beoordeling; Passend binnen examenkaders en examenbeleid van ROC Mondriaan. Dit vertaalt zich naar de volgende hoofdtaken: Toezien op het volgen van de Mondriaan regels op het gebied van examinering en diplomering Toezicht houden op de examenprocessen Afhandelen van speciale verzoeken, zoals aangepaste examencondities, vrijstellingen (o.a. van keuzedelen) en verzoeken m.b.t. examinering in het kader van passend onderwijs Afhandelen van incidenten die verband houden met examinering en diplomering Vaststellen en evalueren van de exameninstrumenten Informeren van studenten over inhoud, tijd en plaats van examens Afstemmen met de BPV over context/condities van instrumenten en afname daarvan Controleren van afname (zie ook plan van toezicht) Behandelen van bezwaren/klachten Analyseren van examenresultaten en enquêtes Rapporteren over de kwaliteit van examens, examenresultaten en examenprocessen aan de Examenraad. De examencommissie gebruikt hiervoor o.a. de volgende instrumenten: Een jaaragenda met daarin opgenomen alle onderwerpen die jaarlijks behandeld moeten worden Een jaarplanning van afname- en diploma-vaststeldata Een examen- en toetsenbank waarin de zelfgeconstrueerde examens en toetsen zijn opgeslagen Een Plan van Toezicht waarin opgenomen zijn de controle-acties om examinering en diplomering te monitoren Geschoolde constructeurs en vaststellers Een register van wijzigingen/verbeteringen die na vaststelling nodig blijken te zijn in examens Een meldingsformulier voor incidenten die verband houden met examinering Vastgestelde formats voor diploma s vanuit Magister Een onafhankelijke contactpersoon klachten en bezwaren De examencommissie is verantwoordelijk voor aansturing van het examenbureau en de diploma-administratie. De uitvoerende taken staan in paragraaf 1.5. De examencommissie onderhoudt de deskundigheid van alle betrokkenen bij examinering en maakt jaarlijks een scholingsplan (zie 1.6 interne en externe deskundigheidsbevordering). 5

6 1.4 Functioneren van de examencommissie De voorzitter van de examencommissie PW-Artiest was in tevens schooldirecteur van de school voor Pedagogisch werk en Onderwijsassistent. Om de afhankelijkheid van de besluitvorming te waarborgen zijn de volgende afspraken gemaakt: een extern lid vanuit het werkveld Pedagogisch werk heeft zitting in de examencommissie een extern lid vanuit het werkveld Artiesten heeft zitting in de examencommissie besluitvorming vindt in samenspraak met leden van de examencommissie plaats besluitvormingsprocedures worden afgestemd met andere voorzitters examencommissie in de examenmanagement commissie (EMC) de financiële middelen worden binnen ROC Mondriaan verdeeld volgens een interne verdeelsleutel. Hierdoor kan een individuele voorzitter examencommissie de eigen school niet rechtstreeks bevorderen op grond van het aantal gediplomeerde studenten. Positief beoordeeld door de examencommissie zijn: De verkleining van de examencommissie (na afsplitsing van examencommissie SW-MZ) vergroot het overzicht en de slagkracht van de commissie. De uitgebreide verwerking en de evaluatie van het Plan van Toezicht, waardoor de opbrengsten van de steekproeven duidelijk worden. De taakverdeling bij diplomavaststelling tussen SLB, cijferverantwoordelijke en lid examencommissie is nauwkeuriger beschreven. Hierdoor is m.n. voor de SLB s duidelijker wat de controle van de examens inhoudt en dat het voorbereiden van het diplomabesluit bij hen belegd is. Een steekproefsgewijze controle van examendossiers ná diploma-uitgifte door de examencommissie. Alle dossiers waren correct gevuld en het diplomabesluit was naspeurbaar. De inrichting van eigen toetsbank en examenbank op sharepoint, waardoor voor het examenbureau en meest recente versies gemakkelijk te vinden zijn. 1.5 Functioneren van het examenbureau De examencommissie is verantwoordelijk voor de uitvoering van onderstaande taken door het examenbureau: Examens (en toetsen) uitdraaien uit de examenbank, kopiëren en klaar leggen voor de surveillanten Het gemaakte examenwerk innemen en verspreiden naar correctoren Examendossiers bijhouden en examenwerk archiveren Onvolledige gegevens signaleren bij een examencommissielid Cijferregistratie bijhouden t.b.v. diplomavaststelling Genereren van resultaatoverzichten en managementinformatie Diploma s maken Bestellen en beheren van waardepapier. De jaarplanning voor de examens is een taak van docenten, evenals het voorbereiden van het diploma-besluit. Dit laatste gebeurt door de SLB s en wordt steekproefsgewijs gecontroleerd door de cijferverantwoordelijken. 1.6 Deskundigheid examencommissie Vanuit de wetgeving wordt er steeds meer gestuurd op de professionalisering van examenfunctionarissen. In de kaderbrief is onderstaande indicator opgenomen. 3.3 Professionalisering van Mondriaan examenfunctionarissen Indicator Norm Norm Mate waarin examenfunctionarissen zijn geschoold en bijgeschoold. 100% 100% In heeft de examencommissie op dit punt geen risico s geconstateerd. Aan de norm uit de Kaderbrief is voldaan. Alle betrokken functionarissen zijn deskundig geacht. 100% van de examencommissieleden is geschoold en bijgeschoold. 6

7 Voor zet de examen commissie deze werkwijze voort met als doel om routine op te bouwen in onze wijze van toezicht houden. Hierbij zal ook aandacht zijn voor het (blijven) informeren van de teams. De examencommissie PW-Artiest heeft in op vier manieren aan deze norm voldaan. Deskundigheid examencommissieleden De voorzitter van de examencommissie heeft de deskundigheid van de leden van de examencommissie in beeld. De nieuwe leden van de examencommissie PW-Artiest hebben in september 2017 een training gevolgd, verzorgd door Bureau ICE. Scholingsactiviteiten door en voor de examencommissie Scholingsdag examencommissies Welzijn (12 februari 2018) samen met examencommissie SW-MZ. Onderwerpen: Wetswijziging aanscherping eisen examencommissie mbo; Waarderingskader mbo 2017 examinering en diplomering; Examenagenda mbo ; Praktijkexamens Consortiumonderbouwen van de beoordeling; controle examendossiers na diplomabesluit. Workshop keuzedelen ( ); onderwerp: wettelijke regels rond examinering van keuzedelen; interne procedures rond registratie van keuzedelen en evt. vrijstellingsaanvragen Overleg OKM-ers, constructeur en vaststellers met schooldirecteur; 8 keer over div. onderwerpen o.a. nieuwe praktijkexamens voor cohort 2016 e.v.; controleren examendossiers door SLB. Trainingsdag Taalassessoren (CINOP; 24 mei 2018). 11 docenten namen deel vanuit EUR (4) en HFD (7). De training was samen met docenten van Welzijn. Assessorentraining bij Musicalperformer: alle assessoren zijn geschoold om objectiviteit van de beoordeling te borgen. Beoordelaarstraining beroepsgerichte examens van Consortium: 105 beoordelaars uit de verschillende werkvelden zijn geschoold (zie schema in bijlage 1). Werkbegeleidersbijeenkomsten: 78 deelnemers vanuit het werkveld PW en GPM zijn geïnformeerd over begeleiding (onderwijs) en beoordelen (examinering); zie bijlage 1. Eisen aan nieuwe examencommissieleden Aan de benoeming van nieuwe leden door het bevoegd gezag zijn wettelijke eisen verbonden ter toetsing van de deskundigheid (wetsartikel 7.4.5, lid 4,5). Het examenraadslid voert een sollicitatie-/kennismakingsgesprek met een nieuw lid, dat wordt voorgedragen door de schooldirecteur. De examencommissie heeft besloten dat een nieuw examencommissielid zich minimaal voor drie jaar moet willen verplichten aan deze taak. Van nieuwe leden wordt gevraagd om deel te nemen aan een scholing als beginnend examencommissielid. Bijwonen centrale bijeenkomsten examinering (OOA) Hierin worden de examencommissies op de hoogte gesteld van veranderende wet en regelgeving, wijzingen of aandachtspunten betreffende examinering en diplomering en andere onderwerpen die bijdragen aan de deskundigheid in het functioneren van de examencommissie. De voorzitter, secretaris en enkele examencommissie-leden hebben de centrale bijeenkomsten bijgewoond (in wisselende samenstelling). Zie data en onderwerpen in bijlage Conclusie en verbetervoorstellen over de prestaties van de examencommissie Kwaliteitsaspect In hoeverre van voldoende kwaliteit? Verbetervoorstel/ actiepunt Samenstelling Voldoende. Dit blijkt uit: Huidige beleid voortzetten examencommissie twee werkveldleden actief Deskundigheid nieuwe leden door CvB gecheckt Deskundigheid examencommissie Voldoende. Dit blijkt uit: zie bij 1.2 samenstelling + overzicht scholing en deskundigheid (zie 1.6). Huidige beleid voortzetten om in meer routine op te doen met huidige werkwijze Functioneren Voldoende. Dit blijkt uit de evaluatie van het Huidige beleid voortzetten examencommissie Werkzaamheden examencommissie functioneren in vergadering van 14 juni 2018 Voldoende. Dit blijkt uit: Jaaragenda is gerealiseerd Acties Plan van toezicht zijn uitgevoerd (zie H. 7) Plan van toezicht is geëvalueerd ( ) Huidige beleid voortzetten 7

8 2. KWALITEITSBORGING ED1 De examencommissie borgt deugdelijke examinering en diplomering. Ter borging van de kwaliteit van de examinering en diplomering hanteert de examencommissie verschillende instrumenten. Zij formuleert kwaliteitsdoelen voorafgaand aan het schooljaar, zij bepaalt controleacties in het kader van het Plan van Toezicht (PvT) en verzamelt gedurende het schooljaar meldingen van bijzonderheden die mogelijk een risico kunnen opleveren bij examinering en diplomering. In hoofdstuk 7 staat een overzicht van de realisatie van de kwaliteitsdoelen, de acties van het Plan van Toezicht en de door de examencommissie ontvangen meldingen (zie 7.1). Op basis van de realisatie worden conclusies getrokken ( 7.2) en kwaliteitsdoelen voor benoemd ( 7.3). Zo borgt de examencommissie de PDCA. 2.1 Vaststellen diploma s, instellingsverklaringen, vrijstellingen; resultaten centraal examen De examencommissie stelt op objectieve en deskundige wijze vast of een student voldoet aan de voorwaarden voor het verkrijgen van een diploma, of een instellingsverklaring. In het verslagjaar zijn 211 diploma s uitgegeven (zie schema 1.1), 2 instellingsverklaringen voor REN-vakken en bijna alle gediplomeerden kregen een instellingsverklaring voor behaalde keuzedelen (zie hoofdstuk 6). De examencommissie houdt toezicht op het vaststellen van de diploma s examendossiers op basis van: een integrale examendossiercontrole door de SLB van de eigen SLB-groep. steekproefsgewijs controle van de dossiers door de cijferverantwoordelijke van de opleiding. Deze rapporteert schriftelijk aan de examencommissie over de bevindingen van de steekproef. de diploma-vaststelvergadering waarin cijferverantwoordelijke en lid examencommissie van een andere opleiding het diplomabesluit formaliseren en het diplomavaststelformulier tekenen. Het examencommissielid is van een andere opleiding t.b.v. de objectiviteit. verslaglegging over de vaststelvergadering door het examencommissielid (aantal correct vastgestelde dossiers; evt. geconstateerde manco s). De examencommissie heeft in n.a.v. een evaluatie van de diplomavaststelling van het voorgaande jaar, besloten de taken bij diplomavaststelling nauwkeuriger te beschrijven. Met name de taakverdeling tussen SLB, cijferverantwoordelijke en lid examencommissie is duidelijker vastgelegd. Voor de SLB s is bijvoorbeeld exact benoemd wat de controle inhoudt van de examens en het examendossier. Dit omdat zij het diplomabesluit voorbereiden. Vrijstellingen De examencommissie heeft in vijf vrijstellingsverzoeken gehonoreerd. Het betrof studenten OA die vrijstelling vroeg voor drie praktijkexamens, die ze in Curaçao hadden behaald. De schooldirecteur had de studenten toestemming gegeven voor deze examinering in het buitenland in schooljaar nét voordat de Inspectiepublicaties hierover onder onze aandacht kwamen. De examencommissie heeft regelgeving rond vereisten voor vrijstelling bestudeerd en in een besluit vastgelegd op grond van welke condities de examencommissie vrijstelling zou verlenen (besluit examencommissie PW-Artiest d.d ). Onderdeel van dat besluit was de kwaliteitsborging berustend op drie pijlers: een recent geremigreerde docent van de opleiding was ter plaatse de examinator, een andere collega is als 2 e assessor naar Curaçao gegaan en de BPV-school is Nederlandstalig en recentelijk door de Nederlandse inspectie positief beoordeeld. Centrale examens Het percentage voldoendes dat is behaald voor het centraal examen Nederlands, rekenen en Engels is per opleiding vergeleken met het Mondriaan-gemiddelde en dat van de landelijke sector Zorg & Welzijn (voldoende is > 5,5). Hieronder staat een samenvatting en de conclusies die de examencommissie daaruit getrokken heeft. 8

9 Samenvatting resultaten centrale examens Het percentage voldoendes voor de CE van Nederlands, rekenen en Engels is vergeleken met het Mondriaangemiddelde. Vergelijking met de sector Zorg & Welzijn levert eenzelfde beeld op (zie bijlage 2). Dit levert onderstaand beeld. PW en GPM scoren onder het Mondriaan-gemiddelde OA en MP scoren boven het Mondriaan-gemiddelde bij OA verzoekt een klein aantal studenten om Engels op B2, zij scoren (ruim) onder het Mondriaangemiddelde. Percentages over kleine aantallen kunnen vertekenen. Conclusies van de examencommissie De examencommissie heeft de CE-resultaten besproken en trekt de volgende conclusies. De examencommissie heeft (nog) geen aanwijzingen waarom studenten PW en GPM gemiddeld lager scoren voor Nederlands 2F en 3F dan die van Mondriaan of de sector Zorg & Welzijn. Deze bevinding wordt in met de vakdocenten onderzocht, gericht op de achterliggende redenen en mogelijke verbeteracties in het curriculum. Voor rekenen herkent de examencommissie het patroon uit voorgaande jaren; welzijnsstudenten zijn geen sterke rekenaars. Het percentage voor Engels B2 is gebaseerd op een klein aantal OA-studenten. Het is vooral van belang voor degenen die willen doorstromen naar de PABO. In bijlage 2 staat tevens een weergave van de meerjarenontwikkeling voor de opleidingen van PW-Artiest gezamenlijk. 2.2 Kwaliteit van de diplomering De examencommissie bewaakt, monitort en analyseert de kwaliteit van de diplomering en ziet in voorkomende gevallen toe op de realisatie van verbetermogelijkheden. Naast hetgeen wat in 2.1 beschreven is, doet de examencommissie dit door steekproefsgewijs examendossiers te controleren. In februari 2018 heeft de examencommissie enkele dossiers gecontroleerd tijdens haar scholing. Hierbij is geen risico geconstateerd. Door de vaststelformulieren uit Magister is een rechtstreekse controle mogelijk tussen de cijfers op het examenwerk in het examendossier met die op de cijferlijst bij het diploma. De examencommissie heeft een verbetering laten realiseren door de werkprocesnummers leesbaar op de Magister-vaststelformulieren te laten zetten. Hierdoor is het risico op verkeerd invullen van cijfers verminderd. Aandachtspunt voor was Magistergebruik op de nieuwe locatie in Naaldwijk. Dit is geïmplementeerd. In het beschreven schooljaar zijn de hierna beschreven 13 meldingen gedaan van onregelmatigheden betreffende het diplomabesluit en de kwaliteit van diplomering (ED1). Deze zijn afgehandeld en evt. verbeteracties zijn genomen. Meldingen betreffende ED1 - Kwaliteit van de diplomering aantal Betreft Oplossing 5 Vrijstellingsverzoeken betreffende examinering in Curaçao Toegekend o.b.v. onderzoek en besluit examencommissie vooraf 4 Verzoeken extra kans Toegekend op advies bezwarencommissie 1 Blooper diploma (herkans-cijfer niet verwerkt) Nieuwe cijferlijst gemaakt 1 Blooper archief (examendossiers te vroeg vernietigd) Examenbureaus zelf bij evt. verhuizing de dozen met examendossiers laten beheren 1 Bijna blooper vrijstelling (CE-cijfers < 6 tellen niet voor vrijstelling) Risico is voorkomen; blooper tijdig ontdekt 1 blooper aanvraag extra herkans Bleek niet nodig; student had nog kans tegoed 13 totaal 9

10 2.3 Kwaliteit van exameninstrumenten De examencommissie bewaakt, monitort en analyseert de kwaliteit van de exameninstrumenten en ziet in voorkomende gevallen toe op de realisatie van verbetermaatregelen. Op de kwaliteit wordt toegezien door: praktijkexamens in te kopen bij een gecertificeerde aanbieder (Consortium) TOA-schrijven in te kopen als instellingsexamen Nederlands en Engels incidenteel zelfgemaakte exameninstrumenten te laten controleren door eigen, geschoolde vaststellers aan de hand van een door Mondriaan ontwikkeld vaststelformulier evaluatie van praktijkexamens met de BPV-instellingen in het formulier dat de ROC-assessor invult die steekproefsgewijs bij de afname aanwezig is meldingen over onregelmatigheden m.b.t. instrumenten af te handelen in de examencommissie. In het beschreven schooljaar zijn geen meldingen bij de examencommissie gedaan betreffende manco s in het exameninstrumentarium (ED2). 2.4 Kwaliteit van afname en beoordeling De examencommissie bewaakt, monitort en analyseert de kwaliteit van de afname en beoordeling en ziet in voorkomende gevallen toe op de realisatie van verbetermaatregelen. Dit doet de examencommissie door praktijkexamens steekproefsgewijs bij te laten wonen door een 2 e assessor van school. Ook instellingsexamens Nederlands en Engels worden gecontroleerd door steekproefsgewijze 2 e correcties plus controles op de wijze van afnemen. De resultaten van de steekproeven staan in het schema Kwaliteitsdoel (actie Plan van Toezicht) hoofdstuk 2. Daarnaast analyseert de examencommissie meldingen over onregelmatigheden m.b.t. afname en beoordeling; af te handelen in de examencommissie. Meldingen betreffende ED3 Kwaliteit van afname en beoordeling De examencommissie heeft 10 meldingen ontvangen over de afname en beoordeling van examens. De examencommissie heeft de meldingen onderzocht en passende actie genomen (zie tabel hieronder). aantal meldingen Melding Oplossing 2 Afname Per abuis geen extra tijd bij CE (dyslexie) Hernieuwde kans toegekend 1 Afname Fraude (verslag overgeschreven) Verslag ongeldig verklaard; moet opnieuw gemaakt 1 Beoordeling Manco in de procedure (wie moet wat ondertekenen) Procedure wordt opnieuw beschreven en vastgesteld 1 Beoordeling BPV wil niet-ingevulde beoordeling Het manco is besproken met BPV. De beoordeling niet aanvullen; heeft dat door nietonafhankelijke collega laten van de werkbegeleider is gehandhaafd. doen 1 Beoordeling Opvallend veel 10-en gegeven bij beoordeling 4 Verzoek Verzoek extra herkans rekenen 2F Verzoek toegekend 10 Totaal De beoordelingen bleken na onderzoek terecht gegeven te zijn. Wel ontbrak een verantwoording door de BPV van de beoordeling Goed. Dit is een verbeterpunt voor

11 2.5 Betrokkenheid beroepenveld Het beroepenveld is bij de examinering betrokken. Er zit voor beide werkvelden (pedagogisch werk en artiest) een vertegenwoordiger in de examencommissie. Er zijn bijeenkomsten met het werkveld waarop de examinering in de praktijk toegelicht wordt. Elke opleiding organiseert daarnaast meerdere branche-overleggen per jaar met de BPVinstellingen die stageplaatsen bieden. Hierin staat examinering standaard op de agenda. De scholen organiseren scholingen voor BPV-beoordelaars van de instellingen. Tenslotte vindt evaluatie van exameninstrumenten plaats in de branche-overleggen, tijdens speciaal daartoe georganiseerde informatiebijeenkomsten en tijdens steekproefsgewijze aanwezigheid van een 2 e assessor van school tijdens de afname van praktijkexamens. 11

12 3. EXAMENINSTRUMENTARIUM ED2 Het exameninstrumentarium sluit aan op de uitstroomeisen en voldoet aan de examen toetstechnische eisen. Het exameninstrumentarium dekt de eisen van de kwalificatie. Dit geldt ook voor de eisen van het keuzedeel of de keuzedelen van de opleiding van de betreffende deelnemer. 3.1 Dekking kwalificatiedossier Het exameninstrumentarium dekt de eisen van het kwalificatiedossier. De context en inhoud van de examens voldoen aan de complexiteit van een beginnend beroepsbeoefenaar. De examencommissie heeft op de examenplannen voor het cohort 2017 e.v. vastgesteld op basis van het advies van de vaststeller. In het kader van de validering van de exameninstrumenten, is door Mondriaan een voorkeur uitgesproken voor ingekochte examens. De examencommissie gebruikte in het rapportage jaar daarnaast nog een klein aantal zelf-geconstrueerde examens die zijn vastgesteld volgens route 2. Ingekochte examens (Route 1) De examencommissie gebruikte in onderstaande ingekochte examens. Ingekochte examens Route 1 Uitgever - opleiding Naam examen Vastgesteld Consortium Praktijkexamens PW, GPM, OA d.m.v. Hulpdocument bij vaststelling Consortium Keuzedeelexamens PW, GPM, OA -- Consortium-Musicalperformer Keuzedeelexamen Internationaal II, werken in het -- buitenland K0202 ICE - TOA Schrijven 2F en 3F Nederlands ; OOA ICE - TOA Schrijven A2, B1, B2 Engels ; OOA ICE- Musicalperformer Workshop Artiest (B1-K2-W1) ; L. v. Gaalen ICE- Musicalperformer Examen Musical (P1-K1-W1 t/m W4) ; L. v. Gaalen ICE- Musicalperformer Cultureel Ondernemen gesprek (B1-K2-W3) ; L. v. Gaalen ICE- Musicalperformer Artistiek profiel (B1-K1-W1; B1-K2-W1; B1-K2-W3) ; L. v. Gaalen ICE- Musicalperformer Bewijs Ontwikkeling en Reflectie (B1-K1-W2) ; L. v. Gaalen Toelichting op het schema: Voor de kwalificatiedossiers vanaf cohort 2015 heeft de examencommissie besloten te participeren in de gezamenlijke ontwikkeling van praktijkexamens door deel te nemen aan het Consortium Beroepsonderwijs voor de opleidingen PW, GPM en OA. Er is mede voor het Consortium gekozen, omdat andere ROC s in de regio deze examens al gebruikten. Dit geeft herkenbaarheid bij de BPV-instellingen. De Consortiumexamens zijn in afstemming met het beroepenveld ontwikkeld. De examencommissie heeft het Hulpdocument bij de vaststelling van Consortium vorig schooljaar aangevuld op de vereiste criteria. Bovendien laat zij bij wijze van steekproef productbeoordelingen uitvoeren. Voor de opleiding Musicalperformer ontwikkelt het Consortium geen examens. Daarom zijn door de opleidingen Artiest landelijk gezamenlijk met ICE examens ontwikkeld. Deze examens zijn in voor het eerst gebruikt. De examenconstructie is inmiddels weggehaald bij ICE en zal in overgaan naar Steeci, die tevens voor externe validering gaat zorgen. Verbeteractie voor is het volgen van de externe validering van de Steeci-examens en het vaststellen van de keuzedeelexamens. 12

13 Zelfgeconstrueerde examens (Route 2) De examencommissie gebruikte in onderstaande zelfgeconstrueerde examens. Zelf geconstrueerde examens Route 2 Opleiding Naam examen Vastgesteld Musicalperformer Herkansing kennisexamen Cultureel ondernemen voor ; L. van Gaalen Musicalperformer Musicalperformer Keuzedeelexamen Creatief Makerschap K ; L. van Gaalen Musicalperformer Keuzedeelexamen Opzet eigen lespraktijk K ; L. van Gaalen PW, OA, GPM, MP Spreken en Gesprekken 2F en 3F Nederlands ; OOA OA, GPM, MP Gesprekken Engels A2 - Hotelreceptie ; A. Meppelink/S. Renes OA, GPM, MP Gesprekken Engels A2 - Safari in Spanje ; A. Meppelink/S. Renes OA, GPM, MP Gesprekken Engels A2 - Volleybaltoernooi ; A. Meppelink/S. Renes OA, GPM, MP Engels Spreken B1 - B2 - Presentatie over een onderwerp uit de praktijk ; S. Renes Toelichting op het schema: Voor MP moesten een herkansing en twee keuzedeelexamens gemaakt worden, omdat ICE die niet levert. De keuzedeel examens tellen niet mee voor het diploma. Voor de talen zijn in zelfgeconstrueerde instellingsexamens Spreken en Gesprekken gebruikt, wegens de mogelijkheid om beroepsgerichte casussen te gebruiken. Zij zijn opnieuw vastgesteld in het verslagjaar. Vanaf schooljaar worden voor Nederlands examens gebruikt uit de verplicht gestelde Examenbank Nederlands en Engels van OOA. Verbeterpunten voor zijn: het kiezen van een examenmethode voor Engels uit de examenmethodes die door Mondriaan zijn vastgesteld; voor MP het laatste keuzedeelexamen vaststellen. 3.2 Dekking keuzedelen Het exameninstrumentarium dekt de eisen van het kwalificatiedossier. Dit geldt ook voor de keuzedelen van de opleiding. De examens voor de keuzedelen van het kwalificatiedossier Pedagogisch werk (dat de opleidingen PW, OA en GPM omvat) worden ingekocht bij Consortium. Aandachtspunt voor was het vaststellen van de keuzedeelexamens van MP, omdat die nog niet landelijk ontwikkeld, dus niet in te kopen waren. Dit is deels gerealiseerd (zie bij 3.1; schema Route 2). 3.3 Examenvormen De examenvormen passen bij de taakcomplexiteit. Dit is bepaald in samenwerking met het werkveld, zoals beschreven in de introductie van hoofdstuk Evenwichtige waardering Het instrumentarium maakt evenwichtige waardering mogelijk en doet recht aan de kerntaken, werkprocessen en overige vereisten uit het kwalificatiedossier en die van de keuzedelen. Dit heeft de examencommissie vastgesteld na controle van het examenplan door een vaststeller. Deze heeft hiervoor het Vaststelformulier Examenplan en het Vaststelformulier Examen gebruikt, ontwikkeld door de beleidsafdeling van Mondriaan (OOA). Bij OA is bij de vaststellingsvergadering opgevallen dat er buitengewoon veel 10-en gegeven werden bij de praktijkexamens. Onderzoek wees uit dat de cesuur van het Consortium correct was gevolgd. Verbeterpunt voor : goed uitleggen aan praktijk dat het van belang is een goed te onderbouwen. Het Consortium is op de hoogte gesteld van deze gevolgen van de door hen gestelde cesuur. 13

14 3.5 Cesuur is op het juiste niveau De cesuur ligt op het niveau waarop de student aan de eisen voldoet. Dit heeft de examencommissie geborgd via een advies door de vaststeller. De cesuur wordt hierbij standaard bevraagd. Daarnaast wordt aan de BPV-instelling input gevraagd over het niveau van de praktijkexamens, de cesuur zoals daarin beschreven en over de prestaties van de kandidaten als beginnend beroepsbeoefenaar. Dit gebeurt in contact tijdens de stageperiodes, tussen SLB en werkbegeleider en bij afname van praktijkexamens. Het oordeel van de BPVbeoordelaar feedback op examenduur, relevantie en inhoud wordt bevraagd bij steekproefsgewijs bezoek van een 2 e assessor van school. 3.6 Objectieve beoordeling Het Consortium levert een Servicedocument voor de praktijkexamens en bij ieder praktijkexamen een aparte toelichting voor de praktijk. Beide instrumenten worden bij ieder examen naar de BPV-instelling gestuurd. Het servicedocument is door de examencommissie aangevuld met enkele Mondriaan-specifieke afspraken. Daarnaast worden beoordelaarstrainingen gegeven (zie 1.6). Hierin worden BPV-beoordelaars getraind in het gebruik van de praktijkexamens als gekwalificeerd beoordelaar. 14

15 4. AFNAME EN BEOORDELING ED3 De inrichting en uitvoering van het examenproces van afname en beoordeling is deugdelijk. 4.1 Afname en beoordeling gelijkwaardig De afnamecondities en beoordelingen zijn voor studenten gelijkwaardig. De examencommissie houdt dit in de gaten door acties zoals: steekproeven op het proces van afname bij zowel theorie als mondelinge examens; steekproeven op afname en beoordeling van praktijkexamens; 2 e beoordelingen van mondelinge en praktijkexamens (voor realisatie: zie tabel bijlage 3). De steekproeven vormen onderdeel van het Plan van Toezicht (zie bijlage 4). Steekproeven op afname en beoordeling; mate van risico De uitkomsten van de steekproeven zijn besproken in de examencommissie bij de evaluatie van het Plan van Toezicht op 22 november De volgende verbeterpunten voor zijn geformuleerd. De steekproef 2e assessor overlapt mogelijk met de steekproeven 2e beoordeling praktijkexamen en procesbeoordeling praktijkexamen. De examencommissie heeft echter besloten de steekproeven te handhaven in ten behoeve van de routine van de teams. Mogelijkheid onderzoeken tot afname van instellingsexamens Nederlands en Engels door onafhankelijke docent De opleiding OA: steekproeven opnemen in jaarplanning van het team. 4.2 Afnamecondities De condities doen recht aan de context van het toekomstig beroep; onderdelen van het examen vinden in de (reële) beroepspraktijk plaats. De examencommissie checkt of de examenlocatie geschikt is, door de verdeling van stageplekken voor alle zorgopleidingen centraal te laten verlopen via het SBBL. Alleen door de SBB goedgekeurde BPV-plekken worden aangeboden. In elk praktijkexamen zit een verklaring, die vooraf moet worden ingevuld over de geschiktheid van de examenplek en de onafhankelijkheid van de examenbeoordelaar. Dit wordt steekproefsgewijs gecontroleerd door een 2 e assessor van school het examen te laten bijwonen. Toekenning aangepaste examencondities In heeft de examencommissie 61 aanvragen voor aangepaste examinering gehonoreerd. Op basis van de regelgeving betreffende de deskundigenverklaring is bekeken of de aanvraag geldig is. Daardoor zijn 50 aanvragen toegekend. Er zijn geen aanvragen afgewezen wegens ontbreken van een vereiste verklaring. Alle aanvragers hebben extra tijd gevraagd en gekregen. In vergelijking met vorig schooljaar is het totaal aantal vrijwel gelijk gebleven. Aanvragen aangepaste examencondities Opleiding Dyslexie Dyscalculie ADHD/ADD Extra tijd Vergroting PW - HFD X PW - EUR 9 1* 1 X X GPM X OA - HFD X OA - EUR X X MP X Totaal *: student heeft tevens dyslexie 15

16 4.3 Beoordeling De beoordeling levert betrouwbare uitkomsten op, vindt deskundig plaats en is gericht op een passende balans in vereiste kennis, houding en vaardigheden. Het exameninstrumentarium is middels een methodemix tot stand gekomen. Bij de opleidingen PW, GPM, OA en MP geldt het 4-ogen principe voor alle examens in de praktijk. Ieder praktijkexamen heeft een aantal opdrachten. Deze worden deels beoordeeld door een assessor van het werkveld, deels door een assessor van school. Er is een evenredig aandeel school- en praktijkbeoordelaars bij elk praktijkexamen. De examencommissie laat steekproefsgewijs de praktijkexamens bijwonen door een 2 e assessor. Het aantal waarnemingen is vermeld in 4.1. Een betrouwbare beoordeling wordt verder geborgd doordat de beoordeling van praktijkexamens geen momentopname is. Tijdens elk schooljaar is er een stageperiode. Tijdens de stage is er nauw contact tussen de werkbegeleider op de werkvloer en de stagebegeleider op school. Zo wordt de geschiktheid van de student gemonitord en wordt een beeld verkregen over kennis, houding en vaardigheden van de kandidaat voorafgaand aan praktijkexamens. Het valt dus op als examenresultaten opvallend afwijken van prestaties tijdens eerdere stages. 4.4 Transparantie organisatie examens De inrichting van het examen, de planning van de examenperiodes en beoordelingswijze zijn tijdig voor studenten beschikbaar en voor alle betrokkenen transparant en eenduidig. Een tweede manier van controle is organiseren van klassengesprekken met studenten door de schooldirecteur, tevens voorzitter van de examencommissie. Daarnaast spreekt de schooldirecteur in de periodieke regiegroepen Kinderopvang en Onderwijsassistent met werkveldvertegenwoordigers over de examinering. De bevindingen op het gebied van examinering worden dus besproken met alle betrokkenen. Hieruit zijn dit jaar geen risico s naar voren gekomen. 4.5 Beroep en bezwaarprocedure De procedure voor beroep en bezwaar is tijdig voor studenten beschikbaar en voor alle betrokkenen transparant en eenduidig Eind is een klacht ingediend bij de onderwijsinspectie door een ouder, die bezorgd was over de uitval van lessen Engels in leerjaar 2 van de opleiding GPM. Het betrof lesuitval t.g.v. ziekte van betreffende docent, die langer wegbleef dan verwacht. Om de eventuele effecten van het lesuitval te compenseren zijn in schooljaar de lessen Engels in het 3e leerjaar geïntensiveerd en kregen studenten die dat nodig hebben ondersteuning op maat. De schooldirecteur heeft uitleg gegeven aan studenten en ouders met het advies zich indien (nog) nodig te wenden tot de school. De meeste studenten behaalden echter een goed cijfers voor de 1 e kans. De enkeling met een onvoldoende én degenen die niet-verschenen waren bij de 1 e kans hebben een extra kans toegekend gekregen in september De inspectie heeft de toelichting en de gekozen oplossing van de school bestudeerd en laten weten dat de zaak wat hun betreft daarmee was afgehandeld. 5 AUDITS EN/OF ONDERWIJSINSPECTIE In schooljaar was een her-audit gepland in Naaldwijk. Deze stond gepland voor het voorjaar 2018 en is wegens omstandigheden niet doorgegaan. Het ging om examens van de oude cohorten, die inmiddels niet meer gebruikt worden. Daarom is uiteindelijk van de her-audit afgezien. 16

17 6 KEUZEDELEN De examencommissie heeft geen vrijstellingsverzoeken ontvangen voor keuzedelen. En verder: geen aanvragen ontvangen voor keuzedelen op eigen verzoek. geen aanvragen ontvangen voor extra keuzedelen. vrijwel alle gediplomeerden in waren studenten uit cohort Zij volgden keuzedelen als pilot. Omdat in Magister de keuzedelen nog niet op het diploma vermeld werden, hebben zij een instellings-verklaring gekregen voor keuzedelen met voldoende resultaat. geen certificaten uitgereikt voor keuzedelen met voldoende resultaat in het kader van leven lang ontwikkelen. drie keuzedelen zijn aangeboden bij cohorten 2016 en 2017, maar niet ingezet: Duits in de beroepscontext A2 (K0025), Duits in de beroepscontext B1 (K0026), Voorbereiding HBO kunstonderwijs (K0184). 17

18 7 CONCLUSIE EN VERBETERVOORSTELLEN EXAMENCOMMISSIE De examencommissie formuleert op basis van het uitgevoerde toezicht verbeteracties voor het volgende schooljaar. In het jaarverslag examinering van het daaropvolgende schooljaar geeft ze aan welke verbeteracties zijn bereikt en wat vervolgens de verbeteracties worden voor het volgende schooljaar (PDCA). 7.1 Terugblik borging van de kwaliteit van de examinering en diplomering Ter borging van de kwaliteit van de examinering en diplomering formuleert de examencommissie kwaliteitsdoelen en controleacties in het Plan van Toezicht (PvT) en verzamelt zij meldingen van bijzonderheden die mogelijk een risico kunnen opleveren bij examinering en diplomering. Tenslotte zijn er verbeteracties geformuleerd voor in jaarverslag Hierna volgt een overzicht van de realisatie van deze vier instrumenten. Op basis daarvan zijn conclusies getrokken ( 7.2) en kwaliteitsdoelen voor benoemd ( 7.3). Zo wordt de PDCA geborgd. Realisatie kwaliteitsdoelen ED Kwaliteitsdoel Indicatoren Realisatie Dit blijkt uit Deskundigheid Ja bevorderen van bij examinering betrokken functionarissen Ja 1. ED1 Desk Medewerkers examenbureau zijn geschoold in Magister cijferregistratie Beoordelaars zijn geschoold in Consortium- en ICE-materiaal Docententeams zijn geschoold in procesarchitectuur examinering met bijbehorende spelregels 2. Implementatie diplomavaststelling via Magister Magister-cijferregistratie is operationeel (ook op de locatie Naaldwijk) ED1 Dipl De vaststelformulieren uit Magister worden gebruikt 3. Controle Steekproeven uitgevoerd conform examendossiers norm in Plan van Toezicht Resultaten CE Minimaal gelijk aan het landelijk gemiddelde van Mondriaan en van de sector 5. Implementatie nieuwe praktijk-examens Consortium 6. ED2 Vaststelling instellingsexamens Instr Engels Spreken/ Gesprekken 7. Vaststelling examens keuzedelen 8. ED3 Afn Controle afname examens in de BPV 9. Controleren afnameprocedure theorie-, digitale en mondelinge examens Studenten, betrokkenen BPV zijn tevreden over de examens; Resultaten zijn niet aantoonbaar lager dan eerdere jaren Instellingsexamens Engels B2 op examenbank geplaatst vóór Alle examens zijn vastgesteld in juli 2018 Examens zijn vastgesteld in december 2017 Steekproeven uitgevoerd conform norm Plan van Toezicht Controle of ingezette BPVbeoordelaars geschoold zijn Steekproeven zijn uitgevoerd conform norm in Plan van Toezicht Ja Ja ja Deels Deels Ja Ja Nee Deels Ja Ja Deels Diplomavaststelformulieren worden gehanteerd bij diplomabesluit Trainingen BPV-beoordelaars + werkbegeleiders zijn uitgevoerd Aandacht in teamoverleggen door examencommissieleden Diplomavaststelformulieren juli 2018 Idem Steekproeven zijn gerealiseerd, echter geen 15% per opleiding Doel is behaald OA en MP 3F en Engels B1 (zie 2.1) Doel is niet behaald voor PW 2F/3F en GPM 3F/B1 (zie 2.1) Evaluaties van studenten; antwoord van instellingen bij steekproeven; cijfers van studenten Examenbank PW-Artiest ingericht op sharepoint Wacht op pilot TOA Connect n.a.v. examenbank OOA 2 keuzedeelexamens Artiest zijn vastgesteld. Verbeteractie : vaststellen keuzedelen van Consortium Evaluatie Plan van Toezicht Lijsten BPV-bureau. Aandachtspunt : toekennen stageplaatsen ná retour controleformulieren Evaluatie Plan van Toezicht d.d

19 Realisatie Plan van Toezicht In de vergadering van 22 november 2018 heeft de examencommissie de realisatie van het Plan van Toezicht besproken. Alle acties en conclusie-rapporten over genomen steekproeven zijn geëvalueerd. Over alle zes de acties in het Plan van Toezicht (PvT) is het risico benoemd en is besproken of de actie in voortgezet wordt. Hieronder volgt een samenvatting. In bijlage 2 staat een gedetailleerd overzicht van de realisatie. ED Toezichtactie Actie gerealiseerd Risico Verbeteractie ED1 Dipl Check examendossiers Ja. 100% dossiercontrole door SLB s volgens vernieuwde taakbeschrijving Geen risico op diplomabesluit bij steekproef door examencommissie (tijdens scholing) rapportage aan examencommissie over gevonden manco s (t.b.v. toezicht door examencommissie) 2. ED1 Desk 3. ED2 Instr 4. Deskundigheid van bij examinering betrokkenen Evaluatie exameninstrument door beoordelaars van school Bijwonen praktijkexamens ED3 5. Afn Afname theorie-examens (proces) 6. ED3 2e correctie theorieexamens Beoord Ja Ja Ja Ja/deels Ja: bij PW, GPM, MP Niet bij OA Geen risico met uitzondering van opleiding PW (kleine organisaties komen niet naar beoordelaarsscholing) Geen Ontvangen meldingen door examencommissie in Geen risico bij OA, GPM, MP Mogelijk risico bij PW: veel kleine instellingen waar geen ruimte is om onafhankelijke beoordelaar in te zetten Risico bij PW, OA, MP (geen/ weinig steekproeven) Geen, maar met een aandachtspunt bij GPM Geen risico bij PW, MP Mogelijk risico bij GPM, OA PW: extra inspanning om bij kleine BPV-instellingen een 2 e assessor van school in te zetten PW: zie bij punt 2. PW, OA, MP: steekproeven realiseren conform de norm GPM: onderling afstemmen door beoordelaars ( kalibreren ) OA: steekproeven realiseren conform afgesproken norm GPM: onderlinge afstemming over beoordeling verbeteren De examencommissie is in begonnen om de meldingen te verzamelen die haar bereiken over onregelmatigheden bij de examinering en diplomering. Het kan gaan over exameninstrumenten, afname en beoordeling, fraude, vrijstellingsaanvragen etc. Dit wordt verzameld in een register, het zgn. meldingsformulier. In de vergaderingen is het afhandelen van de meldingen een standaard agendapunt. Dit is inclusief het formuleren van mogelijke verbeteracties zodat gelijksoortige incidenten in de toekomst zoveel mogelijk voorkomen worden (PDCA). In de tabel hieronder staan aantal en soort meldingen. In paragraaf 2.2 t/m 2.4 worden de meldingen inhoudelijk toegelicht. Alle meldingen zijn door de examencommissie volgens procedure en - voor zover mogelijk - op gelijke wijze opgelost. Na afhandeling zijn geen nadere bezwaren of klachten ontvangen. Meldingen Bloopers 6 Vrijstellingsverzoek 5 Extra Herkansingsaanvraag 4 Manco 2 Vermeende onregelmatigheid 1 Fraude 1 Aantal meldingen totaal 19 19

20 Verbeterpunten uit jaarverslag ; realisatie in Nr. ED Verbeterpunt Realisatie Dit blijkt uit 1. Procedure aanvragen verhoging cijfer of ja Aanvraagformulieren + goedkeuringsroute zijn vernieuwd niveau aanscherpen via aanvraagformulier nee Aandachtspunt : implementatie ED1 van formulieren Dipl 2. Communicatie met het examenbureau te ja Frequentie van overleg en afstemming verbeteren door toehoorder vanuit examenbureau bij de examencommissie tussen examencommissie en examenbureau verloopt soepel 3. ED2 Instr Resultaat-analyses uitvoeren (per vak/per vraag) nee Aanvraag bij SBO loopt om uit Magister rapportage te verkrijgen per examen 4. Sturen op complete jaarplanning van de ja Gerealiseerd voor CE en TOA Schrijven 5. ED3 Afn examens Nederlands 2 e en 3 e kansen School ZW: gegevens over realisatie ja Er zijn steekproeven gedaan 6. ED3 Beoord steekproeven PvT beter bijhouden Kalibreersessies organiseren voorafgaand aan beoordeling van artiestexamens ja Er is een sessie geweest waarin alle docenten als assessor zijn geschoold 7.2 Conclusies ten aanzien van de kwaliteitsdoelen, PvT en meldingen De examencommissie is tevreden met de realisatie van de helft van de kwaliteitsdoelen en de stappen die gezet zijn. Voor het bereiken van een aantal doelen is de ontwikkeling ingezet, zoals keuze van ingekochte instellingsexamens Engels en Magisterrapportages ter verwezenlijking van resultaatanalyses. Niet geheel gerealiseerde kwaliteitsdoelen en verbeterpunten blijven staan voor De examencommissie heeft de verbetering van de Magister-vaststelformulieren laten realiseren door de werkprocesnummers leesbaar te laten opnemen, waardoor het risico op verkeerd invullen van cijfers vermindert. Het team GPM heeft gedurende het schooljaar een rapportage/logboek opgesteld op het gebied van examinering en onderwijs die in als aandachtspunten gelden. De examencommissie heeft bij de evaluatie van het Plan van Toezicht van vorig schooljaar besproken welke acties zij wil handhaven in Besloten is om alle controleacties voort te zetten in om de teams te laten wennen aan de eisen die de examencommissie stelt en de steekproeven die - ruim op tijd - moeten worden ingepland. Daarnaast moet de examencommissie wennen aan de PDCA-cyclus van verwerking van de steekproefformulieren, conclusies over mate van risico en de verbeteracties plus controle daarvan. De examencommissie is blij dat er in het jaar van ingebruikname al 19 meldingen zijn verzameld. Zij realiseert zich dat examencommissieleden én teams moeten wennen aan het gebruik van het meldingsformulier. Het is nieuw dat incidenten, bloopers en andere bijzonderheden gemeld moeten worden aan de examencommissie om inzicht en toezicht mogelijk te maken en te zorgen dat de nodige verbeteracties worden opgevolgd (PDCA). Aandachtspunt voor is daarom de routine te laten groeien en meldingen structureel te (laten) melden. Van de zes verbeterpunten uit jaarverslag zijn op één na alle gerealiseerd. De niet geheel gerealiseerde punten blijven staan voor

21 7.3 Kwaliteitsdoelen examinering De volgende doelen zijn benoemd door de examencommissie voor het schooljaar op basis van de bevindingen weergegeven in dit jaarverslag. Kwaliteitsdoel Indicatoren 1. Docententeams blijven scholen in procesarchitectuur examinering met Examencommissieleden zetten in teamoverleg standaard uit de examencommissie bijbehorende spelregels 2. Resultaten CE Met vakdocenten percentage voldoendes voor PW 2F en 3F en GPM 3F/B1 bespreken, gericht op achterliggende redenen en mogelijke verbeteracties in het curriculum 3. SLB ers controleren de onderbouwing van beoordeling met een Goed Alle beoordelingen met Goed in Consortiumexamens zijn onderbouwd door de BPV 4. Controle examendossiers Verslaglegging van diploma-vaststelvergaderingen volgens 5. Keuze bepalen van methode voor instellings-examens Engels Spreken/ Gesprekken (inkoop) 6. Kwaliteit verbeteren van de beroepsexamens van Artiestd procedure aan examencommissie Evaluatie van de pilot TOA Connect vóór juli 2018 en keuze gemaakt welke Instellingsexamens Engels worden gebruikt per Monitoren van de externe validering van Steeci-examens 7. Vaststelling keuzedeelexamens We blijven nagaan of er nieuwe keuzedeelexamens zijn ontwikkeld die we willen gebruiken en moeten worden vastgesteld voor juli Procedure aanvragen verhoging Implementatie van vernieuwde formulieren/procedure cijfer/niveau implementeren 9. Resultaat-analyses uitvoeren (per examen) Oplevering Magisterrapportage door SBO monitoren en implementeren 10. Procedure afname instellingsexamens Nederlands en Engels Mogelijkheid onderzoeken tot afname van instellingsexamens Nederlands en Engels door een onafhankelijke docent 11. Op alle stageplaatsen is een opgeleide BPV-beoordelaar beschikbaar Procedure Toekennen stageplaatsen starten ná retour van controleformulieren bij BPV-bureau 12. Steekproef Bijwonen praktijk-examens (PvT) extra inspanning bij PW om bij kleine BPV-instellingen een 2e assessor van school in te zetten 13. Steekproeven Afname (proces) theorieen mondelinge examens (PvT) PW, OA, MP: steekproeven realiseren conform afgesproken norm 14. 2e correctie theorie-examens (PvT) OA: steekproeven realiseren conform afgesproken norm 15. Realisatie Plan van Toezicht door opleiding OA Steekproeven opnemen in jaarplanning van het team 21

22 Bijlage 1 Beoordelaarstrainingen + centrale examencommissiebijeenkomsten Aanwezigheid tijdens beoordelaarstrainingen en werkbegeleidersbijeenkomsten in Beoordelaarstraining Datum Deelnemers /11/ deelnemers PW, GPM 20 deelnemers PW, GPM 45 deelnemers PW, GPM 7 deelnemers OA 10 deelnemers MP 3 deelnemers MP Werkbegeleidersbijeenkomst deelnemers PW, GPM 27 deelnemers PW, GPM Onderstaande onderwerpen zijn aan bod geweest in de centrale examineringsbijeenkomsten van OOA. 11 oktober 2017 Professionalisering/ scholing nieuwe examencommissieleden Jaarverslag examinering Plan van toezicht Uitleg procesarchitectuur (digitaal handboek examinering) Examenbank Nederlands 3 routes naar valide taalexamens Doorstoom oude cohorten Slaag zakregeling Keuzedelen Cum laude regeling Diplomafraude Wetgeving examencommissies Diplomering Hardheidsclausule Waarderen en beoordelen in de BPV Examineren in BPV 13 december 2017 Scholing nieuwe examencommissieleden Inlogcode voor externen digitale examenhandboek Examenbank Nederlands Examenbank Engels Digitale Oer Cum laude Instellingsverklaring Engels generiek Doorstroom/instroom oude cohorten Bewaartermijn gemaakt examenwerk Nieuwe examenovereenkomst Keuzedelen 07 februari 2018: Passend examineren presentatie Henry Soyer 11 april 2018 Reorganisatie teamsites (functioneel beheer, sharepoint, One Drive) Kwaliteitsdoelen examencommissie Toolkit kwaliteitsborging Het beste jaarverslag examinering TOA Connect 06 juni 2018: Fraude en onregelmatigheden (Externe sprekers) 22

23 Bijlage 2 Resultaten Centrale examens Nederlands, rekenen, Engels In de tabel hieronder zijn percentages hoger dan het Mondriaan-gemiddelde groen gemarkeerd en de percentages lager dan het Mondriaan-gemiddelde oranje. De Mondriaan-gemiddelden liggen dicht bij die voor de sector Zorg & Welzijn als geheel. School voor Pedagogisch werk en Onderwijsassistent; percentage voldoende (> 5,5) voor het CE opleiding Nederlands rekenen Engels 2F 3F 2F 3F B1 B2 PW 75% 26% 22% 7% GPM -- 45% 29% 22% 81% -- OA -- 61% -- 38% 91% 51% MP -- 71% -- 47% 96% -- MON-gemiddelde 1) 86% 55% 49% 31% 89% 78% Sector zorg & welzijn 2) 87% 61% 45% 30% 90% 78% 1) : het Mondriaan-gemiddelde omvat alle opleidingssectoren. 2) : de slagingspercentages voor de sector, gepubliceerd door het CvTE, betreffen voor Nederlands en Engels het eindcijfer (dus inclusief instellingsexamens). Dit is niet geheel vergelijkbaar met de CE-cijfers zoals in de rest van het schema zijn vermeld. Meerjarenontwikkeling CE resultaten De tabel hieronder geeft de meerjarenontwikkeling voor alle opleidingen van PW-Artiest gezamenlijk. Ook hier gaat het om het percentage voldoendes (> 5,5) bij alle afnames inclusief herkansingen. Er zijn vooralsnog geen meerjarengegevens per opleiding beschikbaar. Nederlands Rekenen Engels niveau 2F 3F 2A 2F 3F B1 B % 57% -- 27% 18% % 56% -- 31% 27% 59% % 52% -- 27% 26% 88% 82% % 48% -- 23% 30% 86% 51% Conclusies naar aanleiding van de tabel. Nederlands De resultaten voor Nederlands 2F in (105 afnames) zijn vrijwel gelijk aan Er is sprake van een daling van het percentage voldoendes ten opzichte van De resultaten voor Nederlands 3F zijn in (410 afnames) zijn lager dan en Er is sprake van een dalende lijn vanaf Rekenen De resultaten voor rekenen 2F in (106 afnames) zijn lager dan Er is sprake van een daling sinds De resultaten voor rekenen 3F in (318 afnames) zijn hoger dan Er is vanaf een stijgende lijn. Engels De resultaten voor Engels B1 in (232 afnames) zijn vrijwel gelijk aan De percentages van Engels B2 gaan over 37 afnames van de opleiding OA. Daarvan heeft 51% een voldoende behaald. Het is weinig zinvol om uitspraken te doen over een vergelijking met het jaar daarvoor, omdat kleine aantallen percentages vertekenen en onbekend is hoeveel kandidaten er in examen B2 deden. 23

24 Bijlage 3 Steekproeven afname en beoordeling - theorie en praktijkexamens De afnamecondities en beoordelingen zijn onderzocht door steekproefsgewijze 2 e beoordelingen en controle van de afnameprocedure, zowel bij praktijk- als theorie-examens. In zijn onderstaande steekproeven gerealiseerd. praktijk examens schr./mondelinge examens Steekproeven PW-Artiest OA MP PW GPM 2 e beoordeling 3 examens + 2 examens + 2 examens x 2 e assessor 3 x 2 e assessor 16 x 2 e assessor 10 x 2 e assessor procesbeoordeling 1 x examen Cultureel afname ondernemen Examen A (3 kandidaten) Examen B (1 kandidaat) Examen Professioneel handelen (2 kandidaten) Examen E2 (2 kand.) 2 e beoordeling -- Examen Cultureel ondernemen (gesprek; 1 kandidaat) procesbeoordeling afname -- Examen Cultureel ondernemen (gesprek; 1 kandidaat) 1 x B1-K2-W1 1 x B1-K2-W2 1 x examen 3 Ned. Spreken 2F (5 kand.) Ned. Gespr. 3F (6 kand.) Ned. Spreken 2F (5 kand.) Ned. Gespr. 3F (6 kand.) Examen A (4 kand.) Examen B (5 kand.) Examen C (4 kand.) Examen D (4 kand.) Examen B (8 kand.) Examen C (3 kand.) Examen D (3 kand.) Ned. Spreken 3F/ Gesprekken 3F 24

25 Bijlage 4 Realisatie Plan van Toezicht