Jaarverslag Examinering

Transcriptie

1 Jaarverslag Examinering Cluster Economie

2 INHOUDSOPGAVE INHOUDSOPGAVE INLEIDING DE EXAMENCOMMISSIE Samenstelling examencommissie Overzicht bijeenkomsten Vaststellingscommissie Verleende vrijstellingen Geconstateerde onregelmatigheden Klachten en bezwaren Beroepszaken bij de beroepscommissie Aantal uitgegeven diploma s EVC verzilvering BORGING KWALITEIT EXAMINERING Beroepenveld Scholing Werkgroepen, commissies e.d Studenten Exameninstrumentarium AUDITS EN TOEZICHT Interne audit bij Cluster Economie Gesprek met bureau ICE Toezicht Inspectie van het Onderwijs VERBETERACTIES TOT SLOT

3 1. INLEIDING In her voorjaar van 2014 heeft de Onderwijsinspectie bij het cluster Economie van Scalda een onderzoek uitgevoerd naar onder meer de examinering bij zowel de opleiding Commercieel Medewerker Marketing en Communicatie als de opleiding Juridisch Medewerker. Het onderzoek betrof de examinering in het schooljaar 2012/2013. Daarbij werd voorbij gegaan aan verbeteringen die de Examencommissie al had ingezet in het schooljaar 2013/2014. De Onderwijsinspectie vond de examinering op meerdere punten tekort schieten en vond ook dat de Examencommissie zich onvoldoende verzekerd had van de kwaliteit van de examinering en het examenproces. In september hebben we de waarschuwing officieel ontvangen, met de aankondiging van een heronderzoek in september Het oordeel van de Onderwijsinspectie was aanleiding voor verdere analyse en nog meer verbetermaatregelen en heeft voor een belangrijk deel de agenda voor het schooljaar 2014/2015 bepaald. Er zijn ook externe partijen bij het proces betrokken. Bureau ICE heeft een analyse uitgevoerd, waarover verder in dit jaarverslag meer. En MBO in Bedrijf van de MBO Raad heeft in het voorjaar van 2015 bij de onderzochte opleidingen een audit uitgevoerd om te bepalen in hoeverre inmiddels wordt voldaan aan het toezichtskader. De audit was niet alleen gericht op de examering, maar ook op de andere onderdelen van het toezichtkader, dus op het onderwijsproces, rendement en kwaliteitsborging. Ook op instellingsniveau is het afgelopen jaar veel aandacht besteed aan examinering. Er is o.a. een nieuw handboek examinering verschenen, dat wordt ingevoerd vanaf het nieuwe schooljaar. Al met al een bewogen jaar waarin het kwaliteitsbewustzijn een grote impuls heeft gekregen. Belangrijke verbeteringen in gang zijn gezet en we zijn op de goede weg om te voldoen aan alle onderdelen van gebied 2 van het toezichtskader: examinering en diplomering. Via dit openbaar jaarverslag legt de Examencommissie verantwoording af over alle onderdelen van het examenproces. Middelburg, 22 april 2015 E.P.H. Kerckhaert Voorzitter examencommissie 3

4 2. DE EXAMENCOMMISSIE De examencommissie van Cluster Economie is verantwoordelijk het uitreiken van het diploma (WEB ). Uit deze wettelijke verantwoordelijkheid volgen andere zaken, die leiden tot het correct kunnen nemen van deze beslissing. De dagelijkse gang van zaken met betrekking tot examinering wordt behartigd door de subexamencommissies per team. Die bestaan uit de teamleider (tevens lid examencommissie) en de onderwijskundig medewerker examinering. Achteraf leggen de subexamencommissies verantwoording af over de genomen besluiten, in de vergadering van de examencommissie. De taken van de examencommissie zijn vastgelegd in het examenreglement van Scalda. Een verdere uitwerking hiervan, is beschreven in het handboek examinering van het Cluster Economie. 2.1 Samenstelling examencommissie De samenstelling van de examencommissie: Voorzitter: Dhr. E.P.H. Kerckhaert Secretaris: Mw. D.J. Gosman Leden: Dhr. M.A.A. Buyck Dhr. A.C. Pot Mw. M.A.A. Dieleman-de Jong Mw. R.S.G. Martens-Boelens Namens Bedrijfsleven: Dhr. J. Walhout Dhr. B. Graaff Dhr. E.H.J. van den Dobbelsteen Mw. E. Esseling-Brandt Namens het HBO Dhr. H.J.A. Huismans (m.i.v ) Adviseur Dhr. M. Stroo 2.2 Overzicht bijeenkomsten Vergaderdata: donderdag 3 juni 2014, aanvang 8.30 uur donderdag 11 november 2014, aanvang 8.30 uur Vaste punten op de agenda s: Kwaliteit van examinering en de hierbij horende actiepunten. Verslaglegging vanuit de subexamencommissie. Centrale examinering Nederlandse taal en rekenen Evaluatie klachten en bezwaren 4

5 Andere agendapunten: Stand van zaken bezoek Inspectie van het Onderwijs Werkwijze examencommissie o Evaluatie voortgang voorgenomen activiteiten o Nieuw plan Procedurebeschrijvingen o Vaststelling resultaten o Bekendmaken resultaten o Maken en uitgeven diploma s Regeling examendeelnemers (Scalda) Jaarverslag 2013 Activiteitenplan examinering o Plan van aanpak vaststelling examens o Procedure 2 e beoordeling examens o Procedure controle examendossiers Onderwijs- en examenregelingen (OERen) o Algemeen deel cohort (vaststelling) o Opleiding specifiek, inclusief examenplannen Examenorganisatie Scalda (informatief) Handboek examinering (informatief) De subexamencommissies kwamen eens per twee weken bijeen. Agendapunten waren: Vaststellen examenresultaten Verzoeken tot vrijstelling Diploma s vaststellen. Onregelmatigheden tijdens toetsen Verzoeken extra herkansingen Verzoeken aangepaste faciliteiten Vaststellen OERen Steekproeven o Compleetheid examendossiers o Ingevulde beoordelingsformulieren PvB s, examenprojecten en praktijkexamens o Laten uitvoeren 2e correcties Verbeteracties teams 2.3 Vaststellingscommissie Onder de examencommissie functioneert een z.g. vaststellingscommissie. Cluster Economie werkt alleen met ingekochte examenproducten uit landelijke examenbanken. Alle ingekochte examens worden vastgesteld door leden van de vaststellingscommissie. Zij gebruiken hiervoor de vaststellingsformats uit het handboek examinering. Naast een kwaliteitscontrole wordt ook gekeken of ze, ondanks vaststelling door de leveranciers, toch geen fouten bevatten of opgaven waarover discussie kan ontstaan. De medewerkers van het examenbureau controleren of examens duidelijk zijn na reproductie (leesbaar, plaatjes e.d. goed te zien). Indien genoemde kwaliteitscheck in orde is, wordt het examenonderdeel vastgesteld. 5

6 De externe leden van de examencommissie voeren, steekproefsgewijs, een kwaliteitscheck uit op ingekochte examens en vergelijken deze met de kwalificatiedossiers. We zijn betrokken bij de kwaliteitscontrole van twee leveranciers. Een collega participeert in de vaststellingscommissie van leverancier ESS en een andere collega fungeert als redacteur voor examens bij leverancier SPL. 2.4 Verleende vrijstellingen De meeste verzoeken om vrijstelling waren voor voortgangstoetsen. Deze verzoeken werden niet door de subexamencommissie behandeld, maar door het docententeam. De subexamencommissie heeft een aantal vrijstellingen verleend voor examens. Vrijstellingen kunnen worden afgegeven op grond van eerder/elders behaalde resultaten. Hieronder een overzicht van de verleende vrijstellingen: Kandidaten Examen(onderdeel) Grond crebo Allen met vooropleiding (Verkoper) Allen met vooropleiding (Eerste Verkoper) Allen met vooropleiding ( Verkoper) Allen met vooropleiding (Verkoopspecialist) Studenten, die een (deel van) een opleiding op een andere school gevolgd hebben en konden aantonen dat examens daar behaald waren. Diverse studenten die doorgestroomd zijn Diverse studenten die doorgestroomd zijn Diverse studenten die doorgestroomd zijn Diverse studenten die doorgestroomd zijn Diverse studenten die doorgestroomd zijn VACCM Examen is identiek voor niv. 2 en Branche Examen is identiek voor niv , 3 en 4 Branche Examen is identiek voor niv , 3 en 4 Branche Examen is identiek voor niv , 3 en 4 Divers Divers Divers Moderne vreemde talen Vereiste niveau reeds Divers behaald in vorige opleiding Nederlands 3F Cohortenschema Divers Nederlands 2F Cohortenschema Divers Rekenen 3F Cohortenschema Divers Rekenen 2F Cohortenschema Divers 6

7 2.5 Geconstateerde onregelmatigheden De subexamencommissies hebben de volgende gevallen behandeld en hierover gerapporteerd naar de examencommissie: Onregelmatigheid Actie subexamencommissie Maatregel Gebruik spiekbriefje Kandidaat gehoord Kans verspeeld 2 studenten leverden identiek Kandidaten gehoord Kans verspeeld en opdracht branchewerkstuk in om beiden een nieuw Examinator bij mondeling examen Frans is tijdens examen onheus bejegend door kandidaat 2 verschillende examens in één lokaal gepland Surveillant in verkeerd lokaal gaan examineren Minimum te behalen cijfer voor tentamen stond anders op uitslagprotocol dan in OER Paar examens waar een bladzijde (opgaven) ontbrak Surveillanten die met elkaar fluisterden Kandidaat gehoord Direct 2 e lokaal geregeld Studenten naar juiste lokaal verwezen Uitslagprotocol gelijk gemaakt aan OER Bladzijden alsnog gekopieerd door examenbureau en naar examenlokaal gebracht. Gesproken met studenten, die hier last van hadden werkstuk in te leveren Kans verspeeld. Nieuw examen met 2 examinatoren. Tijdverlies gecompenseerd Tijdverlies gecompenseerd Cesuur aangepast voor studenten die examenlokaal al verlaten hadden Surveillanten geïnstrueerd 2.6 Klachten en bezwaren De subexamencommissies hebben onderstaande klachten behandeld en hierover gerapporteerd naar de examencommissie. Bij het behandelen van klachten wordt altijd gewerkt volgens de klachtenregeling Bezwaar en Beroep Deelnemer Gang van Zaken Toetsing en Afsluiting. Nr.: Team Aard klacht: Uitspraak: Beroep ingesteld: Actie n.a.v. deze klacht: 1 ZD Klacht over surveillance bij examen Geen. Nee Regels rond surveillance opnieuw besproken met surveillanten 2 ZD Klacht over niet beschikbaar zijn selfserviceportaal voor studenten 3 CD Klacht over examen moeten maken terwijl studenten niet goed voorbereid waren. Geen Nee Opgelost voor student. Extra herkansing Nee Extra lessen verzorgd voordat studenten de extra herkansing gingen maken. 4 ZD 2 studenten klaagden, dat zij niet toegelaten waren bij een examen. Zij waren te laat. Reden was storing openbaar vervoer. 5 ZD Klacht van één student over onrust tijdens examens van de FLEXopleiding. Studenten hebben kans behouden. Nee Geen Nee Gesprek met student en daarna met betreffende docenten. 6 CD Klacht van oudstudent over het resultatenoverzicht, wat hij bij diploma had gekregen. Er stonden alleen eindcijfers op en geen examencijfers. Rapport met examencijfers opgestuurd. Nee 7

8 2.7 Beroepszaken bij de beroepscommissie Een examenkandidaat kan tegen een definitieve uitspraak van de examencommissie, naar aanleiding van een ingediend bezwaar, beroep aantekenen bij de Commissie van Beroep voor de Examens, als vermeld in de klachtenregeling Bezwaar en Beroep Deelnemer Gang van Zaken Toetsing en Afsluiting. De commissie behandelt het beroep volgens het Reglement Commissie van Beroep voor de Examens dat door de commissie is opgesteld en vastgesteld. Vanuit cluster Economie zijn er in 2014 geen beroepszaken ingediend bij de Commissie van Beroep voor de Examens. 8

9 2.8 Aantal uitgegeven diploma s In het onderstaande overzicht is te zien hoeveel diploma s Cluster Economie in periode t/m heeft uitgegeven. Afdeling Crebo Opleiding Aantal diploma's Totalen Terneuzen Middelburg Commerciële Dienstverlening Verkoper Verkoopspecialist Eerste verkoper Filiaalmanager Ondernemer detailhandel Assistent Communicatiemedewerker Marketing medewerker Medewerker evenementenorganisatie Junior Accountmanager Commercieel medewerker Bank- en Verzekeringswezen Zakelijke Dienstverlening Bedrijfsadministratief medewerker Secretarieel medewerker Secretaresse Directiesecretaresse Managementassistent Directiesecretaresse/Managementassistent Boekhoudkundig medewerker Bedrijfsadministrateur Assistent Accountant Juridisch medewerker zakelijke dienstverlening Juridisch medewerker openbaar bestuur Medewerker personeel en arbeid

10 Uniformberoepen Beveiliger Handhaver toezicht en veiligheid Servicemedewerker gebouwen Medewerker ICT Aankomend medewerker GROP Aankomend medewerker Maritiem Aankomend onderofficier GROP Aankomend onderofficier Maritiem Totaal

11 2.9 EVC verzilvering De laatste jaren staan EVC procedures meer in de belangstelling. EVC staat voor Eerder Verworven Competenties. Tijdens een EVC-traject worden al die ervaringen in kaart gebracht door een erkende organisatie. Het is een momentopname van de kennis en kunde die de betreffende persoon op dat moment in huis heeft. Hiervan wordt een rapportage gemaakt, het zogenaamde ervaringscertificaat. Het ervaringscertificaat kan worden gebruikt bij loopbaanplanning of om in een kortere tijd een diploma te halen. Op het moment dat iemand op basis van een ervaringscertificaat een diploma aanvraagt, spreken we van EVC verzilvering. In 2014 hebben zich, bij cluster Economie geen personen gemeld, die een ervaringscertificaat wilden verzilveren. Ervaringscertificaten werden gebruikt om: toegelaten te worden tot een vervolgopleiding te verzilveren voor een diploma vrijstellingen te krijgen voor een opleiding 11

12 3. BORGING KWALITEIT EXAMINERING In de Wet Educatie en Beroepsonderwijs (WEB) is het wettelijk kader voor alle MBO opleidingen die cluster Economie aanbiedt, vastgelegd. Voor elke opleiding is het kwalificatiedossier het document waarin de te behalen doelen staan. De kwalificatiedossiers worden jaarlijks bijgesteld en vastgesteld. De kwalificatiedossiers worden ontwikkeld door Kenniscentra KC Handel en ECABO in samenwerking met vertegenwoordigers uit het bedrijfsleven en het beroepsonderwijs. De leden van de paritaire commissies van deze Kenniscentra zijn bij het ontwikkelproces van het kwalificatiedossier betrokken. Op basis van bovenstaand wettelijk vastgesteld kader maakt cluster Economie jaarlijks (cohort) per kwalificatie een Onderwijs en Examenregeling (OER) waarin voor de leerlingen wordt vastgelegd wat zij mogen verwachten van de opleiding en waaraan zij moeten voldoen om het diploma te behalen. Om de kwaliteit van de examinering te borgen, werkt cluster Economie met een handboek examinering, waarin de examenprocedures, standaardformulieren e.d. staan beschreven. Alle handelingen die de examinering betreffen, geschieden volgens, in het handboek examinering, vastgestelde procedures. De examencommissie controleert de naleving van deze procedures. Na elke examenprocedure wordt de gehele procesgang geëvalueerd door de betreffende subexamencommissie, aan de hand van het procesverbaal, de behaalde resultaten en de evaluatieformulieren. Waar nodig worden verbeteracties opgesteld en geïmplementeerd. Daarnaast wordt de naleving gecontroleerd middels interne audits. Deze audits worden georganiseerd door de afdeling Finance & Control op initiatief van het College van Bestuur. 12

13 3.1 Beroepenveld Het beroepenveld participeert in de examencommissie. Dit geldt voor alle branches waarin we opleiden. De externe leden van de examencommissie zijn actief in de uitvoering van diverse examineringprocessen. Vertegenwoordigers uit het beroepenveld maken deel uit van de constructiegroepen en vaststellingsgroepen van onze examenleveranciers (ESS, stg. Praktijkleren, ExTh en SVPB). Het beroepenveld wordt op verschillende manieren betrokken bij de examenprocessen. Naast de externe vertegenwoordigers die in de examencommissie participeren, vervullen vertegenwoordigers uit het bedrijfsleven nog andere rollen hierbij. Denk o.a. aan: als examinator op school bij praktijkexamens en proeves van bekwaamheid op de werkvloer in de verschillende commissies (b.v. toetsvaststelling) van landelijke examenleveranciers ESS, Stg. Praktijkleren en SVPB als observator bij schoolexamens als kwaliteitsbeoordelaar van ingekochte examens Meerdere keren per jaar zijn er klankbordbijeenkomsten waarbij de instelling, per opleidingsrichting, overlegt met vertegenwoordigers van het beroepenveld. Tijdens de klankbordbijeenkomsten komt zowel opleiden als examineren aan bod. We voeren tevredenheidsonderzoeken uit onder het beroepenveld. Deze tevredenheidsonderzoeken zijn voor alle kwalificaties van toepassing. Praktijkbeoordelaars worden geschoold in het beoordelen van het praktische deel van de examens. Deze scholing wordt verzorgd door de Kenniscentra. Voor de opleiding Beveiligers is er een nauwe samenwerking met een erkend beveiligingsbedrijf en er is voor deze opleiding een stuurgroep. 13

14 3.2 Scholing Met betrekking tot scholing van personeel en andere betrokkenen is de persoonlijke ontwikkeling/zelfontplooiing van die personen het uitgangspunt. Er worden daarbij scholingen op vrijwillige basis en verplichte scholingen georganiseerd. Indien blijkt dat de vrijwillige scholingen niet het gewenste resultaat tot gevolg hebben, krijgt de scholing een verplichtend karakter. Een aantal jaren geleden is de deskundigheid van het personeel m.b.t. tot examineringszaken gemeten. Daarnaast zijn ook de scholingswensen van de personeelsleden geïnventariseerd. Op grond van deze twee gegevens is een scholingstraject opgezet. Op basis van bovenstaande gegevens zijn scholingstrajecten georganiseerd. Specifiek voor examinering zijn ook meerdere scholingstrajecten uitgevoerd. Deze scholing was zowel gericht op de interne betrokkenen bij de examinering als op de externe betrokkenen (dus examinatoren en assessoren uit het bedrijfsleven). Een aantal voorbeelden hiervan zijn: Scholing wie Training examenprojecten en Pvb s, Docenten verzorgt door Marijke Kanters Taalassessor Conferentie over instellingsexamens Nederlands en moderne vreemde talen in het mbo met als thema 'Regels en ruimte' Beoordelingsportfolio en toetsplan L(L)B Leernetwerkbijeenkomsten voor Engels Leernetwerkbijeenkomsten voor Nederlands Leernetwerkbijeenkomsten voor rekenen Studiedag steunpunt Taal en Rekenen Docentendagen SPL, thema: beoordelen in de BPV Conferentie over maken van examenprofielen (ESS) Dag voor vaststellers en auteurs van examens (ESS) Bijeenkomsten over nieuwe kwalificatiedossiers en examinering hiervan (SPL) 2-Daagse BTG-Handel Studiedag examenprojecten en proeven van bekwaamheid door SPL inhouse Assessorentraining bedrijven Voorlichting stagebedrijven omtrent PVB Congres examinering (examencommissies) Training voor vaststellers van examens van leverancier ESS 2 docenten Nederlands Docenten Engels recent via leernetwerk: taalassessor Engels 3 docenten Vakgroep L(L)B Docenten Engels Docenten Nederlands Docenten rekenen 3 docenten 3 docenten M. Stroo M. Stroo M. Theesing en M. Dieleman A. Pot en M. Dieleman 8 docenten teams Financieel en Juridisch Leerbedrijven ECABO Stagebedrijven Financieel en Juridisch M. Dieleman, R. Boelens, E. Kerckhaert, M. Stroo Vaststellers team commercieel 14

15 3.3 Werkgroepen, commissies e.d. Om op de hoogte te blijven van alle landelijke, regionale en instituuts ontwikkelingen, participeerden diverse collega s in werkgroepen, commissies e.d., waar examineren op de agenda stond. Werkgroep/commissie Btg-overleg, incl. regionaal overleg Scalda netwerk examinering SPL praktijklerenconsulenten SPL themabijeenkomsten examencommissies Landelijke werkgroep examinering handelsopleidingen (Btg-handel) Gebruikersbijeenkomsten examens ESS KC Handel Regiobijeenkomsten SPL Overleg en brainstormsessies Centrale examinering taal en rekenen (Scalda) Kenniskringen van de ECABO opleidingen wie Teamleiders M. Stroo M. Theesing M. Dieleman-de Jong M. Stroo M. Stroo M. Stroo Diverse docenten M. Stroo Teamleider + docent 3.4 Studenten Vanaf het begin van de opleiding wordt met studenten gecommuniceerd over toetsing en examinering. Studenten krijgen een studiewijzer/-gids, waar alle voortgangstoetsen en examens in staan. Belangrijke zaken worden in n@tschool (elektronische leeromgeving) geplaatst, zodat studenten ze te allen tijde en vanaf elke plaats kunnen inzien of raadplegen. Zo ook de examenplanningen. Het onderwijs draait om de student. Tevredenheid wordt voor een groot deel bereikt door helder te communiceren, transparant te zijn en vooral te doen wat men zegt. Op het gebied van examinering spant cluster Economie zich in om deze zaken zoveel mogelijk waar te maken. Of de studenten ook werkelijk tevreden zijn over de examinering wordt op verschillende manieren gemeten. Naast de algemene tevredenheidsmeting, de z.g. JOB enquête, worden specifieke op het afgenomen examen toegespitste enquêtes afgenomen. En er worden gesprekken met studenten gevoerd. 15

16 Hieronder staat de studententevredenheid volgens de in het afgelopen jaar afgenomen tevredenheidsenquête (steekproef na toetsafname). Toetsvoorbereiding Toetsafname De toets zelf voldoende 58% onvoldoende 42% voldoende 83% onvoldoende 17% voldoende 67% onvoldoende 33% toetsvoorbereiding procentscore per beheersingsniveau 21% 37% 25% 17% toetsafname procentscores per beheersingsniveau 47% 36% 5% 12% niet onvoldoende voldoende goed niet onvoldoende voldoende goed de toets zelf procentscores per beheersingsniveau 29% 38% 15% 18% niet onvoldoende voldoende goed 16

17 3.5 Exameninstrumentarium Cluster Economie koopt de examens in bij onderstaande leveranciers: Stichting Praktijkleren voor alle administratieve en uniformberoepen opleidingen ESS (KC Handel) voor commerciële opleidingen SVPB voor de opleidingen in de beveiligingsbranche ExTh voor de opleiding Toezicht en Veiligheid TOA (Bureau ICE) voor taal- en rekentoetsen Deviant voor rekentoetsen De Vries Taaltrainingen voor taaltoetsen Kwaliteitscontrole examenbanken De kwaliteit van de examenbanken wordt op verschillende manieren bewaakt en bijgestuurd. Elk examen is vooraf en na afname geëvalueerd. Indien de evaluatie vooraf tijdig wordt teruggestuurd aan de examenbanken garanderen ze dat de evt. geconstateerde problemen worden bijgesteld voor afname. De evaluatie na afname is vooral van belang i.v.m. de toetsanalyse. Het gebruikersoverleg van leverancier ESS is bezocht. Hier was volop aandacht voor de wensen van de gebruikers m.b.t. de examenproducten en de procedures die hiermee samenhangen. Ook wordt dit overleg gebruikt om de verschillende gebruikers (scholen) kennis te laten nemen van de wijze waarop collega-scholen omgaan met de examenproducten. De contracten en de samenwerking zijn geëvalueerd met de contactpersonen van de leveranciers o ESS (gesprek met contactpersoon) o SPL (panelgesprek) Buiten de gestructureerde evaluaties was er contact tussen examenverantwoordelijke van Cluster Economie en de examenleveranciers, zowel per telefoon, als brief. Vragen, problemen e.d. werden op deze wijze op korte termijn opgelost. De onderwijskundig medewerker examinering van Cluster Economie is lid van een vaststellingscommissie van ESS (KC Handel). Mw. M. Theesing is praktijklerenconsulent voor Scalda, bij Stichting Praktijkleren. 17

18 4. AUDITS EN TOEZICHT 4.1 Interne audit bij Cluster Economie In het kader van de auditsystematiek vindt elk jaar een risico-inventarisatie plaats. Deze risico-inventarisatie is bedoeld als instrument waarmee het College van Bestuur een weloverwogen keuze kan maken over welk onderwijscluster het meest is gebaat bij een geïntegreerde interne audit. Er wordt bij de controle-items een norm gehanteerd die op verschillende onderliggers gebaseerd kan zijn. De volgende categorieen, die te maken hebben met examinering, zijn te onderscheiden: - Norm via uitkomsten op vragen uit de JOB-enquete - Norm via bevindingen uit controle van IC in het kader van de bekostiging (dossierstukken) en 850/300 uurscontrole - Norm via meest recente jaarresultaat en diplomaresultaat In 2014 is er geen interne audit geweest voor examinering. 4.2 Gesprek met bureau ICE Scalda heeft de ambitie om de examinering goed op orde te krijgen. De eerste ambitie was om het centrale beleid en de daarbij behorende documenten extern te laten valideren. De kaders zijn centraal bepaald. Voor een deel is het ook aan de clusters het beleid ten aanzien van examinering vorm te geven. Op basis van deze visie zijn nieuwe documenten vastgesteld. Het is aan de clusters om de aangegeven ruimte voor cluster specifieke invulling c.q. inkleuring van het beleid ten aanzien van examinering vorm te geven en te borgen zodat toezicht op de kwaliteit van examinering conform het beleid van Scalda mogelijk kan worden. Bureau ICE heeft een analyse gemaakt, die het karakter had van een 0-meting op basis waarvan plannen van aanpak voor de toekomstige borging van de kwaliteit van examinering per cluster opgesteld kunnen worden. Als tweede projectfase heeft Bureau ICE de clusters van Scalda bezocht. Per cluster zijn er interviews afgenomen bij verschillende betrokkenen bij examinering. Middels de interviews per cluster is geïnventariseerd of en in hoeverre de decentraal te regelen en uit te voeren taken zijn beschreven, belegd zijn en worden uitgevoerd. Aanvullend zijn steekproefsgewijs enkele relevante documenten als een examenplan en formats, e.d. bekeken. Tevens is per cluster de deskundigheid van de betrokken examenfunctionarissen besproken. Dit om een beeld te krijgen van de benodigde deskundigheidsbevordering. Cluster Economie is in februari 2014 geïnterviewd door Bureau ICE. Zij hebben gekeken naar ons examenproces en zijn in overleg met ons gekomen tot een verbeterplan met daarin de volgende punten: - jaarlijks vaststellen van ingekochte examens - vaststellingscommissie benoemen en zorgen dat vaststellers deskundig zijn - duidelijk in de OER beschrijven, wat het karakter van de BPV is - borging van de kwaliteit van de instellingsexamens 18

19 - het proces van de kwaliteitsborging formaliseren met daarin een actieve rol van de examencommissie. En de borging van de kwaliteit van de (ingekochte) examenproducten formaliseren - de kwaliteit van de afnamen en de examineringlocaties borgen - de borging van de deskundigheid van de bedrijven formaliseren - de borging van de kwaliteit van de (praktijk)beoordelingen formaliseren - de borging van de deskundigheid van de interne betrokkenen binnen de pdca-cyclus formaliseren. - een heldere en strakke vastgelegde scheiding tussen onderwijs en examinering. - De borging van de uitvoering van de taken door betrokkenen met meerdere rollen binnen het examineringsproces formaliseren. - De examencommissie moet zich van de uitvoering van de gedelegeerde taak door de sub examencommissie vergewissen 4.3 Toezicht Inspectie van het Onderwijs De Inspectie van het Onderwijs houdt toezicht op de kwaliteit van opleidingen in het middelbaar beroepsonderwijs. Dit toezicht is risicogericht. Dat wil zeggen: scholen met risico's, zoals minder goede leerresultaten, krijgen meer toezicht. Elk jaar kijkt de inspectie of er risico s zijn in de kwaliteit van het onderwijs en op het gebied van financiën. Eens per drie jaar onderzoeken ze de staat van de instelling bij elke onderwijsinstelling. De Inspectie voor het Onderwijs heeft een audit voor examinering uitgevoerd bij Cluster Economie in maart 2014, op basis van het Toezichtkader bve Dit onderzoek is uitgevoerd bij opleidingen: - Medewerker marketing en communicatie (Marketingmedewerker), 90532, niveau 4, locatie Podium 15 in Middelburg - Juridisch medewerker zakelijke dienstverlening, 94891, niveau 4, locatie Podium 15 in Middelburg Voor de opleiding Marketingmedewerker kwam de Inspectie tot de volgende conclusie voor het gebied Examinering en diplomering: De Inspectie was niet tevreden over de afname en beoordeling van examens en over de diplomering. Het exameninstrumentarium sloot aan bij de uitstroomeisen, maar de exameninstrumenten voor Nederlands en Engels voldeden niet helemaal aan de uitstroomeisen en de toetstechnische eisen. Het onvoldoende oordeel voor de exameninstrumenten voor talen telde in schooljaar nog niet mee voor onze eindbeoordeling van de exameninstrumenten. De Inspectie vond dat de afname en beoordeling van de proeves niet helemaal volgens de richtlijnen van de leverancier was verlopen. De proeves die in het leerbedrijf zijn afgenomen, zijn beoordeeld door de praktijkopleider, maar er werd niet altijd een tweede beoordelaar ingezet. Daarnaast ontbrak de verantwoording bij de beoordeling. Er werd in schooljaar niet nagegaan of de beoordeling van de proeves betrouwbaar was. Het team heeft dit ook gesignaleerd en heeft verbetermaatregelen getroffen om ervoor te zorgen dat de examenprocessen van 19

20 afname en beoordeling in schooljaar in overeenstemming waren met de voorschriften van het ingekochte instrument. De examencommissie heeft gediplomeerd op basis van voldoende examenresultaten, maar heeft te weinig controles uitgevoerd en bovenstaande omissies niet gesignaleerd. De opbrengsten zijn met een jaarresultaat van 73,1 procent en een diplomaresultaat van 72,0 procent voldoende. Voor de opleiding Juridisch medewerker zakelijke dienstverlening kwam de Inspectie tot de volgende conclusie voor het gebied Examinering en diplomering: De Inspectie was niet tevreden over de kwaliteit van examinering en diplomering, omdat bij alle standaarden tekortkomingen zijn geconstateerd. Het exameninstrumentarium voldoet niet, omdat de dekking van het kwalificatiedossier onvoldoende is. De opleiding maakte gebruik van ingekochte (kader)examens voor de beroepsgerichte onderdelen. Deze kaders zijn eerder door de inspectie bij de betreffende examenleverancier goedgekeurd. De Inspectie vond dat de examenopdrachten, die per student/leerbedrijf bepaald werden niet altijd valide waren. Ze waren niet vooraf als passend beoordeeld en bekrachtigd door de examencommissie. Voor wat betreft de Nederlandse taal (instellingsexamens) en rekenen was er sprake van inkoop van het exameninstrumentarium bij een door de inspectie goedgekeurde examenleverancier. Deze waren voldoende. Voor wat betreft de examinering van Loopbaan & Burgerschap is vastgesteld dat in voldoende mate het onderwijsplan en de examinering werden uitgevoerd. De Inspectie vond dat de afname en beoordeling van de proeves niet helemaal was verlopen volgens de richtlijnen van de leverancier. De proeves die in het leerbedrijf zijn afgenomen, zijn beoordeeld door de praktijkopleider, maar er werd niet altijd een tweede beoordelaar ingezet. Daarnaast ontbrak de verantwoording bij de beoordeling. Er werd in schooljaar niet nagegaan of de beoordeling van de proeves betrouwbaar was. De examencommissie heeft gediplomeerd op basis van 20

21 voldoende examenresultaten, maar heeft te weinig controles uitgevoerd en bovenstaande omissies niet gesignaleerd. De opbrengsten zijn met een jaarresultaat van 72,7 procent en een diplomaresultaat van 72,7 procent voldoende. 5 VERBETERACTIES De examencommissie heeft een verbeterplan gemaakt n.a.v. de opmerkingen, die door de Inspectie, bureau ICE en intern gemaakt zijn. Deze zijn opgenomen in het overzicht op de volgende bladzijden. 21

22 22

23 23

24 6. TOT SLOT De weg die is ingezet om met behulp van het kwaliteitssysteem (plan, do, check, act) de kwaliteit constant te verbeteren heeft zijn vruchten afgeworpen. Veel verbeteringen zijn ondertussen doorgevoerd waardoor het examenproces en de examenproducten zijn verbeterd. Dit betekent niet dat het cluster nu tevreden achterover kan leunen. We moeten alert blijven en de nieuwe uitdagingen tegemoet treden, teneinde ook in de toekomst goed en degelijk te examineren. In het kader van transparantie en openbaarheid wordt dit jaarverslag op de website van Scalda gepubliceerd onder Cluster Economie, clusterinformatie, examinering. 24