Onderzoek naar ervaringen met ingekochte examens in het mbo

Transcriptie

1 Onderzoek naar ervaringen met ingekochte examens in het mbo

2 Colofon Titel : Onderzoek naar ervaringen met ingekochte examens in het mbo - conceptversie Auteur : Karin van der Burgt (vanderburgt advies en samenwerking) In opdracht van : Servicepunt examinering mbo Houttuinlaan 6 Postbus DB Woerden T: E: examineringmbo@mbodiensten.nl I: Versie : 17 juni

3 Voorwoord Het Servicepunt examinering mbo heeft tot doel scholen te ondersteunen in het verbeteren van de kwaliteit van (beroepsgerichte) examinering. Naast allerlei bijeenkomsten en publicaties hebben wij een helpdeskfunctie en brengen wij verschillende betrokkenen bij examinering met elkaar in contact. Van examenleveranciers en consortia, beleids- en stafmedewerkers examinering en kwaliteitszorg tot docenten en beoordelaars van examens. Met de toenemende aandacht voor exameninstrumenten merkten wij dat scholen zeer divers over ingekochte exameninstrumenten spreken: vol lof maar soms ook kritisch. Vanuit onze makelaarsrol was dit voor ons aanleiding een onafhankelijk onderzoek te starten naar de ervaringen met niet-zelfontwikkelde (en dus ingekochte) examens. Om op die manier het spanningsveld tussen (door leveranciers en consortia ontwikkelde) exameninstrumenten en de (door scholen georganiseerde) afname van examens te verkennen, en daarover met elkaar open in gesprek te gaan. Het Servicepunt examinering mbo bedankt alle respondenten hartelijk voor hun betrokkenheid bij het onderzoek. Daarnaast hopen wij op een open vervolgdiscussie om op die manier gezamenlijk, met examenleveranciers- en consortia en alle betrokkenen op de scholen, de kwaliteit van examinering verder te verbeteren. Na publicatie van de onderzoeksresultaten delen wij de conclusies en aanbevelingen in verschillende gremia en betrekken we deze bij onze activiteiten in studiejaar Marleen van de Wiel projectleider Servicepunt examinering mbo 17 juni

4 Samenvatting, conclusies en aanbevelingen Wat zijn de ervaringen van mbo-scholen en examenleveranciers met ingekochte beroepsgerichte examens in het mbo? Deze vraag stond centraal in een onderzoek dat vanderburgt advies en samenwerking begin 2015 op initiatief van het Servicepunt examinering mbo heeft uitgevoerd. De doelen? Zicht krijgen op ervaringen bij de inkoop/levering en inzet van examens van mbo-scholen en examenleveranciers. En met elkaar op zoek gaan naar oplossingsrichtingen voor ervaren knelpunten. Om dit te achterhalen is gekozen voor een combinatie van een schriftelijke inventarisatie en een verdiepende bijeenkomst met mboscholen en examenleveranciers. Deze aanpak maakte tendensen zichtbaar. Op basis daarvan formuleerde de onderzoeker conclusies en aanbevelingen. Deze vindt u in dit document. De onderzoeksresultaten zijn vooral van indicatieve betekenis en niet per opleidingssector 1 onderscheiden. Conclusies Conclusies inkoop a. Een intern afgestemd inkoopproces versterkt draagvlak en uitvoering. Beleidsmedewerkers examinering en/of kwaliteitszorg die werken bij de centrale stafdienst van een mbo-school zijn vaak niet betrokken bij het besluit tot inkoop. Met als risico dat scholen te weinig meewegen of de in te kopen examens aansluiten bij de onderwijsvisie en de kwaliteitseisen. Het inkoopproces zo inrichten dat alle aspecten worden meegewogen, beperkt dit risico en versterkt het interne draagvlak voor het werken met ingekochte examens. b. Inkoopmogelijkheden vaak noodgedwongen beperkt tot één examenleverancier. Voor een aantal opleidingssectoren heeft slechts één examenleverancier aanbod. Mboscholen hebben dus geen keuze. Zeker als deze ene examenleverancier geen variatie aan exameninstrumenten biedt, en het aanbod niet aansluit bij de visie binnen de school, ervaren mbo-scholen dat als knelpunt. 1 Met (opleidings)sector bedoelen we Techniek, Zorg & Welzijn et cetera; in mbo-scholen ook wel afdeling genoemd. 4

5 Conclusies kwaliteit c. Mbo-scholen zijn tevreden over de kwaliteit van ingekochte examens. De mate hangt af van rol en taken in het examenproces. Binnen mbo-scholen is men op sectorniveau vaker en meer tevreden over de kwaliteit van ingekochte examens dan op centraal niveau. Verklaring: ze beoordelen de kwaliteit vanuit verschillende invalshoeken; op sectorniveau vooral vanuit uitvoerbaarheid in school en beroepspraktijk, op centraal niveau vooral vanuit visie en geldende kwaliteitseisen. d. Mbo-scholen vinden dat de ingekochte examens voldoen aan de standaarden voor examenkwaliteit in het mbo. Ondanks dat controleren zij deze kwaliteit zelf opnieuw. Een ruime meerderheid van de respondenten uit mbo-scholen vindt dat de ingekochte examens voldoen aan de standaarden voor examenkwaliteit in het mbo. Tegelijkertijd bestaat veel onduidelijkheid over wie nu precies in welke situaties verantwoordelijk is voor deze kwaliteit. Een reden waarom mbo-scholen in de meeste gevallen zelf (nogmaals) vaststellen of de examens aan de standaarden voldoen. Dit kost onnodig (te) veel tijd. Conclusies inzet en uitvoerbaarheid e. Uitvoerders in mbo-scholen hebben voldoende zicht op de werkwijze en het aanbod van examenleveranciers. Op centraal beleidsniveau en bij examenleveranciers is er weinig zicht op de inzet van ingekochte examens. Op sectorniveau zijn respondenten in ruime meerderheid tevreden over de mate waarin zij zicht hebben op de werkwijze en het aanbod van examenleveranciers. Voor zover zij informatie missen, gaat die vooral over de uitvoering en uitvoerbaarheid van de examens, waaronder die in de beroepspraktijk. De meerderheid van de examenleveranciers heeft weinig zicht op hoe scholen ingekochte examens inzetten. Hetzelfde geldt op centraal niveau in mbo-scholen als het gaat om de inzet van de examens in opleidingssectoren. f. Ingekochte examens zijn voldoende uitvoerbaar. De tevredenheid neemt toe als de uitvoerbaarheid in de beroepspraktijk en van de beoordeling verbetert. De meeste respondenten vanuit de opleidingssectoren vinden de uitvoerbaarheid van de afname en de beoordeling van ingekochte examens voldoende. Veel genoemde verbeterpunten: de uitvoerbaarheid in de beroepspraktijk, de beoordelingssystematiek en de rol en deskundigheid van beoordelaars. 5

6 g. Meer variatie in exameninstrumenten, goede communicatie en snelle actie na geconstateerde fouten voorkomen dat mbo-scholen examens wijzigen. De helft van de mbo-scholen geeft aan dat hun school/sector examens wijzigt. Examenleveranciers hebben daar niet altijd zicht op. Zij veronderstellen dat mbo-scholen vooral wijzigen vanwege een andere voorkeur of visie, terwijl mbo-scholen zelf relatief vaak ook gemis aan variatie en geconstateerde fouten als redenen noemen. Ook het niet (tijdig) aanpassen van fouten in examens voor eerdere cohorten leidt er toe dat mboscholen ingekochte examens wijzigen. Conclusie communicatie en afstemming h. Het eerder en vaker delen van knelpunten, wensen en expertise verbetert de kwaliteit en uitvoerbaarheid van ingekochte examens Scholen stellen zich richting examenleveranciers eerder afhankelijk op dan assertief. Bij examenleveranciers geldt het omgekeerde. Zo zijn examenleveranciers soms geneigd aanvullende dienstverlening aan te bieden zonder eerst met scholen verkend te hebben of de oplossing te vinden is in een betere afstemming van en communicatie over het exameninstrumentarium. Examenleveranciers en mbo-scholen communiceren weinig of ongericht met elkaar over ervaren knelpunten en oplossingsrichtingen. Hetzelfde geldt in mbo-scholen tussen centraal en sectorniveau. Examenleveranciers en mbo-scholen hebben zelf ideeën hoe zij de communicatie en afstemming kunnen verbeteren, en zijn bereid hierin te investeren. Aanbevelingen Op grond van de conclusies komt de onderzoeker tot aanbevelingen voor zowel mboscholen, examenleveranciers als ministerie, inspectie en servicepunt. Aanbevelingen voor mbo-scholen Voor degenen die in een mbo-school beslissen over de inkoop van examens: Betrek de expertise van de centrale contactpersonen en de examencommissie(s) bij het inkoopproces zodat uw school een integrale afweging kan maken op basis van kosten, efficiency, kwaliteit en uitvoerbaarheid. Maak u niet (te) afhankelijk van het huidige aanbod aan in te kopen examens; faciliteer en stimuleer de ervarings- en inhoudsdeskundigen in uw organisatie om actief te communiceren met examenleveranciers over kwaliteit, uitvoerbaarheid en variatie of (in een gebruikersgroep) deel te nemen in het constructie- of vaststellingsproces van de leverancier. 6

7 Voor examencommissies en centrale contactpersonen examinering in mbo-scholen: Investeer in interne kennisdeling met en tussen opleidingssectoren en centraal (staf) niveau. Stem af wie centraal aanspreekpunt is voor examenleveranciers en voer intern overleg met experts van zowel centraal niveau als opleidings-/sectorniveau. Benut elkaars expertise. Stimuleer intern dat bij de inkoop voldoende aandacht is voor de kwaliteit en uitvoerbaarheid van examens. Voorkom dubbel werk door met de examenleverancier en andere gebruikers het vaststellingsproces af te stemmen. Voor wie in opleidingssectoren betrokken is bij de inzet van examens: Wissel ervaringen en expertise uit met de examencommissie/centrale contactpersoon binnen uw school en met andere gebruikers. Als de inkoopbevoegdheid op sectorniveau ligt: benut de expertise en het netwerk van de centrale contactpersoon en examencommissie. Bij ontevredenheid over uitvoerbaarheid: geef dit (via of na afstemming met examencommissie of centrale contactpersoon) expliciet en tijdig door aan de examenleverancier. Aanbevelingen voor examenleveranciers Maak expliciet zichtbaar voor scholen dat uw exameninstrumentarium voldoet aan de standaarden voor kwaliteit. Stem de vaststellingsprocedure af met scholen en maak deze inzichtelijk zodat scholen dit zelf niet opnieuw hoeven te doen. Stel niet de eigen visie op examinering centraal, maar stem af met scholen (en hun leerbedrijven) op welke onderdelen variatie en/of bijstelling nodig is om te voorkomen dat scholen massaal gaan wijzigen of niet meer inkopen. Benut het invullen van de interpretatieruimte in de herziene kwalificatiestructuur als een kans om de samenwerking en afstemming met mbo-scholen te versterken bij het ontwikkelen van exameninstrumenten. Vergeet niet bij bijstelling van examens als gevolg van geconstateerde fouten ook de examens voor eerdere cohorten (tijdig) aan te passen en hierover eenduidig te communiceren met scholen. Nodig mbo-scholen actief en regelmatig uit tot het geven van feedback. Niet alleen op de (tekst van) de instrumenten, maar ook op uitvoerbaarheid, communicatie, samenwerking en afstemming. Communiceer tijdig en concreet wat u met feedback gaat doen en wanneer. 7

8 Aanbevelingen voor ministerie van OCW / Inspectie van het Onderwijs Communiceer eenduidig over kwaliteitseisen, wie waarvoor verantwoordelijk is en in welke situaties een mbo-school niet zelf hoeft te controleren of examinering en exameninstrumentarium aan de kwaliteitseisen voldoen. Wijzig eisen en voorwaarden niet (te) vaak. Aanbevelingen voor het Servicepunt examinering mbo Faciliteer de uitwisseling van ervaringen binnen mbo-scholen en tussen mbo-scholen en examenleveranciers, bijvoorbeeld via gebruikersgroepen. Ondersteun mbo-scholen bij het vormgeven van een integraal inkoopproces. Ondersteun de centrale contactpersonen bij het benutten van elkaars expertise en een goede examenorganisatie. Informeer mbo-scholen actief over de formele verantwoordelijkheid voor het vaststellingsproces en adviseer hoe zij hierbij dubbel werk kunnen voorkomen. 8

9 Inhoudsopgave Samenvatting, conclusies en aanbevelingen... 4 Conclusies... 4 Aanbevelingen Inleiding Opzet en verantwoording Doelen Onderzoeksgroep Aanpak Deelnemers aan het onderzoek: omvang en kenmerken Kiezen voor ingekochte examens? Waarop is mening over ingekochte examens gebaseerd? Persoonlijke voorkeur: ingekochte of zelf ontwikkelde examens? Wie beslist over werken met ingekochte examens? Argumenten van mbo-scholen om te kiezen voor ingekochte examens Meerwaarde ingekochte examens volgens examenleveranciers Prijs en leveringsvoorwaarden Deelconclusie Welke examens kopen mbo-scholen in en van hoeveel examenleveranciers? Welke examens worden ingekocht c.q. geleverd? Per sector: van hoeveel examenleveranciers ingekochte examens? Deelconclusie Kwaliteit van ingekochte examens Kwaliteit: tevredenheid algemeen Standaarden voor de examenkwaliteit in het mbo Eisen kwalificatiedossier Deelconclusies Zicht op inzet ingekochte examens Inzagemogelijkheden Informatie over uitvoering examens Zicht op inzet volgens voorschriften examenleverancier Zicht op vaststellingsprocedure Deelconclusies Gebruik versie en wijzigen ingekochte examens Welke versie van ingekochte examens gebruiken mbo-scholen? Wijzigen van ingekochte examens Deelconclusies Uitvoerbaarheid ingekochte examens Uitvoerbaarheid afname Uitvoerbaarheid beoordeling

10 8.3 Deelconclusie Communicatie en implementatie Contacten tussen mbo-scholen en examenleveranciers Communicatie tussen mbo-scholen en examenleveranciers Implementatie Deelconclusie Feedback en evaluatie Mate van feedback en evaluatie Wie neemt initiatief tot feedback of evaluatie? Feedbackonderwerpen Wat doen examenleveranciers met feedback? Tevredenheid over wat examenleveranciers doen met feedback Deelconclusies Standaardisering of variatie en maatwerk? Deelconclusie Bijlagen Bijlage 1 Respondenten enquête Bijlage 2 Indeling opleidingssectoren Bijlage 3 Begeleidende enquêtes Bijlage 4 Vragenlijsten Bijlage 5 Bijeenkomst 27 maart

11 1 Inleiding In dit onderzoeksrapport staan ervaringen centraal van mbo-scholen en examenleveranciers met ingekochte beroepsgerichte examens in het mbo. Het onderzoek is een initiatief van het Servicepunt examinering mbo en is uitgevoerd door vanderburgt advies en samenwerking. Ingekochte examens Met ingekochte examens bedoelen we alle beroepsgerichte exameninstrumenten die een examenleverancier of examenconsortium heeft ontwikkeld en niet een school of opleiding zelf. De wijze waarop de inkoop van de examens is georganiseerd kan verschillen. Zo kunnen exameninstrumenten daadwerkelijk worden ingekocht of kunnen scholen als lid van een consortium of stichting exameninstrumenten krijgen geleverd op basis van een licentie of lidmaatschapovereenkomst. Aanleiding In de visiebrief Ruim baan voor vakmanschap: een toekomstgericht mbo van 2 juni 2014 schrijft minister Bussemaker dat de kwaliteit van examinering omhoog moet. Daarvoor gaat zij scholen verplichten om voor alle opleidingen gebruik te maken van: ingekochte examens bij gecertificeerde examenleveranciers; of externe validering van gezamenlijk of individueel ontwikkelde examens. Dit wordt een wettelijke verplichting per 1 augustus De voorgenomen wetgeving gaat er van uit dat de kwaliteit van examinering verbetert als scholen examens inkopen bij een gecertificeerde examenleverancier. Echter, kwaliteit van examinering is niet alleen afhankelijk van de kwaliteit van de exameninstrumenten zelf of van het proces van examenconstructie, maar wordt door een groot deel bepaald door de wijze waarop mbo-scholen de ingekochte examens (kunnen) inzetten. Welke factoren spelen een rol bij de inkoop en inzet van ingekochte examenproducten? Waar hebben scholen mee te maken, welke zaken knellen, waarover is men juist tevreden, waar mist men informatie? Welke problemen signaleren examenleveranciers wanneer scholen hun ingekochte examens inzetten? Het Servicepunt examinering mbo heeft in het najaar van 2014 tijdens een aantal bijeenkomsten gesproken met zowel zijn klankbordgroepleden (de door de cvb s aangewezen contactpersonen van scholen) en met verschillende examenleveranciers tijdens een gezamenlijk overleg. Hieruit bleek dat scholen meerwaarde zien in het bundelen van expertise over constructie van exameninstrumenten en de inkoop van examens. Tegelijkertijd gaven scholen aan nog veel knelpunten te ervaren bij de inzet van ingekochte examens die het vertrouwen in en een optimale inzet hiervan 11

12 belemmeren. Ook examenleveranciers signaleerden knelpunten wanneer scholen ingekochte examens onjuist inzetten. Om de kwaliteit van examinering met ingekochte exameninstrumenten te optimaliseren, zijn in dit onderzoek ervaringen geïnventariseerd om in beeld te krijgen of en hoe breed de knelpunten worden ervaren. Ervaren knelpunten zijn gespecificeerd en onderbouwd. Bedoeling is dat deze inventarisatie zowel scholen, examenleveranciers als bedrijfstakgroepen helpt meer collectief de kwaliteit en bruikbaarheid van ingekochte examens te monitoren en waar nodig te verbeteren. Het Servicepunt examinering mbo speelt hierbij een ondersteunende en informerende rol. Leeswijzer De samenvatting, conclusies en aanbevelingen staan vooraan in het rapport. Wie meer wil weten over de doelen, opzet, respons en verantwoording van het onderzoek, vindt dat in hoofdstuk 2 en de bijlagen. Hoofdstuk 3 t/m 11 bevatten de uitkomsten van het onderzoek. Deze hoofdstukken sluiten steeds af met een of meer deelconclusies. 12

13 2 Opzet en verantwoording Dit hoofdstuk start met de beschrijving van de onderzoeksdoelen en onderzoeksgroep. Daarna volgen paragrafen over de aanpak van het onderzoek en de respons. 2.1 Doelen De onderzoeker en initiatiefnemer Servicepunt examinering mbo (verder aangeduid als servicepunt ) hebben in overleg de doelen van het onderzoek als volgt geformuleerd: mbo-scholen en examenleveranciers een actueel beeld geven van ervaringen bij de inkoop/levering van examens en de inzet daarvan; grip krijgen op de aard en omvang van wederzijds ervaren knelpunten die een risico kunnen vormen voor de kwaliteit van examens en examinering in het mbo; oplossingsrichtingen vinden voor het (collectief) oplossen van ervaren knelpunten; aanknopingspunten vinden voor verdere monitoring. 2.2 Onderzoeksgroep De onderzoeksgroep bestond uit: Centrale contactpersonen vanuit mbo-scholen van het servicepunt. De colleges van bestuur per mbo-school hebben deze centrale contactpersonen voor examinering aangewezen; veelal zijn het beleidsmedewerkers examinering en/of kwaliteitszorg die werken bij de centrale stafdienst van een mbo-school. Medewerkers van mbo-scholen die in een of meer opleidingssectoren ervaring hebben met de inzet van beroepsgerichte examens. Contactpersonen van examenleveranciers en consortia. 2.3 Aanpak Om de doelen te bereiken is gekozen voor een combinatie van een schriftelijke inventarisatie en verdiepende discussie met betrokken actoren. Hieronder een nadere toelichting op de aanpak Schriftelijke inventarisatie: drie verschillende enquêtes Voor de schriftelijke inventarisatie is gekozen voor online enquêtes. Vanwege de drie onderscheiden groepen in het onderzoek (centrale contactpersonen, vanuit opleidingssectoren en vanuit examenleveranciers) kende de schriftelijke inventarisatie drie enquêtevarianten. De onderzoeker heeft de enquêtevragen ontwikkeld. Concepten zijn voor feedback voorgelegd aan enkele medewerkers van het servicepunt en van examenleveranciers. De vragenlijsten staan in bijlage 4. De enquêtes zijn zodanig ingesteld dat naar eigen inzicht vragen overslaan niet mogelijk was. Wel konden respondenten tussentijds stoppen of, zolang zij de enquête nog niet volledig hadden ingevuld, eerder gegeven antwoorden wijzigen. 13

14 Na het technisch testen heeft het servicepunt de enquêtes op 10 maart 2015 verstuurd. Iedere onderzoeksgroep kreeg een eigen begeleidende met link naar de enquête, uitleg over het onderzoek, de omschrijving van ingekochte examens en de sluitingsdatum. De 65 centrale contactpersonen ontvingen zowel de mail voor hun eigen enquête als een mail voor de opleidingssectoren, met het verzoek de enquête voor de opleidingssectoren intern door te sturen. Voor de examenleveranciers heeft het servicepunt het adressenbestand gebruikt dat examenleveranciers zelf gebruiken voor hun bijeenkomsten. Daaruit zijn dertig personen aangeschreven. Zij werden uitgenodigd de enquête desgewenst (ook) door een collega in te laten vullen. De centrale contactpersonen hebben enkele weken voor verzending van de enquête een vooraankondiging ontvangen. Voor examenleveranciers is tijdens een (reguliere) bijeenkomst een nadere toelichting gegeven op het onderzoek en de enquête. In de introductietekst van de enquêtes stond dat in de bijlage van het rapport een opsomming zou komen van wie meewerkten aan het onderzoek. De uitkomsten van de enquêtes zijn in dit rapport geanonimiseerd verwerkt. Invullen van de enquêtes kon tot en met 20 maart Bijlage 3 bevat de teksten van de begeleidende s, bijlage 2 de gehanteerde indeling in opleidingssectoren Verdiepende bijeenkomst met mbo-scholen en examenleveranciers Na de schriftelijke inventarisatie volgde op vrijdag 27 maart 2015 een bijeenkomst met vertegenwoordigers van mbo-scholen (centrale contactpersonen en vanuit opleidingssectoren) en examenleveranciers. Respondenten uit de drie groepen konden zich via een vraag in de enquête aanmelden voor deze bijeenkomst. Na een presentatie van de uitkomsten van de enquêtes, diepten de deelnemers, aan de hand van richtvragen, deze uitkomsten uit en gingen zij met elkaar op zoek naar oplossingsrichtingen voor ervaren knelpunten. Het ging hierbij om het algemene beeld; dus niet per sector de diepte in. Zie bijlage 5 voor de deelnemers aan de bijeenkomst, het programma en de richtvragen Van knelpunten naar oplossingen De ambitie voor dit onderzoek reikt verder dan inventariseren, analyseren en concluderen. Het gaat ook om het vinden en concretiseren van oplossingsrichtingen die mbo-scholen, examenleveranciers en bedrijfstakgroepen helpen de kwaliteit en 14

15 bruikbaarheid van ingekochte examens te verbeteren, waar nodig en gewenst met ondersteuning van het servicepunt. Daarom volgt op basis van de conclusies en aanbevelingen in dit rapport, op initiatief van het servicepunt, nader overleg met vertegenwoordigers van mbo-scholen en examenleveranciers. Vervolgens ook met andere organisaties die een bijdrage kunnen leveren aan het (collectief) oplossen van ervaren knelpunten. 2.4 Deelnemers aan het onderzoek: omvang en kenmerken De resultaten van de drie afzonderlijke enquêtes zijn, gezien de respons, voornamelijk van indicatieve betekenis en niet per sector te onderscheiden. Hetzelfde geldt voor de resultaten uit de verdiepende bijeenkomst van 27 maart. De volgende subparagrafen gaan dieper in op de respons per enquête en de deelnemers aan de bijeenkomst Respons enquête centrale contactpersonen vanuit mbo-scholen Van de 65 aangeschreven centrale contactpersonen hebben 33 respondenten de enquête geopend. Daarvan vulden 24 respondenten de enquête volledig in; één respondent is gestopt vóór de eerste inhoudelijke vraag en om die reden niet meegenomen in de uitkomsten. Dit betekent een respons van 32 centrale contactpersonen. De respondenten zijn afkomstig van 25 verschillende mbo-scholen. Opvallend is dat van de 65 aangeschreven centrale contactpersonen veertig de enquête niet hebben ingevuld. Bij twee mbo-scholen hebben meerdere personen deze enquête ingevuld (1x vier personen en 1x vijf personen). Uit de enquêteresultaten valt niet op te maken of er een relatie is tussen de non-respons en de mate waarin een mbo-school examens inkoopt en/of de mate waarin de centrale contactpersonen voldoende zicht hebben op ervaringen met ingekochte examens. Wel heeft de onderzoeker enkele telefoontjes ontvangen van centrale contactpersonen die aangaven zelf niet voldoende op de hoogte te zijn om de enquête in te kunnen vullen. Eén van de respondenten vulde aan het eind van de enquête in het moeilijk te hebben gevonden de vragen te beantwoorden en dat deze beter aan de examencommissies op het niveau van de opleidingssectoren hadden kunnen worden gesteld. Uit de respons vanuit de opleidingssectoren blijkt verder dat een aantal centrale contactpersonen de enquête voor de opleidingssectoren heeft doorgestuurd, maar de eigen enquête (voor centrale contactpersonen) niet heeft ingevuld. Acht mbo-scholen vulden alleen de enquête voor de centrale contactpersonen in. De 32 centrale contactpersonen die de enquête invulden, werken allemaal in mboscholen die voor één of meer opleidingssectoren examens inkopen. Zie figuur 1. 15

16 Figuur 1 In welke opleidingssectoren gebruikt uw mbo-school ingekochte examens? n=31 centrale contactpersonen aantal respondenten (n) per sector Bouw, Infra en Beschermingstechnieken, Hout en Meubel 15 Metaal, Elektrotechniek en Installatietechniek 13 Procestechniek, AOT, Milieutechniek en Laboratoriumtechniek 5 Motorvoertuigen-, Carrosserie- en Tweewielertechniek, Transport en Logistiek Zorg & Welzijn Sport 13 Uiterlijke verzorging 8 Handel 21 Communicatie, Media, Reclame en Presentatie 6 Horeca, Toerisme en Recreatie, Voeding en Facilitaire Dienstverlening 16 Groen 4 Zakelijke dienstverlening, Veiligheid en ICT 18 Gezondheidstechnische beroepen en Ambachten 3 Figuur 2 maakt zichtbaar welke functies de respondenten hebben. De meerderheid vervult een beleidsmatige functie, ook als we de open antwoorden op anders meenemen. 16

17 Figuur 2 Wat is uw functie? n=32 centrale contactpersonen 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0% directeur/ manager (sector/ opleiding/ afdeling/unit) (senior)docent teamleider/ opleidingscoördinator beleidsmedewerker Anders, namelijk: Hier zijn voor een deel rol of taak in het examenproces ingevuld: examensecretaris (4x) en hoofd examinering (1x). Andere functies: docent (1x), leertrajectvoorzitter en docent (1x). anders, namelijk: % 3,1% 3,1% 12,5% 59,4% 21,9% Als het gaat om de rol die centrale contactpersonen vervullen in het examenproces valt op dat geen van de respondenten de rol van inkoper heeft en dat bijna een kwart van de contactpersonen (22%) zelf geen rol/taak vervult in het examenproces (figuur 3). 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0% Figuur 3 Wat is uw rol of taak in het examenproces? (meerdere antwoorden mogelijk) n=32 centrale contactpersonen lid of voorzitter (centrale of decentrale) examencommissie examenconstructeur examenvaststeller examinator/ beoordelaar/ assessor medewerker examenbureau / examensecretariaat (centraal) inkoper geen rol/ taak in het examenproces % 62,5% 9,4% 21,9% 12,5% 18,8% 0,0% 21,9% 17

18 2.4.2 Respons enquête voor opleidingssectoren 91 personen openden de enquête voor opleidingssectoren. 73 daarvan vulden de enquête volledig in. Alle opleidingssectoren zijn vertegenwoordigd, met als bandbreedte tussen de één en negentien respondenten (figuur 4). Figuur 4 In welke opleidingssector bent u (het meest) betrokken bij de inzet van ingekochte examens? n=89 vanuit opleidingssectoren aantal respondenten (n) per sector Bouw, Infra en Beschermingstechnieken, Hout en Meubel 13 Metaal, Elektrotechniek en Installatietechniek 9 Procestechniek, AOT, Milieutechniek en Laboratoriumtechniek Motorvoertuigen-, Carrosserie- en Tweewielertechniek, Transport en Logistiek 3 6 Zorg & Welzijn 19 Sport 8 Uiterlijke verzorging 4 Handel 14 Communicatie, Media, Reclame en Presentatie 2 Horeca, Toerisme en Recreatie, Voeding en Facilitaire Dienstverlening 19 Groen 5 Zakelijke dienstverlening, Veiligheid en ICT 11 Gezondheidstechnische beroepen en Ambachten 1 In geen van bovenstaande sectoren 2 De respondenten zijn afkomstig van dertig verschillende mbo-scholen (twee respondenten vulden geen schoolnaam in). Zeventien daarvan zijn scholen van waaruit ook respons is ontvangen op de enquête voor centrale contactpersonen. Het aantal respondenten vanuit opleidingssectoren varieert sterk per mbo-school: 12x één respondent, 5x twee respondenten, 5x drie respondenten, 2x vier respondenten, 1x vijf respondenten, 1x zes respondenten, 2x negen respondenten en 1x elf respondenten. Dit betekent dat bijna een kwart van de uitkomsten is bepaald door respondenten uit twee mbo-scholen. 18

19 94% van de respondenten is zelf betrokken bij de inzet van ingekochte examens bij een of meer opleidingen binnen een opleidingssector. De overige 6% is na het invullen van deze vraag doorgeleid naar het einde van de enquête. Zeven respondenten hebben de enquête ook nog voor een tweede opleidingssector ingevuld. Bij de vraag naar de eigen functie koos 28,6% van de respondenten voor de antwoordcategorie anders, namelijk en vulde daar voornamelijk de eigen rol binnen het examenproces in plaats van de (formele) functie. Dit kan ertoe hebben geleid dat figuur 5 een wat vertekend beeld geeft. 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0% 0,0% directeur/ manager (sector/ opleiding/ afdeling/unit) Figuur 5 Wat is uw functie? n=91 vanuit opleidingssectoren (senior)docent Anders, namelijk: hier zijn vooral rollen/taken in het examenproces genoemd, zoals secretaris examencommissie (7x) en adviseur/medewerker of hoofd examinering (3x). Overige genoemde functies: docent bpv (1x), onderwijskundige (1), kwaliteitsmedewerker (1). teamleider/ opleidingscoördinator beleidsmedewerker anders, namelijk: % 18,7% 12,1% 28,6% 12,1% 28,6% Als het gaat om de rol/taak in het examenproces is bijna 70% van de respondenten vanuit de opleidingssectoren lid of voorzitter van een examencommissie. Zie figuur 6. Opvallend is dat enkele respondenten aangeven geen rol/taak te hebben in het examenproces, aangezien zij eerder in de enquête invulden wel betrokken te zijn bij de inzet van ingekochte examens. 19

20 80,0% 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0% Figuur 6 Wat is uw rol of taak in het examenproces? (meerdere antwoorden mogelijk) n=89 vanuit opleidingssectoren examinator/ beoordelaar/ assessor lid of voorzitter (centrale of decentrale) examencommissie examenconstructeur examenvast-steller medewerker examenbureau / examensecretariaat (centraal) inkoper geen rol/ taak in het examenproces % 69,7% 12,4% 32,6% 37,1% 28,1% 2,2% 4,5% Respons enquête voor examenleveranciers Vanuit het servicepunt is de enquête voor examenleveranciers naar dertig personen gestuurd, afkomstig van 24 verschillende examenleveranciers. Zestien personen openden de enquête, waarvan vijftien personen de enquête volledig invulden. Samen vertegenwoordigen zij op drie na alle opleidingssectoren (figuur 7). 20

21 Figuur 7 In welke mbo opleidingssector(en) is uw organisatie examenleverancier? (meerdere antwoorden mogelijk) n=16 vanuit examenleveranciers responsaantal (n) per sector Bouw, Infra en Beschermingstechnieken, Hout en Meubel Metaal, Elektrotechniek en Installatietechniek 2 2 Procestechniek, AOT, Milieutechniek en Laboratoriumtechniek Motorvoertuigen-, Carrosserie- en Tweewielertechniek, Transport en Logistiek Zorg & Welzijn Sport 1 Uiterlijke verzorging 0 Handel 2 Communicatie, Media, Reclame en Presentatie 1 Horeca, Toerisme en Recreatie, Voeding en Facilitaire Dienstverlening 3 Groen Zakelijke dienstverlening, Veiligheid en ICT 2 2 Gezondheidstechnische beroepen en Ambachten 0 Anders, namelijk 2 Anders: sector Schoonmaak en Glazenwassen, sector Ambor (1x), Combi dossier dienstverlening (1x). De zestien respondenten zijn afkomstig van twaalf verschillende examenleveranciers. Dit betekent dat ongeveer de helft van de aangeschreven examenleveranciers is vertegenwoordigd in de enquêteresultaten. De respondenten vanuit de examenleveranciers hebben in meerderheid een leidinggevende/coördinerende functie (figuur 8). 21

22 40,0% 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0% 0,0% directeur (team) manager Figuur 8 Wat is uw functie? n=16 vanuit examenleveranciers Anders, namelijk: interim-manager (2x), senior adviseur examinering (1x), coördinator examenproducten (1x), projectleider (1x), examendeskundige en projectleider (1x). accountmanager examenconstructeur onderwijskundige / toetsdeskundige beleidsmedewerker anders, namelijk: % 6,3% 37,5% 0,0% 0,0% 6,3% 12,5% 37,5% Deelname verdiepende bijeenkomst Via de enquêtes hebben 25 respondenten zich aangemeld voor de verdiepende bijeenkomst op 27 maart; tien centrale contactpersonen, acht vanuit opleidingssectoren en zeven vanuit examenleveranciers. Tussen aanmelding via de enquête en de bijeenkomst op 27 maart zijn vanuit de mboscholen meerdere afmeldingen ontvangen. Uiteindelijk kende de bijeenkomst zestien deelnemers (vijf centrale contactpersonen, vier vanuit opleidingssectoren en zeven vanuit examenleveranciers). Bijlage 5a bevat de deelnemerslijst. 22

23 3 Kiezen voor ingekochte examens? In dit hoofdstuk komt aan bod waarop de respondenten vanuit de mbo-scholen hun mening over ingekochte examens baseren en of zij persoonlijk de voorkeur geven aan ingekochte examens of aan zelf ontwikkelde examens. Daarna volgen de argumenten van mbo-scholen en examenleveranciers om te kiezen voor ingekochte examens. 3.1 Waarop is mening over ingekochte examens gebaseerd? Aan de centrale contactpersonen en de respondenten vanuit opleidingssectoren is gevraagd waarop zij hun mening over ingekochte examens baseren. Figuur 9 maakt zichtbaar dat de meeste respondenten zich baseren op eigen ervaringen en ervaringen van collega s. Figuur 9 Waarop baseert u uw mening over ingekochte examens? (meerdere antwoorden mogelijk) vanuit opleidingssectoren (n=82) centrale contactpersonen (n=31) op mijn eigen ervaring 76,8% 71,0% op ervaringen van collega's 67,1% 83,9% op ervaringen van andere mbo-scholen op keurmerk examenleveranciers op inspectierapporten anders, namelijk: 9,8% 6,5% 16,1% 30,5% 29,3% 25,8% 40,2% 32,3% Anders, namelijk: Centrale contactpersonen: was lid van inkooponderzoekscommissie (1x) geen aanvulling (1x) Vanuit opleidingssectoren: bijeenkomsten van examenleveranciers (2x), uitslagen en feedback studenten (1x), eigen achtergrond (1x), waarom men voor- of tegenstander is van ingekochte examens (4x). 3.2 Persoonlijke voorkeur: ingekochte of zelf ontwikkelde examens? Uit figuur 10 blijkt dat 43,8% van de centrale personen de voorkeur geeft aan zelf ontwikkelde examens. Dit percentage is aanzienlijk hoger dan bij de respondenten vanuit de opleidingssectoren (12,0%). Wanneer men wel voorkeur geeft aan inkoop van examens, geeft men vaker de voorkeur aan theorie- en uitgewerkte examens dan aan kaderexamens. 23

24 Figuur 10 In het algemeen: hebben ingekochte examens uw voorkeur boven zelf ontwikkelde examens? (meerdere antwoorden mogelijk) centrale contactpersonen (n=32) vanuit opleidingssectoren (n=83) 67,5% 65,1% 50,0% 43,4% 53,1% 43,8% 31,3% 12,0% 3,1% 1,2% ja, theorie-examens ja, praktijkexamens (kaderexamens) ja, praktijkexamens (met uitgewerkte opdracht) nee weet niet In de enquête konden respondenten (extra) knelpunten en suggesties onder de aandacht brengen of toelichten. Vanuit de opleidingssectoren kwam een aantal respondenten met een toelichting die verband houdt met het al of niet voorstander zijn van ingekochte examens: Ingekochte examens zijn niet per se beter dan zelf ontwikkelde examens. Er wordt ten onrechte door scholen (en overheid) een kwaliteitslabel aangehangen. We zijn in het verleden al herhaaldelijk teleurgesteld in de kwaliteit van ingekochte toetsen. Zelfontwikkelde examens zijn in de laatste jaren al regelmatig onderwerp van onderzoek geweest door de Onderwijsinspectie en nog nimmer afgekeurd. Iemand met verstand van zaken moet examens ontwikkelen. Waarom zou die kwaliteit extern wel aanwezig zijn en intern niet? Externe toetsconstructeurs zijn bovendien vaak docenten van andere scholen (dus ook interne medewerkers, maar dan van een andere organisatie), die zelf ook vaak tot inkoop overgaan, omdat dat meer garantie op kwaliteit zou geven? Een algemene tendens is ook dat er meer van wordt gemaakt dan het feitelijk is. De constructie van een goede proeve van bekwaamheid is helemaal niet zo moeilijk. Bij het maken van de keuze voor inkoop en leverancier onderzoeken we de vraag welke producten bij ons model passen. We zijn voor een aantal onderdelen nog met dit proces bezig. 3.3 Wie beslist over werken met ingekochte examens? Deze vraag is alleen gesteld aan de centrale contactpersonen. 31% noemt de examencommissie als beslisser over het al of niet werken met ingekochte examens. Zie figuur 11. Bij de eerdere enquêtevraag over de eigen rol/taak in het examenproces 24

25 (figuur 3) gaf 62,5% van de centrale contactpersonen aan zelf lid of voorzitter te zijn van een examencommissie. 40,0% 35,0% 30,0% 25,0% 20,0% 15,0% 10,0% 5,0% 0,0% college van bestuur Figuur 11 Wie beslist binnen uw mbo-school over het al of niet werken met ingekochte examens? directeur/ manager (sector/ opleiding/ afdeling/unit) n=32 centrale contactpersonen teamleider/ opleidingscoördin ator (centrale of decentrale) examencommissie anders, namelijk: % 6,3% 37,5% 6,3% 31,3% 18,8% Anders: docententeam (2x), divers/varieert (2x) directie (1x) opleidingsmanagers van domeinen (1x). 3.4 Argumenten van mbo-scholen om te kiezen voor ingekochte examens Figuur 12 laat zien wat de argumenten zijn van mbo-scholen (centraal en decentraal) om te kiezen voor ingekochte examens. 7,1% van de respondenten vanuit opleidingssectoren vulde in dit niet te weten. Deze antwoordoptie weet niet werd door geen van de centrale contactpersonen gekozen. 25

26 Figuur 12 Waarom heeft uw mbo-school/sector (voor één of meer opleidingen) gekozen voor ingekochte examens? (meerdere antwoorden mogeijk) vanuit opleidingssectoren (n=85) centrale contactpersonen (n=31) de reden varieert per opleidingssector vanwege gebrek aan deskundigheid om examens te ontwikkelen vanwege gebrek aan tijd om zelf examens te ontwikkelen vanwege de prijs ( zelf ontwikkelen te duur ) vanwege de kwaliteit van de exameninstrumenten omdat Inspectie de ingekochte examens al heeft goedgekeurd omdat dit aansluit bij onze visie anders, namelijk: 45,2% 24,7% 29,0% 47,1% 54,8% 35,3% 25,8% 54,1% 32,3% 45,9% 58,1% 31,8% 32,3% 17,6% 16,1% Anders, namelijk: Centrale contactpersonen: Uitsluitend inkoop met onderliggend contract. Moet per als deze een keurmerk hebben. Externe validering is belangrijkste reden: garantie voor (verbetering) examenkwaliteit. Tegenwoordig maken we zelf veel examens omdat we niet tevreden zijn met aantal ingekochte examens Centraal alleen afspraken over de generieke onderdelen van instellingsexamens. Bepalend was een uniforme en methode onafhankelijke examinering. De proeves worden beschikbaar gesteld. Vanuit opleidingssectoren: Beleid van roc. (2x) Bij sommige examenleveranciers is samenwerking met andere roc s mogelijk Wens van de minister. Uniformiteit in het land. Convenantafspraak in de regio tussen roc s en werkveld. Omdat je mag verwachten dat ingekochte examens op alle fronten goed zijn. Samenwerking met examenleverancier. Omdat de branche vindt dat dat de beste producten zijn, zelf ben ik niet tevreden. Volgen van het landelijk model in onze sector: iedereen koopt in bij zelfde leverancier. Komt voort uit het Masterplan in branche. Samenwerkingsverband met andere roc s. Tijdens de bijeenkomst op 27 maart gingen de centrale contactpersonen dieper in op de argumenten om als mbo-school voor- of tegenstander te zijn van ingekochte examens. Zij constateerden dat argumenten op centraal niveau anders zijn dan argumenten op decentraal niveau. Zie tabel 1. 2 Vermoedelijk bedoelt de respondent

27 Volgens centrale contactpersonen Argumenten op centraal niveau Argumenten op decentraal niveau Argumenten voorstanders ingekochte examens efficiency en kosten; mee sturing kunnen geven aan aanbod examenleveranciers door actief mee te denken en mee te werken. omdat examenproduct al is goedgekeurd; gemak; niet over nadenken; kwestie van kopen en gebruiken. Argumenten tegenstanders ingekochte examens kwaliteit ontbreekt; sluit niet aan op visie en behoefte aan expertise; inkoop kaderexamens/ proeven heeft geen meerwaarde. aanbod examenleveranciers sluit niet aan bij unieke kenmerken van school; graag zelf examens willen ontwikkelen. Tabel 1 Daarnaast is tijdens de bijeenkomst aan de deelnemende centrale contactpersonen de vraag gesteld wat volgens hen over het algemeen de belangrijkste redenen van mboscholen zijn om geen voorstander te zijn van ingekochte examens. Zij formuleerden met elkaar een top vier van redenen: 1. Onderwijsvisie wijkt af. 2. Kwaliteit van eigen examenproducten is beter. 3. Betrokkenheid van mensen op school is groter. 4. Aanbod examenleveranciers is te beperkt. 3.5 Meerwaarde ingekochte examens volgens examenleveranciers Bijna alle zestien respondenten vanuit examenleveranciers kozen voor minimaal vier antwoordopties bij de vraag wat de meerwaarde is van ingekochte examens t.o.v. door mbo-scholen zelf ontwikkelde examens. In volgorde van percentages: 93,8% minder tijdrovend voor scholen 87,5% betere kwaliteit 81,3% gecertificeerde producten / goedgekeurd door de Inspectie 81,3% goedkoper voor mbo-scholen 75 % up-to-date (sluit aan bij het laatste cohort) 6,3% anders, namelijk: standaardisering (n=1) 0% weet niet 27

28 3.6 Prijs en leveringsvoorwaarden Alleen aan de centrale contactpersonen is een vraag gesteld over de mate van tevredenheid over de prijs en leveringsvoorwaarden, onderscheiden per sector en per soort examen. De meeste respondenten geven aan niet te weten wat examens kosten. Ook op de vraag Per sector: Bent u tevreden over de inkoop- en leveringsvoorwaarden? gaf voor iedere sector het merendeel van de 28 centrale contactpersonen aan dit niet te weten. In totaal werd, verdeeld over de dertien sectoren, weet niet 224 aangekruist, ja achttien keer en nee vijf keer. Bij de onderwerpen waarover het afgelopen jaar feedback is gegeven c.q. ontvangen (paragraaf 10.3), zijn prijs en leveringsvoorwaarden relatief weinig genoemd. Dit geldt voor alle drie de responsgroepen. Eén van de respondenten vanuit opleidingssectoren meldde als knelpunt het ontbreken van heldere klantrelatie: Examenleverancier xxx werkt vanuit uitgangspunt dat e.e.a. een samenwerkingsverband is met een samenwerkingscontract. Dit moet veranderen in een contract als leverancier van diensten en producten, waarbij de leverancier in gebreke gesteld kan worden bij wanprestatie. 3.7 Deelconclusie Centrale inhoudsdeskundigen zijn niet de beslissers bij inkoop Voor centrale contactpersonen is hun oordeel over de kwaliteit van ingekochte examens een belangrijk argument om voor of tegen ingekochte examens te zijn. Het besluit tot inkoop wordt met name door management en lijnfunctionarissen genomen. Daarbij lijken tegenargumenten van de centrale contactpersonen niet doorslaggevend. Alle centrale contactpersonen, inclusief de ruim 40% die geen voorstander is van ingekochte examens, zijn namelijk afkomstig van mbo-scholen die (in een of meer opleidingssectoren) werken met ingekochte examens. 28

29 4 Welke examens kopen mbo-scholen in en van hoeveel examenleveranciers? In dit hoofdstuk staat centraal met welke soorten ingekochte examens mbo-scholen werken en van hoeveel examenleveranciers. 4.1 Welke examens worden ingekocht c.q. geleverd? In alle drie de enquêtes is gevraagd naar de soorten examens die worden ingekocht c.q. geleverd. De centrale contactpersonen moesten dit per sector aangeven. Een ruime meerderheid gaf aan dit niet te weten. De respondenten vanuit examenleveranciers en vanuit opleidingssectoren zijn het met elkaar eens dat praktijkexamens met uitgewerkte opdracht in verhouding het meest worden ingekocht. (figuur 13): Figuur 13 Wat voor soort examens levert u aan mbo-scholen? Wat voor soort examens koopt uw sector in? (meerdere antwoorden mogelijk) Anders (vanuit examenleveranciers): proeve van bekwaamheid (3x), bpv-beoordelingsinstrumenten (2x), ontwikkelingsgerichte meet- en beoordelingsinstrumenten (1x), kennistoetsenbank (1x). Anders (vanuit opleidingssectoren): taal en rekenen (2x), Engels (1x) naast theorie- mogelijk ook praktijkexamens (1x), proeve van bekwaamheid (1x) opmerking dat kaderexamens anders/breder zijn dan praktijkexamens (1x). 80,0% 70,0% 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0% theorieexamens praktijkexamens (kaderexamens) praktijkexamens (met uitgewerkte opdracht) anders, namelijk: examenleveranciers (n=16) 68,8% 56,3% 75,0% 43,8% opleidingssectoren (n=85) 56,5% 43,5% 74,1% 5,9% 29

30 Uit de toelichtende antwoorden blijkt dat niet alle respondenten hebben begrepen dat het onderzoek zich richt op beroepsgerichte examens: In de vragen wordt geen onderscheid gemaakt tussen beroepsgerichte examinering en examinering van Nederlands en MVT (en nu nog even rekenen). Taal- en rekentoetsen zijn nog niet ontwikkeld door de huidige examenleverancier. Mogelijk kunnen de taal- en rekentoetsen op termijn worden aangeleverd door de examenleverancier. Geen knelpunt, maar wellicht goed om te weten: Bij ons wordt alleen gebruik gemaakt van ingekochte examens voor de generieke vakken. Voor het beroepspecifieke gedeelte van de opleidingen bestaat geen examenleverancier. 4.2 Per sector: van hoeveel examenleveranciers ingekochte examens? Deze vraag is zowel aan de centrale contactpersonen gesteld als aan respondenten vanuit de opleidingssectoren. Veel centrale contactpersonen weten dit niet. Degenen die het wel weten, antwoordden over het geheel genomen in lijn met de respondenten uit de opleidingssectoren. In bijna twee derde van de sectoren werkt men dus met ingekochte examens van één examenleverancier. 17,6 % van de respondenten antwoordt dat in hun sector van twee examenleveranciers wordt ingekocht; 12,9% van drie. 5,9% weet het niet. Aan het eind van de enquête meldden enkele respondenten als knelpunt het beperkte aanbod aan examenleveranciers: Het zou fijn zijn als je meer keus zou hebben. Vaak maar één aanbieder. We zijn te vaak afhankelijk van één leverancier, dus de macht ligt bij de leverancier, vooral bij kleine opleidingen en in de techniek. Voor de herziene kwalificatiestructuur kunnen we kiezen uit één leverancier. Dat is geen keuze en dat is erg jammer. Onze huidige leverancier is pas een jaar later klaar. Goede keuze is dus niet mogelijk, je bent gebonden aan de enige leverancier die er is. 4.3 Deelconclusie Inkoop vaak noodgedwongen bij één examenleverancier De meeste opleidingssectoren werken met één examenleverancier. Voor een aantal opleidingssectoren heeft slechts één examenleverancier aanbod. Als deze ene examenleverancier geen variatie aan exameninstrumenten biedt en sterk vanuit eigen visie ontwikkelt, ervaren respondenten dit als knelpunt, zo blijkt ook in volgende hoofdstukken. 30

31 5 Kwaliteit van ingekochte examens Dit hoofdstuk start met de mate van tevredenheid over de kwaliteit van de ingekochte examens. Daarna wordt ingezoomd op de standaarden voor examenkwaliteit in het mbo. Gevolgd door een paragraaf over de eisen vanuit de kwalificatiedossiers. 5.1 Kwaliteit: tevredenheid algemeen Uit figuur 14 blijkt dat de respondenten vanuit de opleidingssectoren vaker tevreden of heel tevreden zijn over de kwaliteit van ingekochte examens (63,5%) dan de centrale contactpersonen (29,1% tevreden of heel tevreden). Verder valt op dat niemand heel ontevreden is. Figuur 14 Hoe tevreden bent u over het geheel genomen over de kwaliteit van ingekochte examens? 60,0% 50,0% 40,0% 30,0% 20,0% 10,0% 0,0% heel tevreden tevreden niet tevreden / niet ontevreden ontevreden heel ontevreden weet niet centrale contactpersonen (n=31) 6,5% 22,6% 41,9% 22,6% 0,0% 6,5% vanuit opleidingssectoren (n=85) 8,2% 55,3% 23,5% 11,8% 0,0% 1,2% In de bijeenkomst is aan vertegenwoordigers van alle drie de responsgroepen gevraagd wat het verschil in tevredenheid over de kwaliteit zou kunnen verklaren. De centrale contactpersonen geven als verklaring dat zij zich minder eigenaar voelen van ingekochte examens dan van door de mbo-school zelf ontwikkelde examens. Dat kleurt voor een deel hoe zij als centrale contactpersonen naar de kwaliteit van ingekochte examens kijken. De deelnemers vanuit de opleidingssectoren en de examenleveranciers geven als verklaring dat op centraal niveau anders wordt gekeken naar ingekochte examens dan door degenen die er in opleidingssectoren mee werken: Op centraal niveau gaat het om zaken als visie, eenduidigheid, kosten, tijd, standaarden examenkwaliteit, verantwoordingsinformatie. 31

32 In de opleidingssectoren ligt het accent meer op uitvoerbaarheid, herkenbaarheid, gemak, aansluiting op onderwijs, betrokkenheid. 5.2 Standaarden voor de examenkwaliteit in het mbo Voldoen ingekochte examens aan de standaarden? Aan de centrale contactpersonen is in de enquête op twee manieren gevraagd of de ingekochte examens volgens hen voldoen aan de standaarden voor de examenkwaliteit in het mbo: eerst in algemene zin en vervolgens per opleidingssector. 77,4% van de centrale contactpersonen is van mening dat de ingekochte examens in het algemeen voldoen (16,1%) of grotendeels voldoen (61,3%) aan de standaarden. Een meerderheid van de centrale contactpersonen weet dit niet per opleidingssector. Aan het eind van de enquête maakten meerdere respondenten, op twee na centrale contactpersonen, opmerkingen over (het voldoen aan) de standaarden: Vanuit de centrale examencommissie is geen zicht op het proces van inkoop op de clusters. We constateren wel dat op het moment dat we vaststellen, examens niet voldoen aan de normen, gebaseerd op het toezichtskader van de Inspectie, die wij daar aan stellen. Onze vraag is dan ook hoe het kan dat exameninstellingen beschikken over vastgestelde examens. De procedure van het keurmerk gaat op proces van vaststelling, ik zou graag de toetstechnische eisen daarin meegenomen zien worden. Bijvoorbeeld door één centrale vaststellingslijst voor toetstechnische eisen. Je kunt je afvragen waarom er zoveel fouten in examens staan die officieel zijn vastgesteld. Vaststellen is veel werk, ieder roc doet het opnieuw en het zou wenselijk zijn als er centrale examens zouden zijn die voldoen aan de kwaliteitscriteria. Ontwikkeling en bijstelling van de examens inzichtelijk maken in de vaststelling door leverancier zou helpen. De standaarden die de inspectie hanteert kunnen belemmerend werken voor de kwaliteit van de examinering. Ik bedoel dan dat het gaat om alles laten zien op alle werkprocessen (beetje afhankelijk van het toevallige (?) aantal werkprocessen en prestatie-indicatoren onder een kerntaak), terwijl ik denk dat als de examenkandidaat kan laten zien dat hij/zij op een bepaald niveau in een specifieke context kan functioneren dat dat goed genoeg is en dat dat ook betekent dat op andere werkprocessen op een bepaald niveau gepresteerd kan worden. Pas het toezichtkader aan. Laat scholen de vrijheid om hun examinering zo in te richten dat zij zelf vinden (kunnen onderbouwen) dat ze de goede dingen doen. Dat betekent dus dat het losgekoppeld moet zijn van eisen aan werkprocessen. Over het algemeen voldoen de examens niet aan de toetstechnische norm. Er ontbreekt nog wel eens wat in de cesuur, het beoordelingsmodel, of het instrument zelf. Deze fouten maken, ondanks dat het instrument valide is, dat het kwalitatief 32