Kenmerken van huidige kwaliteit van De Groene Standaard november 2014

Kenmerken van huidige kwaliteit van De Groene Standaard november 2014 1. Inleiding De Groene Standaard gaat de komende tijd een proces van organisatorische veranderingen in: opgaan in een nieuwe verbrede examenorganisatie, inclusief samenwerking met Helicon. Daarnaast staat de nieuwe beroepsgerichte kwalificatiestructuur BKS voor de deur, waarvoor in gezamenlijkheid examenproducten ontwikkeld moeten worden. Daarbij zullen inhoudelijke afwegingen en keuzes gemaakt moeten worden. Die hebben onder meer te maken met de kwaliteit van examenproducten. Een overzicht van de huidige kwaliteit van examenproducten van De Groene Standaard en de afwegingen die daarbij een rol hebben gespeeld zoals in dit document beschreven, kan behulpzaam zijn bij het maken van hernieuwde afwegingen bij de ontwikkeling van examenproducten voor de BKS in de context van de nieuwe examenorganisatie. 2. Missie en visie In het beleidsplan 2012-2015 zijn de missie en visie van De Groene Standaard als volgt gedefinieerd: Missie Stichting De Groene Standaard is een toonaangevende leverancier van examenproducten voor onderwijsinstellingen in het groene mbo. Het gaat om examenproducten: die tot stand komen op basis van de gedeelde behoefte en wensen van de afnemende instellingen; die voldoen aan onze visie op examinering die tot stand komen met betrokkenheid en instemming van het bedrijfsleven; die dekkend zijn voor het beroepsgerichte deel van de kwalificatiedossiers; die actueel zijn en afgestemd zijn op ontwikkelingen in het beroepsonderwijs; waarvan de kwaliteit erkend wordt door toezichthoudende en/of certificerende instellingen; en waarvoor de stichting aanvullende diensten aanbiedt om de implementatie van de producten bij de instellingen te ondersteunen. Visie De Groene Standaard is een examenleverancier van en voor instellingen in het groene beroepsonderwijs. Door vanuit de collectiviteit te werken kan innovatiekracht gebundeld worden, kunnen efficiëntievoordelen behaald worden en kan de vereiste kwaliteit geborgd worden. De Groene Standaard staat voor kwalificerende beoordeling van het beroepsfunctioneren op basis van de eisen in het kwalificatiedossier. De kern van de beoordeling wordt gevormd door een proeve van bekwaamheid die (bij voorkeur) in de authentieke context wordt afgenomen. Indien nodig of wenselijk kunnen andere aanvullende examenvormen ingezet worden om tot een valide en betrouwbaar oordeel te komen op de vraag of de examenkandidaat competent is om te functioneren in het beroep waarvoor hij/zij opgeleid is. Inhoudelijke herkenbaarheid, eenduidigheid en uitvoerbaarheid zijn kenmerken van de examenproducten van De Groene standaard. Dit draagt bij aan tevredenheid over en vertrouwen in de examinering van het groene mbo bij het bedrijfsleven, docenten, deelnemers, overheid en toezichthouders. Kenmerken van de huidige Kwaliteit van De Groene Standaard 25 november 2014 1

3. Kwaliteitsafwegingen bij Model 6 Model 6 is het meest recente beoordelingsmodel van De Groene Standaard; daarin komt de huidige visie op examinering en op productkwaliteit het best tot uiting. Model 6 1 wordt door de volgende kwaliteitskeuzes gekenmerkt: a. Examenmix Na de verkenning Verbreding en maatwerk in 2011 hebben de experimenten paraveterinair en loonwerk in 2012 definitief geleid tot bestuurlijke omarming van de examenmix op basis van het document Verantwoording inhoud examenplan (beter bekend als de afpelmethode). Daar in staat dat de proeve de kern van het examenplan blijft, maar dat onderdelen van een dossier die niet (expliciet noch impliciet) via de proeve beoordeeld kunnen worden, via één van de drie andere examenvormen geëxamineerd kunnen worden: werkprocesexamen, vaardigheidsexamen of kennisexamen. De optie van een kennisexamen bestaat vooralsnog alleen bij niveau 4. b. Scheiding tussen onderwijs en examinering Dat wat niet in een proeve beoordeeld kan worden, wordt beoordeeld in een ander (klein en eenvoudig te beoordelen) examenonderdeel. Met model 6 is het niet nodig om producten uit het onderwijs (portfolio) in te brengen in het examen. Het examenplan dekt alle beroepsgerichte eisen uitgezonderd beroepsgerichte MVT - en daarmee wordt op een expliciete wijze voldaan aan de Inspectie-eis om examinering te scheiden van ontwikkelingsgerichte toetsen. c. Explain in plaats van comply In model 6 werken we via explain : we gaan uit van een goed beoordelingsmodel gebaseerd op het dossier; leesbaarheid en uitvoerbaarheid staan voorop; wijken we iets af van het dossier dan verantwoorden we dat (=explain). Model 4 en 5 daarentegen worden gekenmerkt door letterlijke overname van alle prestatie-indicatoren uit de dossiers (comply). Gevolg: wel volledigheid, maar lange onleesbare teksten en moeilijke uitvoering. d. Beoordeling van het werkproces als geheel Via een kort portret (de norm) wordt in model 6 een werkproces als geheel beoordeeld. Dus niet meer zoals in model 4 en 5 eerst de beoordeling van afzonderlijke prestatie-indicatoren. Dat laatste bleek té gedetailleerd (problemen met cesuur; bepaalde indicatoren die soms belangrijker of zelf kritisch zouden moeten zijn ten opzichte van andere indicatoren terwijl dat in het model niet mogelijk was, enzovoort). e. Korte en bondig beschreven criteria Als het portret (de norm) in model 6 met een onvoldoende beoordeeld wordt, dan moet de assessor die onvoldoende onderbouwen via de criteria. Deze criteria zijn korte en bondige afgeleiden van de prestatie-indicatoren. f. Concrete inhoud voor criteriumgericht interview (eindgesprek) In model 6 is per werkproces bepaald of daarover gesproken wordt in het criteriumgericht interview, zo ja, dan is concreet aangegeven over welke onderwerpen uit het werkproces dat gaat. Dit is veel duidelijker dan in model 4 en 5 waarin per prestatie-indicator is aangegeven of deze geobserveerd moest worden of in het cgi besproken. g. Kritische beroepssituatie is een opdrachtbeschrijving In model 6 is de kritische beroepssituatie als een concrete opdracht voor de examenkandidaat beschreven in de vorm van voorbereiding, uitvoering en afsluiting. In model 4 en 5 is dat nog een algemene en brede beroepsbeschrijving met een persoon (bijvoorbeeld Kees, Annet) in de hoofdrol. h. Alle examenonderdelen voldoende De Groene Standaard hanteert als uitgangspunt dat alle examenonderdelen binnen een examenplan minimaal met een voldoende afgesloten moeten zijn. Compenseren tussen examenonderdelen is niet mogelijk. 1 Zie de bijlage voor een kort historisch overzicht van alle modellen. Kenmerken van de huidige Kwaliteit van De Groene Standaard 25 november 2014 2

4. Wat bepaalt de kwaliteit van (de producten van) De Groene Standaard? De kwaliteit van de huidige producten van De Groene Standaard komt langs drie hoofdlijnen tot stand: a. Directe bestuurlijke en organisatorische betrokkenheid van alle deelnemende aoc s Gezamenlijke visie op examineren: proeve als kern van examineren, beoordelen in authentieke beroepssituatie, examenmix met vier examenvormen. Korte lijnen met aoc s en directe betrokkenheid van aoc s bij ontwikkeling van producten via regiegroep, ontwikkelgroepen en klankbordgroepen. Aoc s voelen zich verantwoordelijk voor De Groene Standaard op basis van een wij-gevoel. Regelmatig samenspraak met de aoc s via de centrale examensecretarissen. In de pdca-cyclus is een check ingebouwd waarbij gebruikers / afnemers via een gebruikersonderzoek feedback kunnen geven op de examenproducten. Uit het laatste gebruikersonderzoek (2013) bleek dat aoc s ten aanzien van uitvoerbaarheid en betaalbaarheid nog verdere verbetering van De Groene Standaard vragen. b. De ontwikkeling van eenduidige en transparante examenproducten Examenmodel met vier heldere examenvormen Grote mate van uniformiteit in producten Meer aandacht voor uitvoerbaarheid en betaalbaarheid. Mede op aandringen van de aoc s is het aantal proeven in een examenplan bij model 6 en bij model 5 compact de verbeterde versie van model 5 - teruggebracht. In afstemming met bedrijfsleven ontwikkeld (wel afhankelijk van de deelsector). Dekking van dossier is goed geregeld (100% van de werkprocessen); afwijkingen op het niveau van prestatie-indicatoren worden vermeld in een verantwoordingsdocument. Explain in plaats van comply leidt tot betere uitvoerbaarheid en transparantie Controle op kwaliteit via de Kwaliteitsadviesgroep c. De digitale keten van examenproduct tot examenafname geeft structuur, eenduidigheid, gebruikersgemak en minimaliseert fouten: Ontwikkeling van examenproducten in eigen database van De Groene Standaard Inhoud kwalificatiedossiers wordt automatisch ingevlogen in die database Presentatie examenproducten alleen online via www.examenstandaard.nl; kennisexamens zijn beschikbaar via www.toetsplaza.nl Examenproducten vormen input in de PvB-tool op aoc s (borging kwaliteit van het examenproces) Beoordeling van het examen en evaluatie via tablet of smartphone met de PvB-app (geen papier, minder risico s op fouten). 5. Wat vindt de Inspectie van onze producten en waarom? De inspectie was bij de audit 2013 lovend over de model 6 producten van De Groene Standaard: Grote stap vooruit in vergelijking tot de vorige producten die ook al voldoende waren. Wat zijn de kenmerken van die waardering? a. Examenmix. De examenmix van model 6 sluit goed aan bij de Inspectie-norm inhoud en examenvorm zijn zodanig afgestemd op de vereisten dat kennis, vaardigheden en houding in balans beoordeeld worden. Daarnaast stelt de Inspectie hogere eisen aan de kwaliteit wanneer alleen via proeven van bekwaamheid beoordeeld wordt; in een examenmix mogen bepaalde onderdelen (bijvoorbeeld een werkprocesexamen, vaardigheidsexamen) best met een iets lager kwaliteitsregime beoordeeld worden (zoals gebruik van één beoordelaar) mits bij de andere onderdelen (de proeve) het kwaliteitsregime hoog is (met twee assessoren). Bij beoordelen in de praktijk speelt altijd een vorm van subjectiviteit; in een examenmix wordt dat gecompenseerd door de intersubjectiviteit van het beoordelen op verschillende manieren en op verschillende momenten. b. Volledig examenproduct De producten van De Groene Standaard worden als volledig examenproduct gezien en niet als kaderexamen, want alleen volledige examenproducten worden door de Inspectie bij de Kenmerken van de huidige Kwaliteit van De Groene Standaard 25 november 2014 3

examenleverancier beoordeeld. Er zou sprake geweest zijn van een kaderexamen als het aoc dat instrument nog nader had moeten invullen in de vorm van opdrachtbeschrijving, examensetting, beoordelingscondities, beoordelingscriteria en normering. Al die zaken zijn goed beschreven door De Groene Standaard. Per definitie zitten praktijkgerichte examens dicht tegen een kaderexamen aan. Het is zaak voor De Groene Standaard daar alert op te blijven en een volledig examenproduct te blijven ontwikkelen. c. Transparantie De Inspectie heeft grote waardering voor de transparantie van de examenproducten uit model 6. Dat wat er in behoort te staan, staat er op heldere wijze in. Alle betrokkenen krijgen via het examenproduct een helder beeld van hoe het examen eruit ziet, hoe het wordt uitgevoerd en beoordeeld. De keuzes die we in het ontwikkelproces hebben gemaakt, zijn helder verwoord in het verantwoordingsdocument, dat is ook noodzakelijk omdat we via explain werken en niet via comply. De Inspectie heeft waardering voor het feit dat we ons vergewissen van de kwaliteit van onze producten via de Kwaliteitsadviesgroep. d. Digitalisering De Inspectie waardeert de door De Groene Standaard en aoc s ingezette digitalisering die kwaliteitsverhogend werkt (Examenstandaard.nl; PvB-tool en PvB-app; digitale kennisexamens). 6. Wat bepaalt de kwaliteit in de examenuitvoering? De kwaliteit van de examenuitvoering op de aoc s wordt bepaald door: a. De kwaliteit van het examenproduct zoals hierboven beschreven: een volledig examenproduct (en geen kaderexamen) met bijbehorende toetstechnische kenmerken. b. Het gebruik van PvB-tool en PvB-app: borging van het examineringsproces, controle op volledigheid en foutloze doorberekening naar het eindresultaat. c. Bij de inrichting en uitvoering van examens gaat het erom dat het aoc zegt wat het doet en doet wat het zegt. Kortom de gemaakte keuzes moeten verantwoord worden en het aoc moet zich ervan vergewissen dat het examen uitgevoerd wordt zoals beoogd. Zeker bij examens in de praktijk is er niet zoiets als een absolute kwaliteit. De uitvoering moet zo betrouwbaar mogelijk zijn. De Inspectie spreekt in deze ook van zo objectief mogelijk. Om dat te realiseren moet in ieder geval aan de volgende aspecten expliciete aandacht besteed worden: training, intervisie, instructie en begeleiding van assessoren en beoordelaars: hoe zorgt het aoc ervoor dat zij bekwaam zijn en blijven? een zorgvuldige inrichting van het examen op basis van de eisen in de examenstandaard en verantwoord door middel van het inrichtingsplan, zoals kiezen van een geschikte examenlocatie, aanwijzen beoordelaars, vaststellen datum en tijdsduur van examen en eindgesprek, en dergelijke. controle achteraf (het vergewissen ) dat de beoogde kwaliteit behaald is: handtekeningen van de juiste mensen op de juiste documenten ten teken dat het proces goed verlopen is; evaluatieformulier voor student, assessor en bedrijf; steekproefsgewijze controle en/of audit. een en ander vormgeven door een pdca-cyclus ten aanzien van het examineringsproces. Kenmerken van de huidige Kwaliteit van De Groene Standaard 25 november 2014 4

Bijlage: Een korte historische schets van de ontwikkeling van het beoordelingsmodel van De Groene Standaard. De ontwikkeling van het beoordelingsmodel heeft bij De Groene Standaard diverse stappen doorgemaakt. Het betrof altijd een beoordelingsmodel als onderdeel van de proeve van bekwaamheid. Tot en met model 5 vormde de proeve van bekwaamheid de enige beoordelingsvorm bij De Groene Standaard. 1. Holistische beoordeling, toevertrouwen van de kritische beroepssituatie ja/nee (model 1) Bij de introductie van de competentiegerichte kwalificatiestructuur in 2006 ging De Groene Standaard uit van een holistische beoordeling van de proeve van bekwaamheid: Kan de deelnemer de kritische beroepssituatie toevertrouwd worden? Ja/Nee De kritische beroepssituatie vormde de beschrijving van het beroep waarvoor de leerling opgeleid werd; daarin was een beschrijving van de belangrijkste beroepshandelingen opgenomen met ruime aandacht voor de beroepsdilemma s en beroepshouding. 2. Holistische beoordeling met een feedbackformulier (model 2) De boordeling via model 2 verliep op dezelfde manier als bij model 1, maar bij een nee (onvoldoende) op de hoofdvraag werd het oordeel door het invullen van een feedbackformulier onderbouwd en verantwoord. In het feedbackformulier waren alle competenties opgenomen die tot de proeve behoorden. Ter onderbouwing van een nee kruisten de assessoren één of meerdere competenties aan die de reden van de onvoldoende vormden. 3. Waarneming aan de hand van product en proces en beoordeling via een hoofdvraag en enkele deelvragen (model 3) In 2009 is model 3 ingevoerd; er was meer behoefte aan detaillering bij het oordeel wat ook ingegeven werd door de wens om goedkeuring voor de producten te verkrijgen bij de Inspectie; de Inspectie is daarom ook geraadpleegd bij de totstandkoming van dit model. De Groene Standaard handhaafde het holistische oordeel via de hoofdvraag die ook kenmerkend was voor model 1 en 2; in dit model werden daarnaast 5 deelvragen gesteld die ingingen op het uitvoeren van de werkprocessen, het resultaat van de werkprocessen, het omgaan met keuzes en dilemma s, het toelichten van gemaakte keuzes en het hebben van inzicht (het laatste aspect alleen bij niveau 3 en 4). Het feedbackformulier bleef ook in deze versie bestaan, zij het onder een andere naam: toelichting op de beoordeling. 4. Beoordeling aan de hand van werkprocessen en prestatie-indicatoren (model 4) Model 4 is eind 2010 ingevoerd na de Inspectie audit van zomer 2010. Onder druk van de Inspectie heeft De Groene Standaard de holistische beoordeling losgelaten en is overgegaan op beoordeling van werkprocessen en prestatie-indicatoren. Beide werden letterlijk overgenomen uit de kwalificatiedossiers. Om een voldoende voor een werkproces te behalen moet 60% van de prestatie-indicatoren voldoende zijn. Om een kerntaak met een voldoende te kunnen afsluiten, moet 75% van de werkprocessen uit die kerntaak voldoende zijn. Voor het eerst werden de examenstandaarden van De Groene Standaard niet meer in Word opgemaakt, maar ze konden via de database van De Groene Standaard ontwikkeld en gepresenteerd worden (www.examenstandaard.nl). 5. Beoordeling aan de hand van werkprocessen en prestatie-indicatoren met een driepuntschaal op de kerntaak (model 5) Vanaf cohort 2012-2013 is model 4 vervangen door model 5. Het ministerie eiste dat voortaan minimaal van een driepuntschaal gebruik gemaakt zou worden bij de beoordeling van kerntaken. In model 5 is dit doorgevoerd bij het oordeel over de kerntaken. Het beoordelen van de werkprocessen verloopt bij model 5 overigens op dezelfde manier als bij model 4, via de beoordeling van de prestatie-indicatoren. 6. Invoering van de examenmix en een verbeterd beoordelingsmodel (model 6) Model 6 is ingevoerd vanaf cohort 2012-2013, eerst experimenteel, later als volwaardig examenproduct, zij het naast model 5. Model 6 wordt gekenmerkt door een examenmix bestaande uit vier examenvormen, en een beoordelingsmodel waarbij de werkprocessen via een portret (de norm) beoordeeld worden en niet meer op basis van de prestatie-indicatoren. Voor vier (grote) kwalificaties zijn er producten in model 6. Kenmerken van de huidige Kwaliteit van De Groene Standaard 25 november 2014 5