Verantwoordingsdocument. Exameninstrumenten voor Sport en Bewegen. Datum: 24 April 2013 Opstellers: Bert Geenen, Carin Biesterbosch, Rypke Procee

Transcriptie

1 Verantwoordingsdocument Exameninstrumenten voor Sport en Bewegen Datum: 24 April 2013 Opstellers: Bert Geenen, Carin Biesterbosch, Rypke Procee

2 Inleiding Dit verantwoordingsdocument heeft betrekking op de door Uitgeverij Angerenstein ontwikkelde exameninstrumenten voor Sport en Bewegen. Met dit document verantwoordt Uitgeverij Angerenstein zowel de producten als het examenproces. Het document is opgebouwd uit zeven paragrafen waarbij aan het eind van elke paragraaf verwezen wordt naar onderliggende documenten die als bewijslast dienen. 1. AANLEIDING Begin 2010 heeft de branche Sport en Bewegen de wens uitgesproken om landelijke exameninstrumenten te ontwikkelen conform het beleid van de BTG ZW&S (Bedrijfstakgroep Zorg, Welzijn en Sport van de MBO-raad). Dit is niet alleen een wens van de roc s die een opleiding Sport en Bewegen verzorgen, maar ook de wens van het werkveld. Een groot aantal SB-organisaties heeft stagiairs van verschillende opleidingen en wordt daardoor geconfronteerd met een veelheid aan exameninstrumenten en daarmee samenhangende beoordelingsprotocollen. Deze diversiteit wordt nog versterkt doordat sportbonden met eigen, door VWS erkende, exameninstrumenten (PvB s) werken. De branche Sport en Bewegen streeft naar kwaliteit, transparantie en eenduidigheid en ziet de ontwikkeling van landelijke exameninstrumenten als een belangrijk middel. Aan Uitgeverij Angerenstein is de vraag gesteld deze te ontwikkelen. In het projectplan Ontwikkeling landelijke exameninstrumenten voor de opleidingen Sport en Bewegen worden de contouren van het te doorlopen proces en de op te leveren exameninstrumenten beschreven. Relevante documenten: B1 Projectplan Ontwikkeling landelijke exameninstrumenten voor de opleidingen Sport en Bewegen 2. ONTWIKKELDE EXAMENINSTRUMENTEN Er zijn exameninstrumenten ontwikkeld voor de volgende kwalificatiedossiers voor Sport en Bewegen: KD : sport- en bewegingsbegeleider (kerntaak 1 en 2) 91390: sport- en bewegingsleider (kerntaak 1, 2 en 3) t/m 91404: sport- en bewegingscoördinator (kerntaak 4, 5 en 6) KD : sport- en bewegingsbegeleider (kerntaak 1 en 2) 95280: sport- en bewegingsleider (kerntaak 1, 2 en 3) t/m 95294: sport- en bewegingscoördinator (kerntaak 4, 5 en 6) 1

3 KD 95300: sport- en bewegingsbegeleider (kerntaak 1 en 2) 95280: sport- en bewegingsleider (kerntaak 1, 2 en 3) t/m 95294: sport- en bewegingscoördinator (kerntaak 4, 5 en 6) Aard van de kwalificerende examens Kwalificatiedossier Crebonummer Kerntaak Aard van het examenproduct Kerntaak 1 PvB met gesprek Kerntaak 2 Portfolio met gesprek Kerntaak 1 PvB met gesprek Kerntaak 2 PvB met gesprek Kerntaak 3 Portfolio met gesprek , en Kerntaak 4 PvB met gesprek , en Kerntaak 5 PvB met gesprek Kerntaak 4 PvB met gesprek Kerntaak 6 Portfolio met gesprek Kerntaak 1 PvB met gesprek Kerntaak 2 Portfolio met gesprek Kerntaak 1 PvB met gesprek Kerntaak 2 PvB met gesprek Kerntaak 3 Portfolio met gesprek 95291, en Kerntaak 4 PvB met gesprek 95291, en Kerntaak 5 PvB met gesprek Kerntaak 4 PvB met gesprek Kerntaak 6 Portfolio met gesprek Relevante documenten: B2 Landelijke kwalificaties MBO sport en bewegen en sport en bewegingsbegeleider ( , ). 2

4 3. PROPOSITIE exameninstrumenten die voldoen aan de in het toezichtkamer geformuleerde eisen exameninstrumenten die enerzijds een zekere ruimte bieden voor eigen contextuele inkleuring en anderzijds voldoende duidelijkheid bieden voor een eenduidige en valide toetsing exameninstrumenten die uitvoerbaar zijn in middelen en organisatie en tevens betaalbaar zijn in aanschaf service en informatie door middel van een website uitwisseling en evaluatie met gebruikers en jaarlijks onderhoud van de examens. 4. HET ONTWIKKELPROCES CIOS NL (stichting van vijf CIOS en in Nederland die een opleiding Sport en Bewegen verzorgen) heeft Uitgeverij Angerenstein gevraagd exameninstrumenten voor de KD s Sport en Bewegen te ontwikkelen en deze vervolgens beschikbaar te stellen voor het totale speelveld van opleidingen SB in Nederland. Uitgeverij Angerenstein heeft deze vraag opgepakt en heeft een deskundige aangetrokken die de verantwoordelijkheid draagt voor het proces van constructie tot vaststelling van de examenproducten inclusief de evaluatie en de mogelijke aanpassingen. De distributie van de exameninstrumenten verloopt eveneens via Uitgeverij Angerenstein. In overleg met CIOS NL en SB-achterban is een constructiegroep samengesteld bestaande uit vertegenwoordigers van zeven verschillende SB-opleidingen. Het betreft leden met kennis op het gebied van onderwijs en examinering. Daarnaast is een aantal leden betrokken bij het proces van examinering van uiteenlopende sportbonden en brancheorganisaties. De constructiegroep heeft zich ten doel gesteld om exameninstrumenten te ontwikkelen die enerzijds voldoen aan de kaders en richtlijnen vanuit OC&W en anderzijds de aansluiting vergemakkelijken naar de producten van de bondsopleidingen (kwalificatiestructuur sport, VWS kader). 3

5 Daarom is besloten het te ontwikkelen format en de exameninstrumenten voor te leggen aan Alijd Vervoorn (adviseur werkveld, ontwikkelaar van exameninstrumenten (PvB s) voor de bonden vanuit de Academie voor Sportkader) ten behoeve van het bewerkstelligen van synergie daar waar mogelijk. Betrokkenheid werkveld De te ontwikkelen exameninstrumenten betreffen de gehele branche van sport en bewegen en strekken zich uit van zwemmen, fitnessen, kanovaren tot voetballen en van het onderwijs, zorg- en welzijn tot recreatiebedrijven en de politie. Met de leden van de constructiegroep is afgesproken dat ze de verantwoordelijkheid hebben om de producten in de conceptfase voor te leggen aan relevante werkveldvertegenwoordigers waar men als opleiding contact mee heeft ( via de werkveldadviesraad van het betreffende roc). De volgende personen hebben in de constructiegroep een rol gespeeld: Bert Geenen, ontwikkelaar Uitgeverij Angerenstein Nels Rijvers, teamleider CIOS Goes-Breda en betrokken bij examinering KNVB Karin de Hartog, examenfunctionaris, CIOS Heerenveen Joost Philipsen, examenfunctionaris, CIOS Heerenven (vervanger Karin de Hartog) Jes Hernandez, opleidingsmanager CIOS Haarlem en lid examencommissie. Ap te Winkel, opleidingsmanager SB- Graafschapcollege en betrokken bij examinering Fitvak opleidingen Gerald Oude Alink, opleidingsmanager SB, ROC van Twente Koen Francissen, onderwijscoördinator CIOS Arnhem Peter Opheij, examenfunctionaris, CIOS Sittard Alijd Vervoorn, onderwijskundige namens Academie voor Sportkader van de NOC*NSF Vervolgens is er een vaststellingscommissie benoemd bestaande uit vertegenwoordigers uit het onderwijs en werkveld. De volgende personen hebben een rol gespeeld in de vaststellingscommissie: Ronald Wouters (Fitvak) Jan Minkhorst (NOC*NSF,ASK) Michael van de Beld (NPZ/NRZ) Joris Bouwmeister (VSG) Vanuit Onderwijs: Albert Zeggelaar, manager CIOS Arnhem RobertJan Janssen, directeur CIOS Heerenveen Bert Hamhuis, teamleider en examenfunctionaris Landstede Lisanne Kopinga, examenfunctionaris SB, ROC van Eindhoven Jan Johan Gerritsen, examenfunctionaris SB, ROC Tilburg 4

6 Het constructie- en vaststellingsproces verliep op de volgende manier: 1. Aanleveren van relevante exameninstrumenten vanuit diverse SB-opleidingen en inventariseren van wensen. 2. Op basis van de aangeleverde producten en aan de hand van een vast format ontwikkelen van het 1 e concept. Dit concept wordt g d naar alle leden van de constructiegroep. 3. Bespreking en aanpassing van het 1 e concept tijdens het overleg van de constructiegroep. 4. Ontwikkelen van 2 e concept op basis van stap 3. Dit concept wordt door de leden van de constructiegroep voorgelegd aan relevante werkveldvertegenwoordigers van de verschillende roc s en aan Alijd Vervoorn. 5. Ontwikkelen van een definitief concept op basis van feedback door de constructiegroep. 6. Vaststelling door de vaststellingscommissie aan de hand van vaststellingsformulier. 7. Eventuele bijstelling op grond van landelijke evaluatie met de gebruikers. Relevante documenten: B3 Wordversies van diverse concepten (PvB kerntaak 2) B4 Mailverkeer Alijd Vervoorn B5 Samenstelling constructiegroep B6 Samenstelling vaststellingscommissie B7 Vaststellingsformulier 5. UITGANGSPUNTEN MET BETREKKING TOT DE TE ONTWIKKELEN EXAMENINSTRUMENTEN De exameninstrumenten zijn ontwikkeld op basis van de onderstaande documenten: toezichtkader BVE 2012 standaarden examenkwaliteit MBO 2012 richtlijnen, aanbevelingen vanuit MBO 2010 (examinering á la carte, zorgvuldige examens) servicedocumenten Calibris (o.a. kwalificerend Beoordelaar BPV) toetstechnische eisen (vanuit toezichtkader, CITO). Hieruit zijn enkele aantal uitgangspunten gedestilleerd die voorgelegd zijn aan de branche Sport en Bewegen van de MBO-raad. De examens sluiten aan bij beroepspraktijk en zijn dekkend voor de opleiding. De beoordeling gebeurt objectief, deskundig en onafhankelijk (het verdient de voorkeur dat de kwalificerend beoordelaar geen begeleidingsrelatie heeft met de deelnemer). Het beroepenveld dient betrokken te zijn bij de examinering/beoordeling. De exameninstrumenten moeten volledig voldoen aan de toetstechnische eis met betrekking tot het multidimensionaal toetsen hetgeen impliceert: 1. De beoordeling gebeurt aan de hand van meerdere instrumenten (consequente methodemix van beoordeling aan de hand van een schriftelijk product (planningsverslag), uitvoering én gesprek (criteriumgericht interview). 2. De beoordeling dient vanuit verschillende perspectieven te gebeuren (opleiding én werkveld, waarmee ook voldaan wordt aan het vierogenprincipe). 5

7 De exameninstrumenten dienen minimaal betrekking te hebben op een werkproces en maximaal op een kerntaak. Een kerntaak is behaald indien minimaal 75% van de aan de kerntaak verbonden werkprocessen zijn behaald. De competenties en de daarvan afgeleide prestatie-indicatoren vormen de eenheid van beoordelen. De cesuur dient gemiddeld minimaal op voldoende te liggen. Na consultatie van de potentiële gebruikers heeft de constructiegroep de volgende leidraad geformuleerd aan de hand waarvan de exameninstrumenten ontwikkeld worden: 1. Voor elke kerntaak wordt één kwalificerend exameninstrument ontwikkeld (toetsen op het maximale niveau van een kerntaak). 2. Vanwege de uitdrukkelijke wens voor transparantie vanuit zowel het werkveld als de opleidingen worden er zogenaamde kaderplus toetsen ontwikkeld. De exameninstrumenten gaan verder dan de standaard kadertoetsen. De inhoud (opdrachten), beoordelingscriteria, cesuur en waardering zijn concreet geformuleerd. De enige concretisering die gemaakt kan worden heeft te maken met de context waarin de toets wordt afgenomen (context van tennis, zwemmen, buitensport, fitness, recreatie) 3. Voor wat betreft de prestatie-indicatoren en de beoordelingscriteria is het kwalificatiedossier het uitgangspunt. Elk exameninstrument bevat een schriftelijke voorbereiding (planningsverslag), een praktijkcomponent (uitvoering) en een mondelinge verantwoording in de vorm van een criteriumgericht interview. Hiermee meten we multidimensionaal, is er sprake van een methodemix (examenmix) en garanderen we dat de deelnemer bewust bekwaam is 4. Alle werkprocessen van een kerntaak worden meegenomen in het exameninstrument en dienen allemaal gemiddeld voldoende te zijn om de kwalificerende toets te behalen (100%). 5. Een werkproces is behaald indien minimaal 75% van de competenties met een voldoende is beoordeeld. 6. Bij de beoordeling wordt consequent gebruikgemaakt van een vierpuntschaal. Aangezien de cesuur minimaal op voldoende moet liggen, betekent dit bij een vierpuntschaal dat gemiddeld de score 3 behaald moet worden. In een aantal gevallen is er sprake van een of meerdere kritische prestatie-indicatoren die behaald moeten worden om het werkproces en dus de kerntaak te behalen (onder andere veiligheid). 7. Indien gewenst kunnen de scores omgezet worden naar een waardering c.q. cijfer. 8. Alle exameninstrumenten kennen eenzelfde structuur. Dit draagt bij aan een optimale transparantie naar het werkveld, de docent en niet te vergeten de student (deelnemer). 6

8 De structuur van elke kwalificerende toets bestaat uit de volgende onderdelen: algemene informatie de opdracht uitwerking van de onderdelen van de proeve van bekwaamheid cesuur en waardering beoordelingscriteria beoordelingsinstructie beoordelingsprotocollen. Relevante documenten: B8 PowerPoint-presentaties m.b.t. uitgangspunten. 6. INSPRAAK VAN DE GEBRUIKERS EN KWALITEITSBORGING VAN DE EXAMENINSTRUMENTEN Enerzijds moeten de exameninstrumenten voldoen aan de wettelijke eisen en anderzijds aansluiten bij de wensen van de gebruikers. De inspraakmogelijkheden van de SBopleidingen zijn vanaf het begin serieus genomen. De opleidingen zijn in de gelegenheid gesteld om relevante producten aan te leveren (zie stap 1 van het constructie- en vaststellingsproces). Vervolgens zijn ze op de hoogte gehouden van de productontwikkeling. Op 15 maart 2012 heeft er in Utrecht een bijeenkomst plaatsgevonden waarin de uitgangspunten en eerste producten gepresenteerd werden. De ongeveer 50 aanwezigen werden in de gelegenheid gesteld om hierop te reageren. Over met name de haalbaarheid en betaalbaarheid (onafhankelijkheid, deskundigheid, vierogenprincipe, criteriumgericht interview) werd uitgebreid gediscussieerd. Op 21 november 2012 heeft er in Utrecht een tweede bijeenkomst plaatsgevonden voor (potentiële) gebruikers. Vooraf werd iedereen in de gelegenheid gesteld om schriftelijk vragen te stellen met betrekking tot de inhoud en logistiek van de exameninstrumenten. Dit heeft tot ongeveer 25 vragen en een belangstelling van ongeveer 50 betrokkenen geleid. Vrijwel iedereen heeft persoonlijk reactie gehad. De generieke vragen zijn die avond uitgebreid besproken en hebben geleid tot enkele aanpassingen van de exameninstrumenten. Versiebeleid Voor een goede communicatie met de gebruikers en om een helder versiebeleid te voeren is de website ontwikkeld. Met de gebruikers is afgesproken dat ze te allen tijde kunnen reageren op de producten, maar dat er geen tussentijdse wijzingen doorgevoerd worden. Eens per jaar wordt er een officiële evaluatiebijeenkomst gepland. Aan de hand van deze bijeenkomst worden de exameninstrumenten eventueel bijgesteld. Met het oog op de kwaliteitsborging worden de eventuele veranderingen eerst getoetst aan de gestelde kaders. De constructgroep voert de wijzigingen door. Vervolgens dienen de bijgestelde exameninstrumenten opnieuw vastgesteld te worden door de vaststellingscommissie. Het gaat dus om een jaarlijks onderhoud, dit om verwarring bij zowel werkveld, beoordelaar als student te voorkomen. De komende evaluatiebijeenkomst is gepland op 5 juni in Utrecht. 7

9 Relevante documenten: B9 PowerPoint-presentaties van de bijeenkomsten in Utrecht B10 Gestelde vragen en antwoorden geplaatst op de website B11 Versiewijziging maart 2013 n.a.v. bijeenkomst in november en overige reacties B12 Mailverkeer tussen de opleidingen en Uitgeverij Angerenstein. 7. ZELFEVALUATIE OP BASIS VAN DE BELANGRIJKSTE CRITERIA De exameninstrumenten en/of -diensten worden beoordeeld aan de hand van de standaarden 1 en 2 uit de Regeling standaarden examenkwaliteit MBO Op basis van deze standaarden en indicatoren is een zelfevaluatie uitgevoerd. Gebied 2: examinering en diplomering Examenstandaard 1: Het exameninstrumentarium sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen. Indicator Onderscheid tussen ontwikkelgerichte toetsen en examinering De door Uitgeverij Angerenstein ontwikkelde exameninstrumenten zijn allemaal kwalificerend van aard. Het duidelijk aanbrengen van dit onderscheid is primair de verantwoordelijkheid van de opleidingen. In de exameninstrumenten is voor de student wel helder aangegeven op welke manier de beoordelingen meetellen voor het diploma. Indicator Dekking van het kwalificatiedossier De constructiegroep heeft bij elk exameninstrument het uitgangspunt dat 100% van de werkprocessen geëxamineerd wordt. De vaststellingscommissie stelt de exameninstrumenten vast aan de hand van een vaststellingsformulier waarin de dekking uitgebreid aan de orde komt. In de exameninstrumenten zijn de inhoud en toetsvorm zodanig gekozen dat kennis, vaardigheden en houding passend worden beoordeeld. De vereisten ten aanzien van vaardigheden en houding worden in de (beroeps)praktijk beoordeeld, de kennisaspecten komen aan de orde in de planning (planningsverslag) en in de verantwoording (het criteriumgericht interview). De generieke kwalificatievereisten voor talen en rekenen zijn niet opgenomen in de exameninstrumenten van Uitgeverij Angerenstein. De beroepsspecifieke vereisten zijn wel verwerkt in de exameninstrumenten in de vorm van te behalen prestatie indicatoren. Verbeteracties: 100% eis ten aanzien van het examineren van alle werkprocessen harmoniseren met vaststellingsformulier het feit dat en de wijze waarop de beroepsspecifieke vereisten met betrekking tot taal en rekenen zijn verwerkt in de exameninstrumenten duidelijker communiceren met de gebruikers. 8

10 Indicator Cesuur Bij alle exameninstrumenten is een verantwoorde procedure gevolgd voor het bepalen van de cesuur, voor zowel de examenonderdelen (per werkproces) als voor het examen als geheel. Op de eerste plaats is in elk exameninstrument duidelijk bepaald dat een kerntaak behaald is indien alle werkprocessen behorend tot deze kerntaak behaald zijn. Dit betekent dat alle werkprocessen afzonderlijk beoordeeld worden. Een werkproces is behaald indien minimaal 75% van de competenties als voldoende is beoordeeld. Aangezien met een vierpuntschaal wordt gewerkt en de score 3 de betekenis heeft van voldoende, betekent dit dat minimaal 75% van de competenties met de score 3 of 4 beoordeeld moet zijn. In een aantal gevallen is er sprake van een of meerdere kritische competenties die behaald moeten worden om het werkproces en dus de kerntaak te behalen. De cesuur per examenonderdeel (niveau van een werkproces) al voor het examen als geheel garandeert een evenwichtige beoordeling van kennis, vaardigheden en houding. Verbeteractie: Door het geringe aantal competenties waarin expliciet prestatie-indicatoren zijn geformuleerd voor beroepsspecifieke taal en rekenen wordt niet 100% gegarandeerd dat de student aan deze specifieke eisen voldoet. Overwegen om deze als kritisch aan te merken. Indicator Beoordelingswijze Voor elk exameninstrument is meestal per werkproces een beoordelingsinstructie opgenomen. De beoordeling vindt consequent plaats aan de hand van een vierpuntschaal, waarbij onderscheid gemaakt wordt in: 1. slecht 2. onvoldoende 3. voldoende 4. goed. 9

11 De volgende tabel laat zien hoe de scores geoperationaliseerd zijn: Niveau van beheersing Niet beoordeelbaar Behoeft grote verbeteringen, aanvullingen Behoeft kleine verbeteringen Voldoet volledig Niveau typering ONDER DE MAAT ZWAK meestal VOLDOENDE ADEQUAAT niet adequaat op dit onderdeel niet binnen het toelaatbare van de kwaliteitseisen zoals van een beginnend beroepskracht verwacht wordt in de situatie beter dan van een beginnend beroepskracht vereist is Is niet zeker van zichzelf. De deelnemer twijfelt erg. Is zeker van zichzelf. Is vastberaden en daadkrachtig. Schiet tekort op onderdelen. Zijn optreden is nauwelijks adequaat. Zijn optreden is meestal adequaat. Zijn optreden is naar verwachting en sterk. Er is niet/ nauwelijks resultaat. Het resultaat is onbevredigend. Het resultaat voldoet aan de minimale eisen. Het resultaat stijgt boven de minimale eisen uit. slecht onvoldoende voldoende goed Per werkproces zijn overzichtelijke beoordelingsprotocollen aanwezig. De te beoordelen competenties en prestatie-indicatoren zijn overzichtelijk opgenomen in deze protocollen. De prestatie-indicatoren zijn direct afgeleid uit het kwalificatiedossier Sport en Bewegen. De beoordeling vindt plaats op het niveau van een competentie. Per competentie kan het gaan om een of meerdere prestatie-indicatoren. De beoordelaar dient per competentie tot het oordeel slecht, onvoldoende, voldoende of goed te komen. Hierbij wordt uitgegaan van de portretbenadering. De onderliggende prestatie-indicatoren dienen als een geheel gezien te worden en bepalen in zijn totaliteit het oordeel. Uiteindelijk kan de beoordeling omgezet worden in een waardering in de vorm van een cijfer. Deze tabellen zijn bij elk exameninstrument als bijlage opgenomen. 10

12 Verbeteractie: Werken met de portretbenadering expliciet evalueren met de gebruikers. Indicator Transparantie Transparantie is een belangrijk uitgangspunt bij de ontwikkeling van de exameninstrumenten. Door elk exameninstrument op dezelfde manier vorm te geven ontstaat voor de student en de beoordelaar maximale transparantie. In elk product zijn de beoordelingscriteria helder geformuleerd en is bij elk werkproces beschreven op welke manier de student beoordeeld wordt. De afnamecondities vormen eveneens een vast onderdeel van de exameninstrumenten. Verbeteractie: Het taalgebruik in de exameninstrumenten voor niveau 2 is aangepast. Toch blijkt uit de feedback van de gebruikers dat dit voor deze groep nog transparanter kan. In de jaarlijkse evaluatie (5 juni 2013) komt dit punt expliciet aan de orde. 11