HOLLAND College ONDERZOEK KWALITEIT EXAMINERING

Transcriptie

1 HOLLAND College ONDERZOEK KWALITEIT EXAMINERING Amersfoort, september 2008

2 Rapportage kwaliteit examinering Holland College p.2 van 29

3 VASTSTELLING RAPPORT Dit rapport bevat de resultaten van het onderzoek naar de kwaliteit van de examinering dat op 9 en 11 april 2008 plaatsvond bij het Holland College. Het rapport is vastgesteld op 1 september Reproductie van het rapport zonder toestemming van de inspectie of de school vindt niet plaats anders dan in zijn volledige vorm. Rapportage kwaliteit examinering Holland College p.3 van 29

4 Rapportage kwaliteit examinering Holland College p.4 van 29

5 INHOUDSOPGAVE SAMENVATTING 7 1 INLEIDING 9 2 KWALITEIT EXAMINERING BIJ MBO GROEN 11 3 KWALITEIT EXAMINERING BIJ MBO VOEDING EN MILIEU 15 4 KWALITEIT EXAMINERING BIJ MBO DIER EN GROENE RUIMTE 21 5 CONCLUSIES EN VERVOLGTOEZICHT 27 BIJLAGE 1: STANDAARDEN EN NORMERING 29 Rapportage kwaliteit examinering Holland College p.5 van 29

6 Rapportage kwaliteit examinering Holland College p.6 van 29

7 SAMENVATTING Het onderzoek naar de kwaliteit van de examens bij het Holland College vond plaats op 9 en 11 april De examinering van de volgende opleidingen is van voldoende kwaliteit. MBO Groen, De Lier Vakbekwaam medewerker en groothandel en logistiek (11061) BOL MBO Voeding en Milieu, Delft Vakbekwaam medewerker voedingsmiddelentechnoloog 3 (11023) BBL Milieufunctionaris (11058) BOL Operator (operator voedingsindustrie Aequor) (97380) BOL MBO Dier en Groene Ruimte, Maasland Bedrijfsleider/beheerder dierverzorging (11034) BOL Bedrijfsleider/manager paardenhouderij (11035) BOL Assistent medewerker voedsel en leefomgeving (natuur en leefomgeving) (97023) BBL Vakfunctionaris natuur en techniek (medewerker gemechaniseerd loonbedrijf) (97140) BOL Vakfunctionaris natuur en techniek (vakbekwaam medewerker gemechaniseerd loonbedrijf) (97150) BBL Bij deze opleidingen vindt geen vervolgonderzoek plaats. De opleidingen kunnen overigens op grond van de aselecte steekproeftrekking opnieuw onderzocht worden. De examinering van de volgende opleiding is van onvoldoende kwaliteit. MBO Groen, De Lier Medewerker plantenteelt (11044) BBL. Het exameninstrumentarium voldoet niet aan toetstechnische kwaliteitseisen. Van deze constatering van onvoldoende examenkwaliteit wordt melding gemaakt aan de minister van LNV. Volgend jaar zal een onderzoek plaatsvinden naar de kwaliteitsverbetering van de examinering bij deze opleidingen. Over de uitvoering zullen te zijner tijd nadere afspraken gemaakt worden. Rapportage kwaliteit examinering Holland College p.7 van 29

8 Rapportage kwaliteit examinering Holland College p.8 van 29

9 1 INLEIDING Opzet onderzoek Het onderzoek is gebaseerd op het Toezichtkader examinering BVE en de hierin opgenomen standaarden en normering. Deze zijn opgenomen in de bijlage. Uitgangspunt voor het onderzoek bij het Holland College was de zelfbeoordeling die de instelling had opgesteld voor de te onderzoeken opleidingen. Op locatie vonden gesprekken plaats met constructeurs, vaststellers, beoordelaars, vertegenwoordigers uit de examencommissies en het management. Tijdens deze gesprekken werd relevante documentatie onderzocht. Ter afsluiting vond een gesprek plaats met het college van bestuur. Het exameninstrumentarium van de opleidingen is onderzocht. De voorlopige uitkomsten van de productbeoordeling zijn tijdens het bezoek besproken. Onderzochte eindtermgerichte opleidingen Crebo Naam opleiding Leerweg Deelkwalificatie(s) Exameneenheid en locatie Medewerker plantenteelt BBL Eigen product: 57017, 57025, Vakbekwaam medewerker en groothandel en logistiek Vakbekwaam medewerker voedingsmiddelentechnoloog 3 BOL BBL Eigen product: 57171, 57218, Eigen product: 57084, 57086, 57216, 57218, 57219, Milieufunctionaris BOL Eigen product: Bedrijfsleider/beheerder dierverzorging BOL Eigen product: 57228, 57236, 57237, 57244, 57313, Bedrijfsleider/manager paardenhouderij BOL Eigen product: 57199, 57255, 57297, 57300, 57409, MBO Groen, De Lier MBO Voeding en Milieu, Delft MBO Dier en Groene Ruimte, Maasland Rapportage kwaliteit examinering Holland College p.9 van 29

10 Onderzochte competentiegerichte opleidingen Crebo Naam opleiding, naam uitstroom Leerweg Operator (operator Inkoop: BOL voedingsindustrie Aequor) Assistent medewerker voedsel Inkoop: BBL en leefomgeving (natuur en leefomgeving) Exameneenheid en locatie MBO Voeding en Milieu, Delft MBO Dier en Groene Ruimte, Maasland Vakfunctionaris natuur en techniek (medewerker gemechaniseerd loonbedrijf) Vakfunctionaris natuur en techniek (vakbekwaam medewerker gemechaniseerd loonbedrijf) Inkoop: BOL Inkoop: BBL Rapportage kwaliteit examinering Holland College p.10 van 29

11 2 KWALITEIT EXAMINERING BIJ MBO GROEN 2.1. Beoordeling opleidingen bij MBO Groen Standaard 1 Vertrouwen beroepenveld 2 Tevredenheid deelnemer 3 Deskundigheid betrokkenen 4 Instrumentarium: uitstroomeisen 5 Instrumentarium: toetstechnisch 6 Transparantie processen 7 Borging processen 8 Wettelijke vereisten Medewerker plantenteelt BBL G G V V O G V G Vakbekwaam medewerker groothandel en logistiek BOL G G V V V G V G O = onvoldoende/ V = voldoende/ G = goed 2.2 Beschouwing Algemeen beeld De kwaliteit van de examinering van de opleiding Medewerker plantenteelt is onvoldoende omdat een deel van het exameninstrumentarium niet voldoet aan de toetstechnische eisen. De kwaliteit van de examinering van de opleiding Vakbekwaam medewerker groothandel en logistiek is voldoende. Voor beide onderzochte opleidingen geldt het volgende: het beroepenveld heeft vertrouwen in de examens, de deelnemers zijn tevreden over de examens, de betrokkenen bij de examinering zijn deskundig, het exameninstrumentarium voldoet aan de uitstroomeisen, de examenprocessen zijn transparant en geborgd en er wordt voldaan aan de wettelijke vereisten rondom examinering. Voor de opleiding Vakbekwaam medewerker groothandel en logistiek geldt aanvullend dat het exameninstrumentarium voldoet aan de toetstechnische eisen. Rapportage kwaliteit examinering Holland College p.11 van 29

12 Toelichting beoordeling exameninstrumentarium Beoordeling exameninstrumentarium Medewerker plantenteelt (11044 BBL) Standaard 4. Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen 5. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen Teeltvoorbereiding A: wisselen van teelten A G V Teelt A: glasteelt A G V Heftruck rijden V O O = onvoldoende/ V = voldoende/ G = goed Toelichting beoordeling exameninstrumentarium Medewerker plantenteelt Deelkwalificatie: Teeltvoorbereiding A: wisselen van teelten A Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen, aangezien alle eindtermen in de toetsen wat betreft inhoud en vorm volledig worden gedekt. Tevens blijkt dat de cesuur en de toetsing van de eindtermen op het juiste niveau liggen. Bij de beoordeling is echter wel geconstateerd dat de afnamecondities concreter moeten worden omschreven om een meer eenduidige afname te garanderen. Deelkwalificatie: Teelt A: glasteelt A Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen, aangezien alle eindtermen in de toetsen wat betreft inhoud en vorm volledig worden gedekt. Tevens blijkt dat de cesuur en de toetsing van de eindtermen op het juiste niveau liggen. In het schriftelijke examen is overigens wel geconstateerd dat de eindtermen minimaal worden getoetst, namelijk door middel van slechts 1 of 2 vragen. Deelkwalificatie: Heftruck rijden Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Hierbij wordt aangetekend dat de theorie toets vrij eenzijdig is samengesteld, aangezien de kennis over lastdiagrammen (weging 15 %) niet wordt bevraagd. Het exameninstrumentarium voldoet niet aan toetstechnische kwaliteitseisen. Bij de beoordeling van de praktijktoets Heftruck rijden is gebleken dat het beoordelingsformulier geen beoordelingscriteria bevat, waardoor een uniforme beoordeling niet is gewaarborgd. Tevens is in het instrumentarium niet Rapportage kwaliteit examinering Holland College p.12 van 29

13 aangegeven aan welke voorwaarden de afnamelocatie van de praktijktoets Heftruck rijden moet voldoen. Hierdoor is de eenduidige afname van deze toets niet gegarandeerd. Beoordeling exameninstrumentarium Vakbekwaam medewerker groothandel en logistiek (11061 BOL) Standaard 4. Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen 5. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen Logistieke processen V V Zorgsystemen V V Nederlands B V G O = onvoldoende/ V = voldoende/ G = goed Toelichting beoordeling exameninstrumentarium Vakbekwaam medewerker groothandel en logistiek Deelkwalificatie: Logistieke processen Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Wel is geconstateerd dat de toetsvragen en de opdrachten in een aantal gevallen niet voldoende concreet geformuleerd zijn. Hierbij wordt wel opgemerkt dat voor het deel van de praktijktoets, dat in een gesimuleerde situatie in de beroepspraktijk wordt afgenomen, geldt dat de beoordelingscriteria niet concreet genoeg zijn geformuleerd. Hierdoor is een betrouwbare beoordeling van dat deel van de praktijktoets niet gegarandeerd. Deelkwalificatie: Zorgsystemen Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. De omschrijving van de afnamecondities in de praktijkopdracht is echter niet duidelijk, aangezien niet specifiek wordt aangegeven dat de producten uit de voorbereiding in de opdracht worden meegenomen. Deelkwalificatie: Nederlands B Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Bij de beoordeling van de exameninstrumenten is echter geconstateerd dat in de luistertoets een aantal eindtermen niet op het juiste niveau wordt getoetst. Rapportage kwaliteit examinering Holland College p.13 van 29

14 Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen, aangezien het antwoordmodel de gewenste invulling omvat en de instructies en de informatie goed passen bij het niveau van de deelkwalificatie. Toelichting beoordeling examineringsprocessen Het vertrouwen van het beroepenveld in de kwaliteit van de examinering is goed. Het vertrouwen is gebaseerd op samenwerking per sector met het beroepenveld in de beroepenveldcommissies. Het beroepenveld wordt betrokken bij de inhoud en organisatie van examens. Het beroepenveld wordt structureel betrokken bij de beoordeling van de examinering. Het resultaat van een enquête uit 2007 toont aan dat het beroepenveld tevreden tot zeer tevreden is over de kwaliteit van de examinering. Na evaluatie van het resultaat van de enquête worden de bevindingen vertaald naar actiepunten, die worden opgenomen in het activiteitenplan examinering van het volgende schooljaar. Dit activiteitenplan wordt ook voorgelegd aan de beroepenveldcommissies. De deelnemers zijn voldoende tevreden over de kernpunten van de examinering. De tevredenheid van deelnemers wordt regelmatig met een valide en betrouwbaar instrument gemeten. De laatste onderzoeken tonen voldoende tevredenheid. MBO Groen is in gesprek met de studenten via panelgesprekken en de leerlingenraad, in deze gesprekken worden ook de resultaten van de tevredenheidsonderzoeken teruggekoppeld. De betrokkenen bij examinering zijn voldoende deskundig op basis van scholing en ervaring. Het management voert consequent functioneringsgesprekken met de medewerkers op basis van competentieprofielen. De toetsconstructeurs worden ondersteund door een deskundige. Structurele evaluatie van de deskundigheid van de beoordelaars van de PvB s wordt niet toegepast. De examineringsprocessen zijn zeer transparant. Er zijn heldere procedures en beschrijvingen van taken en verantwoordelijkheden van betrokkenen. Het is voor de studenten, het werkveld en de examinatoren duidelijk wanneer en op welke wijze geëxamineerd wordt. In de (centrale) MBO-examencommissie worden de examineringsprocessen regelmatig geëvalueerd en waar nodig bijgesteld. De examineringsprocessen zijn voldoende geborgd. Wel blijkt dat, gelet op de opmerkingen bij de exameninstrumenten, bij de vaststelling meer aandacht besteed dient te worden aan de juistheid en volledigheid van deze instrumenten. De eenheid evalueert de examinering regelmatig. Bij de borging zijn betrokken: een vaststellingscommissie met extern deskundige, een examencommissie en een examenbureau. Verantwoording vindt onder andere plaats via een jaarverslag. De examinering voldoet aan de wettelijke vereisten rondom examinering. Instellingsbreed wordt door de examencommissie MBO structureel gecontroleerd of aan de wettelijke eisen wordt voldaan. Dit blijkt uit de verslagen van deze examencommissie. Rapportage kwaliteit examinering Holland College p.14 van 29

15 3 KWALITEIT EXAMINERING BIJ MBO VOEDING EN MILIEU 3.1 Beoordeling opleidingen bij MBO Voeding en Milieu Standaard 1 Vertrouwen beroepenveld 2 Tevredenheid deelnemer 3 Deskundigheid betrokkenen 4 Instrumentarium: uitstroomeisen 5 Instrumentarium: toetstechnisch 6 Transparantie processen 7 Borging processen 8 Wettelijke vereisten Vakbekwaam medewerker voedingsmiddelentechnoloog 3 BBL V G V V V G V G Milieufunctionaris BOL V G V V V G V G Operator (operator voedingsindustrie Aequor) BOL V G V V V G V G O = onvoldoende/ V = voldoende/ G = goed 3.2 Beschouwing Algemeen beeld De examinering van de opleidingen is van voldoende kwaliteit. Het representatieve beroepenveld heeft voldoende vertrouwen in de examinering van de opleidingen. Deelnemers zijn tevreden over de examinering. De betrokkenen bij examinering zijn deskundig. Het exameninstrumentarium voldoet aan de uitstroomeisen en toetstechnische kwaliteitseisen. De examinering is zeer transparant en voldoende geborgd en voldoet aan de wettelijke vereisten. Toelichting beoordeling exameninstrumentarium MBO Voeding en Milieu koopt het volledige exameninstrumentarium van de opleiding Operator in bij de Groene Standaard. Het exameninstrumentarium is van voldoende kwaliteit. Rapportage kwaliteit examinering Holland College p.15 van 29

16 Beoordeling exameninstrumentarium Vakbekwaam medewerker voedingsmiddelentechnoloog (11023 BBL) Standaard 4. Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen 5. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen Bedienen van apparatuur G G Transport en opslag V V Product- en procescontroles V V Zorgsystemen V V Aansturen afdeling G G Producttechnologie V V O = onvoldoende/ V = voldoende/ G = goed Toelichting beoordeling exameninstrumentarium Vakbekwaam medewerker voedingsmiddelentechnoloog Deelkwalificatie: Bedienen van apparatuur Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Uit onderzoek blijkt namelijk dat beide toetsen duidelijk en afwisselend zijn en alle eindtermen afdekken op het juiste niveau. Tevens blijkt dat de te behalen scores per vraag geheel in overeenstemming zijn met het gewicht van de bijbehorende eindterm(en). Geconstaterd is dat de instructie aan de deelnemer zeer duidelijk omschreven staat op de deelnemersversie van beide toetsen. Ook blijkt dat het antwoordmodel van de theorietoets correct en volledig is en dat voor beide delen van de praktijtoets zeer duidelijke beoordelingscriteria zijn uitgewerkt. Deelkwalificatie: Transport en opslag Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Hierbij wordt wel opgemerkt dat 1 vraag uit de schriftelijke toets, met erg veel punten, erg bepalend voor het eindcijfer is. Wel blijkt bij het inhoudelijk beoordelen van de praktijkopdracht dat de afname condities niet geheel concreet en volledig zijn omschreven. Deelkwalificatie: Product- en procescontroles Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen, maar een beperkt aantal eindtermen wordt echter niet door de toetsen afgedekt. Rapportage kwaliteit examinering Holland College p.16 van 29

17 Wel blijkt dat er de nodige onjuistheden in de antwoordmodellen van de theorietoets zitten. Deelkwalificatie: Zorgsystemen Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Een beperkt aantal eindtermen wordt echter niet door de toetsen afgedekt. Uit het productonderzoek blijkt echter wel dat de omschrijving van de afnamecondities in de praktijkopdracht niet duidelijk is, aangezien niet specifiek wordt aangegeven dat de producten uit de voorbereiding in de opdracht worden meegenomen. Deelkwalificatie: Aansturen afdeling Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen, aangezien de eindtermen volledig worden afgedekt en veel creativiteit is gebruikt is om twee afwisselende toetsen samen te stellen. De vraagstelling en taalgebruik zijn helder. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen, aangezien het antwoordmodel de gewenste invulling omvat en de instructies en de informatie zeer goed passen bij het niveau van de deelkwalificatie. Deelkwalificatie: Producttechnologie Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen Een beperkt aantal eindtermen wordt echter niet door de toetsen afgedekt. Aandachtpunt blijft echter wel de specifieke omschrijving van de praktijkopdracht, in combinatie met de beoordeling aan de hand van waarnemingen. Beoordeling exameninstrumentarium Milieufunctionaris (11058 BOL) Standaard 4. Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen 5. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen Moderne vreemde taal Engels B V V O = onvoldoende/ V = voldoende/ G = goed Rapportage kwaliteit examinering Holland College p.17 van 29

18 Toelichting beoordeling exameninstrumentarium Milieufunctionaris Deelkwalificatie: Moderne vreemde taal Engels B Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Een beperkt aantal eindtermen wordt echter niet door de toetsen afgedekt. Verder valt bij de beoordeling van de theorietoetsen op dat binnen de cesuur de nadruk ligt op vorm en minder op inhoud. Het exameninstrumentarium voldoet aan de toetstechnische kwaliteitseisen, maar de informatie over de toetstechnische specificaties van de luistervaardigheidtoets zijn niet uitgewerkt. Toelichting beoordeling examineringsprocessen Het vertrouwen in de kwaliteit van de examinering van de opleidingen, door het representatieve beroepenveld, is voldoende. Elke twee jaar wordt een enquête naar de tevredenheid over examinering onder het beroepenveld gehouden. Voor de examinering van de competentiegerichte opleidingen geldt dat de tevredenheid van het beroepenveld direct na afname van een Proeve van Bekwaamheid, middels een evaluatie op schrift, wordt gemeten. MBO Voeding en Milieu organiseert twee maal per jaar bedrijvendagen. Op deze bijeenkomsten komen vooral inhoud en uitvoering van examinering aan de orde. De deelnemer is tevreden over de kwaliteit van de examinering. Dit blijkt uit het resultaat van de laatst gehouden JOB- enquête die is voorgelegd aan de deelnemers. Deelnemers worden door middel van een info bulletin geïnformeerd over het resultaat van de tevredenheidmetingen. MBO Voeding en Milieu organiseert jaarlijks panelgesprekken met deelnemers. De betrokkenen bij de examinering zijn voldoende deskundig. Alle toetsconstructeurs worden door de interne beoordelingscommissie gecoacht op het construeren van kwalitatief goede exameninstrumenten. Het competentieprofiel van assessor is opgenomen in het handboek examinering CKS. Voor zowel de docenten die een rol krijgen bij de beoordeling van Proeven van Bekwaamheid als voor vertegenwoordigers vanuit het bedrijfsleven wordt een assessorentraining georganiseerd. Voor het beoordelen van Proeven van Bekwaamheid worden alleen getrainde assessoren ingezet. Structurele evaluatie van de deskundigheid van de beoordelaars van de PvB s wordt niet toegepast. De examineringprocessen zijn zeer transparant. Er zijn heldere procedures en beschrijvingen van taken en verantwoordelijkheden van betrokkenen. Het is voor de studenten, het werkveld en de examinatoren duidelijk wanneer en op welke wijze geëxamineerd wordt. In de (centrale) MBO-examencommissie worden de examineringsprocessen regelmatig geëvalueerd en waar nodig bijgesteld. Rapportage kwaliteit examinering Holland College p.18 van 29

19 De examineringsprocessen zijn voldoende geborgd. De opleidingsexamencommissie waarborgt zorgvuldige afname en beoordeling van de examens. De afname wordt met de controle van het protocolformulier in het verslag van de opleidingsexamencommissie aantoonbaar beheerst en gecontroleerd. Met een steekproefsgewijze tweede beoordeling wordt de beoordeling van de theorietoetsing geborgd. Een dergelijke structurele borging van de beoordeling van de praktijkexaminering is overigens niet aan de orde. De examinering voldoet aan de wettelijke vereisten rondom examinering. Instellingsbreed wordt door de examencommissie MBO structureel gecontroleerd of nog steeds aan de wettelijke eisen wordt voldaan. Dit blijkt uit de verslagen van deze examencommissie. Rapportage kwaliteit examinering Holland College p.19 van 29

20 Rapportage kwaliteit examinering Holland College p.20 van 29

21 4 KWALITEIT EXAMINERING BIJ MBO DIER EN GROENE RUIMTE 4.1. Beoordeling opleidingen bij MBO Dier en Groene Ruimte Standaard 1 Vertrouwen beroepenveld 2 Tevredenheid deelnemer 3 Deskundigheid betrokkenen 4 Instrumentarium: uitstroomeisen 5 6 Instrumentarium: toetstechnisch Transparantie processen 7 Borging processen 8 Wettelijke vereisten Bedrijfsleider/beheerder dierverzorging BOL G G V V V G V G Bedrijfsleider/manager paardenhouderij BOL G G V V V G V G Assistent medewerker voedsel en leefomgeving (natuur en G G V V V G V G leefomgeving) BBL Vakfunctionaris natuur en techniek (medewerker gemechaniseerd G G V V V G V G loonbedrijf) BOL Vakfunctionaris natuur en techniek (vakbekwaam medewerker G G V V V G V G gemechaniseerd loonbedrijf) BBL O = onvoldoende/ V = voldoende/ G = goed 4.2 Beschouwing Algemeen beeld De examinering van de opleidingen is van voldoende kwaliteit. Het representatieve beroepenveld heeft veel vertrouwen in de examinering van de opleidingen. Deelnemers zijn tevreden over de examinering. De betrokkenen bij examinering zijn deskundig. Het exameninstrumentarium voldoet aan de uitstroomeisen en toetstechnische kwaliteitseisen. De examinering is transparant en geborgd en voldoet aan de wettelijke vereisten. Toelichting beoordeling exameninstrumentarium MBO Dier en Groene Ruimte koopt het volledige exameninstrumentarium van de opleidingen Assistent medewerker voedsel en leefomgeving BBL, Vakfunctionaris natuur en techniek BOL en Vakfunctionaris natuur en techniek BBL in bij de Groene Standaard. Het exameninstrumentarium is van voldoende kwaliteit. Rapportage kwaliteit examinering Holland College p.21 van 29

22 Beoordeling exameninstrumentarium Bedrijfsleider/beheerder dierverzorging (11034 BOL) Standaard 4. Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen 5. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen Inrichten verkoopruimten B G V Voeren (gezelschap)dieren V V Verzorgen (gezelschap)dieren G V Verlenen eerste hulp bij dieren V V Moderne vreemde taal Engels B V V Managen inkoop V V O = onvoldoende/ V = voldoende/ G = goed Toelichting beoordeling exameninstrumentarium Deelkwalificatie: Inrichten verkoopruimten B Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Uit onderzoek blijkt namelijk dat beide toetsen duidelijk en afwisselend zijn en alle eindtermen afdekken op het juiste niveau. Tevens blijkt dat de te behalen scores per vraag geheel in overeenstemming zijn met het gewicht van de bijbehorende eindterm(en). Wel blijkt dat de beschrijving van de afnamecondities van de BPV opdracht niet volledig is. Deelkwalificatie: Voeren (gezelschap)dieren Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen, maar de beoordeling bij toets 1 is niet helder en niet consequent en relateert niet voldoende aan verantwoordelijkheden voor het dier en het aansturen van medewerkers/vrijwilligers. Wel blijkt dat er de nodige onjuistheden in de antwoordmodellen van de theorietoetsen zitten. Deelkwalificatie: Verzorgen (gezelschap)dieren Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Geconstateerd is dat de eindtermen allemaal gedekt en getoetst worden op een manier die recht doet aan het kwalificatieniveau en aan de aard van de eindtermen. Tussen de toetsen onderling is ook sprake van een evenwichtige weging. Rapportage kwaliteit examinering Holland College p.22 van 29

23 Wel blijkt dat de afnamecondities niet geheel helder zijn omschreven. Deelkwalificatie: Verlenen eerste hulp bij dieren Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen, maar een beperkt aantal eindtermen wordt echter niet door de toetsen afgedekt en niet alle eindtermen hebben de juiste toetsvorm. Wel blijkt dat er de nodige onjuistheden in de antwoordmodellen van de theorietoets zitten. Deelkwalificatie: Moderne vreemde taal Engels B Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Een beperkt aantal eindtermen wordt echter niet door de toetsen afgedekt. Het blijkt dat de informatie omtrent het afnameniveau niet geheel duidelijk is. Deelkwalificatie: Managen inkoop Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen, maar de toetsvragen zijn heel kennisgericht en dan ook nog vooral op de te gebruiken systemen in het inkoopproces i.p.v. de dilemma's en argumenten (managen) van het inkoopproces zelf. Wel blijkt dat een aantal vragen niet concreet genoeg is geformuleerd en de bijbehorende beoordelingscriteria niet objectief zijn weergegeven. Beoordeling exameninstrumentarium Bedrijfsleider/manager paardenhouderij (11035 BOL) Standaard 4. Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen 5. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen Voeren dieren V V Mennen paarden G V MCK C V V Bedrijfshulpverlening V V Administreren van financiën G V Opstellen ondernemersplan V V O = onvoldoende/ V = voldoende/ G = goed Rapportage kwaliteit examinering Holland College p.23 van 29

24 Toelichting beoordeling exameninstrumentarium Bedrijfsleider/manager paardenhouderij Deelkwalificatie: Voeren dieren Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Het blijkt dat een beperkt aantal eindtermen uit de toetsmatrijs niet door de toetsen wordt afgedekt. Deelkwalificatie: Mennen paarden Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Geconstateerd is dat de eindtermen allemaal gedekt en getoetst worden op een manier die recht doet aan het kwalificatieniveau en aan de aard van de eindtermen. Uit onderzoek blijkt dat het beoordelingsvoorschrift grotendeels duidelijke criteria bevat, maar het toetstechnische niveau kan worden verhoogd door deelscores aan te geven. Deelkwalificatie: MCK C Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen, maar bij een beperkt aantal eindtermen komt de weging niet overeen met de te behalen punten voor de overeenkomstige vragen. Wel is de informatie omtrent de afnamecondities niet duidelijk genoeg. Deelkwalificatie: Bedrijfshulpverlening Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Wel blijkt dat de informatie omtrent de afnamecondities onvoldoende duidelijk is. Deelkwalificatie: Administreren van financiën Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. Alle eindtermen worden in verhouding getoetst. Ook blijkt dat de toetsen een goed niveau hebben en de cesuur op een goed niveau ligt. Voor alle toetsen geldt dat het totaal aantal punten per onderdeel duidelijk is, maar niet transparant is hoe de score per onderdeel is opgebouwd. Deelkwalificatie: Opstellen ondernemersplan Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen, maar een beperkt aantal eindtermen wordt echter niet door de toetsen afgedekt. Wel blijkt dat het beoordelingsvoorschrift geen exacte weergave van de antwoorden op de examenvragen bevat. Er is geen uitgewerkt voorbeeld voorhanden. Rapportage kwaliteit examinering Holland College p.24 van 29

25 Toelichting beoordeling examineringsprocessen Het vertrouwen in de kwaliteit van de examinering van de opleidingen, door het representatieve beroepenveld, is goed. Het beroepenveld is door de instelling van de bedrijfsadviescommissie en de bijbehorende vaktechnische commissies per sector niet alleen betrokken bij de uitvoering van de examens, maar ook bij de inhoudelijke kant van de examens. De deelnemer is tevreden over de kwaliteit van de examinering. Dit blijkt uit het resultaat van een enquête die is voorgelegd aan de deelnemers. In deze gesprekken worden de resultaten van de enquête aan de deelnemers teruggekoppeld. De betrokkenen bij de examinering zijn voldoende deskundig. De binnenschoolse beoordelaars hebben scholing gevolgd en doen aan intervisie. Voor zowel de docenten die een rol krijgen bij de beoordeling van Proeven van Bekwaamheid als voor vertegenwoordigers vanuit het bedrijfsleven wordt een assessorentraining georganiseerd. Structurele evaluatie van de deskundigheid van de beoordelaars van de praktijkexaminering wordt bij deze eenheid niet toegepast. De examinering is transparant en geborgd. De procedures, taken en verantwoordelijkheden zijn duidelijk. Alle betrokkenen bij de examinering werken conform de vastgestelde processen. Alle examenproducten zijn beoordeeld door de interne beoordelingscommissie en vastgesteld in de MBOvaststellingscommissie. De examinering van de opleidingen is geborgd conform de procedures uit het Handboek toetsing en examinering. Structurele borging van de beoordeling van de praktijkexaminering is hier geen onderdeel van. In de (centrale) MBO-examencommissie worden de examineringsprocessen regelmatig geëvalueerd en waar nodig bijgesteld. De opleidingen voldoen aan de wettelijke vereisten rondom examinering. Instellingsbreed wordt door de examencommissie MBO structureel gecontroleerd of aan de wettelijke eisen wordt voldaan. Dit blijkt uit de verslagen van deze examencommissie. Rapportage kwaliteit examinering Holland College p.25 van 29

26 Rapportage kwaliteit examinering Holland College p.26 van 29

27 5 CONCLUSIES EN VERVOLGTOEZICHT De examinering van de volgende opleidingen is van voldoende kwaliteit. MBO Groen, De Lier Vakbekwaam medewerker en groothandel en logistiek (11061) BOL MBO Voeding en Milieu, Delft Vakbekwaam medewerker voedingsmiddelentechnoloog 3 (11023) BBL Milieufunctionaris (11058) BOL Operator (operator voedingsindustrie Aequor) (97380) BOL MBO Dier en Groene Ruimte, Maasland Bedrijfsleider/beheerder dierverzorging (11034) BOL Bedrijfsleider/manager paardenhouderij (11035) BOL Assistent medewerker voedsel en leefomgeving (natuur en leefomgeving) (97023) BBL Vakfunctionaris natuur en techniek (medewerker gemechaniseerd loonbedrijf) (97140) BOL Vakfunctionaris natuur en techniek (vakbekwaam medewerker gemechaniseerd loonbedrijf) (97150) BBL Bij deze opleidingen vindt geen vervolgonderzoek plaats. De opleidingen kunnen overigens op grond van de aselecte steekproeftrekking opnieuw onderzocht worden. De examinering van de volgende opleiding is van onvoldoende kwaliteit. MBO Groen, De Lier Medewerker plantenteelt (11044) BBL. Het exameninstrumentarium voldoet niet aan toetstechnische kwaliteitseisen. Van deze constatering van onvoldoende examenkwaliteit wordt melding gemaakt aan de minister van LNV. Volgend jaar zal een onderzoek plaatsvinden naar de kwaliteitsverbetering van de examinering bij deze opleidingen. Over de uitvoering zullen te zijner tijd nadere afspraken gemaakt worden. Rapportage kwaliteit examinering Holland College p.27 van 29

28 Rapportage kwaliteit examinering Holland College p.28 van 29

29 BIJLAGE 1: STANDAARDEN EN NORMERING De standaarden en normering zijn opgenomen in de Regeling standaarden examens beroepsonderwijs , gepubliceerd in de staatscourant 29 april 2008 DOMEIN A: VALIDERING DOOR BELANGHEBBENDEN Standaard 1: Het beroepenveld heeft vertrouwen in de kwaliteit van de examinering. Standaard 2: De deelnemer is tevreden over de kwaliteit van de examinering. DOMEIN B: DESKUNDIGHEID VAN BETROKKENEN Standaard 3: De betrokkenen bij examinering zijn deskundig. DOMEIN C: EXAMENINSTRUMENTARIUM Standaard 4: Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen. Standaard 5: Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. DOMEIN D: PROCESSEN Standaard 6: De examineringsprocessen zijn transparant. Standaard 7: De examineringsprocessen zijn geborgd. DOMEIN E: WETTELIJKE VEREISTEN Standaard 8: De instelling voldoet aan de wettelijke vereisten rondom examinering. De kwaliteit van de examinering is voldoende, wanneer zes van de acht standaarden minimaal voldoende zijn, waaronder in elk geval standaarden 4, 5 en 8. Voor een toelichting op de standaarden en de normering, zie het document Toezichtkader examinering (te vinden op Rapportage kwaliteit examinering Holland College p.29 van 29