Berechja College ONDERZOEK KWALITEIT EXAMINERING 2007-2008 Amersfoort, september 2008
p.2 van 17
VASTSTELLING RAPPORT Dit rapport bevat de resultaten van het onderzoek naar de kwaliteit van de examinering dat op 18 maart 2008 plaatsvond bij het Berechja College. Het rapport is vastgesteld op 17 september 2008. Reproductie van het rapport zonder toestemming van de inspectie of de school vindt niet plaats anders dan in zijn volledige vorm. p.3 van 17
p.4 van 17
INHOUDSOPGAVE SAMENVATTING 7 1 INLEIDING 9 2 KWALITEIT EXAMINERING BIJ BERECHJA COLLEGE 11 3 CONCLUSIES EN VERVOLGTOEZICHT 15 BIJLAGE 1: STANDAARDEN EN NORMERING 17 p.5 van 17
p.6 van 17
SAMENVATTING Het onderzoek naar de kwaliteit van de examens bij het Berechja College vond plaats op 18 maart 2008. De examinering van de volgende opleidingen is van onvoldoende kwaliteit. Stuurman/werktuigkundige zeevisvaart SW6 (10643) BOL. Het exameninstrumentarium voldoet niet aan de uitstroom- en toetstechnische eisen. De examenprocessen zijn onvoldoende geborgd. Visserij officier (Stuurman/werktuigkundige kleine vissersschepen) (91910) BOL. Het exameninstrumentarium voldoet niet aan de toetstechnische eisen. De examenprocessen zijn onvoldoende geborgd. Beide opleidingen worden op de locatie Urk gegeven. De onvoldoende opleidingen zullen worden gemeld aan de minister van OCW. Volgend jaar zal een onderzoek plaatsvinden naar de kwaliteitsverbetering van de examinering bij deze opleidingen. Over de uitvoering zullen te zijner tijd nadere afspraken gemaakt worden. p.7 van 17
p.8 van 17
1 INLEIDING Opzet onderzoek Het onderzoek is gebaseerd op het Toezichtkader examinering BVE 2007-2008 en de hierin opgenomen standaarden en normering. Deze zijn opgenomen in de bijlage. Een zelfbeoordeling was niet door het Berechja College aangeleverd. Uitgangspunt voor het onderzoek waren de documenten die de instelling had aangeleverd voor de te onderzoeken opleidingen. Op locatie vonden gesprekken plaats met constructeurs, vaststellers, beoordelaars, vertegenwoordigers uit de examencommissie (waaronder een extern deskundige), een vertegenwoordiger van het beroepenveld en het management. Tijdens deze gesprekken werd relevante documentatie onderzocht. Ter afsluiting vond een gesprek plaats met het college van bestuur. Een deel van het exameninstrumentarium van de opleiding Stuurman/werktuigkundige zeevisvaart SW6 (10643) BOL werd niet onderzocht, omdat het afkomstig is van het Ministerie van Economische Zaken (Agentschap Telecom). De voorlopige uitkomsten van de productbeoordeling van de overige instrumenten zijn tijdens het bezoek besproken. Onderzochte eindtermgerichte opleiding Crebo Naam opleiding Leerweg Deelkwalificatie (s) 10643 Stuurman/werktuig kundige zeevisvaart SW6 BOL BOL Inkoop: 52252 Eigen product: 52235, 52250, 52251 Exameneenheid en locatie Berechja College, Urk Onderzochte competentiegerichte opleiding Crebo Naam opleiding, naam uitstroom Leerweg 91910 Visserij officier Eigen product: (stuurman/werktuigkundige BOL kleine vissersschepen) Exameneenheid en locatie Berechja College, Urk p.9 van 17
p.10 van 17
2 KWALITEIT EXAMINERING BIJ BERECHJA COLLEGE 2.1. Beoordeling opleidingen bij Berechja College Standaard 1 Vertrouwen beroepenveld 2 Tevredenheid deelnemer 3 Deskundigheid betrokkenen 4 Instrumentarium: uitstroomeisen 5 Instrumentarium: toetstechnisch 6 Transparantie processen 7 Borging processen 8 Wettelijke vereisten 10643 Stuurman/werktuigkundige zeevisvaart SW6 BOL V V V O O V O V 91910 Visserij officier (stuurman/werktuigkundige kleine V V V V O V O V vissersschepen) BOL O = onvoldoende/ V = voldoende/ G = goed 2.2 Beschouwing Algemeen beeld De examinering van de opleiding Stuurman/werktuigkundige zeevisvaart SW6 is van onvoldoende kwaliteit. De exameninstrumenten voldoen niet aan de uitstroomeisen en de toetstechnische vereisten. Het examenproces is onvoldoende geborgd. Het bedrijfsleven heeft voldoende vertrouwen in de examens en de deelnemers zijn tevreden. De betrokkenen bij examinering zijn deskundig en het examenproces is transparant. De examinering van de opleiding Visserij officier is eveneens van onvoldoende kwaliteit. De exameninstrumenten voldoen niet aan toetstechnische vereisten. Het examenproces is onvoldoende geborgd. Het bedrijfsleven heeft voldoende vertrouwen in de examens en de deelnemers zijn tevreden. De betrokkenen bij examinering zijn deskundig en het examenproces is transparant. Toelichting beoordeling exameninstrumentarium De examinering van één deelkwalificatie (Marcom B) van de onderzochte opleidingen wordt verzorgd door het Agentschap Telecom. De kwaliteit van de examinering van Marcom B valt onder de verantwoordelijkheid van het Ministerie van Verkeer en Waterstaat. De Inspectie van het Onderwijs heeft op basis hiervan deze deelkwalificatie niet onderzocht. Deze deelkwalificatie wordt als voldoende aangemerkt omdat deze onder toezicht staat van het Ministerie van Verkeer en Waterstaat. p.11 van 17
Beoordeling exameninstrumentarium Stuurman/werktuigkundige zeevisvaart SW6 (10643) BOL Standaard 4. Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen 5. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen 52235 Gezondheidsleer 1/PreSea O O 52250 Zeemanschap-IIV O O 52251 BVA-IP V O O = onvoldoende/ V = voldoende/ G = goed Deelkwalificatie: 52235 Gezondheidsleer 1/PreSea De dekking van de eindtermen in relevante en valide toetsen is niet volledig. Door de exameninstrumenten zijn twintig van de in totaal 38 eindtermen van deze deelkwalificatie in het examenplan opgenomen, maar deze komen niet letterlijk overeen met de eindtermen in het eindtermendocument. 17 van de 38 eindtermen worden qua inhoud en toetsvorm passend getoetst. Daarbij wordt voor een aantal eindtermen verwezen naar de Basic Safety Training. Het Berechja College is door het Ministerie van Verkeer en Waterstaat gecertificeerd voor deze training. De Inspectie van het Onderwijs heeft op basis hiervan dit onderdeel van de deelkwalificatie niet onderzocht. Dit onderdeel van de deelkwalificatie wordt als voldoende aangemerkt omdat deze onder toezicht staat van het Ministerie van Verkeer en Waterstaat. 21 eindtermen worden niet getoetst. Daarnaast kennen de eindtermen die via deze training worden getoetst geen weging binnen de deelkwalificatie. Hierdoor is onvoldoende duidelijk gemaakt of een deelnemer in voldoende mate de eindtermen van deze deelkwalificatie beheerst. De toetstechnische kwaliteit van de toetsen laat lacunes op verschillende aspecten zien. Zo is de deelnemersinformatie beperkt en zijn afnamecondities van de praktijktoetsen niet gespecificeerd, waardoor een betrouwbare afname van het examen niet is geborgd. Ook is niet vermeld hoeveel tijd een deelnemer heeft om de gevraagde prestatie te leveren. Hierbij past volgens de instelling de kanttekening dat de deelnemers in de lessen worden voorbereid op het examen en dat de afnamecondities onderdeel zijn van het lesprogramma. Deelkwalificatie: 52250 Zeemanschap-IIV De dekking van de eindtermen in relevante en valide toetsen is niet volledig. Een deel van het toetsmateriaal ontbreekt waardoor de relatie met de p.12 van 17
eindtermen niet gelegd wordt. Tevens is een significant deel van de eindtermen niet in toetsmatrijzen en toetsen verwerkt, terwijl deze wel in het toetsplan zijn opgenomen. Het wel aangeleverde instrumentarium voldoet. Het ontbrekende toetsmateriaal is tijdens het onderzoek op locatie alsnog toegezegd, maar niet aangeleverd. De antwoordmodellen bij de toetsen vermelden wel welke deelscores er te behalen zijn maar er wordt niet vermeld wanneer punten wel of niet mogen/moeten worden toegekend, waardoor een consistente beoordeling niet geborgd is. Deelkwalificatie: 52251 BVA-IP De dekking van de eindtermen blijkt uit de beoordelingscriteria, hoewel dit door het ontbreken van concrete opdrachten wel als summier kan worden opgevat. Het oordeel is echter voldoende. De toetstechnische kwaliteit laat lacunes zien. Zo is de deelnemersinformatie beperkt en zijn afnamecondities van de praktijktoetsen niet gespecificeerd, waardoor een betrouwbare afname van het examen niet is geborgd. Hierbij past volgens de instelling de kanttekening dat de deelnemers in de lessen worden voorbereid op het examen en dat de afnamecondities onderdeel zijn van het lesprogramma. Tevens blijkt dat de antwoordmodellen bij de toetsen wel deelscores vermelden, maar er wordt niet vermeld wanneer punten wel of niet mogen/moeten worden toegekend, waardoor een consistente beoordeling niet geborgd is. Toelichting beoordeling exameninstrumentarium Visserij officier (stuurman/werktuigkundige kleine vissersschepen) 91910 BOL De onderwijsinstelling heeft overzichtelijk de competenties en kerntaken door middel van Proeven van Bekwaamheid verantwoord. De instelling heeft aangegeven dat een deelnemer slaagt voor het examen indien alle proeves met een voldoende zijn afgesloten. Het valt echter op dat bij een van de vier Proeves van Bekwaamheid niet alle competenties met een voldoende hoeven te worden afgesloten en dat de competenties in bepaalde gevallen compensabel zijn. Het is binnen competentiegericht examineren een onjuiste gedachtengang dat een of meer competenties die onvoldoende beheerst worden, kunnen worden gecompenseerd door uitstekend beheerste competenties. Doordat competenties in meerder proeves worden beoordeeld is desondanks geborgd dat een deelnemer alle competenties in voldoende mate beheerst. De onderwijsinstelling beschrijft de wijze van beoordelen zodanig dat verwacht mag worden dat sprake is van een eenduidige beoordeling. Bij de beoordeling van de competenties is echter niet weergegeven wanneer een beoordelaar een O, V, G of U mag/moet geven en hoe de beoordeling van een competentie tot stand komt. Drie deelnemers hebben de proeves afgelegd. Tijdens het gesprek konden geen beoordelingsformulieren getoond worden waaruit af te leiden is hoe de beoordeling tot stand is gekomen. Het reflectiegesprek weegt mee in de beoordeling, het gesprek kan de beoordeling beïnvloeden. Het doel is om het denkproces van de deelnemer duidelijk te krijgen, eventuele fatale missers kunnen toegelicht worden. De status van het verslag van het reflectiegesprek is niet in de proeven gespecificeerd. p.13 van 17
Toelichting beoordeling examineringsprocessen Voor beide opleidingen geldt dat het beroepenveld voldoende vertrouwen heeft in de examinering. Het beroepenveld is via de bedrijvenraad nadrukkelijk betrokken bij de examinering, onder meer bij de ontwikkeling van een Proeve van Bekwaamheid en de inrichting van de BPV. Een vertegenwoordiger van de bedrijvenraad is actief binnen de examencommissie. Een externe deskundige maakt deel uit van de examencommissie; deze deskundige heeft een een adviserende rol bij de ontwikkeling van de examens en een toezichthoudende en signalerende rol tijdens de examinering. Beide personen gaven tijdens de audit aan vertrouwen te hebben in de kwaliteit van de examinering. Ook uit de ruime fondsen die het beroepenveld ter beschikking stelt voor de aanschaf van simulatieapparatuur voor het opleiden en examineren van de deelnemers spreekt vertrouwen. De deelnemers zijn tevreden over de kwaliteit van de examinering, zoals blijkt uit de Job/Odin enquête. Berechja peilt daarnaast de tevredenheid bij de afname van elk examen. Incidenteel worden uitkomsten gebruikt om verbeteringen aan te brengen. Het valt op er geen doelstelling voor de mate van tevredenheid is vastgelegd. De betrokkenen bij examinering zijn deskundig. De deskundigheid is gebaseerd op ruime ervaring en op aanvullende scholing. Door het kleine docententeam (8 personen) heeft het management inzicht in de aanwezige deskundigheid. Een onafhankelijke externe deskundige beoordeelt na elke toetsperiode de kwaliteit van het vaststellingsproces en rapporteert hierover aan de examencommissie. Voor ondersteuning bij de ontwikkeling van Proeven van Bekwaamheid en het opbouwen van de deskundigheid van assessoren wordt deskundigheid van een extern bureau ingehuurd. De ervaring die is opgedaan met de afgelegde Proeve van Bekwaamheid door een eerste groep van enkele deelnemers aan de opleiding Visserij officier speelt hierbij een grote rol. Met name bij de opleiding Stuurman/werktuigkundige zeevisvaart SW6 geldt dat de deskundigheid nog onvoldoende tot uiting is gekomen in de kwaliteit van de examenproducten. De transparantie van de examineringsprocessen is voldoende. Het handboek examinering beschrijft helder de inrichting van de examenorganisatie en bevat de benodigde procedures en werkprocessen. De borging van de examenprocessen vertoont gebreken. Uit het ingeziene dossier van de onlangs, door enkele deelnemers van de opleiding Visserij officier afgelegde Proeve van Bekwaamheid blijkt, dat de voorgeschreven invulformulieren niet zijn gebruikt en de bevindingen bij deze eerste examinering niet zichtbaar zijn gebruikt voor verbetering van producten en de wijze van beoordelen. Evaluaties hebben in beperkte mate plaats, met name bij de beoordeling van tevredenheid van deelnemers. Niet duidelijk is in hoeverre er sprake is van systematische evaluatie en analyse rondom het verbeteren van procedures, exameninstrumenten en examenprocessen als toetsconstructie, toetsvaststelling en toetsbeoordeling en het bevorderen van deskundigheid. De onderzochte opleidingen voldoen aan alle wettelijke vereisten rondom examinering. p.14 van 17
3 CONCLUSIES EN VERVOLGTOEZICHT Het onderzoek naar de kwaliteit van de examens bij het Berechja College vond plaats op 18 maart 2008. De examinering van de volgende opleidingen is van onvoldoende kwaliteit. Stuurman/werktuigkundige zeevisvaart SW6 (10643) BOL. Het exameninstrumentarium voldoet niet aan de uitstroom- en toetstechnische eisen. De examenprocessen zijn onvoldoende geborgd. Visserij officier (stuurman/werktuigkundige kleine vissersschepen) (91910) BOL. Het exameninstrumentarium voldoet niet aan de toetstechnische eisen. De examenprocessen zijn onvoldoende geborgd. De onvoldoende opleidingen zullen worden gemeld aan de minister van OCW. Volgend jaar zal een onderzoek plaatsvinden naar de kwaliteitsverbetering van de examinering bij deze opleidingen. Over de uitvoering zullen te zijner tijd nadere afspraken gemaakt worden. p.15 van 17
p.16 van 17
BIJLAGE 1: STANDAARDEN EN NORMERING De standaarden en normering zijn opgenomen in de Regeling standaarden examens beroepsonderwijs 2007-2008, gepubliceerd in de staatscourant 29 april 2008 DOMEIN A: VALIDERING DOOR BELANGHEBBENDEN Standaard 1: Het beroepenveld heeft vertrouwen in de kwaliteit van de examinering. Standaard 2: De deelnemer is tevreden over de kwaliteit van de examinering. DOMEIN B: DESKUNDIGHEID VAN BETROKKENEN Standaard 3: De betrokkenen bij examinering zijn deskundig. DOMEIN C: EXAMENINSTRUMENTARIUM Standaard 4: Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen. Standaard 5: Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. DOMEIN D: PROCESSEN Standaard 6: De examineringsprocessen zijn transparant. Standaard 7: De examineringsprocessen zijn geborgd. DOMEIN E: WETTELIJKE VEREISTEN Standaard 8: De instelling voldoet aan de wettelijke vereisten rondom examinering. De kwaliteit van de examinering is voldoende, wanneer zes van de acht standaarden minimaal voldoende zijn, waaronder in elk geval standaarden 4, 5 en 8. Voor een toelichting op de standaarden en de normering, zie het document Toezichtkader examinering 2007-2008 (te vinden op www.onderwijsinspectie.nl). p.17 van 17