LANDSTEDE ONDERZOEK NAAR KWALITEITSVERBETERING EXAMINERING

Transcriptie

1 LANDSTEDE ONDERZOEK NAAR KWALITEITSVERBETERING EXAMINERING Amersfoort, juni 2008

2 p.2 van 17

3 VASTSTELLING RAPPORT Dit rapport bevat de resultaten van het onderzoek naar kwaliteitsverbetering van examinering dat op 18 april plaatsvond bij Landstede. Het rapport is vastgesteld op 27 juni Reproductie van het rapport zonder toestemming van de inspectie of de school vindt niet plaats anders dan in zijn volledige vorm. p.3 van 17

4 p.4 van 17

5 INHOUDSOPGAVE SAMENVATTING 7 1 INLEIDING 9 2 KWALITEIT EXAMINERING BIJ LANDSTEDE HARDERWIJK A 11 3 CONCLUSIES 15 BIJLAGE 1: STANDAARDEN EN NORMERING 17 p.5 van 17

6 p.6 van 17

7 SAMENVATTING Dit rapport bevat de resultaten van het onderzoek naar kwaliteitsverbetering van de examinering van opleidingen waarvan eerder was vastgesteld, dat deze onvoldoende was. Tijdens het onderzoek bij Landstede waren het beoordelingskader en de normering van het Toezichtkader van toepassing. Het onderzoek naar kwaliteitsverbetering van de examens bij Landstede vond plaats op 18 april De examinering van de volgende opleiding, heronderzocht na een verlengde verbetertermijn, is van onvoldoende kwaliteit: Telecom ICT Engineer (10926) BOL. Het exameninstrumentarium voldoet niet aan de inhoudelijke uitstroomeisen en voldoet niet aan de toetstechnische uitstroomeisen. Van deze constatering van onvoldoende kwaliteit wordt melding gemaakt aan de minister van OCW. De examinering van de volgende opleiding is van voldoende kwaliteit: Tegelzetter (10151) BBL Bij deze opleiding vindt geen nader onderzoek plaats. De opleiding kan overigens op grond van de aselecte steekproeftrekking opnieuw onderzocht worden. p.7 van 17

8 p.8 van 17

9 1 INLEIDING De inspectie van het onderwijs voert onderzoek uit naar de kwaliteit van de examinering Hierbij is sprake van de onderstaande onderzoeken met separate rapporten. a. Het heronderzoek bij de categorie van 285 opleidingen: waarvan de examenkwaliteit als onvoldoende is beoordeeld door het Kwaliteitscentrum examinering (KCE); en waarvoor de staatssecretaris een voorgenomen besluit of verlengde verbetertijd heeft gegeven vanwege de onvoldoende examenkwaliteit ; en waarvan de examenkwaliteit door de inspectie als onvoldoende is beoordeeld. b. Het onderzoek naar kwaliteitsverbetering bij de categorie opleidingen: waarvan de examenkwaliteit als onvoldoende is beoordeeld door het Kwaliteitscentrum examinering (KCE); en waarvoor de staatssecretaris een waarschuwing heeft gegeven vanwege de onvoldoende examenkwaliteit Op grond van de brief van de staatssecretaris d.d. 6 september 2007 is van deze categorie opleidingen het eerdere onderzoek naar de examinering stopgezet en heeft de inspectie geen herbeoordeling van de examenkwaliteit uitgevoerd. Bij deze opleidingen heeft de inspectie thans een onderzoek naar de examenkwaliteit uitgevoerd. De staatssecretaris heeft voor deze groep opleidingen bepaald dat bij onvoldoende examenkwaliteit nogmaals een verbetertijd van een jaar geboden wordt. c. Het onderzoek bij een aselecte steekproef van overige opleidingen. Dit betreft een nulmeting. Van resultaten van dit onderzoek ontvangt de instelling een separaat rapport. Dit rapport heeft uitsluitend betrekking op de onder ad b. genoemde categorie opleidingen. Het onderzoek naar kwaliteitsverbetering van deze opleidingen is uitgevoerd in de periode april en mei In dit onderzoek betreft dit de opleiding(en): Crebo Naam opleiding Leerweg Deelkwalificatie(s) Exameneenheid en locatie Tegelzetter BBL Eigen product: Harderwijk A BBL Inkoop: 50631, Telecom ICT engineer (MK- BOL Eigen product: 50849, 50858, Harderwijk A p.9 van 17

10 Tel/ICT) 50859, 50860, Tijdens dit onderzoek waren de standaarden en de normering van het Toezichtkader examinering BVE van toepassing. Opzet onderzoek naar kwaliteitsverbetering Uitgangspunt voor het onderzoek was de zelfbeoordeling van de instelling over de examenkwaliteit van de te onderzoeken opleidingen. Daarnaast vormden de bevindingen uit het onderzoek naar de kwaliteit van het exameninstrumentarium een belangrijke informatiebron. Er vonden gesprekken plaats met constructeurs, vaststellers, beoordelaars, vertegenwoordigers uit de examencommissies en het management. Tijdens deze gesprekken werden de voorlopige resultaten uit het onderzoek naar het exameninstrumentarium doorgenomen en werd relevante documentatie onderzocht. Ter afsluiting vond een gesprek plaats met het college van bestuur. p.10 van 17

11 2 KWALITEIT EXAMINERING BIJ LANDSTEDE HARDERWIJK A 2.1. Beoordeling opleidingen bij Harderwijk A Standaard 1 Vertrouwen beroepenveld 2 Tevredenheid deelnemer 3 Deskundigheid betrokkenen 4 Instrumentarium: uitstroomeisen 5 Instrumentarium: toetstechnisch 6 Transparantie processen 7 Borging processen 8 Wettelijke vereisten Tegelzetter BBL V V V V V V V V Telecom ICT engineer (MK- V V O O O V V V Tel/ICT) BOL O = onvoldoende/ V = voldoende/ G = goed 2.2 Beschouwing Algemeen beeld De examinering van de opleiding Tegelzetter is van voldoende kwaliteit. Het exameninstrumentarium voldoet aan de inhoudelijke uitstroomeisen. De inhoud en de toetsvorm van de examentoetsen passen bij de eindtermen. De cesuur van de deelkwalificaties ligt mimimaal op het niveau waarop een deelnemer de eindtermen in voldoende mate beheerst. De eindtermen worden op het juiste niveau getoetst. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. De instructie voor de deelnemer is duidelijk en volledig. De afnamecondities waarborgen een betrouwbare beoordeling van het examen. Het antwoordmodel en beoordelingsvoorschrift zijn correct en volledig. De examinering van de opleiding Telecom ICT engineer is van onvoldoende kwaliteit. Het exameninstrumentarium voldoet niet aan de inhoudelijke uitstroomeisen en voldoet niet aan de toetstechnische uitstroomeisen. De deskundigheid van toetsconstructeurs, vaststellers en beoordelaars is onvoldoende. p.11 van 17

12 Toelichting beoordeling exameninstrumentarium Deelkwalificaties en worden ingekocht bij een door KCE erkende leverancier. De exameninstrumenten voldoen daarmee aan de gestelde eisen. Beoordeling exameninstrumentarium Tegelzetter BBL Standaard 4. Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen 5. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen Maatschappelijk culturele vorming A V V O = onvoldoende/ V = voldoende/ G = goed Het exameninstrumentarium van de deelkwalificatie Maatschappelijke culturele vorming A voldoet aan de inhoudelijke uitstroomeisen. De inhoud en de toetsvorm van de examentoetsen passen bij de eindtermen. De cesuur van de deelkwalificaties ligt mimimaal op het niveau waarop een deelnemer de eindtermen in voldoende mate beheerst. De eindtermen worden op het juiste niveau getoetst. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. De instructie voor de deelnemer is duidelijk en volledig. De afnamecondities waarborgen een betrouwbare beoordeling van het examen. Het antwoordmodel en beoordelingsvoorschrift is correct en volledig. p.12 van 17

13 Beoordeling exameninstrumentarium Telecom ICT engineer (MK-Tel/ICT)10926 BOL Standaard 4. Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen 5. Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen Maatschappelijk culturele vorming V V Doorstroom HBO elektrotechniek V V Algemene vaardigheden middenkaderfunctionaris elektrotechniek V V Basisvaardigheden informatietechniek V V Onderhoud en beheer netwerken 4 O O O = onvoldoende/ V = voldoende/ G = goed Het exameninstrumentarium van de vier eerstgenoemde deelkwalificaties voldoet aan de uitstroomeisen. De inhoud en de toetsvorm van de toetsen passen bij de eindtermen. De cesuur van de deelkwalificatie ligt minimaal op het niveau waarop een deelnemer de eindtermen in voldoende mate beheerst. De eindtermen worden op het niveau van het kwalificatiedossier. Voor de deelkwalificatie Maatschappelijke culturele vorming geldt als aandachtspunt dat het beheersingsniveau bij 8 van de 24 eindtermen niet juist is. Het exameninstrumentarium van de vier eerstgenoemde deelkwalificaties voldoet eveneens aan de toetstechnische eisen. De instructie voor de deelnemer is duidelijk en volledig. De deelnemer weet waarop hij wordt beoordeeld, de deelnemer weet hoeveel tijd hij heeft om de gevraagde prestatie te leveren, en weet welke score er per opgave valt te behalen. De afnamecondities waarborgen een betrouwbare beoordeling van het examen omdat ze juist zijn omschreven. Het gebruikte antwoordmodel is correct en volledig. Het bevat de juiste antwoorden op de toetsvragen, het antwoordmodel vermeldt welke (deel)score er per opgave te behalen valt en geeft aan wanneer punten wel of niet worden toegekend. Het exameninstrumentarium van de deelkwalificatie Onderhoud en beheer netwerken voldoet niet aan de inhoudelijke uitstroomeisen. De gehanteerde cesuur doet geen recht aan de toetsen; de cesuur waarborgt niet dat de deelnemer de eindtermen in voldoende mate beheerst. Bij een cesuur van 55% bestaat de kans dat niet alle eindtermen voldoende worden beheerst. p.13 van 17

14 Het exameninstrumentarium van deelkwalificatie Onderhoud en beheer netwerken voldoet niet aan de toetstechnische kwaliteitseisen. Bij de aangeleverde toetsen ontbreekt een duidelijk beoordelingsinstrument. De beoordelingsmodellen zijn te algemeen. Er wordt beoordeeld op algemene vaardigheden zoals verzorging, houding, niveau. Uitgewerkte beoordelingsmodellen met de onderwerpen van de eindtermen ontbreken. Toelichting beoordeling examineringsprocessen Het beroepenveld heeft voldoende vertrouwen in de examinering van de onderzochte opleidingen. Voor de opleiding Tegelzetter geldt dat op de MCV toets na, het gehele exameninstrumentarium inclusief afname wordt ingekocht bij Fundeon. Voor de opleiding Telecom ICT engineer geldt dat het beroepenveld op verschillende wijzen betrokken wordt bij de examinering en beoordeling, bijvoorbeeld door middel van een Branche Advies Raad en BPVinformatie avonden. De deelnemers zijn tevreden over de examinering. Dit blijkt uit het onderzoek dat instellingsbreed is uitgevoerd onder deelnemers. Ook voert de eenheid steekproefsgewijs evaluaties uit onder deelnemers na een proefperiode. Structurele analyse van de resultaten van deze onderzoeken is een aandachtspunt. Voor de opleiding Tegelzetter geldt dat betrokkenen bij examinering voldoende deskundig zijn. Op de MCV toets na wordt het gehele exameninstrumentarium, inclusief de afname, ingekocht bij Fundeon. In samenwerking met Fundeon hebben voor veranderingen in beoordeling van competentiegericht examineren voorlichtingssessies met leermeesters plaatsgevonden. Nieuw toetsmateriaal voor deze opleidingen wordt ontwikkeld door een consortium, waar docenten van Harderwijk A deel van uitmaken. Voor de opleiding Telecom ICT geldt dat betrokkenen bij examinering onvoldoende deskundig zijn. Voor deze opleiding geldt dat de deskundigheid van constructeurs, vaststellers en (praktijk)beoordelaars niet is vastgesteld en niet blijkt uit de productresultaten. De examineringsprocessen zijn voldoende transparant en voldoende geborgd. Het Handboek Examinering dat Landstede breed is ingevoerd, beschrijft taken en bevoegdheden van betrokkenen bij examinering en geeft een overzicht van de procedures. In de Oer-en van de opleidingen is de examinering voor de deelnemer inzichtelijk gemaakt. Er is sprake van regelmatige evaluatie van examinering en de bijbehorende examineringprocessen. Een aandachtspunt is dat de betrokken afdelingen evaluatieprocessen duidelijker beschrijft zodat de evaluatie als sturingsmiddel en analyse van examineringsprocessen meer praktisch bruikbaar wordt. Zodoende wordt het mogelijk knelpunten in toetsconstructie, vaststelling en deskundigheid van betrokkenen nader te analyseren. De examinering van de onderzochte opleidingen voldoet aan de wettelijke vereisten. p.14 van 17

15 3 CONCLUSIES EN VERVOLGTOEZICHT De examinering van de volgende opleiding is van onvoldoende kwaliteit: Telecom ICT Engineer (10926) BOL. Het exameninstrumentarium voldoet niet aan de inhoudelijke uitstroomeisen en voldoet niet aan de toetstechnische uitstroomeisen. Van deze constatering van onvoldoende kwaliteit wordt melding gemaakt aan de minister van OCW. De examinering van de volgende opleiding is van voldoende kwaliteit: Tegelzetter (10151) BBL Bij deze opleiding vindt geen nader onderzoek plaats. De opleiding kan overigens op grond van de aselecte steekproeftrekking opnieuw onderzocht worden. p.15 van 17

16 p.16 van 17

17 BIJLAGE 1: STANDAARDEN EN NORMERING De standaarden en normering zijn opgenomen in de Regeling standaarden examens beroepsonderwijs , gepubliceerd in de staatscourant 29 april DOMEIN A: VALIDERING DOOR BELANGHEBBENDEN Standaard 1: Het beroepenveld heeft vertrouwen in de kwaliteit van de examinering. Standaard 2: De deelnemer is tevreden over de kwaliteit van de examinering. DOMEIN B: DESKUNDIGHEID VAN BETROKKENEN Standaard 3: De betrokkenen bij examinering zijn deskundig. DOMEIN C: EXAMENINSTRUMENTARIUM Standaard 4: Het exameninstrumentarium voldoet inhoudelijk aan de uitstroomeisen. Standaard 5: Het exameninstrumentarium voldoet aan toetstechnische kwaliteitseisen. DOMEIN D: PROCESSEN Standaard 6: De examineringsprocessen zijn transparant. Standaard 7: De examineringsprocessen zijn geborgd. DOMEIN E: WETTELIJKE VEREISTEN Standaard 8: De instelling voldoet aan de wettelijke vereisten rondom examinering. De kwaliteit van de examinering is voldoende, wanneer zes van de acht standaarden minimaal voldoende zijn, waaronder in elk geval standaarden 4, 5 en 8. Voor een toelichting op de standaarden en de normering, zie het document Toezichtkader examinering (te vinden op p.17 van 17