Scholengemeenschap De Rooi Pannen ONDERZOEK KWALITEITSVERBETERING EXAMINERING

Transcriptie

1 Scholengemeenschap De Rooi Pannen ONDERZOEK KWALITEITSVERBETERING EXAMINERING Amersfoort, juni 2008

2 p.2 van 35

3 VASTSTELLING RAPPORT Dit rapport bevat de resultaten van het onderzoek naar kwaliteitsverbetering van de examinering dat op 15 en 20 mei 2008 plaatsvond bij Scholengemeenschap De Rooi Pannen. Het rapport is vastgesteld op 24 juni Reproductie van het rapport zonder toestemming van de inspectie of de school vindt niet plaats anders dan in zijn volledige vorm. p.3 van 35

4 p.4 van 35

5 INHOUDSOPGAVE SAMENVATTING 7 1 INLEIDING 9 2 KWALITEIT EXAMINERING BIJ TOERISME-RECREATIE EINDHOVEN 11 3 KWALITEIT EXAMINERING BIJ HORECA TILBURG 15 4 KWALITEIT EXAMINERING BIJ TOERISME-RECREATIE TILBURG 19 5 KWALITEIT EXAMINERING BIJ HORECA TOERISME EN RECREATIE BREDA 23 6 KWALITEIT EXAMINERING BIJ HANDEL TILBURG 29 7 CONCLUSIES 33 BIJLAGE 1: STANDAARDEN EN NORMERING 35 p.5 van 35

6 p.6 van 35

7 SAMENVATTING Dit rapport bevat de resultaten van het onderzoek naar kwaliteitsverbetering van de examinering van opleidingen waarvan eerder was vastgesteld, dat deze onvoldoende was. Tijdens het onderzoek bij Scholengemeenschap De Rooi Pannen waren het beoordelingskader en de normering van het Toezichtkader van toepassing. De examinering van de volgende opleidingen is van voldoende kwaliteit: Afdeling Horeca Tilburg (onderzocht op 20 mei 2008) Kok (10400) BBL. Afdeling Horeca Toerisme Recreatie Breda (onderzocht op 15 mei 2008) Kok (10400) BOL. Afdeling Toerisme Recreatie Tilburg (onderzocht op 20 mei 2008) Luchtvaartdienstverlener (10654) BOL. Afdeling Toerisme Recreatie Eindhoven (onderzocht op 20 mei 2008) Middenkaderfunctionaris recreatie (10382) BOL. Afdeling Handel Tilburg (onderzocht op 15 mei 2008) Vormgever reclame, presentatie en communicatie (10155) BOL; Ondernemer/manager detailhandel (10850) BOL. Bij deze opleidingen vindt geen vervolgonderzoek plaats. Deze opleidingen kunnen overigens op grond van de aselecte steekproeftrekking opnieuw onderzocht worden. De examinering van de volgende opleidingen is van onvoldoende kwaliteit: Afdeling Horeca Tilburg (onderzocht op 20 mei 2008) Restaurateur (10387) BBL. voldoet inhoudelijk niet aan de uitstroomeisen; Horeca-ondernemer/-manager (10388) BOL. Het exameninstrumentarium voldoet inhoudelijk niet aan de uitstroomeisen en aan de toetstechnische kwaliteitseisen. Afdeling Horeca Toerisme Recreatie Breda (onderzocht op 15 mei 2008) Middenkaderfunctionaris reizen (10384) BOL. Het exameninstrumentarium voldoet inhoudelijk niet aan de uitstroomeisen; Zelfstandig werkend medewerker reizen (10393) BOL. Het exameninstrumentarium voldoet inhoudelijk niet aan de uitstroomeisen. p.7 van 35

8 Afdeling Handel Tilburg (onderzocht op 15 mei 2008) Ondernemer Groothandel (10002) BOL. voldoet inhoudelijk niet aan de uitstroomeisen en aan de toetstechnische kwaliteitseisen. Van de constateringen van onvoldoende examenkwaliteit wordt melding gemaakt aan de minister van OCW. Bij deze opleidingen zal in onderzoek plaatsvinden naar de verbetering van de examenkwaliteit. p.8 van 35

9 1 INLEIDING De inspectie van het onderwijs voert onderzoek uit naar de kwaliteit van de examinering Hierbij is sprake van de onderstaande onderzoeken met separate rapporten. a. Het heronderzoek bij de categorie van 285 opleidingen: waarvan de examenkwaliteit als onvoldoende is beoordeeld door het Kwaliteitscentrum examinering (KCE); en waarvoor de staatssecretaris een voorgenomen besluit of verlengde verbetertijd heeft gegeven vanwege de onvoldoende examenkwaliteit ; en waarvan de examenkwaliteit door de inspectie als onvoldoende is beoordeeld. b. Het onderzoek naar kwaliteitsverbetering bij de categorie opleidingen: waarvan de examenkwaliteit als onvoldoende is beoordeeld door het Kwaliteitscentrum examinering (KCE); en waarvoor de staatssecretaris een waarschuwing heeft gegeven vanwege de onvoldoende examenkwaliteit Op grond van de brief van de staatssecretaris d.d. 6 september 2007 is van deze categorie opleidingen het eerdere onderzoek naar de examinering stopgezet en heeft de inspectie geen herbeoordeling van de examenkwaliteit uitgevoerd. Bij deze opleidingen heeft de inspectie thans een onderzoek naar de examenkwaliteit uitgevoerd. Dit betreft een nulmeting. c. Het onderzoek bij een aselecte steekproef van overige opleidingen. Dit betreft een nulmeting. Van resultaten van dit onderzoek ontvangt de instelling een separaat rapport. Dit rapport heeft uitsluitend betrekking op de onder ad b. genoemde categorie opleidingen. Het onderzoek naar kwaliteitsverbetering van deze opleidingen is uitgevoerd in de periode april en mei In dit onderzoek betreft dit de opleidingen: Crebo Naam opleiding Leerweg Deelkwalificatie(s) Exameneenheid en locatie Middenkaderfunctionaris recreatie BOL Eigen product: 51373, 51374, 51375, 51376, Toerisme- Recreatie Eindhoven Restaurateur BBL Eigen product: Horeca Tilburg 51419, 51421, Horeca-ondernemer/- manager BOL Inkoop: Horeca Tilburg p.9 van 35

10 BOL Eigen product: 51421, 51435, Kok BBL Inkoop: 51454, 51455, Luchtvaartdienstverlener BOL Eigen product: 52298, 52301, 52302, 55115, Middenkaderfunctionaris reizen Zelfstandig werkend medewerker reizen BOL BOL Eigen product: 51373, 51376, 51381, 51382, Eigen product: 51380, 51382, 51385, 51386, Kok BOL Inkoop: 51454, 51455, Ondernemer Groothandel Vormgever reclame, presentatie en communicatie Ondernemer/manager detailhandel BOL BOL BOL Eigen product: 50006, 50029, 50034, 50035, Eigen product: 50637, 50638, 50639, 50640, Eigen product: 50028, 50029, 53105, 53108, Horeca Tilburg Horeca Tilburg Horeca Toerisme en Recreatie Breda Horeca Toerisme en Recreatie Breda Horeca Toerisme en Recreatie Breda Handel Tilburg Handel Tilburg Handel Tilburg Tijdens dit onderzoek waren de standaarden en de normering van het Toezichtkader examinering BVE van toepassing. Opzet onderzoek Uitgangspunt voor het onderzoek was de zelfbeoordeling van de instelling over de examenkwaliteit van de te onderzoeken opleidingen. Daarnaast vormden de bevindingen uit het onderzoek naar de kwaliteit van het exameninstrumentarium een belangrijke informatiebron. Er vonden gesprekken plaats met constructeurs, vaststellers, beoordelaars, vertegenwoordigers uit de examencommissies en het management. Tijdens deze gesprekken werden de voorlopige resultaten uit het onderzoek naar het exameninstrumentarium doorgenomen en werd relevante documentatie onderzocht. Ter afsluiting vond een gesprek plaats met het college van bestuur. p.10 van 35

11 2 KWALITEIT EXAMINERING BIJ TOERISME- RECREATIE EINDHOVEN 2.1. Beoordeling opleidingen bij Toerisme-Recreatie Eindhoven Standaard 1 Vertrouwen beroepenveld 2 Tevredenheid deelnemer 3 Deskundigheid betrokkenen 4 Instrumentarium: uitstroomeisen 5 Instrumentarium: toetstechnisch 6 Transparantie processen 7 Borging processen 8 Wettelijke vereisten Middenkaderfunctionaris recreatie BOL V G V V V V V V O = onvoldoende/ V = voldoende/ G = goed 2.2 Beschouwing Algemeen beeld De kwaliteit van de examinering van de opleiding Middenkaderfunctionaris recreatie is voldoende. Het beroepenveld heeft vertrouwen in de kwaliteit van de examinering. De deelnemers zijn tevreden en de betrokkenen bij de examinering zijn deskundig. is van voldoende kwaliteit. De transparantie en borging van de examenprocessen zijn voldoende en de examinering van de opleiding voldoet aan de wettelijke vereisten. p.11 van 35

12 Toelichting beoordeling exameninstrumentarium Beoordeling exameninstrumentarium Middenkaderfunctionaris recreatie BOL Standaard 4. voldoet inhoudelijk aan de uitstroomeisen 5. voldoet aan toetstechnische kwaliteitseisen Engels 3 V V Ondernemingsplan recreatie V V Operationele management recreatie G G Basismanagement T/R V V Spaans 2 V V O = onvoldoende/ V = voldoende/ G = goed De beoordeelde deelkwalificaties voldoen inhoudelijk aan de uitstroomeisen en aan de toetstechnische kwaliteitseisen. Toelichting beoordeling examineringsprocessen Het beroepenveld heeft vertrouwen in de kwaliteit van de examinering. Er zijn verklaringen voorhanden waaruit het vertrouwen blijkt. De afdeling is actief om de praktijk meer de school in te halen; instructeurs van bedrijven verzorgen delen van het curriculum en beoordelen studenten bij praktijkopdrachten. BPVcoördinatoren bespreken de examinering tijdens bedrijfsbezoeken. De eerste enquête waarin bedrijven systematisch worden bevraagd op de kwaliteit van de examinering ligt in concept gereed. Deelnemers zijn zeer tevreden over de examinering. Dit blijkt uit de Job-Odin enquête. Daarnaast is de examinering driemaal per jaar agendapunt in het klassenvertegenwoordigersoverleg. Deelnemers worden geënquêteerd na de toetsweken. Aandachtspunten worden geanalyseerd in het managementteam en leiden waar nodig tot verbeteracties. Betrokkenen bij examinering zijn voldoende deskundig. Aangeleverde toetsen en examens worden vastgesteld. Toetsconstructeurs en controleurs ontvangen feedback. Praktijkbegeleiders en docenten bespreken praktijkbeoordelingen. De afdeling participeert in de scholing die De Rooi Pannen instellingsbreed organiseert. p.12 van 35

13 De transparantie en borging van de examineringsprocessen zijn voldoende. In het handboek voor examinering zijn de procedures en beschrijvingen van taken en verantwoordelijkheden van betrokkenen helder weergegeven. Deelnemers ontvangen voldoende informatie over de examinering. Evaluatie van de examinering vindt plaats. De examinering van de opleidingen voldoet aan de wettelijke vereisten. Een verbeterpunt is dat artikel 47 van het examenreglement in de OER-en niet de wettelijke termijn (zie WEB artikel 7.5.2, lid 2) van twee weken vermeldt voor het indienen van een beroepsschrift bij de commissie van beroep voor de examens, maar 3 dagen. p.13 van 35

14 p.14 van 35

15 3 KWALITEIT EXAMINERING BIJ HORECA TILBURG 3.1. Beoordeling opleidingen bij Horeca Tilburg Standaard 1 Vertrouwen beroepenveld 2 Tevredenheid deelnemer 3 Deskundigheid betrokkenen 4 Instrumentarium: uitstroomeisen 5 Instrumentarium: toetstechnisch 6 Transparantie processen 7 Borging processen 8 Wettelijke vereisten Restaurateur BBL G V V O V V V V Kok BBL G V V V V V V V Horeca-ondernemer/-manager BOL G V V O O V V V O = onvoldoende/ V = voldoende/ G = goed 3.2 Beschouwing Algemeen beeld De examinering van de opleidingen Restaurateur en Horeca-ondernemer/- manager is van onvoldoende kwaliteit. van de opleiding Restaurateur voldoet inhoudelijk niet aan de uitstroomeisen. Het exameninstrumentarium van de opleiding Horeca-ondernemer/-manager voldoet daarnaast niet aan de toetstechnische kwaliteitseisen. Beide opleidingen genieten wel veel vertrouwen van het beroepenveld in de kwaliteit van hun examinering. De deelnemers zijn tevreden over de kwaliteit van de examinering en de betrokkenen zijn deskundig. De examinering is zowel transparant als geborgd, en voldoet aan de wettelijke vereisten. Deze positieve bevindingen gelden ook voor de opleiding Kok, waarvoor daarnaast geldt dat het exameninstrumentarium inhoudelijk voldoet aan de uitstroomeisen en aan de toetstechnische kwaliteitseisen. De kwaliteit van de examinering van de opleiding Kok is dan ook toereikend. p.15 van 35

16 Toelichting beoordeling exameninstrumentarium Beoordeling exameninstrumentarium Restaurateur BBL Standaard 4. voldoet inhoudelijk aan de uitstroomeisen 5. voldoet aan toetstechnische kwaliteitseisen Operationeel management restaurant G V Basismanagement Hic O V Ondernemingsplan restaurateur G G O = onvoldoende/ V = voldoende/ G = goed Deelkwalificatie: Basismanagement Hic De examinering van de deelkwalificatie Basismanagement Hic voldoet inhoudelijk niet aan de uitstroomeisen. De eindtermen 5, 7, 15, 16, 17, 27, 30, 35, 40, 43 tot en met 48, 50, 53, 55 en 57 tot en met 61 zijn niet, onvolledig of onjuist verwerkt in de examinering. Toetstechnisch is het materiaal van voldoende kwaliteit. Verbeterpunt is het vervolmaken van het antwoordmodel bij de toetsen DKBMM (vragen 19, 24 en 25) en DKBMR-1 (de sleutel bij vraag 6 bevat niet het correcte antwoord). Daarnaast dient met name toets DKBMR-1 gescreend te worden op correct Nederlands taalgebruik. De overige onderzochte deelkwalificaties voldoen inhoudelijk aan de uitstroomeisen en aan de toetstechnische kwaliteitseisen. p.16 van 35

17 Beoordeling exameninstrumentarium Kok BBL van de voor dit onderzoek geselecteerde deelkwalificaties Operationeel werken in de keuken, Vaktechniek keuken 1B en Vaktechniek keuken 1A is ingekocht bij de door KCE erkende leverancier Kenwerk. Deze examens zijn van voldoende kwaliteit. Beoordeling exameninstrumentarium Horeca-ondernemer/-manager BOL Standaard 4. voldoet inhoudelijk aan de uitstroomeisen 5. voldoet aan toetstechnische kwaliteitseisen Basismanagement Hic V V Ondernemingsplan Horeca-ondernemer/- G V manager Operationeel bedrijfsmanagement O O Vaktechniek in de Receptie V V O = onvoldoende/ V = voldoende/ G = goed Deelkwalificatie: Operationeel bedrijfsmanagement van de deelkwalificatie Operationeel bedrijfsmanagement voldoet inhoudelijk niet aan de uitstroomeisen. De eindtermen 1, 15, 21, 46, 47, 48, 49, 51, 54, 55 en 56 staan vermeld in het toetsplan, maar zijn niet te herleiden uit het examenmateriaal. De eindtermen 2, 9, 13, 14, 17, 18, 19, 20, 22, 23, 24, 25, 26, 27, 34, 59, 61 en 63 zijn niet vertaald in concrete opdrachten voor deelnemers. Hierdoor is onduidelijk waarop deelnemers precies worden beoordeeld. De eindtermen 3, 6, 28, 35, 36, 38, 41, 43, 45, 53 en 58 zijn wel vertaald in opdrachten, maar worden niet concreet beoordeeld in het materiaal. Het instrumentarium voldoet niet aan de toetstechnische kwaliteitseisen. De beoordelingscriteria zijn onvoldoende inzichtelijk. De overige onderzochte deelkwalificaties voldoen inhoudelijk aan de uitstroomeisen en aan de toetstechnische kwaliteitseisen. p.17 van 35

18 Toelichting beoordeling examineringsprocessen Het beroepenveld heeft veel vertrouwen in de examinering. De samenwerking tussen het beroepenveld en de afdeling Horeca Tilburg is intensief en vindt plaats op verschillende niveaus. Het beroepenveld oordeelt positief over zijn betrokkenheid bij en de kwaliteit van de examinering. De deelnemer is voldoende tevreden over de examinering. Dit blijkt uit de JOB- Odin enquête en de dit studiejaar opgestarte enquête tevredenheid examinering. De betrokkenen bij examinering zijn voldoende deskundig. De toetsontwikkelaars, vaststellers en beoordelaars van Horeca Tilburg hebben in het verleden scholing ontvangen ten behoeve van aspecten van examinering. Momenteel spitst de deskundigheidsbevordering zich toe op competentiegerichte examinering. De afname van de examinering vindt binnenschools plaats in samenwerking met het bedrijfsleven in de rol van medebeoordelaar. De transparantie en borging van de examineringsprocessen zijn voldoende. In het handboek voor examinering zijn de procedures en beschrijvingen van taken en verantwoordelijkheden van betrokkenen helder weergegeven. Deelnemers ontvangen voldoende informatie over de examinering. Het contract met de examenleverancier is aanwezig. De subexamencommissie besteedt aandacht aan de kwaliteit van de ingekochte toetsen, waarna, indien nodig, terugkoppeling aan de leverancier wordt gegeven. Evaluatie van de examinering vindt plaats. De examinering van de opleidingen voldoet aan de wettelijke vereisten. Een verbeterpunt is dat artikel 47 van het examenreglement in de OER-en niet de wettelijke termijn (zie WEB artikel 7.5.2, lid 2) van twee weken vermeldt voor het indienen van een beroepsschrift bij de commissie van beroep voor de examens, maar 3 dagen. p.18 van 35

19 4 KWALITEIT EXAMINERING BIJ TOERISME- RECREATIE TILBURG 4.1. Beoordeling opleidingen bij Toerisme Recreatie Tilburg Standaard 1 Vertrouwen beroepenveld 2 Tevredenheid deelnemer 3 Deskundigheid betrokkenen 4 Instrumentarium: uitstroomeisen 5 Instrumentarium: toetstechnisch 6 Transparantie processen 7 Borging processen 8 Wettelijke vereisten Luchtvaartdienstverlener BOL V G V V V V V V O = onvoldoende/ V = voldoende/ G = goed 4.2 Beschouwing Algemeen beeld De kwaliteit van de examinering van de opleiding Luchtvaartdienstverlener is voldoende. Het beroepenveld heeft vertrouwen in de kwaliteit van de examinering. De deelnemers zijn tevreden en de betrokkenen bij de examinering zijn deskundig. is van voldoende kwaliteit. De transparantie en borging van de examenprocessen zijn voldoende en de examinering van de opleiding voldoet aan de wettelijke vereisten. p.19 van 35

20 Toelichting beoordeling exameninstrumentarium Beoordeling exameninstrumentarium Luchtvaardienstverlener BOL Standaard 4. voldoet inhoudelijk aan de uitstroomeisen 5. voldoet aan toetstechnische kwaliteitseisen Communicatie en management V V Skills luchtvaartdienstverlening V V Luchtvaartkunde V V Engels 1 G V Spaans 1 G G O = onvoldoende/ V = voldoende/ G = goed De onderzochte deelkwalificaties voldoen inhoudelijk aan de uitstroomeisen en aan de toetstechnische kwaliteitseisen. Toelichting beoordeling examineringsprocessen Het beroepenveld heeft voldoende vertrouwen in de examinering. Meningen over de examinering worden gepeild bij stagebedrijven en via een klankbordgroep waarin het bedrijfsleven is vertegenwoordigd. Hierin is de examinering een vast agendapunt. Stagebiedende instellingen en bedrijven hebben een verklaring ondertekend waarin zij aangeven vertrouwen te hebben in de examinering van de afdeling Toerisme en Recreatie Tilburg. Ten slotte wordt door de instellingen en bedrijven meegewerkt aan docenten- en managementstages. De deelnemers zijn zeer tevreden over de examinering. Dit blijkt uit de JOB- Odin enquête, het klassenvertegenwoordigersoverleg en resultaten uit de sinds drie jaar lopende enquête op het gebied van examinering. De resultaten van de studentenevaluaties worden stelselmatig aan de orde gesteld in het managementoverleg en studenten worden geïnformeerd over de uitkomsten. Verbeteracties worden met hen besproken. De betrokkenen bij examinering zijn voldoende deskundig. Toerisme en Recreatie Tilburg ontwikkelt het exameninstrumentarium zelf. De toetsen worden ontwikkeld door een vakdocent en vastgesteld door een sectiegenoot. Men neemt steekproeven om te beoordelen of de toetsen voldoen. Waar nodig vindt aanvullende scholing plaats. De afname van de examinering vindt geheel binnenschools plaats. Het bedrijfsleven is wel aanwezig bij een gedeelte van de p.20 van 35

21 examinering, maar niet in een actieve rol. Betrokkenen nemen deel aan de scholingstrajecten die De Rooi Pannen organiseert. De transparantie en borging van de examineringsprocessen zijn voldoende. In het handboek voor examinering zijn de procedures en beschrijvingen van taken en verantwoordelijkheden van betrokkenen helder weergegeven. Deelnemers ontvangen (los van de bevindingen die zijn gedaan over de toetstechnische kwaliteit van het exameninstrumentarium) voldoende informatie over de examinering. Evaluatie van de examinering vindt plaats. De examinering van de opleidingen voldoet aan de wettelijke vereisten. Een verbeterpunt is dat artikel 47 van het examenreglement in de OER-en niet de wettelijke termijn (zie WEB artikel 7.5.2, lid 2) van twee weken vermeldt voor het indienen van een beroepsschrift bij de commissie van beroep voor de examens, maar 3 dagen. p.21 van 35

22 p.22 van 35

23 5 KWALITEIT EXAMINERING BIJ HORECA TOERISME EN RECREATIE BREDA 5.1. Beoordeling opleidingen bij Horeca Toerisme en Recreatie Breda Standaard 1 Vertrouwen beroepenveld 2 Tevredenheid deelnemer 3 Deskundigheid betrokkenen 4 Instrumentarium: uitstroomeisen 5 Instrumentarium: toetstechnisch 6 Transparantie processen 7 Borging processen 8 Wettelijke vereisten Middenkaderfunctionaris reizen V V V O V V V V BOL Zelfstandig werkend medewerker V V V O V V V V reizen BOL Kok BOL G V V V V V V V O = onvoldoende/ V = voldoende/ G = goed 5.2 Beschouwing Algemeen beeld De kwaliteit van de examinering van de opleidingen Middenkaderfunctionaris reizen en Zelfstandig medewerker reizen is onvoldoende, omdat het exameninstrumentarium inhoudelijk niet voldoet aan de uitstroomeisen. Wel heeft het beroepenveld vertrouwen in de kwaliteit van de examinering en is de deelnemer daar tevreden over. De betrokkenen bij de examinering zijn deskundig. De examinering is transparant en geborgd en voldoet aan de wettelijke eisen. Deze positieve bevindingen gelden ook voor de opleiding Kok, met dien verstande dat de kwaliteit van het exameninstrumentarium voldoende is. De kwaliteit van de examinering van de opleiding Kok is dan ook voldoende. p.23 van 35

24 Toelichting beoordeling exameninstrumentarium De afdeling koopt het exameninstrumentarium van de opleiding Kok in bij de door KCE erkende leverancier Kenwerk. is van voldoende kwaliteit. p.24 van 35

25 Beoordeling exameninstrumentarium Middenkaderfunctionaris reizen BOL Standaard 4. voldoet inhoudelijk aan de uitstroomeisen 5. voldoet aan toetstechnische kwaliteitseisen Engels 3 V V Basismanagement T/R O V Duits 2 V V Engels 2 G G Administratie en beheer O V O = onvoldoende/ V = voldoende/ G = goed Deelkwalificatie: Basismanagement T/R De examinering van de deelkwalificatie Basismanagement T/R voldoet inhoudelijk niet aan de uitstroomeisen. De eindtermen 1, 2, 3, 5, 6, 8, 10, 14, 15, 16, 25, 29, 30, 31, 32, 35, 38, 39, 40, 41, 42, 43, 45, 47, 48, 55, 58 tot en met 68, 71 en 73 tot en met 77 zijn niet, onjuist of onvolledig verwerkt in de examinering. De examinering voldoet wel aan de toetstechnische eisen. Deelkwalificatie: Administratie en beheer De examinering van de deelkwalificatie Administratie en beheer voldoet inhoudelijk niet aan de uitstroomeisen. De eindtermen 5, 6, 7, 8, 9, 10 en 17 zijn niet, onjuist of onvolledig verwerkt in de examinering. De dekkingsgraad van de examinering ligt hierdoor net onder de vereiste 75%. Een complicerende factor is de onevenredige puntentoekenning per eindterm. Doordat bijvoorbeeld in toets ADM1B voor eindterm 3 29 punten behaald kunnen worden en voor de overige vijf eindtermen 11 punten, behaalt de deelnemer bij een goede beheersing van eindterm 3 een voldoende resultaat (cesuur: 22 punten). In toets ADM1A (3 eindtermen) zijn met eindterm 1 24 punten te behalen (cesuur: 22 punten), in toets ADM-03A (4 eindtermen) 33 punten met eindterm 16 (cesuur: 24,75 punten), terwijl eindterm 12 in toets ADM02 (6 eindtermen) bijdraagt aan een score van 28 punten (cesuur: 22 punten) en in toets ADM3B (2 eindtermen) nog eens aan een score van 15 punten (cesuur: 9 punten). De eindtermen 1 tot en met 6 worden bovendien nog eens getoetst in ADM1C. Door deze puntenverdeling zijn sommige eindtermen zoveel belangrijker en doorslaggevender dan andere, dat daarmee de feitelijke dekkingsgraad van de examinering onvoldoende is. De examinering voldoet wel aan de toetstechnische eisen. p.25 van 35

26 De overige onderzochte deelkwalificaties voldoen inhoudelijk aan de uitstroomeisen en aan de toetstechnische eisen. Beoordeling exameninstrumentarium Zelfstandig werkend medewerker reizen BOL Standaard 4. voldoet inhoudelijk aan de uitstroomeisen 5. voldoet aan toetstechnische kwaliteitseisen Frans 2 V V Engels 2 G G Adminstratie en beheer O V Communicatie V V Reizen V V O = onvoldoende/ V = voldoende/ G = goed Deelkwalificatie: Administratie en beheer De examinering van de deelkwalificatie Administratie en beheer voldoet inhoudelijk niet aan de uitstroomeisen. De eindtermen 5, 6, 7, 8, 9, 10 en 17 zijn niet, onjuist of onvolledig verwerkt in de examinering. De dekkingsgraad van de examinering ligt hierdoor net onder de vereiste 75%. Een complicerende factor is de onevenredige puntentoekenning per eindterm. Doordat bijvoorbeeld in toets ADM1B voor eindterm 3 29 punten behaald kunnen worden en voor de overige vijf eindtermen 11 punten, behaalt de deelnemer bij een goede beheersing van eindterm 3 een voldoende resultaat (cesuur: 22 punten). In toets ADM1A (3 eindtermen) zijn met eindterm 1 24 punten te behalen (cesuur: 22 punten), in toets ADM-03A (4 eindtermen) 33 punten met eindterm 16 (cesuur: 24,75 punten), terwijl eindterm 12 in toets ADM02 (6 eindtermen) bijdraagt aan een score van 28 punten (cesuur: 22 punten) en in toets ADM3B (2 eindtermen) nog eens aan een score van 15 punten (cesuur: 9 punten). De eindtermen 1 tot en met 6 worden bovendien nog eens getoetst in ADM1C. Door deze puntenverdeling zijn sommige eindtermen zoveel belangrijker en doorslaggevender dan andere, dat daarmee de feitelijke dekkingsgraad van de examinering onvoldoende is. De examinering voldoet wel aan de toetstechnische eisen. De overige onderzochte deelkwalificaties voldoen inhoudelijk aan de uitstroomeisen en aan de toetstechnische kwaliteitseisen. p.26 van 35

27 Toelichting beoordeling examineringsprocessen Onder de afdeling Horeca Breda valt een tweetal examencommissies: één voor horeca en één voor toerisme/reizen. In de navolgende tekst wordt alleen waar noodzakelijk een onderscheid gemaakt tussen beide branches. Het vertrouwen van het beroepenveld in de examinering van de opleiding Kok is goed. Er vindt intensief overleg plaats met het beroepenveld in klankbordgroepvergaderingen, resonansgroepen en leermeesterbijeenkomsten. Er is een enquête onder praktijkexaminatoren en onder leermeesters. Daaruit blijkt dat de tevredenheid over de examinering groot is. Ten slotte is het bedrijfsleven actief betrokken bij de afname van de praktijkexamens binnen school als beoordelaar. Het vertrouwen van het beroepenveld in de examinering van de opleidingen Middenkaderfunctionaris reizen en Zelfstandig werkend medewerker reizen is voldoende. Er is een tweejaarlijkse enquête onder BPV-bedrijven en een klankbordgroep waarin examinering aan de orde komt. Uit de enquête blijkt dat het vertrouwen van het beroepenveld voldoende is. Er is geen directe betrokkenheid van het bedrijfsleven bij het proces van examinering. Het meer systematisch betrekken van het beroepenveld bij de examinering is dan ook een verbeterpunt. De deelnemer is voldoende tevreden over de examinering. Dit blijkt uit de JOB- Odin enquête, de enquêtes naar aanleiding van de toetsweken en het alumnionderzoek dat wordt verricht. Bij signalen van deelnemers wordt, indien nodig direct actie ondernomen. De betrokkenen bij examinering zijn voldoende deskundig. Binnen de opleiding Kok wordt gewerkt met ingekochte toetsen van Kenwerk (Stichting Horeca Examinering). De afname van de examinering vindt binnenschools plaats. Het bedrijfsleven neemt als mede-examinator deel aan de praktijkexamens. Deze examinatoren zijn geschoold door Kenwerk. De scholingsbehoefte van betrokkenen bij de examinering van de opleidingen Middenkaderfunctionaris reizen en Zelfstandig werkend medewerker reizen is geïnventariseerd. Men is voldoende deskundig. De transparantie en borging van de examineringsprocessen zijn voldoende. In het handboek voor examinering zijn de procedures en beschrijvingen van taken en verantwoordelijkheden van betrokkenen helder weergegeven. Deelnemers ontvangen voldoende informatie over de examinering. Het contract met de examenleverancier is aanwezig. Evaluatie van de examinering vindt plaats. De kwaliteit van het vaststellingsproces is hierbinnen een aandachtspunt. De examinering van de opleidingen voldoet aan de wettelijke vereisten. Een verbeterpunt is dat artikel 47 van het examenreglement in de OER-en niet de wettelijke termijn (zie WEB artikel 7.5.2, lid 2) van twee weken vermeldt voor het indienen van een beroepsschrift bij de commissie van beroep voor de examens, maar 3 dagen. p.27 van 35

28 p.28 van 35

29 6 KWALITEIT EXAMINERING BIJ HANDEL TILBURG 6.1. Beoordeling opleidingen bij Handel Tilburg Standaard 1 Vertrouwen beroepenveld 2 Tevredenheid deelnemer 3 Deskundigheid betrokkenen 4 Instrumentarium: uitstroomeisen 5 Instrumentarium: toetstechnisch 6 Transparantie processen 7 Borging processen 8 Wettelijke vereisten Ondernemer groothandel BOL V V V O O V V V Vormgever reclame, presentatie V V V V V V V V en communicatie BOL Ondernemer/manager detailhandel BOL V V V V V V V V O = onvoldoende/ V = voldoende/ G = goed 6.2 Beschouwing Algemeen beeld De kwaliteit van de examinering van de opleiding Ondernemer groothandel is onvoldoende. voldoet inhoudelijk niet aan de uitstroomeisen en aan de toetstechnische kwaliteitseisen. Wel heeft het beroepenveld vertrouwen in de kwaliteit van de examinering en zijn de deelnemers tevreden. De betrokkenen bij examinering zijn deskundig. De transparantie en de borging van de examenprocessen zijn voldoende. Ten slotte voldoet de examinering aan de wettelijke vereisten. Deze positieve bevindingen gelden ook voor de opleidingen Vormgever reclame, presentatie en communicatie en Ondernemer/manager detailhandel. Omdat bovendien het exameninstrumentarium van deze opleidingen van voldoende kwaliteit is, is de algehele kwaliteit van de examinering van de opleidingen eveneens voldoende. p.29 van 35

30 Toelichting beoordeling exameninstrumentarium Beoordeling exameninstrumentarium Ondernemer groothandel BOL Standaard 4. voldoet inhoudelijk aan de uitstroomeisen 5. voldoet aan toetstechnische kwaliteitseisen Moderne vreemde taal C Frans V V Leidinggeven G V Fysieke distributie V G Transportmanagement G O Bedrijfseconomie O V O = onvoldoende/ V = voldoende/ G = goed Deelkwalificatie: Transportmanagement De examinering van de deelkwalificatie voldoet inhoudelijk aan de uitstroomeisen. De examinering voldoet echter niet aan de toetstechnische eisen, omdat de deelnemerinformatie niet volledig is. De theorietoets Transportmanagement geeft een deelnemer bijvoorbeeld niet duidelijk aan, hoeveel manieren hij moet benoemen in zijn antwoord (vraag 1A) of hoeveel aspecten of zaken hij moet benoemen om een voldoende score te behalen (zie bijvoorbeeld vragen 1D en 2C). Deelkwalificatie: Bedrijfseconomie De examinering van de deelkwalificatie voldoet inhoudelijk niet aan de uitstroomeisen. De eindtermen 1, 2, 3, 14, 16, 19 tot en met 24, 27, en 30 tot en met 34 zijn niet, onvolledig of onjuist verwerkt in de examinering. Daarnaast is de puntentoekenning per eindterm niet evenredig. Zo weegt eindterm 3 in de toets Resultaat bijvoorbeeld mee voor 52,5%, weegt eindterm 11 in de toets Verkoopprijs mee voor 40%, en eindterm 13 voor 53%. Bij de toets Ondernemingsvormen wegen de eindtermen 30 en 31 mee voor 31%, terwijl eindterm 33 voor 9% meeweegt. De overige onderzochte deelkwalificaties voldoen inhoudelijk aan de uitstroomeisen en aan de toetstechnische kwaliteitseisen. p.30 van 35

31 Beoordeling exameninstrumentarium Vormgever reclame, presentatie en communicatie BOL Standaard 4. voldoet inhoudelijk aan de uitstroomeisen 5. voldoet aan toetstechnische kwaliteitseisen Maatschappelijk culturele vorming 3 G G Maatschappelijk culturele vorming 2 V G Beroepsgerichte doorstroom recl. pres. G V tech Algemene ondernemersvaardigheden G V Presentatie/winkelvormgeving V V O = onvoldoende/ V = voldoende/ G = goed De examinering van de onderzochte deelkwalificaties voldoet inhoudelijk aan de uitstroomeisen en aan de toetstechnische eisen. Beoordeling exameninstrumentarium Ondernemer/manager detailhandel BOL Standaard 4. voldoet inhoudelijk aan de uitstroomeisen 5. voldoet aan toetstechnische kwaliteitseisen Presentatie en promotie 2 V V Leidinggeven G V Detailhandelsmarketing 1 V V Verkopen V V Branchedifferentiatie sport V V O = onvoldoende/ V = voldoende/ G = goed p.31 van 35

32 De examinering van de onderzochte deelkwalificaties voldoet inhoudelijk aan de uitstroomeisen en aan de toetstechnische eisen. Toelichting beoordeling examineringsprocessen Sinds 1 januari 2008 is de afdeling Vormgeving, ontstaan uit de afdeling Handel Tilburg, een zelfstandige afdeling. Per 1 augustus 2008 is Vormgeving ook een zelfstandige exameneenheid. In deze rapportage wordt derhalve nog uitgegaan van één exameneenheid Handel. Waar nu reeds relevante verschillen bestaan worden deze benoemd. Het vertrouwen van het beroepenveld in de examinering is voldoende. Door middel van brieven heeft het beroepenveld aangegeven vertrouwen te hebben in de kwaliteit van de examinering. Tijdens de bezoeken van de BPV-docent wordt de examinering besproken. In een aantal opleidingen binnen handel is een vertegenwoordiger van het beroepenveld aanwezig bij het mondelinge examen. De afdeling oriënteert zich op manieren om het beroepenveld nadrukkelijker bij de examinering te betrekken. De opleiding Vormgever reclame, presentatie en communicatie baseert zich voor haar beeldvorming over het vertrouwen van het beroepenveld op verslagen van kenniscentrum Savantis over de kwaliteit van stagebedrijven. Daarnaast onderhoudt men zelf contacten met stagebedrijven en organiseert men praktijkopleiders avonden. Een meer zelfstandige actieve borging van het vertrouwen van het beroepenveld is een aandachtspunt. De deelnemers zijn voldoende tevreden over de examinering en worden hierover regelmatig bevraagd in enquêtes en interviews. Uitkomsten van deze onderzoeken zijn onderwerp van gesprek in management- en onderwijsteams. Een aandachtspunt is de terugkoppeling van de bevindingen en de ingezette verbeteracties naar de deelnemers zelf. De betrokkenen bij de examinering zijn voldoende deskundig. Examens worden ontworpen en vastgesteld in docententeams onder voorzitterschap van de examencommissie. De opleiding controleert examens steekproefsgewijs en geeft feedback aan constructeurs en vaststellers. De afdeling neemt deel aan scholing die De Rooi Pannen instellingsbreed verzorgt. De deskundigheid van beoordelaars in de praktijk is een aandachtspunt. De transparantie en borging van de examineringsprocessen zijn voldoende. Procedures en taken en verantwoordelijkheden van betrokkenen zijn voldoende inzichtelijk. Deelnemers ontvangen voldoende informatie over de examinering. Evaluatie vindt plaats. Voor de examencommissie van Handel is de kwaliteit van het vaststellingsproces wel een aandachtspunt. De examinering van de opleidingen voldoet aan de wettelijke vereisten. Een verbeterpunt is dat artikel 47 van het examenreglement in de OER-en niet de wettelijke termijn (zie WEB artikel 7.5.2, lid 2) van twee weken vermeldt voor het indienen van een beroepsschrift bij de commissie van beroep voor de examens, maar 3 dagen. p.32 van 35

33 7 CONCLUSIES De examinering van de volgende opleidingen is van voldoende kwaliteit: Afdeling Horeca Tilburg Kok (10400) BBL. Afdeling Horeca Toerisme Recreatie Breda Kok (10400) BOL. Afdeling Toerisme Recreatie Tilburg Luchtvaartdienstverlener (10654) BOL. Afdeling Toerisme Recreatie Eindhoven Middenkaderfunctionaris recreatie (10382) BOL. Afdeling Handel Tilburg Vormgever reclame, presentatie en communicatie (10155) BOL; Ondernemer/manager detailhandel (10850) BOL. Bij deze opleidingen vindt geen vervolgonderzoek plaats. Deze opleidingen kunnen overigens op grond van de aselecte steekproeftrekking opnieuw onderzocht worden. De examinering van de volgende opleidingen is van onvoldoende kwaliteit: Afdeling Horeca Tilburg Restaurateur (10387) BBL; Horeca-ondernemer/-manager (10388) BOL. Afdeling Horeca Toerisme Recreatie Breda Middenkaderfunctionaris reizen (10384) BOL; Zelfstandig werkend medewerker reizen (10393) BOL. Afdeling Handel Tilburg Ondernemer Groothandel (10002) BOL. Van de constateringen van onvoldoende examenkwaliteit wordt melding gemaakt aan de minister van OCW. Bij deze opleidingen zal in onderzoek plaatsvinden naar de verbetering van de examenkwaliteit. p.33 van 35

34 p.34 van 35

35 BIJLAGE 1: STANDAARDEN EN NORMERING De standaarden en normering zijn opgenomen in de Regeling standaarden examens beroepsonderwijs , gepubliceerd in de staatscourant 29 april DOMEIN A: VALIDERING DOOR BELANGHEBBENDEN Standaard 1: Het beroepenveld heeft vertrouwen in de kwaliteit van de examinering. Standaard 2: De deelnemer is tevreden over de kwaliteit van de examinering. DOMEIN B: DESKUNDIGHEID VAN BETROKKENEN Standaard 3: De betrokkenen bij examinering zijn deskundig. DOMEIN C: EXAMENINSTRUMENTARIUM Standaard 4: Het exameninstrumentatrium voldoet inhoudelijk aan de uitstroomeisen. Standaard 5: voldoet aan toetstechnische kwaliteitseisen. DOMEIN D: PROCESSEN Standaard 6: De examineringsprocessen zijn transparant. Standaard 7: De examineringsprocessen zijn geborgd. DOMEIN E: WETTELIJKE VEREISTEN Standaard 8: De instelling voldoet aan de wettelijke vereisten rondom examinering. De kwaliteit van de examinering is voldoende, wanneer zes van de acht standaarden minimaal voldoende zijn, waaronder in elk geval standaarden 4, 5 en 8. Voor een toelichting op de standaarden en de normering, zie het document Toezichtkader examinering (te vinden op p.35 van 35