JAARVERSLAG EXAMINERING MBO

Transcriptie

1 JAARVERSLAG EXAMINERING MBO Inleiding Het schooljaar stond in het kader van verdere verbetering van kwaliteit en efficiency van de examinering. Er was aandacht voor verdere certificering van opgeleide assessoren, automatiseren van gegevensverwerking van evaluatie en tevredenheidmeting bij proeven van bekwaamheid, begeleiden van ontwerpgroepen m.b.t. examinering en het kiezen en ontwikkelen van exameninstrumenten voor talen. De centrale examencommissie heeft zich intensief beziggehouden met de gevolgen van het afkeurend oordeel van de inspectie over de examenproducten van Stichting De groene standaard. In dit schooljaar vonden er twee inspectieonderzoeken plaats. Op 13 en 14 april 2011 ging het om een pilot geïntegreerd onderzoek op de locaties Houten en Rijswijk. Op 21 juni en 22 september betreft het zowel regulier onderzoek naar de kwaliteit van examinering als onderzoek naar kwaliteitsverbetering (OKV). 2. Kwaliteitsdoelstelling De kwaliteit van de examinering in Wellantcollege wordt weergegeven in 8 aandachtsgebieden. Deze aandachtsgebieden komen overeen met de door de inspectie gehanteerde standaarden. Binnen Wellantcollege worden de volgende 4 fasen onderscheiden: Fase 1 Fase 2 Fase 3 Fase 4 - nog geen activiteiten - beginnend beleid - beleid m.b.t. - actieve betrokkenheid m.b.t. kwaliteitsverbetering examinering - start implementatie procedures rond toetsing/ kwaliteitsverbetering examinering begint vorm te krijgen alle docenten bij kwaliteitsverbetering toetsing - kwaliteit is individuele verantwoordelijkheid docent examinering - implementatie procedures komt op gang - systematische evaluatie en bijstelling examinering 3. Externe audit door bureau Phasis voorjaar 2009 Het laatstgehouden externe onderzoek was een audit in maart/april 2009 door bureau Phasis. De uitkomsten van dit onderzoek zijn als volgt grafisch weergegeven: Resultaten externe audit bureau Phasis ,50 3,00 Score (ramge 1-5) 2,50 2,00 1,50 1,00 0, Vertrouwen beroepenveld 2. Tevredenheid deelnemer 3. Deskundigheid betrokkenen bij examinering 4. Exameninstrumenten inhoudelijk: n.v.t. 5. Exameninstrumenten toetstechnisch: n.v.t Kwaliteitsstandaarden 6. Transparantie examineringsprocessen 7. Borging examineringsprocessen 8. Wettelijke vereisten examinering Deze resultaten geven de stand van zaken aan het einde van het schooljaar weer. De kwaliteitsdoelstelling voor schooljaar is: alle standaarden in fase 3 of hoger. Jaarverslag examinering MBO Pagina 1 van 10

2 4. Acties die zijn uitgezet Naar aanleiding van de stand van zaken met betrekking tot de kwaliteit van examinering is dit jaar verder gebouwd op eerder in gang gezette acties. Zowel op centraal niveau als op de locaties hebben er gerichte verbeteracties plaatsgevonden. Ook zijn regelingen naar aanleiding van deze onderzoeken aangescherpt. Daarnaast is er in dit jaar speciale aandacht geweest voor de volgende onderwerpen: - Opleiding en certificering van assessoren Zowel docenten als praktijkopleiders zijn geschoold als assessor voor proeven van bekwaamheid. Verder zijn er voorbereidingen gedaan voor verdere certificering van assessoren. Het assessorenregister is opgeschoond en liet per januari 2011 de volgende aantallen zien: ORGANISATIE NIVEAU ASS. in OPL. OPGELEID ASS. ASP. ASS. GECERT. ASS. % Gecertificeerd Totaal Bedrijfsleven pvb ,97 allround Wellantcollege pvb ,70 allround Andere organisaties pvb ,12 allround Totaal Uit vergelijk met de gegevens van blijkt dat het aantal assessoren met 20 is gestegen. - automatiseren gegevensverwerking evaluatie en tevredenheidmeting bij proeven van bekwaamheid Om het handmatig invoeren van gegevens minder arbeidsintensief te maken, zijn er plannen gemaakt om de evaluatie en tevredenheidmeting bij proeven van bekwaamheid te digitaliseren. Gedacht wordt aan een app waarmee ter plaatse gegevens kunnen worden ingevoerd. - begeleiden van ontwerpgroepen m.b.t. examinering Bij het ontwerpen van nieuwe opleidingen op basis van bestaande kwalificatiedossiers zijn de ontwerpgroepen vanuit de centrale examencommissie begeleid bij de vormgeving van de examinering. - kiezen en ontwikkelen van exameninstrumenten voor talen Naar aanleiding van het oordeel van de inspectie over de ingekochte examens voor Nederlands en Engels luisteren en lezen, is gekozen voor andere ingekochte examens. Voor de taalaspecten spreken, gesprekken voeren en schrijven voor Nederlands, Engels en 2 e moderne vreemde taal is een begin gemaakt met het construeren van instellingsexamens voor gebruik op alle locaties mbo. Jaarverslag examinering MBO Pagina 2 van 10

3 5. Inspectieonderzoek In dit schooljaar vonden er twee inspectieonderzoeken plaats. Op 13 en 14 april 2011 ging het om een pilot geïntegreerd onderzoek op de locaties Houten en Rijswijk. Wat examinering betreft kwamen daar met name opmerkingen over de borging van het examenproces uit naar voren. Op 21 juni en 22 september betreft het zowel regulier onderzoek naar de kwaliteit van examinering als onderzoek naar kwaliteitsverbetering (OKV). De steekproef bij het 1 e onderzoek bestond uit de volgende opleidingen: Dierenhouderij (Melkveehouder) BOL; Groen, grond, infra (Vakbekwaam medewerker gemechaniseerd loonbedrijf) BBL; Buitenteelt (Vakbekwaam medewerker buitenteelt) BBL; Vormgever leefomgeving (Ondernemer bloemist) BOL; Assistent medewerker voedsel en leefomgeving (Assistent groene detailhandel) BOL; Arbeidsmarktgekwalificeerd assistent (Voedsel en leefomgeving) BOL. Bij het OKV ging het om de opleidingen: Binnenteelt (Vakbekwaam medewerker binnenteelt) BBL; Natuur en groene ruimte 3 (Vakbekwaam medewerker groenvoorziening) BBL; Natuur en groene ruimte 3 (Vakbekwaam hovenier) BBL; Dierverzorging 3/4 (Dierverzorger melkvee) BOL; Assistent medewerker voedsel en leefomgeving (Assistent plantenteelt) BBL. De uitkomst van het inspectieonderzoek is nog niet bekend. 6. Proeven van bekwaamheid De proeven van bekwaamheid worden afgeleid van examenstandaarden afkomstig van Stichting De groene standaard. Wellantcollege participeert in deze stichting. In het afgelopen jaar heeft de inspectie een afkeurend oordeel uitgesproken over de examenproducten van De groene standaard. De AOC s die participeren in Stichting De groene standaard hebben samen gezocht naar mogelijke oplossingen hiervoor. Bij 2165 proeven heeft een evaluatie plaatsgevonden en is de tevredenheid gemeten bij deelnemer, assessor bedrijfsleven en assessor onderwijs. Daarvan zijn 2111 proeven behaald; een slagingspercentage van 97,5 %. Grafische weergave evaluatie en tevredenheidmeting bij proeven van bekwaamheid: Zie blad 4 t/m 9. Jaarverslag examinering MBO Pagina 3 van 10

4 Grafieken evaluatie onder deelnemers bij 2165 proeven 1. Hoe is de proeve van bekwaamheid door de school voorbereid? ,8 11,8 10,7 0,7 2. Hoe heb jij je op de proeve kunnen voorbereiden? ,7 17,8 7,3 0,2 3. Hoe vind je dat deze proeve is verlopen? ,2 18,9 6,6 0,3 4. Wat is je oordeel over de aandacht die de beoordelaars jou gaven? ,8 26,1 2,9 0,3 5. Wat vind je van de inhoud van het gesprek binnen de proeve? ,5 18,7 3,6 0,1 Jaarverslag examinering MBO Pagina 4 van 10

5 Grafieken tevredenheidsonderzoek onder deelnemers bij 2165 proeven 1. Het tijdstip waarop bekend werd dat de proeve zou worden afgenomen? Tevreden (%); 70,9 Matig tevreden (%); 6,5 Ontevreden (%); 0,4 Zeer tevreden (%); 22,2 2. De informatie die je over de proeve hebt gekregen? Tevreden (%); 70,3 Matig tevreden (%); 11,3 Ontevreden (%); 1,0 Zeer tevreden (%); 17,4 3. Verband tussen beschreven kritische beroepssituatie en de werkelijkheid? Tevreden (%); 80,9 Matig tevreden (%); 6,8 Ontevreden (%); 0,3 Zeer tevreden (%); 12,0 4. De manier waarop de beoordeling tot stand komt (observeren+gesprek)? Tevreden (%); 74,8 Matig tevreden (%); 3,6 Zeer tevreden (%); 21,4 5. De deskundigheid van de beoordelaars? Tevreden (%); 64,7 Zeer tevreden (%); 32,2 Matig tevreden (%); 3,1 Jaarverslag examinering MBO Pagina 5 van 10

6 Grafieken evaluatie onder beoordelaars bedrijfsleven bij 2165 proeven 1. Hoe is de proeve van bekwaamheid door de school voorbereid? ,8 12,7 5,7 0,8 2. Wat vindt u van uw betrokkenheid bij de voorbereiding van deze proeve? ,5 11,0 6,2 0,3 3. Hoe vindt u dat deze proeve is verlopen? ,1 15,8 3,0 0,1 4. Hoe voldoet de instructie voor de beoordeling? ,5 12,4 4,0 5. Hoe verliep het criteriumgericht interview binnen de proeve? ,4 13,5 3,1 0,1 Jaarverslag examinering MBO Pagina 6 van 10

7 Grafieken tevredenheidsonderzoek onder beoordelaars bedrijfsleven bij 2165 proeven 1. Het tijdstip waarop u gevraagd bent als beoordelaar? Tevreden (%); 76,6 Matig tevreden (%); 3,6 Ontevreden (%); 0,5 Zeer tevreden (%); 19,3 2. De informatie die u vooraf over de proeve hebt gekregen? Tevreden (%); 77,7 Matig tevreden (%); 7,4 Ontevreden (%); 1,7 Zeer tevreden (%); 13,2 3. Verband tussen beschreven kritische beroepssituatie en de werkelijkheid? Tevreden (%); 2 Zeer tevreden (%); 78,7 Matig tevreden (%); 1,2 4. De manier waarop de beoordeling tot stand komt (observeren+gesprek)? Tevreden (%); 77,3 Matig tevreden (%); 2,6 Ontevreden (%); Zeer tevreden (%); 2 5. Uw opgebouwde deskundigheid om een proeve te kunnen beoordelen? Tevreden (%); 82,5 Matig tevreden (%); 2,5 Zeer tevreden (%); 14,9 Jaarverslag examinering MBO Pagina 7 van 10

8 Grafieken evaluatie onder beoordelaars onderwijs bij 2165 proeven 1. Hoe is de proeve van bekwaamheid door de school voorbereid? ,1 8,5 4,2 0,2 2. Wat vindt u van uw betrokkenheid bij de voorbereiding van deze proeve? ,7 9,5 2,8 3. Hoe vindt u dat deze proeve is verlopen? ,8 11,6 2,7 4. Hoe voldoet de instructie voor de beoordeling? ,4 8,5 3,1 5. Hoe verliep het criteriumgericht interview binnen de proeve? ,1 10,3 2,7 Jaarverslag examinering MBO Pagina 8 van 10

9 Grafieken tevredenheidsonderzoek onder beoordelaars onderwijs bij 2165 proeven 1. Het tijdstip waarop u gevraagd bent als beoordelaar? Tevreden (%); 82,7 Zeer tevreden (%); 15,0 Matig tevreden (%); 2,2 2. De informatie die u vooraf over de proeve hebt gekregen? Tevreden (%); 83,1 Zeer tevreden (%); 13,9 Matig tevreden (%); 2,9 3. Verband tussen beschreven kritische beroepssituatie en de werkelijkheid? Tevreden (%); 84,0 Matig tevreden (%); 3,5 Zeer tevreden (%); 12,3 Ontevreden (%); 0,2 4. De manier waarop de beoordeling tot stand komt (observeren+gesprek)? Tevreden (%); 83,4 Zeer tevreden (%); 14,3 Matig tevreden (%); 2,2 Ontevreden (%); 5. Uw opgebouwde deskundigheid om een proeve te kunnen beoordelen? Tevreden (%); 85,5 Zeer tevreden (%); 12,7 Matig tevreden (%); 1,7 Ontevreden (%); Jaarverslag examinering MBO Pagina 9 van 10

10 Analyse resultaten evaluatie en meting tevredenheid proeven Bovenstaande grafieken m.b.t. evaluatie en meting tevredenheid laten hoge scores zien. De combinatie van zeer goed + goed bij de evaluatie en zeer tevreden + tevreden bij de tevredenheidmeting laat percentages zien die variëren van 87.7% tot 98.7%. Analyse resultaten evaluatie en meting tevredenheid proeven Bovenstaande grafieken m.b.t. evaluatie en meting tevredenheid laten hoge scores zien. De combinatie van zeer goed + goed bij de evaluatie en zeer tevreden + tevreden bij de tevredenheidmeting laat percentages zien die variëren van 87.7% tot 98.7%. Uit analyse van de resultaten bij de evaluatie blijkt dat de voorbereiding bij zowel de deelnemers als assessoren het laagst scoort. Bij het tevredenheidonderzoek scoort het aandachtsgebied rond het late tijdstip van de informatieverstrekking en de informatie zelf het laagst. Men was met name tevreden over het oordeel van de beoordelaars, het verloop van de proeve en het criteriumgericht interview. Bij het tevredenheidonderzoek scoorde de deskundigheid van de beoordeling en het verband tussen de beschreven kritische beroepssituatie en de werkelijkheid het hoogst. De analyse van alle gemaakte opmerkingen, waarbij ook is gekeken naar de opmerkingen bij niet behaalde proeven, blijkt een zelfde beeld te geven. Hiervan zijn de volgende aandachtspunten afgeleid. - Het bekend maken aan deelnemers en assessoren wanneer de proeve plaatsvindt dient in een vroegtijdig stadium plaats te vinden. - Er dient voorafgaand aan de proeve voldoende informatie te worden gegeven aan zowel de assessoren bedrijfsleven als aan de deelnemers. - Het administratieve deel van de proeve wordt door assessoren onderwijs als omvangrijk en omslachtig ervaren. Deze punten uit de analyses vormen in het schooljaar de basis voor verdere verbetering. 7. Contacten met examencommissies locaties In bijeenkomsten van het platform examinering MBO, in 2010 op 30-9, en en in 2011 op en 20-04, zijn examensecretarissen die hun regio vertegenwoordigen op de hoogte gehouden van alle ontwikkelingen m.b.t. examinering. Ook is hen daar gevraagd om de locaties binnen hun regio op de hoogte te houden en zijn ervaringen uitgewisseld. 8. Klachten / bezwaar en beroep Ten aanzien van de gang van zaken rondom examinering MBO op de locaties zijn geen klachten gemeld en zijn er geen bezwaren bij de CEC ingediend. Hierdoor is ook de Commissie van Beroep niet actief geweest. Jaarverslag examinering MBO Pagina 10 van 10