Resultaten van s onderwijsteams Summa College Datum: 7 oktober 2014 Auteur(s): Inge Broekmans Versie: 1.0 Status: Definitief 2014 Summa College
Resultaten van s onderwijsteams Summa College Versie Datum Omschrijving Door 0.2 2 juli 2014 Ter bespreking in besturingshart Jesse Artz Hans Bataille Inge Broekmans 1.0 1.1 3 juli 2014 7 oktober 2014 Ter aanbieding onderwijsinspectie Bijstelling n.a.v. gesprek met onderwijsinspectie Jesse Artz Hans Bataille Inge Broekmans Hans Bataille Inge Broekmans Pagina: 2 van 12
Inhoud 1. Inleiding 4 2. De KIT-evaluatie 4 3. Werkwijze totstandkoming eindrapport 5 4. Resultatenanalyse KIT 5 5. Aanbevelingen 7 Pagina: 3 van 12
1. Inleiding Voor u ligt het eindrapport KwaliteitsInstrument Toetsprogramma (KIT) naar aanleiding van de zelfevaluatie die 51 onderwijsteams van het Summa College in het schooljaar 2013-2014 met behulp van het KIT hebben uitgevoerd. In dit eindrapport staan de belangrijkste gemeenschappelijke opbrengsten en vindt u de resultaten en de aanbevelingen. 2. De KIT-evaluatie De Onderwijsinspectie heeft in het schooljaar 2012-2013 vijf opleidingen van het Summa College onderzocht. Uit het rapport Staat van de instelling (2013) blijkt dat de Onderwijsinspectie van de vijf onderzochte opleidingen, drie opleidingen een onvoldoende geeft voor de examinering en diplomering. Naar aanleiding van deze onderzoeksresultaten heeft het College van Bestuur van het Summa College besloten een verbetertraject voor álle teams op te zetten. In dit verbetertraject is gebruik gemaakt van het KIT, een instrument van Liesbeth Baartman en Raymond Cloppenburg. Met het KIT kunnen teams zelf hun examenprogramma evalueren. Dit gebeurt onder begeleiding van een adviseur van O&K, die geschoold is in het gebruik van het instrument. Standaard 1: Het exameninstrumentarium sluit aan op de uitstroomeisen en voldoet aan de toetstechnische eisen Indicatoren: 1.1 onderscheid tussen ontwikkelgerichte toetsen en examinering 1.2 dekking van het kwalificatiedossier 1.3 cesuur 1.4 beoordelingswijze 1.5 transparantie Standaard 2: De examenprocessen van afname en beoordeling zijn deugdelijk Indicatoren: 2.1 authentieke afname 2.1 betrouwbaarheid Met het KIT maken teams de keuzes die ze hebben gemaakt ten aanzien van de examinering expliciet en vermelden daar bewijsmateriaal bij. Zowel de sterke punten als de verbeterpunten van de examinering worden benoemd. De teams evalueren zelf hun examenprogramma, zijn met elkaar in gesprek over de uitkomsten en formuleren verbeteracties die ze vervolgens zelf prioriteren. Per team levert de KIT-evaluatie een verbeterplan op voor de examinering. In het verleden zijn er vooral audits examinering uitgevoerd, waarbij de kwaliteitszorgmedewerker betrokken was. De leden van het onderwijsteam werden over het algemeen niet of zeer summier bij deze audits betrokken. De verbeterpunten naar aanleiding van de audits kwamen veelal niet uit de koker van het team. Met het KIT zijn de teams actief betrokken in de evaluatie van hun examenprogramma en voelen daardoor zelf meer urgentie om verbeteracties in te zetten. De teams zijn aan zet. Door deze manier van werken, kunnen de adviseurs examinering van de Dienst O&K geen harde uitspraken doen over de mate waarin de uitvoering van de examenprogramma s aan de eisen van de Onderwijsinspectie voldoen. Dringende verbeterpunten zijn in de gesprekken met de teams wel benoemd en zijn opgenomen in de afzonderlijke rapporten per team. Pagina: 4 van 12
De opzet van het KIT? In de eerste plaats worden alle bijeenkomsten gepland. De manager onderwijs geeft aan welke eenheden (per teams of samenvoeging van teams) de zelfevaluatie uitvoeren. De manager onderwijs en teamleider van het betreffende team nodigen drie docenten uit om mee te doen aan de zelfevaluatie. Het is dus niet nodig om het hele team te laten deelnemen. De teamleider doet zelf ook mee aan de bijeenkomsten om te evalueren of om het evaluatiegesprek te volgen en om de verbinding met de acties naar het teamplan te leggen. In de eerste bijeenkomst krijgen de docenten, de teamleider en de manager onderwijs die aan het KIT deelnemen een toelichting van de adviseur O&K over het instrument en het programma: wat is het, wat is het doel, wat gaan we doen, hoe vul je het in? Enz. Vervolgens bepalen de deelnemers aan het KIT voor welk examenplan ze het KIT gaan invullen. Ter voorbereiding op de tweede bijeenkomst vullen de deelnemers het KIT in. De adviseur van O&K maakt vervolgens een overzicht van de gegeven antwoorden en benoemt de opvallende bespreekpunten. In de tweede bijeenkomst worden de gegeven antwoorden in een groepsgesprek met de deelnemers besproken. De deelnemers benoemen de sterke punten en de verbeterpunten. Het groepsgesprek wordt begeleid door een adviseur O&K. Een andere adviseur van O&K maakt het verslag van de bijeenkomst. Na deze bijeenkomst maakt een adviseur O&K het rapport voor het team. In de derde bijeenkomst bespreekt de adviseur examinering van O&K dit rapport met in ieder geval de teamleider en de manager onderwijs. 3. Werkwijze totstandkoming eindrapport Dit eindrapport is tot stand gekomen door middel van het analyseren en inventariseren van de uitkomsten van de KIT-zelfevaluaties per onderwijsteam. Per categorie van de KIT-zelfevaluaties is er een gemiddelde score berekend. Bijvoorbeeld: de gemiddelde score op de drie items van de categorie Validiteit- operationalisatie. Dit is vertaald naar een score van --, -, ±, + en ++. Indien er van een categorie weinig tot geen items zijn ingevuld, is dit gemarkeerd met een. In bijlage 1 is dit overzicht opgenomen. Vervolgens is een inventarisatie gedaan van sterke punten en verbeterpunten die n.a.v. het groepsgesprek in de KIT-rapporten van de onderwijsteams zijn opgenomen. Sterke punten en verbeterpunten die het meest werden genoemd door de onderwijsteams zijn in dit rapport weergegeven op pagina 6. 4. Resultatenanalyse KIT Wat opvalt aan de zelfevaluatie is dat er in het algemeen veel ruim voldoende (+) en goed (++) wordt gescoord. Er wordt bij een beperkt aantal onderdelen een onvoldoende (- of --) gescoord. In onderstaande tabel zijn de best scorende en de slechtst scorende categorieën uit de zelfevaluatie weergegeven. In bijlage 1 is het totaaloverzicht opgenomen. Pagina: 5 van 12
Best scorende categorieën zelfevaluatie Slechtst scorende categorie zelfevaluatie 1. Validiteit- dekking 1. Functies- selectie 2. Validiteit- vorm 3. Condities- oordeelkundigheid 4. Betrouwbaarheid- triangulatie 5. Condities- transparantie 6. Condities- organisatie Een mogelijke reden dat er bij Functies- selectie 1 lage scores zijn toegekend door de evaluatoren is dat van september 2013 december 2013 met de voorgaande versie van het KIT is gewerkt. Deze richtte zich meer op het hbo dan op het mbo. Binnen het mbo wordt geëxamineerd op eindniveau, veelal aan het eind van de opleiding. In het hbo wordt na iedere module (dus meer tussentijds) geëxamineerd. De selectiefunctie van een examen is om die reden dus anders dan in het mbo. Vanaf januari 2014 is gewerkt met een mede door het Summa College ontwikkelde mbo-versie. Top 5 opleidingen die bijzonder hoog scoren op de zelfevaluatie 1. Business MARBIZ 2. Administratie 3. Elektrotechniek 4. ICT 5. AG Horeca - Haarverzorging - Muzikant Top 5 opleidingen die relatief laag scoren op de zelfevaluatie 1. Recreatie Luchtvaart 2. Mechatronica 3. Business retail BOL 2-3 4. SCW 5. School 23 Met bovenstaande scores is niet gezegd dat dit ook de teams zijn die examinering het beste dan wel slechtste op orde hebben. De deelnemers aan de zelfevaluatie kenden zelf scores toe aan de stellingen/indicatoren van het KIT. Een hoge score kan betekenen dat het onderwijsteam het examenprogramma goed op orde heeft, maar het kan ook betekenen dat de deelnemers weinig kritisch zijn over hun examenprogramma. Een lage score kan betekenen dat het onderwijsteam het examenprogramma minder goed op orde heeft, maar het kan ook betekenen dat de deelnemers kritisch zijn en hun examenprogramma verder willen verbeteren. Opleidingen waar de zelfevaluatie weinig over kan zeggen, i.v.m. lage scoringsgraad: Weinig zelfevaluaties ingevuld op de categorieën: - Fashion-Techniek - Bouw en Infra - Juridische beroepen 1. Functies- leereffect, 2. Functies- onderwijseffect 3. Betrouwbaarheid- vergelijkbaarheid Bij de drie genoemde opleidingen zijn er te weinig cijfers ingevuld/scores toegekend om een uitspraak te mogen doen over de gemiddelde score. 1 In de voorgaande versie was bij Functies- selectie o.a. de stelling opgenomen Op basis van het toetsprogramma worden in de beginfase van de opleiding studenten geselecteerd voor het wel of niet vervolgen van de opleiding. Pagina: 6 van 12
Uitkomsten inventarisatie van genoemde sterke punten en verbeterpunten De meest genoemde verbeterpunten: De meest genoemde sterke punten (terug te vinden in meer dan 10 KIT-evaluaties) (terug te vinden in meer dan 10 KITevaluaties) 1. Functies: Examenanalyse: analyse van examenresultaten en evaluatie met beoordelaars en studenten ( 30) 2. Condities: Studenten bekend maken met/informeren over het kwalificatiedossier (exameneisen) ( 23) 3. Condities: Borging van de kwaliteit van (praktijk)assessoren/professionalisering van assessoren ( 18) 4. Condities: Informeren van studenten over de klachtenprocedure ( 14) 5. Functies: Uitbreiden van de beoordelingsschaal/normeringsschaal ( 13) 1. Validiteit: Dekking van het kwalificatiedossier in het examenplan en de examinering ( 38) 2. Validiteit: Methodemix ( 29) 3. Betrouwbaarheid: Meerdere beoordelaars ( 33) 4. Betrouwbaarheid: Binnen- en buitenschoolse examinering ( 26) 5. Condities: Examenvoorzieningen op orde ( 20) 6. Condities: Professionele assessoren ( 13) 5. Aanbevelingen om de basis op orde te krijgen t.a.v. examinering Op basis van de zelfevaluatie van de onderwijsteams, zijn er enkele verbeterpunten die Summabreed opgepakt worden. Daarnaast heeft elk team eigen specifieke verbeteracties. Onderstaande aanbevelingen gelden voor het gehele Summa College en zijn beschreven op basis van de meest genoemde verbeterpunten hierboven. Om de examenkwaliteit te verhogen, moeten deze verbeterpunten opgepakt worden. Het speerpunt voor komend schooljaar is: 1. Borging van de kwaliteit van (praktijk)assessoren/professionalisering van assessoren: Dit verbeterpunt is het meest complex. Niet alleen binnen het Summa College, ook landelijk gezien worstelen mbo-instellingen hiermee 2. We stellen op een aantal niveaus verbeteracties voor: o We bekijken met onderwijsteams op welke wijze zij nu examineren in de beroepspraktijk. We bespreken met examencommissies hoe zij toezien op de borging van de examinering in de beroepspraktijk. Op basis daarvan beschrijven we een aantal goede voorbeelden en uitgangspunten die andere onderwijsteams en examencommissies kunnen gebruiken. De goede voorbeelden richten zich op procedures waarbij de kwaliteit van de examens in de beroepspraktijk is geborgd. o In het verlengde van bovenstaand punt gaan we met managers onderwijs overleggen om alternatieven voor de huidige manier van examineren in de beroepspraktijk te onderzoeken. 2 Op 31 mei 2013 en 21 juni 2013 zijn twee zeer snel volgeboekte conferenties Examinering in de BPV gehouden. Deze conferenties zijn georganiseerd door het servicepunt examinering mbo. Tijdens de conferentie bleek dat alle mboinstellingen worstelen met de borging van de kwaliteit van examinering en de praktijkassessoren in de BPV. Pagina: 7 van 12
o We gaan met onderwijsteams korte maatwerktrajecten opzetten en uitvoeren om praktijkassessoren te professionaliseren (als assessor; niet als inhoudsdeskundige). Ten aanzien van de andere verbeterpunten stellen we het volgende voor/constateren we het volgende: 2. Examenanalyse: analyse van examenresultaten en evaluatie met beoordelaars en studenten: Ten aanzien van dit verbeterpunt is de Summa-brede verbeteractie al in gang gezet. In het schooljaar 2014-2015 wordt het uitvoeren van examenanalyses én het evalueren van examens met beoordelaars en studenten structureel opgepakt met de ambtelijk secretarissen van de examencommissie. 3. Studenten bekend maken met/informeren over het kwalificatiedossier (exameneisen): Een veel gehoorde verbeteractie die de teams hier hebben geformuleerd, is de eisen van het kwalificatiedossier (de kerntaken en werkprocessen) op een begrijpelijke manier bekend maken bij de studenten. Met name de teams die werken met een vaag kwalificatiedossier en een kwalificatiedossier met ingewikkeld taalgebruik is dit een wens. Deze teams geven aan het van belang te vinden dat de studenten bekend raken met het jargon en willen dit in het onderwijs al introduceren, zodat studenten er bij het examen aan gewend zijn. De teams vertalen de kerntaken en werkprocessen op een begrijpelijke manier voor studenten. De teams doen dit niet alleen ten behoeve van het examen, maar ook ten behoeve van het onderwijsprogramma. 4. Informeren van studenten over de klachtenprocedure: Een veel gehoorde verbeteractie die de teams hier hebben geformuleerd, is een verwijzing naar de klachtenprocedure opnemen in de OER/Opleidingsgids. Dit verbeterpunt wordt in het herzieningstraject van de OER meegenomen. 5. Uitbreiden van de beoordelingsschaal/normeringsschaal: De onderwijsteams geven aan dat ze graag de excellente student willen kunnen belonen met een goed of een hoog cijfer. De studenten die vanaf 1 augustus 2012 zijn gestart zijn met de opleiding moeten in ieder geval op basis van een driepuntsschaal (onvoldoende, voldoende, goed) worden beoordeeld. Landelijk gezien, zien we dat er steeds meer wordt gewerkt met cijfers (een tienpuntsschaal). In haar brief van 2 juni jl. heeft de minister van OCW gesteld dat ze opleidingen vanaf 1 augustus 2016 wil verplichten om gebruik te maken van bij gecertificeerde examenleveranciers ingekochte examens of van extern gelegitimeerde eigen examens (al dan niet gezamenlijk ontwikkeld). Deze ontwikkeling is van invloed op de vrijheid die de onderwijsteams hebben in het toepassen van een bepaalde beoordelingsschaal. Aanbevelingen ten aanzien van het proces: 6. Checklist ontwikkelen om in te zetten bij één specifieke review in het schooljaar, De verbeteracties die de teams hebben geformuleerd én waaraan het team prioriteit heeft gegeven zouden opgenomen moeten zijn in het teamplan. De verbeteracties kunnen dan via de reviewstructuur gevolgd worden. Omdat het niet zeker is of teams ook daadwerkelijk hun verbeteracties in het teamjaarplan hebben opgenomen, is het voorstel om met de ambtelijk secretarissen een checklist te ontwikkelen om in te zetten bij één specifieke review in het schooljaar, waarin examinering als specifiek thema staat. Het KIT rapport van het team kan daarbij als vertrekpunt worden genomen. Pagina: 8 van 12
De uitkomsten van deze reviews worden vervolgens gedeeld met de adviseurs examinering, die vervolgens de Summa-brede voortgang in kaart brengen. 7. Verbeteringen volgen via de examencommissie De examencommissie van het cluster is verantwoordelijk voor de borging van de examenkwaliteit. De examencommissie volgt en stuurt op de verbeterplannen die de onderwijsteams hebben geformuleerd. 8. Werkwijze ontwikkelen t.b.v. de externe verantwoording Ook zal er een nieuwe manier gevonden moeten worden om de externe verantwoording van examinering aan belanghebbenden te verzorgen. Het KIT is een ontwikkelingsgericht instrument en daarmee een interne aangelegenheid. 9. Structurele inbedding KIT in verbetering examenkwaliteit Alle onderwijsteams hebben aangegeven dat deze manier van evalueren en het gesprek aangaan over de examinering grote meerwaarde heeft. Veel teams hebben aangegeven nogmaals de zelfevaluatie met behulp van het KIT te willen uitvoeren, maar dan met een ander examenplan van een opleiding die het team verzorgt. Inmiddels zijn er al diverse aanvragen binnengekomen bij de dienst O&K. Daarnaast kan nagedacht worden over de frequentie waarmee het KIT wordt ingezet voor één en dezelfde opleiding: er kan gedacht worden aan een cyclus van drie jaar of aan een verbetercyclus waarbij het KIT nogmaals wordt ingezet als het team alle verbeteracties uit de eerste evaluatie heeft verwerkt. Het KIT wordt ook opgenomen in de onderzoeksagenda die t.b.v. onderwijskwaliteit wordt opgesteld. 10. Nader onderzoek naar succesfactoren en risico s De teams die hoog scoren en de teams die laag scoren vormen een interessante bron van informatie, respectievelijk een zorg bij een volgend onderzoek van de Inspectie. Voorgesteld wordt om de examencommissies (met ondersteuning van de adviseurs examinering O&K) zowel bij de hoog als laag scorende teams nader onderzoek te laten verrichten om goede voorbeelden boven tafel te krijgen, de realiteit van de score te onderzoeken en het risico van een onvoldoende kwaliteit van examinering te elimineren. Ook verdient het aanbeveling om de examencommissies te laten onderzoeken of de onderwijsteams nu de urgentie ervaren van een examenprogramma dat voldoet aan de wettelijke vereisten. 11. Gebruik KIT methodiek bij andere thema s Gezien het enthousiasme over de methodiek van het KIT verdient het aanbeveling om te onderzoeken of er ook op andere thema s een dergelijke zelfevaluatie is uit te voeren. Te denken valt aan thema s die in het kader van Focus op Vakmanschap spelen, de intensivering van het leren, BPV en LOB. Pagina: 9 van 12
Bijlage 1: Resultaat analyse KIT zelfevaluatie Legenda 8 ++ 5,4-4 - 7,9-7 + 3,9 -- 6,9-5,5 ± Te weinig scores ingevuld Sector Opleiding Validiteit Betrouwbaarheid Functies Condities Operationalisatie Dekking Complexiteit Vorm Vergelijkbaar heid Triangulatie Selectie Leereffect Onderwijseffe ct Transparantie Oordeelkundig heid Organisatie B&S ++ ++ ++ + + +- + + - ++ + + Automotive BFHRSV Hybride ++ ++ +- + + ++ +- + + ++ + + Personenauto + + +- + + + - + + + + Beveiliging ++ ++ ++ Brood en Banket ++ ++ +- -- + - + ++ ++ + +- + +- +- +- +- +- + + +- +- + +- +- Defensie + + +- + +- + +- +- Fac. Dienst +- + + +- +- +- +- +- +- +- +- Horeca ++ ++ ++ ++ ++ ++ + + + ++ + HTV-Politie + ++ + + + ++ -- + +- +- BFUT Recreatie Luchtvaart Sport en Bewegen Business MARBIZ Business Retail BBL Business retail BOL 2-3 Business retail BOL 4 B. retail BOL 4 B2B Fashion Design - + - + +- + -- + + + -- + ++ + + - + +- + +- + +- +- + ++ + ++ + ++ +- +- + + + + + ++ + + +- +- + +- + +- + + + ++ + + - +- + +- +- + - +- +- - +- +- - +- +- +- - +- + ++ + +- + + +- +- +- + + + + + ++ + +- + + +- Pagina: 10 van 12
Fashion +- ++ + + ++ + ++ Techniek T&L + + + + ++ ++ + +- +- + ++ +- ++ ++ ++ + + ++ + +- ++ + + + Bouwen en Wonen MAKS + + +- +- + + ++ +- +- + + + USchoonheid + ++ + ++ + + +- + + + + + Bouw en infra +- Wonen en Design +- +- +- +- +- +- + + +- + + ++ + +- +- +- +- + + + + Haarverzorging Laboratorium Ster Coll.ege Sch 23 Techniek BOL 3 (OB 4) +- +- BOL 4 +- ++ AKA +- AKA +- + +- + +- + +- + + +- + +- + +- + + ++ + +- ++ + +- + + + +- +- +- +- +- + + + +- +- +- +- +- + + + Mechatronica +- +- - +- +- + - - +- + - +- + + +- - +- +- +- +- +- +- +- MKE Werktuigbouw Electro + + ++ ++ + ++ ++ ++ + ++ ++ + EIPS-SAI + ++ + + + + + + ++ Procestechn. (nvt) ++ +- Drama +- + ++ +- + ++ + ++ + + ++ +- Welzijn en Artiest Muzikant + ++ ++ + ++ ++ + + ++ ++ ++ + GZ + + ++ + + ++ + -??? + + + +- MMZ ++ ++ ++ ++ + + + + ++ + + OA + ++ ++ ++ + + +- +- +- - +- +- PW3 +- + + + +- +- +- +- +- +- +- +- PW4 +- --? --? - +- +- +- +- + + + SCW +- +- + +- + +- +- +- +- +- +- Pagina: 11 van 12
Admin 2 ++ ++ ++ ++ ++ ++ ++ + ++ ++ ++ ++ ZDI BBL +- + +- +- +- +- Commerciële Beroep Financiële beroep + + + + + + + + + +- + + +- +- +- + +- + + + + +- +- +- + + + + ICT + + ++ ++ + ++ + + ++ + ++ + Juridische beroep + + - + + + Secretariële beroep + + +- + + +- +- + ++ ++(* ) AG + ++ ++ ++ + ++ + ++ + ++ ++ Zorg Verpleegk. Breed Verzorgende BOL-BBL + + ++ ++ + + +- + +- + +- +- ++ ++ ++ + +- ++ + + +- + + +- Zorghulphelpende ++ + + + +- ++ + + +- +- +- ++ Pagina: 12 van 12