HVA EVC CENTRUM. Certificeringsrapport in het kader van het Hobéon Keurmerk voor Kwaliteit

Transcriptie

1 Lange Voorhout ED Den Haag T (070) F (070) I E info@hobeon.nl HVA EVC CENTRUM Certificeringsrapport in het kader van het Hobéon Keurmerk voor Kwaliteit

2 HVA EVC CENTRUM Certificeringsrapport in het kader van het Hobéon Keurmerk voor Kwaliteit Hobéon Certificering BV Datum: 20 juli 2012 Auteurs: ir. A.T. de Bruijn H.R. van der Made

3 INHOUDSOPGAVE 1. REIKWIJDTE ONDERZOEK 1 2. RAPPORTAGE Vaststelling rapport Opbouw rapport Bijlagen 2 3. SAMENVATTING Aanleiding Oordeel Certificering 3 4. WERKWIJZE Opzet onderzoek Toegepast beoordelingskader 5 5. BEOORDELING 6 6. EINDRESULTAAT VAN DE BEOORDELING BIJLAGEN 14 Bijlage 1 EVC-aanbieder en Beoordelende organisatie 15 Bijlage 2 Overzicht gesprekspartners 16 Bijlage 3 Geraadpleegde documenten 17 Bijlage 4 Hobéon Kwaliteitskader Assessment Centra 18

4 1. REIKWIJDTE ONDERZOEK Het HvA EVC Centrum van de Hogeschool van Amsterdam (HvA) voert Competentie-assessments en EVC-procedures uit ten behoeve van meerdere hbo-bachelordomeinen en enkele hbomasteropleiding. De resultaten van de assessments van het centrum worden doorgaans ter verzilvering aangeboden aan de examencommissies van relevante hbo-opleidingen binnen de HvA. Assessments worden uitgevoerd (i) voor individuen die op basis van hun in de praktijk verworven competenties in aanmerking willen komen voor vrijstellingen in een hbo-opleiding om daarmee, een opleidingstraject in een korter tijdsbestek te kunnen doorlopen dan de nominale studieduur dan wel in aanmerking willen komen voor toelating tot een (verkorte) hbo-opleiding en (ii) voor opdrachtgevers uit het bedrijfsleven, die een hbo-opleiding op maat wensen voor hun werknemers en daarbij als eerste stap een beoordeling willen van de verworven competenties zodat duidelijk wordt hoe het opleidingstraject eruit zal zien en hoe lang dit gaat duren. Dit beoordelingsrapport bevat de uitkomsten van het onderzoek dat Hobéon heeft uitgevoerd naar de kwaliteit van het EVC Centrum van de Hogeschool van Amsterdam. In dit onderzoek zijn de volgende kwaliteitsaspecten van het EVC Centrum beoordeeld: 1. Zorgvuldigheid van de gehanteerde procedures 2. Validiteit van de gehanteerde beoordelingsstandaarden 3. Betrouwbaarheid van de uitgevoerde assessments 4. Functionaliteit van de uitkomsten 5. Effectiviteit van de kwaliteitszorg De bijbehorende beoordelingscriteria zijn uitgewerkt in het beoordelingskader van het Hobéon Keurmerk voor Kwaliteit (HKK) voor Assessment Centra. De beoordeling die is opgenomen in dit rapport volgt dit beoordelingskader. Hobéon Certificering Beoordelingsrapport HVA EVC CENTRUM juli

5 2. RAPPORTAGE 2.1. Vaststelling rapport Dit rapport bevat de resultaten en bevindingen van het onderzoek naar de kwaliteit van de het HVA EVC CENTRUM dat tussen 16 juni 2011 en 28 juni 2012 plaatsvond. Het rapport is vastgesteld op 20 juli Opbouw rapport Het rapport start met een samenvatting van het onderzoek en de waardering. Vervolgens beschrijft hoofdstuk 4 de werkwijze van Hobéon. Hoofdstuk 5 bevat per beoordelingscriterium de bevindingen van Hobéon. Het eindresultaat van het onderzoek wordt in het laatste hoofdstuk vermeld Bijlagen Gegevens HVA EVC CENTRUM en Hobéon Overzicht gesprekspartners Geraadpleegde documenten Hobéon Certificering Beoordelingsrapport HVA EVC CENTRUM juli

6 3. SAMENVATTING 3.1. Aanleiding Aanleiding van dit certificeringsrapport is het verzoek van het HVA EVC CENTRUM zijn kwaliteit te beoordelen met het oog op het verkrijgen van het Hobéon Keurmerk voor Kwaliteit Oordeel Hobéon komt tot het oordeel dat het HVA EVC CENTRUM op zorgvuldige wijze assessment procedures uitvoert. De gehanteerde beoordelingsinstrumenten zijn valide, de assessoren die de assessments uitvoeren zijn daartoe geëquipeerd en worden door het HVA EVC Centrum op heldere criteria gerekruteerd. De output van de assessments wordt telkens weergegeven in een transparante rapportage, waarin het beoordelingsproces en de gehanteerde beoordelingsinstrumenten staan beschreven en het oordeel van de assessoren navolgbaar is neergelegd. Het beoordelingsproces van ieder assessment staat bovendien geheel los van een eventueel door de kandidaat te volgen opleidingstraject. Het HVA EVC CENTRUM beoordeelt competenties van kandidaten aan de hand van gevalideerde beoordelingsstandaarden. Deze beoordelingsstandaarden zijn altijd ontleend aan de opleidingsprofielen van hbo-opleidingen. Waar nodig zijn deze profielen door het EVC Centrum vertaald naar beheersingsindicatoren en duidelijke beoordelingscriteria, die zijn afgestemd met afnemende examencommissies. De assessments voert de HvA alle uit volgens een scherpomlijnde procedure, waarin iedere stap adequaat wordt gedocumenteerd. Op de assessments wordt het vierogen principe toegepast, hetgeen de betrouwbaarheid van de bevindingen verhoogt. Het assessment centrum investeert in de kwaliteit van zijn assessoren door ze regelmatig te trainen en met intervisiebijeenkomsten te bevorderen dat de assessoren altijd volgens dezelfde beoordelingssystematiek werken. Dat de uitkomsten van de assessments functioneel zijn, blijkt uit de waardering die de examencommissies hebben voor de kwaliteit van de rapportages, op grond waarvan zij vrijwel zonder uitzondering tot een weloverwogen oordeel kunnen komen over het toekennen van vrijstellingen binnen de hun regarderende opleidingsprogramma s. Uit eigen onderzoek van de HvA blijkt bovendien dat kandidaten die via een assessment in een opleiding instromen succesvol zijn bij het voltooien van hun hbo-studie. De HvA hanteert een systeem van kwaliteitszorg waarbij alle bij de assessments betrokken partijen systematisch worden bevraagd over de geleverde kwaliteit. Dit betreft niet alleen de kandidaten en de assessoren, maar ook de afnemende examencommissies van opleidingen. Het hiervoor aangehaalde onderzoek naar studiesucces is er een duidelijk voorbeeld van dat de HvA ook de effecten van haar assessments evalueert en zo nodig haar uitvoeringspraktijk verbetert. Het totaaloordeel over het HVA EVC CENTRUM luidt dan ook: volledig conform Certificering Hobéon kent het HVA EVC CENTRUM op grond van voorgaande overwegingen en het daaraan gekoppelde totaaloordeel zijn Hobéon Keurmerk voor Kwaliteit toe. Het keurmerk is geldig voor een periode van 3 jaar, ingaande op de datum van afgifte van dit certificeringsrapport. Gedurende de certificeringtermijn van drie jaar beoordeelt Hobéon door middel van steekproeven periodiek de kwaliteitsborging door HvA, met name waar het gaan om de validiteit van de assessments en de kwaliteit van de assessoren. Hobéon Certificering Beoordelingsrapport HVA EVC CENTRUM juli

7 De certificering is toegekend op 20 juli 2012 door: Naam: ir. A.T. de Bruijn Functie: Voorzitter auditpanel/partner Hobéon Hobéon Certificering Beoordelingsrapport HVA EVC CENTRUM juli

8 4. WERKWIJZE 4.1. Opzet onderzoek Documentenonderzoek: Zie Bijlage 3: Geraadpleegde documenten Locatieonderzoek: Datum en locatie In het kader van dit onderzoek heeft bij het HVA EVC CENTRUM een drietal beoordelingen (visitaties) plaatsgevonden. De eerste beoordelingen waren op 16 en 21 juni 2011 Aanvullend hierop vond op 28 juni 2012 een vervolgaudit plaats. Deze richtte zich specifiek op de overdraagbaarheid van de rapportages c.q. op de vraag of examencommissies een deugdelijke beslissing kunnen nemen over scholing, certificering of diplomering. Op locatie geraadpleegde documenten In totaal werden 79 uitgevoerde procedures met onderliggende dossiers voor verschillende croho-standaarden onderzocht, inclusief de opgeleverde beoordelingsrapportages. Gesprekspartners HVA EVC CENTRUM Een overzicht van de gesprekspartners van het HVA EVC CENTRUM waarmee de auditoren hebben gesproken is opgenomen in de bijlage 2 bij dit rapport Rapportage 17 juli 2012: conceptrapport. 19 juli 2011: reactie feitelijke onjuistheden met bijstelling van het rapport. 19 juli 2011: definitief rapport Toegepast beoordelingskader Bij de beoordeling van het HVA EVC CENTRUM is het Hobéon Kwaliteitskader Assessmentcentra gehanteerd. Dit beoordelingskader is bij dit rapport opgenomen in de bijlage 4. Hobéon Certificering Beoordelingsrapport HVA EVC CENTRUM juli

9 5. BEOORDELING Onderwerp 1 Zorgvuldigheid van de procedures Het assessment centrum informeert iedere kandidaat volledig over hoe het assessment wordt uitgevoerd en waarborgt dat dit dienovereenkomstig geschiedt. 1.1 Het assessmentcentrum waarborgt dat iedere kandidaat vóór de start van het assessment goed is geïnformeerd over: a. Het doel en de reikwijdte van het assessment b. De assessmentprocedure (waaronder doorlooptijd, tijdbeslag, communicatie, klachten- en bezwaarprocedure) c. De standaard en beoordelingscriteria d. De assessmentmethoden en -instrumenten e. De wijze waarop de kandidaten betrokken worden bij de evaluatie van het assessment. f. Het assessmentcentrum legt de afspraken hierover vast met iedere kandidaat. 1.2 Het assessmentcentrum waarborgt dat ieder assessment wordt uitgevoerd volgens de afspraken. 1.3 Het assessmentcentrum waarborgt dat de assessmentprocedure, alsmede de assessmentmethoden en instrumenten in vergelijkbare gevallen voor alle kandidaten gelijk zijn. 1.4 Het assessmentcentrum bericht iedere kandidaat over de uitkomst van het assessment. Bevindingen 1.1 In de documentatie van het HVA EVC CENTRUM (bijvoorbeeld in de Handleiding EVC) staan alle processtappen beschreven vóór, tijdens en na het assessment: Quickscan (optioneel), Adviesgesprek, Portfolio opbouw, Portfoliobeoordeling, Criteriumgericht interview (Assessmentgesprek), Afrondend gesprek, Rapportage. De informatie over de procedures is op verschillende manieren voor iedereen toegankelijk gemaakt, waaronder via de Handleiding voor de kandidaat en de Website van het EVC Centrum. De informatie bevat alle vereiste elementen. Een potentiële deelnemer heeft de mogelijkheid een Quickscan te laten afnemen, en voert altijd een adviesgesprek met een adviseur in de oriëntatiefase, voorafgaand aan zijn eventuele deelname. Het centrum heeft per domein adviseurs aangesteld, die goed zijn geïnformeerd over de gehele procedure. Met behulp van de eventueel uitgevoerde Quickscan, het aanmeldformulier met CV en aan de hand van het adviesgesprek blijkt of het voor de kandidaat zinvol is om een EVCtraject uit te voeren. Tijdens de introductiepresentatie en het adviesgesprek komen alle elementen waarnaar de beoordelingsstandaard 1.1 verwijst aan de orde: het doel van het assessment en de reikwijdte ervan, de volledige assessmentprocedure, de relevante croho-standaard met de beoordelingscriteria, de opzet van het portfolio, de methode van assessment en de wijze waarop de kandidaat de uitslag van het assessment verneemt. Het adviesgesprek voorafgaand aan de procedure leidt, zoals de auditoren aan de hand van concrete overeenkomsten hebben kunnen vaststellen, tot besluiten en afspraken over al deze onderwerpen. Hobéon Certificering Beoordelingsrapport HVA EVC CENTRUM juli

10 1.2 Dat het EVC-centrum na de intake de afspraken vastlegt in een overeenkomst/akkoordverklaring met de kandidaat, is op zichzelf een basis voor een strikte uitvoering van de procedure. Uit verschillende documenten die het HVA EVC CENTRUM hanteert bij de training van assessoren met heldere instructies over de wijze waarop de assessments moeten worden uitgevoerd, blijkt een volledige congruentie tussen de op verschillende plaatsen beschreven beoordelingsprocedure en de wijze waarop de assessoren worden geïnstrueerd deze uit te voeren. Ook uit de dossiers die het panel heeft ingezien, blijkt dat alle processtappen conform de vastgelegde afspraken worden gezet. Evaluaties onder kandidaten en assessoren, tenslotte, wijzen niet uit dat assessments niet volgens de gemaakte afspraken worden uitgevoerd. 1.3 Het HVA EVC CENTRUM hanteert voor eenzelfde croho-standaard in alle gevallen dezelfde beoordelingsprocedure met dezelfde assessmentmethoden en instrumenten. Dit blijkt uit de verschillende dossiers die het panel heeft ingezien van kandidaten die zijn beoordeeld aan de hand van dezelfde croho-beoordelingsstandaard. 1.4 Direct na het assessmentgesprek met de kandidaat wordt door de assessoren feedback gegeven met een voorlopig oordeel. Deze directe feedback van de assessoren is erop gericht dat de EVCrapportage voor de kandidaat geen verrassingen meer bevat. Indien de kandidaat vragen heeft over de EVC-rapportage kan hij te allen tijde verzoeken om een nader toelichtend gesprek via de EVC-coördinator. Oordeel Het HVA EVC CENTRUM is voor wat betreft de zorgvuldigheid van zijn procedures volledig conform. Hobéon Certificering Beoordelingsrapport HVA EVC CENTRUM juli

11 Onderwerp 2 Validiteit van de standaarden Het assessmentcentrum beoordeelt iedere kandidaat aan de hand van een valide standaard. 2.1 Het assessmentcentrum waarborgt dat ieder assessment is gebaseerd op een actuele standaard, die relevant is voor het doel van het assessment. 2.2 Wanneer diplomering het uiteindelijke doel is van de kandidaat waarborgt het assessmentcentrum dat de standaard zodanig is geoperationaliseerd en afgestemd met een daarvoor bevoegde instantie dat deze een deugdelijke beslissing kan nemen over scholing, certificering of diplomering. Bevindingen 2.1 Ondermeer uit de beschrijving van de EVC-procedure in het EVC-Handboek van het HVA EVC CENTRUM, evenals uit de teksten op zijn website, het informatiemateriaal en de handleiding voor kandidaten, alsmede uit de formats van de rapportages blijkt, dat het HVA EVC CENTRUM zijn EVC procedures uitdrukkelijk richt op de actuele opleidingsstandaarden en de SLB-standaard, zoals deze zijn vastgesteld door de betreffende opleidingen waarvoor EVC-procedures worden uitgevoerd. In de documentatie van het HVA EVC CENTRUM staat telkens de actuele opleidings-standaard centraal als de standaard waarop het EVC-onderzoek is gericht. De toe te passen beoordelingsstandaard is altijd relevant voor het doel dat de kandidaat met het assessment nastreeft. In vrijwel alle gevallen gaat het om het volgen van een scholingstraject in het verlengde van de toegepaste opleidingsstandaard. 2.2 Het EVC Centrum heeft de opleidingsstandaarden (competentieprofielen) telkens geoperationaliseerd in beoordelingsstandaarden die voldoen aan de eisen van meetbaarheid, herkenbaarheid, representativiteit en transparantie. De operationalisering van de beoordelingsstandaarden stemt het EVC-Centrum af met examencommissies van opleidingen waar kandidaten hun EVC-rapportages ter verzilvering kunnen aanbieden. Door de betrokkenheid van een examencommissie bij het ontwerp van het beoordelingskader borgt het centrum dat de examencommissie desgewenst een deugdelijke beslissing kan nemen over scholing, certificering of diplomering. Oordeel Het HVA EVC CENTRUM is voor wat betreft de validiteit van de toegepaste standaarden geheel conform. Hobéon Certificering Beoordelingsrapport HVA EVC CENTRUM juli

12 Onderwerp 3 Betrouwbaarheid van de assessments Het assessmentcentrum voert ieder assessment objectief en reproduceerbaar uit. 3.1 Het assessmentcentrum waarborgt dat de assessmentmethoden en instrumenten afgestemd zijn op het doel van het assessment en dekkend zijn voor de toe te passen standaard. 3.2 Het assessmentcentrum waarborgt dat iedereen die vanuit of namens hem een bijdrage levert aan het assessment hiervoor gekwalificeerd is en blijft, en opereert volgens een deugdelijke taakbeschrijving. 3.3 Het assessmentcentrum waarborgt dat iedere assessor aantoonbaar bekwaam is en blijft, voor wat betreft zowel assessmentcompetenties als vakinhoudelijke competenties op het gebied van de standaard. 3.4 Het assessmentcentrum waarborgt dat tussen assessor en kandidaat geen relatie is anders dan die voor de werkzaamheden van de assessor noodzakelijk en onvermijdelijk is. 3.5 Het assessmentcentrum waarborgt een strikte scheiding tussen de begeleiding en de beoordeling van iedere kandidaat. 3.6 Het assessmentcentrum waarborgt dat het eindoordeel van alle assessoren in vergelijkbare gevallen gelijk is. 3.7 Het assessmentcentrum waarborgt dat beslissingen over scholing, certificering of diplomering geen onderdeel vormen van het assessment. Bevindingen 3.1 De documentatie met betrekking tot opbouw portfolio en het assessmentgesprek (CGI) laat zien dat de beoordelingsmethode en -criteria in overeenstemming zijn met de inhoud en strekking van de betreffende opleidingsstandaard. Tijdens het ontwerpproces van een nieuw in te zetten EVCprocedure, voert het HVA EVC CENTRUM daarover overleg met een aan de standaard gelieerde examencommissie van de Hogeschool van Amsterdam. Het EVC Centrum beoogt hiermee te bereiken dat het beoordelingsinstrumentarium en, met name, de beoordelingscriteria passend zijn voor de te beoordelen standaard. Blijkens alle geraadpleegde hbo-kandidaatdossiers zijn de instrumenten ook inderdaad afgestemd op en dekkend voor de betreffende standaard. 3.2 De in te schakelen assessoren komen, blijkens hun CV s, allen uit het relevante vakgebied en zijn ofwel docent bij de HvA of werkzaam in een relevante beroepspraktijk. De docenten zijn dus - volledig op de hoogte van de betreffende opleidingsstandaard. De functionarissen uit het werkveld zijn op de hoogte van actuele ontwikkelingen in de praktijk. Om assessorkwaliteiten van de assessoren te borgen heeft het EVC-Centrum een training- en certificeringsprogramma ontworpen. Alle assessoren die worden ingezet hebben dit training- en certificeringsprogramma doorlopen. De training kent de volgende onderdelen: (i) de EVC-procedure, (ii) de portfoliobeoordeling, VRAAK criteria, (iii) criterium gericht interview (gesprekstechniek, STARR-methode), (iv) de rapportage (formele en inhoudelijke onderbouwing, zorgvuldigheid, taal & stijl). Het certificeringsprogramma bestaat uit (i) ervaring opdoen, zo mogelijk met een ervaren assessor, (ii) observatie en feedback door een onafhankelijke expert-beoordelaar tijdens de uitoefening van een assessment, resulterend in ontwikkeltips (iii) een on-the-job beoordeling door een onafhankelijke expertbeoordelaar. Er is voorzien in een onderhoudsprogramma, waardoor het certificaat zijn geldigheid houdt en assessoren zich telkens op de hoogte moeten stellen van nieuwe ontwikkelingen en hun kennis en vaardigheden moeten bijhouden. Uit de dossiers die de auditoren hebben ingezien en de gesprekken die zij met de assessoren hebben gevoerd, blijkt bovendien dat zij beschikken over zowel voldoende vakkennis van en inzicht in de te beoordelen standaarden alsook de vereiste beoordelingsmethode en de toe te passen beoordelingscriteria. Hobéon Certificering Beoordelingsrapport HVA EVC CENTRUM juli

13 Het HVA EVC Centrum heeft voorts voor ieder van de actoren in de EVC-procedure de taken, verantwoordelijkheden en in mindere mate de bevoegdheden vastgelegd in afzonderlijke documenten. De indeling van de functies in hoofd EVC Centrum, EVC Coördinator, EVContwikkelaars, EVC-adviseurs, EVC-assessoren en EVC-assessorbeoordelaars is in de praktijk functioneel. Uit de met het management en de assessoren/adviseurs gevoerde gesprekken is het de auditoren gebleken dat zij de bevoegdheden feitelijk helder hebben afgebakend en dat zij allen bekend zijn met de taken, verantwoordelijkheden en bevoegdheden van een ieder. 3.3 Uit de met de assessoren gevoerde gesprekken is het panel voorts gebleken dat zij doorgaans voldoende assessments afnemen om hun bekwaamheid op peil te houden. Voor zover dit al niet blijkt uit de CV s van de assessoren, mag naar het oordeel van het panel uit het gegeven dat assessoren tevens ofwel gekwalificeerd docent zijn in een aan de beoordelingsstandaard gelieerde hbo-opleiding, ofwel werkzaam zijn in een relevante praktijk worden afgeleid dat dit van hun vergt dat zij hun vakinhoudelijke competenties actueel houden. Voor wat betreft de assessmentvaardigheden van de assessoren, organiseert het EVC-Centrum periodiek intervisiebijeenkomsten waarin beoordelingen tussen assessoren worden afgestemd. Een sterk punt vindt het panel de inzet van onafhankelijke assessmentdeskundigen die een assessor tijdens de uitvoering van een assessment beoordelen en feedback leveren op de gedragsindicatoren (communicatieve vaardigheden) van de assessoren. Ook dit toont dat het EVC- Centrum de kwaliteit van zijn assessoren voortdurend bewaakt. 3.4 Assessoren hebben geen andere relatie met de kandidaat dan die welke voor het beoordelen van de kandidaat noodzakelijk en onvermijdelijk is. Deze eis is vastgelegd in de overeenkomst met de assessoren. Het HVA EVC CENTRUM bewaakt zorgvuldig de naleving daarvan. Dit blijkt ook uit het feit dat bij de inzet van assessoren wordt nagegaan of de externe assessor eventueel niet werkzaam is voor dezelfde organisatie als de kandidaat. 3.5 Uit de documentatie van het HVA EVC CENTRUM blijkt, dat bij elk EVC-traject een EVCadviseur/begeleider wordt aangewezen die in geen enkel opzicht een rol speelt bij de beoordeling van een kandidaat. Kandidaten maken beperkt gebruik van de mogelijkheden voor portfoliobegeleiding, omdat de instrumenten om tot portfoliovorming te komen zodanig zijn uitgewerkt dat deze zelfsturend zijn. 3.6 Uit het programma van de training voor assessoren en de met de assessoren gevoerde gesprekken is het panel gebleken dat de assessoren worden getraind in het beoordelen van competenties, het hanteren van de beoordelingsinstrumenten, welke eisen aan een portfolio worden gesteld en welke informatie nodig is om een assessmentgesprek (CGI) te kunnen voeren en tot een onderbouwd en intersubjectief oordeel te komen. Aan de orde komen ondermeer: (i) gespreks- en beoordelingstechnieken, waaronder START en turbo, (ii) regie houden in het gesprek (LSD), (iii) metacommuniceren, (iv) tot stand brengen van een intersubjectief oordeel, (v) feedback geven, (vi) omgaan met bezwaar. De technieken worden geoefend in een volledig assessmentgesprek, inclusief het vaststellen van het oordeel en het geven van feedback. Dit gebeurt met een authentiek portfolio en een met behulp van de inzet van een acteur in de rol van kandidaat. Intervisie maakt expliciet deel uit van de training, waardoor intersubjectiviteit wordt verkregen tussen assessoren en er gelijk geoordeeld wordt in vergelijkbare gevallen. 3.7 Afhankelijk van de doelstelling van de kandidaat kan deze na afronding van het EVC-traject besluiten al dan niet een scholingstraject te volgen bij de opleiding waarvoor men EVC heeft gedaan. Dit is vastgelegd in de documentatie van de EVC-aanbieder. Scholing valt derhalve geheel buiten het bestek van de EVC-procedure van het HVA EVC CENTRUM en buiten diens verantwoordelijkheid. Datzelfde geldt voor certificering en diplomering. Hobéon Certificering Beoordelingsrapport HVA EVC CENTRUM juli

14 Oordeel Het HVA EVC CENTRUM is voor wat betreft de criteria voor betrouwbaarheid van de assessments geheel conform. Onderwerp 4 Functionaliteit van de uitkomsten Het assessmentcentrum waarborgt dat ieder assessment resulteert in een onderbouwde specificatie van de competenties van de kandidaat. 4.1 Het assessmentcentrum waarborgt dat de uitkomsten van ieder assessment zijn gespecificeerd volgens de standaard, daaronder mede begrepen indien van toepassing volgens de operationalisatie bedoeld onder Het assessmentcentrum waarborgt dat ieder assessment resulteert in een beoordelingsrapport waarin ten minste zijn opgenomen: a. het doel van het assessment b. de toegepaste standaard c. de doorlopen stappen van het assessment d. de daarbij gehanteerde instrumenten e. de onder 4.1. bedoelde specificatie van de competenties van de kandidaat f. een conclusie die past bij het doel van het assessment. 4.3 Het assessmentcentrum waarborgt dat de uitkomsten van ieder assessment per onderdeel van de standaard inzichtelijk zijn onderbouwd aan de hand van a. een specificatie van de gehanteerde bewijzen b. een beknopte methodologische en inhoudelijke verantwoording. Bevindingen 4.1 De beoordelingsprocedure is zodanig ontworpen dat al bij de beoordeling van de bewijsstukken die die kandidaat inbrengt een koppeling plaatsvindt tussen deze bewijsstukken en onderdelen van de standaard. Uit de ervaringscertificaten/rapportages die het panel tijdens de audit op locatie heeft ingezien, blijkt dat de uitkomsten van elk assessment zijn gespecificeerd volgens de standaard. Daartoe heeft, zoals bij 2.2 al aangegeven, het EVC Centrum alle opleidingsstandaarden geoperationaliseerd in een beoordelingskader dat voldoen aan de eisen van meetbaarheid, herkenbaarheid, representativiteit en transparantie. Dit zorgt ervoor dat de uitkomsten van ieder assessment bruikbaar zijn voor het doel dat de kandidaat nastreeft. 4.2 De beoordelingsrapporten die het panel heeft ingezien, bevatten alle elementen die dit beoordelingscriterium vereist. Zowel het doel dat de kandidaat met het assessment nastreeft, de toegepaste standaard, de stappen in het beoordelingsproces, de gehanteerde beoordelingsinstrumenten, de uitkomsten van het assessment in termen van de competenties die de kandidaat beheerst, alsmede een conclusie die aansluit op de doelstelling van de kandidaat, staan beschreven in iedere beoordelingsrapportage. 4.3 De dossiers van kandidaten die het panel tijdens de audit heeft ingezien, bevatten alle een specificatie van de bewijsstukken die de kandidaat heeft ingebracht. Deze bewijsstukken zijn vervolgens op de zogenaamde VRAAK-criteria beoordeeld en gekoppeld aan de beoordelingsstandaard. Daarbij is inzichtelijk gemaakt of de bewijsstukken op zichzelf afdoende bewijs vormen, dan wel dat een aanvullende beoordeling noodzakelijk is. De aanvullende beoordeling wordt uitgevoerd in de vorm van een CGI. De inhoud en uitkomsten van het CGI zijn Hobéon Certificering Beoordelingsrapport HVA EVC CENTRUM juli

15 telkens schriftelijk vastgelegd en dienen, tezamen met de uitkomsten van de portfoliobeoordeling, ter onderbouwing van de beoordelingsrapportage. Oordeel Het HVA EVC CENTRUM is voor wat betreft de functionaliteit van de uitkomsten van zijn assessments geheel conform. Onderwerp 5 Effectiviteit van de kwaliteitszorg Het assessmentcentrum borgt en verbetert de kwaliteit van de assessments voortdurend. 5.1 Het assessmentcentrum evalueert periodiek de kwaliteit van de assessments aan de hand van meetbare kwaliteitsdoelen onder alle belanghebbenden. Het assessmentcentrum betrekt hierbij eveneens gegevens over de verdere ontwikkeling van de kandidaat in relatie tot zowel het doel als de uitkomst van het assessment. 5.2 Het assessmentcentrum zet de uitkomsten van de evaluaties om in verbeteracties en ziet toe op de effectiviteit daarvan. Bevindingen 5.1 Het interne kwaliteitszorgsysteem van het HVA EVC CENTRUM voorziet in systematische evaluaties door de kandidaten, adviseurs/begeleiders, assessoren, opdrachtgevers en examencommissies. Deze evaluaties hebben betrekking op alle onderdelen die de kwaliteit van de procedure, het proces, de uitvoering en de uitvoerders raken. Bijvoorbeeld: de kwaliteit van de informatie, de gemaakte afspraken, de gehanteerde beoordelingsinstrumenten, de mate van competentie van adviseurs/ begeleiders, EVC-coördinator en assessoren, de beoordelingsrapportage, het feitelijk verloop van de EVC-procedures, de afwikkeling van eventuele klachten of bezwaren, beheer en administratie. Waardering heeft het panel voor de meting die het EVC-Centrum in juni 2012 heeft uitgevoerd naar het studiesucces van kandidaten wier doel het was met door EVC verkregen vrijstellingen in te stromen in een hbo-opleiding. 5.2 De door het HVA EVC CENTRUM uitgevoerde evaluaties leiden aantoonbaar tot verbeteringen. Met name zichtbaar in de jaarlijkse Kwaliteitsrapportages en de door het EVC Centrum opgestelde Management Review, die nadrukkelijk zowel analyse als verbeterpunten bevat. Oordeel Het HVA EVC CENTRUM handelt voor wat betreft de effectiviteit van de kwaliteitszorg geheel conform. Hobéon Certificering Beoordelingsrapport HVA EVC CENTRUM juli

16 6. EINDRESULTAAT VAN DE BEOORDELING Het panel stelt vast dat het HVA EVC Centrum volledig voldoet aan alle beoordelingscriteria van de vijf onderwerpen van het Hobéon Kwaliteitskader Assessment Centra. Het eindresultaat van de beoordeling luidt dan ook: volledig conform. Hobéon Certificering Beoordelingsrapport HVA EVC CENTRUM juli

17 7. BIJLAGEN Hobéon Certificering Beoordelingsrapport HVA EVC CENTRUM juli

18 Bijlage 1 Assessmentcentrum en Beoordelende organisatie HvA EVC Centrum Naam Assessment Centrum HVA EVC CENTRUM Contactpersoon Mevrouw E. Ruting, hoofd Adres Wibautstraat 2-4 Postcode 1091 GM Amsterdam Telefoon Beoordelende organisatie Naam Beoordelende Organisatie Hobéon BV Contactpersoon ir. A.T. de Bruijn Adres Lange Voorhout 14 Postcode 2514 ED Den Haag Telefoon Hobéon Certificering Beoordelingsrapport HVA EVC CENTRUM juli

19 Bijlage 2 Overzicht gesprekspartners Hobéon Auditoren ir. A.T. de Bruijn H.R. van der Made Functie senior adviseur Hobéon senior adviseur Hobéon HvA EVC Centrum Gesprekspartners 16 en 21 juni 2011 Functie B. Ruting Hoofd EVC Centrum F. Hentzen EVC coördinator L. te Lintelo Beleidsontwikkelaar EVC A. van Berkel Beleidsontwikkelaar EVC I. Oudkerk Pool Ontwikkelaar EVC training / EVC adviseur J. Leen EVC adviseur N. Winters EVC adviseur I. Khaksar EVC adviseur L. Scholtens EVC adviseur P. Bonsema EVC adviseur J. Mol EVC adviseur C. van de Kant EVC assessor A. Miltenburg EVC assessor E. Bulters EVC assessor J. Derksen EVC assessor A. Muller EVC assessor J. Lubach EVC assessor M. Adhin EVC assessor J. Kenkel EVC assessor P. de Ridder EVC assessor I. Riezebos EVC assessor A. Martens EVC assessor M. Bak EVC assessor E. Hoeksema EVC assessor J. Berends Beoordelaar EVC assessoren A. Haitink Beoordelaar EVC assessoren Gesprekspartners 28 juni 2012 Functie B. van Arem Lid examencommissie Domein Economie & Management P. Bonsema Lid examencommissie ED&I (Domein Techniek) S. Gaarthuis Lid examencommissie SPH (Domein Maatschappij & Recht) E. Hoeksema Lid examencommissie Informatica (Domein Media, Creatie en Informatie) V. Bruijns Examencommissie ProEducation (masteropleiding) A. Broekema 1 Examencommissie Oefentherapeut-Mensendieck (Domein Gezondheid) F. Hentzen EVC-coördinator L. te Lintelo Beleidsmedewerker A. van Berkel Beleidsmedewerker 1 Mevrouw Broekema was tijdens de audit op 28 juni 2012 verhinderd en is daarom op 27 juni 2012 telefonisch geïnterviewd. Hobéon Certificering Beoordelingsrapport HVA EVC CENTRUM juli

20 Bijlage 3 Geraadpleegde documenten Voorafgaand aan en tijdens de audit op 18 en 21 juni 2012: Management Review over de kwaliteit van EVC bij de Hogeschool van Amsterdam, juni 2011 Handboek EVC Volledige inhoudsopgave van alle handboeken Presentatie EVC introductie voor kandidaten Handleiding EVC voor kandidaten met bijlage Zelfevaluatie Akkoordverklaring/overeenkomst Voorbeeldverslag adviesgesprek Evaluatieformulier portfolio en gespreksprotocol CGI Voorbeeld meest actuele versie van het format voor EVC-rapportage EVC procedure Profielen van EVC-coördinator, EVC-adviseur, EVC-begeleider, EVC-assessor Procedure voor EVC ontwikkeling Kwaliteitsrapportages 2009, 2010 en 2011 Handboek assessoren met o.a. opbouw van de trainingsprogramma, handleiding assessorvaardigheden, de beoordelingsdriehoek en gesprekstechnieken voor assessoren Verslagen van intervisiebijeenkomsten met assessoren Programma s van verschillende professionaliseringsbijeenkomsten voor assessoren Programma en inhoud Workshop rapporteren, mei 2011 Handleiding certificering van assessoren Profiel beoordelaars EVC assessoren Voorbeeldrapportage van een assessorbeoordeling, juni 2010 Website en intranet van het HvA EVC Centrum Curricula vitae van alle ingezette en in te zetten assessoren Overzicht van (146) uitgevoerde procedures Voorafgaand aan de audit op 28 juni 2012: Procedure uitvoering EVC Procedure ontwikkeling EVC Procedure bij wijzigen van EVC-beoordelingsmodel Rapportage evaluaties EVC-procedure Rapportage Studiesucces EVC-kandidaten Hobéon Certificering Beoordelingsrapport HVA EVC CENTRUM juli

21 Bijlage 4 Hobéon Kwaliteitskader Assessment Centra Hobéon Keurmerk voor Kwaliteit Kwaliteitskader assessmentcentra A. Definities Assessment: Assessmentcentrum: Kandidaat: Standaard: beoordeling van competenties van een persoon aanbieder van assessments persoon die een assessment doorloopt competentieprofiel waarop de kandidaat wordt beoordeeld B. Onderwerpen De beoordeling heeft betrekking op vijf onderwerpen. 1. Zorgvuldigheid van de procedures 2. Validiteit van de standaarden 3. Betrouwbaarheid van de assessments 4. Functionaliteit van de uitkomsten 5. Effectiviteit van de kwaliteitszorg C. Beoordelingscriteria Onderwerp 1 Zorgvuldigheid van de procedures Het assessmentcentrum informeert iedere kandidaat volledig over hoe het assessment wordt uitgevoerd en waarborgt dat dit dienovereenkomstig geschiedt. 1.1 Het assessmentcentrum waarborgt dat iedere kandidaat vóór de start van het assessment goed is geïnformeerd over: g. Het doel en de reikwijdte van het assessment h. De assessmentprocedure (waaronder doorlooptijd, tijdbeslag, communicatie, klachten- en bezwaarprocedure) i. De standaard en beoordelingscriteria j. De assessmentmethoden en -instrumenten k. De wijze waarop de kandidaten betrokken worden bij de evaluatie van het assessment. Het assessmentcentrum legt de afspraken hierover vast met iedere kandidaat. 1.2 Het assessmentcentrum waarborgt dat ieder assessment wordt uitgevoerd volgens de afspraken. 1.3 Het assessmentcentrum waarborgt dat de assessmentprocedure, alsmede de assessmentmethoden en instrumenten in vergelijkbare gevallen voor alle kandidaten gelijk zijn. 1.4 Het assessmentcentrum bericht iedere kandidaat over de uitkomst van het assessment. Onderwerp 2 Validiteit van de standaarden Het assessmentcentrum beoordeelt iedere kandidaat aan de hand van een valide standaard. 2.1 Het assessmentcentrum waarborgt dat ieder assessment is gebaseerd op een actuele standaard, die relevant is voor het doel van het assessment. 2.2 Wanneer diplomering het uiteindelijke doel is van de kandidaat waarborgt het assessmentcentrum dat de standaard zodanig is geoperationaliseerd en afgestemd met een daarvoor bevoegde instantie dat deze een deugdelijke beslissing kan nemen over scholing, certificering of diplomering. Hobéon Certificering Beoordelingsrapport HVA EVC CENTRUM juli

22 Onderwerp 3 Betrouwbaarheid van de assessments Het assessmentcentrum voert ieder assessment objectief en reproduceerbaar uit. 3.1 Het assessmentcentrum waarborgt dat de assessmentmethoden en instrumenten afgestemd zijn op het doel van het assessment en dekkend zijn voor de toe te passen standaard. 3.2 Het assessmentcentrum waarborgt dat iedereen die vanuit of namens hem een bijdrage levert aan het assessment hiervoor gekwalificeerd is en blijft, en opereert volgens een deugdelijke taakbeschrijving. 3.3 Het assessmentcentrum waarborgt dat iedere assessor aantoonbaar bekwaam is en blijft, voor wat betreft zowel assessmentcompetenties als vakinhoudelijke competenties op het gebied van de standaard. 3.4 Het assessmentcentrum waarborgt dat tussen assessor en kandidaat geen relatie is anders dan die voor de werkzaamheden van de assessor noodzakelijk en onvermijdelijk is. 3.5 Het assessmentcentrum waarborgt een strikte scheiding tussen de begeleiding en de beoordeling van iedere kandidaat. 3.6 Het assessmentcentrum waarborgt dat het eindoordeel van alle assessoren in vergelijkbare gevallen gelijk is. 3.7 Het assessmentcentrum waarborgt dat beslissingen over scholing, certificering of diplomering geen onderdeel vormen van het assessment. Onderwerp 4 Functionaliteit van de uitkomsten Het assessmentcentrum waarborgt dat ieder assessment resulteert in een onderbouwde specificatie van de competenties van de kandidaat. 4.1 Het assessmentcentrum waarborgt dat de uitkomsten van ieder assessment zijn gespecificeerd volgens de standaard, daaronder mede begrepen indien van toepassing volgens de operationalisatie bedoeld onder Het assessmentcentrum waarborgt dat ieder assessment resulteert in een beoordelingsrapport waarin ten minste zijn opgenomen: a. het doel van het assessment b. de toegepaste standaard c. de doorlopen stappen van het assessment d. de daarbij gehanteerde instrumenten e. de onder 4.1. bedoelde specificatie van de competenties van de kandidaat f. een conclusie die past bij het doel van het assessment. 4.3 Het assessmentcentrum waarborgt dat de uitkomsten van ieder assessment per onderdeel van de standaard inzichtelijk zijn onderbouwd aan de hand van a. een specificatie van de gehanteerde bewijzen b. een beknopte methodologische en inhoudelijke verantwoording. Onderwerp 5 Effectiviteit van de kwaliteitszorg Het assessmentcentrum borgt en verbetert de kwaliteit van de assessments voortdurend. 5.1 Het assessmentcentrum evalueert periodiek de kwaliteit van de assessments aan de hand van meetbare kwaliteitsdoelen onder alle belanghebbenden. Het assessmentcentrum betrekt hierbij eveneens gegevens over de verdere ontwikkeling van de kandidaat in relatie tot zowel het doel als de uitkomst van het assessment. 5.2 Het assessmentcentrum zet de uitkomsten van de evaluaties om in verbeteracties en ziet toe op de effectiviteit daarvan. Hobéon Certificering Beoordelingsrapport HVA EVC CENTRUM juli