EVC bij de Open Universiteit Nederland

Transcriptie

1 EVC bij de Open Universiteit Nederland Evaluatie van een EVC-pilot bij de Faculteit Informatica van de OUNL Onderzoek in opdracht van de Commissie voor de examens Desirée Joosten - ten Brinke Miewies Stijnen Evert van de Vrie Karel Lemmen Dymphy Kees 30 augustus 2006 Correspondentie over dit rapport kan gericht worden aan Desirée Joosten ten Brinke, Open Universiteit Nederland, Otec, Postbus 2960, 6401 DL Heerlen, Nederland, telefoon: , fax: , desiree.joosten-tenbrinke@ou.nl 1

2 Inhoudsopgave Inhoudsopgave...2 Samenvatting...3 Inleiding...5 Hoofdstuk 1. Achtergrond van het evaluatieonderzoek De EVC-procedure bij de faculteit Informatica De kwaliteitseisen voor de EVC-procedure bij de faculteit Informatica...10 Hoofdstuk 2. Vraagstelling en opzet evaluatieonderzoek Methode Participanten Materialen...14 Hoofdstuk 3. Resultaten Doelstelling en organisatie Taken en verantwoordelijkheden van de actoren De mentor De assessor De student De Commissie voor de Examens De facultaire toetsingscommissie (ftc) De security manager bij ISC Onderwijsadviseur: planningen De instrumenten De procedure; algemeen Het adviesgesprek De eindtermen en de eindtermen-modulen-matrix De vrijstellingslijstjes Het portfolio Het beoordelingsformulier en de beoordelingscriteria Het assessmentgesprek Aanvullende toetsing De einduitslag De assessorentraining en de proeve van bekwaamheid Opbrengst en resultaat van de EVC-procedure De randvoorwaarden De informatievoorziening De privacy van studenten Klachten en/of beroepszaken Tijd en kosten Vervolg...39 Hoofdstuk 4. Conclusie en aanbevelingen...39 Hoofdstuk 5. Referenties...46 Bijlagen

3 Samenvatting De samenvatting beschrijft in hoofdlijnen de evaluatie van de pilot met EVC bij de faculteit Informatica van de Open Universiteit die plaatsgevonden heeft van 1 maart 1 september Doel van het evaluatieonderzoek is nagaan hoe EVC (Erkenning van Verworven Competenties) bij de OUNL vormgegeven kan worden waarbij edumetrische kwaliteitseisen zoals haalbaarheid en transparantie, eisen voor kwaliteitsborging en jurisprudentie gewaarborgd worden. Het resultaat van het onderzoek is drieledig: 1) een advies aan de CvE over verdere ontwikkelingsmogelijkheden van het EVC-kader voor instellingsbrede toepassing van EVC met ingang van 1 september 2007; 2) een advies voor eventuele vervolgprocedures voor de faculteit Informatica als aansluiting op de huidige pilot en 3) een advies over de mogelijkheid om in de periode 1 september september 2007 andere pilots te honoreren. Deze evaluatieopdracht is geconcretiseerd aan de hand van de volgende onderwerpen met bijbehorende onderzoeksvragen: 1. Doelstelling en organisatie ( 3.1) a. Is de doelstelling van de pilot en van EVC duidelijk en helder voor alle betrokkenen? b. Hoe is de procedure georganiseerd? 2. De actoren ( 3.2) a. Hoe zijn de taken en verantwoordelijkheden van de actoren uitgevoerd en hoe was de betrokkenheid? b. Hebben de studenten de ondersteuning gekregen die nodig was? 3. Instrumenten ( 3.3) a. Welke instrumenten, toetsen en procedures zijn gebruikt? b. Wat is het oordeel van alle betrokkenen over het gebruikte instrumentarium? c. Hoe zijn de verschillende stappen in de EVC-procedure beoordeeld? d. Wat was de kwaliteit van de instrumenten? e. Wat was de kwaliteit van de bewijzen die de studenten aanleverden? 4. Opbrengst en het resultaat van de EVC-procedure ( 3.4) 5. Randvoorwaarden ( 3.5) a. Hoe heeft de informatievoorziening plaatsgevonden? b. Hoe is omgegaan met privacy van studenten en vertrouwelijkheid van documenten? c. Hoe is er omgegaan met klachten en/of beroepszaken? d. Wat was de tijdsinvestering van actoren en wat waren de termijnen van afhandeling? 6. Vervolg ( 3.6) a. Welke vervolgactiviteiten zijn mogelijk? Het evaluatieonderzoek vond plaats in opdracht van de Commissie van de examens van de Open Universiteit Nederland en had een looptijd van 1 maart 2006 tot 1 september

4 De pilot was zeer rijk aan informatie en levert een groot aantal verbeterpunten op. Essentieel is dat deze punten in vervolgpilots opgepakt worden, zodat EVC s van alle studenten van de OUNL erkend kunnen worden. Om dit doel te bereiken wil Informatica deelnemen aan de vervolgpilots, waarbij het merendeel van het werk in 2007 zal moeten liggen en waarbij waardering in de vorm van financiële prikkels vanuit het CvB op zijn plaats zou zijn. De EVC-procedure en de instrumenten zijn geëvalueerd aan de hand van kwaliteitseisen voor assessments. Geconcludeerd kan worden dat de EVC-procedure geschikt is voor het onderwijsdoel: het past in een breder OUNL-kader van afstandsonderwijs, tweede kans onderwijs en levenslang leren en dat het aansluit bij bestaand OUNL beleid en past het bij de doelen die met het onderwijs bereikt moeten worden. EVC bij de OUNL is betekenisvol, aangezien het aansluit bij de behoeften van studenten. De zelfbeoordelende rol van de student (zelfsturing) kan uitgebreid worden en het inzetten van assessoren uit de praktijk of van zusterinstellingen zal de herhaalbaarheid verbeteren. Acceptatie van EVC is bij een groot deel van de direct betrokkenen aanwezig, maar zal binnen de organisatie verbreed moeten worden. Met name ten aanzien van de transparantie, vergelijkbaarheid, eerlijkheid, authenticiteit (van bewijzen), cognitieve complexiteit en tijd en kosten zijn aanbevelingen opgesteld. 4

5 Inleiding In november 2005 is een werkgroep EVC (Erkenning van Verworven Competenties) binnen de OUNL gestart met het ontwerpen en toetsen van een kader waarbinnen EVC instellingsbreed toegepast zou kunnen worden. De werkgroep bestond uit vertegenwoordigers van diverse organisatieonderdelen en had als primaire doel het bundelen van de reeds bestaande initiatieven binnen de instelling t.a.v. EVC. De concrete aanleiding was het verzoek van een extern bedrijf, het softwarehuis van de politie, brandweer en ambulance (ISC) om een groep medewerkers in het kader van deskundigheidsbevordering een opleiding Informatica te laten volgen. Daarbij kwam de vraag aan de orde of het mogelijk was de studieprogramma's op individuele basis in te richten, rekening houdend met de kennis, vaardigheden en competenties die de medewerkers al hadden vanuit hun werkervaring. Op dat moment waren er binnen de OUNL reeds verschillende activiteiten gaande op het gebied van EVC maar van daadwerkelijke toepassing voor studenten van de OUNL was nog geen sprake. Het specifieke verzoek van dit bedrijf vereiste dat binnen een rap tempo alles gereed gemaakt werd voor concrete toepassing. Om dit tot stand te kunnen brengen werd de werkgroep in het leven geroepen waarin vertegenwoordigd waren de faculteit zelf, OTEC, RdMC, OSC en de Commissie voor de examens. Onder de vlag van de Commissie voor de examens is een project in gang gezet met als primaire doel (en dat was tevens de opdracht van de Commissie voor de examens): het opstellen van een voorlopig kader voor de toepassing van EVC en het - in de periode 1 januari september toetsen van dit kader op betrouwbaarheid, uitvoerbaarheid en termijnen van afhandeling. De werkgroep heeft vervolgens een voorlopig kader opgesteld en dit getoetst middels de uitvoering van de pilot binnen de faculteit Informatica. De conclusies van de werkgroep zijn neergelegd in dit evaluatierapport. Daarin verweven zit een meer wetenschappelijke benadering van de toepassing van EVC als uitvloeisel van het binnen het OTEC lopend promotieonderzoek van Desirée Joosten ten Brinke. Tijdens de uitvoering van de pilot bleek dat het opgestelde voorlopige kader weliswaar voldoende basis bood om de pilot tot een goed einde te brengen maar nog onvoldoende uitgewerkt was om als basis te dienen voor OUNL-brede invoering. In hoofdstuk 4 worden met name de verbeterpunten genoemd die opgepakt moeten worden ten behoeve van een instellingsbrede toepassing van EVC. Op deze plaats zij echter vermeld dat door de werkgroep, de faculteit en de andere participanten binnen de instelling een behoorlijke prestatie is neergezet. Zo is in het begin april 2006 afgeronde projectvoorstel op een aantal belangrijke punten een uitwerking gegeven aan procedures en beoordelingsmethoden; aan de orde kwamen de achtergronden en huidige ontwikkelingen op het gebied van EVC, de invulling van de beoordelingsmethoden en instrumenten waarbij het portfolioassessment centraal stond, een korte uitgangsfilosofie van de wijze waarop EVC ingezet kan worden, een beschrijving van de juridische kaders, kwaliteitsaspecten, EVC-procedure en natuurlijk de kosten en baten. Tevens is er een training geweest voor de assessoren aangezien zij een cruciale rol vervullen in het gehele beoordelingsproces. De deelnemende studenten zijn zo intensief en volledig mogelijk geïnformeerd en begeleid gedurende het gehele proces en ook met het bedrijf zelf (m.n. met 5

6 de security manager) is veelvuldig contact geweest. In de maand juli is het traject afgerond met als sluitstuk het afgeven van de beschikkingen aan de studenten inzake door hen verkregen vrijstellingen c.q. het voor hun opleiding resterend studieprogramma. Uiteindelijk hebben 23 studenten geprofiteerd van deze eenmalige pilot; zij hoeven nu geen cursussen meer te volgen waarvan zij de inhoud reeds beheersen maar dit niet konden aantonen met diploma's. Binnen een korte periode (november 2005 tot juli 2006) is veel materiaal ontwikkeld, getoetst, bijgesteld en tenslotte geëvalueerd. De wijze waarop de deelnemende studenten en hun werkgever de pilot ervaren hebben wordt in de evaluatie meegenomen. De uitkomsten van de evaluatie zullen, samen met het reeds ontwikkelde materiaal, dienen als zeer waardevolle input voor het vervolgproject. De algehele conclusie is dat in deze maanden weliswaar veel gevergd is van alle deelnemers maar dat er ook veel geleerd is en dat het uitvoeren van een pilot een goede start is geweest voor het in gang zetten van daadwerkelijke toepassing van EVC in de organisatie. 6

7 Hoofdstuk 1. Achtergrond van het evaluatieonderzoek Studenten aan de Open Universiteit Nederland (OUNL) kunnen al jaren vrijstelling krijgen voor delen van de opleiding op basis van een (Nederlandse) hbo- of wo-opleiding die is opgenomen in het Centraal Register Opleidingen Hoger Onderwijs (CROHO), of op basis van de door de Commissie voor de examens (CvE) opgestelde lijst van niet-croho-opleidingen. Deze vrijstelling is gebaseerd op louter formele leerervaringen van de student. Vanuit een maatschappelijke perspectief en in het kader van innovatie wordt het waarderen en erkennen van informeel en non-formeel leren, naast het formele leren, steeds belangrijker (Van der Hoeven, 2005; Leijnse, 2006.Informele en non-formele leerervaringen worden steeds vaker gezien als bronnen waarin studenten competenties, kennis en vaardigheden kunnen verwerven die aansluiten bij de eindtermen van de opleiding. Om deze leerervaringen op een efficiënte manier te gebruiken in formele opleidingen, zijn procedures voor het Erkennen van Verworven Competenties (EVCprocedures) ontwikkeld. Deze procedures geven de mogelijkheid competenties die zijn verworven op basis van formele, informele en non-formele leerervaringen, te waarderen en zo mogelijk te erkennen. Erkende competenties kunnen aanleiding zijn om het studiepad dat gevolgd moet worden om voor een bachelor- of masterdiploma in aanmerking te komen, verkort wordt. Op de arbeidsmarkt wordt al geruime tijd met EVC gewerkt en ook in het mbo zijn talloze voorbeelden van EVC-procedures ontwikkeld. Ook in het hbo zijn de laatste jaren verschillende EVC-procedures ontwikkeld (Van der Klink, & Schlusmans, 2006). Alhoewel ook op universitair niveau studenten zijn die competenties verworven hebben die passen bij de wetenschappelijke opleiding die ze (willen) volgen, blijft de ontwikkeling van EVC-procedures in het wetenschappelijk onderwijs achter. Dit is jammer, want met name volwassen studenten beschikken vaak al over jarenlange werkervaring. Onderzoek heeft bovendien aangetoond dat een derde van de beginnende studenten van de Open Universiteit Nederland denkt in aanmerking te komen voor vrijstellingen op basis van informeel of non-formeel leren (Joosten ten Brinke, Sluijsmans, & Jochems, 2005). Bij de Open Universiteit Nederland is bij de faculteit Informatica een EVC-procedure ontwikkeld en uitgevoerd. In dit rapport wordt verslag gedaan van de evaluatie van deze EVCprocedure. Het doel is de vraag te beantwoorden hoe EVC bij de OUNL vormgegeven kan worden waarbij edumetrische kwaliteitseisen, eisen van kwaliteitsborging en jurisprudentie gewaarborgd worden. Naar aanleiding van de evaluatie kan de procedure aangepast worden en ingezet worden in een breder OUNL verband. Om deze vraag te beantwoorden zullen we eerst bespreken hoe de EVC-procedure eruit zag en daarna aan welke kwaliteitseisen (onderdelen van) de EVC-procedure moet voldoen. 1.1 De EVC-procedure bij de faculteit Informatica De EVC-procedure van de faculteit Informatica is ontwikkeld door twee inhoudsdeskundigen, medewerkers van de ondersteunende afdeling, een lid van de examencommissie, een ambtelijk secretaris van de examencommissie en een onderzoekster op het gebied van EVC. Figuur 1 geeft een overzicht van de EVC-procedure, zoals die in de pilot is uitgevoerd. 7

8 Figuur 1. EVC-procedure in de pilot bij de faculteit Informatica. 8

9 De EVC-procedure start met een voorlichtingsbijeenkomst (op de studiecentra) waarin alle benodigde procedurele informatie gegeven wordt. Als de student dan nog geïnteresseerd is in EVC vindt een adviesgesprek met een mentor plaats. In dit adviesgesprek wordt gekeken voor welke eindtermen het zinvol is dat de studenten een portfolio gaan samenstellen en welke bewijzen de student hiervoor kan aanleveren. Is dit adviesgesprek positief dan moet de student om zijn eerdere leerervaringen te laten erkennen een portfolio opstellen. In dat portfolio zitten de gegevens die ook nodig zijn voor het aanvragen van vrijstellingen op grond van eerder genoten hoger onderwijs, aangevuld met: - curriculum vitae (ervaring in betaald en onbetaald werk) - een ingevulde competentiechecklist (voor de pilot bachelor Technische informatica) - een ingevulde werkplekscan - documenten als bewijzen voor de competentiechecklist en de werkplekscan. Het complete portfolio moet dan opgestuurd worden naar het Onderwijs Service Centrum van de Open Universiteit Nederland. Daar wordt het portfolio geregistreerd en wordt een ontvangstbevestiging gestuurd naar de student. Vervolgens wordt door de facultaire toetsingscommissie (ftc) eerst gekeken naar de vrijstellingen die verleend kunnen worden op basis van genoten hoger onderwijs. Het portfolio, met de conclusies van de ftc, wordt dan doorgegeven aan twee assessoren. Eén assessor is als hoofdassessor leidinggevend in het assessmentgesprek en verantwoordelijk voor de gespreksvoering en de verslaglegging. Deze getrainde assessoren beoordelen het portfolio en stellen (op basis van dit portfolio) vragen op voor de student die dienen als basis voor een assessmentgesprek met de student. Als het portfolio volledig is, wordt de student uitgenodigd voor een gesprek met twee assessoren. In dat gesprek zal nader ingegaan worden op de inhoud van het portfolio. De student hoeft zich niet specifiek op dit gesprek voor te bereiden. Goede kennis van de inhoud van het portfolio is voldoende. Het kan zijn dat de student om nadere informatie zal worden gevraagd. Ook kan het zijn dat de student gevraagd wordt een opdracht uit te voeren, een werkstuk te maken of een aanvullende toets te doen. Op basis van deze gegevens stelt de assessor een advies op voor de facultaire toetsingscommissie (ftc). In combinatie met de voorafgaande conclusies inzake vrijstellingen op basis van formele opleidingen geeft de ftc een advies aan de Commissie voor de examens over het resterend studiepad dat de student moet volgen om het diploma te verwerven. De Commissie voor de examens geeft vervolgens de schriftelijke en gemotiveerde vrijstellingsbeschikking af op grond van het advies van de ftc. Zowel bij het aanvragen van vrijstelling op grond van diploma s van eerder genoten hoger onderwijs als bij het aanvragen van vrijstelling op grond van elders verworven competenties ontvangt de student als aanvrager een beschikking van de Commissie voor de examens waarin gemotiveerd wordt aangeven voor welke cursussen van de OUNL hij vrijstelling ontvangt naar aanleiding van zijn aanvraag. Indien de student het niet eens is met de beschikking kan hij daartegen beroep aantekenen bij het College van beroep voor de examens en in voorkomende gevallen- bezwaar aantekenen bij het College van bestuur. In de beschikking zelf staat binnen welke termijn en aan welk adres de student zich moet richten voor beroep of bezwaar. 9

10 1.2 De kwaliteitseisen voor de EVC-procedure bij de faculteit Informatica De kwaliteitseisen voor EVC zijn afgeleid van bestaande kwaliteitskaders omtrent assessment en de juridische kaders van de OUNL (OUNL, 1997), extern gestelde kwaliteitseisen ten aanzien van EVC door de Nederlands-Vlaamse accreditatie organisatie (NVAO) en het kenniscentrum EVC (Kenniscentrum EVC, 2006). Het kenniscentrum EVC heeft samen met de NVAO een kwaliteitscode ontwikkeld. Deze kwaliteitscode is gebruikt bij de ontwikkeling van de EVC-procedure voor Informatica. De eisen van het kenniscentrum EVC zijn niet eerder in het universitair onderwijs getoetst. In deze pilot worden daarom ook de meer algemeen geldende kwaliteitseisen voor assessments (Baartman, Bastiaens, Kirschner, & Van der Vleuten, 2006) gehanteerd. Baartman en anderen (2006) hebben aangetoond dat edumetrische kwaliteitseisen beter passen bij de nieuwe assessmentvormen waartoe EVC behoort, aangezien deze kwaliteitseisen de psychometrische kwaliteitseisen omvatten maar tevens rekening houden met meerdere actoren, kosten en efficiëntie; aspecten die ook bij EVC zeer belangrijk zijn. In deze evaluatie zullen we daarom deze kwaliteitseisen gebruiken. Dat wil zeggen dat de EVC-procedure (en de afzonderlijke onderdelen) moeten voldoen aan de eisen van (1) geschiktheid voor onderwijsdoel, (2) herhaalbaarheid, (3) transparantie, (4) acceptatie, (5) vergelijkbaarheid, (6) eerlijkheid, (7) zelfsturing, (8) betekenis, (9) cognitieve complexiteit, (10) authenticiteit, (11) rekening houden met onderwijsgevolgen en (12) tijd en kosten. In het volgende wordt elke kwaliteitseis toegelicht in het kader van EVC. De EVC-procedure is geschikt voor het onderwijsdoel als het past in een breder OUNL-kader van afstandsonderwijs, tweede kans onderwijs en levenslang leren en dat het aansluit bij bestaand OUNL beleid. Tevens moet het passen bij de doelen die met het onderwijs bereikt moeten worden. De eis van herhaalbaarheid houdt in dat de combinatie van oordelen vanuit verschillende perspectieven leidt tot een gezamenlijk eindoordeel. Dat betekent dat in de procedure oordelen van de student zelf, collega s van de student, assessoren en mentoren meegenomen worden. Om dit te bevorderen zullen betrokkenen gekwalificeerd moeten zijn voor de inhoudelijke, onderwijskundige en organisatorische realisering van de EVC-procedure. Transparantie doelt erop dat voor alle betrokkenen de interne procedures helder zijn en goed functioneren, zodat alle betrokkenen weten wat er wanneer gedaan moet worden. De beoordeling van de kwalificaties van de instromende student moeten transparant en overtuigend zijn. Dit betekent dat alle betrokkenen op de hoogte moeten zijn van de beoordelingscriteria en de cesuur, de manier van beoordelen, het doel en de mogelijke resultaten. Acceptatie houdt in dat de procedure bij alle betrokkenen geaccepteerd wordt. Dat betekent dat zowel studenten, de opleiding, de Commissie voor de examens en de facultaire toetsingscommissie de procedure en het resultaat van EVC accepteren. De eis van vergelijkbaarheid betekent dat de procedure voor alle studenten consistent, gestandaardiseerd en vergelijkbaar is. Hierdoor zal het resultaat van de EVC-procedure niet beïnvloed worden door de persoonlijke verschillen tussen betrokkenen, zoals mentoren en assessor. Om dit te 10

11 bereiken is het nodig dat er een beoordelingsmodel is en overeenstemming tussen assessoren over dit beoordelingsmodel. Eerlijkheid van de EVC-procedure geeft aan dat externe factoren (ruis) geen invloed mogen hebben op het hele proces. Studenten met verschillende achtergronden moeten op dezelfde manier in de EVC-procedure benaderd worden en er hun weg in kunnen vinden. De eis van zelfsturing houdt in dat de toetsvorm self assessment en reflectie stimuleert. Bij EVC komt dit terug in het samenstellen van het portfolio, waarbij de student zelf moet bepalen in hoeverre hij/zij een eindterm of competentie beheerst en met welke bewijzen hij/zij dat kan aantonen. Met betekenisvol wordt bedoeld dat de EVC-procedure een meerwaarde moet hebben voor zowel de opleiding als de betrokken studenten. EVC moet aansluiten bij de behoefte die studenten hebben. De kwalificaties van de instromende student en de EVC-procedure moeten aansluiten bij het te volgen opleidingstraject. Bij cognitieve complexiteit gaat het erom dat studenten aantonen dat zij bepaalde hogere cognitieve vaardigheden in huis hebben die passen bij het niveau van de opleiding. Het gaat er daarbij om dat de kennis van de student in relatie tot de eindtermen van de opleiding op het juiste niveau worden beoordeeld, dat de studenten aantonen dat ze een academisch denkniveau hebben. De eindtermen of competentiekaarten van een opleiding geven aan wat een student moet kunnen. Deze eindtermen hebben deels betrekking op de inhoudelijke kant van de opleiding, deels op het niveau van de opleiding. Het is bekend dat academisch denkniveau verworven wordt in een formele onderwijscontext. De vraag is in hoeverre dit academische denkniveau ook al in de informele en nonformele context ontwikkeld kan zijn. De kennis die daarna ontwikkeld wordt in de formele context kan de bestaande kennis aanvullen, maar evengoed tegenspreken (Alexander & Murphy, 1998). Dit betekent dat de EVC-procedure zo uitgewerkt moet zijn dat studenten die de procedure succesvol doorlopen een resterend studieplan ontvangen waarbij zowel de student als de opleiding er vertrouwen in heeft dat de opleiding positief afgerond kan worden en de student het juiste academische denkniveau kan bereiken. Studenten die met een EVC-procedure de opleiding binnenkomen zullen uiteindelijk aan het einde van de opleiding niet mogen verschillen van studenten die op een andere wijze de opleiding binnenkomen. Authenticiteit in het algemeen betekent dat de onderwijstaken een directe koppeling naar de toekomstige beroepspraktijk hebben (Gulikers, Bastiaens, & Kirschner, 2004). Authenticiteit bij EVC kijkt niet alleen naar de toekomstige beroepspraktijk, maar doelt op het feit dat de bewijzen die de studenten indienen getoetst moeten worden op de mate waarin de taken die de studenten in hun werkomgeving hebben uitgevoerd aansluiten bij het curriculum. Bij het invoeren van EVC in een organisatie moet gekeken worden wat dat voor onderwijsgevolgen heeft. EVC zal alleen dan ingevoerd moeten worden als er positieve effecten te verwachten zijn en negatieve effecten geminimaliseerd kunnen worden. EVC moet haalbaar zijn, dat wil zeggen praktisch uitvoerbaar. Dat betekent dat tijd en kosten goed in kaart gebracht zijn. De tijdsbelasting voor de studenten en de organisatie moeten in balans zijn met de opbrengst van de procedure. De termijnen van afhandeling moeten haalbaar en redelijk zijn. In het kader van efficiëntie betekent dit ook dat studenten ondersteund moeten worden bij het 11

12 verzamelen van bewijzen van eerder leren (Joosten-ten Brinke, Sluijsmans, Brand-Gruwel, & Jochems, 2006). Bovenstaande kwaliteitseisen worden ook genoemd vanuit juridisch oogpunt. Het juridische kader geeft aan dat de Commissie voor de examens verantwoordelijk is voor de EVC-procedure en dat zij deze procedure moet goedkeuren. De Commissie voor de examens betrekt daarbij de eisen waaraan een dergelijke procedure wettelijk moet voldoen (in het bijzonder de Wet Hoger Onderwijs en Wetenschappelijk Onderzoek) en de kwaliteitseisen op het vlak van toetsing en vrijstelling die aan de orde zijn bij accreditatie van de opleiding. In het kader van de Wet bescherming persoonsgegevens moet duidelijk worden of bij het verwerken en opslaan van de verstrekte gegevens volgens de wet gehandeld is. Kwaliteitsborging is een toegevoegde eis die gesteld wordt vanuit de NVAO en het kenniscentrum EVC. Het gaat er daarbij om dat de kwaliteit van de begeleiding en de informatievoorziening aan de student goed moet zijn en dat er een regelmatige evaluatie en bijstelling van het EVC-traject moet plaatsvinden aan de hand van vooraf geformuleerde streefdoelen. 12

13 Hoofdstuk 2. Vraagstelling en opzet evaluatieonderzoek De hoofdvraag van deze evaluatie is Hoe kan een EVC-procedure bij de OUNL vormgegeven worden met waarborging van edumetrische kwaliteitseisen, eisen van kwaliteitsborging en jurisprudentie? Deze evaluatievraag is geconcretiseerd aan de hand van de volgende onderwerpen met bijbehorende onderzoeksvragen, waarbij bij elke vraag de kwaliteitseisen als criteria gelden: 1. Doelstelling en organisatie ( 3.1) a. Is de doelstelling van de pilot en van EVC duidelijk en helder voor alle betrokkenen? b. Hoe is de procedure georganiseerd? 2. De actoren ( 3.2) a. Hoe zijn de taken en verantwoordelijkheden van de actoren uitgevoerd en hoe was de betrokkenheid? b. Hebben de studenten de ondersteuning gekregen die nodig was? 3. Instrumenten ( 3.3) a. Welke instrumenten, toetsen en procedures zijn gebruikt? b. Wat is het oordeel van alle betrokkenen over het gebruikte instrumentarium? c. Hoe zijn de verschillende stappen in de EVC-procedure beoordeeld? d. Wat was de kwaliteit van de instrumenten? e. Wat was de kwaliteit van de bewijzen die de studenten aanleverden? 4. Opbrengst en het resultaat van de EVC-procedure ( 3.4) 5. Randvoorwaarden ( 3.5) a. Hoe heeft de informatievoorziening plaatsgevonden? b. Hoe is omgegaan met privacy van studenten en vertrouwelijkheid van documenten? c. Hoe is er omgegaan met klachten en/of beroepszaken? d. Wat was de tijdsinvestering actoren en wat waren de termijnen van afhandeling? 6. Vervolg ( 3.6) a. Welke vervolgactiviteiten zijn mogelijk? 2.1 Methode Participanten De studenten die deelgenomen hebben aan de EVC-procedure zijn 23 medewerkers (19 mannen en 4 vrouwen) van de ICT Service Coöperatie (ISC), de automatiseringsdienst van de politie, brandweer en ambulance. Zij hebben zich als student aangemeld voor de bachelor opleiding Informatica. Voor elke student zal een individueel studieplan gemaakt worden. Dit studieplan is gebaseerd op vrijstellingen vanuit competenties verworven bij formeel leren (diploma s en certificaten) en vrijstellingen gebaseerd op verworven competenties bij informeel en non-formeel leren. De studenten werden tijdens de EVC-procedure ondersteund door vier mentoren (2 mannen en 2 vrouwen). Er waren 4 assessoren (3 mannen en 1 vrouw). De mentoren en assessoren waren allen medewerkers van de faculteit Informatica met jarenlange begeleider- en examinatorervaring. Eén persoon was verantwoordelijk voor de administratieve ondersteuning. 13

14 2.1.2 Materialen De instrumenten die gebruikt zijn om de EVC-procedure te evalueren zijn vragenlijsten, interviews, s, tijdregistraties, portfolio s, en beoordelingsformulieren. Vragenlijsten. Vier vragenlijsten zijn ontwikkeld. Eén studentenvragenlijst voormeting (Sv), één studentenvragenlijst nameting (Sn), één medewerkervragenlijst voormeting (Mv) en één medewerkervragenlijst nameting (Mn). Het eerste deel van de Sv-vragenlijst bestond uit 28 vragen. De vragen hadden betrekking op de achtergrondgegevens van de studenten, kennis en ervaring met EVC-procedures, ervaring met verschillende vormen van assessment, de ondersteuning en de tijdsinvestering. Het eerste deel van de Mv-vragenlijst bevatte 32 vragen. Deze vragen hadden betrekking op achtergrondinformatie, kennis en waardering voor EVC-procedures, ervaringen met verschillende assessmentvormen, de ondersteuning van studenten, de vaardigheden van de mentoren en de assessoren en de tijdsinvestering. Het tweede deel van de Sv- en Mv-vragenlijsten bestond uit een vertaling van de vragenlijst van epistemologische opvattingen van Schommer (1990). Deze vragen waren opgenomen in verband met de kwaliteitseis van cognitieve complexiteit. Epistemologie is de studie van kennis en weten. De vragenlijst betreft vijf dimensies: structuur, kennisbronnen, zekerheid, snelheid en verwervingssnelheid van kennis. Volgens Schommer zijn de opvattingen van studenten met een naïeve opvatting dat (a) kennis simpel is in plaats van complex, (b) kennis wordt aangedragen door autoriteiten en niet door eigen beredenering, (c) kennis vaststaat en niet betwijfeld kan worden, (d) de vaardigheid om te leren is aangeboren en niet kan worden aangeleerd, en (e) leren snel gaat of helemaal niet. Volgens Buehl and Alexander (2001) heeft deze vragenlijst betrekking op de academische kennisopvattingen van studenten, maar ook op opvattingen over kennis in het algemeen. Deze vragenlijst naar epistemologische opvattingen bevatte 63 stellingen verdeeld over de vijf opvattingen. Studenten werd gevraagd om de mate van overeenstemming met de stellingen aan te geven op een vijfpunts schaal. De Mn- en Sn-vragenlijsten bestonden naast achtergrondvragen uit stellingen, numerieke vragen en open vragen die betrekking hadden op de vijf hoofdonderwerpen van deze evaluatie, te weten doelstelling en organisatie, de taken en verantwoordelijkheden, de instrumenten, de randvoorwaarden en het vervolg. Interview schema s. In de periode dat de studenten bezig waren met het samenstellen van hun portfolio zijn er met vijf studenten telefonisch interviews uitgevoerd. Deze interviews werden gestuurd door vijf vragen (bijlage 1). Op basis van de antwoorden op deze vragen en de resultaten uit de vragenlijsten zijn vervolgvragen gesteld. Vanaf het moment dat de portfolio s ingeleverd zijn, zijn de onderwijsadviseur, mentoren, assessoren, de ambtelijk secretaris voor de Commissie voor de examens, ontwikkelaars en de decaan geïnterviewd. Vragenoverzicht en s. Om de ondersteuning aan de studenten te verbeteren, hebben de mentoren de vragen van studenten opgeschreven en de s van de studenten en hun antwoorden daarop bewaard. 14

15 Tijdregistraties. De mentoren en assessoren registreerden de tijd die zij besteedden aan de EVC-procedure. De studenten konden in het portfolio aangeven hoeveel tijd ze nodig hadden per eindterm om daar de juiste bewijzen bij te halen. Verder werd de studenten gevraagd hoeveel tijd zij nodig hadden voor de voorbereiding op het assessment en verdere activiteiten voor de EVCprocedure. Portfolio. Voor de samenstelling van het portfolio is de studenten een Word-sjabloon verstrekt bestaande uit zes onderdelen (bijlage 2): (a) persoonlijke informatie en motivatie; (b) bewijs van formeel leren (diploma s en certificaten); (c) beschrijving van werkervaring; (d) Eindtermen zelfstudie, waarbij de studenten aangaven de mate van ervaring passend bij een eindterm en het bewijs dat ze daarvoor konden aangeven; (e) beschrijving van de huidige werkplek; (f) producten. Scoringsrubriek portfolio en assessmentgesprek. Het portfolio werd beoordeeld door de assessoren en dient als input voor het assessmentgesprek. 15

16 Hoofdstuk 3. Resultaten Om te bepalen of de EVC-procedure voldoet aan de gestelde kwaliteitseisen is gekeken naar de volgende onderdelen: doelstelling en organisatie, de taken en verantwoordelijkheden, de instrumenten, de randvoorwaarden en het vervolg. Deze onderdelen zullen in hier achtereenvolgens uitgewerkt worden. De resultaten zijn afkomstig uit de vragenlijsten en de interviews. 3.1 Doelstelling en organisatie De vraag of de doelstelling van de pilot en van EVC in het algemeen duidelijk en helder was voor alle betrokkenen is positief beantwoord. Het belang van EVC voor de OUNL en voor Informatica in het bijzonder wordt door meerdere betrokkenen onderstreept. Betrokkenen ervaren het als positief dat de mogelijkheid geboden wordt om werkervaring om te zetten in studieresultaten. De status van de EVC-procedure was die van een pilot. Dat betekende dat alleen deze groep studenten nu de mogelijkheid hebben om eerdere leerervaringen te laten erkennen. Deze status was bij de meeste studenten wel bekend, maar doordat het voor de studenten een hele serieuze zaak is waarbij het resultaat bepalend is voor de omvang van het vervolgtraject, speelde deze status voor de studenten geen rol. Dat het als pilot is opgezet is ook positief gewaardeerd, omdat het goed is om zulke nieuwe zaken eerst bij een beperkte doelgroep goed uit te testen en aan te passen. In totaal hebben 23 studenten de hele procedure doorlopen. Enerzijds heeft dit zeer veel informatie opgeleverd voor aanpassingen van het vervolgtraject (wat waarschijnlijk minder het geval was geweest als de pilot met een kleine groep van studenten was uitgevoerd), anderzijds heeft dit een fors beslag gelegd op de inzet en tijdsinvestering van alle betrokkenen. Vrijstellingen op basis van EVC s zijn altijd gekoppeld aan een opleiding. Als een student in een andere opleiding van de OUNL of een andere samenstelling van een opleiding (bv. KHO ipv bachelor) gaat studeren, dan is het niet vanzelfsprekend dat daarvoor dezelfde vrijstellingen kunnen worden gegeven. Geconcludeerd kan worden dat door de meeste betrokkenen het initiatief en de aanpak van deze pilot gewaardeerd werden. In het vervolgtraject zal echter nader bekeken worden of op diverse organisatorische punten de efficiëntie verbeterd kan worden om de investering in tijd en geld aanvaardbaar te maken. 3.2 Taken en verantwoordelijkheden van de actoren De actoren die binnen de OUNL direct bij EVC betrokken zijn, zijn de studenten, de mentoren, de assessoren, de Commissie voor de examens, de facultaire toetsingscommissie en de onderwijsadviseur. Een externe betrokkene was het ISC waarbij de security manager in deze als actor een rol heeft gespeeld. De samenwerking tussen de verschillende actoren is slagvaardig verlopen, ondanks verschillende meningen ten aanzien van de uitvoering. Ondanks dat het hele traject onder hoge tijdsdruk is doorlopen, waren de meeste betrokkenen zeer tevreden over de inzet en betrokkenheid van de collega s in dit traject. 16

17 In deze paragraaf wordt achtereenvolgens aangegeven hoe de uitvoering van de taak is ervaren door de betreffende actor zelf en door de andere actoren De mentor De rol van mentor is specifiek voor deze pilot met het ISC. Niet alle opleidingen werken met mentoren. Indien dat niet het geval is, zal daar bij het ontwerp van de EVC-procedure rekening mee gehouden moeten worden. In deze pilot was de taak van de mentoren vrij complex. Vooraf was niet volledig duidelijk wat er precies gedaan moest worden. Ze moesten studenten adviezen geven over bewijzen uit de praktijk die ze zelf niet kennen. De mentoren hebben de studenten aangeboden om het portfolio door te nemen voordat het naar de assessoren ging. Een deel van de studenten heeft dit gedaan; soms door het portfolio te mailen naar de mentor, soms door het portfolio samen door te nemen. Het advies dat de mentoren gegeven hadden was gerelateerd aan de structuur van het portfolio en de verwachting dat er gewerkt zou worden met de eindtermen-modulen-matrix. Tevens was bij sommige mentoren de verwachting dat de assessoren, naar aanleiding van de beoordeling van het portfolio, aan de studenten zou doorgeven welke bewijsstukken nog meegenomen moesten worden naar het assessmentgesprek. Dit was niet het geval. Een aantal mentoren lieten zeer veel bewijzen insturen, waarvan de waarde laag was. De mentoren hebben in de ondersteuning geprobeerd de studenten zo goed mogelijk te helpen om het portfolio goed in te vullen. Opmerkingen achteraf dat de portfolio s heel slecht zijn ingevuld, is dan zeer onprettig. Aangezien de mentoren niet werkzaam waren in het bedrijf van de studenten, is het lastig om te bepalen welke bewijzen een student kan opvoeren. Studenten moeten dat zelf goed kunnen inschatten. Samen hardop denken werkte vaak erg goed. Het probleem is dat je soms een andere taal spreekt dan de mensen uit de praktijk. Mentoren zijn vaak te optimistisch geweest richting studenten. Hebben studenten ook geadviseerd alles maar mee te sturen. Dat kan studenten op het verkeerde been zetten. Duidelijke criteria en cesuur (wanneer is het goed?) zijn hier wenselijk. Mentoren hebben in enkele gevallen ook adviezen gegeven over de veronderstelde werkwijze van de ftc die niet aansloot bij de werkelijkheid. De mentoren werkten niet allemaal op dezelfde manier. De mentoren hebben vooraf en tussentijds geen gezamenlijk overleg gehad. Informeel overleg vond wel regelmatig plaats. Een deel van de mentoren heeft de inschatting van de vrijstellingen aan de studenten laten zien, een deel niet. De assessoren zetten vraagtekens bij het advies dat de mentoren soms gegeven hebben. Er waren studenten die kwamen voor een bachelor-traject, maar die beter passen bij de master-opleiding. Zowel de mentoren als de assessoren vonden de afstand tussen beiden erg groot. De mentoren hebben dit als een groter nadeel ervaren dan de assessoren. Er was geen communicatie tussen de assessoren en de mentoren. Bij het ontwerp van de materialen en het vaststellen van beoordelingscriteria en cesuur is dit zeer wenselijk. Studenten waren onzeker over het samenstellen van hun portfolio en gaven dat ook aan aan de mentoren. Regelmatig was er volgens de mentoren juist sprake van onderschatting dan van overschatting van de eigen kennis en vaardigheden. De vragen die bij de mentoren terechtkwamen waren voornamelijk praktisch van aard. Welk bewijs is wel geschikt, welk niet. Bij een aantal studenten 17

18 was het nodig dat de mentor daadwerkelijk moest helpen bij het invullen door naast de student te gaan zitten. Aanbevelingen: 1. De taak van de mentoren zal nader bekeken moeten worden. Daarbij zouden de volgende aspecten aan de orde moeten komen: a. Het trainen van de mentor in het begeleiden van een EVC-traject en met name het samenstellen van het portfolio; het nut van een gezamenlijke startbijeenkomst en intensivering van onderling overleg en gezamenlijk overleg met de assessoren, zowel bij het ontwerp als tijdens de uitvoering; het instellen van intervisiebijeenkomsten. b. De rol van de mentoren ten aanzien van het filteren van het materiaal voordat dit naar de assessoren gaat. c. De adviesrol van de mentoren inzake het soort bewijzen dat aangeleverd mag worden. d. Nagaan voor welke taken een mentor nodig is (inhoudelijke) en wanneer bijvoorbeeld onderwijsadviseurs ingezet kunnen worden. e. Nagaan welke rol de mentor nog moet hebben voor nazorg en klachtenbehandeling. 2. Ook dient vooraf meer duidelijkheid te bestaan over de eisen die gesteld kunnen worden aan de mentoren. De volgende aspecten moeten meegenomen worden: a. Mentoren moeten opgeleid zijn voor hun taak; moeten weten wat ze weten, maar ook zeker weten wat ze niet weten, en daar open over zijn. b. Kennis, overzicht en inzicht hebben van: 1. het curriculum 2. het werkveld 3. de EVC-procedure 4. het ftc-beleid 5. de OUNL-regels inzake vrijstellingen c. Weten hoe de assessoren beoordelen en vertrouwen op de kundigheid van de assessoren (en dat ook willen). d. Het proces begeleiden volgens strikte regels en afspraken met een bepaalde mate van neutraliteit, zodat de student een redelijke verwachting kan ontwikkelen met betrekking tot de vrijstellingen op grond van het EVC-proces. Voorkomen moet worden dat er verkeerde verwachtingen geschept worden. e. Een student goed informeren over de procedurele gang van zaken en het ftc-beleid en OUNL beleid uitdragen. f. Bereid zijn kritisch over de schouder van de student mee te kijken met betrekking tot het in te dienen portfolio; verantwoordelijkheid moet echter altijd bij de student worden gelaten. g. Moet vertrouwen wekken bij student, zowel qua persoon als qua deskundigheid; respect hebben voor alle soorten studenten. h. Moet in staat zijn studenten te motiveren, ideeën aandragen voor bewijzen van vaardigheden. 18

19 3.2.2 De assessor De gezamenlijke voorbereiding van de assessoren gaf goede input om op één lijn te komen. Toch waren de verschillen tussen de werkwijzen van de assessoren nog te groot. De onderwerpen die besproken werden tijdens de assessmentgesprekken waren onafhankelijk van de assessor. Een werkwijze als voorbereiding op het assessmentgesprek die als prettig ervaren werd was als volgt: a. Eerst vast stellen wat niet meer beoordeeld hoeft te worden (kern-informaticavakken worden niet vrijgesteld; alle bewijzen van formele opleidingen want dat is een zaak voor de ftc). b. Dan blijven er een paar punten over waarop het gesprek zich zal gaan richten. De mentorlijstje kunnen dan als richtlijn gebruikt worden. Het is wenselijk dat de student ook al vooraf aangeeft waar hij/zij zich in de procedure op wil richten. De assessor is eindverantwoordelijk voor de beoordeling van het portfolio en afronding van het assessment en zal vanuit die verantwoordelijkheid examinatoren benaderen voor eventuele aanvullende toetsing. Het is ook de verantwoordelijkheid van de assessoren om het assessment af te ronden met een advies naar de ftc, als de student niet binnen de gestelde termijn aanvullende bewijzen toestuurt. Voor het afronden van het advies is het voorgekomen dat de assessor een aanvullende toets nodig vond. Aangezien er geen hiërarchische relatie is tussen de assessoren en de examinatoren werd het bezwaarlijk gevonden om de examinatoren voor deze aanvullende toetsing te vragen. De assessoren hanteerden niet allen dezelfde uitgangspunten. Sommige assessoren namen de laatste eindtermen niet mee vanuit het idee dat die alleen betrekking hebben op het ontwerpproject dat niet vrijgesteld kan worden, terwijl andere assessoren van mening zijn dat deze eindtermen wel betrekking hebben op een aantal andere vakken die vrijgesteld zouden kunnen worden. Daarnaast werden door sommige assessoren sommige cursussen nooit vrijgesteld en bij andere assessoren wel. Voor het opstellen van het advies van de assessoren aan de ftc was afgesproken gebruik te maken van het beoordelingsformulier. Dit formulier werd niet door alle assessoren ingevuld, waardoor de verslaglegging van de uitslag verschillend zou zijn voor de studenten. Om dit te voorkomen is besloten dat alle assessoren per student een advies geven aan de ftc onderbouwd met een motivatie die begrijpelijk en inzichtelijk is voor de student en de examencommissie. De vraag is wie eindverantwoordelijk voor correcte verslaglegging en voor de inhoudelijke onderbouwing van het (uiteindelijk) door de Commissie voor de examens te nemen besluit. Eén assessor merkt op dat als er op cursusniveau beoordeeld moet worden er geen assessor nodig is, maar volstaan kan worden met een examinator. De toewijzing van de assessoren was niet altijd optimaal. Je moet als assessor met recht van spreken kunnen doorvragen. In het geval dat beide assessoren niet inhoudelijk competent genoeg zijn, kon niet altijd terzake worden doorgevraagd. Dat is niet wenselijk. De benadering van de studenten door de assessoren was wisselend. De percepties van de assessoren ten aanzien van de assessmentgesprekken zijn wisselend. Het bleek meer tijd en energie te kosten dan vooraf begroot. Een deel van de assessoren vond dat er goede gesprekken gevoerd zijn met een goede afstemming tussen de assessoren. 19

20 Advies vanuit de assessoren is om te werken in clusters van cursussen. Voor de assessoren is het mogelijk om verantwoord te oordelen over zulke clusters. Daarvoor hoeven dan ook niet altijd 2 assessoren betrokken te zijn. Van belang is wel dat er altijd één hoofdverantwoordelijke is voor de eindbeslissing. De visie van de CvE in dezen is dat er altijd twee assessoren moeten zijn die in wisselende samenstelling optreden en dat de betrouwbaarheid steekproefsgewijs bekeken moet worden door meerdere koppels eenzelfde portfolio te laten beoordelen. Aanbevelingen: 1. Aanhouden en verdere verdieping van een gezamenlijke voorbereiding. Het instellen van intervisiebijeenkomsten. De eerste portfolio s door meerdere assessoren laten beoordelen om tot een hogere beoordelingsovereenkomst te komen. 2. Eerst beoordeling van het portfolio, daarbij beoordelen of aanvullende toetsing / aanvullende informatie nodig is. Daarna studenten uitnodigen voor een assessmentgesprek. Studenten die naar aanleiding van het portfolio en aanvullende informatie niet in aanmerking komen voor EVC, hoeven niet op gesprek te komen. 3. Aanpassing van het beoordelingsformulier. 4. Vooraf duidelijkheid over de punten waar het assessmentgesprek zich op moet richten. 5. De verantwoordelijkheden van een assessor moeten duidelijk zijn. Vanuit die verantwoordelijkheid moet hij indien nodig examinatoren kunnen inschakelen. 6. De assessor is verantwoordelijk voor het schrijven van een onderbouwing van het asssessmentgesprek. 7. Het assessmentgesprek kan in plaats van door twee assessoren ook gevoerd worden door een assessor met een onderwijsadviseur, een assessor met een ftc-lid. De samenstelling is afhankelijk van de student. Uitgangspunt is twee personen per gesprek. 8. De toewijzing van studenten aan assessoren moet op basis van inhoudelijke deskundigheid gebeuren. 9. De eisen die gesteld moeten worden aan de assessoren zullen dan ook vooraf duidelijk moeten zijn en in verhouding moeten staan tot het gewicht van hun rol. Rekening houdend hiermee kan gedacht worden aan: a. Assessoren moeten opgeleid zijn voor hun taak; moeten weten wat ze weten, maar ook zeker weten wat ze niet weten, en daar open over zijn. b. Assessoren moeten gemotiveerd zijn om aan de training deel te nemen. c. Kennis, inzicht en overzicht hebben van: 1. het curriculum, (een assessor moet 'los' kunnen komen van de vaste paden die in de universitaire wereld gelden en flexibel kunnen (en willen) omgaan met meer toepasbare kennis (naast fundamentele kennis); 2. het werkveld, (en onderwerpen, die op de OU weliswaar niet onderwezen worden, maar wel van belang kunnen zijn in het werkveld en daarmee voor de EVC procedure); 3. de EVC-procedure; 20

21 4. het ftc-beleid; 5. de OUNL-regels inzake vrijstellingen. d. Portfolio s kunnen zuiveren en de informatie kunnen focussen. e. Weten welke zaken verantwoord op eigen gezag besloten kunnen worden en wanneer externe deskundigheid moet worden ingeroepen; een eerste assessor moet voor detailbeslissingen de hulp kunnen inroepen van andere deskundigen in de faculteit. f. Beschikken over goede contactuele eigenschappen; goed in staat zijn een assessmentgesprek te voeren met studenten, objectief zijn, de resultaten van de beoordeling op een goede wijze terugkoppelen en naar deze studenten gezag en vertrouwen uitstralen; respectvol kunnen omgaan met studenten; goede communicator. g. Bereid zijn in overleg met de andere assessoren een gezamenlijk gedragen beleid te ontwikkelen en dat ook loyaal uit te voeren en anderen (bv. mentoren) te infomeren; individuele meningen kunnen dus wel worden ingebracht in het assessorenoverleg, maar mogen nooit zonder overleg met andere assessoren worden toegepast. Dit vereist heel strakke criteria en afspraken. h. Bereid en in staat zijn besluiten goed te verantwoorden naar studenten, ftc/cve en zo nodig naar een beroepscommissie. i. Voldoende neutraliteit hebben De student Een aantal studenten was zeer exemplarisch voor EVC-studenten; mensen met zeer veel werkervaring op hoog niveau, maar zonder formele diploma s en getuigschriften. Een groot aantal studenten hadden heel veel moeite met het invullen van het portfolio. Dit kan soms vertaald worden naar desinteresse, maar dit was voor een groot deel ook onkunde. Deze studenten zijn technische mensen die het moeilijk vinden om zichzelf te profileren. De studenten hadden graag een duidelijker overzicht willen hebben van de modules waar het over gaat. Ze vonden het werken met de eindtermen niet inzichtelijk genoeg. Door modulegericht te werken is dat vanuit studentenperspectief beter te objectiveren. Studenten gaven vooraf aan dat zij twijfelden over het verzamelen van de bewijzen. Ten eerste, omdat het bewijs vaak vertrouwelijk is en ten tweede, dat het verzamelen van het bewijs erg tijdrovend zou zijn. Het eerste punt werd via bevestigd door de beveiligingsmedewerker van het bedrijf waar de studenten vandaan kwamen. Studenten zijn niet op de hoogte van het curriculum. De inhoud van het curriculum kwam daardoor pas tijdens het assessmentgesprek aan de orde. Dat had al in de mentorgesprekken gekund. Dit leidde tot veel verwarring en kostte veel tijd tijdens het gesprek. Een assessor moest een gesprek onderbreken omdat een student totaal niet wist waar het over ging vwb het curriculum. Opmerkingen van studenten waren: Meer dan relevante werkervaring werd niet beloond. Relatie tussen vragen in procedure en mogelijke vrijstellingen is onduidelijk, dat werkt negatief op motivatie. Verwachtingen temperen. Mentor en assessor onderling afstemmen. Bewijslast verminderen/minder streng zijn?. Terugkoppeling is niet goed gebeurd. Ik kreeg een dat ik 25 21

22 vrijstellingen kon krijgen, niet welke. Geen gesprek. De stellingen die in het portfolio stonden waren erg abstract, waardoor onduidelijk. Niet alleen maar blindstaren op papiertjes maar toetsen hoe het er nu voorstaat met kennis en competenties. Aanbevelingen: 1. De structuur van het portfolio verbeteren. De gebruikte eindtermen verduidelijken. 2. Betere instructie over het soort bewijzen dat aangeleverd kan worden. 3. De student vooraf beter informeren over het curriculum. 4. Duidelijkheid vooraf over het begrip relevante werkervaring. 5. Duidelijkheid verstrekken over de relatie tussen vragen in het portfolio en het mogelijke resultaat. 6. Verwachtingen temperen. Mentor en assessor onderling afstemmen. 7. Terugkoppeling verstrekken aan de studenten. 8. Gebruik van andere toetsen naast het portfolio assessment en de assessmentgesprekken, zoals kennistoetsen De Commissie voor de examens De Commissie voor de examens werd in het traject vertegenwoordigd door de secretaris en de jurist/ambtelijk secretaris en een lid. Tijdens CvE-vergadering werden de vorderingen van het EVCtraject besproken en werden voorwaarden bepaald. De rol van de Commissie voor de examens (CvE) t.a.v. het EVC-traject is een meervoudige: - de CvE is de instantie die EVC s in de eindfase erkent middels het afgeven van vrijstellingen voor die cursussen, die niet meer opgenomen hoeven te worden in het resterend studiepad; - de CvE is verantwoordelijk voor de wettigheid en de kwaliteit van de tentamens en examens: daar waar in het traject sprake is van het afnemen van toetsen moet voldaan zijn aan de eisen die de wet en de accrediterende instantie stellen; - onder de nieuwe wetgeving (WHOO) is de CvE verantwoordelijk voor de deugdelijkheid van de algehele EVC-procedure in de instelling; - in het onderhavige project heeft de CvE gefungeerd als opdrachtgever en klankbord. Door de CvE zelf zijn middels de ambtelijk secretaris een aantal documenten opgesteld ten behoeve van het project. Het betreft: - een beschrijving van de juridische kaders van EVC bij de OUNL - aangepaste vrijstellingsbeschikkingen waarbij onderscheid gemaakt werd tussen vrijstelling o.g.v. behaalde diploma's en vrijstelling o.g.v. EVC - een privacyverklaring, m.n. in het kader van de aanlevering van bedrijfsgevoelige gegevens, welke door het CvB is goedgekeurd; deze verklaring is opgesteld in nauw overleg met de security manager van het ISC en is inhoudelijk passend gemaakt aan de wensen van het bedrijf. 22