Inspectie voor het Onderwijs (Sector HO) Examenonderzoek B.A.N.M. Vreeburg Portfolio-onderzoek Casestudy Universiteit van Maastricht 7 oktober 2002 Werkdocument ten behoeve van het examenonderzoek van de Inspectie van het Onderwijs 0.1.Technische gegevens Datum bezoek: 7 oktober 2002 Instelling: Universiteit van Maastricht Respondenten: Studenten (9 personen), docenten/mentoren/beoordelaars (3), ontwikkelaars (4) 0.2. Algemene beschrijvende gegevens van de instelling Opleiding(en): Geneeskunde Instelling: Universiteit van Maastricht Aantallen studenten: ca. 240 tot 320 studenten in de propedeuse Aantallen docenten: in totaal 28 mentoren op het eerste en tweede jaar De Faculteit Geneeskunde bevindt zich momenteel in een nieuw proces van curriculumherziening. Hiertoe heeft de Faculteit een Voorstel voor het Nieuwe Maastrichtse Curriculum (Scherpbier e.a., Maastricht 2000) geschreven. Dit voorstel is richtinggevend voor de inrichting van het nieuwe curriculum en het toetsbeleid. Dit nieuwe curriculum is wat betreft de vereiste competenties (eindtermen) gebaseerd op het Raamplan artsopleiding dat dateert van 1994. Hierin zijn de eindtermen van de artsopleiding vastgelegd. Sinds 1997 is dit opgenomen in het Besluit opleidingseisen arts op grond van de Wet BIG (Beroepen in de Individuele Gezondheidszorg). Het nieuwe curriculum heeft de volgende uitgangspunten: Patiënt-, probleem- en projectgeoriënteerd onderwijs waarbij disciplineoverstijgend gewerkt wordt, Studentgericht werken staat centraal, waarbij de nadruk ligt op het leerproces van de studenten, kleinschaligheid en teamgericht werken. Grote nadruk op de docentkwaliteit en de verschillende rollen van de docent. Aandacht voor de invloed van het toetsingssysteem op het onderwijssysteem Wetenschappelijke vorming en een wetenschapsstage voor de student Een wetenschappelijke benadering van het onderwijs, waarbij ook het onderwijs als een evidence-based practice wordt opgevat. Naar het curriculum uitgewerkt betekent dit dat de praktische vorming minder aan het eind van de studie zal liggen, maar reeds van het begin af aanwezig is en steeds in belang zal toenemen. Men spreekt in dit verband van de overgang van een H-vormig naar een Z-vormig curriculum. 1. De plaats van het portfolio in de opleiding en de achterliggende onderwijsvisie Bij de Faculteit Geneeskunde is men sinds kort gestart met het gebruik van het portfolio en er is sprake van een gedegen en zorgvuldig ontwikkelingstraject. De invoering van het portfolio hangt direct samen met de bredere herziening van het curriculum. Momenteel is het in het eerste en tweede jaar ingevoerd en het is de bedoeling dat gedurende de hele studie van zes jaar gebruikt zal worden. Het portfolio is in Maastricht op dit moment in eerste instantie ingevoerd als een reflectie-instrument en als middel om de zelfsturing van de studenten te bevorderen.tevens wil men met het portfolio de zogenaamde soft skills (zoals bijv. de vaardigheid tot reflectie of tot zelfsturing) beter beoordeelbaar maken. In de hogere studiejaren is echter voorzien dat in het portfolio de reflectie op de beroepscompetenties centraal zal staan. Ook dan gaat het om zelfsturing, maar in die fase zal het portfolio een instrument zijn, dat de beroepsontwikkeling volgt en een geïntegreerd oordeel hierover mogelijk maakt. Echter ook in de propedeuse zijn al een aantal basiselementen van de vereiste beroepscompetenties in het portfolio aanwezig. 1
2. De inhoud van het portfolio en het gebruik van het portfolio Het portfolio bestaat uit een map die de studenten zelf aanleggen. De onderdelen (tabbladen) van deze map zijn voorgeschreven en behelzen het volgende: Curriculum vitae De rol als medisch expert De rol als wetenschapper De rol als werker in de gezondheidszorg De rol als persoon Een algemeen deel met de samenvatting van de sterkte-zwakte-analyse Bijlagen. Het hart van het portfolio wordt gevormd door de vier genoemde rollen. Deze rollen zijn ontleend aan het raamplan. Bij elk van deze rollen moet de student zijn of haar functioneren tot nu toe beschrijven, vervolgens een sterke-zwakte-analyse maken, en concrete leerdoelen formuleren voor de komende tijd. Hierbij moet de student gebruik maken van bewijsmateriaal en daar adequaat naar verwijzen. Het bewijsmateriaal moet in de bijlagen opgenomen worden. In het begin van de studie betreft dat de vooral het participeren in het onderwijs en een analyse van de toetsresultaten. Wanneer een student met het portfolio verder werkt, moet de student in een volgende periode ook aangeven, wat hij met de leerdoelen heeft gedaan. Leerdoelen kunnen bijv. zijn: Ik ga in de komende periode een presentatie voor de groep houden, of: Ik ga mij oefenen in het geven van gevoelsreflecties bij simulatiepatiënten. Bij elk van de vier rollen worden een aantal competentie-eisen geformuleerd. Deze eisen representeren het beheersingsniveau waarvan men aanneemt, dat dat het beheersingsniveau moet zijn aan het eind van dat studiejaar. Momenteel is dit alleen nog voor het eerste en tweede studiejaar ontwikkeld. Ieder jaar worden deze competentie-eisen complexer totdat aan het eind van de studie de beroepsrollen op startbekwaamheidsniveau behaald zijn. Omdat het portfolio tot nu toe alleen voor de lagere studiejaren is ontwikkeld, liggen relatief veel competenties op het terrein van de metacognitieve vaardigheden (kunnen plannen, een presentatie houden). Dat zal in de hogere leerjaren veranderen. Studenten krijgen bij de start van de studie groepsgewijs een korte introductie in het werken met het portfolio. In de handleiding zijn richtvragen opgenomen en voorbeelduitwerkingen met de uitdrukkelijke opmerking dat het alleen om voorbeelden gaat. Het evenwicht tussen aanwijzingen en steun geven aan de ene kant versus te veel voorstructureren aan de andere kant en het gevaar dat studenten de voorbeelden letterlijk nadoen is nadrukkelijk als vraagstuk aanwezig. In het algemeen vinden de docenten dat de portfolio s onderling sterk overeenstemmen, waarbij ze zijn van mening zijn, dat dit door de richtlijnen komt. Dat spoort met wat de studenten zeggen, want zij geven aan, dat ze relatief weinig samenwerken om het portfolio vorm te geven en dit zou dus kunnen duiden op de sturende rol van de richtlijnen. Verder dan incidenteel iets aan elkaar laten zien, gaat het niet. Studenten willen overigens juist graag veel richtlijnen. Het portfolio is ingebed in het systeem van studiebegeleiding (het dient overigens niet alleen de begeleiding, maar ook de beoordeling). De mentor is naast andere studiebegeleidingsactiviteiten en het reguliere onderwijs belast met de begeleiding van het portfolio. Naast het mentoraat bestaat er verder de studieadvisering. De studiebegeleiding is een tijd afgeschaft geweest, maar zij is nu met de curriculumvernieuwing gereactiveerd. In één van de eerste onderwijsblokken wordt geoefend met de invulling van het portfolio. Verder is vastgelegd, dat er twee individuele gesprekken met de mentor zijn, waarin de inhoud van het portfolio, de voortgang bij de opstelling van het portfolio, de realisatie van leerdoelen in de afgelopen periode en de opstelling van leerdoelen voor de komende periode aan de orde komen. De student levert daartoe van te voren het portfolio en een gespreksagenda in. Heeft het eerste gesprek het karakter van een voortgangsgesprek, in het tweede gesprek dat aan het eind van het studiejaar plaats vindt, staat het beoordelingsadvies over het portfolio centraal. Los van deze centrale afspraken kan de student altijd contact opnemen met de mentor en ondernemen mentoren ook zelf actie om studenten te activeren. Dit laatste varieert per mentor. Sommige mentoren nemen in november van het eerste jaar al initiatieven om studenten voor het portfolio te activeren. De meeste studenten vinden de twee gesprekken voldoende, hoewel enkele studenten meer hadden gewild en in een enkel geval de detectie van onvoldoende voortgang wellicht te laat komt. Eerdere gesprekken over de voortgang met het portfolio hebben volgens de docenten echter weinig zin omdat er dan nog te weinig materiaal is. 2
Voor het tweede gesprek stelt de mentor het beoordelingsadvies op. Dit advies houdt een gemotiveerde beoordeling in of het portfolio van voldoende of onvoldoende kwaliteit is. In het gesprek wordt deze beoordeling besproken en eventueel nog nader bijgesteld. Op grond van dit beoordelingsadvies, volgt dan een verdere beoordeling van het portfolio, die formeel buiten de mentor ligt (over deze procedure volgt later in dit verslag meer). Mentoren zien deze combinatie van een beoordelende en een begeleidende taak als lastig. Zij wordt echter zowel door de mentoren als door de onderwijskundige ontwikkelaars als onvermijdelijk gezien. De mentoren hebben op grond van hun omgang met de student als enige snel en volledig de informatie voorhanden om een beoordelingsadvies te geven. Studenten geven hierbij aan het meeste moeite te hebben met het vinden van bewijsmateriaal. Bijv. bij het medisch praktijk onderwijs vindt veel feedback mondeling plaats en wordt het niet op schrift gesteld. Momenteel is er sprake van een schriftelijk portfolio, maar er wordt geëxperimenteerd met een digitaal portfolio. 3. De plaats van het portfolio in het systeem van toetsing en gegevens over het systeem van toetsing In het eerste en tweede jaar is het portfolio in ieder studiejaar een regulier studieonderdeel van drie studiepunten. Die punten behaalt men wanneer de portfoliobeoordeling voldoende is. De opleiding kent een veelheid aan toetsvormen, te weten: de blokgebonden toetsen: het hoofdbestanddeel van het onderwijs bestaat uit thematische blokken en elk blok heeft gevarieerde toetsen (schriftelijk, opdrachten, presentatie, enz.); de beoordeling van het professionele gedrag in specifieke beroepssituaties (in het begin van de studie ondermeer met simulatiepatiënten); de vaardigheidstoetsen die in stationsexamens (verschillende medische situaties) worden afgelegd; de kennis die in een algemene voortgangstoets wordt beoordeeld. Deze voortgangstoets is een toets die alle leerjaren vier keer per jaar wordt afgenomen en waarvoor naar mate de studie vordert een steeds hogere cesuur geldt; het niveau en de ontwikkeling van de competenties die door middel van het portfolio worden getoetst. Op deze manier is het portfolio onmiskenbaar een duidelijk onderdeel in het systeem van toetsing. Er is bewust gekozen voor een veelzijdige mix aan beoordelingsvormen, vanuit de overweging dat het toetssysteem het onderwijsgedrag van studenten stuurt en dat bij de gewenste brede competenties een breed geschakeerd toetssysteem past. Het portfolio in het eerste jaar telt mee bij de propedeusebeoordeling. Indien het in het eerste jaar niet wordt behaald, dan blijft de onvoldoende staan, maar zij kan worden gecompenseerd bij de portfoliobeoordeling in het tweede jaar. (Voor een bindend studieadvies na het eerste jaar hoeft men niet alle propedeusepunten te halen, maar de propedeuse moet in het tweede jaar wel worden afgesloten). Mocht het portfolio in het tweede jaar behaald worden, dan geldt dat met terugwerkende kracht ook voor het eerste jaar. Indien het ook dan niet behaald wordt, dan is de redenering van de opleiding dat de student dan zakt, omdat hij dan niet aan essentiële competenties voldoet. De student mist dan immers de noodzakelijke geachte competenties op het terrein van zelfverantwoording en zelfreflectie. Een dergelijke situatie heeft zich nog niet voorgedaan. 4. De beoordeling van het portfolio De opleiding heeft een getrapte procedure voor de beoordeling van het portfolio ontwikkeld. De kern van dit systeem is, dat alle mentoren beoordelaars zijn, dat niemand de eigen student definitief beoordeelt en dat alle mentoren wel over de eigen studenten een beoordelingsadvies schrijven. Het beoordelingsproces heeft de volgende stappen: De mentor schrijft een beoordelingsadvies over de eigen student. Dit wordt met de student besproken die hierop zijn eigen visie kan geven. Bij een voldoende advies en overeenstemming wordt het geheel nog door een beoordelaar formeel beoordeeld. Dit gebeurt marginaal. Indien het positieve oordeel wordt bevestigd dan is 3
de beoordeling een feit. Zo niet dan gaat de beoordeling naar een tweede beoordelaar en volgt bespreking van de casus in de portfoliobeoordelingscommissie. Bij een onvoldoende beoordelingsadvies en/of geen overeenstemming met de student, is de student in staat om het portfolio nog gedurende één week te verbeteren. Vervolgens wordt het door twee beoordelaars gelezen en van een beoordeling voorzien, gevolgd door een bespreking in de portfoliobeoordelingscommissie. Wanneer student en mentor het over het beoordelingsadvies oneens zijn volgt ook altijd een beoordeling door een tweede beoordelaar en een gesprek in de portfoliobeoordelingscommissie. Feitelijk neemt de portfoliobeoordelingscommissie dus een besluit over alle onvoldoendes. Deze procedure is er op gericht om de positieve gevallen zo snel en doelmatig mogelijk af te werken en tegelijk om de onvoldoende gevallen zo zorgvuldig mogelijk te beoordelen en onderwerp te maken van een teamoordeel. Door deze procedure ligt de kern van de beoordelingsactiviteit bij de mentor, terwijl de formele bevoegdheid niet bij de mentor ligt en een besluit tot een onvoldoende altijd een teambeslissing is. Men noemt dit proces een vorm van triangulatie bij de beoordeling. De term triangulatie klopt echter niet geheel, want er is geen sprake is van onafhankelijke beoordelingen. De beoordelaars kennen in principe elkaars oordeel. Met deze beoordelingsprocedure worden de voldoendes veel marginaler beoordeeld dan de onvoldoendes. De inhoudelijke kern van het beoordelingsadvies betreft de vier beroepsrollen. Bij elk van deze rollen worden de volgende onderwerpen in de beoordeling meegenomen: De kwaliteit van de sterktezwakte-analyse, de kwaliteit van de bewijsstukken, de kwaliteit van de eigen leerdoelen (met name de concreetheid) en de mate waarin de leerdoelen gehaald zijn. Volgens deze richtlijn wordt dus het zelfregulerend vermogen van de student beoordeeld. Daarnaast zijn er ten behoeve van de beoordeling ook ondersteunende vragen voor de mentor geformuleerd. Deze vragen zijn hulpvragen, waarin de mentor kan aangeven of het vereiste competentieniveau bij de verschillende rollen is bereikt. Dit betreft dus de mate waarin de beroepscompetenties aanwezig zijn. Hierdoor is de portfoliobeoordeling feitelijk een mix van beide, namelijk beoordeling van de procesgang of ontwikkeling en beoordeling van het competentieniveau. Hierbij zijn er geen regels om vanuit de beoordeling bij de verschillende rollen of de onderdelen daarvan of de metacognitieve vaardigheden te komen op een totaalbeoordeling. In die zin is er dus sprake van een globaal of holistisch eindoordeel. Beoordelaars geven aan bij de beoordeling geen vast lijstje te hebben, maar zich met name te laten leiden door zaken als consistentie, diepgang, concreetheid van de doelen, maar ook vormgevingsaspecten zoals formulering en taalfouten. De mentoren besteden per student veel tijd aan het schrijven van het portfoliobeoordelingsadvies (ca. 1 uur). Hoewel bij de mentoren soms de behoefte is aan meer handvaten voor de beoordeling, zijn er aan de andere kant ook overwegingen om dat niet te doen. Men is erg beducht voor standaardlijsten die de zaak dichttimmeren. Bovendien hebben de ontwikkelaars ook twijfels of dit tot hogere betrouwbaarheid leidt. Om die reden heeft men de garanties voor betrouwbaarheid eerder in de procedure gezocht. Het feit dat het advies ook met de student wordt doorgesproken en eventueel ter plekke met de student wordt gecorrigeerd, draagt volgens de mentoren ook bij tot de nauwkeurigheid. Een ander aspect van de betrouwbaarheid is het probleem van de authenticiteit. Dan gaat het om de vraag of het portfolio echt materiaal van de student bevat of dat het verzonnen of onjuist weergegeven is. Beoordelaars zeggen veel aandacht te geven aan dit probleem. Toch bevatten de procedures hiervoor maar beperkte garanties en wordt ook niet duidelijk of dit bij de twee gespreksmomenten en ook twee momenten in het eerste jaar waarin de docent het portfolio wel inziet, wel vastgesteld kan worden. In de gesprekken met studenten wordt wel aangegeven dat er naast het liggende bewijsmateriaal mogelijkheden zijn om in het portfolio een andere voorstelling van zaken te geven dan de werkelijkheid, maar tegelijk geven ze ook aan dat die mogelijkheden maar beperkt zijn en weinig opleveren. Men zou kunnen zeggen, frauderen kost ook inspanning en het is de vraag of die inspanning opweegt tegen gewoon het werk doen. 4
Hoe legt men de cesuur aan? Het is duidelijk dat er geen harde cesuur is. De cesuur bestaat in ieders persoonlijk oordeel en men krijgt slechts een aantal indicatoren aangereikt om hieraan het persoonlijk judgement vast te zetten. Maar een verdere normering is er niet. In geval van een negatief oordeel wordt het gecheckt door anderen. De interbeoordelaarsbetrouwbaarheid en het verstrekken van onafhankelijke oordelen door verschillende beoordelaars vinden de ontwikkelaars niet echt belangrijk.volgens hen heeft men hier weinig aan (men kan dan een interbeoordelaarscoëfficiënt opstellen en wat dan?). Veel meer ziet men in de teamcorrectie van het oordeel. Buiten het algemene stramien van de beoordeling, zijn er verder geen protocolleringen opgesteld over hoe een beoordelingscommissiegesprek verloopt. De docenten geven zelf wel aan met een impliciet idee van interbeoordelaarsbetrouwbaarheid te werken. Soms als ze een portfolio als tweede beoordelaar beoordelen, laten ze eerst het beoordelingsadvies buiten beschouwing om het daarna naast het eigen oordeel te leggen. Dit gebeurt echter niet altijd. Formeel moet de student het advies zien en tekenen voor akkoord of niet-akkoord. Het komt niet altijd voor dat studenten het hele advies hebben gezien. Verdere overwegingen van de beoordelingscommissie krijgen de studenten niet automatisch te zien. 5. Voorlichting, transparantie Wat de bedoeling van het portfolio is, staat in de handleiding beschreven. Ook de gang van zaken bij de beoordeling wordt hierin naar de studenten gecommuniceerd, evenals de rollen die hierin worden ingenomen. 6. Efficiëntie Voor de meeste studenten is het portfolio goed te doen. Een enkeling geeft aan dat het veel tijd kost. Docenten geven aan, dat de beoordeling van de portfolio s en het monitoren van de individuele voortgang het meeste tijd kost. Los van het gesprek is men per portfolio gemiddeld een uur met de beoordeling bezig. Onvoldoende resultaten vereisen nog meer zorg. De oplossing die men hiervoor in de beoordelingsprocedure kiest, is klassiek te noemen. De probleemloze gevallen werkt men snel af, om daarna de volle aandacht op de probleemgevallen te richten. Er is niet expliciet naar de leereffecten gevraagd. Studenten geven aan dat ze dat nu nog als beperkt zien. Ze zien het soms ook als een lijst met goede voornemens, waar ze zich lang niet altijd aan houden. Er zijn echter ook studenten die zeggen er wel iets aangehad te hebben. Ze hebben bijv. een drempel overwonnen om een presentatie te houden of hebben extra aandacht aan een zwak punt gegeven. De ontwikkelaars geven aan, dat hun verwachtingen met het portfolio beperkt zijn. Ze zijn al blij als gerapporteerd kan worden dat studenten bepaalde reflecties doen, op sommige terreinen een impuls krijgen tot ander studiegedrag of zich enkele doelen stellen. 7. Voorkoming van bedrijfsongevallen bij portfoliotoetsing In het algemeen acht de opleiding de kans op bedrijfsongevallen niet hoger dan bij andere onderdelen. De belangrijkste garantie om bedrijfsongevallen tegen te gaan ziet zij in de mix van toetsvormen, waardoor veel verschillende competenties en vermogens worden aangesproken. De opleiding acht het niet uitgesloten dat sommige studenten wat meer problemen kunnen hebben met het portfolio. Een hypothese is dat misschien studenten met taalproblemen, of met een zekere teruggetrokkenheid, of mogelijk met een andere culturele achtergrond die minder bij de gewenste vaardigheden aansluit, bij de portfoliobenadering in het nadeel zijn. Aan de andere kant acht men toch de vermogens die bij het portfolio aan de orde zijn van dermate groot belang, dat dat de opname als studieonderdeel zeker wettigt. Studenten bevestigen dit. Het portfolio kan gezien worden als een verdere verbreding van de toetsvormen waardoor dus een bredere range aan studentbekwaamheden wordt aangesproken. In die zin vindt de opleiding dat de kans op bedrijfsongevallen wordt verkleind. 5
Studenten geven aan, dat het tot zekere hoogte mogelijk is om de stand van zaken wat anders voor te stellen (te faken) of dat studenten die zichzelf met meer branie presenteren in het voordeel zouden kunnen zijn. Zij achten dit verder geen groot probleem en ook niet zo zinvol. Erg veel baat heeft men bij een dergelijk soort fraude niet. In wezen wordt hier gerapporteerd wat eigenlijk over alle mogelijke vormen van fraude wordt gerapporteerd. Als je wil, kun je wel bedriegen, maar je moet er nogal wat moeite voor doen en in de tweede plaats levert het betrekkelijk weinig op, naast de onvermijdelijke risico s die ook aan bedrog zitten. Wat wel mogelijk is, is een beperkte manipulatie van de gegevens, bijv. iets net iets gunstiger neerzetten. Een zeker tactisch gedrag is mogelijk. Hier is natuurlijk wel degelijk een gevaar bij het portfolio te signaleren en dat zou men kunnen aanduiden als een slijtage door het veelvuldig gebruik. Men zou zich kunnen voorstellen, dat naarmate een portfolio meer gemeengoed is geworden, er ook een zekere consensus kan ontstaan over het gewenste sociale gedrag. In zo n geval treedt er stagnatie op. In plaats van steun bij de eigen ontwikkeling, roept het portfolio dan meer een standaardrespons op. Dat probleem is echter op dit moment niet aan de orde en is natuurlijk niet anders bij iedere ander veelgebruikte toetsvorm of didactische aanpak. 8. Studententevredenheid en klachten Klachten zijn er nog niet geregistreerd. De klachtenprocedure e.d. is verder geen object van dit onderzoek. Er zijn weinig problemen met de beoordeling. In het algemeen wordt de beoordeling geaccepteerd. Er zijn het afgelopen jaar weinig onvoldoendes gevallen. Van ca. 220 studenten zijn er ca. 20 afgewezen. Analyses van relaties van de onvoldoendes met studentkenmerken en de relatie met andere programmaonderdelen hebben nog niet plaats gevonden. De beoordelingsprocedure is in het algemeen zo georganiseerd dat de uitkomst geen verrassing vormt. 9.1. Kwaliteitsborging en systematische verbetering van de kwaliteit van de portfoliotoetsing: Algemeen: Systematische kwaliteitszorg en evaluatie Op dit moment heeft de toetsing met behulp van het portfolio nog een zekere projectstatus. Er is een ontwikkelteam met een projectleider met de hele ontwikkeling van het portfolio bezig. De ontwikkelaars zijn niet als mentor bij de begeleiding betrokken. Evaluaties hebben bij mentoren en een aantal studenten plaatsgevonden, maar hiervan heeft nog geen verslaggeving plaatsgevonden. Studenten geven overigens aan, dat zij niet bij de evaluatie betrokken zijn. Hoe de verdere kwaliteitszorgcyclus in elkaar zit, is niet nagevraagd. Er is uitgebreid flankerend wetenschappelijk onderzoek (inclusief een promotietraject) bij de portfolioimplementatie aanwezig. 9.2. Kwaliteitsborging en systematische verbetering van de kwaliteit van de portfoliotoetsing: Deskundigheidsbevordering van de mentoren Een eerste scholing van de mentoren betrof vooral de mentoraatstaken. De vervolgscholing van de mentoren heeft plaatsgevonden door middel van trainingen, waarbij gesprekken met studenten zijn geoefend. Verder worden er in de loop van het jaar met het hele team van dertien mentoren vier intervisiebijeenkomsten gehouden. In de komende jaren zal het aantal mentoren sterk worden uitgebreid. Hoe dan de deskundigheidsbevordering en de intervisie op peil wordt gehouden is nog niet bekend, maar dit is voor de opleiding wel een punt van zorg. De mentoren/docenten leggen (als oefening) niet zelf een eigen portfolio aan. 9.3. Kwaliteitsborging en systematische verbetering van de kwaliteit van de portfoliotoetsing: Borgingsvraagstukken Over de betrouwbaarheid is in het voorafgaande al het een en ander gezegd. 6
De borging van de validiteit van het portfolio is een van de meer ingewikkelde zaken, waar de ontwikkelaars mee bezig zijn. Binnen de ontwikkelgroep van Maastricht heeft men zich met deze materie bezig gehouden. In het algemeen verlaat men een al te starre opvatting van constructvaliditeit. Dit blijkt volgens de respondenten uit het feit, dat men veel meer naar de rollen en het rolgedrag is gaan kijken (Onduidelijk is hier overigens, waarom hier een andere validiteitsopvatting uit zou spreken). De check die wordt toegepast of de eindtermen/competenties in het portfolio aan bod komen, ligt volledig bij de ontwikkelgroep. Dit gebeurt door steeds de doelen in de handleiding te formuleren. Een verdere check of de ontwikkelgroep dit goed doet, is er niet. Ook nadere checks door anderen of de gestelde niveaus nu de gewenste jaarniveaus zijn, worden niet gerapporteerd. Dus vermoedelijk zijn hier nog geen praktische procedures voor. Voorts geven de ontwikkelaars aan dat het geheel wel is geijkt aan de metacognitieve literatuur en dat de onderwerpen die in het portfolio aan bod komen, ook inde literatuur als belangrijk worden gezien. Verder zou men portfoliogegevens ook aan de leerstijlenlijst kunnen correleren, dit is echter nog niet gebeurd.. Er zijn plannen voor nader valideringsonderzoek. Zo wil men een aantal portfolio s diepgravender doorlichten. In de loop van de tijd verwacht men ook kwantitatieve data te hebben, waar toch iets van relaties tussen portfolio en andere onderdelen kan worden aangegeven, maar dit heeft niet direct de grootste interesse 10. De organisatie achter de portfoliobenadering De faculteit heeft een onderwijskundige capaciteitsgroep die voor een deel voor de factulteit werkzaam is aan de onderwijskundige ontwikkeling. Hierdoor wordt veel aandacht aan de curriculumvernieuwing besteed. Voor de portfolio-ontwikkeling is een aparte coördinator. Er is betrokkenheid van de leden van de examencommissie bij het portfoliotraject. De voorzitter van de examencommissie zit in de ontwerpcommissie voor het portfolio en daarnaast zit één van de leden van de examencommissie in de huidige portfoliocommissie. Vermeldenswaard is nog dat ook studenten als assistent of anderszins bij de ontwikkeling betrokken zijn (bijv. ook om het portfolio te presenteren of in de training van docenten). Ook hier zou men een idee van inhoudelijke validering in kunnen zien (hoe gaan inhoudelijke gebruikers ermee om). 11. Specifieke aandachtspunten en onderwerpen over de portfoliobeoordeling die de opleiding wenst in te brengen Andere kwaliteitsmaatstaven die eerder de belangstelling hebben zijn ondermeer: Onderwijskundige consequenties van toetssystemen op ondermeer het studiegedrag van studenten De acceptatie van een beoordelingssysteem De kosten/efficiëntie Samenvattende conclusies Het portfolio heeft in het curriculum feitelijk twee functies. Aan de ene kant is het een verdere rationalisering van de studiebegeleiding, die hiermee een duidelijker instrument in handen heeft gekregen om de begeleiding in te richten en sturing te geven. Aan de andere kant is het een aanvullend toetsinstrument geworden naast het gevarieerde arsenaal aan toetsen dat reeds aanwezig is. Als aanvullende toetsvorm heeft het portfolio de volgende functies: De beoordeling van competenties en ontwikkelingsaspecten die elders moeilijk te toetsen zijn; De studenten te stimuleren tot een bepaald studiegedrag, vanuit het beginsel, dat de toetsing het studiegedrag bepaalt. Deze combinatie van functies wordt door de mentoren soms wel als lastig gezien, maar stuit vooralsnog niet op veel problemen. 7
Deze toetsing met behulp van het portfolio richt zich op een hybride geheel van zowel beroepsgerichte competenties als de meer metacognitieve vaardigheden. Verder richt men zich in de beoordeling zowel op de actuele stand (hoever is de student nu?) als op de getoonde groei en ontwikkeling (Welke progressie heeft de student gemaakt?). Hierin moet de beoordelaar zijn eigen afwegingen maken. Hier is het risico aanwezig dat er grote verschillen in afwegingen tussen beoordelaars kunnen zijn. Dit is in de gesprekken ook aangegeven. Duidelijk is dat beoordelaars verschillende accenten kunnen leggen. Als borgingsstrategie voor dit betrouwbaarheidsprobleem heeft de opleiding ervoor gekozen om alle risicogevallen die in eerste instantie als onvoldoende beoordeeld zijn, nauwkeuriger te beoordelen. De voldoendes worden dus niet aan een nauwkeuriger beoordeling onderworpen, maar dat zou als contrast wel nuttig kunnen zijn. Een verdere normering bij de beoordeling (wat heeft men als criteria voor voldoende en onvoldoende) is niet aanwezig. Het criterium wordt feitelijk alleen bepaald door de weg die wordt afgelegd: als het portfolio door zoveel beoordelaars onvoldoende beoordeeld is, dan is het ook onvoldoende. In de handleiding is duidelijk over welke doelen c.q. beroepscompetenties het portfolio gaat. Er mag worden aangenomen dat dit door de ontwikkelgroep zorgvuldig gedaan is, maar onduidelijk is, hoe wordt gecheckt of dit nu de gewenste doelen en gewenste niveaus zijn. Los van de vraag van een meer wetenschappelijk validiteitsonderzoek kan men ook vragen naar meer praktische procedures voor validering of interne legitimering. Die ontbreken grotendeels of zijn niet duidelijk. Bedrijfsongevallen met het portfolio worden vermeden of in ieder geval gemodereerd door het portfolio één van de vele vormen van toetsing te laten zijn. Deze veelzijdige toetsing vormt een sterk punt van het Maastrichtse curriculum. 8