Gediplomeerd, maar ook bekwaam? - OVER DE VOORWAARDEN VAN VALIDE BEOORDELING VAN BEROEPSBEKWAAMHEID- FACTA, 8 oktober 2015 Gerard J.J.M. Straetmans Saxion/ Cito

Diplomawaarde

Wat garandeert het hbo-diploma? Dat de bezitter zich gekwalificeerd heeft als een voldoende bekwaam, startend professional in een nader omschreven domein. Dat de gediplomeerde cognitief op een bepaald niveau functioneert (NLQF-niveau 6, Dublin Descriptoren voor bachelor-opleidingen). Kennis en inzicht Communicatie Leervaardigheden Toepassen van kennis en inzicht Oordeelsvorming

Wat garandeert het hbo-diploma? Dat de bezitter zich gekwalificeerd heeft als een voldoende bekwaam, startend professional in een nader omschreven domein. Dat de gediplomeerde cognitief op een bepaald niveau functioneert (NLQF-niveau 6, Dublin Descriptoren voor bachelor-opleidingen). Dat de gediplomeerde de kerntaken van een beroep of functie op adequate wijze kan uitvoeren (competentieprofiel).

Wat is die garantie waard? Enkele bevindingen 70 Procent van ondervraagde schoolleiders vindt dat beginnende leraren door hun pabo onvoldoende zijn toegerust om orde te houden, een taakgerichte werksfeer te creëren, de leerstof uit te leggen en leerlingen actief te betrekken. (Bron: Inspectie van het Onderwijs, 2015) Een derde deel van afgestudeerde pabo-studenten vindt dat de pabo hen niet in staat heeft gesteld datgene te leren wat nodig is voor de beroepspraktijk. (Bron: Inspectie van het Onderwijs, 2015) Een derde van een steekproef van 1400 verpleegkundigen beoordeelde juist afgestudeerde collega s als slecht functionerend. (Bron: Nursing, 2009) Het is meer dan aannemelijk dat studenten van de Politie Academie na het behalen van hun diploma de vastgestelde competenties niet volledig beheersen. (Bron: Insp. Openbare Orde en Veiligheid, 2010) Ruim een kwart van alle recent afgestudeerde hbo-ers zegt onvoldoende in staat te zijn om verworven kennis en vaardigheden in de praktijk toe te passen. (Bron: ROA, 2013)

Mogelijke oorzaken De combinatie van beleid, financiering en weinig examenvoorschriften. 65% vindt dat de hogeschool teveel nadruk legt op rendement i.p.v. op kwaliteit*; 30% geeft wel eens een genade-zes*. * Onderzoek AOB/ITS onder 500 HBO-docenten in 2011

Mogelijke oorzaken De combinatie van beleid, financiering en weinig examenvoorschriften. De onbekwaamheid van een grote groep docenten op het gebied van toetsing en beoordeling.

Mogelijke oorzaken De combinatie van beleid, financiering en weinig examenvoorschriften. De onbekwaamheid van een grote groep docenten op het gebied van toetsing en beoordeling. Te weinig tijd voor toetsing en beoordeling. 50% zegt te weinig tijd te krijgen voor een deugdelijke beoordeling*. * Onderzoek AOB/ITS onder 500 HBO-docenten in 2011

Mogelijke oorzaken De combinatie van beleid, financiering en weinig examenvoorschriften. De onbekwaamheid van een grote groep docenten op het gebied van toetsing en beoordeling. Te weinig tijd voor toetsing en beoordeling. De gangbare examenpraktijk in het hbo.

Gangbare examenpraktijk: Het hbo-diploma wordt uitgereikt als: alle tentamens met een voldoende resultaat zijn behaald; Dit gaat vooral over voorwaardelijke kennis en vaardigheden. het afstudeerprogramma met een voldoende resultaat is afgesloten; De nadruk ligt hierbij vaak op een onderzoeksactiviteit en de rapportage daarvan. de stage is uitgevoerd en het stageverslag is goedgekeurd. In dit onderdeel kan beroepsbekwaamheid worden aangetoond.

Onderzoek lectoraat naar de praktijkstage Onderzoek 1 (Econ, Zorg, Techn) Schriftelijke vragenlijst 515 studenten van 5 hogescholen; Interview met 15 praktijkbegeleiders van stagebedrijven; Interview met 15 stagebegeleiders van hogescholen. Onderzoek 2 (pabo: LIO-stage) Schriftelijke vragenlijst 387 LIO-stagiaires en 105 stagebeleiders van 14 pabo s; 59 mentoren van stagescholen.

Enkele bevindingen uit het onderzoek naar het functioneren van de praktijkstage Stagebedrijf en student zijn onvoldoende op de hoogte van de eisen die de opleiding stelt aan een praktijkstage. De inhoud van de praktijkstage wordt meestal bepaald door stagebedrijf en student; de opleiding staat op afstand. De invulling van de stage is vooral afhankelijk van welke taken toevallig voorhanden zijn. Expliciete beoordeling van werkprocessen en/of daarbij vervaardigde producten komt relatief weinig voor. Praktijk- en stagebegeleiders baseren hun oordeel vooral op hun gevoel. Slechts 1% van de bevraagde studenten kreeg een onvoldoende beoordeling.

Hoe kan de opleiding beter zicht krijgen op beroepsbekwaamheid? Beter benutten van de praktijkstage; Opleiding moet weer de regie voeren; Beoordeling van beroepsbekwaamheid vraagt om een assessmentprogramma.

Uitvoering van een assessmentprogramma leidt tot assessmentresultaten(scores) conclusie Assessmentresultaten Beroepsbekwaamheid

Valide conclusies trekken over beroepsbekwaamheid vereist dat de assessmentresultatenvoldoen aan drie basale kwaliteitseisen conclusie Assessmentresultaten Beroepsbekwaamheid

Valide conclusies trekken over beroepsbekwaamheid vereist dat de assessmentresultatenvoldoen aan drie basale kwaliteitseisen Scores zijn zoveel mogelijk vrij van meetfouten. Betrouwbaar Generaliseerbaar Extrapoleerbaar Assessmentresultaten Beroepsbekwaamheid

Assessmentresultatenmoeten voldoen aan drie basale kwaliteitseisen Betrouwbaar Generaliseerbaar Het aangetoonde prestatieniveau geldt ook voor de niet getoetste taken. Extrapoleerbaar Assessmentresultaten Beroepsbekwaamheid

Assessmentresultatenmoeten voldoen aan drie basale kwaliteitseisen Betrouwbaar Generaliseerbaar Extrapoleerbaar Het aangetoonde prestatieniveau geldt ook voor het functioneren in de reële beroepspraktijk. Assessmentprestaties Beroepsbekwaamheid

Wat is er nodig voor betrouwbare resultaten? Deugdelijke prestatiecriteria

Prestatiecriteria: valkuilen bij de ontwikkeling Ontwikkelaar geeft prioriteit aan objectiviteit ten koste van inhoudelijke validiteit. De prestatiecriteria zijn teveel toegesneden op de concrete assessmenttaak en te weinig op de onderliggende (uiteindelijk te beheersen) kerntaak.

Ontwikkelproces prestatiecriteria (hoe het vaak gaat) Spoedeisende hulp verlenen door ambulance vpk Kerntaak? Concrete assessmentopdracht Hartinfarct in drukke winkelstraat Prestatiecriteria

Ontwikkelproces prestatiecriteria (hoe het beter kan) Kerntaak Stap 1 Stap 2 Beoordelingsaspecten (generiek) Curr. cie Taaksituaties Stap 3 Concrete assessmentopdracht Constructeur Stap 4 ass.taak Prestatie-indicatoren (specifiek)

Resultaat systematisch ontwikkelproces (voorbeeld) Spoedeisende hulp verlenen kerntaak beoordelingsaspecten Prioriteert medisch handelen. Voert medisch noodzakelijke handelingen adequaat uit. Draagt zorg voor de eigen veiligheid. Maakt het leed voor de patiënt draaglijk. Enz. prestatie-indicatoren Scant de omgeving op potentiële gevaren. Roept tijdig hulp in van andere professionals Blijft rustig onder stressvolle condities. Treedt beslist en tactvol op bij dreigende agressie. Vraagt en instrueert omstanders voor het creëren van veilige werkplek. Enz. Check list Rating scale Rubric schaling Ja Nee (4) Goed (3) Voldoende (2) Onvoldoende (1) Slecht Elk te onderscheiden prestatieniveau is uitvoerig omschreven

Wat is er nodig voor betrouwbare resultaten? Deugdelijke prestatiecriteria Deskundige assessoren W E R K S T U K Cijfers voor werkstukken in de opleiding tandheelkunde assessor A B C D E I 5 5 7 4 6 II 5 7 5 4 6 III 4 4 3 4 5 IV 5 7 6 4 7 V 5 5 8 6 8 VI 5 6 6 5 7

Wat is er nodig voor betrouwbare resultaten? Deugdelijke prestatiecriteria Deskundige assessoren Assessmentprestatie I Transparante procedures voor de score-aggregatie en Criterium 1 1 2 X3 4 de score-evaluatie Criterium 2 o Hoe moeten de scores op de prestatiecriteria Criterium 3 1 2 X3 verwerkt 4 worden tot een oordeel (bijv: Criterium O-V-G of 4 1 2 3 schoolcijfer) X4 voor de betreffende assessmentprestatie? Criterium 5 1 2 3 X4 Criterium 6 Criterium 7 Criterium 8 X 1 2 3 4 X 1 2 3 4 X X 1 2 3 4 1 2 3 4 Oordeel: Onvoldoende, Voldoende, Goed?

Wat is er nodig voor betrouwbare resultaten? Bron: Petra Bulthuis (2013), Examens, 2, 5-10 Deugdelijke prestatiecriteria Hoge Deskundige complexiteit: assessoren Uiteenlopende, onbekende opdrachten; Wisselende, Transparante nieuwe procedures situaties; voor de score-aggregatie en Nieuwe de score-evaluatie aanpak bedenken noodzakelijk; Hoge eisen; Multidisciplinair; Nieuwe kennis en vaardigheden vereist; Veel partijen en veel interactie; Hoog afbreukrisico. o Hoe moeten de scores op de prestatiecriteria verwerkt worden tot een oordeel (bijv: O-V-G of schoolcijfer) voor de betreffende assessmentprestatie? o Hoe moeten de oordelen van de verschillende assessmentprestaties verwerkt worden tot een eindoordeel over beheersing van de kerntaak? Hoge zelfstandigheid Weinig sturing en begeleiding; Grote vrijheid van handelen; Verantwoordelijk voor eindresultaat; Leidinggevende, strategische rol. Gestandaardiseerde assessmenttaken

Wat is er nodig voor generaliseerbare resultaten? Geldt het assessmentresultaat ook voor niet getoetste taken?

Wat is het probleem? Beheersing kerntaak Hoofdpijnklacht, lage rugpijnklacht, tenniselleboog, zwellingen, krachtsvermindering, enz. assessmentopdrachten Uitvoeren fysiotherapeutisch behandelplan Toetsing Volwassene, kind, baby, (demente) bejaarde, geestelijk gehandicapte Resultaat: 7

Wat is er nodig voor generaliseerbare resultaten? Inventarisatie van de taaksituaties waarmee startende professionals geconfronteerd kunnen worden.

Mogelijke taaksituaties waarin bekwaamheid m.b.t. een kerntaak zich kan manifesteren Kerntaak basisarts: Spoedeisende Hulp verlenen Situatie / conditie Taken / handelingen Snel handelen bij: bewusteloosheid hartstilstand hersenbloeding bevalling fracturen / trauma s vergiftiging ademnood slagaderlijke bloedingen le penseur

Wat is er nodig voor generaliseerbare resultaten? Inventarisatie van de taaksituaties waarmee startende professionals geconfronteerd kunnen worden. Selectie van representatieve taaksituaties voor opname in assessmentprogramma.

Slechte Betere selectie Kerntaak basisarts: Spoedeisende Hulp verlenen Situatie / conditie Taken / handelingen Snel handelen bij: bewusteloosheid hartstilstand hersenbloeding bevalling fracturen / trauma s vergiftiging ademnood slagaderlijke bloedingen X le penseur X X X X X

Wat is er nodig voor extrapoleerbare resultaten? Principekeuze: assessment op de werkvloer. Geldt het assessmentresultaat ook voor het functioneren in een echte beroepscontext?

Wat is er nodig voor extrapoleerbare resultaten? Principekeuze: assessment op de werkvloer. Waar nodig prestaties onder gesimuleerde omstandigheden laten uitvoeren.

Wat is er nodig voor extrapoleerbare resultaten? Principekeuze: assessment op de werkvloer. Waar nodig prestaties onder gesimuleerde omstandigheden laten uitvoeren. Als beroepshouding van cruciaal belang is: overweeg mystery guest techniek.

Resumé: Beter zicht krijgen op de beroepsbekwaamheid van studenten. Stel beroepsbekwaamheid vast op grond van een assessmentprogramma. Voer als opleiding de regie bij de opzet en beoordeling van een assessmentprogramma. Bijvoorbeeld door: o Eisen te stellen aan kwantiteit en kwaliteit van bewijsstukken. o Werk te maken van standaardisatie van assessmentopdrachten. Benut de stage als belangrijke bewijsbron voor beroepsbekwaamheid. o Maak de kerntaken van het beroep tot uitgangspunt voor de stage-opdracht. o Beoordeel vaker werkprocessen en resulterende beroepsproducten op de stagewerkplek. Geef meer aandacht aan de beoordelingskwaliteit. o Systematisch ontwikkelen van prestatiecriteria; o Kalibratiesessies houden om intersubjectiviteit te bevorderen. Werk samen en stem af met gelijksoortige opleidingen in het land.

Aanbevolen literatuur Expertgroep Protocol Afstudeerwerk (2014). Beoordelen is mensenwerk.bevindingen over de wenselijkheid en mogelijkheid van een gezamenlijk protocol voor het beoordelen van (kern)werkstukken. Vereniging Hogescholen. Straetmans, G.J.J.M. (2014). Voorwaarden voor valide beoordeling van beroepsbekwaamheid. Examens, 11, 2, 1-8. Straetmans, G.J.J.M. (2015). Beoordelen van competentie. http://www.toetswijzer.nl/html/toetsenopschool/toetsenopsc hool_ho.shtm Ook aanbevelenswaardig: Lidmaatschap van Kennisplatform Examinering Hoger Onderwijs. Aanmelden bij: marcel.vandervecht@cito.nl

Dank voor uw aandacht!