INSTRUMENTARIUM BEKWAAMHEIDSBELEID AMBULANCEZORGVERLENERS BESCHRIJVEN, VERGELIJKEN EN BEOORDELEN van REGIONALE ASSESSMENTS Klaas Brouwer & Gjalt van der Zee, Groningen / Tynaarlo, oktober 2016 in opdracht van:
INHOUD 01. Inleidend 2 02. Eerste afbakening 4 03. Algemene kaders 5 04. Fasering visitatie 7 05. Visitatie in vragen 8 06. Samenstelling visitatiegroep 9 DOCUMENTATIE * Fundament voor Bekwaamheidsbeleid Ambulanceverpleegkundige NVMMA/V&VN/AZN, mei 2015 * CITO (2014). Rapportage Kwaliteit van toetsen binnen handbereik. RCEC, Cito. * Learning Sciences Research Institute; Stanford Center for Opportunity Policy in Education; National Centre for Research on Evaluation, Standards, & Student Testing; (2013). Criteria for High-Quality Assessment. * NVMMA (2016). Instrumentarium bekwaamheidsbeleid Ambulancezorgverleners; Beschouwing en beoordeling van de beroepspraktijk. Groningen. * Onderwijs en gezondheidszorg (2006). Bekwaamheid op de proef gesteld. Houten: Bohn Stafleu van Loghum. * Straetmans, D. G. (2012). Rapportage over de evaluatie van het Assessment Ambulancezorg. Arnhem. SAMENSTELLING WERKGROEP Visitatie van assessments De werkgroep werd ingesteld door de NVMMA en bestond uit: Jan de Nooij Bert Dercksen Albert Hutten Paul Voorhorst Gjalt van der Zee Klaas Brouwer medisch manager RAV Hollands Midden medisch manager UMCG Ambulancezorg verpleegkundig specialist RAV IJsselland kwaliteitszorgfunctionaris Ambulance Oost opleidingskundige UMCG Ambulancezorg Brouwer Onderzoek, Ontwikkeling & Advies, Groningen externe ondersteuning. 1
01. Inleidend In 'Fundament Bekwaamheidsbeleid Ambulanceverpleegkundige' staan vooral de eerste niveaus van de Piramide van Miller centraal (in casu 'Doet' en Laat Zien ) bij het beoordelen van bekwaamheid. Het instrumentarium waarmee de vakbekwaamheid van de beroepsbeoefenaar wordt beoordeeld, kent uiteenlopende onderdelen. Deze werden in 'Fundament' schematisch weergegeven in relatie tot de CanMeds-rollen uit de CZO-profielen (en voor de ambulanceverpleegkundige ook in het Expertisegebied). Hieronder staan die elementen (zonder de CanMeds-rollen) samengevat. Afbeelding 1. Elementen van Bekwaamheidsbeleid en beoordeling. ELEMENTEN VAN BEKWAAMHEIDSBELEID & -BEOORDELING I DOET (monitoren van vakbekwaamheid) a) kwalitatieve en kwantitatieve gegevens zorgproductie: 1 registratie van risicovolle en andere handelingen S 2 evaluaties/beoordelingen ritten of meldingen en vervolghandelingen N 3 registratie van fouten/incidenten S b) collega s/team-leden/organisatie-leden: 4 signalen van collega s/organisatie-leden/intervisie S c) in- en/of externe beoordelaars in/over de praktijk 5 praktijkbeoordelingen-on-the-job N 6 intercollegiale toetsing N d) ketenpartners: 7 feedbackformulieren/evaluaties ziekenhuizen e.a. ketenpartners S 8 evaluaties door/gesprekken met ketenpartners S 9 overdracht/ritformulieren/evaluaties ambulanceteams S e) klanten: 10 patiëntenfeedback S 11 afhandeling klachten en complimenten S II LAAT ZIEN (representeren van vakbekwaamheid) 12 assessment/praktijktoetsing/simulaties e.d. N incl. toetsing toepassing protocollen/richtlijnen in de context incl. toetsing risicovolle e.a. handelingen III OVERIG (aannemelijk maken van vakbekwaamheid) 13 omvangseis aanstelling? 14 aantallen patiëntcontacten/handelingsfrequenties? 14 registratie landelijk geaccrediteerde scholingsactiviteiten N 15 registratie regiospecifieke scholingsactiviteiten N IV ADMINISTRATIEVE handelingen (registreren van vakbekwaamheid) 16 inschrijving BIG register n 17 herregistratie BIG n 18 diploma verpleegkundige vervolgopleiding n 19 diploma CZO Amb.verpleegkundige, Verpl.Centralist MKA of gelijkwaardig n 20 eerdere bekwaamheidsverklaringen uit de RAV zelf n 21 eerdere bekwaamheidsbeoordelingen uit andere RAV's n 22 eigen verklaring beroepsbeoefenaar inzake bekwaamheid n 23 inschrijving Kwaliteitsregister Verpleegkundigen en Verzorgenden V&VN n 24 inschrijving & actualisering Deskundigheidsgebied Ambulancezorg V&VN n 25 herregistratie in het Kwaliteitsregister Verpleging en Verzorging V&VN n N = noodzakelijk onderdeel van bekwaamheidsbeoordeling S = signalering, moet in het bekwaamheidsbeleid zijn opgenomen n = noodzakelijk administratief onderdeel van bekwaamheidsbeleid, speelt een rol in beoordeling ervan ad 13 en 14: er is voor dergelijke kwantitatieve eisen nog geen objectieve basis In deze notitie is II. Laat Zien aan de orde: de assessments (onderdeel 12). Daarbij gaat het om de voorbereiding van visitaties als middel om dergelijke assessments op een kwalitatief hoger niveau te brengen. 2
Belangrijk onderdeel van het door de NVMMA voorgestane bekwaamheidsbeleid (zoals neergelegd in Fundament voor Bekwaamheidsbeleid Ambulanceverpleegkundige) is een vorm van assessment. Gebleken is dat de wijze waarop een dergelijk instrument (of verzameling van instrumenten) in de diverse RAV s wordt ingevuld, varieert. Voor de ene regio betekent een assessment de toetsing van voorbehouden en risicovolle handelingen, als onderdeel van bekwaamheidsbeoordeling. In een andere regio worden situaties uit de werkelijkheid zo goed mogelijk nagebootst en krijgt de verpleegkundige feedback van vakgenoten op diens handelen in betreffende situatie. In weer een andere regio is assessment een groep van instrumenten die tezamen verschillende aspecten van de vakbekwaamheid van de professional meten en beoordelen. Een door de NVMMA ingestelde werkgroep kreeg als opdracht het begrip nader te verkennen en een route uit te zetten waarmee meer inzicht gaat ontstaan over de keuzes die gemaakt kunnen of moeten worden als assessment onderdeel is van bekwaamheidsbeleid en -beoordeling. Die route verloopt via een vorm van visitatie, waarbij de eerste fase beschrijvend van aard zal zijn om de verschillen en overeenkomsten beter in kaart te brengen en om de vergelijking te maken met opvattingen over het instrument die de werkgroep heeft ontwikkeld. De eerste stap in de werkzaamheden van de werkgroep was het verzamelen van beschrijvingen van assessments op regionaal niveau. Er werd daarnaast gesproken met de Academie voor Ambulancezorg die een landelijk assessment uitvoert in de ambulancezorg. Belangrijkste conclusie was -het werd al gememoreerd- dat de wijze waarop assessments worden ingevuld, uiteenloopt. Daarna heeft de werkgroep de meer theoretische kanten van het begrip verkend. Dit leidde in combinatie met de wijze waarop het begrip in Fundament voor Bekwaamheidsbeleid Ambulanceverpleegkundige wordt bedoeld- tot een beschrijving van een aantal algemene uitgangspunten waaraan assessments moeten voldoen. En tot slot is een eerste fasering van de visitaties uitgewerkt. 3
02. Eerste afbakening In het Fundament wordt met assessment een instrument bedoeld waarin aspecten van bekwaamheid worden beoordeeld in handelingssituaties die, zoveel als mogelijk is, overeenkomen met de dagelijkse functieuitoefening van de ambulanceverpleegkundige. Het beoordelen van die vakbekwaamheid is niet altijd goed mogelijk in die dagelijkse praktijk (het hoogste niveau in de Piramide van Miller: Doet ) en daarom wordt naar een niveau lager gekeken ( Laat zien ). De werkelijkheid wordt dus nagespeeld; de geschapen situatie benadert de realiteit. Op grond daarvan mag men veronderstellen dat een oordeel over aspecten van vakbekwaamheid in de geconstrueerde setting voldoende voorspellende waarde heeft voor de wijze waarop de beroepsbeoefenaar vergelijkbare situaties in de uitoefening van diens functie op straat benadert. De nagebootste werkelijkheid gaat over meer dan het op een juiste wijze uitvoeren van voorbehouden en risicovolle handelingen. In principe dient het assessment het gehele beroepsprofiel van de ambulanceverpleegkundige, ingedeeld in CanMeds-rollen, te beslaan, voor zover die rollen en competenties daarbinnen zich manifesteren in de dagelijkse uitvoering van de werkzaamheden. 4
03. Algemene kaders De algemene kaders waaraan assessments moeten voldoen worden hieronder geschetst; zij vormen de neerslag van de presentatie die werkgroeplid Van der Zee ten behoeve van de werkgroep heeft gehouden. Assessment is één van de elementen in bekwaamheidsbeleid en beoordeling in de ambulancezorg. Het is een instrument (of een groep van instrumenten) dat wordt ingezet voor het toetsen en beoordelen van de (prestaties) van de professional in diens dagelijkse arbeid. In het assessment wordt deze dagelijkse arbeid zo waarheidsgetrouw mogelijk nagebootst. In toetsvormen -waaronder assessments- is onderscheid te maken tussen formatief en summatief. Een summatieve toetsing helpt om beslissingen te nemen over zakken of slagen ; in het kader van het bekwaamheidsbeleid derhalve een oordeel over de bekwaamheid van een beroepsbeoefenaar al dan niet. Formatieve toetsing wordt gebruikt als leer- of instructiemiddel. Door de afname van de formatieve toets ontstaat zicht op de mate van beheersing van onderdelen van de beroepsuitoefening. Hierop kan nadere instructie of aangepaste scholing worden afgestemd. Voor de werkgroep is assessment één van de instrumenten waarmee informatie wordt verzameld over de bekwaamheid van de beroepsbeoefenaar, maar zeker niet het enige instrument. Dit uitgangspunt sluit aan bij Fundament voor Bekwaamheidsbeleid. Doel van een formatief assessment is vooral feedback te geven aan de beroepsbeoefenaar over onderdelen die nadere aandacht vragen en daarvoor ook middelen ter beschikking te stellen. Criteria voor kwaliteit De kwaliteit van het instrument assessment -en daarmee de toegevoegde waarde ten opzichte van andere elementen van bekwaamheidsbeleid en beoordeling- is afhankelijk van een aantal criteria, namelijk: - Accuraatheid, uitgesplitst in: - Betrouwbaarheid - Validiteit - Generaliseerbaarheid en extrapoleerbaarheid - Gebruik toetsresultaat - Randvoorwaarden Betrouwbaarheid Betrouwbaarheid gaat over de mate waarin de scores op een assessment consistent, nauwkeurig en reproduceerbaar zijn, ofwel geeft het instrument onder dezelfde condities telkens dezelfde uitkomsten. Is dat het geval dan is het meetresultaat vrij van meetfouten. Om dergelijke meetfouten te voorkomen is aandacht voor bijvoorbeeld het onderstaande van belang: - de beoordelingsschaal; - de deskundigheid van de beoordelaars en inzet van meerdere beoordelaars; - het beoordelingsvoorschrift; - interbeoordelaarskwaliteit: geeft een zelfde situatie bij verschillende beoordelaars dezelfde uitkomst; - test-hertest betrouwbaarheid: geeft een zelfde situatie steeds dezelfde uitkomst. Validiteit De validiteit verwijst naar de juistheid of accuraatheid van metingen: meet het assessment eigenlijk wat het moet meten. Zelfs als de meting betrouwbaar is (je meet steeds hetzelfde), dan hoeft dit nog niet valide te zijn. Je kunt met een slechte meetlat steeds de dezelfde lengte meten, maar dit kan wel steeds een foutieve lengte zijn. 5
De validiteit van de meting(en) is onder te verdelen in - inhoudsvaliditeit (test het alles waar je een oordeel over velt), - criteriumvaliditeit (heeft de test een voorspellende waarde) en - begripsvaliditeit (beantwoordt de test aan zijn doel). In het bekwaamheidsbeleid en beoordeling, zoals voorgestaan door de NVMMA, vormt een assessment één van de elementen. Deze toetsingsvorm kan niet representatief zijn voor het algehele presteren van de beroepsbeoefenaar, maar slechts voor een deel ervan. Andere aspecten van de vakbekwaamheid worden met andere instrumenten beoordeeld. Wil men via het assessment de bekwaamheid in al zijn volledigheid bepalen, dan moeten in dat instrument alle aspecten van het beroepsdomein aantoonbaar worden gemeten (inhouds-, criterium- en begripsvaliditeit). Generaliseerbaarheid en extrapoleerbaarheid Generaliseerbaarheid en extrapoleerbaarheid gaan over de vraag of datgene wat de professional in het assessment laat zien, ook op zal gaan in andere omstandigheden. Generaliseerbaarheid: kan er alleen iets worden gezegd over het uitvoeren over de aangeboden taken in het assessment of kan men die uitvoering ook veralgemeniseren naar andere situaties en andere taken die de beroepsbeoefenaar moet uitvoeren? Extrapoleerbaarheid: zeggen de resultaten tijdens het assessments alleen iets over het prestatieniveau binnen de specifieke situatie van het assessment of mag men aannemen dat een vergelijkbaar niveau ook elders zal worden gehaald? Gebruik toetsresultaat Bepalend voor de kwaliteit van het assessment is onder meer hoe het toetsresultaat wordt gebruikt, hoe de resultaten worden verwerkt en wat wordt er vervolgens met die resultaten wordt gedaan. Overige vragen die vooraf afdoende moeten worden beantwoord zijn ook nog de volgende: - welk doel heeft men zich met het assessment gesteld; - welke norm voor succesrijk afronden van het assessment wordt gehanteerd; - wat zijn de consequenties als een kandidaat die norm niet behaald; - wordt daar daadwerkelijk naar gehandeld? Randvoorwaarden Belangrijke randvoorwaarden voor assessments zijn onder meer de scholing en instructie van de assessoren, de aanwezigheid van handleidingen voor de assessor, de transparantie hoe en aan de hand waarvan er beoordeeld wordt, de structurering van het beoordelingsproces, de informatie vooraf aan de deelnemers, tijdstip en de wijze waarop de resultaten met deelnemers worden besproken. Kwalitatief Wanneer aan bovenstaande criteria wordt voldaan is het assessment het belangrijkste kwalitatieve instrument binnen de elementen van bekwaamheidsbeleid en- beoordeling. Men kan echter niet blind varen op enkel en alleen de resultaten van het assessment. Het blijft hoe dan ook een momentopname en het valt nooit volledig samen met de dagelijkse beroepsuitoefening. De uitkomsten van een assessment moeten voor de bekwaamheidsbeoordeling altijd in combinatie worden gezien met de andere elementen om bekwaamheid te beoordelen die in het Fundament worden onderscheiden. 6
04. Fasering visitatie Vóórdat een definitieve vorm van visitatie kan worden uitgerold waarin RAV s feedback krijgen over vorm, inhoud en organisatie van de assessments, wordt een ontwikkeltraject in gang gezet. Doel daarvan is uiteindelijk te komen tot een definitieve invulling van de wijze waarop en de criteria waarmee de visitaties kunnen worden uitgevoerd. De werkgroep constateert dat er niet één juist vorm voor een assessment is. De visitatie is er evenmin bij voorbaat op gericht om tot een gouden standaard te komen. De visitatiecommissie zal dus niet optreden als jury, scherprechter of een waardeoordeel uitspreken. Zij zal feedback geven aan de hand van de kwaliteitscriteria die hiervoor werden geformuleerd, bezien of noodzakelijke keuzes worden gemaakt (niet wélke keuze, maar óf er is gekozen en welke overwegingen daaraan ten grondslag liggen). Het visiteren van regionale assessments zóu uiteindelijk kunnen leiden tot consensus over de invulling van assessments en de plaats daarvan in het bekwaamheidsbeleid. Een dergelijke overeenstemming kán ontstaan uit de feedback die de commissie gaat geven, de maatregelen die de RAV op basis daarvan neemt en de dialoog over de overall uitkomsten van de visitatie. Dit is echter geen vooropgezette doelstelling. De werkgroep stelt de volgende fasering voor: (1) beschrijvende fase: een beperkt aantal RAV s (een vijftal) wordt gevisiteerd en beschreven; (2) vergelijkende fase: dit beperkte aantal wordt onderling vergeleken op een aantal belangrijke aspecten en aan de hand van de hiervoor geformuleerde kwaliteitscriteria voor assessments; (3) de ervaringen met deze beperkte visitatie worden verwerkt in een verbeterd ontwerp voor de visitaties van assessments; (4) met dat aangepaste ontwerp worden een ruim aantal RAV s (een tiental) gevisiteerd, beschreven en beoordeeld op de kwaliteitscriteria voor assessments; (5) vervolgens wordt in het visitatieinstrument de puntjes op de i gezet; (6) met dat vernieuwde instrument wordt het restant van de RAV s (10 organisaties) gevisiteerd, beschreven en vergeleken; (7) het visitatieinstrument en de uitkomsten van de drie voorgaande visitatierondes worden door een externe organisatie beoordeeld op volledigheid, relevantie, toepasbaarheid en dergelijke; (8) het visitatieontwerp wordt definitief gemaakt, waarna de RAV s daarmee kunnen worden gevisiteerd. 7
05. Visitatie in vragen In de visitatiegesprekken zijn, zeker in de eerste fase, een tweetal groepen van vragen te onderscheiden: - beoordelende vragen: gaan over de eisen waaraan een assessment moet voldoen wil het een kwalitatief goed instrument zijn; deze werden hiervoor geformuleerd; - beschrijvende vragen: vragen die handelen over belangrijke aspecten die in het regionale assessment zijn te onderscheiden, de keuzes die de RAV daarbij heeft gemaakt en de overwegingen die daaraan ten grondslag lagen. Beschrijvende vragen staan hierna verwoord, ingedeeld naar een aantal hoofdaspecten. De vragenlijst is niet uitputtend. Beschrijvende vragen Doelen assessment * is het assessment bedoeld om te toetsen/beoordelen (summatief) of vooral om feedback te geven aan de beroepsbeoefenaar en/of om van te leren (formatief)? * is het (a) toetsing, met één of meer instrumenten, van wat iemand heeft geleerd of (b) toetsen van functioneren/van beroepsuitoefening in situaties die de werkelijkheid benaderen? Wat wordt getoetst * gaat het bij de toetsing in het assessment om: - enkele of alle aspecten van de beroepsuitoefening zoals dat tot uitdrukking komt in een functieprofiel dat al dan niet is gebaseerd op een indeling in CanMeds rollen en competenties, c.q. of een beschrijving van het expertisegebied; - voorbehouden en risicovolle handelingen; instrumenteel technische vaardigheden; medische handelingen; toepassing van protocollen; kennis en kunde van protocollen? * op welk functie- of beroepsprofiel of beschrijving expertisegebied is de toetsing gebaseerd? * toetst men alleen de één op één situaties met de patiënt of ook het handelen t.a.v. omstanders, familieleden, andere hulpverleners, teamlid? * bestaat het assessment uitsluitend uit een toetsing van de beroepsuitoefening in een nagebootste werkelijkheid of vinden in het kader van assessment ook andere toetsingsvormen plaats? * wordt er wel of niet apart theorie getoetst als onderdeel van het assessment? * op welke aspecten wordt het handelen van de beroepsbeoefenaar in het assessment beoordeeld? * welke praktijkgevallen ( soorten patiënten, soorten ziektebeelden) worden in het assessment nagespeeld? * vind beoordeling plaats op grond van één praktijkgeval of meerdere praktijksituaties? * hoeveel verschillende praktijkgevallen kunnen aan een kandidaat worden voorgelegd, ofwel hoe groot is het repertoire waaruit de organisatoren van het assessment kunnen kiezen? * is de keus welk praktijkgeval aan een kandidaat wordt voorgelegd willekeurig? * weet de kandidaat vooraf welk soort praktijkgevallen aan hem/haar kunnen worden voorgelegd? * hoe onderzoekt men/gaat men na of het resultaat van een assessment voorspellende waarde heeft voor gedrag/de beroepsuitoefening in het echt? Wie worden getoetst *wie worden in het assessment getoetst: individuele beroepsbeoefenaren - ambulanceverpleegkundigen - ambulancechauffeurs - centralisten meldkamer - zorgambulancemedewerkers? * wordt in de nagebootste werkelijkheid van het assessment in ambulanceteams van ambulanceverpleegkundige en chauffeur gewerkt? 8
Beoordelaars * wie zijn de beoordelaars in het assessment: -beroepsgenoten uit andere RAV s -collega s uit de eigen RAV -als assessor opgeleide beroepsgenoten van elders -als assessor opgeleide collega s -verpleegkundig specialisten? * welke maatregelen heeft de RAV genomen om te verzekeren dat een oordeel niet gerelateerd is aan de persoon van de beoordelaar (eenzelfde beoordeling onafhankelijk van de vraag wie de beoordeling uitvoert)? * worden beoordelaars/assessoren specifiek voor hun taken getraind en zo ja waar, hoe, waarin * met welk(e) beoordelingsinstrument(en) werken de beoordelaars? Plaats assessment in bekwaamheidsbeleid * wat is de plaats van het assessment in het bekwaamheidsbeleid van de MMA? * wordt in het assessment alleen getoetst op die aspecten van bekwaamheid die voor de MMA relevant zijn, met het oog op een bekwaamheidsverklaring? * wordt het assessment ten behoeve van het bekwaamheidsbeleid van de MMA aangevuld met andere elementen uit Fundament voor Bekwaamheidsbeleid? * wat is de plaats van het assessment in het oordeel van de beroepsbeoefenaar zelf over diens eigen vakbekwaamheid? * hoe past het assessment in de borging van de vakbekwaamheid van de beroepsgroep zelf? * welke consequenties hebben de uitkomsten van het assessment? * maakt het landelijk assessment deel uit van het bekwaamheidsbeleid van de RAV? * hoe verhoudt het regionaal assessment zich eventueel tot het landelijk assessment, waarin verschillen zij of komen zij overeen? Organisatie * wie zijn betrokken, op welke wijze en in welke rol in het organiseren van de assessments? -ROC -opleidingsfunctionarissen -werkbegeleiders -verpleegkundig specialisten -MMA -P&O -lijnmanagement -externe deskundigen -collega-beroepsbeoefenaren uit de eigen RAV -collega-beroepsbeoefenaren van elders? * wie ontwikkelen de praktijkgevallen die in de assessments aan de orde komen? * hoe vaak wordt het assessment afgenomen? * kan de kandidaat zich op het assessment voorbereiden? * is de betekenis/status van het assessment vooraf helder gecommuniceerd naar de kandidaten? 06. Samenstelling visitatiegroep De visitatiegroep moet worden samengesteld uit: * een of twee medisch managers ambulancezorg, aangezocht door de NVMMA; * een of meer beroepsbeoefenaren, aan te stellen door de V&VN vakgroep ambulancezorg; * een deskundige op het terrein van assessments casu quo een onderwijskundig geschoolde; * een extern ondersteuner van de visitatiegroep, ten behoeve van voorbereiding, organisatie en rapportage van de visitatie van assessments. 9