Onderwerp Contactperso on Inleiding Uitvoering Electronisch afnemen en verwerken van vragenlijsten voor evaluatie van opleidingsklimaat en opleiders (2010) Prof. Dr. Paul Brand, kinderarts en hoofd medisch opleidingsbeleid Isala Academi, Isala Klinieken, Zwolle Achtergrond Monitoring van de kwaliteit van de opleidingen is een van de kernpunten van het moderne opleiden. Naast een systeem van (proef)visitaties wordt waarde gehecht aan de evaluatie door de aios van het opleidingsklimaat op de afdeling, en van de didactische kwaliteiten van elke individuele opleider of supervisor. Hiervoor zijn de afgelopen jaren gevalideerde vragenlijsten ontwikkeld. Omdat de gemiddelde aios tegenwoordig vaardig is met pc en internet ligt het voor de hand deze vragenlijsten digitaal aan te bieden en te verwerken. Aanvraag Kern van deze aanvraag was de ontwikkeling van een digitale versie van de D-RECT (vragenlijst voor het meten van (de veiligheid van) het opleidingsklimaat) en de CTEI (vragenlijst voor de didactische kwaliteiten van elke individuele opleider en supervisor) door middel van een web-based enquête-applicatie, en deze vragenlijst afnemen onder alle arts-assistenten van een groot algemeen opleidingsziekenhuis in de regio (Isala Klinieken). Voor de online enquête-applicatie werd gebruik gemaakt van een systeem dat eerder was gebruikt voor de patiënt tevredenheid enquête in de Isala Klinieken (Parantion Web Survey, PWS). Binnen PWS werd de D-RECT en de CTEI geprogrammeerd door een medewerker van de Isala Academie, zie figuur 1. Besloten werd om de vragenlijsten stapsgewijs uit te voeren, eerst de D- RECT (omdat dit het invullen van slechts één vragenlijst per aios betreft), en na analyse van die gegevens de CTEI. Tussen april en december 2009 werd de d-rect aan in totaal 171 arts-
assistenten gemaild. De vragenlijst kon direct worden geopend en ingevuld door een link aan te klikken in een email die elke arts-assistent kreeg toegestuurd. Bij de eerste mailing werden de volgende maatregelen genomen om de respons te optimaliseren: - Binnen alle grote opleidingsgroepen (> 10 arts-assistenten) werd een contactpersoon onder de assistenten benaderd om de bekendheid over de D-RECT en de respons onder de collega-assistenten te bevorderen. - Bij de eerste mailing werd aangegeven dat de groep assistenten die als eerste een 100% respons zou bewerkstelligen beloond zou worden met een bioscoopbon voor de gehele assistentengroep. - Op de vergadering van de Centrale Opleidingscommissie werd het belang van invullen van de D-RECT herhaaldelijk onder de aandacht gebracht. - Tijdens bijeenkomsten voor discipline-overstijgend onderwijs voor assistenten werd herhaaldelijk aandacht gevraagd voor het invullen van de D- RECT. Resultaat D-RECT: Dde respons op de eerste mailing was laag, slechts 30 assistenten vulden de vragenlijst in (17,5%). Iin totaal werden drie herinneringen uitgestuurd aan non-respondenten, en werden de contactpersonen binnen de grote opleidingsgroepen verschillende malen herinnerd aan het belang van het invullen van de D-RECT. Uiteindelijk werd de vragenlijst ingevuld door in totaal 101 arts-assistenten (59,1%), waarvan 55 vrouwen (54%) en 31 anios (31%). Verdeling over de verschillende opleidingsjaren was redelijk gelijk: 12 uit het eerste jaar, 11 uit het tweede, 21 uit derde, 10 uit vierde, 8 uit vijfde en 5 uit zesde opleidingsjaar. De respondenten kwamen uit 20/24 erkende opleidingen in ons ziekenhuis; er waren geen respondenten
uit de vakgroepen dermatologie, pathologie, psychiatrie en klinische fysica. De respons uit de overige opleidingsgroepen variëerde van 5,8% (1/17 assistenten op de IC) tot 100% voor orthopedie (10/10), kindergeneeskunde (8/8), plastische chirurgie (5/5), anesthesiologie (4/4), sportgeneeskunde (3/3), KNO, oogheelkunde en revalidatie (1/1). Er was geen correlatie aantoonbaar tussen de hoogte van de scores op de D-RECT en de respons per afdeling (alle p-waarden > 0,06). Respondenten prezen de gebruiksvriendelijkheid van het enquetesysteem. Gemiddelde scores op de verschillende items en domeinen staan vermeld in tabel 1; een vergelijking van totaalscores per afdeling in tabel 2. Een aselecte steekproef van de nonrespondenten werd gevraagd naar redenen waarom ze de d-rect niet hadden ingevuld; tijdgebrek, vergeten, en onvoldoende belangstelling waren de voornaamste genoemde redenen om de lijst niet in te vullen CTEI: vanwege de lage respons op de D-RECT en de grote moeite die het kostte om de respons te verhogen met meerdere herinneringen, werd de uitvoering van de CTEI uitgesteld. Wel werden de technische voorbereidingen getroffen om ook de CTEI te kunnen uitvoeren. Dit vergde aanpassingen in het PWS-systeem, omdat de arts-assistent voor de CTEI verschillende formulieren moest kunnen invullen over verschillende supervisoren. Daartoe werden de namen van alle medisch specialisten die in de Isala Klinieken werken en die supervisie geven of opleiding verzorgen in het systeem ingevoerd; de arts-assistent die de CTEI ging invullen kon dan op een openingsscherm kiezen over welke supervisor(en)/opleider(s) hij/zij een CTEI wilde invullen. Een pilot met de CTEI op twee afdelingen verliep naar wens, en het systeem toonde geen haperingen. Correct en compleet ingevulde
vragenlijsten over verschillende supervisoren, ingevuld door verschillende aios, werden in het systeem ontvangen. Planning werd gemaakt om in 2010 te beginnen met een herhaling van de D-RECT en het uitzetten van de CTEI Deze planning werd echter ingehaald door regionale initiatieven om de D- RECT en de SET-Q (als alternatief voor de CTEI) in het kader van het regionale kwaliteitsplan voor alle ziekenhuizen en opleidingen in de regio centraal beschikbaar te maken via de website van het Wenckebach Instituut. Evaluatie Conclusies en geleerde lessen: 1. Het is goed mogelijk om via een web-based enquête-applicatie vragenlijsten als de D-RECT en de CTEI of SET-Q af te nemen en door aios in te laten vullen. 2. PWS is een gebruiksvriendelijk systeem voor het afnemen en invullen van digitale enquetes 3. Zelfs bij uitvoerige bekendmaking vooraf, en met het inzetten van verschillende incentives om de respons te optimaliseren, is de respons laag: na 3 herinneringen haalden wij een respons van slechts 59% op de D-RECT. 4. Dit geeft aan dat de animo onder aios om vragenlijsten over het opleidingsklimaat in te vullen laag is in een algemeen opleidingsziekenhuis. 5. Hierdoor wordt de validiteit van de verkregen gegevens beperkt. 6. In het algemeen is de tevredenheid van de aios en anios over het opleidingsklimaat in de Isala klinieken zeer hoog, met aanzienlijke verschillen tussen de afdelingen. 7. Brede jaarlijkse implementatie van dergelijke kwaliteitsmonitoringinstrumenten is alleen mogelijk en zinvol als maatregelen worden getroffen om respons te optimaliseren. Een
verantwoordelijke persoon op iedere afdeling van elk ziekenhuis, die de assistenten stimuleert om de enquêtes in te vullen is wenselijk, evenals een centrale gelegenheid om de enquêtes in te vullen (bijvoorbeeld tijdens het discipline-overstijgend onderwijs).