Een EFFECTIEF NAVORMINGSPROGRAMMA VOOR HUISARTSEN? Evaluatie-rapport proefproject navormingsprogramma Diabetes Mellitus (2013)
2
VOORWOORD Vanuit een bekommernis voor kwaliteitsvolle navorming en vanuit de vaststelling dat er ruimte is voor verbetering in het huidige navormingsaanbod voor huisartsen, zette het Lokaal Multidisciplinair Netwerk (LMN) Samen in Zorg, samen met de Werkgroep Navorming van de Huisartsenvereniging Gent (HVG), een vernieuwend proefproject op in de Gentse regio. Een navorming Diabetes Mellitus werd aangeboden aan de lokale navormingsgroepen, in de periode van januari 2013 tot en met juni 2013. Deze nieuwe navorming werd opgebouwd rond theoretische modellen. Gebaseerd op het CRISIS model werden enkele principes gevolgd voor het bewerkstelligen van de effectiviteit van de navorming. Gebaseerd op het model van Moore werden principes voor het meten van de effectiviteit van de navorming toegepast. In dit rapport schetsen we dit proefproject en zijn resultaten. De evaluatie van dit project gebeurt om bijsturing in de toekomst mogelijk te maken. In de inleiding van dit evaluatie-rapport schetsen we de aanleiding tot het project. Het eerste deel van het rapport omvat de projectbeschrijving. In het tweede deel zoomen we in op de resultaten van het onderzoek. In deel drie sluiten we het rapport af met enkele aanbevelingen voor de toekomst. Wij zijn dank verschuldigd aan de navormingsgroepen uit de regio en hun leden voor de actieve deelname aan dit proefproject. Ook danken wij de sprekers van het navormingsprogramma 1 voor het inbrengen van hun inhoudelijke expertise en praktijkervaring in dit project. Een initiatief van: Lokaal Multidisciplinair Netwerk Samen in Zorg (Gent-Merelbeke) L. Alleman, E. Beddeleem, dr. C. Besard, dr. G. De Munck, dr. M. Demeyer, dr. B. Mariën, F. Simillion, dr. P. Verdonck Werkgroep Navorming Huisartsenvereniging Gent E. Beddeleem, dr. G. Planckaert, dr. L. Present, dr. J. Reniers, dr. D. Schrans, F. Simillion, dr. S. Simoens, S. Slos, dr. J.P. Sturtewagen, dr. M. Vandriessche, dr. L. Vermeulen Projectuitvoerder- en financierder: LMN Samen in Zorg Redactie evaluatie-rapport: E. Beddeleem November 2013 1 Huisartsen: L. Feyen, G. Goderis, E. Samyn, P. Sunaert. Endocrinologen: F. Huysman, B. Lapauw, F. Nobels, R. Rottiers, P. Taelman, P. Van Crombrugge. 3
INHOUDSTAFEL VOORWOORD...3 INHOUDSTAFEL...4 SAMENVATTING...5 INLEIDING...12 1. PROJECTBESCHRIJVING...12 1.1 DOELSTELLING...12 1.2 HET VERNIEUWENDE NAVORMINGSAANBOD...12 1.3 REGIO-AFBAKENING...16 2. RESULTATEN...17 2.1 EFFECTIVITEIT BEWERKSTELLIGEN...17 2.1.1 Gemak...17 2.1.2 Relevantie...17 2.1.3 Interesse...18 2.2 EFFECTIVITEIT METEN...19 2.2.1 Participatie...19 2.2.1.1 Deelname van de navormingsgroepen...19 2.2.1.2 Deelname van individuele huisartsen...19 2.2.1.3 Redenen voor niet-deelname...21 2.2.2 Tevredenheid...21 2.2.2.1 Vorm en methode...21 2.2.2.2 Vervolg...22 2.2.2.3 De endocrinoloog als spreker...22 2.2.2.4 De huisarts als spreker...23 2.2.3 Leereffect...23 3. AANBEVELINGEN VOOR DE TOEKOMST...29 3.1 WERKEN AAN EFFECTIVITEIT...29 3.2 METEN VAN EFFECTIVITEIT...31 3.3 ALGEMENE BESCHOUWINGEN...32 BIJLAGEN...34 Bijlage 1: Het LMN en de werkgroep navorming (HVG)...34 Bijlage 2: Dataverzameling en analyse...35 Bijlage 3: Bevraging bij artsen die niet deelnamen aan het navormingsprogramma...37 Bijlage 4: Motivatie antwoorden bij de casuïstiek...38 4
SAMENVATTING Vanuit een bekommernis voor kwaliteitsvolle navorming en vanuit de vaststelling dat er ruimte is voor verbetering in het huidige navormingsaanbod voor huisartsen, zette het Lokaal Multidisciplinair Netwerk (LMN) Samen in Zorg, samen met de Werkgroep Navorming van de Huisartsenvereniging Gent (HVG), een vernieuwend proefproject op in de Gentse regio. In een uitgebreider evaluatie-rapport schetsen we dit proefproject en zijn resultaten. Het hier voorliggend document wil de belangrijkste resultaten met u delen. Het was de doelstelling van dit proefproject om een nieuwe manier van navorming te initiëren en te evalueren, waarbij rekening wordt gehouden met principes voor het bewerkstelligen van de effectiviteit van de navorming (CRISIS model) en principes voor het meten van de effectiviteit van de navorming (model van Moore). In 2013 werd een navorming Diabetes Mellitus aangeboden aan de lokale navormingsgroepen. Deze navorming was vernieuwend in die zin dat: - zij op een systematische wijze aangeboden werd aan de verschillende navormingsgroepen uit de regio; - de inhoud gebaseerd was op een protocolfiche diabetes 2, gebaseerd op bestaande evidence en lokaal geïmplementeerd door de stuurgroep van het Lokaal Multidisciplinair Netwerk i.s.m. de Gentse endocrinologen; - zij gegeven werd door een duo huisarts-specialist; - zij gebaseerd was op patiëntencasussen met multiple choice vragen (opgesteld door artsen en beoordeeld door wetenschappelijk medewerkers); - op drie verschillende tijdstippen een kennistest afgenomen werd bij de groepen (2 weken voor, vlak na, en een 3 tot 4-tal maanden na de navorming); - de inhoud van de navorming afgestemd werd op de resultaten uit de voortoets. De navorming werd opgebouwd rond enkele effectiviteitscriteria: Gemak: In dit project hebben we getracht in te spelen op het element gemak. Het merendeel van de artsen, aanwezig op de navorming, beoordeelden het tijdstip en de plaats als geschikt. De samenwerking met de lokale navormingsgroepen was in ieder geval positief voor de toegankelijkheid van de navormingen. Toch bleek uit de redenen voor niet-deelname blijkt dat het tijdstip toch voor een grote groep niet geschikt was. Enerzijds is het aan te raden blijvend op zoek te gaan naar een zo gepast mogelijk tijdstip en goed bereikbare locatie, anderzijds is het aan te raden een extra navormingssessie te organiseren. 2 Deze protocolfiche werd per post verstuurd naar alle huisartsen uit de regio en is te vinden op www.lmnsameninzorg.be 5
Helemaal niet akkoord Niet akkoord Neutraal Akkoord Helemaal akkoord Helemaal niet akkoord Niet akkoord Neutraal Akkoord Helemaal akkoord N= 158 "Het tijdstip en de plaats van de navorming waren voor mij geschikt" 2% 2% 7% 36% 53% Relevantie: Het onderwerp werd door de meerderheid van de aanwezige artsen als relevant voor de huisartsenpraktijk werd beschouwd. De opportuniteit voor extra kennisvergaring bleek uit de objectieve cijfers van de voortoetsen. Toch blijkt de relevantie van het thema verband te houden met persoonlijke eigenschappen van de arts (recente navormingen, eigen kennis, eigen populatie, enz.). N= 158 "Het onderwerp was relevant voor de huisartsenpraktijk" 0,30% 0% 3% 23% 74% Zelfbeoordeling: Bij de uitwerking van het navormingsprogramma hebben we sterk ingezet op het element zelfbeoordeling. Het opnemen van een zelfbeoordelings-onderdeel (casuïstiek met multiple choice vragen), met de noodzakelijke feedback, bleek een verrijking voor de deelnemers en leek de interesse in de thematiek op te wekken. Interessant: We hebben een interessant onderwerp trachten te kiezen, waar we volgens een duidelijke meerderheid van de aanwezige artsen ook in geslaagd zijn. Dat artsen met aanzien binnen hun kring hun achterban warm maken voor de navorming blijkt een succesfactor te zijn. Voor wat betreft het aantrekkelijk maken van de uitnodiging zijn we van oordeel dat er nog potentieel ter verbetering is. Ook met behulp van interactiviteit hebben we getracht de navorming interessant te maken. Dit leek gewaardeerd te worden door de betrokken partijen, al blijkt het niet altijd eenvoudig artsen mee te krijgen in die interactie. 6
Helemaal niet akkoord Niet akkoord Neutraal Akkoord Helemaal akkoord N= 158 "Het onderwerp was interessant voor mij als huisarts" 0% 0% 3% 23% 74% Speculatie: Het navormingsprogramma liet ruimte voor speculatie. Soms bestaan er nog geen eenduidige antwoorden in het opsporen en de behandeling van diabetes en recente evoluties kunnen bijdragen tot een beter inzicht. Ook de samenwerking en taakafspraken tussen de 1 ste en de 2 de lijn vormen een soms beladen maar relevant thema voor beide partijen. Het is aan te raden beladen onderwerpen niet schuwen en partijen samen te brengen om tot duidelijke taakafspraken te komen. Systematiek: Dit project was een poging om een navormingsprogramma systematisch te implementeren en te evalueren. Door de centrale organisatie en het centraal beheer van data, kregen alle groepen een gelijkaardige navorming aangeboden en konden relevante data verzameld en geanalyseerd worden. Daarentegen zou een echt systematisch navormingsaanbod (met een efficiënt systeem van gegevensverwerking) individuele artsen en hun navormingsparcours kunnen opvolgen en ook meer systematiek brengen in de thema s die aan bod komen. Geïndividualiseerd: Omdat het praktisch voor ons onhaalbaar was om geïndividualiseerde programma s op te maken, werd gewerkt met groepen van artsen (de lokale navormingsgroepen). Met behulp van de voortoets werden de hiaten in de (parate) kennis van de artsen van de groep in kaart gebracht. Deze resultaten werden doorgespeeld aan de sprekers van de betreffende navorming, waarbij gevraagd werd om tijdens de navorming hier zo veel als mogelijk op in te spelen. Het was dus onze intentie een navorming op maat van de groep te ontwikkelen. Dit is in zekere zin gebeurd, maar we stelden toch vast dat dit nog beter kon. Individuele navormingspaden zijn nog een opportuniteit. Participatie: De effectiviteit van dit navormingsprogramma hebben we onder meer gemeten door de participatie van artsen in kaart te brengen. Voor de meeste navormingsgroepen lag de opkomst voor deze navorming net iets hoger dan de gemiddelde opkomst bij navormingen. 158 huisartsen namen in totaal deel aan het navormingsprogramma Diabetes Mellitus. De doelgroep die we beoogden met dit navormingsproject waren de actieve artsen (excl. HAIO 3 s) in de regio Gent- Merelbeke (357 artsen). Met deze doelgroep in het achterhoofd zien we dat het aantal deelnames 3 HAIO = HuisArts In Opleiding 7
van actieve artsen (excl. HAIO s) lager lag. 147 artsen uit de doelgroep namen deel aan het navormingsprogramma DM. Dit betekent een participatiegraad van 41%. Na afloop van dit navormingsprogramma werd dezelfde navorming nogmaals aangeboden aan alle artsen uit de regio die niet hadden deelgenomen. Voor deze extra navorming schreven nog eens 17 huisartsen zich in. Het blijkt echter dat er een groot aanbod aan navorming voor huisartsen is en we denken dat we door samenwerking met de lokale navormingsgroepen de grootst mogelijke participatie aan dit navormingsprogramma konden bereiken. Toch bleek dat we niet alle artsen langs deze weg konden bereiken. We stellen vast dat de uitnodiging voor deze navorming slechts naar 291 artsen ging. Een groep van 66 artsen konden we dus niet langs deze weg bereiken. Dit betekent een participatiegraad van 51% van de uitgenodigde artsen. Blijkbaar beschikken we dus niet over alle correcte contactgegevens, of volgen artsen navorming via een ander circuit dan de navormingsgroepen. In het vervolg kunnen we streven naar een hogere participatiegraad door (nog meer) in te spelen op de elementen die de effectiviteit van de navorming verhogen (geschikte plaats en tijdstip, interessant thema, enz.), door een extra navormingssessie te organiseren voor artsen die we niet bereikt hebben en door telkens na te gaan waarom artsen niet deelnamen. Navormingskringen Aantal aanwezige huisartsen op navorming DM Gemiddeld aantal aanwezige huisartsen op navormingen Verschil HAGW 22 19 3 Oostakker 10 14-4 Merelbeke 16 14 2 Gent-centrum 31 22 9 Brugse poort 6 15-9 Gentbrugge 13 15-2 Sint-Amandsberg 18 15 3 Circuit 23 20 3 LOK 1726 19 19 0 158 153 Tevredenheid: De effectiviteit van dit navormingsprogramma hebben we ook in kaart gebracht door de tevredenheid van de participanten onder de loep te nemen. We stellen vast dat een meerderheid van de artsen de vorm en methode aantrekkelijk vond, maar niet iedereen. Een dergelijk model van navorming is vernieuwend en vraagt een extra inspanning van de artsen (actief deelnemen aan de navorming, invullen van een tijdens- voor- en natoets). Het heeft misschien nog 8
Slecht Kan beter Neutraal Goed Uitstekend Helemaal niet akkoord Niet akkoord Neutraal Akkoord Helemaal akkoord wat tijd nodig om goed begrepen/gewaardeerd te worden. We zien ook dat de vorm en methode beter beoordeeld werden naarmate het programma vorderde in de tijd. Op basis van leerervaringen uit de eerste groepen, werden vorm en methode bijgesteld waar nodig (tijd strakker gemodereerd, sprekers bijgestuurd, meer interactie aan bod laten komen, enz.). Het is dus aan te raden te leren uit ervaringen tijdens de 1 ste sessies. N= 158 "De vorm en methode waren aantrekkelijk" 0% 8% 13% 42% 37% Het merendeel van de aanwezigen beoordeelde de sprekers als goed of uitstekend. Toch lijken de huisartsen iets kritischer te zijn ten aanzien van hun peers (huisartsen) dan tegenover de specialist, als traditionele spreker op navormingsmomenten. N= 158 "De endocrinoloog als spreker" 0% 2% 4% 34% 60% "De huisarts als spreker" 2% 11% 10% 45% 32% Leereffect: Eenzelfde toets (casuïstiek met multiple choice vragen) werd op 3 tijdstippen afgenomen: twee weken voor, vlak na de navorming en een drie tot viertal maanden na de navorming. Voor wat betreft het leereffect bij deelnemers aan dit programma zien we een duidelijke tendens van gestegen kennis bij deelnemers. De verworven kennis blijft ook duidelijk behouden. Het is echter moeilijk heldere conclusies te trekken, gezien de lage participatiegraad bij de natoets. 9
Kennis (alle deelnemers aan de respectievelijke tests) GEM VERSCHIL Voortoets (N=136) 54,75% Tijdens-toets (N=156) Natoets (N=58) 64,28% 64,93% 9,53% 10,18% 0,65% Algemeen beschouwd kunnen we stellen dat dit proefproject een uitstekend voorbeeld is van hoe een huisartsenkring haar nauwe band met het LMN kan aanwenden om het navormingsaanbod in haar regio te professionaliseren. De huisartsenkring speelt hierbij een faciliterende rol. De samenwerking met de lokale navormingsgroepen werd als een succesfactor benoemd. Niet alleen heeft deze samenwerking het element gemak positief beïnvloedt, het heeft ook voor de broodnodige steun en mobilisering vanwege trekkersfiguren gezorgd. Het initiatief werd gewaardeerd door de meerderheid van de betrokkenen. Het project is op zijn minst innovatief te noemen. Vernieuwing wordt natuurlijk niet van dag op dag gerealiseerd, maar vraagt de nodige mentale alsook praktische veranderingen in de huisartsenkringen. Het project was arbeidsintensief. Met dit project is een belangrijke stap gezet binnen de professionalisering van navormingsactiviteiten voor huisartsen, maar bijkomende ondersteuning is noodzakelijk in termen van systemen van gegevensverwerking en mankracht, wil men dit blijvend ontwikkelen. Het is ook aan te raden dat de lokale navormingskringen zelf continu aandacht hebben voor de effectiviteit van hun navormingsaanbod, maar we denken te mogen stellen dat enige ondersteuning van deze kringen hierbij aangewezen is. Daarenboven is meer wetenschappelijke analyse van deze rijke data noodzakelijk om tot écht betrouwbare conclusies te kunnen komen. Tot slot kunnen we stellen dat we met dit project belangrijke en vernieuwende stappen hebben gezet in het initiëren en evalueren van een nieuwe manier van navorming, maar dat de weg nog lang is. De hierboven beschreven items verdienen continu de aandacht en er is evenwel nog altijd ruimte voor verbetering. We hebben rekening gehouden met enkele principes voor het 10
bewerkstelligen van de effectiviteit van de navorming, maar het kan nog beter, systematischer, meer geïndividualiseerd en gemakkelijker. We hebben rekening gehouden met enkele principes voor het meten van de effectiviteit van de navorming, maar konden nog niet nagaan wat een dergelijke navorming teweeg brengt op het vlak van performantie van zorgverleners, patiëntengezondheid en populatiegezondheid. En laat dat nu net datgene zijn waar het finaal om gaat 11
INLEIDING Navorming of Continuous Medical Education (CME) is één van de strategieën om aan kwaliteitsverbetering te doen. Het kan bijdragen tot een verbeterde zorg die artsen aan hun patiënten bieden 4. Vanuit een bezorgdheid voor kwaliteitsvolle zorg zijn we bekommerd om de kwaliteit van navorming. Toch is er gebleken dat er ruimte voor verbetering is in het lokale navormingsaanbod. Dit blijkt o.a. uit het HAIO 5 - onderzoek van Line Vermeulen 6, naar de barrières en facilitatoren die Gentse huisartsen ondervinden met betrekking tot de deelname aan navorming. Zo stellen we onder meer vast dat het opkomstpercentage op navormingen soms niet is zoals gehoopt, dat navormingen vaak op een traditionele manier georganiseerd worden, dat het leereffect van navormingen al eens betwijfeld wordt en dat lokale navormingsgroepen weinig ondersteund worden in het organiseren van hun navormingsaanbod. CME is niet steeds effectief in zijn beoogde doelen (gedragswijziging, evidence based medicine promoten, enz.). Of de interventies effectief zijn hangt o.a. af van de manier waarop de navorming wordt georganiseerd 7. Vanuit deze vaststellingen sloegen het Lokaal Multidisciplinair Netwerk (LMN) Samen in Zorg en de Werkgroep Navorming binnen de Huisartsenvereniging Gent (HVG) in het najaar van 2012 de handen in elkaar om een vernieuwend proefproject te ontwikkelen rond kwaliteitsvolle navorming voor huisartsen 8. 1. PROJECTBESCHRIJVING In het eerste deel van dit rapport geven we een korte projectbeschrijving. We beschrijven de doelstelling van het project, het vernieuwende navormingsaanbod en de regio-afbakening. De wijze van data-verzameling en analyse is te vinden in bijlage 2. 1.1 Doelstelling Het is de doelstelling van dit proefproject om een nieuwe manier van navorming te initiëren en te evalueren, waarbij rekening wordt gehouden met principes voor het bewerkstelligen van de effectiviteit van de navorming en principes voor het meten van de effectiviteit van de navorming. 1.2 Het vernieuwende navormingsaanbod Een navorming Diabetes Mellitus werd aangeboden aan de lokale navormingsgroepen in de regio, in de periode van januari 2013 tot en met juni 2013. De navorming was vernieuwend in die zin dat: - zij op een systematische wijze aangeboden werd aan de verschillende navormingsgroepen uit de regio; - de inhoud gebaseerd was op een protocolfiche diabetes 9, gebaseerd op bestaande evidence en lokaal geïmplementeerd door de stuurgroep van het Lokaal Multidisciplinair Netwerk i.s.m. de Gentse endocrinologen; 4 Vermeulen, L., Analyse van de barriers en facilitatoren die Gentse huisartsen ondervinden met betrekking tot de deelname aan navorming georganiseerd door de Huisartsenvereniging Gent (verder Vermeulen, L. ) 5 HAIO = HuisArts In Opleiding 6 Vermeulen, L., 7 Vermeulen, L. 8 Meer informatie over de doelstellingen van het LMN en de Werkgroep Navorming is te vinden in bijlage 1. 12
- zij gegeven werd door een duo huisarts-specialist; - zij gebaseerd was op patiëntencasussen met multiple choice vragen (opgesteld door artsen en beoordeeld door wetenschappelijk medewerkers); - op drie verschillende tijdstippen een kennistest afgenomen werd bij de groepen (2 weken voor, vlak na, en een 3 tot 4-tal maanden na de navorming); - de inhoud van de navorming afgestemd werd op de resultaten uit de voortoets. Deze nieuwe navorming werd opgebouwd rond twee theoretische modellen: het CRISIS model en het model van Moore. Deze modellen bieden een aantal criteria die bijdragen tot de effectiviteit van navorming (CME) en die gebruikt worden om de effectiviteit van CME in kaart te brengen 10. We hebben in dit project getracht enkele van deze principes toe te passen. Bij het bespreken van de verschillende criteria wordt weergegeven hoe we al dan niet ingezet hebben op de elementen van deze modellen (concretisering van de modellen). De elementen waar in dit proefproject nog niet of weinig op ingezet werd, komen in de eindbespreking ter sprake. CRISIS model Gebaseerd op het CRISIS model 11 werden enkele principes gevolgd voor het bewerkstelligen van de effectiviteit van de navorming. CRISIS is een acroniem dat staat voor zeven criteria die bijdragen tot de effectiviteit van CME 12 : convenience (gemak), relevance (relevantie), individualization (individualisering), self-assessment (zelfbeoordeling), interest (interesse), speculation (speculatie) en systematic (systematiek). In dit project hebben wij voornamelijk ingezet op de criteria gemak, relevantie, zelfbeoordeling, interesse, speculatie en systematiek. - Gemak: De literatuur stelt dat een navormingsactiviteit gemakkelijk moet zijn op verschillende vlakken (plaats, tijdstip, enz.). Als men de toegankelijkheid voor de arts verhoogt zal die sneller geneigd zijn deel te nemen. Het wordt bijvoorbeeld aangeraden de plaats zo dicht mogelijk bij de praktijk of het huis van de huisarts te kiezen en te opteren voor een locatie die goed bereikbaar is. Om in te spelen op het element gemak werd ervoor geopteerd om samen te werken met de lokale navormingsgroepen. De locatie en het tijdstip werd door hen bepaald. Zij opteren meestal voor een locatie dicht bij de woonplaats of de praktijk van de artsen, prikken hun data zelf (en spelen die tijdig door naar de leden), en plannen hun navormingen doorgaans op een huisartsvriendelijk tijdstip. Daarenboven zijn deze locatie en dit tijdstip gekend door de lokale huisartsen. Na afloop van de navorming werd aan de deelnemende artsen gevraagd te reflecteren over de stelling Het tijdstip en de plaats waren voor mij geschikt. Aan de lokale navormingsgroepen werd, voor het gemak, de nodige organisatorische ondersteuning geboden. - Relevantie: De literatuur leert ons dat onderwerpen die aan bod komen in CME door de huisarts moeten worden gezien als praktisch en relevant voor de eigen praktijk. Er wordt ook aangeraden na te gaan welke de noden zijn van artsen, door een bevraging bij artsen en/of door objectieve data die bijvoorbeeld kunnen verkregen worden uit een toets. Het onderwerp dat binnen dit project gebracht werd (Diabetes Mellitus) is een onderwerp binnen de chronische zorg dat doorgaans relevant is voor menig praktijk (gezien de hoge 9 Deze protocolfiche werd per post verstuurd naar alle huisartsen uit de regio en is te vinden op www.lmn-sameninzorg.be 10 Vermeulen, L., 11 Harden, RM en Laidlaw, JM, Effective continuing education: the CRISIS criteria. Amee medical education Guide, 1992, 26 (5) 12 Vermeulen, L. 13
prevalentiecijfers). De tsunami aan chronische ziekten die over de maatschappij heen raast, maakt dat deze thema s veel belangstelling oproepen. De huisarts is een spilfiguur binnen de zorg voor chronisch zieken. De 1 ste lijn heeft heel wat verantwoordelijkheid inzake deze pathologie (vroegtijdige opsporing, behandeling, doorverwijzing, enz.). Om lacunes in de kennis van huisartsen na te gaan werd een voortoets afgenomen bij de artsen van de navormingsgroep, die mogelijke hiaten in hun parate kennis over het thema in kaart bracht. Op deze manier werd bepaald welke aspecten van de diabeteszorg relevant waren om toe te lichten op de navorming. Na afloop van de navorming werd aan de deelnemende artsen gevraagd te reflecteren over de stelling Het onderwerp was relevant voor mijn praktijk. - Zelfbeoordeling: Het wordt aangeraden een zelfbeoordelingsonderdeel te voorzien in het kader van de navormingsactiviteit. Dit kan a.d.h.v. multiple choice vragen, klinische casussen, een proefpatiënt, enz. Van groot belang is dat de arts feedback krijgt over zijn antwoorden. Het navormingsprogramma diabetes bevatte een zelfbeoordelingsonderdeel. Op basis van tien casussen werden multiple choice vragen gesteld (2 weken voor, vlak na, en een 3 tot 4-tal maanden na de navorming). Tijdens de navorming werden de antwoorden toegelicht door de sprekers. Ook in dit evaluatie-rapport wordt nog eens de nodige feedback bij deze multiple choice vragen gegeven (zie bijlage 4). - Interesse: De aanbieder van een navormingsactiviteit kan enkele eenvoudige aanpassingen doen om de aantrekkelijkheid van een activiteit te verhogen. Dit kan o.a. door het kiezen van relevante onderwerpen, door actieve participatie van de huisarts (het blijkt dat interactiviteit de effectiviteit van CME op positieve wijze beïnvloedt), door het sturen van een aantrekkelijke uitnodiging, enz. Deze minimale interventies zullen er voor zorgen dat de huisartsen worden aangetrokken, sneller zullen deelnemen en beter zullen opletten in de aangeboden sessie. Via de voorzitters van de navormingsgroepen en de vertegenwoordigers van de navormingsgroepen in de Werkgroep Navorming, probeerden we interesse op te wekken bij de individuele artsen. Deze personen hielpen bij het mobiliseren van hun achterban tot deelname. De navorming zelf hebben we interessant trachten te maken door een boeiend thema te kiezen, door een duo huisarts specialist aan het woord te laten en door actieve participatie van de aanwezigen aan te moedigen (ruimte voor vraagstelling, zelfbeoordeling bij casussen, enz.). Aan de aanwezigen tijdens de navorming werd ook de stelling voorgelegd Het onderwerp was interessant voor mij als huisarts. - Speculatie: Al te vaak worden controversiële onderwerpen vermeden. Om het programma interessanter en geloofwaardiger te maken kan men af en toe focussen op gebieden waar geen eenduidig antwoord op bestaat, waar recent nieuwe vooruitgang werd geboekt of onderwerpen die taboe zijn of gevoelig liggen. Er kwamen een aantal thema s uit de diabeteszorg aan bod waarover nog geen absolute consensus bestaat: Welke patiënten moeten gescreend worden? Voor welke patiënten is het opstarten van een zorgtraject zinvol? Is de nieuwste (en duurdere) medicatie effectiever? Uit de casussen in de voor-, tijdens- en natoets bleek dit ook: naargelang de context konden bij een aantal casussen verschillende antwoordmogelijkheden correct zijn. Ook de samenwerking en taakafspraken tussen de 1 ste en de 2 de lijn vormen een soms beladen maar relevant thema voor beide partijen. 14
- Systematiek: Er wordt gesteld dat CME nog te vaak ad hoc en opportunistisch georganiseerd wordt en dat een systematisch CME programma zijn gebruikers zou moeten opvolgen en inspelen op hun noden. Deze navorming werd centraal georganiseerd door het LMN. Hierdoor kregen alle kringen en alle huisartsen een navorming gebaseerd op dezefde principes aangeboden, met een zelfde presentatie, een zelfde tijdsindeling, enz. Door het centrale beheer was het mogelijk om relevante data te verzamelen en te analyseren. De huisartsen zelf werden op systematische wijze opgevolgd, door na te gaan of zij deelnamen aan de voortoets, tijdens-toets en natoets en of zij al dan niet aanwezig waren op de navorming (zo niet werd zelf gepeild naar de redenen voor niet-deelname). Het Model van Moore Gebaseerd op het model van Moore 13 werden enkele principes voor het meten van de effectiviteit van navorming toegepast. Moore maakte een model dat CME beoordeelt op verschillende gemeten parameters, namelijk participatie, tevredenheid, leren, performantie, patiëntengezondheid en populatiegezondheid. Voor dit project hebben wij enkel de eerste 3 criteria van deze definitie van effectiviteit in beschouwing genomen. Het meten van de effectiviteit van dit navormingsprogramma doen we dus a.d.h.v. deze 3 criteria. - Participatie: Tijdens dit project stelden we 3 vragen voorop, aangaande de participatie van huisartsen(groepen): - Hoeveel navormingsgroepen uit Gent-Destelbergen-Melle-Merelbeke namen deel aan het navormingsprogramma DM? - Hoeveel individuele huisartsen uit de regio namen deel aan het navormingsprogramma DM? Was de opkomst van individuele huisartsen, per navormingsgroep, bij dit proefproject groter dan de gemiddelde opkomst bij een navorming? - Welke waren de redenen voor niet-deelname aan het navormingsprogramma? - Tevredenheid: Voor dit proefproject stelden we 3 vragen voorop, aangaande de tevredenheid van deelnemende artsen over de navorming: - Hoe beoordeelden de artsen de navorming naar vorm en methode? - Zouden de artsen een vervolg een meerwaarde vinden? - Hoe beoordeelden de artsen de endocrinoloog als spreker? - Hoe beoordeelden de artsen de huisarts als spreker? Voor het meten van de tevredenheid over de navorming werd o.a. beroep gedaan op een bestaand evaluatieformulier van één van de deelnemende kringen 14. 13 Moore DE Jr. A framwork for outcomes evaluation in the continuing professional development of physicians. In: Davis D, Barnes BE, Fox R, eds The continuing Professonal Development of Physicians: From research to Practice, Chicago, IL: American Medical Association Press; 2003: 249-274 14 Evaluatieformulier navorming, huisartsenkring Gent-centrum 15
- Leereffect Tijdens de navorming Diabetes Mellitus werkt gewerkt met casussen, vergezeld van multiple choice vragen. Vlak voor de navorming werd een voortoets afgenomen, vlak na de navorming werd nogmaals dezelfde toets gedaan (die we voor het gemak tijdens-test noemen) en een 3 tot 4-tal maanden na de navorming werd dezelfde toets nogmaals afgenomen. Tijdens dit project stelden we 4 vragen voorop, aangaande het leereffect: - Hoe groot was de kennis van de artsen voor de navorming? - Hoe groot was de kennis van de artsen vlak na de navorming? - Hoe groot was de kennis van de artsen 3 tot 4 maanden na de navorming? - Is er een verschil in kennis merkbaar in de verschillende fasen van het project? 1.3 Regio-afbakening Dit project werd geïnitieerd in het werkingsgebied van het LMN Samen in Zorg (Gent-Destelbergen-Melle- Merelbeke), aangezien het LMN binnen het project projectuitvoerder en financierder is. De navorming Diabetes Mellitus werd aangeboden binnen de bestaande navormingsgroepen. Binnen dit gebied zijn 9 navormingskringen actief. Twee kringen (Destelbergen-Heusden-Melle en Gentbrugge- Ledeberg) werken samen voor het aanbieden van navormingen, dus zij worden voor dit project als één kring beschouwd. Omdat de LOK 1726 grotendeels bestaat uit artsen die niet deel uitmaken van een navormingskring, werd (op vraag van deze LOK) de navorming ook daar aangeboden. Dit alles resulteert in 9 navormingsgroepen voor dit project (in het vetgedrukt hoe we deze kringen verder zullen benoemen): - HAGW (Huisartsen Gent-West) - Huisartsenkring Gent-centrum - College van huisartsen Oostakker - Huisartsen Destelbergen-Heusden-Melle i.s.m. Gentbrugge-Ledeberg 15 - Huisartsenkring Sint-Amandsberg - Huisartsen navormingsvereniging Gent Brugse Poort - Circuit - Merelbeke - LOK 1726 15 Gentbrugge staat vetgedrukt omdat deze navorming georganiseerd werd door de groep Gentbrugge-Ledeberg en doorging te Gentbrugge. 16
HAGW Oostakker Merelbeke Gent-centrum Brugse Poort Gentbrugge Sint-Amandsberg Circuit LOK1726 2. RESULTATEN In wat volgt schetsen we de resultaten van enkele metingen die we uitvoerden (die elementen die kwantitatief te meten waren) om een zicht te krijgen op de mate waarin we de hierboven beschreven criteria geïmplementeerd hebben. 2.1 Effectiviteit bewerkstelligen In dit deel van het rapport geven we weer hoe de artsen die aanwezig waren tijdens de navorming antwoordden op de vragen rond gemak, relevantie en interesse. We zijn ons bewust van de eventuele bias in deze bevraging. Zij die aanwezig waren, beoordeelden het tijdstip, de plaats, de relevantie van en interesse voor het thema waarschijnlijk positiever dan zij die niet aanwezig waren. 2.1.1 Gemak Onderstaande tabel toont dat de aanwezigen meestal akkoord (36%) of helemaal akkoord (53%) gingen met de stelling Het tijdstip en de plaats waren voor mij geschikt. We zien dat in 4 groepen soms een negatief antwoord gegeven werd op deze vraag. In Gent-centrum ging 3% helemaal niet akkoord met de stelling, in Gentbrugge en in Sint- Amandsberg ging telkens 8% niet akkoord en in LOK 1726 ging 15% helemaal niet akkoord met de stelling. Binnen de groepen Oostakker en Circuit ging met telkens voor de volle 100% akkoord of helemaal akkoord met de stelling. "Het tijdstip en de plaats van de navorming waren voor mij geschikt" Aantal deelnemers Helemaal niet akkoord 22 10 16 31 6 13 18 23 19 GEM 0% 0% 0% 3% 0% 0% 0% 0% 15% 2% Niet akkoord 0% 0% 0% 0% 0% 8% 8% 0% 0% 2% Neutraal 17% 0% 8% 13% 20% 0% 8% 0% 0% 7% Akkoord 33% 43% 54% 30% 40% 31% 33% 36% 20% 36% Helemaal akkoord 50% 57% 38% 53% 40% 62% 50% 64% 65% 53% 2.1.2 Relevantie De tabel op de volgende pagina toont de resultaten bij de stelling Het onderwerp was relevant voor mijn praktijk. We zien dat het onderwerp door de overgrote meerderheid van de artsen als relevant voor de huisartsenpraktijk wordt beschouwd. 74% van de artsen gaat helemaal akkoord met de stelling en 23% gaat akkoord. 17
HAGW Oostakker Merelbeke Gent-centrum Brugse Poort Gentbrugge Sint-Amandsberg Circuit LOK 1726 HAGW Oostakker Merelbeke Gent-centrum Brugse Poort Gentbrugge Sint-Amandsberg Circuit LOK1726 GEM "Het onderwerp was relevant voor de huisartsenpraktijk" Aantal deelnemers Helemaal niet akkoord 22 10 16 31 6 13 18 23 19 0% 0% 0% 3% 0% 0% 0% 0% 0% 0,3% Niet akkoord 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% Neutraal 6% 0% 13% 7% 0% 0% 0% 0% 0% 3% Akkoord 39% 43% 38% 20% 0% 8% 17% 26% 17% 23% Helemaal akkoord 56% 57% 50% 70% 100% 92% 83% 74% 83% 74% We stellen vast dat slechts één keer negatief geantwoord werd op deze vraag. In de groep Gent-centrum gaat 3% van de artsen helemaal niet akkoord met deze stelling. 2.1.3 Interesse De tabel hieronder toont de resultaten voor de stelling Het onderwerp was interessant voor mij als huisarts. We zien dat geen enkele arts negatief antwoordde t.a.v. deze stelling. Algemeen kunnen we stellen dat een grote meerderheid van de artsen (97%) akkoord of helemaal akkoord ging met deze stelling. "Het onderwerp was interessant voor mij als huisarts" Aantal deelnemers Helemaal niet akkoord 22 10 16 31 6 13 18 23 19 GEM 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% Niet akkoord 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% Neutraal 11% 14% 0% 3% 0% 0% 0% 0% 0% 3% Akkoord 26% 43% 36% 27% 0% 8% 18% 30% 21% 23% Helemaal akkoord 63% 43% 64% 70% 100% 92% 82% 70% 79% 74% 18
2.2 Effectiviteit meten In dit deel van het rapport geven we de resultaten weer op het vlak van participatie, tevredenheid en leereffect. 2.2.1 Participatie 2.2.1.1 Deelname van de navormingsgroepen Aan de 9 navormingsgroepen in de regio werd gevraagd om deel te nemen aan dit proefproject, door de navorming Diabetes Mellitus op te nemen in hun navormingskalender voor 2013. Alle groepen deden dit en één groep (LOK1726) boodt ons zelf aan om dit in hun agenda op te nemen. We kunnen dus stellen dat alle navormingsgroepen in de regio deelnamen aan dit proefproject. 2.2.1.2 Deelname van individuele huisartsen De huisartsen binnen de regio hadden de mogelijkheid om, via hun navormingsgroep, deel te nemen aan de navorming diabetes mellitus. Het leek ons het meest interessant om de opkomst voor de navorming Diabetes Mellitus te vergelijken met de gemiddelde opkomst bij navormingen binnen de respectievelijke groep. In de tabel hieronder (kolom 4) zien we dat in de navormingsgroepen HAGW, Merelbeke, Gent-centrum, Sint- Amandsberg en Circuit de opkomst voor de navorming diabetes iets hoger lag dan de gemiddelde opkomst bij navormingen (respectievelijk +3, +2, +9, +3 en +3). Bij de groepen Oostakker, Brugse Poort en Gentbrugge lag de opkomst iets lager dan de gemiddelde opkomst (respectievelijk -4, -9 en -2). De navorming in de groep Brugse Poort was wel gepland op een vrijdagavond, voor een verlengd weekend. Navormingsgroepen Aantal aanwezige huisartsen op navorming DM Gemiddeld aantal aanwezige huisartsen op navormingen binnen de groep 16 Aantal aanwezigen op NV DM - gemiddeld aantal aanwezigen HAGW 22 19 3 Oostakker 10 14-4 Merelbeke 16 14 2 Gent-centrum 31 22 9 Brugse poort 6 15-9 Gentbrugge 13 15-2 Sint-Amandsberg 18 15 3 Circuit 23 20 3 LOK 1726 19 19 0 158 153 16 De cijfers in deze kolom bekwamen we door aan de navormingsverantwoordelijken de vraag te stellen wat de gemiddelde opkomst bij navormingen in hun groep is. Het betreft een indicatie. 19
De doelgroep die we beoogden met dit navormingsproject waren de actieve artsen (excl. HAIO s) in de regio Gent-Merelbeke. Dit geeft ons een totale doelgroep van 357 artsen 17. De tabel op de vorige bladzijde toont de deelname van 158 huisartsen aan het navormingsprogramma diabetes mellitus. Maar met onze doelgroep in het achterhoofd zien we dat het aantal deelnames van actieve artsen (excl. HAIO s) lager lag. 147 artsen uit de doelgroep namen deel aan het navormingsprogramma DM. Dit betekent een participatiegraad van 41% (zie figuur hieronder). We stellen echter vast dat de uitnodiging voor deze navorming slechts naar 291 artsen ging. Een groep van 66 artsen konden we dus niet langs deze weg bereiken. Dit betekent een participatiegraad van 51% (zie figuur hieronder) van de uitgenodigde artsen. Na afloop van dit navormingsprogramma werd dezelfde navorming nogmaals aangeboden aan alle artsen uit de regio die niet hadden deelgenomen. Op deze extra navorming waren 12 huisartsen aanwezig. 17 HVG en HAKM, 2013 20
HAGW Oostakker Merelbeke Gent-centrum Brugse Poort Gentbrugge Sint-Amandsberg Circuit LOK1726 2.2.1.3 Redenen voor niet-deelname Binnen de groep van artsen die niet deelnam aan het navormingsprogramma Diabetes Mellitus gingen we, a.d.h.v. een steekproef, na wat de redenen daartoe waren. De figuren die hier besproken worden zijn te vinden in bijlage 3. De artsen die antwoordden op deze bevraging zijn gespreid over alle betrokken navormingsgroepen (zie figuur 1 in bijlage 3). We stelden de vraag wat de reden was voor niet-deelname aan de navorming. Figuur 2 in bijlage 3 toont dat voor het merendeel van de respondenten (60%) het tijdstip niet geschikt was. 7,3 % had de uitnodiging niet goed ontvangen, voor 9,1 % leek het onderwerp niet interessant en 3,6 % was het vergeten. Niemand antwoordde dat de plaats niet geschikt was of dat de vorm/de methode niet aansprak. 36,4% gaf andere opmerkingen (de antwoordden die meerdere malen voorkwamen waren Ik was met vakantie/op reis, Ik was ziek, Ik had iets anders gepland, Ik heb de laatste tijd al veel navormingen gehad over dit onderwerp / ik ben gesatureerd door suikers, enz.). Ook werd gevraagd of men, indien er een extra sessie van deze navorming georganiseerd zou worden, hieraan zou deelnemen (zie figuur 3 in bijlage 3). Slechts 24,5 % antwoordde hier Nee op. 47,2% antwoordde volmondig Ja en nog eens 28,3% antwoordde Ja, op voorwaarde dat. De meest voorkomende voorwaarde was overduidelijk Indien het tijdstip past. Ook enkele malen werd aangehaald Indien het geaccrediteerd of binnen de LOK-groep gebeurt. 2.2.2 Tevredenheid 2.2.2.1 Vorm en methode We zien dat een meerderheid van de aanwezige artsen, over de verschillende groepen heen, akkoord (42%) of helemaal akkoord (37%) gaat met deze stelling dat de vorm en methode van de navorming aantrekkelijk waren (zie tabel hieronder). 13% staat neutraal tegenover de stelling, terwijl 8% van de artsen niet akkoord gaat met de stelling. "De vorm en methode waren aantrekkelijk" Aantal deelnemers Helemaal niet akkoord 22 10 16 31 6 13 18 23 19 GEM 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% Niet akkoord 21% 29% 0% 3% 17% 0% 0% 0% 0% 8% Neutraal 21% 14% 31% 10% 0% 0% 25% 14% 5% 13% Akkoord 37% 43% 50% 57% 50% 15% 50% 36% 40% 42% Helemaal akkoord 21% 14% 19% 30% 33% 85% 25% 50% 55% 37% Wanneer we kijken naar de individuele groepen zien we dat 21% bij HAGW, 29% bij Oostakker, 3% bij Gent-centrum en 17% bij de groep Brugse Poort niet akkoord gaat met de stelling. Toch stellen we vast dat 21
HAGW Oostakker Merelbeke Gent-centrum Brugse Poort Gentbrugge Sint-Amandsberg Circuit LOK1726 HAGW Oostakker Merelbeke Gent-centrum Brugse Poort Gentbrugge Sint-Amandsberg Circuit LOK1726 ook in deze groepen een meerderheid wel akkoord ging of helemaal akkoord ging met de stelling of hier neutraal tegenover staat. Wat we ook kunnen vaststellen is dat deze vraag positiever werd beantwoord naarmate het navormingsprogramma in de tijd vorderde (de navormingsgroepen staan in chronologische volgorde). 2.2.2.2 Vervolg Een duidelijke meerderheid van de respondenten gaat akkoord (48%) of helemaal akkoord (25%) met de stelling Een vervolg zou een meerwaarde beteken. 21% van de respondenten staat hier neutraal tegenover. Een kleine minderheid gaat niet akkoord (3%) of helemaal niet akkoord (2%). "Een vervolg zou een meerwaarde betekenen" Aantal deelnemers Helemaal niet akkoord 22 10 16 31 6 13 18 23 19 GEM 0% 0% 0% 0% 20% 0% 0% 0% 0% 2% Niet akkoord 0% 14% 7% 0% 0% 0% 0% 9% 0% 3% Neutraal 32% 29% 27% 20% 20% 0% 33% 22% 11% 21% Akkoord 47% 43% 53% 57% 20% 54% 42% 52% 68% 48% Helemaal akkoord 21% 14% 13% 23% 40% 46% 25% 17% 21% 25% 2.2.2.3 De endocrinoloog als spreker De navorming werd in de verschillende groepen door 6 verschillende endocrinologen gegeven. We peilden na de navorming naar de mate van tevredenheid over de endocrinoloog als spreker. De endocrinoloog als spreker" Aantal deelnemers 22 10 16 31 6 13 18 23 19 GEM Slecht 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% Kan beter 0% 0% 0% 3% 17% 0% 0% 0% 0% 2% Neutraal 0% 0% 20% 0% 0% 0% 0% 18% 0% 4% Goed 63% 44% 7% 57% 0% 31% 33% 45% 25% 34% Uitstekend 37% 56% 73% 40% 83% 69% 67% 36% 75% 60% 22
HAGW Oostakker Merelbeke Gent-centrum Brugse Poort Gentbrugge Sint-Amandsberg Circuit LOK1726 Een duidelijke meerderheid van de artsen, over alle navormingsgroepen heen, beoordeelde de endocrinoloog die bij hen kwam spreken als uitstekend (60%). Nog eens 34% beoordeelde de endocrinoloog als spreker met goed. 4% van alle artsen stond hier eerder neutraal tegenover en 2% gaf aan dat de endocrinoloog als spreker beter kon. Deze 2% vinden we terug in de kringen Gent-centrum en Brugse Poort (respectievelijk 3% en 17% die vonden dat dit beter kon). Over alle groepen heen, beoordeelde niemand de endocrinoloog als spreker slecht. 2.2.2.4 De huisarts als spreker Onderstaande tabel toont de beoordelingen van de verschillende navormingsgroepen t.a.v. de huisarts als spreker. De navorming diabetes werd in de verschillende kringen door 4 verschillende huisartsen gegeven. Ook hier zien we dat de meerderheid van de aanwezige artsen de huisarts als spreker als goed (45%) of als uitstekend (32%) beoordeeld. 10% staat hier neutraal tegenover, en 11% vindt dat dit beter kan. 2% van de artsen beoordeelde de huisarts als spreker slecht. De huisarts als spreker" Aantal deelnemers 22 10 16 31 6 13 18 23 19 GEM Slecht 0% 11% 8% 0% 0% 0% 0% 0% 0% 2% Kan beter 16% 22% 23% 0% 17% 0% 17% 0% 0% 11% Neutraal 37% 33% 0% 10% 0% 0% 8% 0% 5% 10% Goed 26% 33% 38% 50% 33% 38% 58% 74% 55% 45% Uitstekend 21% 0% 31% 40% 50% 62% 17% 26% 40% 32% Het totaalpercentage van 2% dat de huisarts als spreker met slecht beoordeelde vinden we terug bij de navormingsgroepen Oostakker en Merelbeke (respectievelijk 11% en 8%). Het totaalpercentage van 11% dat de huisarts als spreker beoordeelde met kan beter vinden we terug in de navormingsgroepen HAGW, Oostakker, Merelbeke, Brugse Poort en Sint-Amandsberg. In de navormingsgroepen Gent-centrum, Gentbruge, Circuit en LOK 1726 beoordeelde niemand de huisarts als spreker met slecht of kan beter. Opvallend is wel dat de traditionele spreker op een normaal navormingsmoment, de specialist, gemiddeld hoger scoort (94% goed of uitstekend) dan de huisarts (77%). Het verschil is nog opvallender in de uitstekend beoordeling (60 vs 32%). 2.2.3 Leereffect Om het leereffect van het navormingsprogramma in kaart te brengen gaan we na wat de kennis van de artsen was een 2-tal weken voor de navorming (parate kennis), vlak na de navorming, en een 3 tot 4-tal maanden na de navorming. 23
HAGW Oostakker Merelbeke Gent-centrum Brugse Poort Gentbrugge Sint-Amandsberg Circuit LOK 1726 We maken hierbij de kanttekening dat de casussen, die als basis dienden om het leereffect na te gaan door de methodiek van multiple choice vragen, moeilijk als kennistoets kunnen geëvalueerd worden. Soms waren er immers meerdere antwoordmogelijkheden correct, afhankelijk van de context 18. Omdat er te veel discussie was omtrent vraag 8 (verschillende antwoordmogelijkheden konden correct zijn naargelang de situatie), werd deze geëxcludeerd uit de analyse. De resultaten in onderstaande tabellen dienen dan ook gezien te worden als tendenzen, niet als vaststaande feiten. De cijfers zijn vaak ook enigszins gekleurd door het aantal deelnemers aan een bepaalde test. We zien de beperkingen van de gebruikte techniek en nemen dit mee in de toekomst. Wat wél uit deze test kan gehaald worden is de evolutie die de groepen maken doorheen de tijd. Hieronder beschrijven we de resultaten voor de de volledige groepen die deelnamen aan een respectievelijk tests (dus alle respondenten van de voortoets, de tijdens-toets en de natoets), ongeacht het feit of zij ook deelnamen aan de andere testen. Voortoets-resultaten bij alle deelnemers aan de voortoets In de tabel hieronder zijn de resultaten te vinden, per navormingsgroep, van alle artsen die deelnamen aan de voortoets (aantal deelnemers in het paars). De navormingsgroepen hebben samen een gemiddelde score van 54,75% op de voortoets, wanneer we iedereen die de voortoets invulde in beschouwing nemen. We zien een uitschieter 19 naar onder (45,83%) bij de groep Brugse Poort en uitschieters naar boven (respectievelijk 62,67% en 59,83%) bij de groep Circuit en de groep Sint-Amandsberg. De meeste correcte antwoorden werden gegeven op vraag 5 (93,59% correcte antwoorden) en vraag 4 (85,65% correcte antwoorden). De minste correcte antwoorden werden gegeven op vraag 2 (31,95%), vraag 10 (32,23%) en vraag 3 (37,22%). Voortoets (alle deelnemers) Percentage 'correct' Aantal deelnemers 19 12 11 31 8 13 13 18 11 Vraag GEM 1 73,70% 75,00% 72,70% 54,80% 37,50% 61,50% 76,92% 72,20% 72,70% 66,34% 2 26,30% 25,00% 9,10% 29,00% 25,00% 38,50% 53,85% 35,30% 45,50% 31,95% 3 21,10% 33,33% 45,50% 30,00% 25,00% 30,80% 38,46% 56,30% 54,50% 37,22% 4 89,50% 91,67% 90,90% 85,20% 75,00% 92,30% 92,31% 81,30% 72,70% 85,65% 5 100,00% 100,00% 81,80% 92,60% 100,00% 92,30% 100,00% 93,80% 81,80% 93,59% 6 57,90% 36,36% 60,00% 63,00% 50,00% 53,80% 69,23% 93,80% 63,60% 60,85% 7 26,30% 63,64% 40,00% 48,10% 37,50% 53,80% 30,77% 37,50% 36,40% 41,56% 9 63,20% 36,36% 40,00% 34,60% 25,00% 46,20% 46,15% 62,50% 36,40% 43,38% 10 36,80% 27,27% 40,00% 34,60% 37,50% 15,40% 30,77% 31,30% 36,40% 32,23% GEM 54,98% 54,29% 53,33% 52,43% 45,83% 53,84% 59,83% 62,67% 55,56% 54,75% 18 In bijlage 4 is bij elke casus een korte motivatie m.b.t de antwoordopties toegevoegd. 19 We beschouwen een waarde als een uitschieter wanneer er een verschil is van 5% t.a.v. de gemiddelde waarde. 24
HAGW Oostakker Merelbeke Gent-centrum Brugse Poort Gentbrugge Sint- Amandsberg Circuit LOK1726 Tijdens-toets-resultaten bij alle deelnemers aan de tijdens-toets In de onderstaande tabel zijn de resultaten te vinden, per navormingsgroep, van alle artsen die deelnamen aan de toets tijdens de navorming (tijdens-toets). Tijdens-toets (alle deelnemers) Percentage 'correct' Aantal deelnemers 19 10 16 30 6 13 18 24 20 Vraag 1 74,00% 70,00% 62,50% 70,00% 50,00% 84,62% 83,33% 91,67% 90,00% 75,12% 2 21,00% 50,00% 43,75% 63,00% 67,00% 15,38% 44,44% 54,17% 60,00% 46,53% 3 89,00% 90,00% 50,00% 63,00% 33,33% 30,77% 88,89% 82,61% 57,89% 65,05% 4 100,00% 80,00% 87,50% 90,00% 83,33% 92,31% 100,00% 95,65% 95,00% 91,53% 5 100,00% 40,00% 81,25% 93,00% 50,00% 100,00% 94,44% 100,00% 100,00% 84,30% 6 33,00% 40,00% 50,00% 63,00% 66,66% 46,15% 77,78% 87,50% 80,00% 60,45% 7 28,00% 50,00% 56,25% 43,00% 16,66% 50,00% 72,22% 56,52% 30,00% 44,74% 9 78,00% 70,00% 62,50% 40,00% 83,33% 61,54% 50,00% 60,87% 50,00% 61,80% 10 33,00% 70,00% 43,75% 47,00% 33,33% 61,54% 77,78% 34,78% 40,00% 49,02% GEM 61,78% 62,22% 59,72% 63,56% 53,74% 60,26% 76,54% 73,75% 66,99% 64,28% GEM De navormingsgroepen hebben samen een gemiddelde score van 64,28% op de tijdens-toets, wanneer we iedereen die de tijdens-toets invulde mee in beschouwing nemen. We zien uitschieters naar onder (respectievelijk 59,72% en 53,74%) bij de groep Merelbeke en Brugse Poort en uitschieters naar boven (respectievelijk 76,54% en 73,75%) bij de groep Sint-Amandsberg en Circuit. De meeste correcte antwoorden werden bij deze toets gegeven op vraag 4 (91,53% correcte antwoorden) en op vraag 5 (84,30% correcte antwoorden). De minste correcte antwoorden werden gegeven op vraag 7 (44,74%), vraag 2 (46,53%) en vraag 10 (49,02%). Natoets-resultaten bij alle deelnemers aan de natoets In de tabel op de volgende pagina zijn de resultaten te vinden, per navormingsgroep, van alle artsen die deelnamen aan de natoets, een 3 tot 4 tal maanden na de navorming. Deze test werd alleen opgestuurd naar de artsen die aanwezig waren op de navorming. Over het algemeen was er een lage participatiegraad bij de natoets merkbaar. Bij de groep Brugse Poort nam geen enkele arts deel aan de natoets. De navormingsgroepen hebben samen een gemiddelde score van 64,93 % op de natoets, wanneer we iedereen die de natoets invulde mee in beschouwing nemen. We zien uitschieters naar onder bij de groepen HAGW, Oostakker en Merelbeke (respectievelijk 59,17%, 55,57% en 58,14%) en een uitschieter naar boven (77,78%) bij de groep LOK 1726. De meeste correcte antwoorden werden gegeven op vraag 5 (95,16%), vraag 1 (89,93%) en vraag 9 (80,44%). De minste correcte antwoorden werden gegeven op vraag 7 (31,58%), vraag 10 (40,58%) en vraag 2 (44,10%). 25
HAGW Oostakker Merelbeke Gent-centrum Brugse Poort Gentbrugge Sint- Amandsberg Circuit LOK 1726 GEM HAGW Oostakker Merelbeke Gent-centrum Gentbrugge Sint-Amandsberg Circuit LOK1726 Natoets (alle deelnemers) Percentage 'correct' Aantal deelnemers 14 3 7 12 5 6 7 4 Vraag GEM 1 81,80% 66,70% 100,00% 90,90% 80,00% 100,00% 100,00% 100,00% 89,93% 2 36,40% 33,30% 20,00% 54,50% 20,00% 60,00% 28,60% 100,00% 44,10% 3 54,50% 66,70% 20,00% 72,70% 40,00% 80,00% 100,00% 50,00% 60,49% 4 66,70% 66,70% 60,00% 81,80% 80,00% 50,00% 85,70% 100,00% 73,86% 5 92,30% 100,00% 83,30% 100,00% 100,00% 100,00% 85,70% 100,00% 95,16% 6 45,50% 66,70% 80,00% 72,70% 80,00% 80,00% 71,40% 50,00% 68,29% 7 36,40% 33,30% 20,00% 30,00% 0,00% 40,00% 42,90% 50,00% 31,58% 9 72,70% 66,70% 100,00% 72,70% 100,00% 60,00% 71,40% 100,00% 80,44% 10 46,20% 0,00% 40,00% 45,50% 50,00% 50,00% 42,90% 50,00% 40,58% GEMIDDELDE 59,17% 55,57% 58,14% 68,98% 61,11% 68,89% 69,84% 77,78% 64,93% Verschil in kennis bij alle deelnemers Nu we een zicht hebben op de kennis van de groepen voor, vlak na en enige tijd na de navorming (voor alle deelnemers aan de toetsen), kunnen we ook het verschil in kennis op de verschillende tijdstippen bij de groepen in kaart brengen (zie tabel hieronder). Verschil in kennis (alle deelnemers aan de tests) Voortoets 54,98% 54,29% 53,33% 52,43% 45,83% 53,84% 59,83% 62,67% 55,56% 54,75% Tijdens-toets 61,78% 62,22% 59,72% 63,56% 53,74% 60,26% 76,54% 73,75% 66,99% 64,28% Natoets 59,17% 55,57% 58,14% 68,98% 61,11% 68,89% 69,84% 77,78% 64,93% Verschil tijdens-toets vs voortoets (1) 6,80% 7,93% 6,39% 11,13% 7,91% 6,42% 16,71% 11,08% 11,43% 9,53% Verschil natoets vs tijdens-toets (2) -2,61% 0,65% Verschil natoets vs voortoets (3) 4,19% 10,18% We stellen vast dat er direct na de navorming (tijdens-toets) een stijging in kennis t.a.v. de voortoets is van gemiddeld 9,53% (1). Een 3 tot 4 tal maanden na de navorming (natoets) blijkt de kennis nog eens met 0,65% te stijgen, t.a.v. de test vlak na de navorming (tijdens-test)(2). Over het ganse navormingsprogramma heen kunnen we stellen dat de kennis van de artsen gemiddeld met 10,18% is gestegen (verschil natoets voortoets)(3). Een belangrijke vaststelling is dat de verworven kennis tijdens de navorming dus behouden blijft. 26
Dat de kennis tussen natoets (een 3-tal maanden na de navorming) en tijdens-toets (vlak na de navorming) licht stijgt is een onverwacht resultaat. Het is echter moeilijk heldere conclusies te trekken gezien de lage participatie aan de natoets. Een veronderstelling zou kunnen zijn dat voornamelijk de gemotiveerde artsen hebben deelgenomen aan de natoets. Een andere veronderstelling zou kunnen zijn dat het gebruik van de protocolfiche in de dagdagelijkse praktijk een positief effect op het niveau van de kennis heeft gegenereerd. Gezien de lage participatiegraad van de natoets is het vrijwel onmogelijk om conclusies te trekken per navormingsgroep. Bij HAGW met een hogere participatiegraad aan de natoets zien we dat er in de natoets slechts een geringe daling was (2,61%) vergeleken met de tijdens-toets. Het bovenstaande beschrijft de resultaten van alle deelnemers aan een respectievelijke test. Het kan echter zo zijn dat een arts bijvoorbeeld deelneemt aan de voortoets, maar niet aan de tijdens-toets en natoets. Nog interessanter zou het zijn om eenzelfde groep van artsen te vergelijken doorheen de tijd. Dus de artsen die deelnamen aan de drie testen. Voor de groep HAGW namen 6 artsen deel aan alle 3 de testen, voor Oostakker 1 arts, voor Merelbeke 6 artsen, voor Gent-centrum 11 artsen, voor de Brugse Poort 0 artsen, voor Gentbrugge 3 artsen, voor Sint- Amandsberg 6 artsen, voor Circuit 4 artsen en voor LOK1726 3 artsen. Dit alles samen komt neer op 41 artsen die zowel de voor- als tijdens- als natest invulden. Omdat het vergelijken van eenzelfde groep personen in de tijd moeilijk was met de huidige systemen, hebben we voor een steekproef van 13 personen (= 32% van de artsen die de 3 tests invulden) deze oefening gemaakt. De tabel hieronder toont het globale resultaat voor deze 13 personen. Verschil in kennis (13 deelnemers aan de 3 testen) GEM Voortoets 58,33% Tijdens-toets 66,42% Natoets 70,99% Verschil tijdens-toets vs voortoets 8,09% Verschil natoets vs tijdens-toets 4,57% Verschil natoets vs voortoets 12,66% Wanneer we de resultaten voor de 13 artsen die aan de 3 toetsen deelnamen vergelijken met de bovenstaande resultaten (alle deelnemers per test), zien we dat: - de kennis bij de voortoets iets hoger lag bij de 13 artsen die aan de 3 tests deelnamen (58,33%) dan bij alle artsen die deelnamen aan de voortoets (54,75%); - de kennis vlak na de navorming (tijdens-toets) iets hoger lag bij de 13 artsen die aan de 3 tests deelnamen (66,42%) dan bij alle artsen die deelnamen aan de tijdens-toets (64,28%); - de kennis een 3 tot 4 tal maanden na de navorming (natoets) beduidend hoger lag bij de 13 artsen die aan de 3 tests deelnamen (70,99%) dan bij alle artsen die deelnamen aan de natoets (64,93%); - de toename van de kennis tussen de tijdens-toets en de voortoets iets kleiner is bij de 13 artsen die aan de 3 tests deelnamen (8,09%) dan de toename van de kennis van de volledige groep die de tijdenstoets invulde versus de volledige groep die de voortoets invulde (9,53%); 27
- de kennis van de 13 artsen die aan de 3 tests deelnamen sterker stijgt (4,57%) tussen tijdens-toets en natoets, dan wanneer we het verschil bekijken van de volledige groep die de natoets invulde versus de volledige groep die de tijdens-toets invulde (0,65%); - de toename van de kennis tussen de natoets en de voortoets iets groter is bij de 13 artsen die aan de 3 tests deelnamen (12,66%) dan de toename van de kennis van de volledige groep die de natoets invulde versus de volledige groep die de voortoets invulde (10,18%). Het is echter belangrijk te benadrukken dat de bovenstaande gegevens vermoedelijk niet statistisch significant zijn, aangezien de gegevens betrekking hebben op een kleine groep deelnemers (N=13). 28
3. AANBEVELINGEN VOOR DE TOEKOMST In deel één van dit rapport werd beschreven op welke manier we hebben getracht tot een effectieve navorming te komen en op welke wijze we de effectiviteit van dit navormingsprogramma beoordelen. Het tweede deel van dit rapport gaf ons inzicht in de mate waarin we hierin geslaagd zijn. In dit derde deel trekken we lessen, die ons van nut kunnen zijn bij de organisatie van toekomstige navormingsprogramma s. 3.1 Werken aan effectiviteit In dit project hebben we getracht in te spelen op het element gemak. Uit de bevraging van de aanwezigen tijdens het navormingsprogramma bleek dat we daar grotendeels in geslaagd zijn: het merendeel van de artsen beoordeelde het tijdstip en de plaats als geschikt. Dit kan verklaard worden door het feit dat de navorming door de navormingsgroepen zelf in hun vast programma was opgenomen. De samenwerking met de lokale navormingsgroepen was in ieder geval positief voor de toegankelijkheid van de navormingen. Toch stelden we vast dat enkele aanwezigen hier eerder negatief op antwoordden. Wanneer we ook de redenen voor niet-deelname in beschouwing nemen, zien we het argument het tijdstip was niet geschikt vaak opduiken. Door ook de participatiegraad in beschouwing te nemen kunnen we vermoeden dat bepaalde elementen (organisatie op een vrijdagavond, in een verlengd weekend, over de middag, weinig parkeergelegenheid,?) nefast kunnen zijn voor het element gemak en in een aantal kringen resulteerden in een lage opkomstgraad. Om ook zij die niet konden aanwezig zijn de kans te geven de navorming alsnog te volgen is het aan te raden na het programma nog een extra navormingssessie te organiseren. Verder is het aan te raden blijvend op zoek te gaan naar een zo gepast mogelijk tijdstip en goed bereikbare locatie mét parkeergelegenheid. We kunnen ons ook de vraag stellen, of er een verschil is in voorkeurmoment voor navormingen wanneer we de elementen geslacht en praktijkvorm in beschouwing nemen. In dit project hebben we getracht een relevant onderwerp te kiezen. We stellen vast dat het onderwerp door de overgrote meerderheid van de aanwezige artsen als relevant voor de huisartsenpraktijk werd beschouwd. De opportuniteit voor extra kennisvergaring bleek ook uit de objectieve cijfers van de voortoetsen. Toch merken we dat, bij zij die niet deelnamen aan het navormingsprogramma, redenen zoals ik ben gesatureerd door suikers, ik heb al veel navormingen rond dit thema gevolgd, enz. ook voorkwamen. De relevantie van het thema lijkt verband te houden met persoonlijke eigenschappen van de arts (recente navormingen, eigen kennis, eigen populatie, enz.). Bij de uitwerking van het navormingsprogramma hebben we sterk ingezet op zelfbeoordeling. Op basis van tien casussen werd een multiple choice toets opgesteld die drie maal werd afgenomen. De antwoorden werden tijdens de navorming toegelicht door de sprekers en ook dit rapport bevat de nodige feedback. Het opnemen van een zelfbeoordelings-onderdeel, met de noodzakelijke feedback, blijkt een verrijking voor de deelnemers (leereffect) en lijkt de interesse in de thematiek op te wekken (interesse). Een duidelijke meerderheid van de aanwezigen vond het thema interessant. Ook bij de groep die niet deelnam bleek dit niet aan de interesse voor het thema te liggen. Voor wat betreft het aantrekkelijk maken van de uitnodiging zijn we van oordeel dat er nog potentieel ter verbetering is. Omwille van praktische redenen werd de voortoets verstuurd vanuit Survey Monkey, wat ons niet toeliet een aantrekkelijke mailing op te maken. Het effectief uitnodigen van de leden gebeurde meestal door de navormingsverantwoordelijken zelf, via een eenvoudige (zij het wel vaak heel enthousiasmerende!) mailing. Dat artsen met aanzien binnen hun kring hun achterban warm maken voor de navorming blijkt een succesfactor te zijn. Ook door de navorming interactief te maken hebben we geprobeerd de interesse van de 29
artsen op te wekken. Uit mondelinge opmerkingen bleek dat artsen deze interactie wel appreciëren, en uit onderstaande citaten van de sprekers blijkt ook dat zij dit een meerwaarde binnen dit project vonden. Het navormingsprogramma zelf heb ik als heel positief ervaren. De structuur laat de huisarts toe actief deel te nemen aan de discussie, die niet meer ex cathedra is. (Endocrinoloog) Persoonlijk heb ik de navormingsavonden als aangenaam ervaren. De avonden waren door de betrokkenheid van en interactie met de aanwezige huisartsen boeiend (Huisarts) Oog hebben voor actieve participatie van deelnemers tijdens de navorming lijkt gewaardeerd te worden door de betrokken partijen, al blijkt het niet altijd eenvoudig artsen mee te krijgen in die interactie: Het enthousiasme voor oplossen en bespreken patiëntencasussen was niet bij alle aanwezigen even groot. (Endocrinoloog) Het thema van het navormingsprogramma was ook interessant omdat het inspeelde in op het element speculatie, in die zin dat er soms nog geen eenduidige antwoorden bestaan in het opsporen en de behandeling van diabetes en recente evoluties kunnen bijdragen tot een beter inzicht. Het gebruik van realistische patiëntencasussen leidde dikwijls tot een ander inzicht. Ook de samenwerking en taakafspraken tussen de 1 ste en de 2 de lijn vormen een soms beladen maar relevant thema voor beide partijen. Het is aan te raden deze onderwerpen niet schuwen en partijen samen te brengen (bv. specialist en huisarts) om tot duidelijke taakafspraken te komen. Dit project was een poging om een navormingsprogramma systematisch op te zetten, te implementeren en te evalueren. Door de centrale organisatie van deze navorming, door het LMN, kregen alle kringen en alle huisartsen een navorming gebaseerd op dezefde principes aangeboden, met een zelfde presentatie, een zelfde tijdsindeling, enz. Daardoor was het ook mogelijk om relevante data te verzamelen en te analyseren: de huisartsen werden op systematische wijze opgevolgd, door na te gaan of zij deelnamen aan de voortoets, tijdens-toets en natoets en of zij al dan niet aanwezig waren op de navorming. Ook kon gepeild worden naar redenen van artsen die niet deelnamen en kon deze groep uitgenodigd worden op een extra navormingssessie. Toch is er nog ruimte voor verbetering. Een echt systematisch navormingsaanbod met een efficiënt systeem van gegevensverwerking zou individuele artsen en hun navormingsparcours kunnen opvolgen en zou meer systematiek kunnen brengen in de thema s die aan bod komen. Dit komt een uniforme kwaliteitsverbetering ten goede. Op het vlak van individualisering is er nog heel wat onontgonnen terrein. Uit de literatuur blijkt dat, door het aanbieden van een uniforme opleiding aan alle huisartsen, men een een aantal kansen om de effectiviteit van de navorming te verhogen mist. Niet alle artsen zijn identiek en hun noden zijn dus verschillend. Omdat het praktisch voor ons onhaalbaar was om geïndividualiseerde programma s op te maken, werd gewerkt met groepen van artsen (de lokale navormingsgroepen). Met behulp van de voortoets werden de hiaten in de (parate) kennis van de artsen van de groep in kaart gebracht. Deze resultaten werden doorgespeeld aan de sprekers van de betreffende navorming, waarbij gevraagd werd om tijdens de navorming hier zo veel als mogelijk op in te spelen. Het was dus onze intentie een navorming op maat van de groep te ontwikkelen. Dit is in zekere zin gebeurd, maar we stelden toch vast dat dit nog beter kon. Individuele navormingspaden zijn nog een opportuniteit, maar zijn wel heel arbeidsintensief voor zij die het pad beheren/bewaken. Binnen de huidige logistieke setting/bestek van het LMN en de HVG is dit niet mogelijk. 30
Algemeen beschouwend kunnen we stellen dat we in dit proefproject vernieuwende stappen hebben gezet in de richting van een effectieve navorming. De hierboven beschreven items verdienen echter continu de aandacht en er is evenwel nog altijd ruimte voor verbetering. 3.2 Meten van effectiviteit De effectiviteit van dit navormingsprogramma hebben we onder meer gemeten door de participatie van artsen in kaart te brengen. Het is een leuke vaststelling dat alle navormingsgroepen in de regio deelnamen aan dit proefproject. Voor de meeste navormingsgroepen lag de opkomst voor de navorming diabetes net iets hoger dan de gemiddelde opkomst bij navormingen. Bij enkele groepen lag de opkomst iets lager dan de gemiddelde opkomst. Om onze stelling uit de inleiding, dat de opkomstgraad voor navormingen laag is, daadwerkelijk te kunnen bevestigen, is verder onderzoek nodig. Hoeveel leden tellen de navormingsgroepen? Wat is de participatiegraad bij navormingen? Klopt het dat een groot deel van de leden nietr aanwezig is op de navormingsmomenten? Het blijkt echter dat er een groot aanbod aan navorming voor huisartsen is en we denken dat we door samenwerking met de lokale navormingsgroepen de grootst mogelijke participatie aan dit navormingsprogramma konden bereiken. De participatiegraad denken we ook deels te kunnen verklaren aan de hand van de data en tijdstippen waarop de navorming georganiseerd werd. Daarenboven bleek ook dat we niet alle artsen langs deze weg konden bereiken. Blijkbaar beschikken we dus niet over alle correcte contactgegevens, of volgen artsen navorming via een ander circuit dan de navormingsgroepen. In het vervolg kunnen we streven naar een hogere participatiegraad door (nog meer) in te spelen op de elementen die de effectiviteit van de navorming verhogen: geschikte plaats en tijdstip, interessant thema, enz., door een extra navormingssessie te organiseren voor artsen die we niet bereikt hebben en door telkens na te gaan waarom artsen niet deelnamen. De effectiviteit van dit navormingsprogramma hebben we ook in kaart gebracht door de tevredenheid van de participanten onder de loep te nemen. We stellen vast dat een meerderheid van de artsen de vorm en methode aantrekkelijk vond. Enkele artsen waren hier iets minder positief over. Een dergelijk model van navorming is vernieuwend en vraagt een extra inspanning van de artsen (actief deelnemen aan de navorming, invullen van een tijdens- voor- en natoets). Het heeft misschien nog wat tijd nodig om goed begrepen/gewaardeerd te worden. We zien ook dat de vorm en methode beter beoordeeld werden naarmate het programma vorderde in de tijd. Op basis van leerervaringen uit de eerste groepen, werden vorm en methode bijgesteld waar nodig (tijd strakker gemodereerd, sprekers bijgestuurd, meer interactie aan bod laten komen, enz.) daardoor denken we het verschil tussen de groepen die eerder in de tijd kwamen en zij die later in de tijd kwamen te kunnen verklaren. Het is dus aan te raden te leren uit ervaringen tijdens de 1 ste sessies. Continu evalueren van het model (zoals in een dergelijk rapport) is eveneens een must. Uit opmerkingen van de sprekers bleek verder dat de tijd wat te beperkt was: Een relatief nadeel was dat de tijd beperkt was voor de uitgebreidheid van het programma (Huisarts) Was aangenaam hieraan mee te werken. Ik heb geen grote opmerkingen, misschien alleen dat 2u nogal kort blijkt te zijn. (Endocrinoloog) Het is dus aan te raden bij een volgend project nog strikter te modereren, een minder omvangrijke agenda te voorzien en de tijd om te antwoorden op de vragen van de toets in te perken. We stelden aan de deelnemers ook de vraag Zou een vervolg een meerwaarde betekenen? Aangezien deze vraag heel uiteeenlopend kan geïnterpreteerd worden (Een negatief antwoord op deze vraag wil misschien 31
zeggen dat men voldoende heeft geleerd tijdens deze navorming?) is het aan te raden deze vraag te herformuleren of niet meer te stellen. Een duidelijke meerderheid van de artsen, over alle navormingsgroepen heen, beoordeelde de endocrinoloog als uitstekend of als goed. Zoals voordien vermeld is hij als specialist ook de traditionele spreker op de meeste navormingsavonden. Ook voor wat betreft de huisartsen als sprekers zien we dat, algemeen beschouwd, de meerderheid van de artsen de huisarts als spreker als goed of als uitstekend beoordeeld. Toch lijken de huisartsen iets kritischer te zijn t.a.v. hun peers (huisartsen). Een opmerking die we in enkele groepen hoorden was dat het aan te raden is lokale sprekers te vragen. Dit creëert als extra meerwaarde dat zorgverleners die in de praktijk moeten samenwerken elkaar leren kennen en dat er lokale afspraken gemaakt kunnen worden. Voor wat betreft het leereffect bij deelnemers aan dit programma zien we een duidelijke tendens van gestegen kennis bij deelnemers. De verworven kennis blijft ook duidelijk behouden. Daarenboven lijkt het leereffect groter wanneer consequent aan de verschillende tests wordt deelgenomen. We stellen vast dat deelnemers in stapjes leren, dus dat herhaling loont. Maar kunnen we ook stellen dat artsen die deelnemen aan alle tests, meer geëngageerd, gemotiveerd en geïnteresseerd zijn in de thematiek en dit zich uit in hogere scores? De hier geponeerde vaststellingen en assumpties zijn in ieder geval de moeite om verder te onderzoeken. Zo is het bijvoorbeeld aan te raden het leereffect in kaart te brengen van (grotere) groepen die deelnamen aan de drie tests. Verder kunnen we ook de demografische factor leeftijd opnemen in de evaluatie, en nagaan of de leeftijd van de deelnemers een effect heeft op het leereffect of hun appreciatie voor het (innovatief) programma. Wel merkten verschillende deelnemers, alsook sprekers binnen het programma op dat de vraagstelling soms onduidelijk was en dat er soms verschillende antwoordmogelijkheden plausibel waren. De nood aan eenduidige vragen en antwoorden bleek cruciaal om het leereffect beter in kaart te brengen. Dit wordt in de toekomst opgenomen en ook de evaluatievragen worden herzien. 3.3 Algemene beschouwingen Dit proefproject is een uitstekend voorbeeld van hoe een huisartsenkring haar nauwe band met het LMN kan aanwenden om het navormingsaanbod in haar regio te professionaliseren. De huisartsenkring speelt hierin een faciliterende rol. De samenwerking met de lokale navormingsgroepen werd als een succesfactor benoemd. Niet alleen heeft deze samenwerking het element gemak positief beïnvloedt, het heeft ook voor de broodnodige steun en mobilisering vanwege trekkersfiguren gezorgd. Het initiatief werd gewaardeerd werd door de meerderheid van de betrokkenen. Dit konden we vaststellen o.b.v. objectieve gegevens en o.b.v. mondelinge opmerkingen. Het project is op zijn minst innovatief te noemen. De zoektocht naar meer effectiviteit (alsook onderbouwde kwaliteit) in navorming is al vaak bestudeerd maar nog weinig in de praktijk tot uitvoering gebracht. Vernieuwing wordt natuurlijk niet van dag op dag gerealiseerd, maar vraagt de nodige mentale alsook praktische veranderingen in de huisartsenkringen. Als projectuitvoerder konden we vaststellen dat het project arbeidsintensief was. Het hele proces, gaande van het plannen van de navormingen, het regelen van sprekers, het verzamelen en analyseren van data, enz. was een grote brok in de beschikbare tijd van de LMN-medewerkers. Met dit project is een belangrijke stap gezet binnen de professionalisering van navormingsactiviteiten voor huisartsen, maar bijkomende ondersteuning is noodzakelijk in termen van systemen van gegevensverwerking en mankracht, wil men dit blijvend 32
ontwikkelen. Het is ook aan te raden dat de lokale navormingskringen zelf continu aandacht hebben voor de effectiveit van hun navormingsaanbod, maar we denken te mogen stellen dat enige ondersteuning,van deze lokale groepen hierbij aangewezen is. Daarenboven is meer wetenschappelijke analyse van deze rijke data noodzakelijk om tot écht betrouwbare conclusies te kunnen komen (vb. significantie van gevonden verschillen). Tot slot kunnen we stellen dat we met dit project belangrijke stappen hebben gezet in het initiëren en evalueren van een nieuwe manier van navorming, maar dat de weg nog lang is. We hebben rekening gehouden met enkele principes voor het bewerkstelligen van de effectiviteit van de navorming, maar het kan nog beter, systematischer, meer geïndividualiseerd en gemakkelijker. We hebben rekening gehouden met enkele principes voor het meten van de effectiviteit van de navorming, maar kunnen niet nagaan wat een dergelijke navorming teweeg brengt op het vlak van performantie van zorgverleners, patiëntengezondheid en populatiegezondheid. En laat dat nu net datgene zijn waar het finaal om gaat 33
BIJLAGEN Bijlage 1: Het LMN 20 en de werkgroep navorming (HVG) 21 De Lokale Multidisciplinaire Netwerken zijn opgericht ter ondersteuning van de multidisciplinaire samenwerking in de chronische zorg en in het bijzonder ter ondersteuning van de zorgtrajecten. Het LMN Samen in Zorg werd in 2010 opgericht door de HVG en de Huisartsenkring Merelbeke (HAKM). In 2012 nam het LMN een nieuwe start. De acties van het LMN berusten op de elementen van het Chronic Care Model 22, waarvan één peiler het ondersteunen van de besliskunde van clinici is. Dit doet het LMN onder meer door het informeren van huisartsen, door het lokaal implementeren van protocolfiches, én door het aanbieden van kwaliteitsvolle navormingen. Ook de Werkgroep Navorming binnen de HVG nam in 2012 een nieuwe start. Tijdens de eerste vergadering van de (hernieuwde) werkgroep (oktober 2012) werden de doelstellingen voor 2012-2013 vastgelegd: 1. De werkgroep zal bestaan uit vertegenwoordigers van de verschillende navormingskringen in Gent- Destelbergen-Heusden-Melle: Het is de doelstelling om in 2013 een representatief orgaan te worden van de diverse navormingskringen in de regio. 2. De werkgroep zal zich primair focussen op het inventariseren van navormingen die reeds gegeven werden. Het is de doelstelling om in 2012 de inventarisatie van het bestaande navormingsaanbod te volbrengen en up to date te houden (6-maandelijks). 3. De werkgroep wenst dat de navormingen in de regio positief evolueren op het vlak van kwaliteit. Zij wenst een modelnavorming met voor- en natoets aan te bieden binnen de bestaande navormingsgroepen. Het is de doelstelling om in 2013, via één proefproject de effectiviteit van dit kwaliteitsmodel na te gaan. In het hier beschreven project en in dit rapport focussen we op de 3 de doelstelling van deze werkgroep. Het volgende concrete actiepunt werd geformuleerd: Een modelnavorming wordt ontworpen i.s.m. het LMN Samen in Zorg. Binnen alle bestaande navormingsgroepen wordt in de periode januari t.e.m. juni 2013 een navorming diabetes gegeven. 20 Voor meer info zie www.lmn-sameninzorg.be 21 Voor meer info zie www.hvg.be/werkgroep-navorming 22 Wagner et al, 1998 34
Bijlage 2: Dataverzameling en analyse Dataverzameling Op diverse ogenblikken doorheen dit project werd langs verschillende kanalen data verzameld. Hieronder een (chronologisch) overzicht: - Via het online programma Survey Monkey werd, een tweetal weken voor de navorming, een voortoets verstuurd naar de huisartsen van de betreffende navormingsgroep, om te peilen naar de (parate) kennis van huisartsen m.b.t. het onderwerp. - Tijdens de eigenlijke navorming (vlak na de navorming) werd een tijdens-toets afgenomen, alsook een evaluatie van de avond (beide via het Turning Point - stemsysteem 23 ). Op deze manier werd gepeild naar de kennis van de aanwezige huisartsen vlak na de navorming en werd hun tevredenheid m.b.t. de avond in kaart gebracht. Tijdens de navorming werd ook op papier een aanwezigheidslijst ingevuld (i.h.k.v. het element participatie ). - Een 3 tot 4-tal maanden na de navorming werd een natoets verstuurd naar de artsen die aanwezig waren op de navorming, opnieuw via Survey Monkey, om de peilen naar de kennis die bleef hangen. - Na afloop van het volledige navormingsprogramma werd een bevraging (via survey monkey) verstuurd naar de artsen die niet deelnamen, om de redenen voor niet-deelname en de interesse voor een extra navormingssessie in kaart te brengen. - Na afloop van het volledige navormingsprogramma werd een bevraging (via e-mail) verstuurd naar de sprekers, om hun opinie t.a.v. het navormingsprogramma in kaart te brengen. Het opmaken van de kennistoets (de voor-, tijdens- en natoets was telkens dezelfde toets) gebeurde door de leden van de Werkgroep Navorming en de stuurgroepleden van het LMN. Ook enkele sprekers leverden hier een bijdrage toe. Het opmaken van de vragenlijst die peilde naar de tevredenheid m.b.t. de avond gebeurde door leden van de Werkgroep Navorming. Het opmaken van de bevraging rond niet-deelname gebeurde door de LMN-medewerkers, evenals de bevraging van de sprekers. De data-verzameling voor dit project gebeurde door de twee medewerkers van het LMN Samen in Zorg, zowel online als door aanwezigheid tijdens de verschillende navormingsmomenten. Data-analyse De data-analyse gebeurde door de medewerkers van het LMN Samen in Zorg: VOORTOETS-RESULTATEN - De voortoets resultaten van de volledige groep die de voortoets invulde werden berekend. o Vanuit survey monkey werd een rapport gegenereerd en via excell verwerkt. - De voortoets resultaten van een groep van 13 artsen die zowel de voor-, tijdens- als natoets invulden werden berekend. o Vanuit survey monkey werd dit, omdat het over een niet-betalende versie ging, manueel berekend (geturfd) en via excell verwerkt. 23 Stembakjes 35
TIJDENS-TOETS-RESULTATEN - De tijdens-toets resultaten van de volledige groep die de tijdens-toets invulde werden berekend. o Vanuit Turning Point werd een rapport gegenereerd en via excell verwerkt. - De tijdens-toets - resultaten van een groep van 13 artsen die zowel de voor-, tijdens- als natoets invulden werden berekend. o Vanuit Turning Point werd een rapport van deze subpopulatie gegenereerd 24 en via excell verwerkt. NATOETS-RESULTATEN - De natoets resultaten van de volledige groep die de natoets invulde werden berekend. o Vanuit survey monkey werd een rapport gegenereerd en via excell verwerkt. - De natoets resultaten van een groep van 13 artsen die zowel de voor-, tijdens- als natoets invulden werden berekend. o Vanuit survey monkey werd dit, omdat het over een niet-betalende versie ging, manueel berekend (geturfd) en via excell verwerkt. EVALUATIE NAVORMING - De evaluatie van de navorming werd voor de volledige groep die deelnam aan de navorming berekend. o Vanuit Turning Point werd een rapport gegenereerd en via excell verwerkt. BEVRAGING ROND NIET-DEELNAME - De bevraging van zij die niet deelnamen aan het navormingsprogramma werd gegenereerd vanuit Survey Monkey. BEVRAGING SPREKERS - De bevraging van de sprekers werd op een kwalitatieve wijze verwerkt. 24 In dit systeem werd bij de deelnemerslijst een extra kolom toegevoegd ook deelgenomen aan voor- en natoets. Het was mogelijk om enkel de resultaten te genereren van enkel die artsen die daar waren aangevinkt. 36
Bijlage 3: Bevraging bij artsen die niet deelnamen aan het navormingsprogramma Figuur 1: Spreiding artsen Figuur 2: Reden voor niet-deelname Figuur 3: Interesse voor extra sessie 37