Op weg naar evidence-based toezicht

Transcriptie

1 Op weg naar evidence-based toezicht Het onderzoek naar de effecten van toezicht door de IGZ Saskia Pluijm VIDE 9 juni 2011

2 Raadscommissie voor Gezondheidsonderzoek (RGO) De RGO, ingesteld in 1987, heeft tot taak de ministers van VWS, OCW en EZ te adviseren over prioriteiten in het gezondheidsonderzoek, het zorgonderzoek en de daarbij behorende infrastructuur. Het maatschappelijk perspectief is daarbij steeds het uitgangspunt.

3 Inhoud Achtergrond Adviesaanvraag Werkwijze Onderzoeksmethoden Onderzoekbaarheid Relevante onderzoeksvragen Infrastructuur Aanbevelingen Discussiepunten

4 Achtergrond (1) Toezichthouders moeten efficient en doelmatig toezicht houden Sinds tachtiger jaren is het belang van toezicht gegroeid Kritiek op toezicht neemt echter ook toe

5 Achtergrond (2) Waarom is effectmeting nodig? intern: verbeteren van de kwaliteit van werken door te leren van de toezichthoudende werkzaamheden, verdere professionalisering van medewerkers extern: afleggen van verantwoording aan samenleving

6 Achtergrond (3) Algemene Rekenkamer: Handhaven en gedogen (2005): er moet meer inzicht komen in de effecten van handhaving op de naleving en uiteindelijk op de achterliggende doelen Handhaven en gedogen, Terugblik 2008: de meting van de effectiviteit van handhaving komt langzaam op gang

7 Adviesaanvraag (1) Oktober 2008: de Minister van VWS heeft de RGO gevraagd om een advies over hoe de effecten van toezicht door de IGZ gemeten kunnen worden

8 Adviesaanvraag (2) Evaluatieprogramma IGZ De rol van het toezicht in het gezondheidszorgbeleid en de zorg De werkwijze en instrumenten van het toezicht De effecten van het toezicht

9 Adviesaanvraag (3) De stand van zaken in het Nederlandse en internationale wetenschappelijke onderzoek De manier waarop de effecten van het toezicht door de IGZ wetenschappelijk verantwoord onderzocht kunnen worden De inrichting van een onderzoeksprogramma en de benodigde infrastructuur

10 Werkwijze (1) Oktober 2009: de RGO stelt een commissie in met wetenschappelijke deskundigen uit verschillende disciplines 10 leden: voorzitter: prof. J. Mackenbach (afdeling maatschappelijke Gezondheidszorg, Rdam) adviseur IGZ: prof. P. Robben secretarissen: dr. N. de Neeling en dr. S. Pluijm

11 Werkwijze (2) 1. Literatuuronderzoek: (PUBMED, EMBASE, grijze literatuur) 2. kennis over de onderzoekbaarheid (hoe kan onderzoek naar de effecten van toezicht het beste uitgevoerd worden?): bestudering methodologische literatuur analyse van 5 casussen

12 Werkwijze (3) 3. relevantie van mogelijke onderzoeksvragen: invitational conference met deskundigen uit het veld (juni 2010) 2 bijeenkomsten met IGZ 4. infrastructuur: bijeenkomst met de IGZ

13 Evidence based toezicht Evidence based medicine: integreren van het beste wetenschappelijke bewijs, de individuele professionele expertise en de waarden van de cliënt Op weg naar evidence based toezicht: toetsbaarheid van het werk onderzoek naar de causale effecten

14 IGZ Missie: de IGZ bevordert de volksgezondheid door toezicht te houden op de kwaliteit van de gezondheidszorg en medische producten toezicht: drie deelprocessen: informatie verzamelen (meldingen, calamiteiten, vragenlijsten) oordeelsvorming (op basis van risicoanalyse en toets ter plekke) interventie

15 Effecten van toezicht (1) Onderzoeksobject: effecten van toezicht: de verschijnselen of gebeurtenissen die zich voordoen ten gevolge van toezicht (gevolgen van toezicht) Object=causale relatie

16 Beleid VWS Vertrouwen burgers Input Through put Output Outcome Final outcome Inspectie Beroepsorganisaties Koepels Onder toezicht staanden Volksgezondheid De IGZ-effectketen

17 Effecten van toezicht (3) Een onderzoeksvraag omvat altijd twee elementen: type toezicht soorten effecten

18 Effecten van toezicht (3)

19 Effecten van toezicht (3) Elementen van toezicht: Toezicht als geheel Toezichtstrategieen: incidententoezicht, thematisch toezicht, gefaseerd toezicht Toezichtmaatregelen en instrumenten: o.a. circulaire, brieven, verbeterplan, bevel, sluiting, tuchtklacht Werkstijlen van inspecteurs adviserend vs. controlerend of empathisch vs. afstandelijk

20 Effecten van toezicht (4) Soorten effecten: Gewenste effecten: op de kwaliteit van het zorgproces op de volksgezondheid overige (bestuurlijke, politieke en maatschappelijke effecten)

21 Effecten van toezicht (5) Ongewenste effecten: hoge administratieve lasten onwil bij zorgaanbieders verdringingseffecten strategisch gedrag (manipulatie, fraude, window dresssing) publiek wantrouwen

22 Effecten van toezicht (6) Verstorende factoren: factoren die gerelateerd zijn aan zowel de toezichtactiviteiten als aan de mogelijke effecten sociale politieke economische patiëntgebonden factoren (genetische, biologische, psychologische, leefstijl)

23 Effecten van toezicht (7) Specifieke versus algemene onderzoeksvragen: specifieke, tijd-en plaatsgebonden activiteit. Resultaten niet generaliseerbaar naar andere tijdstippen, instellingen, populaties algemene onderzoeksvragen: onafhankelijk van plaats en tijd. Onderzoek is gericht op het genereren van algemene kennis; resultaten zijn generaliseerbaar

24 Inventarisatie literatuur geen effectonderzoeken kwalitatieve evaluaties van de werkwijzen van de inspectie (VS, UK, Australië en NL) (n=10) onderzoek naar de haalbaarheid van het meten van de effecten van toezicht

25 Onderzoeksmethoden (1): Mogelijke onderzoeksmethoden: 1 Kwantitatief onderzoek: experimenteel onderzoek: onderzoeker wijst de onderzoekseenheden (de ondertoezichtstaanden) voorafgaand aan het toezicht at random toe aan een bepaalde toezichtactiviteit (experimentele groep) dan wel aan een controleconditie die geen of een andere activiteit ondergaat

26 Onderzoeksmethoden (2): niet-experimenteel onderzoek: onderzoekers manipuleren niet, maar maken gebruik van het feit dat er spontaan verschillen in toezichtactiviteiten kunnen ontstaan over de tijd of tussen regio s

27 Onderzoeksmethoden (3): Niet-experimenteel onderzoek: quasi-experimenteel: interrupted time series analysis tijdreeksanalyse pipeline approach matching zuiver observationeel

28 Onderzoeksmethoden (4): 2 Kwalitatief onderzoek: articuleren van de doelen van toezicht verhelderen mechanismen begrijpen van de soorten effecten

29 Onderzoeksmethoden (5): Drie vormen van kwalitatief onderzoek: beleidstheoretische analyse documentenanalyse en interviews etnografisch onderzoek interviews en observatie case study interviews, documentenanalyse, observatie

30 Onderzoeksmethoden (5): 3 Gecombineerde methoden: combinatie van kwantitatieve en kwalitatieve methoden

31 Onderzoeksmethoden (6): Bewijskracht van de verschillende methoden: 1 experimentele studie 2 quasi-experimente studie* 3 zuiver obeservationeel onderzoek* 4 kwalitatief onderzoek *mits voldoende correctie mogelijk is voor verstorende factoren

32 Onderzoeksmethoden (7): kwalitatieve methoden kan gebruikt worden: 1. verklaren waarom een bepaalde toezichtactiviteit wel of niet werkt 2. genereren van hypothesen

33 Onderzoekbaarheid (1) selectie van 5 toezichtactiviteiten die de IGZ in de afgelopen vijf jaar heeft uitgevoerd representeren verschillende dimensies van IGZ activiteiten (domeinen van de zorg, verschillende inspectiemethoden en maatregelen)

34 Onderzoekbaarheid (2) circulaire overdosering methotrexaat bulletins preventie ongewenste seksuele intimiteiten sluiten van de afdeling cardiologie van het St Radboud ziekenhuis verbetering van de kwaliteit van verpleeghuiszorg thematisch toezicht op de jeugdgezondheidszorg

35 Onderzoekbaarheid (3) Ex-post versus ex-ante onderzoek ex-post: onderzoek als de toezichtactiviteit reeds is uitgevoerd ex-ante: onderzoek wordt opgezet, voordat de toezichtactiviteit wordt uitgevoerd

36 Ex-post en ex-ante onderzoekbaarheid van de verschillende toezichtmaatregelen die in de casus onderzocht zijn Ex-post Zorg proces Gezondheid Ex-ante Zorgproces Gezondheid 1. Circulaire MTX + tijdreeks - tijdreeks + tijdreeks - tijdreeks 2. Bulletins ongewenste seksuele intimiteiten - voor-na meting - tijdreeks ++ trial - trial 3. Sluiting afdeling St Radboud - kwalitatief +/- tijdreeks +/- voor-na meting +/- tijdreeks 4. Intensief gefaseerd toezicht verpleeghuiszorg - kwalitatief + tijdreeks - voor-na meting + tijdreeks 5. Thematisch toezicht jeugdgezondheidszorg - voor-na meting - tijdreeks + trial + trial

37 Conclusies onderzoekbaarheid (1) ex-post zijn de effecten minder goed te meten dan met een ex-ante aanpak ex-post kunnen de gewenste effecten van enkelvoudige activiteiten op het zorgproces soms goed gemeten worden met een tijdreeksanalyse indien er voor en na de interventie betrouwbare effectmaten beschikbaar zijn

38 Conclusies onderzoekbaarheid (2) ex-ante kunnen de gewenste en ongewenste effecten op het zorgproces en de volksgezondheid goed worden gemeten met een RCT, cluster-randomised trial, quasiexperimentele studie of tijdreeksanalyse in een ex-ante onderzoek is het mogelijk om vooraf effectmaten te ontwikkelen, te selecteren en onafhankelijk te meten, en om een goed contrast aan te brengen

39 Conclusies onderzoekbaarheid (3) De onderzoekbaarheid van de gewenste effecten van enkelvoudige en complexe toezichtactiviteiten op de kwaliteit van het zorgproces en de volksgezondheid Ex-post Ex-post Ex-ante Ex-ante Enkelvoudige toezichtactiviteiten Complexe toezichtactiviteiten Zorg proces Volks gezondheid Zorgproces + +/ /- +/- Volks Gezondheid

40 Relevantie van onderzoekvragen (1) Soorten toezichtactiviteiten wijzen van risicodetectie Is risicodetectie door een inspecteur effectief om zorginstellingen die onverantwoorde zorg leveren op te sporen? soorten maatregelen Is het uitbrengen van een circulaire effectief om de kwaliteit van het zorgproces en de volksgezondheid in verpleeghuizen te verbeteren? soorten toezichtstrategieen Is incidententoezicht effectief om de kwaliteit van het zorgproces in de ketenzorg te verbeteren? soorten werkstijlen van inspecteurs

41 Relevantie van onderzoekvragen (2) Soorten zorg soort zorginstelling (openbare, curatieve, geestelijke gezondheidszorg, etc.) soorten zorgactiviteit (verpleegkundige, paramedische of medische zorg) soorten doelgroep (diagnosegroep, kwetsbare groep etc.) Gewenste versus ongewenste effecten

42 Relevantie van onderzoekvragen (3) Tijdens een invitational conference noemden verschillende partijen de volgende relevante thema s: de effecten van incidententoezicht de effecten van verschillende wijzen van risicodetectie ongewenste effecten van toezicht, met name de administratieve belasting

43 Relevantie van onderzoekvragen (4) Criteria de omvang van het volksgezondheidsprobleem de mate waarin het vertrouwen in de zorg in het geding is de omvang van de toezichtactiviteit in kwestie de belasting van de ondertoezichtstaanden de generaliseerbaarheid vd resultaten de praktische toepasbaarheid van de resultaten

44 Infrastructuur (1) Cultuur van toetsbaarheid: systematisch beschrijven van: aanleiding, aard en omvang van ieder probleem de inhoud van de inspectie-interventie doel en beoogde resultaat van het toezicht hoe dat resultaat kan worden vastgesteld wanneer het vaststellen van het resultaat zijn beslag zal krijgen

45 Infrastructuur (2) Let wel!!! Cultuur van toetsbaarheid levert geen betrouwbare wetenschappelijke kennis op. Daarvoor is gerichte onderzoeksinspanning nodig

46 Infrastructuur (3) Behoefte aan: interactie tussen IGZ, onderzoekers en zorgaanbieders externe onderzoekers die meedenken, maar ook spanning creëren en innovatieve onderzoeksvragen bedenken

47 Infrastructuur (4) Oprichting academische werkplaats Open competitie

48 Aanbevelingen (1) 1 Streef binnen de IGZ naar een cultuur van toetsbaarheid 2 Breng een meerjarig onderzoeksprogramma tot stand met voldoende focus en massa 3 Ken in het onderzoeksprogramma subsidies toe op basis van open competitie tussen onderzoekers

49 Aanbevelingen (2) 4 Richt een academische werkplaats in 5 Investeer minimaal drie miljoen euro voor vier jaar om het onderzoek naar effecten van toezicht door de IGZ tot ontwikkeling te brengen

50 Dank aan: Commisieleden: Prof. J.P. Mackenbach prof. P.B.M. Robben Prof. W.J.J. Assendelft dr. C. Smit Prof. R. Bal dr. M.J.A. Tasche Prof. L.M. Bouter dr. J.N.D. De Neeling Prof. R. Grol leden van de RGO Prof. J. Kievit Gezondheidsraad Prof. F.L. Leeuw

51 Hartelijk bedankt Voor jullie aandacht!!

52 Discussiepunten Vinden jullie het nuttig als inspecties evidence based gaan werken? Kunnen de aanbevelingen uit dit advies toegepast worden bij andere inspecties?