Op weg naar evidence-based toezicht Het onderzoek naar de effecten van toezicht door de IGZ Saskia Pluijm VIDE 9 juni 2011
Raadscommissie voor Gezondheidsonderzoek (RGO) De RGO, ingesteld in 1987, heeft tot taak de ministers van VWS, OCW en EZ te adviseren over prioriteiten in het gezondheidsonderzoek, het zorgonderzoek en de daarbij behorende infrastructuur. Het maatschappelijk perspectief is daarbij steeds het uitgangspunt.
Inhoud Achtergrond Adviesaanvraag Werkwijze Onderzoeksmethoden Onderzoekbaarheid Relevante onderzoeksvragen Infrastructuur Aanbevelingen Discussiepunten
Achtergrond (1) Toezichthouders moeten efficient en doelmatig toezicht houden Sinds tachtiger jaren is het belang van toezicht gegroeid Kritiek op toezicht neemt echter ook toe
Achtergrond (2) Waarom is effectmeting nodig? intern: verbeteren van de kwaliteit van werken door te leren van de toezichthoudende werkzaamheden, verdere professionalisering van medewerkers extern: afleggen van verantwoording aan samenleving
Achtergrond (3) Algemene Rekenkamer: Handhaven en gedogen (2005): er moet meer inzicht komen in de effecten van handhaving op de naleving en uiteindelijk op de achterliggende doelen Handhaven en gedogen, Terugblik 2008: de meting van de effectiviteit van handhaving komt langzaam op gang
Adviesaanvraag (1) Oktober 2008: de Minister van VWS heeft de RGO gevraagd om een advies over hoe de effecten van toezicht door de IGZ gemeten kunnen worden
Adviesaanvraag (2) Evaluatieprogramma IGZ De rol van het toezicht in het gezondheidszorgbeleid en de zorg De werkwijze en instrumenten van het toezicht De effecten van het toezicht
Adviesaanvraag (3) De stand van zaken in het Nederlandse en internationale wetenschappelijke onderzoek De manier waarop de effecten van het toezicht door de IGZ wetenschappelijk verantwoord onderzocht kunnen worden De inrichting van een onderzoeksprogramma en de benodigde infrastructuur
Werkwijze (1) Oktober 2009: de RGO stelt een commissie in met wetenschappelijke deskundigen uit verschillende disciplines 10 leden: voorzitter: prof. J. Mackenbach (afdeling maatschappelijke Gezondheidszorg, Rdam) adviseur IGZ: prof. P. Robben secretarissen: dr. N. de Neeling en dr. S. Pluijm
Werkwijze (2) 1. Literatuuronderzoek: (PUBMED, EMBASE, grijze literatuur) 2. kennis over de onderzoekbaarheid (hoe kan onderzoek naar de effecten van toezicht het beste uitgevoerd worden?): bestudering methodologische literatuur analyse van 5 casussen
Werkwijze (3) 3. relevantie van mogelijke onderzoeksvragen: invitational conference met deskundigen uit het veld (juni 2010) 2 bijeenkomsten met IGZ 4. infrastructuur: bijeenkomst met de IGZ
Evidence based toezicht Evidence based medicine: integreren van het beste wetenschappelijke bewijs, de individuele professionele expertise en de waarden van de cliënt Op weg naar evidence based toezicht: toetsbaarheid van het werk onderzoek naar de causale effecten
IGZ Missie: de IGZ bevordert de volksgezondheid door toezicht te houden op de kwaliteit van de gezondheidszorg en medische producten toezicht: drie deelprocessen: informatie verzamelen (meldingen, calamiteiten, vragenlijsten) oordeelsvorming (op basis van risicoanalyse en toets ter plekke) interventie
Effecten van toezicht (1) Onderzoeksobject: effecten van toezicht: de verschijnselen of gebeurtenissen die zich voordoen ten gevolge van toezicht (gevolgen van toezicht) Object=causale relatie
Beleid VWS Vertrouwen burgers Input Through put Output Outcome Final outcome Inspectie Beroepsorganisaties Koepels Onder toezicht staanden Volksgezondheid De IGZ-effectketen
Effecten van toezicht (3) Een onderzoeksvraag omvat altijd twee elementen: type toezicht soorten effecten
Effecten van toezicht (3)
Effecten van toezicht (3) Elementen van toezicht: Toezicht als geheel Toezichtstrategieen: incidententoezicht, thematisch toezicht, gefaseerd toezicht Toezichtmaatregelen en instrumenten: o.a. circulaire, brieven, verbeterplan, bevel, sluiting, tuchtklacht Werkstijlen van inspecteurs adviserend vs. controlerend of empathisch vs. afstandelijk
Effecten van toezicht (4) Soorten effecten: Gewenste effecten: op de kwaliteit van het zorgproces op de volksgezondheid overige (bestuurlijke, politieke en maatschappelijke effecten)
Effecten van toezicht (5) Ongewenste effecten: hoge administratieve lasten onwil bij zorgaanbieders verdringingseffecten strategisch gedrag (manipulatie, fraude, window dresssing) publiek wantrouwen
Effecten van toezicht (6) Verstorende factoren: factoren die gerelateerd zijn aan zowel de toezichtactiviteiten als aan de mogelijke effecten sociale politieke economische patiëntgebonden factoren (genetische, biologische, psychologische, leefstijl)
Effecten van toezicht (7) Specifieke versus algemene onderzoeksvragen: specifieke, tijd-en plaatsgebonden activiteit. Resultaten niet generaliseerbaar naar andere tijdstippen, instellingen, populaties algemene onderzoeksvragen: onafhankelijk van plaats en tijd. Onderzoek is gericht op het genereren van algemene kennis; resultaten zijn generaliseerbaar
Inventarisatie literatuur geen effectonderzoeken kwalitatieve evaluaties van de werkwijzen van de inspectie (VS, UK, Australië en NL) (n=10) onderzoek naar de haalbaarheid van het meten van de effecten van toezicht
Onderzoeksmethoden (1): Mogelijke onderzoeksmethoden: 1 Kwantitatief onderzoek: experimenteel onderzoek: onderzoeker wijst de onderzoekseenheden (de ondertoezichtstaanden) voorafgaand aan het toezicht at random toe aan een bepaalde toezichtactiviteit (experimentele groep) dan wel aan een controleconditie die geen of een andere activiteit ondergaat
Onderzoeksmethoden (2): niet-experimenteel onderzoek: onderzoekers manipuleren niet, maar maken gebruik van het feit dat er spontaan verschillen in toezichtactiviteiten kunnen ontstaan over de tijd of tussen regio s
Onderzoeksmethoden (3): Niet-experimenteel onderzoek: quasi-experimenteel: interrupted time series analysis tijdreeksanalyse pipeline approach matching zuiver observationeel
Onderzoeksmethoden (4): 2 Kwalitatief onderzoek: articuleren van de doelen van toezicht verhelderen mechanismen begrijpen van de soorten effecten
Onderzoeksmethoden (5): Drie vormen van kwalitatief onderzoek: beleidstheoretische analyse documentenanalyse en interviews etnografisch onderzoek interviews en observatie case study interviews, documentenanalyse, observatie
Onderzoeksmethoden (5): 3 Gecombineerde methoden: combinatie van kwantitatieve en kwalitatieve methoden
Onderzoeksmethoden (6): Bewijskracht van de verschillende methoden: 1 experimentele studie 2 quasi-experimente studie* 3 zuiver obeservationeel onderzoek* 4 kwalitatief onderzoek *mits voldoende correctie mogelijk is voor verstorende factoren
Onderzoeksmethoden (7): kwalitatieve methoden kan gebruikt worden: 1. verklaren waarom een bepaalde toezichtactiviteit wel of niet werkt 2. genereren van hypothesen
Onderzoekbaarheid (1) selectie van 5 toezichtactiviteiten die de IGZ in de afgelopen vijf jaar heeft uitgevoerd representeren verschillende dimensies van IGZ activiteiten (domeinen van de zorg, verschillende inspectiemethoden en maatregelen)
Onderzoekbaarheid (2) circulaire overdosering methotrexaat bulletins preventie ongewenste seksuele intimiteiten sluiten van de afdeling cardiologie van het St Radboud ziekenhuis verbetering van de kwaliteit van verpleeghuiszorg thematisch toezicht op de jeugdgezondheidszorg
Onderzoekbaarheid (3) Ex-post versus ex-ante onderzoek ex-post: onderzoek als de toezichtactiviteit reeds is uitgevoerd ex-ante: onderzoek wordt opgezet, voordat de toezichtactiviteit wordt uitgevoerd
Ex-post en ex-ante onderzoekbaarheid van de verschillende toezichtmaatregelen die in de casus onderzocht zijn Ex-post Zorg proces Gezondheid Ex-ante Zorgproces Gezondheid 1. Circulaire MTX + tijdreeks - tijdreeks + tijdreeks - tijdreeks 2. Bulletins ongewenste seksuele intimiteiten - voor-na meting - tijdreeks ++ trial - trial 3. Sluiting afdeling St Radboud - kwalitatief +/- tijdreeks +/- voor-na meting +/- tijdreeks 4. Intensief gefaseerd toezicht verpleeghuiszorg - kwalitatief + tijdreeks - voor-na meting + tijdreeks 5. Thematisch toezicht jeugdgezondheidszorg - voor-na meting - tijdreeks + trial + trial
Conclusies onderzoekbaarheid (1) ex-post zijn de effecten minder goed te meten dan met een ex-ante aanpak ex-post kunnen de gewenste effecten van enkelvoudige activiteiten op het zorgproces soms goed gemeten worden met een tijdreeksanalyse indien er voor en na de interventie betrouwbare effectmaten beschikbaar zijn
Conclusies onderzoekbaarheid (2) ex-ante kunnen de gewenste en ongewenste effecten op het zorgproces en de volksgezondheid goed worden gemeten met een RCT, cluster-randomised trial, quasiexperimentele studie of tijdreeksanalyse in een ex-ante onderzoek is het mogelijk om vooraf effectmaten te ontwikkelen, te selecteren en onafhankelijk te meten, en om een goed contrast aan te brengen
Conclusies onderzoekbaarheid (3) De onderzoekbaarheid van de gewenste effecten van enkelvoudige en complexe toezichtactiviteiten op de kwaliteit van het zorgproces en de volksgezondheid Ex-post Ex-post Ex-ante Ex-ante Enkelvoudige toezichtactiviteiten Complexe toezichtactiviteiten Zorg proces Volks gezondheid Zorgproces + +/- + + - - +/- +/- Volks Gezondheid
Relevantie van onderzoekvragen (1) Soorten toezichtactiviteiten wijzen van risicodetectie Is risicodetectie door een inspecteur effectief om zorginstellingen die onverantwoorde zorg leveren op te sporen? soorten maatregelen Is het uitbrengen van een circulaire effectief om de kwaliteit van het zorgproces en de volksgezondheid in verpleeghuizen te verbeteren? soorten toezichtstrategieen Is incidententoezicht effectief om de kwaliteit van het zorgproces in de ketenzorg te verbeteren? soorten werkstijlen van inspecteurs
Relevantie van onderzoekvragen (2) Soorten zorg soort zorginstelling (openbare, curatieve, geestelijke gezondheidszorg, etc.) soorten zorgactiviteit (verpleegkundige, paramedische of medische zorg) soorten doelgroep (diagnosegroep, kwetsbare groep etc.) Gewenste versus ongewenste effecten
Relevantie van onderzoekvragen (3) Tijdens een invitational conference noemden verschillende partijen de volgende relevante thema s: de effecten van incidententoezicht de effecten van verschillende wijzen van risicodetectie ongewenste effecten van toezicht, met name de administratieve belasting
Relevantie van onderzoekvragen (4) Criteria de omvang van het volksgezondheidsprobleem de mate waarin het vertrouwen in de zorg in het geding is de omvang van de toezichtactiviteit in kwestie de belasting van de ondertoezichtstaanden de generaliseerbaarheid vd resultaten de praktische toepasbaarheid van de resultaten
Infrastructuur (1) Cultuur van toetsbaarheid: systematisch beschrijven van: aanleiding, aard en omvang van ieder probleem de inhoud van de inspectie-interventie doel en beoogde resultaat van het toezicht hoe dat resultaat kan worden vastgesteld wanneer het vaststellen van het resultaat zijn beslag zal krijgen
Infrastructuur (2) Let wel!!! Cultuur van toetsbaarheid levert geen betrouwbare wetenschappelijke kennis op. Daarvoor is gerichte onderzoeksinspanning nodig
Infrastructuur (3) Behoefte aan: interactie tussen IGZ, onderzoekers en zorgaanbieders externe onderzoekers die meedenken, maar ook spanning creëren en innovatieve onderzoeksvragen bedenken
Infrastructuur (4) Oprichting academische werkplaats Open competitie
Aanbevelingen (1) 1 Streef binnen de IGZ naar een cultuur van toetsbaarheid 2 Breng een meerjarig onderzoeksprogramma tot stand met voldoende focus en massa 3 Ken in het onderzoeksprogramma subsidies toe op basis van open competitie tussen onderzoekers
Aanbevelingen (2) 4 Richt een academische werkplaats in 5 Investeer minimaal drie miljoen euro voor vier jaar om het onderzoek naar effecten van toezicht door de IGZ tot ontwikkeling te brengen
Dank aan: Commisieleden: Prof. J.P. Mackenbach prof. P.B.M. Robben Prof. W.J.J. Assendelft dr. C. Smit Prof. R. Bal dr. M.J.A. Tasche Prof. L.M. Bouter dr. J.N.D. De Neeling Prof. R. Grol leden van de RGO Prof. J. Kievit Gezondheidsraad Prof. F.L. Leeuw
Hartelijk bedankt Voor jullie aandacht!!
Discussiepunten Vinden jullie het nuttig als inspecties evidence based gaan werken? Kunnen de aanbevelingen uit dit advies toegepast worden bij andere inspecties?