Checklist om te komen tot signaalvlaggen bij indicatoren

Transcriptie

1 1 Checklist om te komen tot signaalvlaggen bij indicatoren Dr. Marloes Zuidgeest Drs. Johan Visser Drs. Marja Appelman SiRM Strategies in Regulated Markets Nieuwe Uitleg BR Den Haag Den Haag, 18 december 2012

2 Inhoudsopgave CHECKLIST VOOR INDICATOREN Inleiding Leeswijzer Checklist voor indicatoren Doelgroep Uitgangspunten Proces van totstandkoming van de checklist Rapportagetool Verantwoording voor de vragen in de checklist Toekennen van vlaggen aan de hand van criteria in de checklist Inhoudsvaliditeit setniveau Inhoudsvaliditeit indicatorniveau Populatievergelijkbaarheid Registratievergelijkbaarheid Steekproefvergelijkbaarheid Statistisch betrouwbaar onderscheiden Aanpassingen in onderliggende documenten Inleiding Van Indicatorstandaard 1.5 naar Van Routekaart 1.0 naar CQI Handboeken Tot slot Bijlagen B1 Verslag deskundigen overleg B2 Verslag workshop checklist dd 26 november B3 Checklist voor indicatoren B4 Herkomst van de vragen in de checklist voor indicatoren /62

3 CHECKLIST VOOR INDICATOREN De checklist voor indicatoren bevat 32 vragen, opgedeeld in een aantal blokken. Elke blok vragen eindigt met een vlaggenvraag (een vraag A tot en met F) die niet ingevuld hoeft te worden, maar wordt afgeleid uit de antwoorden op de andere vragen. Algemene vragen zijn als vragen gesteld, beoordelingsvragen zijn als stelling geformuleerd. Vragen op indicatorsetniveau 1. Naam van de indicatorset: 2. De indicatorset bevat (type indicatoren): 3. Maand van invullen 4. Aanspreekpunt 5. De indicatorset is door alle relevante partijen in de zorg goedgekeurd. 6. De indicatorset is gebaseerd op een omschrijving van wat goede zorg is (bijvoorbeeld een kwaliteitsvisie of professionele standaard). 7. De kwaliteitsdomeinen uit de omschrijving wat goede zorg is worden gedekt in de indicatorset. 8. De fasen van het zorgproces uit de omschrijving wat goede zorg is worden gedekt in de indicatorset. A. De vlag voor inhoudsvaliditeit op setniveau is: Vragen op indicatorniveau 9. Wat is de naam van de indicator? 10. Wat voor type indicator betreft het? 11. Is de frequentie waarmee de indicators gemeten wordt bekend? Zo ja, wat is deze frequentie? 12. Wat is het aggregatieniveau waarop de indicator (openbaar) gerapporteerd wordt? 13. Wat is (zijn) de gebruiksdoel(en) van de indicator naast keuze informatie voor de patiënt? 14. Wat is het beoogde jaar van evaluatie van de (definitie van de) indicator? 15. Heeft voor de indicator een praktijktest plaatsgevonden? 16. Is een vragenlijst gebruikt bij het meten van de indicator? 17. Er is een (werk)instructie die aangeeft hoe de vragenlijst moet worden afgenomen. 18. De (vragen)lijst wordt afgenomen door een geaccrediteerd meetbureau. 19. De vragenlijst waarmee de indicatorwaarden verzameld zijn, is gevalideerd. 20. Er is een verantwoordingsdocument over de validatie van de vragenlijst waarmee de indicatorwaarden zijn verzameld. 21. De indicator is door alle relevante partijen goedgekeurd. 2 3/62

4 22. Het wetenschappelijk bewijs dat de indicator verband houdt met de uitkomst van de geleverde zorg is voldoende. B. De kleur van de signaalvlag voor inhoudsvaliditeit is: 23. Er is aangetoond dat correctie voor populatieverschillen niet nodig is. 24. De correctie voor populatieverschillen is voor de juiste achtergrondkenmerken uitgevoerd. C. De kleur van de signaalvlag voor populatievergelijkbaarheid is: 25. De omschrijving van de indicator is helder en eenduidig. 26. De benodigde gegevens worden op een gestandaardiseerde wijze geregistreerd. 27. De aangeleverde gegevens kunnen worden gecontroleerd. 28. De gegevens die gebruikt zijn voor de berekening van de indicatorwaarde worden primair gebruikt voor andere doeleinden dan het aanleveren van de gegevens voor de berekening van de indicatorwaarde. 29. In de definitie van de indicator staat aangegeven welke ICT standaard gehanteerd wordt bij de registratie van de voor deze indicator noodzakelijke data. D. De kleur van de signaalvlag voor registratievergelijkbaarheid is: 30. De indicator wordt berekend op basis van metingen bij de gehele populatie. 31. Er is een voorgeschreven steekproefprocedure toegepast. 32. De uiteindelijke steekproef is representatief (gemaakt) voor de juiste achtergrondkenmerken. E. De kleur van de signaalvlag voor steekproef- en responsvergelijkbaarheid is: 33. Er is aangetoond dat de indicatorwaarden niet op toeval berusten. 34. Het aantal waarnemingen voor de indicator is naar verwachting voldoende om betrouwbare uitspraken te kunnen doen. 35. De indicatorwaarden zijn statistisch betrouwbaar onderscheidend. F. De kleur voor de signaalvlag voor statistisch betrouwbaar onderscheiden is: 2 4/62

5 1. Inleiding Met de oprichting van het Kwaliteitsinstituut zijn enkele nieuwe elementen beschreven die moeten leiden tot eenduidige kwaliteitskaders en inzicht in kwaliteit van de zorg. Met deze kaders wordt bijgedragen aan een voortdurende verbetering van de kwaliteit van zorg. Belangrijke instrumenten van het Kwaliteitsinstituut zijn het toetsingskader 1, en het register. Het toetsingskader dient ter beoordeling van instrumenten die gehanteerd worden in het proces van kwaliteitsbevordering (kwaliteitsinstrumenten). In het register worden alle kwaliteitsinstrumenten opgenomen die voldoen aan de gestelde toetsingscriteria. De typen kwaliteitsinstrumenten die worden onderscheiden zijn kwaliteitsstandaarden en meetinstrumenten. Meetinstrumenten omvatten (zorginhoudelijke) indicatoren én vragenlijsten als de CQI 2 en PROM s 3. (Zorginhoudelijk) indicatoren worden momenteel beoordeeld volgens de Indicatorstandaard versie 1.5 4, CQI vragenlijsten aan de hand van het CQI Handboek. De PROM s zijn nog in ontwikkeling. Hiervoor zijn nog geen specifieke criteria in het toetsingskaders opgenomen. Om klantervaringsindicatoren en zorginhoudelijke indicatoren op te kunnen nemen in het register, is het van belang een duidelijk kader te scheppen waaraan deze indicatoren dienen te voldoen. De verschillende standaarden, handboeken en het voorlopig toetsingskader die hiervoor zijn ontwikkeld bieden hiervoor een leidraad. De documenten zijn echter op een aantal punten verschillend van elkaar en zijn, in hun huidige vorm, niet bruikbaar als instrument om vast te stellen of een indicator voldoet aan de gestelde methodologische eisen om opgenomen te worden in het register. Met de oprichting van het Kwaliteitsinstituut is de behoefte ontstaan een concrete checklist te ontwikkelen om de methodologische kwaliteit van indicatoren te beoordelen. Hierbij is de wens geuit om meer samenhang aan te brengen in de bestaande instrumenten om indicatoren te toetsen. De checklist voor indicatoren bevat heldere en eenduidige vragen waarmee het mogelijk is om te beoordelen in welke mate kwaliteitsindicatoren voldoen aan de toetsingscriteria van het Kwaliteitsinstituut. De vragen sluiten aan bij het voorlopig toetsingskader, de Indicatorstandaard en de CQI Handboeken. Dit document dient ter verantwoording van de ontwikkeling van een checklist voor indicatoren waarmee het mogelijk is methodologische kaders te stellen aan indicatoren ter opname van de indicatoren in het register. Daarnaast biedt dit document een overzicht van wijzigingen die in de Indicatorstandaard 2.0 en routekaart zijn aangebracht alsmede 1 Kwaliteitsinstituut (20 augustus 2012). Voorlopig voorstel voor het Toetsingskader voor de toetsing van kwaliteitsstandaarden en meetinstrumenten van kwaliteit in de zorg. 2 CQI vragenlijsten zijn beschikbaar op 3 PROMs vragenlijst zijn beschikbaar op 4 Zichtbare Zorg (3 februari2012) Indicatorstandaard /62

6 voor voorstellen voor aanpassingen in Handboeken CQI Ontwikkeling en Eisen en Werkwijzen Metingen. 1.1 Leeswijzer Naast dit inleidende hoofdstuk, bevat de Checklist om te komen tot signaalvlaggen bij indicatoren een omschrijving van het doel en de doelgroep van de checklist (Hoofdstuk 2). Ook beschrijft dit hoofdstuk het proces van de totstandkoming van de checklist. Hoofdstuk 3 bevat een verantwoording van de criteria in het voorlopig toetsingskader en welke vragen in de checklist hieraan gerelateerd zijn. Hoofdstuk 4 gaat in op het toekennen van vlaggen aan de hand van criteria in de checklist. Aanpassingen die gemaakt zijn in de Indicatorstandaard 1.5 en Routekaart worden in Hoofdstuk 5 besproken. Ook worden in dit hoofdstuk voorstellen gedaan voor het aanpassen van deze en CQI Handboeken. Het document wordt afgesloten met slotwoord en een aantal bijlagen. 2 6/62

7 2. Checklist voor indicatoren Indicatoren die aangeboden worden aan het Kwaliteitsinstituut dienen te voldoen aan het toetsingskader voordat ze in het register opgenomen kunnen worden. Bij de ontwikkeling van indicatoren (en vragenlijsten) dienen ontwikkelaars te weten aan welke procesmatige en methodologische eisen ze dienen te voldoen. De doelgroep van de checklist evenals de uitgangspunten die gehanteerd zijn bij het ontwikkelen van de checklist worden hieronder beschreven. 2.1 Doelgroep Een doelgroep voor de checklist zijn indicatorontwikkelaars. Zij kunnen door brancheorganisaties, wetenschappelijke verenigingen, zorgverzekeraars en patiëntenorganisaties opdracht gekregen hebben een indicator(set) te ontwikkelen. Zij kunnen op grond van de checklist beoordelen op welke punten de indicatoren(sets) worden getoetst. Een tweede doelgroep zijn de medewerkers van het Kwaliteitsinstituut die de ingevulde checklist bij de ingediende indicatoren moeten kunnen interpreteren zodat de indicatoren in de adviescommissie Kwaliteit kunnen worden beoordeeld ter opname in het register. Indien nodig kan hierbij advies van methodologische experts ingeroepen kunnen worden. 2.2 Uitgangspunt en In de te ontwerpen checklist voor indicatoren worden een aantal uitgangspunten gehanteerd, namelijk: 1. De reikwijdte van de checklist voor indicatoren wordt bepaald door het voorlopig toetsingskader. Daarom onderscheiden we bij de checklist voor indicatoren procescriteria (o.a. wijze tot stand komen van indicatoren) en methodologische criteria, naast algemene informatieve vragen. Voor methodologische criteria zijn de toetsingscriteria uit de Indicatorstandaard de basis: inhoudsvaliditeit, registratievergelijkbaarheid,populatievergelijkbaarheid, steekproefvergelijkbaarheid en statistische betrouwbaar onderscheiden. 2. In de checklist worden waar mogelijk voor verschillende type indicatoren (zorginhoudelijke indicatoren, klantervaringsindicatoren, klantpreferenties) dezelfde vragen gesteld. Indien dit niet mogelijk is, dan blijven de vragen gescheiden. 2 7/62

8 3. Het aantal vragen per indicator moet niet te groot zijn. Immers de beoordeling per indicator kost veel tijd en is op dit moment niet altijd eenvoudig vast te stellen. Per indicatorset zijn er veel indicatoren te beoordelen. Het is de bedoeling dat de betreffende checklist een minimale administratieve last wordt. 4. Er zijn twee versies van de checklist opgeleverd. De eerste versie is bedoeld voor de beoordeling van de huidige set van indicatoren. Hierin vormen de vlaggen de basis voor de beoordeling. De tweede versie betreft een versie voor de toekomst. In deze versie worden de vlaggen afgeleid uit de gestelde vragen. 2.3 Proces van totstandkoming van de checklist De checklist is tot stand gekomen via de volgende stappen Inventarisatiefase In deze fase zijn achtergronddocumenten - de Indicatorstandaard versie 1.5, CQI Handboek Ontwikkeling, CQI Handboek Eisen en Werkwijzen Metingen, het voorlopig toetsingskader, de indicatorgidsen, de inhoudelijke beoordelingen van de indicatorsets en de vlaggenrapportages van de verschillende sectoren- doorgenomen en geanalyseerd. Deze inventarisatie heeft geleid tot een raamwerk voor het ontwerpen van de checklist voor meetinstrumenten die toepasbaar zijn op zorginhoudelijke als klantervaringsindicatoren. Dit raamwerk is besproken met het Kwaliteitsinstituut en omgevormd tot een eerste versie van de checklist voor indicatoren. Daarnaast leverde deze fase informatie op voor voorstellen in aanpassingen in achtergronddocumenten (zie Hoofdstuk 5) Ontwikkelfase In deze fase is de checklist ontworpen en geconsulteerd middels twee deskundigen bijeenkomsten. In de eerste groep participeerden bracheorganisaties GGZ NL, VGN, NPCF, NHG, CG Raad, en de Orde van Medisch Specialisten. In de tweede bijeenkomst participeerden de onderzoeksbureaus NIVEL, IQ Healthcare, IKNL, KPMG-Plexus, Argo, Significant en Regioplan. Hun opmerkingen betroffen: Met name de deelnemers uit het overleg met de brancheverenigingen gaven aan dat de status van de checklist voor hen onvoldoende duidelijk is om op de inhoud uit de checklist te kunnen reageren. De vragen die genoemd zijn door de deelnemers zijn: Wat zijn de minimale eisen die gesteld worden aan de indicatoren? Welke rol speelt de checklist daarbij? Wie vult de checklist in en wie beoordeelt de checklist? 2 8/62

9 Wanneer moeten indicatoren aangeboden worden aan het Kwaliteitsinstituut? Welke indicatoren moeten in het register komen en openbaar worden gemaakt? Zijn alle onderdelen uit de checklist even belangrijk? Overkoepelende opmerkingen over de checklist betroffen de uitgangspunten van de checklist, de opbouw van de checklist, en onderwerpen die gemist worden. Daarnaast werden nog opmerkingen gemaakt over individuele items. Op antwoord te geven op deze bovengenoemde vragen dient het Kwaliteitsinstituut een beleidskader te ontwikkelen. Voor het verslag van deze bijeenkomsten, zie Bijlage Testfase De checklist voor indicatoren is op basis van de reacties uit de bijeenkomsten aangepast. Op deze aangepaste versie hebben medewerkers van het Kwaliteitsinstituut een eerste test gedaan door een indicator aan de hand van de checklist te beoordelen. Hieruit volgden nog enkele aanpassingen. Vervolgens is de checklist middels een workshop door medewerkers van het Kwaliteitsinstituut getoetst voor bestaande indicatoren van verschillende sectoren. Het betreft de sectoren Ziekenhuiszorg, Geestelijke Gezondheidszorg, Gehandicaptenzorg, Kraamzorg, Eerstelijns Verloskunde, Verpleging Verzorging & Thuiszorg en Fysiotherapie. Tijdens deze workshop participeerden medewerkers van Zichtbare Zorg die betrokken waren bij de indicatoren van een bepaalde sector en medewerkers van het College van Zorgverzekeringen (allen toekomstige medewerkers van het Kwaliteitsinstituut). De hoofdpunten die besproken waren, betreffen: Er zijn veel documenten nodig om de checklist goed in te vullen. Naast de indicatorgids, een signaalvlaggenrapport en de signaalvlaggentoekenning voor verslagjaar 2012, waren ook documenten nodig zoals een kwaliteitsvisie en resultaten uit een praktijktest. Dit betrof vooral die sectoren waarin de indicatorset in de loop der tijd is doorontwikkeld. In dat geval zijn oudere documenten nodig om de benodigde informatie voor de checklist te verzamelen. Verder werden algemene opmerkingen gemaakt zoals dat de checklist niet past bij vragenlijsten die niet zijn gemaakt om zorgaanbieders onderling te vergelijken, het formuleren van merkvrije vragen (geen CQI), meer informatie over wanneer bepaalde antwoord categorieën van toepassing zijn. Naast algemene opmerkingen zijn vragen op indicatorniveau maakt. Voor een verslag van de workshop, zie Bijlage /62

10 Op basis van de workshop is de checklist aangepast. Zie bijlage 3 voor de definitieve versie van de checklist voor indicatoren inclusief de antwoordcategorieën en de toelichting die nodig is bij het invullen van de checklist voor indicatoren. 2.4 Rapportagetool De definitieve checklist voor indicatoren is omgevormd tot een rapportagetool in Excel. Zie Figuren 1, 2 en 3 voor een indruk. De eerste kolom beschrijft de vraag, in de tweede kolom kan het antwoord op de vraag ingevuld worden. Indien een vraag uit multiple choice antwoorden bestaat kunnen of meerdere antwoorden aangevinkt worden, of kan er uit een selectie gemaakt worden uit voorgeprogrammeerde antwoorden (scroll down menu). Toelichtende informatie verschijnt indien men met de muis over de vraag scrolt om de vraag beter te begrijpen en bevat informatie over de antwoord categorieën. Figuur 1. Invulblad voor algemene informatieve vragen, naast proces en methodologische vragen op setniveau 2 10/62

11 Figuur 2. Invulblad voor algemene, proces en methodologische vragen op indicatorniveau Figuur 3. Resultatenblad 2 11/62

12 3. Verantwoording voor de vragen in de checklist Onderstaande tabel beschrijft vanuit de eisen van het voorlopig toetsingskader welke vragen hiervoor opgenomen zijn in de checklist voor indicatoren. Tabel 1. Samenhang tussen criteria van het voorlopig toetsingskader en de vragen in de Checklist voor Indicatoren I Criteria vanuit voorlopig toetsingskader Vragen in de Checklist voor Indicatoren Procedurele criteria Procedurele criteria bij kwaliteitsindicatoren en vragenlijsten (1) Zijn de relevante veldpartijen Aangegeven moet worden of alle relevante betrokken geweest bij ontwikkeling van partijen in de zorg de set (vraag 3) of de indicator of vragenlijst en welke indicator (vraag 18) goedgekeurd hebben. partijen zijn dat? Welke partijen betrokken waren, kunnen in een toelichtingsveld genoteerd worden. (2) Hebben de betrokken partijen Deze vraag wordt met vraag 3 goedkeuring voldoende gelegenheid gekregen naar op set niveau en vraag 18 goedkeuring op behoren bij te dragen en is hun bijdraag indicatorniveau gedekt. naar behoren verwerkt? (3) Is de goedkeuringsprocedure helder Deze vraag wordt met vraag 3 goedkeuring vastgesteld bij de aanvang van de op set niveau en vraag 18 goedkeuring op ontwikkeling van de indicator of indicatorniveau gedekt. vragenlijst? (4) Is de indicator of vragenlijst Deze vraag wordt met vraag 3 goedkeuring goedgekeurd door relevante partijen? op set niveau en vraag 18 goedkeuring op indicatorniveau gedekt. (5) Zijn alle betrokken partijen van Op basis van de antwoorden op vraag 3 mening dat de indicator of vragenlijst goedkeuring op set niveau en vraag 18 geïmplementeerd kan worden in de goedkeuring op indicatorniveau wordt zorgomgeving waar hij van toepassing is? dit criterium beoordeeld. Procedurele criteria bij vragenlijsten (in aanvulling op criteria 1 t/m 5) (6) Zijn de relevante veldpartijen het met elkaar eens dat de kwaliteit van zorg en/of In de omschrijving van wat goede zorg is, staat naast een visie wat goede kwaliteit is de kwaliteit van leven met deze ook omschreven met welke indicatoren en vragenlijst adequaat wordt gemeten? vragenlijsten deze zorg gemeten dient te worden. Daarnaast is er een vraag gesteld met welke vragenlijst de indicatorwaarden gemeten zijn (vraag 13). 2 12/62

13 Criteria vanuit voorlopig toetsingskader (7) Is er een werkinstructie die aangeeft hoe de vragenlijst moet worden afgenomen? Vragen in de Checklist voor Indicatoren Er is een vraag opgenomen over de aanwezigheid van een (werk)instructie, vraag 14. Methodologische criteria Methodologische criteria bij kwaliteitsindicatoren en vragenlijsten (8) Is het gebruiksdoel van de indicator of vragenlijst helder beschreven? In de checklist is een vraag opgenomen voor welke doeleinde de indicator gebruikt kan worden naast patiënt-keuze informatie (vraag 11) Methodologische criteria bij kwaliteitsindicatoren (in aanvulling op criterium 8) (9) Is helder beschreven voor welke In de checklist is hierover een vraag variabele of vraag de indicator is opgenomen, vraag 26 In de definitie van opgesteld en welke ICT-standaard wordt de indicator staat aangegeven welke ICT gehanteerd bij de elektronische registratie tie standaard gehanteerd wordt bij de van de voor deze indicator noodzakelijke data? registratie van de voor deze indicator noodzakelijke data. (10) Is de indicator beschreven in De checklist bevat een aantal vragen die overeenstemming met de inhoudelijke voorwaarden conform het format van de Indicatorstandaard? terug te herleiden zijn naar het format van de Indicatorstandaard, namelijk vragen 5 (kwaliteitsdomeinen), 6 (fasen van het zorgproces), 8 (type indicator), 9 (rapportage frequentie), 10 (meetniveau), 22 (helder en eenduidige omschrijving indicator) en vragen over de methodologische criteria. (11) Voldoet de indicator aan de Dit is de gehele checklist met methodologische voorwaarden zoals methodologische vragen. beschreven in de Indicatorstandaard? (12) Is de analyse van de indicator naar Dit criterium is ondervangen door vraag 22 berekende indicatorwaarde helder De omschrijving van de indicator is helder geoperationaliseerd? en eenduidig. (13) Is de vragenlijst volgens de De CQI methodiek wordt niet genoemd in methodiek van de CQ-index ontwikkeld? de checklist. In plaats daarvan worden vragen gesteld over de manier van uitvragen volgens deze methodiek. Vragen 14 (aanwezigheid [werk]instructie), 15 (vragenlijst wordt door geaccrediteerd meetbureau afgenomen), /62

14 Criteria vanuit voorlopig toetsingskader (14) Is de vragenlijst niet volgens de methodiek van de CQ-index ontwikkeld en meet hij ervaringen en/of meningen en/of kwaliteit van leven van cliënten op een kwantitatieve manier maar anders dan een CQ-index vragenlijst? Dan gelden de volgende criteria: - de ontwikkeling moet voldoen aan de ontwikkelcriteria van de CQ-index; - het verantwoordingdocument moet een heldere onderbouwing bevatten van de gevolgde gde methode. (15) Is de vragenlijst niet kwantitatief georiënteerd maar maakt hij gebruik van kwalitatief onderzoek oek en/of narratieve methoden? Het verantwoordingsdocument moet een heldere toelichting op de gevolgde methode bevatten. (16) Is gedefinieerd over welke cliëntengroep gegevens worden verzameld? (17) Zijn er criteria voor het excluderen van cliënten en zijn de relevante case-mix variabelen benoemd? Vragen in de Checklist voor Indicatoren (verantwoordingsdocument aanwezig) en 16 (vragenlijst gevalideerd) ondervangen dit criterium. nvt Vraag 16 De vragenlijst waarmee de indicatorwaarden verzameld zijn, is gevalideerd dekt dit criterium. Vraag 17 Er is een verantwoordingsdocument over de validatie van de vragenlijst waarmee indicatorwaarden zijn verzameld dekt dit criterium. Dit criterium wordt gedekt door vraag 17 Er is een verantwoordingsdocument over de validatie van de vragenlijst waarmee indicatorwaarden zijn verzameld. Dit criterium wordt gedekt door vraag 14: Er is een (werk)instructie die aangeeft voor wie (doelgroep) en hoe (welke dataverzamelingsmethode) de vragenlijst moet worden afgenomen. Er wordt niet specifiek naar case-mix variabelen gevraagd. Wel wordt er een vraag gesteld of er aangetoond is dat correctie van achtergrondkenmerken niet nodig is (vraag 20) en wordt er een vraag gesteld of voor de juiste achtergrondkenmerken een correctie is uitgevoerd (vraag 21). 2 14/62

15 4. Toekennen van vlaggen aan de hand van criteria in de checklist Aan de hand van de vragen in de checklist kunnen de vlaggen uit de Indicatorstandaard beredeneerd worden. Deze redenatie is door het Kwaliteitsinstituut samen met SiRM vormgegeven. Per toetsingscriterium (inhoudsvaliditeit op setniveau, inhoudsvaliditeit om indicatorniveau, populatievergelijkbaarheid, registratievergelijkbaarheid, steekproefvergelijkbaarheid, en statistisch betrouwbaar onderscheiden) wordt eerst de vragen en antwoord categorieën uiteengezet waarnaar de beoordeling volgt. 4.1 Inhoudsvalid iteit setn iveau Vraag in checklist 6. De indicatorset is gebaseerd op een omschrijving van wat goede zorg is (bijvoorbeeld een kwaliteitsvisie of professionele standaard). 7. De kwaliteitsdomeinen uit de omschrijving wat goede zorg is worden gedekt in de indicatorset. 8. De fasen van het zorgproces uit de omschrijving wat goede zorg is worden gedekt in de indicatorset. Antwoordmogelijkheden - Ja - Gedeeltelijk - Nee - Nvt - Geen informatie - Ja - Gedeeltelijk - Nee - Nvt - Geen informatie - Ja - Gedeeltelijk - Nee - Nvt - Geen informatie Hieronder de beoordeling van de Indicatorstandaard versus de vragen en antwoorden uit de checklist Vlagkleur Omschrijving Indicatorstandaard Welke antwoorden leiden tot welke vlag?* Vlag kan niet nvt Geen informatie op vraag 6, 7 worden en 8 vastgesteld Voldoet Alle relevante zorgonderdelen zijn 6. ja, en 2 15/62

16 Vlagkleur Voldoet deels Omschrijving Indicatorstandaard Welke antwoorden leiden tot welke vlag?* opgenomen in de indicatorset, 7. ja, en waaronder ten minste aandacht voor 8. ja de uitkomst die voor de cliënten relevant is. De zorginhoudelijk meest relevante kwaliteitsdomeinen worden gedekt Enkele kwaliteitsdomeinen zijn in 6. ja de set opgenomen, maar belangrijke en aspecten ontbreken. 7. Gedeeltelijk en 8. Ja Of 6. Ja en 7. Ja en 8. Gedeeltelijk Voldoet niet De indicatorset omvat geen of Overige gevallen nauwelijks indicatoren voor de relevante kwaliteitsdomeinen en/of fasen * er zijn meer combinaties van antwoorden mogelijk, deze worden nu nog niet allemaal gedekt in tabel maar moet verder worden uitgezocht 4.2 Inhoudsvalid iteit indicatorniv eau Vraag in checklist 22. Het wetenschappelijk bewijs dat de indicator verband houdt met de uitkomst van de geleverde zorg is voldoende. Antwoordmogelijkheden - Ja - Gedeeltelijk - Nee - Nvt - Geen informatie Hieronder de beoordeling van de Indicatorstandaard versus de vragen en antwoorden uit de checklist 2 16/62

17 Vlagkleur Vlag kan niet worden vastgesteld Voldoet Voldoet deels Voldoet niet Omschrijving Indicatorstandaard Welke antwoorden leiden tot welke vlag? nvt 22. nvt of geen informatie Een eenduidige relatie tussen de uitkomstindicator 22. ja en het zorgproces is beschreven. Of, in het geval van een proces- of structuurindicator, de relatie tussen het structuur- of proceskenmerk en de zorguitkomsten is beschreven. Deze relatie is onderbouwd door wetenschappelijk onderzoek (ten minste graad C bewijskracht), of, als dit onderzoek niet voorhanden is, op basis van consensus (graad D bewijskracht) onder deskundigen middels een voorgeschreven methodiek. Een eenduidige relatie tussen de uitkomstindicator 22. en het zorgproces is niet beschreven. Of, in het gedeeltelijk geval van een proces of structuurindicator, de relatie tussen het structuur- of proceskenmerk en de zorguitkomsten is niet beschreven. Tegelijkertijd is er geen reden om aan het bestaan van deze relatie te twijfelen. Of: De relatie is onderbouwd door wetenschappelijk onderzoek (ten minste graad C bewijskracht), en er is een matige of een niet eenduidige relatie tussen het zorgproces en de zorguitkomsten. Of: De relatie is onderbouwd door consensusoordeel van deskundigen, de gevolgde consensus methodiek is echter onvoldoende. Een eenduidige relatie tussen de uitkomstindicator 22. nee en het zorgproces is niet beschreven. Of de relatie tussen het structuur of proceskenmerk en de zorguitkomsten is niet beschreven. Bovendien zijn er redenen om aan het bestaan van deze relatie te twijfelen. 2 17/62

18 4.3 Populatiever gel ijkbaa rheid Vraag in checklist Antwoordmogelijkheden 10. Wat voor type indicator betreft het? - Structuur - Proces - Uitkomst 23. Er is aangetoond dat correctie voor - Ja populatieverschillen niet nodig is. - Nee - Nvt - Geen informatie 24. De correctie voor populatieverschillen is voor de juiste achtergrondkenmerken uitgevoerd. - Ja - Gedeeltelijk - Nee - Nvt - Geen informatie Hieronder de beoordeling van de Indicatorstandaard versus de vragen en antwoorden uit de checklist Vlagkleur Vlag kan niet worden vastgesteld Omschrijving Indicatorstandaard Welke antwoorden leiden tot welke vlag?* Nvt 23.geen informatie en 24.geen informatie Voldoet Een populatiecorrectie methodiek wordt gehanteerd waarbij de populatiefactoren voor correctie goed zijn onderbouwd. Of: Er is onderbouwd dat er geen verschillen in populatie tussen zorgaanbieders zijn die de indicatorwaarde significant beïnvloeden. 10. Structuur Of 10. Proces of uitkomst en 23. Ja Of 10. Proces of uitkomst en 24. Ja 2 18/62

19 Voldoet deels Voldoet niet Indien bij een procesindicator zonder adequate onderbouwing wordt afgezien van correctie voor populatiefactoren. Of: de populatiecorrectie methodiek die wordt gehanteerd neemt niet de relevante populatie variabelen mee of is anderszins beperkt onderbouwd. Indien bij een uitkomstindicator zonder onderbouwing wordt afgezien van correctie voor populatiefactoren; Of: indien bij een uitkomst- of procesindicator het op basis van literatuur of expert opinion relevant wordt geacht een correctie uit te voeren, maar hierin niet of marginaal is voorzien. 10. proces of uitkomst en 23.nee en 24.gedeeltelijk Overige gevallen 4.4 Regis tratiever gel ijk baarheid Vraag in checklist 16. Is een vragenlijst gebruikt bij het meten van de indicator? Antwoordmogelijkheden - nee - ja, namelijk - Geen informatie 25. De omschrijving van de indicator is helder en eenduidig. 26. De benodigde gegevens worden op een gestandaardiseerde wijze geregistreerd. (indien praktijktest = ja) 27. De aangeleverde gegevens kunnen worden gecontroleerd. 28. De gegevens waarop de indicator gebaseerd is worden primair gebruikt voor andere doeleinden dan het - Ja - Nee - Nvt - Geen informatie - Ja - Nee - Nvt - Geen informatie - Ja - Nee - Nvt - Geen informatie - Ja - Nee 2 19/62

20 aanleveren van de gegevens voor de berekening van de indicatorwaarde. 29. In de definitie van de indicator staat aangegeven welke ICT-standaard gehanteerd wordt bij de registratie van de voor deze indicator noodzakelijke data. - Nvt - Geen informatie - Ja - Nee - Nvt - Geen informatie Beoordeling Indicatorstandaard vs. vragen en antwoorden uit checklist Vlagkleur Vlag kan niet worden vastgesteld Voldoet Omschrijving Indicatorstandaard Welke antwoorden leiden tot welke vlag? Nvt 25. Geen informatie en 26. geen informatie en 27. geen informatie en 28. Geen informatie en 29. Geen informatie De indicator is helder, precies en volledig 25. Ja omschreven, inclusief beschrijving van en wat er 26. Ja wordt gemeten, de in- en exclusiecriteria en van de doelpopulatie, de teller/noemer 27. Ja (indien relevant) en het meetinstrument en (indien relevant). De meet-, registratie- 28. Ja berekeningen en rapportage instructies zijn volledig en 29. Ja precies omschreven. In het geval dat een meetinstrument wordt gebruikt gaat het OF om een gevalideerd instrument. Indien 16. Ja meerdere en meetinstrumenten zijn toegestaan is 25. Ja aangetoond dat de meetinstrumenten en dezelfde uitkomsten genereren in 26. Ja dezelfde omstandigheden. Data worden (elektronisch en) eenduidig op cliëntniveau vastgelegd, idealiter tijdens het zorgproces zelf. De tijdigheid, correctheid en volledigheid van 2 20/62

21 Vlagkleur Voldoet deels Voldoet niet Omschrijving Indicatorstandaard Welke antwoorden leiden tot welke vlag? deze vastlegging is geborgd via procedures of kwaliteitscontroles, waaronder goedkeuringsprocedures. door de verantwoordelijke professional indien die niet zelf de gegevens heeft vastgelegd. Ook zijn de vastgelegde data retrospectief controleerbaar (op cliëntniveau), inclusief gelogde informatie over datum van vastlegging, wijzigingen, auteur, enzovoort. Er is, met andere woorden, minimale ruimte voor datamanipulatie. De indicator en bijbehorende definities en instructies zijn niet scherp 25. ja omschreven en de en indicator is voor meerdere interpretaties 26. Ja vatbaar. en Of: 27 of 28 of 29. Nee of Data worden elektronisch vastgelegd, en gedeeltelijk of geen worden door zorgaanbieders zelf informatie gebruikt voor interne verbetering en sturing. Er is echter geen sprake van borging van de tijdigheid, correctheid en volledigheid van de registratie door procedures of kwaliteitscontroles. Eventuele datamanipulatie is niet uit te sluiten. De indicator is niet scherp omschreven, overige gevallen doelpopulaties zijn niet scherp afgebakend of het meetinstrument is niet gespecificeerd of niet gevalideerd. Of: Data zijn niet correct of kunnen niet retrospectief worden gecontroleerd op cliëntniveau. 2 21/62

22 4.5 Steekproef en respons vergelijkbaarheid Vraag in checklist 30. De indicator wordt berekend op basis van metingen bij de gehele populatie. 31. Er is een voorgeschreven steekproefprocedure toegepast. 32. De uiteindelijke steekproef is representatief (gemaakt) voor de juiste achtergrondkenmerken. Antwoordmogelijkheden - Ja - Nee - Nvt - Geen informatie - Ja - Nee - Nvt - Geen informatie - Ja - Gedeeltelijk - Nee - Nvt - Geen informatie Hieronder de beoordeling van de Indicatorstandaard versus de vragen en antwoorden uit de checklist Vlagkleur Omschrijving Indicatorstandaard (let op: dit is concept tekst) Welke antwoorden leiden tot welke vlag?* Vlag kan niet nvt worden vastgesteld Voldoet De indicator is gebaseerd op een volledige registratie van alle klanten. Of De procedure voor de steekproeftrekking is beschreven en achteraf eenduidig reproduceerbaar, en van (vrijwel) alle patiënten uit de steekproef worden volledige gegevens aangeleverd door de zorgaanbieder. 30. Geen informatie en 31. Geen informatie en 32. Geen informatie 30. ja of 30. nee, en 31. ja, en 32. ja 2 22/62

23 Vlagkleur Omschrijving Indicatorstandaard (let op: dit is concept tekst) Welke antwoorden leiden tot welke vlag?* Of De procedure voor de steekproeftrekking is beschreven en achteraf eenduidig reproduceerbaar, en ten minste van 55% van alle patiënten uit de steekproef zijn volledige gegevens beschikbaar. Of De procedure voor de steekproeftrekking is beschreven en achteraf eenduidig reproduceerbaar, en ten minste 30% van alle patiënten uit de steekproef leveren volledige gegevens aan, en er is een statistische correctie uitgevoerd. Voldoet deels De procedure voor de steekproeftrekking is beschreven, maar is achteraf niet eenduidig reproduceerbaar (het doorlopen van de procedure kan leiden tot een afwijkende steekproef). 30. Nee en 31. Ja en 32. Gedeeltelijk Of Er wordt gebruik gemaakt van een meetperiode die korter is dan de periode waarover verslag wordt gedaan, en over alle patiënten worden gegevens aangeleverd. Of De procedure voor de steekproeftrekking is beschreven en achteraf eenduidig reproduceerbaar, en ten minste 30% van alle patiënten uit de steekproef leveren volledige gegevens aan en er is geen 2 23/62

24 Vlagkleur Omschrijving Indicatorstandaard (let op: dit is concept tekst) Welke antwoorden leiden tot welke vlag?* statistische correctie uitgevoerd. Of De procedure voor de steekproeftrekking is beschreven en achteraf eenduidig reproduceerbaar, en minder dan 30% van alle patiënten uit de steekproef leveren volledige gegevens aan en er is een statistische correctie uitgevoerd. Voldoet niet De procedure voor de steekproeftrekking laat ruimte voor selectie door de zorgaanbieder. Overige gevallen Of Er wordt gebruik gemaakt van een meetperiode die korter is dan de periode waarover verslag wordt gedaan, en over alle patiënten worden gegevens aangeleverd. Of De procedure voor de steekproeftrekking is beschreven en achteraf eenduidig reproduceerbaar, en minder dan 30% van alle patiënten uit de steekproef leveren volledige gegevens aan en er is geen statistische correctie uitgevoerd. * er zijn meer combinaties van antwoorden mogelijk, deze worden nu nog niet allemaal gedekt in tabel maar moet verder worden uitgezocht 4.6 Statistis ch betro uwbaar onderscheid en Vraag in checklist Antwoordmogelijkheden 10. Wat voor type indicator betreft het? - Structuur 2 24/62

25 33. Er is aangetoond dat de indicatorwaarden niet op toeval berusten. 34. Het aantal waarnemingen voor de indicator is naar verwachting voldoende om betrouwbare uitspraken te kunnen doen. 35. De indicatorwaarden zijn statistisch betrouwbaar onderscheidend. - Proces - Uitkomst - Ja - Nee - Nvt - Geen informatie - Ja - Nee - Nvt - Geen informatie - Ja - Gedeeltelijk - Nee - Nvt - Geen informatie Beoordeling Indicatorstandaard vs. vragen en antwoorden uit checklist Vlagkleur Omschrijving Indicatorstandaard Welke antwoorden leiden tot welke vlag?* Vlag kan niet Nvt 33. geen informatie worden vastgesteld en 34. geen informatie en 35. geen informatie Voldoet Het is aangetoond (ex-post) of 10. structuur onderbouwd (ex-ante) dat voor 80% van de boven of onder Of gemiddeld presterende zorgaanbieders met een 'kleine afwijking' en met 5% 10.proces of uitkomst, significantieniveau geconcludeerd kan en worden dat deze boven- of 33. ja ondergemiddelde score niet op toeval berust. Of Voldoet deels Het is aangetoond (ex-post) of onderbouwd (ex-ante) dat voor 80% van de boven of onder 10. proces of uitkomst en 35. ja 10. proces of uitkomst, en 33. nee 2 25/62

26 gemiddeld presterende zorgaanbieders en met een medium afwijking en 5% 34. ja significantieniveau geconcludeerd kan worden dat deze boven- of Of ondergemiddelde score niet op toeval berust. 10. proces of uitkomst, en 33. nee en 35. gedeeltelijk Voldoet niet Statistisch betrouwbaar onderscheiden is Overige gevallen niet afdoende onderbouwd, en het aantal waarneming is onvoldoende om een medium sterke afwijking van het verwachtte gemiddelde vast te stellen. * er zijn meerdere combinaties van antwoorden mogelijk, deze worden nu nog niet allemaal gedekt in tabel maar moet verder worden uitgezocht 2 26/62

27 5. Aanpassingen in onderliggende documenten 5.1 Inleidin g Bij de voorstellen voor aanpassingen in achtergronddocumenten Indicatorstandaard, routekaart en CQI Handboeken- vormt het voorlopig toetsingskader en de vergelijking tussen de documenten het uitgangspunt. Met de totstandkoming van de checklist zijn verschillen tussen het voorlopig toetsingskader, de Indicatorstandaard en de CQI Handboeken aan het licht gebracht en beschreven. De Indicatorstandaard 1.5 is tegelijkertijd met de ontwikkeling van de checklist voor indicatoren aangepast. Een aantal grote en kleine wijzingen (zonder methodologische of slechts kleine methodologische consequenties) die voor de hand liggen zijn doorgevoerd in de Indicatorstandaard 2.0 en Routekaart. Deze wijzigingen zijn hieronder aangegeven in paragraaf 5.2 (Indicatorstandaard) en paragraaf 5.3 (Routekaart). Wijzigingen met methodologische consequenties of punten die discussie vereisen in overige achtergronddocumenten worden eveneens hieronder geduid. Paragraaf 5.4 bevat een overzicht met voorstellen voor aanpassing van de CQI Handboeken. Deze aanpassingen zijn nog niet doorgevoerd omdat het onderhoud van deze documenten niet door SiRM kan gebeuren. 5.2 Van Indicatorstandaard 1.5 naar 2.0 Om te komen tot de gewenste aanpassingen is er een brainstormsessie binnen SiRM geweest om zo de belangrijkste verschillen tussen de achtergronddocumenten bloot te leggen. Daarnaast zijn de achtergronddocumenten met elkaar vergeleken om te komen tot verschillen en overeenkomsten. Deze verschillen en overeenkomsten zijn binnen SiRM besproken. Daarnaast is het hoofdstuk steekproefvergelijkbaarheid aangepast en binnen de gezamenlijke Statistiekcommissie van Zichtbare Zorg en het Centrum Klantervaring Zorg besproken. De belangrijkste veranderingen in de Indicatorstandaard zijn: 1. In het hoofdstuk steekproefvergelijkbaarheid worden vlaggen toegekend en is het begrip steekproefvergelijkbaarheid vervangen door steekproef- en responsvergelijkbaarheid. 2. De Indicatorstandaard is herkenbaarder gemaakt voor onderzoeken op het gebied van het meten van klantervaringen door middel van: a. extra uitleg over uitkomstindicatoren en dan met name is de term klantervaringen toegevoegd; 2 27/62

28 b. specifieke voorbeelden van klantervaringen op te nemen bij de methodologische criteria van de vlaggen; c. op verschillende plekken in het document naast de term zorginhoudelijke indicatoren ook de term klantervaringen te vermelden; d. het uitvoeren van de klantervaringsvragenlijsten volgens een (werk) instructie vermelden; e. informatie dat patiënten zelf een bron van gegevens zijn bij het criterium registratievergelijkbaarheid toevoegen. 3. De Indicatorstandaard is op twee punten aangepast zodat deze aansluit bij het voorlopig toetsingskader. De term professionele standaard is toegevoegd op de plek waar kwaliteitsvisie genoemd wordt. Deze term wordt aangevuld met de beschrijving een omschrijving van wat goede zorg is (bijvoorbeeld een kwaliteitsvisie of professionele standaard). Deze beschrijving is toegevoegd naar aanleiding van een reactie uit de workshop over de herkenbaarheid van de term kwaliteitsvisie. Daarnaast wordt bij het hoofdstuk registratievergelijkbaarheid de ICT standaard opgenomen om zo informatie te genereren voor item 26 in de checklist In de definitie van de indicator staat aangegeven welke ICT standaard gehanteerd wordt bij de registratie van de voor deze indicator noodzakelijke data. 4. De term cliënt is vervangen door de term patiënt. Aspecten die methodologische consequenties hebben of naar verwachting discussiepunten zijn, betreffen: 1. Het uitbreiden van de criteria binnen het hoofdstuk inhoudsvaliditeit op setniveau zodat naast effectiviteit, veiligheid en cliëntgerichtheid ook tijdigheid en doelmatigheid/ efficiëntie toegevoegd worden. Dit was een wens uit een deskundigen overleg. 2. Bij het hoofdstuk statistisch betrouwbaar onderscheiden wordt in de Indicatorstandaard 30 of meer analyse-eenheden genoemd, terwijl in het handboek over klantervaringsmetingen het liefst 30 analyse-eenheden, maar minimaal 20 analyse-eenheden genoemd wordt. In een volgende aanpassing van de Indicatorstandaard kan met inhoudelijke experts nogmaals naar dit aantal van analyse-eenheden gekeken worden. Dit zijn punten voor de doorontwikkel-agenda. 5.3 Van Routekaart 1.0 naar 2.0 De wijzigingen die in de Indicatorstandaard 1.5 zijn aangepast, zijn ook doorgevoerd in de routekaart. 2 28/62

29 5.4 CQI Handboeken In de inventarisatiefase is aan de hand van een beoordeling van verschillende achtergronddocumenten zoals de Indicatorstandaard versie 1.5, CQI Handboek Ontwikkeling, CQI Handboek Metingen en het voorlopig toetsingskader een lijst gemaakt met overeenkomsten en verschillen wat geleid heeft tot voorstellen voor aanpassingen in CQI Handboeken. Eerst volgt de suggestie op hoofdlijnen, waarna per Handboek CQI -Ontwikkeling en Eisen en Werkwijzen Metingen- de voorstellen beschreven zijn. Deze voorstellen zijn relevant voor de doorontwikkel-agenda van de CQI Handboeken. 1) In de CQI Handboeken kunnen een aantal onderwerpen nader beschreven worden. Dit betreffen de volgende onderwerpen: de oprichting van het Kwaliteitsinstituut, de nieuw (door)ontwikkelde documenten zoals het voorlopig toetsingskader, Indicatorstandaard 2.0 en de routekaart. Daarnaast betreft de gewenste aanpassingen nieuw gehanteerde termen zoals het register, de professionele standaard en meetinstrumenten. Handboek CQI Ontwikkeling: De hierboven genoemde onderwerpen kunnen doorgevoerd worden in Hoofdstuk 1 Inleiding. De hantering van de huidige structuren zoals Wetenschappelijke Advies Raad, Wetenschappelijke Onderzoekers Groep en Onderzoekersforum(OF), website CKZ, dienen indien relevant- vervangen te worden door Kwaliteitsinstituut structuren. Dit kan doorgevoerd worden in H2 kenmerken en achtergrond CQI. In Hoofdstuk 3 Onderzoeksplan dient de term omschrijving wat goede zorg is (kwaliteitsvisie/ professionele standaard) toegevoegd te worden, evenals dat de populatieafbakening op basis van ICT standaard dient te gebeuren. In een nieuw hoofdstuk over dataverzameling kan benoemd worden dat de dataverzameling controleerbaar dient te zijn. Eveneens kan in een nieuw hoofdstuk behandeld worden hoe (nieuwe) vragenlijst en indicatoren aan het Kwaliteitsinstituut aangeboden dienen te worden ter opname in het register. Handboek CQI Eisen en Werkwijzen Metingen: 2 29/62

30 In het CQI Handboek Eisen en Werkwijzen Metingen dient aangegeven te worden hoe gehandeld moet worden bij het aanbieden van vragenlijsten en indicatoren ter opname in het register van het Kwaliteitsinstituut. Hiervoor zou een nieuwe Procedure of Werkinstructie geschreven kunnen worden. De huidige termen zoals het Wetenschappelijke Onderzoekers Groep (WOG) en Wetenschappelijk Advies Raad (WAR) dienen vervangen te worden indien deze straks niet meer bestaan. 2) Doordat het voorlopig toetsingskader een leidend document is, is de suggestie om een eenduidig terminologie te hanteren. De term klantervaringsindicator dient geïntroduceerd te worden naast het noemen van schalen in CQI Handboeken. In CQI Handboeken Ontwikkeling en Eisen en Werkwijzen Metingen kan de term klantervaringsindicator in de inleiding uitgelegd worden. Nu wordt alleen de term schaal gehanteerd. 3) De methodologie van de Indicatorstandaard onderbrengen binnen de CQI methodiek. Handboek CQI Ontwikkeling: In H3 Onderzoeksplan kan bij bronmateriaal om een nieuwe vragenlijst te vormen ook het voorlopig toetsingskader en Indicatorstandaard/ Routekaart genoemd worden. Door expliciet deze documenten te benoemen en (laten) gebruiken door onderzoekers wordt gebruik gestimuleerd. Bij het plan van aanpak (H3.5) zou expliciet verwezen kunnen worden om de methodologische kwaliteit van indicatoren te laten beoordelen. Tevens zou de gevonden literatuur meer nadruk moeten krijgen op indicatorniveau om zo informatie te genereren voor inhoudsvaliditeit (ipv op vragenlijst niveau). Bij de selectie van kwaliteitsaspecten (H4.4) zou kunnen worden benoemd welk kwaliteitsaspect een duidelijke relatie heeft tussen de geleverde zorg en de zorguitkomsten en wat de bewijskracht is. Resultaten van de cognitieve testfase (H4.2.5) zouden op item niveau gerapporteerd kunnen worden om zo informatie te genereren voor registratievergelijkbaarheid. Bij de verplichte CQI vragen zou benoemd kunnen worden dat er rekening gehouden dient te worden met fasen van het zorgproces en 2 30/62

31 kwaliteitsdomeinen (H 1.6). die genoemd worden in de omschrijving wat goede zorg is. Bij het hoofdstuk over het discriminerend vermogen (H7) zou toegevoegd kunnen worden dat het corrigeren voor cliëntkenmerken via meerdere manieren kan zoals via stratificatie, indirecte standaardisatie en standaardisatie door regressie. Deze verschillende methoden kunnen benoemd worden evenals wanneer welke methode gehanteerd dienen te worden. Daarnaast kan benoemd worden hoe correctie factoren bepaald dienen te worden: naast een literatuurstudie kan dit op basis van vorig (ontwikkel)onderzoek of deskundigenbijeenkomsten. De beoordeling van de methodologische kwaliteit van de indicatoren/ schalen in de vragenlijst kan als nieuw hoofdstuk toegevoegd worden, evenals een verwijzing naar de checklist voor indicatoren. Handboek CQI Eisen en Werkwijzen Metingen Procedure 7 Analyses en werkinstructies over vergelijkende analyses en case-mix adjustment kan aangepast worden zodat corrigeren voor cliëntkenmerken via meerdere manieren kan zoals via stratificatie, indirecte standaardisatie en standaardisatie door regressie en welke methode wanneer de voorkeur heeft. 4) Punten die niet voortkomen uit het samenvoegen van de documenten Indicatorstandaard en CQI Handboeken, maar wel een suggestie zijn om aan te passen. Naast groepsgesprekken kan ook gebruik gemaakt worden van bestaande indicatoren uit de online beschikbare CQI vragenbank in plaats van zelf vragen bedenken naar aanleiding van focusgroepen met patiënten (H3 Onderzoeksplan en H5 Constructie CQI Meetinstrument) Er kan een nieuwe Hoofdstuk over het inkorten van vragenlijsten geschreven worden met als basis de criteria in het artikel van Triemstra et al 5. 5 Triemstra M., Hendriks M., Delnoij D., en J. Rademakers Doelspecifieke versies van CQ-index meetinstrumenten: korter, krachtiger, en specifieker meten? TSG:2008, 86(8), /62

32 5. Tot slot De checklist sluit aan bij actuele wetenschappelijke inzichten en het voorlopig toetsingskader. Indicatorstandaard, Routekaart en CQI Handboeken. De checklist is echter geen statisch document. Het gebruik van de checklist is alleen doelmatig en efficiënt wanneer eventuele wijzigingen in de genoemde documenten worden verwerkt in de checklist. Deze Checklist om te komen tot signaalvlaggen bij indicatoren bevat nog een aantal bijlagen en aanvullende documenten. De bijlagen betreffen een verslag van de deskundigen overleggen (B1), een verslag van de workshop (B2), de definitieve checklist voor indicatoren (B3), een bijlage over de herkomst van de vragen in de checklist (B4) en een doorontwikkel-agenda (B5). De aanvullende documenten betreffen een geüpdate Indicatorstandaard evenals de routekaart. Er zijn twee Excel documenten, één document waarbij de bestaande indicatoren worden beoordeeld en een tweede bestand waarin de criteria in de checklist een indicatie geven van de vlaggen. 2 32/62

33 Bijlagen B1 Verslag deskundigen overleg Notulen bijeenkomsten in het kader van de ontwikkeling van een checklist voor indicatoren, 8 oktober 2012 Inleiding Na een voorstelronde wordt het kader waar binnen de checklist indicatoren wordt ontwikkeld, toegelicht. Er wordt ingegaan op de functie van het toetsingskader en de stand van zaken met betrekking tot het voorlopig toetsingskader: deze versie wordt nu theoretisch en praktisch getest. De checklist voor indicatoren wordt opgenomen in het uiteindelijke toetsingskader. Met name de deelnemers uit het overleg met de brancheverenigingen geven aan dat de status van de checklist voor hen onvoldoende duidelijk is om op de inhoud uit de checklist te kunnen reageren. De vragen die genoemd zijn door de deelnemers: 1. Wat zijn de minimale eisen aan de indicatoren? 2. Welke rol speelt de checklist daarbij? 3. Wie vult de checklist in en wie beoordeelt de checklist? 4. Wanneer moeten indicatoren aangeboden worden aan het Kwaliteitsinstituut? 5. Welke indicatoren moeten in het register komen en dus openbaar worden gemaakt? 6. Zijn alle onderdelen uit de checklist even belangrijk? Ondanks dat parallelle projecten over bovenstaande onderwerpen op dit moment nog niet zijn afgerond, geeft Eline Meijer al wel een eerste reactie op de bovenstaande vragen: Een indicator wordt aan het einde van een ontwikkelproces ingediend door een partij in de zorg (of een onderzoeksbureau in opdracht van een partij in de zorg) met een ingevulde checklist. De huidige ZiZo indicatoren zullen door het Kwaliteitsinstituut zelf beoordeeld gaan worden. Wat betreft de normering is evident dat een indicator dient te voldoen aan het methodologische criterium inhoudsvaliditeit. Een indicator die is opgenomen in het register leidt tot een verplichting voor transparantie over zorgverlening door zorgaanbieders. Het proces van goedkeuring behoeft nadere uitwerking. Aansluitend licht Marja Appelman de doelstellingen toe van de checklist en hoe de checklist er in de toekomst uit kan zien. 2 33/62