VGN ledenbijeenkomst 15 december 2010 Dr. Piet Stam Jan Sonneveld MSc. Dr. Xander Koolman 1
1 e ronde zorginhoudelijke indicatoren GZ ZiZo portal 1. SiRM heeft de prestatie-index berekend 2. gecorrigeerd voor casemix-verschillen 3. rol van toeval expliciet gemaakt via rode, oranje, en groene vlaggen Prestatieoverzicht Spiegelinfo 2
SiRM heeft prestatie-index berekend 1. De gegevens van individuele cliënten zijn omgezet naar scores op IE niveau 2. Alle scores zijn omgezet naar één maat: prestatie- index Werkelijke score IE / Verwachte score IE 3. Verwachte score IE: Geen casemix-correctie: landelijk gemiddelde van alle IE s Wel casemix-correctie: gemiddelde van IE s met vergelijkbare casemix 3
1 e ronde zorginhoudelijke indicatoren GZ ZiZo portal 1. SiRM heeft de prestatie-index berekend 2. gecorrigeerd voor casemix-verschillen 3. rol van toeval expliciet gemaakt via rode oranje, en groene vlaggen Prestatieoverzicht Spiegelinfo 4
Voor welke casemix factoren corrigeren? Aanpak: 1. Toetsingskader 2. Deskundigenbijeenkomst (theoretisch) 3. Statistische controle (empirisch) Doel: vaststellen casemix-variabelen, per indicator 5
Toetsingskader: verstorende factoren t=1 tijdslijn t=3 Case-mix variabelen 1 IE Score 2 Prestaties tussen zorgaanbieders kunnen niet direct met elkaar vergeleken worden als: 1. Er factoren zijn die de prestaties beïnvloeden. 2. De zorgaanbieder deze factoren niet kan beïnvloeden 3. Deze factoren ongelijk verdeeld zijn over zorgaanbieders 6
Voorbeeld verstorende factor Cliënten van IE A zijn vaker jongens in de puberteit dan cliënten van IE B. Jongens in de puberteit hebben meer kans op een incident. Bij gelijke zorg(kwaliteit) A en B zal bij A een hoger percentage cliënten incidenten optreden. Na standaardisatie zal A bij gelijke kwaliteit even goed presteren als B. 7
Keuze van case-mix variabelen In deskundigenoverleg zijn de volgende verstorende variabelen besproken, per soort indicator: Leeftijd Geslacht Zorgzwaarte (uitgedrukt in ZZP) Lichamelijke aandoening (epilepsie, diabetes etc.) 8
Relevant bij welke indicatoren? Indicatoren per domein Domein 1- Lichamelijke gezondheid Onderkende lichamelijke aandoening Ondersteuning cliënten Controle gehoor/gezichtsvermogen Domein 2 Psychisch welbevinden Gediagnosticeerde psychische aandoening Domein 3- Interpersoonlijke relaties Ondersteuning sociale relaties Domein 5 Persoonlijke ontwikkeling Onderwijs betrokken bij behandelplan Ondersteuning aspecten ontwikkeling Domein 9 Zorgafspraken en ondersteuningsplan Behandeling en begeleiding, domeinen en leefgebieden Domein 10 Cliëntveiligheid Prevalentie incidenten Cliënten met veiligheidsrisico Set a VG, LG, ZGV, ZGK LVG ZGK LG, LVG, ZGV, ZGK LVG ZGK ZGK VG,LG,LVG, ZGV, ZGK ZGV 9
Type zorg als case-mixcorrector? Ambulante zorg Dagbesteding Verblijfszorg Verschil in Kwaliteit Verschil in zorgzwaarte 10
1 e ronde zorginhoudelijke indicatoren GZ ZiZo portal 1. SiRM heeft de prestatie-index berekend 2. gecorrigeerd voor casemix-verschillen 3. rol van toeval expliciet gemaakt via rode oranje, en groene vlaggen Prestatieoverzicht Spiegelinfo 11
Wat is betrouwbaarheid? Betrouwbare indicatoren leiden bij gelijkblijvende kwaliteit tot sterk vergelijkbare uitkomsten bij elke meting. Bij onbetrouwbare indicatoren speelt toeval een grote rol. Voorbeeld: prevalentie incidenten 12
Voorbeeld: prevalentie incidenten Bijzonder lage prevalentie, bijv. 2% landelijk Stel: de werkelijke prevalentie van de IE is 1% Stel: berekening gebaseerd op 25 patiënten Dan gemiddeld genomen 0,25 patiënten met incidenten per jaar. De meeste jaren dus 0 patiënten met incidenten en de IE scoort beter dan landelijk Eens in 4 jaar is er 1 patiënt met incidenten: de score van de IE is dan 1/25 = 4% en scoort nu slechter dan landelijk. De gemeten kwaliteit hangt dus van het toevallige meetmoment 13
Waarom is betrouwbaarheid van belang? Weinig betrouwbare indicatoren variëren over tijd terwijl kwaliteit constant blijft variëren onderling terwijl kwaliteit voor alle hoog is Als gevolg: maken consumenten verkeerde keuzen vertrouwen consumenten de keuze-informatie niet raken zorgaanbieders het vertrouwen in de indicatoren kwijt 14
Welke indicatoren zijn gevoelig voor toeval? 1. Structuurindicatoren: niet 2. Procesindicatoren op IE-niveau: niet 3. Procesindicatoren op patiëntniveau 1. patiëntkenmerken die geen rol mogen spelen: niet 2. patiëntkenmerken die wel een rol mogen spelen: wel 4. Uitkomstindicatoren: wel 15
Welke indicatoren zijn gevoelig voor toeval? (slide 1/2) 16
Welke indicatoren zijn gevoelig voor toeval? (slide 2/2) 17
Betrouwbaarheid indicator uit te drukken in vlaggen Prestatie-index heeft een groene vlag als hij voldoende statistisch betrouwbaar is. Prestatie-index heeft een oranje vlag als hij matig statistisch betrouwbaar is. Prestatie-index heeft een rode vlag als hij onvoldoende statistisch betrouwbaar is. N.B.: ZiZo signaalvlaggensystematiek 18
1 e ronde zorginhoudelijke indicatoren GZ ZiZo portal 1. SiRM heeft de prestatie-index berekend 2. gecorrigeerd voor casemix-verschillen 3. rol van toeval expliciet gemaakt via rode oranje, en groene vlaggen Prestatie- overzicht Spiegelinfo 19
Prestatie-overzichten (slide 1/2) 20
Prestatie-overzichten (slide 2/2).a Deze waarde geeft aan dat er onvoldoende waarnemingen zijn voor een schatting van de prestatie-index. 21
1 e ronde zorginhoudelijke indicatoren GZ ZiZo portal 1. SiRM heeft de prestatie-index berekend 2. gecorrigeerd voor casemix-verschillen 3. rol van toeval expliciet gemaakt via rode oranje, en groene vlaggen Prestatieoverzicht Spiegel- info 22
Spiegelinformatie 23
1 e ronde zorginhoudelijke indicatoren GZ ZiZo portal 1. SiRM heeft de prestatie-index berekend 2. gecorrigeerd voor casemix-verschillen 3. rol van toeval expliciet gemaakt via rode oranje, en groene vlaggen Prestatieoverzicht Spiegelinfo 24
Wat kunnen we hier nu mee en wat niet? Een bruikbare prestatie-index is: 1. Statistisch betrouwbaar o Significantie ZiZo vlaggensystematiek o Onderscheidend vermogen 2. Valide o Gecorrigeerd voor case-mixverschillen o Geen meetfouten o Gebaseerd op populatie of representatieve steekproef Een bruikbare set van prestatie-indexen is: 1. Volledig (bestrijkt alle domeinen) 2. Evenwichtig (een juiste weging van de diverse domeinen) 25
Aan de ene kant Uit de vlaggen blijkt dat rol van toeval nog groot is Een mogelijkheid om dit te reduceren is Empirical Bayes De toegepaste casemix correctie is nog beperkt Bijv. type zorg wordt nu onderzocht door SiRM Sommige scores van de IE zijn op totale populatie gebaseerd, andere op een deel Mogelijk een niet representatief beeld van kwaliteit We weten niet of er op dezelfde wijze wordt geregistreerd (meetfouten) Overgrote deel betreft procesmaten, echter verband met uitkomsten is waarschijnlijk zwak 26
Aan de andere kant Het voordeel van procesindicatoren is dat casemixproblemen minder een probleem vormen Alhoewel afzonderlijke indicatoren weinig zeggend zijn, kan samenhang tussen indicatoren wel een goed signaal vormen Prestatie-overzichten en spiegelinformatie vormen mogelijk eerste signaal voor verbetertrajecten Mogelijkheden in de toekomst: digitaal zorgdossier 27
Parallel met risicoverevening Doel: eerlijke vergelijking van financiële prestaties van zorgverzekeraars Gecorrigeerd voor casemix (leeftijd, geslacht, gezondheid) Invoeringstraject: 1992 2013? Of eeuwigdurend vanwege veranderingen in omgeving? Naarmate kwaliteit van de data toenam, werden de daaraan verbonden consequenties ook groter Boodschap: eerst vertrouwen in totaalplaatje, gaandeweg en stapsgewijs consequenties eraan verbinden 28
1 e ronde zorginhoudelijke indicatoren GZ ZiZo portal 1. SiRM heeft de prestatie-index berekend 2. gecorrigeerd voor casemix-verschillen 3. rol van toeval expliciet gemaakt via rode oranje, en groene vlaggen Prestatieoverzicht Spiegelinfo 29
Specifieke vragen (1) Kun je de ruwe data verbinden aan de uitkomsten? Algemeen antwoord van SiRM: Ja, indien er niet wordt gestandaardiseerd zou dit mogelijk moeten zijn. In de praktijk bleken verschillen tot nog toe verklaarbaar. Voordat helpdesk wordt gebeld svp eerst goed controleren, want het kost veel tijd. 30
Specifieke vragen (2) Hoe kun je op basis van de uitkomsten verbeterplannen maken? Algemeen antwoord van SiRM: Als er twijfels zijn over de betrouwbaarheid of de validiteit van de prestatie-indicator, dan kan dit louter als mogelijk signaal worden gebruikt. Probeer erachter te komen of dit signaal juist is. Binnen een IE is vaak veel meer bekend over de geleverde kwaliteit. 31
Specifieke vragen (3) Voorzien de uitkomsten in de infobehoefte van IEs? Algemeen antwoord van SiRM: Nee, voor dat doel kan de verwerking beter. Gegevens van dit en volgend jaar vergelijken: bijv. nu veel toeval, Empirical Bayes kan al veel verhelpen. Bruikbare info idealiter baseren op een continu registratiesysteem (real time monitoring) Uitkomsten uiteen te rafelen naar individuele cliënten Per cliënt kan worden nagegaan wat er is misgegaan 32
Tot slot Zijn de uitkomsten bruikbaar om consequenties aan te verbinden? Algemeen antwoord van SiRM: Nee! SiRM adviseert ook zorgkantoren en draagt daar exact dezelfde boodschap uit. Info wel bruikbaar om gesprek met elkaar aan te gaan Ontwikkelagenda: samen leren van metingen, bijv. richt gebruikersgroepen in 33
Contact SiRM - Strategies in Regulated Markets Postbus 24355 3007 DJ Rotterdam 06-41374736 piet.stam@sirm.nl www.sirm.nl 34