Leren van Routine Outcome Monitoring (ROM) Workshop Doorbraak ROM GGZ 11 december 2014 Suzan Oudejans, Masha Spits Mark Bench Verwachtingen & doelen Doel van vandaag Vergroten van kennis over- en het leren van Routine Outcome Monitoring (ROM), geaggregeerde uitkomsten en benchmarking Toepassen van deze kennis (in de werkplannen) Verwachtingen? 1
Verwachtingen & doelen Doelen Doorbraakteams Valide en betrouwbare gegevens verzamelen De juiste instrumenten gebruiken Geaggregeerde uitkomsten bekijken interpreteren erop reflecteren Leren van uitkomsten Vandaag Achtergrond Doelen Methode Gegevens verzamelen en uitkomsten interpreteren Uitkomsten terugkoppelen, leren en verbeteren Afsluiting Tussendoor aan de slag 2
QUIZ Quiz Waar staat de afkorting ROM voor? 3
Quiz Welke vier ROM- en benchmarking doelen worden doorgaans aangemerkt? Quiz Wie heeft er baat bij ROM en benchmarking? 4
Quiz Ga eens terug in de tijd wie deed er als eerste aan ROM in de gezondheidszorg? Quiz Wat betekent de term benchmarking eigenlijk? En uit welke sector komt het oorspronkelijk? 5
Quiz Wat is een T-score? Waar staat ROM voor? Routine Outcome Monitoring Terugkoppeling van uitkomsten gedurende de lopende individuele behandeling aan behandelaren en cliënten, met als doel het bijsturen van de lopende behandeling. Routine Outcome Management a) Terugkoppeling van geaggregeerde uitkomsten van groepen cliënten aan teams en managers, met als doel het bijsturen van behandelbeleid of zorgprogrammering b) Verantwoording over de resultaten afleggen a) binnen de eigen organisatie, en b) aan de buitenwereld Routine Outcome Measurement Het vaststellen van het eindresultaat van de behandeling. Hiervoor volstaat een aanvangs- en een eindmeting. 6
Doelen/ambities ROM GGZ-NL: ROM Behandelen en begeleiden Leren (door vergelijken) Verantwoorden Onderzoeken Wie heeft er baat bij ROM en benchmarking? ROM Iedereen: Patiënten Familie Behandelaren Teams Zorgaanbieders Financiers Onderzoekers Burger 7
Florence Nightingale (1820 1910) Terug in de tijd Florence Nightingale (1820 1910) Terug in de tijd Ernest Amory Codman (1869 1940) 8
Wat betekent benchmarking? De eigen prestaties vergelijken met prestaties van gelijksoortige anderen Meetspijker IJkpunt Afkomstig uit de industrie Wat betekent benchmarking? De eigen prestaties vergelijken met prestaties van gelijksoortige anderen Meetspijker IJkpunt Afkomstig uit de industrie 9
ROM en benchmarking ROM, benchmarking en SBG Data verzameld in het kader van ROM worden ten behoeve van benchmarking geanonimiseerd en samengevoegd, en op groepsniveau vergeleken met andere aanbieders SBG transformeert de (ROM) gegevens die de aanbieders aanleveren in T-score, en stelt deze aan aanbieders en zorgverzekaars ter beschikking in de Benchmark Rapportage Module (BRaM). T-score ROM en benchmarking Een score waarmee scores op verschillende vragenlijsten vergelijkbaar worden gemaakt: Een gestandaardiseerde score met een gemiddelde waarde van 50 en standaarddeviatie van 10 10
Workshop - inhoud Doelen Plenaire brainstorm Methode Kennis/informatie Brainstorm in team Gegevens verzamelen & uitkomsten interpreteren Kennis/informatie Plenaire brainstorm Uitkomsten terugkoppelen, leren en verbeteren Kennis/informatie Brainstorm in team Afsluiting en poster maken In team en plenair presenteren Werkplan - doelen Wat moet het Doorbraak project voor jullie organisatie over een jaar opgeleverd hebben? Korte samenvatting en toelichting doelen. In hoeverre passen de doelen die jullie nu hebben geformuleerd daarin? Concretiseren: doelen zijn soms makkelijker te bereiken als je ze vertaalt in vragen. Welke informatie heb je nodig? Op welke vragen wil je antwoorden hebben? 11
Wat moet je doen om de doelen te bereiken/de vragen te beantwoorden? Methode Het verschil tussen signaleren, screenen monitoren, en wat doe je wanneer? Wat wil je meten en welke vragenlijst kun je kiezen? Wat is nu verplicht om te meten? Zijn de gegevens die nodig zijn (voldoende) beschikbaar? Signaleren, screenen, monitoren Methode Signaleren het opvangen van signalen die kunnen duiden op een stoornis Screenen het onderzoeken van signalen om de vermoedens te bevestigen (of niet) Diagnostiek het vaststellen van een stoornis Monitoren het herhaaldelijk meten van klachten, symptomen of problemen met als doel behandelvoortgang vaststellen 12
database intake behandeling Methode Signaleren Screenen Startmeting tussen Monitoring tussen tussen Eindmeting 0 start behandeling evaluatie evaluatie eind behandeling Diagnostiek Methode Wat wil je meten? Klachten Generieke instrumenten Specifieke instrumenten Functioneren Kwaliteit van Leven Tevredenheid Wie beoordeelt? Zelfbeoordeling Beoordeling behandelaar BSI, OQ 45, SCL 90, SQ 48 BDI, MATE 1, PANSS HoNOS, MATE 7, ORS, GAF MANSA, WHOQOL CRA tvl, SRS, CQ index HoNOS, MATE 7, GAF 13
Wat is verplicht? Methode SBG verwacht een begin- en eindmeting met voorgeschreven instrumenten uit minimale dataset (MDS) De keuze voor een tussentijds instrument is in principe vrij: Sommige verzekeraars schrijven voor dat je moet ROMonitoren (maar niet waarmee) Wat is verplicht? Methode SBG verwacht een begin- en eindmeting met voorgeschreven instrumenten uit minimale dataset (MDS) De keuze voor een tussentijds instrument is in principe vrij: Sommige verzekeraars schrijven voor dat je moet ROMonitoren (maar niet waarmee) 14
Methode Zijn de groepen waarover ik vragen heb groot genoeg om wat over te zeggen? Locaties/teams Diagnosegroepen Case-load behandelaren Zijn die variabelen die ik wil onderzoeken voldoende en valide vastgelegd? Respons op uitkomsten Cliëntkenmerken Lengte en aard behandeling Met je team: Werkplan - methode Bedenk welke knelpunten je tegen kunt komen m.b.t.: - De vragenlijsten - De grootte van de (te vergelijken) groepen - De variabelen 15
Gegevens verzamelen Hoe kom ik aan geaggregeerde gegevens? BRaM ICT Managementsystemen/data-warehouse Web-based software (NetQ, QuestManager, Telepsy etc.) De ervaring heeft geleerd: Het is helaas niet één druk op de knop Zoek op tijd contact met je afdeling ICT/Zorginformatisering Administratieve data kunnen veel ruis bevatten Data-retrieval en data-analyse kost tijd en aandacht Uitkomsten interpreteren Hoe kun je uitkomsten interpreteren? Bij verschillen tussen uitkomsten: zijn het verschillen waar je van kunt leren of waar je voor moet corrigeren? Representativiteit Meetkenmerken Patientkenmerken Proces- en structuurkenmerken 16
Uitkomsten interpreteren Gemiddelde Delta T in BRaM, met betrouwbaarheidsinterval In normcategorieën: DASS scores Gemiddelde HoNOS totaalscores Bij start behandeling Per diagnose Uitkomsten interpreteren Representativiteit ten behoeve van: Populatiebeschrijving/vergelijking Elke afwijking is een probleem Uitkomstenrapportage/vergelijking Alleen afwijkingen die samenhangen met de uitkomst zijn een probleem 17
Uitkomsten interpreteren Uitkomsten interpreteren Variantie in uitkomsten door: Patiënt kenmerken > corrigeren Meetkenmerken > gelijktrekken Proces- en structuurkenmerken > leren 18
Werkplan - Uitkomsten interpreteren Wat zijn jullie verwachtingen/ideeën/zorgen over het verzamelen van uitkomsten? Wat denk je dat, gezien jullie doelen en vragen, aangewezen manier zijn om te uitkomsten te interpreteren? Gemiddelden Categorieën Andere maten? In hoeverre verwachten jullie vertekeningen m.b.t. representativiteit? Welke kenmerken kunnen bij jullie een rol spelen bij het verklaren van variantie? Uitkomsten terugkoppelen Wat is een Lerende organisatie? Fases van omgaan met transparantie Hoe bespreek je uitkomsten? Tips (en valkuilen) van ons 19
De vijfde discipline: the art and practice of the learning organization (Senge, 1990) Lerende organisatie Persoonlijk meesterschap Werknemers verstaan hun vak, ontwikkelen zich continu Mentale modellen Generalisaties en beelden die werknemers hanteren bij het waarnemen en reageren op de werkelijkheid Gemeenschappelijke visie Werknemers binnen de organisatie hebben hetzelfde voor ogen Teamleren In het team is men bereid (ook minder dan perfecte) ervaringen te delen en van elkaar te leren en daardoor als team te groeien Systeemdenken Men ziet onderlinge verbanden (niet alleen lineair oorzaak en gevolg) Men ziet processen van verandering, niet alleen momentopnames Uitkomsten terugkoppelen Er zijn vier fases waar teams of organisaties doorheen gaan als ze geconfronteerd worden met minder dan perfecte uitkomsten of resultaten 20
Uitkomsten terugkoppelen De data kloppen niet Uitkomsten terugkoppelen De data kloppen wel, maar er is geen probleem 21
Uitkomsten terugkoppelen De data kloppen, er is een probleem, maar het is niet ons probleem Uitkomsten terugkoppelen De data kloppen, er is een probleem, en we moeten wat doen 22
Uitkomsten terugkoppelen Donald Mark Berwick De reis van Taseki naar Jiseki http://www.ihi.org/resources/pages/improvementstories/improvementtiptakethejourneytojiseki.aspx Uitkomsten terugkoppelen Herkennen: Herken je de uitkomsten? Begrijpen: Hoe verklaar je ze? Waarderen: Ben je tevreden over de uitkomsten? Handelen: Wat en hoe kun je verbeteren? 23
Uitkomsten terugkoppelen Geleerde lessen van vijf jaar ROM in de verslavingszorg: Tips Wees zo interactief mogelijk in de presentatie van gegevens Laat de toehoorders voorspellen wat ze zullen zien, vraag of ze het herkennen en goed genoeg vinden Ontlokken van verbeterplannen kan pas als de toehoorders in stadium 3 of 4 zijn beland Valkuilen Teveel informatie terugkoppelen Te ingewikkelde informatie terugkoppelen Leren en verbeteren Welke vragen kun je jezelf stellen als de uitkomsten niet goed (genoeg) zijn? Hoe kom je op ideeën? Hoe plan- en evalueer je verandering? 24
Welke vragen kun je jezelf stellen? Leren en verbeteren Richtlijnen Juiste uitvoering zorgpaden Opleiding personeel Non-specifieke factoren - Behandelrelatie - Setting, omgeving Leren en verbeteren Hoe kom je op ideeën over hoe te verbeteren? Plenair bespreken levert vaak weinig op Activerende werkvormen: Van absurd naar haalbaar Brainstorm met restricties Kettingreactie Etc. 25
Hoe plan- en evalueer je verbetering? Leren en verbeteren Informeel en klein: Een post-it kan genoeg zijn Formeel en groter: In het jaarplan Een gepland project Monitor je uitkomsten Heeft het geholpen? Zo ja: implementeren Werkplan terugkoppelen & leren en verbeteren Met je team: Denk na over hoe je zou kunnen gaan terugkoppelen: Wat Aan wie Met welk doel Denk daarbij na over hoe je dit team of je organisatie het best door de vier fases kunt loodsen Waar zou je tegenaan kunnen lopen bij het plannen en vasthouden van verbetering? 26
Met je team: Afsluiten - poster Maak een poster met vier onderwerpen: Doel- en vraagstellingen Methode Gegevens verzamelen en uitkomsten interpreteren Uitkomsten terugkoppelen en leren Kort presenteren aan het andere team Bedankt! Veel succes met de doorbraak 11 december 2014 Suzan Oudejans, Masha Spits Mark Bench 27