Ontwikkeling en betrouwbaarheid van de Zelfredzaamheid-Matrix

Transcriptie

1 Ontwikkeling en betrouwbaarheid van de Zelfredzaamheid-Matrix Thijs Fassaert, 1 Steve Lauriks, 2 Stef van de Weerd, 3 Matty de Wit, 1 Marcel Buster 1 Onder hulpverleners, beleidsmakers en onderzoekers bestaat een grote behoefte aan een handzaam meetinstrument dat in staat stelt de zelfredzaamheid van cliënten op integrale en telbare wijze in kaart te brengen. In dit artikel wordt de ontwikkeling van de Zelfredzaamheid-Matrix (ZRM) beschreven, met de eerste resultaten van het onderzoek naar de betrouwbaarheid van dit instrument. De ZRM is een bewerking van het Amerikaanse instrumentarium van Self-Sufficiency Matrices, tot stand gekomen door middel van een uitgebreide vertaal- en consensusprocedure onder belanghebbenden. Het resultaat is een instrument dat zelfredzaamheid meet op elf levensdomeinen, zoals Inkomen, Dagbesteding en Huisvesting. Daarbij wordt een systeem van indicatoren toegepast; beknopte definities die de status van een persoon het beste omschrijven en koppelen aan een niveau van zelfredzaamheid. Onderzoek naar de betrouwbaarheid van de ZRM laat zien dat het instrument één onderliggend construct meet, waarvan de interne consistentie goed is. Ook de overeenstemming tussen beoordelaars was adequaat. In vrijwel alle gevallen waren de correlaties tussen scores van verschillende beoordelaars positief en hoog. De meest strenge maat voor overeenstemming (Kappa; corrigerend voor toevalstreffers ) gaf echter aan dat de exacte overeenstemming tussen beoordelaars voor een aantal domeinen nog niet voldoende is. Daarmee zijn de eerste resultaten van het psychometrische onderzoek positief. De ZRM vindt inmiddels snel een weg in de praktijk, bijvoorbeeld bij screening maar ook als evaluatie-instrument. Trefwoorden: zelfredzaamheid, meetinstrumenten, betrouwbaarheid, ZRM 1 GGD Amsterdam 2 GGD Amsterdam, Academisch Medisch Centrum (AMC) 3 Cluster Maatschappelijke Ontwikkeling Gemeente Rotterdam Achtergrond In de hedendaagse Nederlandse gezondheidszorg wordt steeds vaker een sterke nadruk gelegd op zelfredzaamheid. 1 Boot en Knapen 2 schrijven bijvoorbeeld: de missie van het ministerie van VWS is de stimulering van de gezondheid en zelfstandigheid van burgers en hun participatie in de samenleving. [...] Het ministerie bevordert bijzondere aandacht voor hen bij wie zelfredzaamheid tijdelijk of permanent ontbreekt. Het begrip zelfredzaamheid wordt bovendien gebruikt in verband met stelselwijzigingen op het gebied van ziektekosten en de maatschappelijke ondersteuning. 3 Een voorbeeld hiervan is de invoering van de Wet Maatschappelijke Ondersteuning. Ook bij bezuinigingen op de Algemene Wet Bijzondere Ziektekosten werd een beroep gedaan op de zelfredzaamheid van burgers. 4 Sommige auteurs zijn zelfs van mening dat zelfredzaamheid het belangrijkste uitgangspunt is in het hedendaagse gezondheidsbeleid. 5,6 Deze sterke nadruk op zelfredzaamheid in beleid suggereert dat het begrip duidelijk is afgebakend en gedefinieerd. Niets is echter minder waar. Zelfredzaamheid van een individu wordt, afhankelijk van de context, op vele verschillende manieren gedefinieerd en onderzocht Voorbeelden van indicatoren voor (verminderde) zelfredzaamheid zijn aanwezige gezondheidsproblemen, beperkingen in sociaal functioneren, beperkingen op het gebied van activiteiten van het dagelijks leven (ADL), of problemen op andere levensdomeinen. Het gevolg hiervan is dat voor het meten van zelfredzaamheid meetinstrumenten worden gebruikt die een ander (mogelijk gerelateerd) construct bepalen. Voorbeelden van instrumenten zijn de Groningen Activiteiten Restrictie Schaal, 13 de Inventarisatie Van Redzaamheids Aspecten (INVRA), 14 de Health of the Nations Outcomes Scales (HoNOS) 15 en de Camberwell Assessment of Needs. 16 Gelet op het voorgaande is het niet verwonderlijk dat er onder hulpverleners, beleidsmakers en onderzoekers een grote behoefte bestaat aan een handzaam instrument dat in staat stelt de zelfredzaamheid van cliënten op integrale en telbare wijze in kaart te brengen. Deze behoefte is bijvoorbeeld goed zichtbaar op het terrein van de openbare geestelijke gezondheidszorg, of OGGZ. De voornaamste doelgroep van de OGGZ bestaat immers uit mensen die de problemen die zich bij hen op meerdere tsg jaargang 91 / 2013 nummer 3 Ontwikkeling en betrouwbaarheid van de Zelfredzaamheid-Matrix - pagina 169 /

2 levensgebieden voordoen (lichamelijke en geestelijke gezondheid, financiën, huisvesting, arbeid, en sociale contacten) niet zelf kunnen oplossen en hiervoor ook niet de juiste zorg kunnen of willen regelen (met andere woorden niet zelfredzaam zijn). Vaak resulteert dit in een situatie waarin zij in de marge van de maatschappij leven. Inzicht verschaffen in de verschillende dimensies van de meervoudige problematiek in de OGGZ en de resulterende situatie is van belang om de geïntegreerde aanpak, die kenmerkend is voor deze sector, mogelijk te maken. In dit artikel wordt de ontwikkeling van de Zelfredzaamheid-Matrix (ZRM) beschreven in een doelgroep van volwassen cliënten. De ZRM is een meetinstrument voor zelfredzaamheid van personen, en is in feite een bewerking van een Amerikaans instrumentarium, namelijk de Self-Sufficiency Matrices (SSM). In Nederland werd de ZRM ontwikkeld en geïntroduceerd in Sindsdien heeft hij zich snel verspreid en wordt hij op veel plekken toegepast, bijvoorbeeld als beslissingsondersteuning bij de centrale toegang van de maatschappelijke opvang in Amsterdam, het Jongerenloket in Rotterdam, of in het kader van het project Gezamenlijke Beoordelingen in Den Haag.(noot a) Deze ontwikkeling onderstreept de noodzaak van een gedegen beschrijving van de achtergrond en ontwikkeling van de ZRM, en een evaluatie van haar betrouwbaarheid aan de hand van resultaten uit onderzoek. Dit artikel komt aan beide behoeften tegemoet. Na een korte toelichting op de achtergrond van het Amerikaanse instrument, gaan we in dit artikel in op de totstandkoming van de Nederlandse ZRM, en de eerste resultaten die betrekking hebben op enkele psychometrische kenmerken van het instrument. Methode Kernpunten Achtergrond Self-Sufficieny matrix De ZRM is een bewerking van de Amerikaanse Self-Sufficieny Matrix (SSM). De SSM is net als de ZRM een instrument om elementaire componenten van de zelfredzaamheid van individuen in kaart te brengen. Als inspiratiebron voor de Amerikaanse SSM geldt de filosofie achter de Self-Sufficiency Standard. 17 In deze Standard ligt de focus namelijk op output (wat kan een gezin in regio A met het beschikbare inkomen doen?) in plaats van de input (hoeveel inkomen ontvangt een gezin?) (noot b). De Self-Sufficiency Standard beperkte zich echter tot economische zelfredzaamheid, terwijl zelfredzaamheid op meer levensdomeinen betrekking heeft. De. De Zelfredzaamheid-Matrix (ZRM) meet zelfredzaamheid: de mate waarin een volwassene een acceptabel niveau van functioneren realiseert op belangrijke domeinen van het leven, al dan niet met hulp en begeleiding.. Met de ZRM kan een professional relatief eenvoudig een volledig en gestandaardiseerd overzicht krijgen van het functioneren van een persoon.. De psychometrische kwaliteiten van de ZRM lijken veelbelovend: de ZRM meet één onderliggend construct, met voldoende interne consistentie en berouwbaarheid.. Meer onderzoek naar psychometrische kenmerken en toepassingsmogelijkheden van de ZRM is nodig. methode en filosofie die Pearce et al. 17 toepasten voor het meten van economische zelfredzaamheid werd overgenomen door het Results Oriented Management and Accountability (ROMA) initiatief (noot c), een samenwerkingsverband tussen locale, staats- en federale organisaties in de VS. ROMA breidde de economische standaard van Pearce vervolgens uit tot een matrix van verschillende domeinen om niet alleen economische zelfredzaamheid, maar algemene zelfredzaamheid van personen in kaart te kunnen brengen. Een eerste versie van de SSM werd in de V.S. gepubliceerd in Elke dimensie in de SSM refereerde aan een ander levensdomein (bijvoorbeeld Huisvesting, Sociale Steun, Geestelijke Gezondheid). In de filosofie van de SSM is ieder levensdomein een basaal aspect van het leven, en als zodanig een prestatiegebied dat een volwassene op orde dient te hebben om zich te handhaven in de maatschappij. Een persoon wordt op ieder levensdomein beoordeeld aan de hand van een 5-puntsschaal, van in crisis (1) tot welvarend (5). Elke score op ieder domein gaat gepaard met een korte omschrijving (of indicator) die de status van een persoon op dat moment het beste omschrijft. Dit systeem van indicatoren werd geïntroduceerd om een betrouwbare beoordeling door meerdere beoordelaars te bevorderen. Een voorbeeld van een domein uit de SSM (Inkomen) is te vinden in figuur 1. Inmiddels zijn minstens vijf verschillende instrumenten in de VS in omloop die Self-Suffiency Matrix worden genoemd. 18 Ontwikkeling Nederlandse versie De Nederlandse ZRM is in drie fasen ontwikkeld. In de eerste fase werd het begrip zelfredzaamheid gedefinieerd, en stonden de eerste vertaling, relevantie en facevaliditeit van de Amerikaanse Self-Sufficiency Matrix (SSM) voor de Nederlandse OGGZ-populatie centraal. Als uitgangspunt golden de definitie en SSMs die gebruikt werden in Arizona en Utah. Beide versies zijn nagenoeg identiek, hoewel de Utah-SSM het meest uitgewerkt is en volledig geïntegreerd is in het cliëntvolgsysteem voor daklozen in die staat. Bovendien is de toepassing en het gebruik van de Utah-SSM goed gedocumenteerd. De Arizona-SSM is gebruikt in een grootschalig evaluatie project in de daklozenzorg en wordt beschreven als een betrouwbaar en valide instrument. 18 Beide versies van de SSM omvatten samen negentien domeinen (tabel 1), en werden daarom beschouwd als het beste uitgangspunt voor een Nederlandse bewerking. Drie onderzoekers van de GGD Amsterdam met ex- tsg jaargang 91 / 2013 nummer 3 Ontwikkeling en betrouwbaarheid van de Zelfredzaamheid-Matrix - pagina 170 /

3 Figuur 1. Voorbeeld ZRM domein Inkomen pertise op het gebied van OGGZ en instrumentontwikkeling, en een expert op het gebied van de OGGZ-populatie en -problematiek van de Dienst Werk en Inkomen (DWI) maakten een eerste selectie en vertaling van domeinen. De selectie gebeurde op basis van publicaties over de Nederlandse OGGZ, bestaande meetinstrumenten die gebruikt worden in de OGGZ, en definities van het concept zelfredzaamheid. De selectiecriteria in deze fase waren 1) het domein is relevant voor de cliëntenpopulatie van de Nederlandse OGGZ (het relevantie criterium); en 2) het domein draagt bij aan de operationalisering van het concept zelfredzaamheid als uitkomst voor het openbaar zorgsysteem (het face-validiteit criterium). De domeinen die aan deze criteria voldeden werden opgenomen in de ZRM en vertaald naar het Nederlands. Enkele indicatoren in cellen van de ZRM zijn in deze fase bewerkt omdat zij a) specifiek waren voor het Amerikaanse (zorg-)systeem, of b) (items van) andere, reeds bekende meetinstrumenten vrijwel identiek aan, en/ of direct bruikbaar waren als indicatoren in de cel van de ZRM. In de tweede fase stonden de bruikbaarheid en toepasbaarheid van de ZRM in de OGGZ centraal. In deze fase is de ZRM voorgelegd aan professionals van de zorginstellingen die samenwerken in de Geïntegreerde Voorziening (GV) in Amsterdam Zuidoost. De GV biedt integrale zorg aan cliënten met ernstige psychiatrische, verslavings-, financiële en/of sociale problematiek. Het behandelteam van de GV Zuidoost bestaat uit sociaalpsychiatrisch verpleegkundigen, klantmanagers, reclasseringwerkers, veldwerkers en woonbegeleiders van de GGD Amsterdam, DWI, Arkin-Inforsa (GGZ/reclassering), Stichting Streetcornerwork, en HVO Querido. Dit behandelteam vormde samen met een teamleider (GGD Tabel 1. Vergelijking inhoud SSM (Amerikaanse versies) en de ZRM Domeinen SSM (Utah/Arizona Domeinen ZRM 1 Income Inkomen 2 Employment Dagbesteding 3 Shelter/Housing Huisvesting 4 Family Relations Gezinsrelaties 5 Mental Health Geestelijke gezondheid 6 Physical health Fysieke gezondheid 7 Substance Abuse Verslaving 8 Life Skills ADL-vaardigheden 9 Support network Sociaal netwerk 10 Community Involvement Maatschappelijke participatie 11 Legal Justitie 12 Mobility Verwijderd: face validity 13 Food Verwijderd: face validity 14 Health care coverage Verwijderd: niet van toepassing 15 Safety Verwijderd: overlap met Huisvesting 16 Parenting Skills Verwijderd: face validity 17 Childcare Verwijderd: niet van toepassing 18 Children s Education Verwijderd: niet van toepassing 19 Adult Education Verwijderd: overlap met Dagbesteding tsg jaargang 91 / 2013 nummer 3 Ontwikkeling en betrouwbaarheid van de Zelfredzaamheid-Matrix - pagina 171 /

4 Amsterdam) en de manager (ad interim) van de GV Zuidoost (DWI) de focusgroep die in vier bijeenkomsten vorm gaf aan de volgende versie van de ZRM. Tijdens de bijeenkomsten van de focusgroep werd steeds antwoord gezocht op drie vragen: 1) Zijn alle domeinen van de ZRM noodzakelijk en niet overbodig om de mate van zelfredzaamheid in kaart te brengen? 2) Zijn de namen die aan de domeinen van de ZRM zijn gegeven duidelijk en bruikbaar? 3) Is de formulering van de indicatoren in de cellen van de ZRM duidelijk en sluit deze aan bij het dagelijks taalgebruik van professionals in de OGGZ? De aanpassingen en wijzigingen in de ZRM die in iedere sessie werden voorgesteld werden de volgende sessie besproken. De focusgroep is ook gevraagd om op een aantal domeinen waarvoor items van andere meetinstrumenten beschikbaar waren, een keuze te maken tussen de oorspronkelijke vertaalde indicator of het item van het bestaande meetinstrument. Hierbij was iedere combinatie en variatie in de formulering van de indicator mogelijk teneinde de uiteindelijke indicator zo duidelijk mogelijk te maken en aan te laten sluiten bij het dagelijks taalgebruik van professionals. Betekenisvolheid en toepasbaarheid bij diverse OGGZinterventies en aanverwante zorgketens waren de voornaamste aandachtspunten in de derde en laatste fase in de ontwikkeling van de ZRM. Daartoe is de ZRM gepresenteerd aan een groot aantal hulpverleners, beleidsmedewerkers en onderzoekers van diverse instellingen waaronder maatschappelijke opvang instellingen, GGZ- en verslavingszorginstellingen, gemeentelijke beleidsdiensten en instellingen voor sociale en maatschappelijke dienstverlening, met het (vrijblijvende) verzoek commentaar te leveren en aanpassingen voor te stellen op het concept zelfredzaamheid (en de operationalisering daarvan in de ZRM), de domeinnamen, en de formulering van indicatoren. Daarnaast is in deze fase een intensieve samenwerking met de Dienst Sociale Zaken en Werkgelegenheid (SoZaWe) Rotterdam tot stand gekomen. De ZRM was onder de aandacht gebracht bij het Jongerenloket, het centrale loket voor de hulp- en dienstverlening voor jongeren (18-27 jaar) zonder startkwalificatie. De ervaringen en commentaren van de hulpverleners zijn door een beleidsmedewerker van de Dienst SoZaWe samengebracht in een aantal voorstellen voor herziening van indicatoren om de toepasbaarheid van de ZRM bij deze jongere doelgroep te vergroten. In overleg met de onderzoekers van de GGD Amsterdam zijn de voorstellen vervolgens verwerkt in de ZRM. Interne consistentie Het aantonen van interne consistentie, of homogeniteit, van de ZRM is van belang omdat dit zou ondersteunen dat de ZRM één onderliggend kenmerk meet (te weten zelfredzaamheid). Tegelijkertijd is het belangrijk om aan te tonen dat verschillende domeinen van de ZRM niet hetzelfde meten, en domeinen die onderling te sterk correleren (en dus mogelijk overbodig zijn) te verwijderen. 23 De data op basis waarvan interne consistentie van de ZRM werd onderzocht waren afkomstig uit twee bronnen, namelijk het cliëntregistratiesysteem van het Jongerenloket in Rotterdam en de Centrale Toegang tot de maatschappelijke opvang (CTMO) in Amsterdam. Bij de Centrale Toegang in Amsterdam worden personen die toegelaten willen worden tot de Maatschappelijke Opvang gescreend door medewerkers van uitvoerende organisaties (onder andere HVO Querido en het Leger des Heils). Op basis van deze screening wordt bepaald of cliënten aanspraak maken op een plaats in de MO. De ZRM dient als ondersteuning bij het maken van deze beslissing. Het Jongerenloket begeleidt jongeren/jongvolwassenen tot 27 jaar bij het vinden van een opleiding, werk of andere begeleiding. Vaak hebben cliënten die zich melden bij het loket geen startkwalificatie en weinig tot geen werkervaring. In totaal waren gegevens beschikbaar van 2046 clienten beoordeeld met de ZRM bij het Jongerenloket, en 640 cliënten beoordeeld bij de CTMO. Bij het Jeugdloket was de gemiddelde leeftijd van cliënten 20,0 jaar (sd 1,8) en bij de CTMO was de gemiddelde leeftijd 39,9 (sd 10,8). De interne consistentie van de ZRM werd onderzocht met hulp van principale componenten analyse voor categoriale data (CATPCA). 24 Op basis van de bijeenkomsten met de focusgroep en de beschikbare literatuur werd de hypothese gevormd dat zelfredzaamheid één latente variabele is, bestaande uit verschillende doch onderling afhankelijke gedragingen (functioneren) op elf basale en kenmerkende levensdomeinen. Op basis van de aanname dat de ZRM één onderliggend construct meet, en om te toetsen of domeinscores van de ZRM bij elkaar op te tellen zijn tot een betekenisvolle overall score, is gekozen voor een confirmatieve benadering met een 1-factoroplossing. Een factorlading van 0,40 of hoger werd beschouwd als voldoende samenhang tussen ZRM domeinen en de totaalscore. De analyse werd in totaal twee keer uitgevoerd, op basis van de split-half methode. Daartoe werd de totale groep van 2686 personen verdeeld in twee willekeurige groepen van gelijke omvang. De interne consistentie werd ten slotte ook beoordeeld aan de hand van Cronbach s alpha en item-totaal correlaties. Cronbach s alpha moest tenminste 0,70 zijn, terwijl een alfa boven 0,90 (in combinatie met inter-item correlaties boven de 0,70) indicatief zouden kunnen zijn voor redundantie (overbodigheid van domeinen). Interbeoordelaar betrouwbaarheid Overeenstemming tussen beoordelaars (interbeoordelaar betrouwbaarheid) werd onderzocht op twee manieren. Allereerst verzamelden maatschappelijk werkers in dienst bij Jellinek Verslavingszorg in Amsterdam gegevens bij cliënten. Na een training in het gebruik van de ZRM pasten drie paar maatschappelijk werkers de ZRM toe op 20 cliënten. Iedere cliënt werd beoordeeld op basis van de informatie die ieder duo beoordelaars verkreeg uit een intake gesprek. Na afloop van het intake gesprek vulden de beoordelaars de ZRM onafhankelijk van elkaar in. In aanvulling hierop werden verschillende professionals benaderd voor een onderzoek op basis van fictieve casuïstiek. Deelnemers werden benaderd via instellingen en organisaties waar de ZRM al was gepresenteerd en/of geïmplementeerd, en via de sneeuwbalmethode. De protsg jaargang 91 / 2013 nummer 3 Ontwikkeling en betrouwbaarheid van de Zelfredzaamheid-Matrix - pagina 172 /

5 cedure bestond uit het beoordelen van een reeks fictieve casussen met de ZRM. Deze fictieve casussen werden samengesteld door het onderzoeksteam. In totaal waren er twee reeksen van elk drie fictieve casussen. Respondenten hadden verschillende achtergronden. Onder hen bevonden zich maatschappelijk werkers, sociaal-psychiatrisch verpleegkundigen, huisartsen en een psychiater. In totaal werden twee series van drie casussen verstuurd. De eerste reeks werd beoordeeld door 16 professionals en de tweede reeks door 21 beoordelaars. Elke deelnemer ontving een met instructies, de handleiding van de ZRM, de drie fictieve casussen en een digitaal scoreformulier. Ingevulde scoreformulieren werden per naar het onderzoeksteam teruggestuurd. De betrouwbaarheid tussen beoordelaars wordt bij voorkeur afgemeten aan meerdere statistische uitkomstmaten. In dit onderzoek is gebruik gemaakt van Spearman correlaties, het ruwe percentage overeenstemming, en Cohen s kappa (in geval van twee observatoren) of Fleiss kappa (in geval van meerdere observatoren). Met name kappa geeft een indruk van de overeenstemming tussen beoordelaars indien gecorrigeerd voor toevalstreffers. Naast de statistische significantie werd ook de relevantie van de effect size bepaald. De proportie overeenstemming werd gekwalificeerd als matig (0,4 tot 0,6), voldoende (0,6 tot 0,8) en goed/uitstekend (0,8-1,0). De sterkte van correlatie werd gekwalificeerd als matig (r>0,3), sterk (r>0,5) en zeer sterk (r>0,7). Kappa s werden gekwalificeerd als voldoende (>0,40), redelijk (0,40-0,59), voldoende/goed (0,60-0,74) en uitstekend (0,75-1,00). 25 Alle analyses werden gedaan in SPSS versie 19, 26 met uitzondering van de berekening van Fleiss Kappa. 27 Resultaten Ontwikkeling Naar analogie van het Amerikaanse instrumentarium werd het construct zelfredzaamheid gedefinieerd als het realiseren van een acceptabel niveau van functioneren op de belangrijke domeinen van het leven, al dan niet door adequaat en tijdig informele en/of formele hulp te organiseren. Voor de verdere operationalisering van het construct werd zelfredzaamheid beschouwd als een uitkomstmaat, te weten de mate waarin een acceptabel niveau van functioneren ( zelfredzaamheid ) is gerealiseerd. Van de oorspronkelijke negentien domeinen van de Amerikaanse matrices kwamen zestien domeinen in aanmerking voor een vertaling naar het Nederlands, bewerking en ontwikkeling. De domeinen Food (met een verwijzing naar voedselbonnen) en Mobility (in tegenstelling tot de soms uitgestrekte staten van Amerika is personenvervoer geen belangrijk levensdomein in Nederland) bleken te zeer geënt op de Amerikaanse situatie en zijn daarom verwijderd. Het domein Parenting skills is in deze fase van de ontwikkeling verwijderd omdat het voornamelijk gericht is op beoordeling van vaardigheden (in tegenstelling tot de andere domeinen die waarneembare aspecten van het functioneren beoordelen) en daarmee beperkte face validiteit had voor het construct zelfredzaamheid als uitkomst De eerste (letterlijke) vertaling van de Amerikaanse SSM s is vergeleken met de formulering zoals die wordt gebruikt in de indicatiestelling voor de Zorg Zwaarte Pakketten (ZZP) van het Centrum Indicatiestelling Zorg (CIZ), de Diagnostic and Statistical Manual (DSM) IV en enkele meetinstrumenten die al gebruikt worden door professionals in de zorg, zoals de Nederlandse versie van de Health of the Nation Outcome Scale (HoNOS). 15 Daarnaast zijn, mede op basis van publicaties met betrekking tot de OGGZ doelgroep en wetgeving de conceptuele en operationele definitie van het construct zelfredzaamheid verder uitgewerkt. Vergelijking met de bestaande meetinstrumenten, bestudering van de literatuur, en consultatie van onderzoekers en experts hebben geleid tot de bewerking van een aantal indicatoren van de domeinen Geestelijke gezondheid, Fysieke gezondheid, Verslaving, en ADL-vaardigheden. Bij de beslissing het domein Kinderopvang achterweg te laten speelde de overweging dat onder volwassenen in de OGGZ slechts een heel klein deel van de doelgroep verantwoordelijk is voor (de zorg voor) kinderen. Het domein is dus zeer vaak niet van toepassing en beperkt bruikbaar voor de doelgroep van de OGGZ. Veiligheid werd uit de ZRM weggelaten omdat het te veel overlap vertoonde met andere domeinen, met name het domein Huisvesting. Educatie (van zowel kinderen als volwassenen) werd niet in de ZRM opgenomen omdat het niet werd beschouwd als een domein waarop men zelfredzaam moet zijn, maar als een middel om zelfredzaam op andere domeinen te worden. Verzekering (welke leden van een huishouden een zorgverzekering hebben en de mate waarin zorgkosten worden gedekt door die verzekering) werd verwijderd omdat de verzekering van zorgkosten in Nederland anders is georganiseerd dan in de VS. In plaats daarvan is besloten een aantal van de verwijderde domeinen op te nemen in het ZRM scoreformulier als zwaartefactor. Zo kan de afwezigheid van een zorgverzekering, of het hebben van de verantwoordelijkheid voor (minderjarige) kinderen, worden geregistreerd omdat het een factor is die een rol speelt bij het stellen van doelen en de eisen aan hoe zelfredzaam een cliënt kan en moet worden. De ZRM is vervolgens gepresenteerd aan het behandelteam van de Geïntegreerde Voorziening in Amsterdam Zuidoost. De herformulering van verschillende indicatoren en domeinnamen zijn het resultaat van hun feedback. Het domein Familie relaties is bijvoorbeeld Gezinsrelaties geworden, omdat dit volgens de professionals beter aangeeft dat dit domein over de zelfredzaamheid binnen relaties tussen samenwonende leden van het gezin betreft. Een voorbeeld van herziening van indicator formulering zijn de indicatoren van het domein Dagbesteding. Niveau 3 en 4 zijn geherformuleerd in termen van laag- en hoogdrempelige dagbesteding, begrippen waar de leden van het behandelteam dagelijks mee werken, in het bijzonder de professionals van DWI en SSCW. Na de vierde bijeenkomst waren de professionals tevreden met de formulering van alle domeinen en indicatoren, en vond men tsg jaargang 91 / 2013 nummer 3 Ontwikkeling en betrouwbaarheid van de Zelfredzaamheid-Matrix - pagina 173 /

6 de ZRM een overzichtelijk en bruikbaar instrument dat goed aansloot bij de dagelijkse praktijk. De laatste herziening van de ZRM vond plaats op basis van de commentaren van professionals, beleidsmedewerkers en onderzoekers van verschillende instellingen (onder andere van GGZ Ingeest, GGD Amsterdam afdeling Vangnet & Advies, Jellinek-Mentrum, en Dienst Wonen, Zorg en Samenleven) en in overleg met de dienst SoZaWe in Rotterdam. De toevoeging van een opleidingscomponent in het domein Dagbesteding en herformulering van een aantal indicatoren van het domein Huisvesting om dit domein ook binnen instellingen van toepassing te laten zijn waren de voornaamste wijzigingen in de ZRM op basis van de instelling- en Rotterdamse input. Interne consistentie De factoranalyse met een unidimensionele oplossing liet zien dat alle domeinen voldoende correleerden met de totale score, aangezien alle factorladingen hoger waren dan de minimumwaarde van 0,4 (tabel 2). Er waren vrijwel geen aanwijzingen voor redundantie (overbodigheid van items/domeinen), aangezien Cronbach s alpha onder de gestelde grenswaarde van 0,90 bleef. Wel bleken de domeinen Inkomen en Huisvesting bovenmatig sterk met elkaar gecorreleerd, met een inter-item correlatie die de grenswaarde van 0,7 overschreed (data niet in de tabel). Interbeoordelaar betrouwbaarheid De overeenstemming tussen beoordelaars die cliënten beoordeelden op basis van een intakegesprek was in de meeste opzichten goed (tabel 3). De correlatie tussen beoordelingen was steeds (zeer) sterk, wat betekent dat maatschappelijk werkers hun cliënten steeds op vergelijkbare wijze scoorden. Het percentage overeenstemming varieerde van matig (fysieke gezondheid, sociaal netwerk, justitie) tot goed (inkomen). Overeenstemming gecorrigeerd voor toevalstreffers was in alle gevallen voldoende, van tenminste matig (sociaal netwerk, justitie) tot goed (inkomen en huisvesting). De overeenstemming op basis van fictieve casuïstiek (tabel 4) liet een meer heterogeen beeld zien. De correlatie tussen beoordelingen op verschillende domeinen was in bijna alle gevallen (zeer) sterk, met uitzondering van gezinsrelaties (reeks 1) en huisvesting (reeks 2). Het percentage overeenstemming was in de meeste gevallen voldoende, maar zwak voor de domeinen sociaal netwerk (reeks 1) en maatschappelijke participatie (reeks 2). Overeenstemming gecorrigeerd voor toeval (Fleiss Kappa) was in de meeste gevallen matig tot redelijk, met zowel uitschieters naar beneden (sociaal netwerk, reeks 1; maatschappelijke participatie, reeks 2) als naar boven (inkomen en huisvesting, reeks 1; dagbesteding, fysieke gezondheid en justitie, reeks 2). Discus sie Dit artikel beschrijft de ontwikkeling en het onderzoek naar de betrouwbaarheid van de ZRM, een instrument dat hulpverleners in staat stelt op integrale en telbare wijze inzicht te verkrijgen in de zelfredzaamheid van diverse doelgroepen in de openbare gezondheidszorg. De eerste resultaten van het onderzoek naar de psychometrische kwaliteiten van de ZRM laten zien dat de ZRM één onderliggend construct lijkt te meten, en de interne consistentie van het instrument is ruim voldoende. Hoewel Cronbach s alpha als maat vrij gauw voldoet aan het gewenste criterium naarmate deze berekend wordt over een groter aantal vragen elf domeinen is in dit verband een redelijk groot aantal suggereren deze resultaten dat een totaalscore op de ZRM berekend kan worden die iets zegt over de mate waarin een individu in het algemeen zelfredzaam is. Voor de evaluatie van het effect van interventies in termen van zelfredzaamheid, of Routine Outcome Monitoring (ROM), kan een dergelijke totaalscore interessant zijn. De overeenstemming tussen beoordelaars, welke op verschillende manieren werd onderzocht en beoordeeld, laat een vrij constant beeld zien. In vrijwel alle gevallen waren de correlaties tussen scores van verschillende beoordelaars positief en hoog. De exacte overeenstemming varieerde weliswaar per domein, maar de domeinen die bestempeld werden als onvoldoende betrouwbaar varieerden per studie. Omdat bovendien de beoordelingen van echte cliënten het meest betrouwbaar waren, zien we Tabel 2. Interne consistentie van de Zelfredzaamheid-Matrix (ZRM)* Domein Factorladingen (split-half 1; N=1351) Factorladingen (split-half 2; N=1335) 1 Inkomen 0,72 0,72 2 Dagbesteding 0,78 0,77 3 Huisvesting 0,76 0,74 4 Gezinsrelaties 0,52 0,52 5 Geestelijke gezondheid 0,69 0,67 6 Fysieke gezondheid 0,55 0,51 7 Verslaving 0,59 0,54 8 ADL-vaardigheden 0,69 0,68 9 Sociaal netwerk 0,78 0,77 10 Maatschappelijke participatie 0,83 0,81 11 Justitie 0,58 0,55 Eigenwaarde 5,21 4,95 Verklaarde variantie (%) 47,32 45,00 Cronbach s alpha 0,89 0,88 * Principale componenten analyse voor categoriale data (CATPCA) bij een 1-factor oplossing tsg jaargang 91 / 2013 nummer 3 Ontwikkeling en betrouwbaarheid van de Zelfredzaamheid-Matrix - pagina 174 /

7 Tabel 3. Overeenstemming tussen duo s van beoordelaars in de beoordeling van cliënten (n=20) uit de verslavingszorg Domein R 1 Proportie 2 Kappa 3 Inkomen 0,92 zeer sterk 0,80 uitstekend 0,72 goed Dagbesteding 0,77 zeer sterk 0,75 goed 0,58 redelijk Huisvesting 0,89 zeer sterk 0,78 goed 0,71 goed Gezinsrelaties 0,56 sterk 0,68 goed 0,57 redelijk Geest. gezondheid 0,77 zeer sterk 0,63 goed 0,52 redelijk Fysieke gezondheid 0,78 zeer sterk 0,56 redelijk 0,41 redelijk Verslaving 0,78 zeer sterk 0,63 goed 0,53 redelijk ADL-vaardigheden 0,67 sterk 0,65 goed 0,44 redelijk Sociaal netwerk 0,59 sterk 0,50 redelijk 0,35 matig Maatsch. participatie 0,73 zeer sterk 0,69 goed 0,56 redelijk Justitie 0,81 zeer sterk 0,50 redelijk 0,35 matig 1 De sterkte van correlaties is gekwalificeerd als sterke samenhang (40,5) en zeer sterke samenhang (40,7). 2 Proportie ruwe overeenstemming is gekwalificeerd als redelijk (0,4 tot 0,6), goed (0,6 tot 0,8) en uitstekend (0,8-1,0). 3 Kappa is gekwalificeerd als zwak (0-0,20), Matig (0,21-0,40), redelijk (0,41-0,60), goed (0,61-0,80) en uitstekend (0,81-1,00). Tabel 4. Overeenstemming tussen beoordelaars in de beoordeling van drie fictieve casussen Domein R 1 Proportie 2 Kappa 3 Reeks 1 Inkomen 0,97 zeer sterk 0,77 goed 0,71 goed (N=16) Dagbesteding 0,96 zeer sterk 0,43 redelijk 0,28 matig Huisvesting 0,98 zeer sterk 0,69 goed 0,61 goed Gezinsrelaties 0,28 zeer zwak 0,46 redelijk 0,33 matig Geest. gezondheid 0,74 sterk 0,41 redelijk 0,26 matig Fysieke gezondheid 0,99 zeer sterk 0,56 redelijk 0,45 redelijk Verslaving 0,99 zeer sterk 0,58 redelijk 0,47 redelijk ADL-vaardigheden 0,99 zeer sterk 0,59 redelijk 0,48 redelijk Sociaal netwerk 0,94 sterk 0,35 zwak 0,19 zwak Maatschappelijke participatie 0,97 zeer sterk 0,53 redelijk 0,42 redelijk Justitie 0,99 zeer sterk 0,67 goed 0,59 redelijk Reeks 2 Inkomen 0,99 zeer sterk 0,50 redelijk 0,38 matig (N=22) Dagbesteding 0,99 zeer sterk 0,71 goed 0,64 goed Huisvesting 0,00 zeer zwak 0,47 redelijk 0,34 matig Gezinsrelaties 0,79 zeer sterk 0,40 redelijk 0,26 matig Geest. gezondheid 0,97 zeer sterk 0,49 redelijk 0,37 matig Fysieke gezondheid 0,99 zeer sterk 0,83 uitstekend 0,78 goed Verslaving 0,99 zeer sterk 0,60 goed 0,50 redelijk ADL-vaardigheden 0,85 zeer sterk 0,40 redelijk 0,25 matig Sociaal netwerk 0,79 zeer sterk 0,44 redelijk 0,31 matig Maatschappelijke participatie 0,74 zeer sterk 0,30 zwak 0,12 zwak Justitie 0,99 zeer sterk 0,73 goed 0,66 goed 1 De sterkte van correlaties is gekwalificeerd als sterke samenhang (40,5) en zeer sterke samenhang (40,7). 2 Proportie ruwe overeenstemming is gekwalificeerd als redelijk (0,4 tot 0,6), goed (0,6 tot 0,8) en uitstekend (0,8-1,0). 3 Kappa is gekwalificeerd als zwak (0-0,20), matig (0,21-0,40), redelijk (0,41-0,60), goed (0,61-0,80) en uitstekend (0,81-1,00). hierin een aanwijzing dat de inter-beoordelaarbetrouwbaarheid vooral afhankelijk lijkt van de hoeveelheid/ kwaliteit van informatie per casus dan van de kwaliteit van de ZRM. Immers, de hoeveelheid informatie in fictieve casussen was beperkt, terwijl professionals die echte cliënten beoordeelden meer controle hadden over de informatie waarover zij konden beschikken. Zij konden cliënten zien en ruiken, maar vooral konden zij het consult net zo lang laten duren totdat er voldoende informatie was om de ZRM volledig in te kunnen vullen. Onze conclusie is dan ook dat beoordelaars met verschillende achtergronden hun cliënten/casuïstiek op vergelijkbare wijze kunnen beoordelen. De overeenstemming tussen beoordelaars die de ZRM in de praktijk toepassen is van grote waarde. Immers, een belangrijke belofte van de ZRM is dat het instrument, dankzij het systeem van indicatoren, een aanzienlijk deel van de subjectiviteit in de beoordeling van cliënten wegneemt. Echter, waar de correlaties aangaven dat beoordelingen van professionals in grote lijnen overeenstemden, gaf de meest strenge maat voor overeenstemming (Kappa; corrigerend voor toevalstreffers ) aan dat de exacte overeenstemming tussen hen voor een aantal domeinen nog niet voldoende is. De betrouwbaarheid van de ZRM zou in dat opzicht moeten worden verbeterd, wat de ZRM overigens gemeen heeft met andere in de GGZ gangbare meetinstrumenten als de HoNOS. 28,29 Bovendien bestaat het vermoeden dat de overeenstemming tussen professionals in de praktijk enigszins lager is, omdat beoordelaars in een reële gesprekssetting gesprekken meestal niet gezamenlijk voeren, en derhalve kunnen verschillen in welke informatie zij vergaren. In deze studie was dat niet zo omdat beoordelaars beschikten over dezelfde fictieve casuïstiek, of gezamenlijk een intakegesprek bijwoonden. Het is van belang dat gebruikers van de ZRM zich hier bewust van zijn. Daarmee bedoelen we dat instellingen en organisaties die de ZRM willen gebruiken als doorslaggevend criterium (bijv. bij het besluit of een cliënt wel of geen toegang hoort te krijgen tot een bepaalde voorzie- tsg jaargang 91 / 2013 nummer 3 Ontwikkeling en betrouwbaarheid van de Zelfredzaamheid-Matrix - pagina 175 /

8 ning) de correcte toepassing van het instrument kritisch zullen moeten (blijven) monitoren. De professionele kwaliteit en vaardigheden van de persoon die de ZRM afneemt en invult kunnen ook met de ZRM gelukkig niet helemaal uitgesloten worden als factor in een beoordelingsproces. Desalniettemin wordt onderzocht of het mogelijk is de overeenstemming tussen beoordelaars verder te verbeteren door in de handleiding van de ZRM extra stil te staan bij sommige domeinen, of door sommige indicatoren in het instrument aan te passen. Dit heeft recent geleid tot een nieuwe versie van zowel de ZRM als de handleiding. Daarnaast wordt een trainingsmodule ontwikkeld voor de website die gewijd is aan de ZRM (noot d), en wordt voorzien in een laagdrempelige training in het gebruik van de ZRM. Op deze website is de ZRM bovendien gratis te downloaden. Ook al zijn deze eerste resultaten veelbelovend, het belang van meer onderzoek naar psychometrische kenmerken van de ZRM is groot. Voor bepaalde toepassingen van de ZRM bieden aparte domeinscores, of scores op subschalen, mogelijk meer informatie. Als de ZRM wordt toegepast als instrument voor evaluatie van de voortgang en ontwikkeling van cliënten kan het bijvoorbeeld juist belangrijk zijn om te bestuderen hoe de scores zich per domein en in de tijd ontwikkelen. En als de ZRM wordt gebruikt als ondersteuning bij het nemen van bepaalde beslissingen (bijv. iemand toe te laten tot de maatschappelijke opvang) kan blijken dat zelfredzaamheid op het ene domein (bijv. huisvesting) belangrijker is dan zelfredzaamheid op het andere domein (bijv. fysieke gezondheid). Om te onderzoeken of de ZRM uit meerdere subschalen bestaat zou een principale componentenanalyse met een exploratieve insteek moeten worden uitgevoerd. In het kader van ROM is het verder belangrijk dat onderzocht wordt hoe de ZRM samenhangt met reeds gevestigde instrumenten voor dit doeleinde, zoals de HoNOS en de CANSAS. Op dit punt zijn reeds de nodige stappen gezet, en de resultaten van onderzoek zullen spoedig worden gepubliceerd. Tevens is het van belang dat onderzocht wordt wat de test-hertest betrouwbaarheid en (vooral) de sensitivity to change (gevoeligheid voor verandering) van de ZRM zijn. Met name de gevoeligheid van verandering is van belang om de ontwikkeling van individuele cliënten in de tijd in kaart te brengen. Hoewel levensdomeinen van de ZRM beschouwd worden als basale aspecten van het leven waarop alle volwassenen al dan niet met hulp en begeleiding voldoende moeten functioneren, bevelen wij tenslotte aan dat de validiteit en betrouwbaarheid van de ZRM ook in andere populaties in de (openbare) gezondheidszorg en het welzijnsveld worden onderzocht. Dat de ZRM in eerste instantie ontwikkeld is bij een groep waarin de mate van zelfredzaamheid op deze elementaire levensdomeinen ernstig beperkt is, betekent niet dat het instrument niet relevant en bruikbaar is in populaties waarin de mate van zelfredzaamheid beter/hoger is. De score op de ZRM reikt immers van de meest ernstige situatie tot de meest gunstige situatie op domeinen waarop alle volwassenen (18-65) zelfredzaam dienen te zijn. Door bij de ontwikkeling van de ZRM voornamelijk, maar niet uitsluitend, te kijken naar een populatie die op de meest basale aspecten van het leven problemen ervaren, zijn in de ZRM levensdomeinen opgenomen waarop alle volwassenen tenminste zelfredzaam dienen te zijn om zich te handhaven in de maatschappij. Het is evenwel mogelijk dat voor specifieke cliëntengroepen andere domeinen en/of indicatoren ontwikkeld moeten worden. In dat kader wordt bijvoorbeeld onderzocht hoe de ZRM aangepast kan worden om de zelfredzaamheid van een ouder/verzorger met betrekking tot de opvoeding van (minderjarige) kinderen meetbaar te maken. Noten a Zie: b De Self-sufficiency Standard van Pearce et al. beschrijft het inkomen dat een gezin nodig heeft om tegemoet te komen aan basale financiële behoeften (incluis belastingen), zonder publieke ondersteuning (bijvoorbeeld huursubsidie, voedselbonnen, kinderbijslag) of andere vormen van externe ondersteuning (van familie, vrienden of bijvoorbeeld een voedselbank). Bij het vaststellen van het vereiste inkomensniveau houden Pearce et al. rekening met twee factoren die in grote mate de kosten van het levensonderhoud van een gezin bepalen, namelijk de omvang van het betreffende gezin (grotere gezinnen hebben meer inkomen nodig), en de regio waar het gezin is gevestigd. Voor meer informatie over de Self-sufficiency Standard zie: c Het ROMA initiatief had een wettelijke basis in de vorm van de Government Performance and Results Act (GPRA) uit 1993, welke als doel had het management van projecten van de overheid te verbeteren, door duidelijke doelen te stellen, resultaten te meten, en voortgang te rapporteren. Zie ook d Zie: Op deze website vindt u de ZRM Dit is de nieuwste versie van de ZRM, uitgekomen op 21 februari. Abstract Development and reliability of the Self Sufficiency Matrix in the Netherlands Among health care professionals, policy makers and researchers there is a growing need for an instrument that enables the measurement of self-sufficiency of patients. In this article we describe the development of the Self-Sufficiency Matrix (Dutch acronym ZRM ). In addition, we present the results of a study into its reliability. The ZRM is an adaptation of the Self-Sufficiency Matrices from the United States, and the result of an elaborate translation and consensus procedure among stakeholders in the Netherlands. The Dutch ZRM measures self-sufficiency on 11 lifedomains, including Income, Daytime activities and Housing. This is done by applying a system of indicators: short definitions that briefly describe the situation of clients and simultaneously link it to a certain level of selfsufficiency on each life domain. According to the data collected for this study, the ZRM measures a single underlying construct and has good internal consistency. Moretsg jaargang 91 / 2013 nummer 3 Ontwikkeling en betrouwbaarheid van de Zelfredzaamheid-Matrix - pagina 176 /

9 over, interrater reliability of the ZRM seems adequate, as multiple raters were able to give both real and fictitious clients similar ratings. However, exact agreement between raters was not always achieved for each domain. Thus, the first results of the research into psychometric properties of the ZRM are generally positive. More research is needed to indicate whether the ZRM has good validity as well. Keywords: self-sufficiency, psychometrics, reliability, ZRM Literatuur 1. Gussekloo J. Preventie bij ouderen: focus op zelfredzaamheid. Huisarts Wet 2009;52: Boot J, Knapen M. De Nederlandse gezondheidszorg. Houten: Bohn Stafleu van Loghum, Weerd S van de. Het recht van de sterken. Een onderzoek naar uitsluiting van mensen met complexe problemen. Rotterdam: Erasmus Universiteit, Reerink A, Wammes H. Met spoed lichte gevallen eruit. NRC Handelsblad Dam M van. De zelfredzaamheid wordt juist afgebroken. Volkskrant Vries L de. De paradox van de zelfredzaamheid. MGv 2011;66: Didden R, Didden-Alburg J. Zelfredzaamheid bij kinderen en jeugdigen met autisme en een ernstige verstandelijke beperking. In: Didden R. Begeleiding van kinderen en jongeren met autisme. Van onderzoek naar praktijk. Houten: Bohn Stafleu van Loghum, 2008: Gold PB, Meisler N, Santos AB et al. Randomized trial of supported employment integrated with assertive community treatment for rural adults with severe mental illness. Schizophr Bull 2006;32: Hardy JB, Shapiro S, Mellits ED et al. Self-sufficiency at ages 27 to 33 years: factors present between birth and 18 years that predict educational attainment among children born to innercity families. Pediatrics 1997;99: Higginson IJ, Donaldson N. Relationship between three palliative care outcome scales. Health Qual Life Outcomes 2004;2: Kempen G. Psychosociale aspecten van gezondheid en zelfredzaamheid bij ouderen: van determinanten naar interventie. Tijdschr Gerontol Geriatrie 2009;40: Meara E, Greenfield SF. The relationship between substance use patterns and economic and health outcomes among lowincome caregivers and children. Psychiatr Serv 2008;59: Kempen G, Doeglas D, Suurmeijer T. Het meten van problemen met zelfredzaamheid op verzorgend en huishoudelijk gebied met de Groningen Activiteiten Restrictie Schaal (GARS), een handleiding. Groningen: Noordelijk Centrum voor Gezondheidsvraagstukken, Scholten G, Mulder M. INVRA-wonen. Utrecht/Woldyne Epe: BBI, Mulder C, Staring A, Loos J et al. De Health of the Nation Outcome Scales (HoNOS) als instrument voor routine outcome assessment. Tijdschr Psychiatrie 2004;46: Phelan M, Slade M, Thornicroft G et al. The Camberwell Assessment of Need: the validity and reliability of an instrument to assess the needs of people with severe mental illness. Br J Psychiatry 1995;167: Pearce D. The Self-sufficiency Standard Culhane D, Gross K, Parker W, Poppe B, Sykes E. Accountability, Cost-Effectiveness, and Program Performance: Progress Since Philadelphia: National Symposium on Homelessness Research, Land H van t, Vruggink J, Wolf J. Van later zorg? Over de kwaliteit van laagdrempelige zorg voor langdurig verslaafden. Utrecht: Trimbos instituut, Sleegers J. Kwetsbaar in de grote stad. G4 Visie op een samenhangende Openbare Geestelijke Gezondheidszorg. Utrecht: G4, Wolf J. Handreiking OGGZ in de WMO. Den Haag: VWS en VNG, Voogt A, van Hemert A, Mulder N et al (red). Niemand over de schutting. Professionalisering van de Openbare Geestelijke Gezondheidszorg. Utrecht: G4, Streiner DL, Norman GR. Health measurement scales: A practical guide to their development and use. 3rd edition. Oxford: Oxford University Press, Meulman J, van der Kooij A, Heiser W. Principal Component Analysis with nonlinear optimal scaling transformations for ordinal and nominal data. In: Kaplan D (ed). The Sage Handbook of Quantitative Methodology for the Social Sciences. London: Sage, Cohen J. Statistical power analysis for the behavioral sciences. New Jersey: Lawrence Erlbaum Associates, IBM/SPSS company. SPSS 19.0 for Windows. Chicago: IBM/ SPSS company, Randolph J. Online Kappa Calculator. net/kappa/. 28. Brooks R. The reliability and validity of the Health of the Nation Outcome Scales: validation in relation to patient derived measures. Aust N Z J Psychiatry 2000:34; Rock D, Preston N. HoNOS: is there any point in training clinicians? J Psychiatr Ment Health Nurs 2001;8: Correspondentieadres Thijs Fassaert, GGD Amsterdam, Postbus 2200, 1000 CE, Amsterdam, tel , tfassaert@ggd.amsterdam.nl tsg jaargang 91 / 2013 nummer 3 Ontwikkeling en betrouwbaarheid van de Zelfredzaamheid-Matrix - pagina 177 /