signaleringsinstrumenten voor psychosociale problemen bij 0 4 jarigen in de JGZ TNO CHILD HEALTH Marianne de Wolff en Meinou Theunissen marianne.de wolff@tno.nl meinou.theunissen@tno.nl 1. Validatieonderzoek De JGZ is een belangrijke schakel in de signalering van psychosociale problemen bij kinderen. In Nederland zijn voor de leeftijd van 0 tot 4 jaar geen gevalideerde signaleringslijsten beschikbaar die de opsporing door de JGZ kunnen ondersteunen. Doel van het huidige onderzoek is het valideren van een aantal veelbelovende beschikbare signaleringslijsten zodat op basis van de uitkomsten een advies uitgebracht kan worden welk instrument op welke leeftijd het meest geschikt is voor gebruik binnen de JGZ. In dit onderzoek zijn de volgende vier signaleringslijsten met elkaar vergeleken in termen van validiteit (specificiteit en sensitiviteit) en meerwaarde voor de JGZ: de KIPPPI Kort Instrument voor de Psychologische en Pedagogische Probleem Inventarisatie de SDQ 34 Strengths and Difficulties Questionnaire de BITSEA BriefInfantToddler Social and Emotional Assessment de Ages and Stages Questionnaires: SocialEmotional Voor de leeftijdsgroep van 6 en 14 maanden kunnen we geen enkel instrument aanbevelen voor de JGZ. De signalering van psychosociale problemen wordt op 6 en 14 maanden niet verbeterd door instrumenten. Voor kinderen van 24 maanden bevelen we de BITSEA aan omdat dit instrument het beste presteert. Voor de leeftijdsgroep van 36 en 45 maanden bevelen we de SDQ aan voor gebruik in de JGZ.
Doelstelling van het onderzoek Het onderzoek beoogt de volgende vragen te beantwoorden: Welke lijsten zijn het beste in termen van validiteit (criterium: verhoogde score op de CBCL)? Welke lijsten bieden de meeste meerwaarde voor de JGZ in die zin dat ze informatie opleveren over het voorkomen van psychosociale problemen aanvullend op de informatie uit het dossier van de JGZ? Tabel 1: Overzicht van instrumenten in relatie tot leeftijdsgroep Leeftijdsgroep Instrument 6 maanden Groep 1:, baby KIPPPI en CBCL (CBCL 1 jaar later) 14 maanden Groep 1:, baby KIPPPI en CBCL (CBCL 1 jaar later) Groep 2:, BITSEA en CBCL (CBCL 1 jaar later) 24 maanden Groep 1:, peuter KIPPPI en CBCL Groep 2 :, BITSEA en CBCL Methode Aan het onderzoek hebben 18 Instellingen voor Jeugdgezondheidszorg 04, verspreid over heel Nederland, meegewerkt. De signaleringslijsten werden getest in vijf leeftijdsgroepen: 6, 14, 24, 36 en 45 maanden. Tabel 1 geeft een overzicht van de gehanteerde instrumenten, in relatie tot het contactmoment. De ouders van de kinderen vulden telkens twee signaleringsinstrumenten in die geschikt zijn voor de leeftijd (zie Tabel 1). Daarnaast vulden alle ouders altijd ook de CBCL in die gehanteerd werd als het criterium voor psychosociale problemen van het kind. De ouders leverden vervolgens de vragenlijst in tijdens het consult. De arts of verpleegkundige die het consult uitvoerde, deed het consult conform de normale procedure, zonder de ingevulde vragenlijsten in te zien. Na afloop van het consult vulde de arts of verpleegkundige een aantal vragen in over de door hem of haar gesignaleerde psychosociale problematiek en de ernst daarvan. Op deze wijze werd de eigen signalering door de JGZ professional, zonder gebruik van signaleringsinstrumenten, in kaart gebracht. Omdat het criterium voor psychosociale problemen (CBCL) pas vanaf 1,5 jaar betrouwbaar afgenomen kan worden, werden de ouders van beide jongste groepen kinderen (6 en 14 maanden) gevraagd een jaar later de CBCL in te vullen. 36 maanden Groep 1:, SDQ 34 en CBCL Groep 2:, KIPPPI 14 en CBCL 45 maanden Groep 1 :, SDQ 34 en CBCL Groep 2:, KIPPPI 14 en CBCL 2
Analyse De interne consistentie is gemeten met behulp van Cronbach s alfa. Met een toetsende factoranalyse (Mplus) is getoetst of de gevonden factorstructuur overeenkomt met het veronderstelde schaalmodel. Met behulp van ROC analyses (Receiver Operating Characteristics) is vervolgens de algemene diagnostische kwaliteit van het instrument, uitgedrukt in de Area Under the Curve (AUC), vastgesteld. Er is gekozen voor een afkappunt met een minimale specificiteit van, waarbij een verhoogde CBCL totale probleemscore als criterium gehanteerd wordt. Dat betekent dat niet meer dan 10% van de kinderen ten onrechte als problematisch bestempeld mag worden door een specifieke signaleringslijst. De meerwaarde van de signaleringslijsten voor de JGZ is bepaald door na te gaan in hoeverre de uitkomst van de signaleringslijsten bijdraagt aan de mate waarin het onderscheid tussen kinderen met en zonder problemen verbeterd kan worden. We maken gebruik van logistische regressie, waarbij in de eerste stap nagegaan wordt in hoeverre de uitkomst van de CBCL voorspeld kan worden door de klinische signalering die de JGZ professional heeft verricht. In de tweede stap wordt de uitkomst van de specifieke signaleringslijst als voorspeller toegevoegd, zodat duidelijk wordt wat elk instrument toevoegt aan het klinische oordeel van de JGZ professional. De significantie van de verandering in de 2 log likelihood ratio in de tweede stap van elk model wordt gebruikt om te bepalen of de betreffende signaleringlijst resulteert in een beter onderscheid tussen kinderen met en zonder problemen. Uitkomsten per leeftijdsgroep In het algemeen geldt dat we voor alle instrumenten het onderscheidend vermogen (sensitiviteit) hebben vastgesteld bij een minimale specificiteit van, waarbij een verhoogde CBCL totale probleemscore als criterium gehanteerd wordt. Dat betekent dat niet meer dan 10% van de kinderen ten onrechte als problematisch bestempeld mag worden door een specifieke signaleringslijst. Voor de leeftijdsgroep van 6 maanden hebben we over 415 kinderen (respons 56%) volledige gegevens verzameld op 6 en 18 maanden, waarbij de CBCL een jaar later dan de signaleringslijst werd ingevuld. Uitkomsten lieten zien dat noch de Baby KIPPPI, noch de de signalering van psychosociale problemen bij kinderen van 6 maanden kunnen verbeteren. Beide instrumenten zijn laag sensitief (Baby KIPPPI: 0,25 en : 0,28) wanneer we een verhoogde CBCL score als criterium gebruikten. De parameters (kappa, sensitiviteit, AUC en de odds ratio s in de meerwaarde analyse) geven aan dat de Baby KIPPPI en de matig tot slecht presteren. De inzet van instrumenten verbeterde de signalering op de leeftijd van 6 maanden nauwelijks. Voor de leeftijdsgroep van 14 maanden hebben we over 819 kinderen (respons 53,5%) volledige gegevens verzameld op 14 en 24 maanden, waarbij de CBCL 10 maanden na de signaleringslijst werd ingevuld. Onze studie laat zien dat noch de BITSEA, baby KIPPPI noch de de signalering van psychosociale problemen bij kinderen van 14 maanden kunnen verbeteren. Zonder instrument kunnen JGZ medewerkers geen goed onderscheid maken tussen kinderen met en zonder problemen. Met een instrument wordt het onderscheid niet echt beter. We kunnen daarom geen van de drie instrumenten aanbevelen voor gebruik in de JGZ. Voor de leeftijdsgroep van 24 maanden hebben we over 872 kinderen (respons 78%) volledige gegevens verzameld. Alle drie de getoetste instrumenten, de, de BITSEA, en de Peuter KIPPPI, zijn voldoende betrouwbaar en hangen samen met het CBCL criterium. Enkel de BITSEA heeft echter voldoende onderscheidend vermogen om kinderen met en zonder verhoogde CBCL score te onderscheiden. Het onderscheidend vermogen van de Baby KIPPPI en de is erg laag: iets meer dan de helft van de kinderen met een 3
verhoogde CBCL score wordt met deze instrumenten geïdentificeerd (sensitiviteit van Peuter KIPPPI = 0,53, van = 0,66). De BITSEA, met een sensitiviteit van 0,84 signaleert 84% van de kinderen met problemen correct. Ook de andere parameters (kappa, AUC en de OR s in de meerwaarde analyse) geven aan dat de BITSEA het beste presteert in de leeftijdsgroep van 24 maanden. Voor de leeftijdsgroep van 36 maanden hebben we over 1006 kinderen (respons 75%) volledige gegevens verzameld. De resultaten laten zien dat enkel de SDQ voldoende onderscheidend vermogen heeft tussen kinderen met en zonder een verhoogde score op de CBCL (sensitiviteit = 0,80). De sensitiviteit van de KIPPPI 14 en de is in deze leeftijdsgroep erg laag: slechts iets meer dan de helft van de kinderen met een verhoogde CBCL score wordt gedetecteerd met de KIPPPI 14 (sensitiviteit = 0,55) of de (sensitiviteit = 0,59). Ook de overige parameters (kappa, AUC en de OR s in de meerwaarde analyse) geven aan dat de SDQ het beste presteert. De aanbevolen afkapwaarde van de SDQ op deze leeftijd bedraagt > 10. Voor de leeftijdsgroep van 45 maanden hebben we over 722 kinderen (respons 59%) volledige gegevens verzameld. De resultaten laten zien dat het onderscheidend vermogen van alle drie onderzochte signaleringslijsten (SDQ, KIPPPI 14, ) aan de lage kant is bij een specificiteit van. De SDQ en (sensitiviteit = 0,62) identificeren ruim de helft van de kinderen met een verhoogde CBCL score. De KIPPPI 14 (sensitiviteit = 0,47) identificeert slechts de helft van de kinderen met problemen. (kappa, AUC en de OR s in de meerwaarde analyse) geven aan dat de SDQ beter presteert dan de en de KIPPPI in de leeftijdsgroep van 45 maanden. Discussie De gebruikte onderzoeksprocedure is goed ingebed in de gangbare werkwijze tijdens de consulten, en het onderzoek omvat een forse steekproef van kinderen. Het onderzoek heeft enkele beperkingen. Ten eerste was de respons in de leeftijdsgroepen van 6, 14 en 45 laag (respectievelijk 56%, 54% en 59%), terwijl de respons op 24 en 36 maanden goed (gemiddeld 77%. In de jongste leeftijdsgroepen kan de lage respons ten dele toegeschreven worden aan de onderzoeksopzet waarbij ouders na een jaar opnieuw benaderd werden om de CBCL in te vullen. De oorzaak van de lage respons in de groep van 45 maanden is onbekend. Verder bleek in ons onderzoek dat ouders van nietnederlandse herkomst minder vaak meedoen aan het onderzoek dan Nederlandse ouders. Zowel een onvoldoende beheersing van de Nederlandse taal als culturele aspecten kunnen hierin een rol gespeeld hebben. De generaliseerbaarheid van onze gegevens naar ouders die geen Nederlands kunnen lezen en schrijven wordt mogelijk beperkt door dit effect. Was de sensitiviteit van de SDQ met 0,62 aan de lage kant (bij een specificiteit van ), bij een specificiteit van 0,89 stijgt deze naar 0,74. Bij de andere instrumenten treedt geen grote stijging op in het signalerend vermogen: de sensitiviteit van de stijgt naar 0,67 en van de KIPPPI 1:4 naar 0,50 wanneer een specificiteit van 0,89 aangehouden wordt. Tenslotte, ook de andere parameters 4
2. Bruikbaarheidsonderzoek signaleringsinstrumenten 04 jarigen Het oordeel van ouders In totaal hebben 3834 ouders telkens twee van de vier signaleringslijsten beoordeeld op lengte, moeilijkheid om in te vullen en geschiktheid om de zorgen van ouders over het kind aan te geven Wat de betreft, valt op dat dit instrument op vrijwel alle nagevraagde aspecten van de bruikbaarheid zeer positief beoordeeld wordt door de ouders. De wordt relatief vaak aangekruist als niet lang, (heel) makkelijk, en krijgt veelal de voorkeur boven de KIPPPI, de BITSEA en de SDQ als het gaat om gebruikersgemak. Alleen als het gaat om geschiktheid om zorgen aan te geven, vinden ouders de KIPPPI beter dan de. De BITSEA neemt in het oordeel van ouders een middenpositie in: tussen de die als meest positief beoordeeld wordt en de KIPPPI, die men vaak lang en moeilijk vindt. Op geen van de gebruiksaspecten springt de BITSEA er heel positief uit, ook nergens uitgesproken negatief. De KIPPPI wordt door de ouders vaak als lang en relatief moeilijk om in te vullen beoordeeld. Positief springt de KIPPPI eruit als het gaat om geschiktheid om zorgen aan te geven. Dit geldt alleen niet voor de leeftijdsgroep van 36 maanden, dan vinden ouders de meer geschikt om hun zorgen aan te geven dan de KIPPPI. In de leeftijdsgroep van 36 maanden wordt de KIPPPI overigens meer positief beoordeeld dan de SDQ. De SDQ levert een wisselend beeld op: in de leeftijdsgroep van 36 maanden wordt het instrument niet heel positief beoordeeld in vergelijking met de en de KIPPPI, terwijl het oordeel positiever uitvalt bij de (ouders van) kinderen van 45 maanden. Het oordeel van professionals Achttien professionals van twee organisaties hebben de instrumenten binnen één leeftijdsgroep uitgeprobeerd in circa 6 tot 10 consulten. De signaleringslijsten waren vooraf naar de ouders thuis gestuurd en tijdens het consult werd een totaalscore berekend en kort besproken. In totaal waren 124 ouders van kinderen tussen 6 en 45 maanden bij dit deel van het bruikbaarheidsonderzoek betrokken. Professionals zijn van mening dat de ingevulde signaleringslijsten doorgaans tot een zinvol gesprek leiden met de ouders over de psychosociale ontwikkeling. Bij vergelijking van de vier instrumenten springt de, net als bij de ouders, er positief uit. De JGZ medewerkers die de verschillende instrumenten hebben uitgeprobeerd beoordeelden de als prettiger, gemakkelijker en meer zinvol dan de andere instrumenten. De SDQ en BITSEA nemen in het oordeel van de professionals een middenpositie in. Het minst positief zijn de professionals over het gebruikersgemak van de KIPPPI. Met deze vergelijking doen we overigens geen recht aan het feit dat niet alle instrumenten op alle leeftijden kunnen worden ingezet. Het oordeel van professionals die al een instrument gebruiken De webbased vragenlijst onder meer ervaren gebruikers bevestigt grotendeels de eerdere uitkomsten met betrekking tot de bruikbaarheid van de signaleringsinstrumenten. Een meerderheid van de professionals (n=52) vindt de inzet van instrumenten zinvol in de zin dat ouders voorbereid naar het consult komen en dat bij het nabespreken van de lijsten relevante thema s naar boven komen. Het oordeel over de KIPPPI viel in dit onderdeel van het bruikbaarheidsonderzoek ook positief uit: de KIPPPI werd positiever beoordeeld dan de en de SDQ. Het lijkt erop dat de KIPPPI door meer ervaren gebruikers positiever beoordeeld wordt dan door professionals die voor het onderzoek de KIPPPI enkele keren hebben uitgeprobeerd tijdens een consult. Een verklaring kan zijn dat het gebruik en scoren van de KIPPPI complex is waardoor een training noodzakelijk is. Voor het onderzoek hebben alle professionals overigens wel een korte, schriftelijke instructie ontvangen voor elk instrument. 5
We moeten in dit aanvullende onderzoek tenslotte wel rekening houden met het feit dat professionals vrijwillig hebben meegedaan aan dit deel, wat geleid kan hebben tot zelfselectie van personen die over een bepaald instrument erg positief zijn. Het is niet uitgesloten dat juist medewerkers die enthousiast waren over de KIPPPI hebben meegedaan aan dit deel van het bruikbaarheidsonderzoek. Tabel 2 Uitkomsten voor de, BITSEA, KIPPPI en SDQ per leeftijdsgroep bij toepassing in de JGZ Daarmee gepaard gaande Conclusie o.b.v. validatie en bruikbaarheid 6 maanden Afkappunt Sensitiviteit Specificiteit Baby KIPPPI 14 maanden BITSEA Baby KIPPPI 24 maanden BITSEA Peuter KIPPPI 36 maanden KIPPPI 14 SDQ 45 maanden KIPPPI 14 SDQ > 21 > 18 > 121 > 55 > 143 > 10 > 50 > 137 > 9 0,66 0,84 0,53 0,59 0,55 0,80 0,62 0,47 0,74 0,89 Instrumenten verbeteren signalering niet Instrumenten verbeteren signalering niet BITSEA wordt aanbevolen vanwege sensitiviteit. Bruikbaarheid van de BITSEA is gemiddeld. SDQ wordt aanbevolen vanwege sensitiviteit. Bruikbaarheid van de SDQ op 36 maanden is matig, op 45 maanden beter. 6
3. Conclusies Validatieonderzoek De belangrijkste conclusies uit het validatieonderzoek zijn: 6 maanden: Op de leeftijd van 6 maanden wordt de signalering van psychosociale problemen niet verbeterd door de inzet van signaleringsinstrumenten. De sensitiviteit van beide onderzochte instrumenten is laag (sensitiviteit Baby KIPPPI = 0,25, = 0,28) bij een specificiteit van. Ook de meerwaarde van beide instrumenten voor de JGZ is laag. Geen van beidde onderzochte instrumenten (Baby KIPPPI en ) kunnen we voor de leeftijdsgroep van 6 maanden aanbevelen voor gebruik in de JGZ. 14 maanden: Op de leeftijd van 14 maanden wordt de signalering van psychosociale problemen niet verbeterd door de inzet van signaleringsinstrumenten. Ook op deze leeftijd is de sensitiviteit van onderzochte instrumenten is laag (BITSEA 0,56, KIPPPI 0,27, 0,38) bij een specificiteit van. Ook de meerwaarde van deze instrumenten voor de JGZ is laag. Geen van de drie onderzochte instrumenten (BITSEA, Baby KIPPPI, en ) kunnen we voor de leeftijdsgroep van 14 maanden aanbevelen voor gebruik in de JGZ. 24 maanden: Voor de leeftijdsgroep van 24 maanden verdient de BITSEA de voorkeur boven de en de Peuter KIPPPI vanwege de hogere sensitiviteit en de hogere meerwaarde voor de JGZ. De sensitiviteit van de BITSEA is het hoogst in vergelijking met de andere twee vragenlijsten (sensitiviteit BITSEA = 0,84, = 0,66, Peuter KIPPPI = 0,53) bij een specificiteit van. De aanbevolen afkapwaarde van de BITSEA op deze leeftijd bedraagt > 18. 36/45 maanden: Voor de leeftijdsgroep van 36 en 45 maanden verdient de SDQ de voorkeur boven de en de KIPPPI 14 vanwege de hogere sensitiviteit en de hogere meerwaarde voor de JGZ. In de leeftijdsgroep van 36 maanden en 45 maanden is de sensitiviteit van de SDQ het hoogst. Bij 36 maanden is de sensitiviteit: SDQ = 0,80, KIPPPI 14 = 0,55, = 0,59 bij een specificiteit van en bij 45 maanden is de sensitiviteit: SDQ = 0,74, KIPPPI 14 = 0,50, = 0,67 bij een specificiteit van 0,89. De aanbevolen afkapwaarde van de SDQ is voor de kinderen van 36 maanden is > 10, en voor de kinderen van 45 maanden > 9. Aangetekend moet worden dat we in dit onderzoek het onderscheidend vermogen hebben vastgesteld van de signaleringsinstrumenten om probleemgedrag te meten zoals gedefinieerd door de CBCL. Daarmee doen we niet altijd recht aan de oorspronkelijk, bredere doelstelling van de instrumenten. Van de KIPPPI is bijvoorbeeld bekend dat het instrument ook een gespreksmethodiek is. Deze gespreksmethodiek hebben we in dit onderzoek niet geëvalueerd. Bruikbaarheidsonderzoek De belangrijkste bevindingen van het bruikbaarheidsonderzoek zijn: Professionals zijn van mening dat de ingevulde signaleringslijsten doorgaans tot een zinvol gesprek leiden met de ouders over de psychosociale ontwikkeling. De wordt door zowel ouders als professionals beoordeeld als meest prettig, gemakkelijk en zinvol in het gebruik in vergelijking met de andere drie onderzochte instrumenten (BITSEA, KIPPPI en SDQ). De BITSEA en de SDQ nemen in het oordeel van ouders en professionals een middenpositie in wat betreft het gebruikersgemak: tussen de die als meest positief beoordeeld wordt en de KIPPPI, die men relatief lang en moeilijk vindt. De SDQ wordt op de leeftijd van 36 maanden minder positief (moeilijk, lang) beoordeeld dan op de leeftijd van 45 maanden. De KIPPPI vinden ouders heel geschikt om hun zorgen over hun kind aan te geven. Professionals die al langer met de KIPPPI werken zijn doorgaans positiever over dit instrument dan professionals die alleen voor dit onderzoek het instrument afnemen bij ouders. In Tabel 2 worden de belangrijkste bevindingen uit het validatie en bruikbaarheidsonderzoek samengevat. TNO.NL GEZOND LEVEN TNO initieert technologische en sociale innovatie voor een gezonde inrichting van ons leven en voor een vitale samenleving. TNO Wassenaarseweg 56 2233 AL Leiden Postbus 2215 2301 CE Leiden 7