Vergelijking van de ASQ:SE, BITSEA, KIPPPI en de SDQ als signaleringsinstrument voor problemen bij 0-4 jarigen in de Jeugdgezondheidszorg

TNO-rapport TNO/CH 2011.053 Vergelijking van de ASQ:SE, BITSEA, KIPPPI en de SDQ als signaleringsinstrument voor problemen bij 0-4 jarigen in de Jeugdgezondheidszorg Wassenaarseweg 56 2333 AL Leiden Postbus 2215 2301 CE Leiden www.tno.nl T +31 88 866 90 00 F +31 88 866 06 10 infodesk@tno.nl Datum December 2011 Auteur(s) Drs. M.H.C. Theunissen Dr. M.S. de Wolff Dr. A.G.C. Vogels Dr. S.A. Reijneveld Aantal pagina's 118 Opdrachtgever ZonMw Projectnummer 031.12497 Alle rechten voorbehouden. Niets uit deze uitgave mag worden vermenigvuldigd en/of openbaar gemaakt door middel van druk, foto-kopie, microfilm of op welke andere wijze dan ook, zonder voorafgaande toestemming van TNO. Indien dit rapport in opdracht werd uitgebracht, wordt voor de rechten en verplichtingen van opdrachtgever en opdrachtnemer verwezen naar de Algemene Voorwaarden voor opdrachten aan TNO, dan wel de betreffende terzake tussen de partijen gesloten overeenkomst. Het ter inzage geven van het TNO-rapport aan direct belang-hebbenden is toegestaan. 2011 TNO

TNO-rapport TNO/CH 2011.053 December 2011 2 / 118 Samenvatting 1. Validatie-onderzoek Doelstelling van het onderzoek In Nederland heeft 6-8% van de kinderen van 0-4 jaar psychosociale problemen. Met psychosociale problemen bedoelen we in dit onderzoek emotionele en gedragsmatige problemen. Uit onderzoek is inmiddels gebleken dat emotionele en gedragsproblemen moeilijker te behandelen zijn naarmate een kind ouder wordt. Daarnaast blijven problemen die aanwezig zijn op jonge leeftijd vaak bestaan op oudere leeftijd. Het is daarom essentieel om psychosociale problemen bij jonge kinderen zo vroeg mogelijk te signaleren. De Jeugdgezondheidszorg (JGZ) is een belangrijke schakel in de signalering van psychosociale problemen bij kinderen. In Nederland zijn voor de leeftijd van 0 tot 4 jaar geen gevalideerde signaleringslijsten beschikbaar die de opsporing door de JGZ kunnen ondersteunen. Het gebruik van dergelijke instrumenten kan de kwaliteit van de signalering door de JGZ wellicht verbeteren. Doel van het huidige onderzoek is het valideren van een aantal veelbelovende beschikbare signaleringslijsten zodat op basis van de uitkomsten een advies uitgebracht kan worden welk instrument op welke leeftijd het meest geschikt is voor gebruik binnen de JGZ. In dit onderzoek zijn de volgende vier signaleringslijsten met elkaar vergeleken in termen van validiteit (specificiteit en sensitiviteit) en meerwaarde voor de JGZ: de KIPPPI Kort Instrument voor de Psychologische en Pedagogische Probleem Inventarisatie de SDQ 3-4 Strengths and Difficulties Questionnaire de BITSEA Brief-Infant-Toddler Social and Emotional Assessment de ASQ:SE Ages and Stages Questionnaires: Social-Emotional De Child Behavior CheckList (CBCL 1,5-5) van Achenbach wordt hierbij als criterium gebruikt. De CBCL brengt niet alle problemen waarop de JGZ zich richt in kaart, maar de CBCL is een goed instrument om bij een grote groep kinderen psychosociale problemen te signaleren 39, de validiteit en betrouwbaarheid van de Nederlandse versie zijn goed 40, 41, 42, en de CBCL geeft een goede aansluiting op de jeugd GGZ. Het onderzoek beoogt de volgende vragen te beantwoorden: Welke lijsten zijn het beste in termen van validiteit (criterium: verhoogde score op de CBCL)? Welke lijsten bieden de meeste meerwaarde voor de JGZ in die zin dat ze informatie opleveren over het voorkomen van psychosociale problemen aanvullend op de informatie uit het dossier van de JGZ? Methode Aan het onderzoek hebben 18 Instellingen voor Jeugdgezondheidszorg 0-4, verspreid over heel Nederland, meegewerkt. De signaleringslijsten werden getest in vijf leeftijdsgroepen: 6, 14, 24, 36 en 45 maanden. Tabel 1 geeft een overzicht van de gehanteerde instrumenten, in relatie tot het contactmoment. De ouders van de kinderen vulden telkens twee signaleringsinstrumenten in die geschikt zijn voor de leeftijd (zie Tabel 1). Daarnaast vulden alle ouders altijd ook de CBCL in die

TNO-rapport TNO/CH 2011.053 December 2011 3 / 118 gehanteerd werd als het criterium voor psychosociale problemen van het kind. De ouders leverden vervolgens de vragenlijst in tijdens het consult. De arts of verpleegkundige die het consult uitvoerde, deed het consult conform de normale procedure, zonder de ingevulde vragenlijsten in te zien. Na afloop van het consult vulde de arts of verpleegkundige een aantal vragen in over de door hem of haar gesignaleerde psychosociale problematiek en de ernst daarvan. Op deze wijze werd de eigen signalering door de JGZ professional, zonder gebruik van signaleringsinstrumenten, in kaart gebracht. Omdat het criterium voor psychosociale problemen (CBCL) pas vanaf 1,5 jaar betrouwbaar afgenomen kan worden, werden de ouders van beide jongste groepen kinderen (6 en 14 maanden) gevraagd een jaar later de CBCL en nogmaals de ASQ:SE in te vullen. Tabel 1: Overzicht van instrumenten in relatie tot leeftijdsgroep Leeftijdsgroep Instrument 6 maanden Groep 1: ASQ:SE, baby KIPPPI en CBCL (CBCL 1 jaar later) 14 maanden Groep 1: ASQ:SE, baby KIPPPI en CBCL (CBCL 1 jaar later) Groep 2: ASQ:SE, BITSEA en CBCL (CBCL 1 jaar later) 24 maanden Groep 1: ASQ:SE, peuter KIPPPI en CBCL Groep 2 : ASQ:SE, BITSEA en CBCL 36 maanden Groep 1: ASQ:SE, SDQ 3/4 en CBCL Groep 2: ASQ:SE, KIPPPI 1-4 en CBCL 45 maanden Groep 1 : ASQ:SE, SDQ 3/4 en CBCL Groep 2: ASQ:SE, KIPPPI 1-4 en CBCL Analyse De interne consistentie is gemeten met behulp van Cronbach s alfa. Met een toetsende factoranalyse (Mplus) is getoetst of de gevonden factorstructuur overeenkomt met het veronderstelde schaalmodel. Wat betreft de validiteit zijn (Spearman) correlatiecoëfficiënten berekend tussen de totale probleemscore en subschalen van de signaleringslijst enerzijds en de CBCL Totale probleemscore en scores op Internaliseren en Externaliseren anderzijds. Met behulp van ROC analyses (Receiver Operating Characteristics) is vervolgens de algemene diagnostische kwaliteit van het instrument, uitgedrukt in de Area Under the Curve (AUC), vastgesteld. Er is gekozen voor een afkappunt met een minimale specificiteit van 0,90, waarbij een verhoogde CBCL totale probleemscore als criterium gehanteerd wordt. Dat betekent dat niet meer dan 10% van de kinderen ten onrechte als problematisch bestempeld mag worden door een specifieke signaleringslijst. Tenslotte is met behulp van Cohen s kappa globaal gekeken naar de overeenstemming tussen de classificatie van kinderen met en zonder problemen op basis van de CBCL en de classificatie op basis van de signaleringslijsten. De meerwaarde van de signaleringslijsten voor de JGZ is bepaald door na te gaan in hoeverre de uitkomst van de signaleringslijsten bijdraagt aan de mate waarin het

TNO-rapport TNO/CH 2011.053 December 2011 4 / 118 onderscheid tussen kinderen met en zonder problemen verbeterd kan worden. We maken gebruik van logistische regressie, waarbij in de eerste stap nagegaan wordt in hoeverre de uitkomst van de CBCL voorspeld kan worden door de klinische signalering die de JGZ professional heeft verricht. In de tweede stap wordt de uitkomst van de specifieke signaleringslijst als voorspeller toegevoegd, zodat duidelijk wordt wat elk instrument toevoegt aan het klinische oordeel van de JGZ professional. De significantie van de verandering in de -2 log likelihood ratio in de tweede stap van elk model wordt gebruikt om te bepalen of de betreffende signaleringlijst resulteert in een beter onderscheid tussen kinderen met en zonder problemen. Uitkomsten per leeftijdsgroep In het algemeen geldt dat we voor alle instrumenten het onderscheidend vermogen (sensitiviteit) hebben vastgesteld bij een minimale specificiteit van 0,90, waarbij een verhoogde CBCL totale probleemscore als criterium gehanteerd wordt. Dat betekent dat niet meer dan 10% van de kinderen ten onrechte als problematisch bestempeld mag worden door een specifieke signaleringslijst. Voor de leeftijdsgroep van 6 maanden hebben we over 415 kinderen (respons 56%) volledige gegevens verzameld op 6 en 18 maanden, waarbij de CBCL een jaar later dan de signaleringslijst werd ingevuld. Uitkomsten lieten zien dat noch de Baby KIPPPI, noch de ASQ:SE de signalering van psychosociale problemen bij kinderen van 6 maanden kunnen verbeteren. Beide instrumenten waren laag sensitief (Baby KIPPPI: 0,25 en ASQ:SE: 0,28) wanneer we een verhoogde CBCL score als criterium gebruikten. De parameters (kappa, sensitiviteit, AUC en de OR s in de meerwaarde analyse) geven aan dat de Baby KIPPPI en de ASQ:SE matig tot slecht presteren. De inzet van instrumenten verbeterde de signalering op de leeftijd van 6 maanden nauwelijks. Voor de leeftijdsgroep van 14 maanden hebben we over 819 kinderen (respons 53,5%) volledige gegevens verzameld op 14 en 24 maanden, waarbij de CBCL 10 maanden na de signaleringslijst werd ingevuld. Onze studie laat zien dat noch de BITSEA, baby KIPPPI als de ASQ:SE de signalering van psychosociale problemen bij kinderen van 14 maanden kunnen verbeteren. Zonder instrument kunnen JGZ medewerkers geen goed onderscheid maken tussen kinderen met en zonder problemen. Met een instrument wordt het onderscheid niet echt beter. We kunnen daarom geen van de drie instrumenten aanbevelen voor gebruik in de JGZ. Voor de leeftijdsgroep van 24 maanden hebben we over 872 kinderen (respons 78%) volledige gegevens verzameld. Alle drie de getoetste instrumenten, de ASQ:SE, de BITSEA, en de Peuter KIPPPI, zijn voldoende betrouwbaar en hangen samen met het CBCL criterium. Enkel de BITSEA heeft echter voldoende onderscheidend vermogen om kinderen met en zonder verhoogde CBCL score te onderscheiden. Het onderscheidend vermogen van de Baby KIPPPI en de ASQ:SE is erg laag: iets meer dan de helft van de kinderen met een verhoogde CBCL score wordt met deze instrumenten geïdentificeerd (sensitiviteit van Peuter KIPPPI = 0,53, van ASQ:SE = 0,66). De BITSEA, met een sensitiviteit van 0,84 signaleert 84% van de kinderen met problemen correct. Ook de andere parameters (kappa, AUC en de OR s in de meerwaarde analyse) geven aan dat de BITSEA het beste presteert in de leeftijdsgroep van 24 maanden.

TNO-rapport TNO/CH 2011.053 December 2011 5 / 118 Voor de leeftijdsgroep van 36 maanden hebben we over 1006 kinderen (respons 75%) volledige gegevens verzameld. De resultaten laten zien dat enkel de SDQ voldoende onderscheidend vermogen heeft tussen kinderen met en zonder een verhoogde score op de CBCL (sensitiviteit = 0,80 daarbij). De sensitiviteit van de KIPPPI 1-4 en de ASQ:SE is in deze leeftijdsgroep erg laag: slechts iets meer dan de helft van de kinderen met een verhoogde CBCL score wordt gedetecteerd met de KIPPPI 1-4 (sensitiviteit = 0,55) of de ASQ:SE (sensitiviteit = 0,59). Ook de overige parameters (kappa, AUC en de OR s in de meerwaarde analyse) geven aan dat de SDQ het beste presteert. De aanbevolen afkapwaarde van de SDQ op deze leeftijd bedraagt > 10. Voor de leeftijdsgroep van 45 maanden hebben we over 722 kinderen (respons 59%) volledige gegevens verzameld. De resultaten laten zien dat het onderscheidend vermogen van alle drie onderzochte signaleringslijsten (SDQ, KIPPPI 1-4, ASQ:SE) laag is bij een specificiteit van 0,90. De SDQ (sensitiviteit = 0,62) en ASQ:SE (sensitiviteit = 0,62) identificeren ruim de helft van de kinderen met een verhoogde CBCL score. De KIPPPI 1-4 (sensitiviteit = 0,47) identificeert iets minder dan de helft van de kinderen met problemen. We zijn vervolgens nagegaan of de sensitiviteit verbeterd als we een iets lagere specificiteit aanhouden, om te bepalen of een toevallig net te hoge grens daarvoor er toe leidt dat alle drie de vragenlijsten zo slecht scoren. Deze aangepaste specificiteit was 0,89 in plaats van de verder gehanteerde 0,90. Dat betekent dat maximaal 11% van de kinderen ten onrechte als problematisch bestempeld kunnen worden bij toepassing van de instrumenten in deze leeftijdsgroep. Bij deze iets lagere specificiteit van 0,89 stijgt het onderscheidend vermogen van de SDQ aanzienlijk in de groep van 45 maanden. Bij een specificiteit van 0,89 stijgt de sensitiviteit van de SDQ van 0,62 naar 0,74. Bij de andere instrumenten treedt geen grote stijging op in het signalerend vermogen: de sensitiviteit van de ASQ:SE stijgt naar 0,67 en van de KIPPPI 1:4 naar 0,50 wanneer een specificiteit van 0,89 aangehouden wordt. Tenslotte, ook de andere parameters (kappa, AUC en de OR s in de meerwaarde analyse) geven aan dat de SDQ beter presteert dan de ASQ:SE en de KIPPPI in de leeftijdsgroep van 45 maanden. Discussie Vier signaleringsinstrumenten voor psychosociale problemen bij jonge kinderen zijn getoetst in een grootschalige studie (N = 3834) waarbij 18 JGZ organisaties betrokken waren. De instrumenten zijn geëvalueerd op de leeftijd van 6,14, 24, 36 en 45 maanden, contactmomenten waarop de JGZ volgens het basistakenpakket expliciet naar de ontwikkeling van het kind kijkt. Naast de psychometrische kwaliteit van de verschillende instrumenten (betrouwbaarheid en validiteit), is nagegaan hoeveel informatie de instrumenten toevoegen aan de eigen signalering door de JGZ. Op de leeftijd van 6 en 14 maanden bleek geen enkel instrument voldoende bij te dragen, op de leeftijd van 24 maand sprong de BITSEA er positief uit, terwijl op de leeftijd van 36 en 45 maanden de SDQ het meest positief uit de bus kwam. De gebruikte onderzoeksprocedure is goed ingebed in de gangbare werkwijze tijdens de consulten, en het onderzoek omvat een forse steekproef van kinderen. Het onderzoek heeft ook enkele beperkingen. Ten eerste was de respons in de leeftijdsgroepen van 6, 14 en 45 maanden laag (respectievelijk 56%, 54% en 59%), terwijl de respons op 24 en 36 maanden goed was (gemiddeld 77%). In de jongste leeftijdsgroepen kan de lage respons ten dele toegeschreven worden aan de onderzoeksopzet waarbij ouders na een jaar opnieuw benaderd werden om de CBCL in te vullen. De oorzaak van de lage respons in de groep van 45 maanden is

TNO-rapport TNO/CH 2011.053 December 2011 6 / 118 onbekend. Verder bleek in ons onderzoek dat ouders van niet-nederlandse herkomst minder vaak meedoen aan het onderzoek dan Nederlandse ouders. Zowel een onvoldoende beheersing van de Nederlandse taal als culturele aspecten kunnen hierin een rol gespeeld hebben. De generaliseerbaarheid van onze gegevens naar ouders die geen Nederlands kunnen lezen en schrijven wordt mogelijk beperkt door dit effect. In hoeverre komen onze bevindingen overeen met die van eerder onderzoek? De ASQ:SE, de BITSEA en de SDQ hadden in eerdere internationale studies alle drie een goede validiteit. Onze uitkomsten met betrekking tot de ASQ:SE bevestigen deze bevindingen niet. In onze studie is met name de sensitiviteit van de ASQ:SE in de leeftijdsgroep van 6 maanden zeer laag: 0,28 bij een specificiteit van 0,90. Voor de andere drie leeftijdsgroepen bleek de sensitiviteit van de ASQ:SE ook onvoldoende. Gemiddeld (over de leeftijdsgroepen heen) wordt slechts de helft (54%) van de kinderen met een verhoogde CBCL score met behulp van de ASQ:SE correct geïdentificeerd (sensitiviteit = 0,54). De uitkomsten wat betreft de BITSEA en de SDQ bevestigen eerder gerapporteerde psychometrische eigenschappen. Voor de KIPPPI is een dergelijke vergelijking niet mogelijk omdat er niet eerder is gepubliceerd over deze eigenschappen van de KIPPPI. In ons onderzoek bleken de verschillende onderzochte versies van de KIPPPI (Baby KIPPPI, Peuter KIPPPI en KIPPPI 1-4) een lage sensitiviteit te hebben wanneer de CBCL als criterium wordt gebruikt. Hierbij moet wel opgemerkt worden dat we de KIPPPI enkel hebben getoetst op het onderscheidend vermogen om probleemgedrag zoals gedefinieerd door de CBCL te identificeren. Daarmee doen we niet volledig recht aan de oorspronkelijke doelstelling van de KIPPPI om ook te dienen als gespreksmethodiek. Deze toepassing als gespreksmethodiek hebben we in dit validatie-onderzoek niet geëvalueerd. 2. Bruikbaarheidsonderzoek signaleringsinstrumenten 0-4 jarigen Het bruikbaarheidsonderzoek omvat twee delen: in deel één hebben ouders de vier signaleringsinstrumenten uit het validatie-onderzoek beoordeeld. In deel twee hebben JGZ professionals hun oordeel gegeven over deze instrumenten. Daarnaast is een aantal JGZ professionals die al wat langer werken met één van de instrumenten gevraag naar hun mening over dat instrument, met behulp van een web-based vragenlijst. Het oordeel van ouders over de bruikbaarheid In totaal hebben 3834 ouders telkens twee van de vier signaleringslijsten beoordeeld op lengte, gemak, en geschiktheid om de zorgen van ouders over het kind aan te geven. Als we de uitkomsten van de ouder-evaluaties over de vier leeftijdsgroepen vergelijken (6, 14, 24, 36 en 45 maanden) zijn er opmerkelijke overeenkomsten. Wat de ASQ:SE betreft, valt op dat dit instrument op vrijwel alle nagevraagde aspecten van de bruikbaarheid zeer positief beoordeeld wordt door de ouders. De ASQ:SE wordt relatief vaak aangekruist als niet lang, (heel) makkelijk, en krijgt veelal de voorkeur boven de KIPPPI, de BITSEA en de SDQ als het gaat om gebruikersgemak. Op een vijfpuntsschaal voor gebruikersgemak krijgt de ASQ:SE telkens de hoogste score. Alleen als het gaat om geschiktheid om zorgen aan te geven, vinden ouders de KIPPPI beter dan de ASQ:SE.

TNO-rapport TNO/CH 2011.053 December 2011 7 / 118 De BITSEA neemt in het oordeel van ouders een middenpositie in: tussen de ASQ:SE die als meest positief beoordeeld wordt en de KIPPPI, die men vaak lang en moeilijk vindt. Op geen van de gebruiksaspecten springt de BITSEA er heel positief uit, ook nergens uitgesproken negatief. De KIPPPI wordt door de ouders vaak als lang en relatief moeilijk beoordeeld: het instrument wordt het minst vaak genoemd als heel makkelijk en op een vijfpuntsschaal voor gebruikersgemak krijgt de KIPPPI in drie van de vier leeftijdsgroepen de laagste score. Positief springt de KIPPPI eruit als het gaat om geschiktheid om zorgen aan te geven. In drie van de vier leeftijdsgroepen geven ouders de voorkeur aan de KIPPPI als ze letten op geschiktheid om zorgen aan te geven. Dit geldt alleen niet voor de leeftijdsgroep van 36 maanden, dan vinden ouders de ASQ:SE meer geschikt om hun zorgen aan te geven dan de KIPPPI. In de leeftijdsgroep van 36 maanden wordt de KIPPPI overigens meer positief beoordeeld dan de SDQ. De SDQ levert een wisselend beeld op: in de leeftijdsgroep van 36 maanden wordt het instrument niet heel positief beoordeeld in vergelijking met de ASQ:SE en de KIPPPI, terwijl het oordeel positiever uitvalt bij de (ouders van) kinderen van 45 maanden. Als ouders van 3 jarigen mogen kiezen tussen de SDQ en de ASQ:SE gaat de voorkeur van 62% van de ouders uit naar de ASQ:SE. Het oordeel van professionals over de bruikbaarheid Achttien professionals van twee organisaties hebben de instrumenten binnen één leeftijdsgroep uitgeprobeerd in circa 6 tot 10 consulten. De signaleringslijsten waren vooraf naar de ouders thuis gestuurd en tijdens het consult werd een totaalscore berekend en kort besproken. In totaal waren 124 ouders van kinderen tussen 6 en 45 maanden bij dit deel van het bruikbaarheidsonderzoek betrokken. Professionals zijn van mening dat de ingevulde signaleringslijsten doorgaans tot een zinvol gesprek leiden met de ouders over de psychosociale ontwikkeling. Dat gesprek wordt niet gemakkelijker: slechts 2 à 4% van de professionals vindt het gesprek met een ingevulde vragenlijst als leidraad gemakkelijker, het grootste deel van de professionals geeft aan niet goed te weten of het gesprek makkelijker wordt met een vragenlijst. Bij vergelijking van de vier instrumenten springt de ASQ:SE, net als bij de ouders, er positief uit. De JGZ medewerkers die de verschillende instrumenten hebben uitgeprobeerd beoordeelden de ASQ:SE als prettiger, gemakkelijker en meer zinvol dan de andere instrumenten. De SDQ en BITSEA nemen in het oordeel van de professionals een middenpositie in, en het minst positief zijn de professionals over het gebruikersgemak van de KIPPPI. Met deze vergelijking doen we overigens geen recht aan het feit dat niet alle instrumenten op alle leeftijden kunnen worden ingezet. Het oordeel van professionals die al een instrument gebruiken De web-based vragenlijst onder meer ervaren gebruikers bevestigt grotendeels de eerdere uitkomsten met betrekking tot de bruikbaarheid van de signaleringsinstrumenten. Een meerderheid van de professionals vindt de inzet van instrumenten zinvol in de zin dat ouders voorbereid naar het consult komen en dat bij het nabespreken van de lijsten relevante thema s naar boven komen. In de groep van 52 JGZ professionals die hebben meegedaan aan dit deel, bleek dat het DMO-protocol (horend bij Samen Starten) het meest werd gebruikt: een derde van de

TNO-rapport TNO/CH 2011.053 December 2011 8 / 118 respondenten werkt met deze methodiek die in de eerste plaats een gespreksmethodiek behelst. Het DMO-protocol werd ook als meest positief beoordeeld in vergelijking met de andere signaleringsinstrumenten. Het oordeel over de KIPPPI viel in dit onderdeel van het bruikbaarheidsonderzoek ook positief uit: de KIPPPI wordt positiever beoordeeld dan de ASQ:SE en de SDQ, zo blijkt uit de rapportcijfers die de professionals geven voor het instrument. Het lijkt erop dat de KIPPPI door meer ervaren gebruikers positiever beoordeeld wordt dan door professionals die voor het onderzoek de KIPPPI enkele keren hebben uitgeprobeerd tijdens een consult. Een verklaring kan zijn dat het gebruik en scoren van de KIPPPI complex is waardoor een training noodzakelijk is. Voor het onderzoek hebben alle professionals overigens wel een korte, schriftelijke instructie ontvangen voor elk instrument. We moeten in dit aanvullende onderzoek tenslotte wel rekening houden met het feit dat professionals vrijwillig hebben meegedaan aan dit deel, wat geleid kan hebben tot zelfselectie van personen die over een bepaald instrument erg positief zijn. Het is niet uitgesloten dat juist medewerkers die enthousiast waren over de KIPPPI hebben meegedaan aan dit deel van het bruikbaarheidsonderzoek. 3. Conclusies Validatie-onderzoek De belangrijkste conclusies uit het validatieonderzoek zijn: Op de leeftijd van 6 maanden wordt de signalering van psychosociale problemen niet verbeterd door de inzet van signaleringsinstrumenten. De sensitiviteit van beide onderzochte instrumenten is laag (Baby KIPPPI = 0,25, ASQ:SE = 0,28) bij een specificiteit van 0,90. Ook de meerwaarde van beide instrumenten voor de JGZ is laag. Geen van beide onderzochte instrumenten (Baby KIPPPI en ASQ:SE) kunnen we voor de leeftijdsgroep van 6 maanden aanbevelen voor gebruik in de JGZ. Op de leeftijd van 14 maanden wordt de signalering van psychosociale problemen niet verbeterd door de inzet van signaleringsinstrumenten. Ook op deze leeftijd is de sensitiviteit van onderzochte instrumenten is laag (BITSEA 0,56, KIPPPI 0,27, ASQ:SE 0,38) bij een specificiteit van 0,90. Ook de meerwaarde van deze instrumenten voor de JGZ is laag. Geen van de drie onderzochte instrumenten (BITSEA, Baby KIPPPI, en ASQ:SE) kunnen we voor de leeftijdsgroep van 14 maanden aanbevelen voor gebruik in de JGZ. Voor de leeftijdsgroep van 24 maanden verdient de BITSEA de voorkeur boven de ASQ:SE en de Peuter KIPPPI vanwege de hogere sensitiviteit en de hogere meerwaarde voor de JGZ. De sensitiviteit van de BITSEA (0,84) is het hoogst in vergelijking met de andere twee vragenlijsten (ASQ:SE = 0,66, Peuter KIPPPI = 0,53) bij een specificiteit van 0,90. De aanbevolen afkapwaarde van de BITSEA op deze leeftijd bedraagt > 18. 36/45 maanden: Voor de leeftijdsgroep van 36 en 45 maanden verdient de SDQ de voorkeur boven de ASQ:SE en de KIPPPI 1-4 vanwege de hogere sensitiviteit en de hogere meerwaarde voor de JGZ. In de leeftijdsgroep van 36 maanden en 45 maanden is de sensitiviteit van de SDQ het hoogst. Bij 36 maanden is de sensitiviteit (SDQ = 0,80, KIPPPI 1-4 = 0,55, ASQ:SE = 0,59) bij een specificiteit van 0,90 en bij 45 maanden is deze (SDQ = 0,74, KIPPPI 1-4 = 0,50, ASQ:SE = 0,67) bij een specificiteit van 0,89.

TNO-rapport TNO/CH 2011.053 December 2011 9 / 118 De aanbevolen afkapwaarde van de SDQ is voor de kinderen van 36 maanden is > 10, en voor de kinderen van 45 maanden > 9. Aangetekend moet worden dat we in dit onderzoek het onderscheidend vermogen hebben vastgesteld van de signaleringsinstrumenten om probleemgedrag te meten zoals gedefinieerd door de CBCL. Daarmee doen we niet altijd recht aan de oorspronkelijk, bredere doelstelling van de instrumenten. Van de KIPPPI is bijvoorbeeld bekend dat het instrument ook een gespreksmethodiek is. Deze gespreksmethodiek hebben we in dit onderzoek niet geëvalueerd. Bruikbaarheidsonderzoek De belangrijkste bevindingen van het bruikbaarheidsonderzoek zijn: Professionals zijn van mening dat de ingevulde signaleringslijsten doorgaans tot een zinvol gesprek leiden met de ouders over de psychosociale ontwikkeling. De ASQ:SE wordt door zowel ouders als professionals beoordeeld als meest prettig, gemakkelijk en zinvol in het gebruik in vergelijking met de andere drie onderzochte instrumenten (BITSEA, KIPPPI en SDQ). De BITSEA en de SDQ nemen in het oordeel van ouders en professionals een middenpositie in wat betreft het gebruikersgemak: tussen de ASQ:SE die als meest positief beoordeeld wordt en de KIPPPI, die men relatief lang en moeilijk vindt. De SDQ wordt op de leeftijd van 36 maanden minder positief (moeilijk, lang) beoordeeld dan op de leeftijd van 45 maanden. De KIPPPI vinden ouders heel geschikt om hun zorgen over hun kind aan te geven. Professionals die al langer met de KIPPPI werken zijn doorgaans positiever over dit instrument dan professionals die alleen voor dit onderzoek het instrument afnemen bij ouders. In Tabel 2 worden de belangrijkste implicaties van het validatie- en bruikbaarheidsonderzoek samengevat.

TNO-rapport TNO/CH 2011.053 December 2011 10 / 118 Tabel 2: Uitkomsten voor de ASQ:SE, BITSEA, KIPPPI en SDQ per leeftijdsgroep bij toepassing in de JGZ Daarmee gepaard gaande 6 maanden Afkappunt Sensitiviteit Specificiteit Conclusie o.b.v. validatie en bruikbaarheid ASQ:SE - - - Baby KIPPPI - - - 14 maanden ASQ:SE - - - BITSEA - - - Baby KIPPPI - - - Instrumenten verbeteren signalering niet Instrumenten verbeteren signalering niet 24 maanden ASQ:SE > 21 0,66 0,90 BITSEA wordt aanbevolen BITSEA > 18 0,84 0,90 vanwege sensitiviteit. Peuter KIPPPI > 121 0,53 0,90 Bruikbaarheid van de BITSEA is gemiddeld. 36 maanden ASQ:SE > 55 0,59 0,90 SDQ wordt aanbevolen KIPPPI 1-4 > 143 0,55 0,90 vanwege sensitiviteit. SDQ > 10 0,80 0,90 45 maanden ASQ:SE > 50 0,62 0,90 KIPPPI 1-4 > 137 0,47 0,90 SDQ > 9 0,74 0,89 Bruikbaarheid van de SDQ op 36 maanden is matig, op 45 maanden beter.

TNO-rapport TNO/CH 2011.053 December 2011 11 / 118 Inhoudsopgave Samenvatting... 2 1 Algemene inleiding op het onderzoek... 13 1.1 Aanleiding tot en doelstelling van het onderzoek... 13 1.2 Vraagstellingen... 14 2 Methode... 15 2.1 Dataverzameling... 15 2.2 Contactmomenten en gehanteerde instrumenten... 15 3 Resultaten 6 maanden (Baby KIPPPI en ASQ:SE)... 22 3.1 Respons... 22 3.2 Betrouwbaarheid van de (sub)schalen en de schaalstructuur... 25 3.3 Validiteit van de signaleringslijsten... 28 3.4 Toegevoegde waarde voor de JGZ... 32 3.5 Samengevat 6 maanden... 33 4 Resultaten 14 maanden (ASQ:SE, Baby KIPPPI en BITSEA)... 35 4.1 Aanvullende dataverzameling... 35 4.2 Respons... 35 4.3 Betrouwbaarheid van de (sub)schalen en de schaalstructuur... 39 4.4 Validiteit van de signaleringslijsten... 43 4.5 Meerwaarde voor de JGZ... 49 4.6 Samengevat 14 maanden... 50 4.7 Discussie... 50 5 Resultaten 24 maanden (ASQ:SE, BITSEA en Peuter KIPPPI)... 52 5.1 Respons... 52 5.2 Betrouwbaarheid van de (sub)schalen en de schaalstructuur... 55 5.3 Validiteit van de signaleringslijsten... 58 5.4 Toegevoegde waarde voor de JGZ... 64 5.5 Samengevat 24 maanden... 65 5.6 Discussie... 65 6 Resultaten 36 maanden (ASQ:SE, KIPPPI en SDQ)... 67 6.1 Respons... 67 6.2 Betrouwbaarheid van de (sub)schalen en de schaalstructuur... 70 6.3 Validiteit van de signaleringslijsten... 72 6.4 Toegevoegde waarde voor de JGZ... 78 6.5 Samengevat 36 maanden... 80 6.6 Discussie... 80 7 Resultaten 45 maanden (ADQ:SE, KIPPPI en SDQ)... 82 7.1 Respons... 82 7.2 Betrouwbaarheid van de (sub)schalen en de schaalstructuur... 86 7.3 Validiteit van de signaleringslijsten... 88 7.4 Toegevoegde waarde voor de JGZ... 94 7.5 Samengevat 45 maanden... 96 7.6 Discussie... 96

TNO-rapport TNO/CH 2011.053 December 2011 12 / 118 8 Bruikbaarheidsonderzoek... 98 8.1 Ouders over de bruikbaarheid... 98 8.2 Professionals over de bruikbaarheid... 101 8.3 Resultaten... 103 8.4 Discussie en conclusies m.b.t. oordeel van professionals... 106 8.5 Aanvullend bruikbaarheidsonderzoek onder ervaren gebruikers... 107 8.6 Conclusies bruikbaarheidsonderzoek... 109 9 Conclusies... 110 9.1 Algemene discussie betrouwbaarheid en validiteit... 110 10 Referenties... 115

TNO-rapport TNO/CH 2011.053 December 2011 13 / 118 1 Algemene inleiding op het onderzoek 1.1 Aanleiding tot en doelstelling van het onderzoek In Nederland heeft 6-8% van de kinderen van 0-4 jaar psychosociale problemen 1,2. Met psychosociale problemen bedoelen we emotionele problemen zoals angst en depressieve gevoelens, gedragsproblemen zoals agressie of overactief gedrag, en daarnaast ook sociale problemen die te maken hebben met het maken of onderhouden van contacten met anderen 1,3. Uit onderzoek is inmiddels gebleken dat emotionele en gedragsproblemen moeilijker te behandelen zijn naarmate een kind ouder wordt 4. Daarnaast blijven problemen die aanwezig zijn op jonge leeftijd vaak bestaan op oudere leeftijd 5, 6. Het is daarom essentieel om psychosociale problemen bij jonge kinderen zo vroeg mogelijk te signaleren. Vroege opsporing verbetert de prognose van psychosociale problemen aanzienlijk 7. De Jeugdgezondheidszorg (JGZ) is een belangrijke schakel in de signalering van psychosociale problemen bij kinderen. Een groot aantal kinderen met psychosociale problemen volgens de Child Behavior Checklist (CBCL) wordt gemist door de JGZ 2. Omgekeerd wordt bij veel kinderen onterecht een probleem gesignaleerd 2,8. In Nederland zijn voor de leeftijd van 0 tot 4 jaar geen gevalideerde signaleringslijsten beschikbaar die de opsporing door de JGZ kunnen ondersteunen. Het gebruik van dergelijke instrumenten kan de kwaliteit van de signalering door de JGZ wellicht verbeteren. Doel van het huidige onderzoek is het valideren van een aantal veelbelovende beschikbare signaleringslijsten zodat op basis van de uitkomsten een advies uitgebracht kan worden welk instrument op welke leeftijd geschikt is voor gebruik binnen de JGZ. De ontwikkeling van kinderen tussen 0 en 4 jaar verloopt snel en complex. In de eerste levensjaren ontwikkelen zich de zintuiglijke functies, de motoriek, de taal, een gehechtheidsrelatie, en autonomie. Psychosociale problemen bij kinderen van deze leeftijd manifesteren zich ook vaak in deze ontwikkelingstaken. Doordat de omgeving onvoldoende inspeelt op de behoeften van het kind, kunnen problemen ontstaan zoals eetstoornissen, spugen, slaapstoornissen, huilen, problemen rond zindelijkheid, driftbuien en ongehoorzaamheid. Gezien de verschillen in ontwikkelingstaken en ontwikkelingsproblemen is één signaleringslijst (met steeds dezelfde items) voor de groep 0-4 jarigen niet voldoende om psychosociale problemen over heel deze leeftijdsrange te signaleren. Momenteel wordt in de JGZ onder andere de KIPPPI gebruikt als signaleringsinstrument voor de leeftijdsgroep 0-4 jaar. Deze signaleringslijst is nog niet voldoende gevalideerd voor gebruik in de JGZ. De KIPPPI is het enige instrument van Nederlandse origine 9,10,11. De Strengths and Difficulties Questionnaire 12 wordt ook gebruikt in de JGZ bij kinderen in de leeftijd van 4-19 jaar. De SDQ is in Nederland gevalideerd voor de 7-12 jarigen 13 en wordt regelmatig gebruikt door de JGZ voor de leeftijdsgroep 4-19. De SDQ 3-4 voor de jongere leeftijdsgroep is nog niet gevalideerd. Naast deze instrumenten zijn er nog twee vragenlijsten die op basis van internationaal onderzoek als veelbelovend aangemerkt worden in de JGZ Richtlijn Vroegsignalering van psychosociale problemen 3. Het gaat hierbij om de Brief Infant Toddler Social Assessment (BITSEA) 13, en de Ages and Stages Questionnaire: Social-Emotional (ASQ:SE) 4. In dit onderzoek worden de volgende vier signaleringslijsten met elkaar vergeleken in termen van validiteit (specificiteit en sensitiviteit) en meerwaarde voor de JGZ.

TNO-rapport TNO/CH 2011.053 December 2011 14 / 118 de KIPPPI Kort Instrument voor de Psychologische en Pedagogische Probleem Inventarisatie 9, 10,11 de SDQ 3-4 Strength and Difficulties Questionnaire 12 de BITSEA Brief-Infant-Toddler Social and Emotional Assessment 14 de ASQ:SE Ages and Stages Questionnaires : Social-Emotional 17 De Child Behavior CheckList (CBCL 1,5-5) van Achenbach 15,16 wordt als criterium gebruikt. Meer achtergrondinformatie over deze instrumenten vindt u in paragraaf 2.2.1. In dit onderzoek worden de hier getoetste instrumenten onderzocht op vijf verschillende JGZ contactmomenten in de eerste vier levensjaar het zijn de contactmomenten op de leeftijd van 6 maanden, 14 maanden, 24 maanden, 36 maanden en 45 maanden. Op deze contactmomenten moet de JGZ volgens het basistakenpakket (Richtlijn Contactmomenten) expliciet naar de ontwikkeling van het kind kijken. 1.2 Vraagstellingen Het onderzoek beoogde de volgende vragen te beantwoorden 1. Wat is de respons? Bij non-respons: waarom werd de vragenlijst niet ingevuld? 2. Wat is de betrouwbaarheid van de (sub)schalen? Kan de veronderstelde schaalstructuur onderbouwd worden? 3. Welke lijsten zijn het beste in termen van validiteit (criterium: verhoogde score op de CBCL)? 4. Welke lijsten bieden de meeste meerwaarde voor de JGZ in die zin dat ze informatie opleveren over het voorkomen van psychosociale problemen aanvullend op de informatie uit andere bronnen?

TNO-rapport TNO/CH 2011.053 December 2011 15 / 118 2 Methode In dit hoofdstuk wordt de uitvoering van het onderzoek beschreven. 2.1 Dataverzameling 18 Instellingen voor Jeugdgezondheidszorg 0-4, verspreid over heel Nederland, verleenden hun medewerking aan de uitvoering van het van het onderzoek. De helft van deze JGZ instellingen bevond zich in gemeenten met meer dan 50 000 inwoners: Leeuwarden, Heerlen, Tilburg, Roosendaal, Schiedam, Deventer, Doetinchem, Almere en Den Haag. De vragenlijsten voor de ouders werden met de uitnodiging voor het consult en de begeleidende brief naar willekeurige ouders verstuurd die opgeroepen werden voor een regulier contactmoment. De vragenlijsten werden door de JGZ medewerkers verstuurd. De ouders van de kinderen vulden telkens twee signaleringsinstrumenten in die geschikt zijn voor dat leeftijdsmoment (zie Tabel 1). Daarnaast vulden alle ouders altijd ook de CBCL in die gehanteerd werd als het criterium voor psychosociale problemen van het kind. De ouders leverden vervolgens de vragenlijst in tijdens het consult. De arts of verpleegkundige die het consult uitvoerde, had geen inzage in de vragenlijst. De arts of verpleegkundige deed het consult conform de normale procedure en stelde vervolgens aan de ouders een aantal extra vragen, naar achtergrondkenmerken en het al dan niet onder behandeling (geweest) zijn voor psychosociale problemen. Na afloop van het consult vulde de arts of verpleegkundige een aantal vragen in over de door hem of haar gesignaleerde psychosociale problematiek en de ernst daarvan. Op deze wijze werd de eigen signalering door de JGZ professional, zonder gebruik van signaleringsinstrumenten in kaart gebracht. 2.1.1 Follow-up meting bij kinderen jonger dan 1,5 jaar Omdat het criterium voor psychosociale problemen (CBCL) pas vanaf 1,5 jaar betrouwbaar afgenomen kan worden, vulden de ouders van de kinderen jonger dan 1,5 jaar een jaar later de CBCL in. De ouders van kinderen van 6 maanden en 14 maanden werden na een jaar gevraagd om de CBCL en nogmaals de ASQ:SE (voor de vergelijking met de score van een jaar geleden) in te vullen. Daarnaast werd gevraagd of ouders en/of kind het afgelopen jaar een behandeling/cursus gehad hebben voor psychosociale problemen. De ouders namen de vragenlijst mee naar het consult met de JGZ-arts of -verpleegkundige die de vragenlijsten vervolgens opstuurde naar TNO. 2.2 Contactmomenten en gehanteerde instrumenten Tabel 2.1 geeft een overzicht van de gehanteerde instrumenten, in relatie tot het contactmoment. Per contactmoment zijn er twee signaleringlijsten voor psychosociale problemen aan ouders voorgelegd. Vanaf 12 maanden zijn er meer dan 2 lijsten beschikbaar. Om het aantal in te vullen vragen voor de ouders redelijk beperkt te houden, is besloten om vanaf die leeftijd per contactmoment telkens 2 signaleringslijsten per leeftijd aan ouders voor te leggen. Zo ontstaan er twee groepen per leeftijd: de één vult de ASQ:SE en de KIPPPI in, en de andere groep de ASQ:SE en de BITSEA. De ASQ:SE vulden alle ouders in, omdat juist dit instrument afgenomen kan worden gedurende de gehele periode van 0 tot 4 jaar. Tabel 2.1: Overzicht van instrumenten in relatie tot leeftijdsgroep

TNO-rapport TNO/CH 2011.053 December 2011 16 / 118 Leeftijdsgroep Instrument 6 maanden Groep 1: ASQ:SE, baby KIPPPI en CBCL (CBCL 1 jaar later) 14 maanden Groep 1: ASQ:SE, baby KIPPPI en CBCL (CBCL 1 jaar later) Groep 2: ASQ:SE, BITSEA en CBCL (CBCL 1 jaar later) 24 maanden Groep 1: ASQ:SE, peuter KIPPPI en CBCL Groep 2: ASQ:SE, BITSEA en CBCL 36 maanden Groep 1: ASQ:SE, SDQ 3/4 en CBCL Groep 2: ASQ:SE, KIPPPI 1-4 en CBCL 45 maanden Groep 1 : ASQ:SE, SDQ ¾ en CBCL Groep 2: ASQ:SE, KIPPPI 1-4 en CBCL In dit rapport worden de bevindingen over 14 maanden nog niet gerapporteerd. 2.2.1 Beschrijving meetinstrumenten ASQ:SE De Ages and Stages Questionnaires: Social-Emotional (ASQ:SE) is ontwikkeld als een aanvulling op de ASQ, een Amerikaanse screeninglijst voor de algemene ontwikkeling van kinderen tussen 4 maanden en 5 jaar oud 17. De ASQ:SE ontwikkeld als een eenvoudig screenings instrument voor sociaal-emotionele problemen bij jonge kinderen dat door ouders of de belangrijkste verzorgers ingevuld kan worden. De ASQ:SE heeft betrekking op gedragingen die te maken hebben met zelfregulering, inschikkelijkheid, communicatie, aanpassing, autonomie en interacties met mensen. Er zijn 7 versies voor verschillende leeftijdsgroepen tussen 0 en 4 jaar: 6,12,18, 24, 30, 36 en 48 maanden 18. De vragenlijst voor kinderen van 6 maanden heeft 19 items. Bij elke volgende leeftijdscategorie komt er een aantal items bij, om bij de ASQ:SE voor kinderen van 48 maanden te eindigen met 33 items. Een voorbeelditem is Kijkt uw kind u aan als u tegen hem/haar praat?. Elk item wordt beantwoord met een keuze uit drie antwoordmogelijkheden: meestal, soms en zelden of nooit. Daarnaast is er een antwoordmogelijkheid vink aan als dit u zorgen baart. De antwoordmogelijkheden worden gescoord met nul, vijf of tien punten. Tevens worden vijf extra punten toegekend wanneer ouders aanvinken dat ze de betreffende situatie zorgwekkend vinden. De minimumscore is nul punten, de maximale score varieert van 285 punten bij 12 maanden en 495 punten bij 48 maanden. Hoe hoger de score op de ASQ:SE des te meer problemen vertoont het kind in de sociaal emotionele ontwikkeling. De betrouwbaarheid van de oorspronkelijke ASQ:SE varieert van Cronbach s α = 0,69 bij zes maanden tot Cronbach s α = 0,91 bij 48 maanden 17. Ook de validiteit van de (Amerikaanse) ASQ:SE is goed met een overall sensitiviteit van 0,82 (sensitiviteit varieerde 0,75 en 0, 89) en een gemiddelde specificiteit van 0,92 (specificiteit varieerde van 0,82 tor 0,96) 18, 19. De verschillende versies van de ASQ:SE zijn in het Nederlands vertaald. In ons onderzoek hebben we die versies van de ASQ:SE gebruikt die overeenstemmen met de leeftijd van het contactmoment (zie Tabel 1). Een groot aantal vragen

TNO-rapport TNO/CH 2011.053 December 2011 17 / 118 overlapt tussen de versies (dezelfde vragen). Voor het contactmoment van 14 maanden is de ASQ:SE versie van 12 en 18 maanden samengevoegd. Voor het contactmoment van 45 maanden is de ASQ:SE versie van 48 maanden gebruikt. Tabel 2.2 toont het aantal items voor elke versie van de ASQ:SE die gebruikt wordt in dit onderzoek. De ASQ:SE 18 maanden, is meegestuurd met de follow-up meting van de kinderen van 6 maanden. De ASQ:SE 24 maanden is meegestuurd met de follow-up meting van de kinderen van 14 maanden. Tabel 2.2: Aantal items voor elke ASQ:SE versie, en range totaal score. ASQ:SE leeftijd interval 6 14 18* 24 36 48 Aantal items 19 35 26 26 31 33 BITSEA De BITSEA is een kort signaleringsinstrument dat een eerste indicatie geeft van emotionele of gedragsproblemen, vertragingen en competenties bij kinderen tussen 12 en 36 maanden oud. Anders dan de ASQ:SE beoogt het instrument ook mogelijke stoornissen in het autismespectrum te signaleren bij peuters. De BITSEA is ontwikkeld en toegepast in de Verenigde Staten 14. De BITSEA bestaat uit 42 items uit de volledige ITSEA (Infant Toddler Social Emotional Assessment) die in totaal 166 items bevat 20. De items voor de BITSEA werden op basis van de klinische en empirische overwegingen geselecteerd. De BITSEA omvat een Probleemschaal (31 items) en een Competentie schaal (11 items). De BITSEA heeft geen overkoepelende totaalscore. Alle items worden beoordeeld op de volgende 3-punts schaal: (0) Niet waar / zelden, (1) Enigszins juist / soms, en (2) Helemaal waar / vaak. De Amerikaanse versie van de BITSEA is inmiddels gevalideerd: de interne consistentie van de probleem- en de competentieschaal zijn goed (Cronbach s alpha is respectievelijk 0,79 en 0,65), evenals test-betrouwbaarheid. De sensitiviteit van de probleemschaal van de BITSEA, waarbij een subklinische CBCL score als criterium werd gehanteerd, bedroeg 0,81 bij een specificiteit van 0,83. Sensitiviteit van de Competentieschaal (met ITSEA competentie als criterium) bedroeg 0,69 bij een specificiteit van 0,95. Inmiddels is de BITSEA ook gevalideerd in Finland 21 en Turkije 22. Voor dit onderzoek is gebruik gemaakt van een Nederlandse vertaling van de BITSEA 23. KIPPPI De KIPPPI 9,10,11, 24, 25 is een methode om inzicht te verkrijgen in de sociaalemotionele ontwikkeling, het welzijn en gedrag van jonge kinderen. Het instrument is ontwikkeld als een aanvulling op het onderzoek van de lichamelijke ontwikkeling en gezondheid van het kind door de consultatiebureau- of schoolarts. De KIPPPI is vanaf 1991 ontwikkeld door N.P.J. Kousemaker aan de Universiteit van Leiden 9. In 1996 is een complete revisie doorgevoerd, en in de periode 2001-2004 is de KIPPPI wederom aangepast en is een methodiekboek voor medewerkers van de jeugdgezondheidszorg geschreven 11. In dit onderzoek gebruiken we de versie van de KIPPPI uit 2008. Inmiddels zijn nieuwere versies van de KIPPPI beschikbaar (www.kipppi.nl). Over de verschillen tussen de versies uit 2008 en 2011 merkt Kousemaker 26 dat het gaat om mineure wijzigingen: De opzet van iedere signaleringslijst en het merendeel van de items zijn bij deze revisie ongewijzigd gebleven.

TNO-rapport TNO/CH 2011.053 December 2011 18 / 118 De KIPPPI is gebaseerd op het transactionele model van Belsky 27 waarin het psychosociaal functioneren van kinderen als een wisselwerking wordt gezien tussen kind, ouders en omgeving. In navolging van Belsky onderscheidt Kousemaker drie niveaus waarop de ontwikkeling van kinderen zich afspeelt. De KIPPPI beoogt de balans tussen draagkracht en draaglast van ouders vast te stellen op het micro (kindfactoren, ouderfactoren), meso (sociale gezins en buurtfactoren) en macro ( sociaaleconomische, culturele en maatschappelijke factoren) niveau 10,25. Het instrument is sinds het moment van verschijnen in 1991 veelvuldig getoetst en bijgesteld door de ontwikkelaar 10 (NJi Databank, www.nji.nl). De betrouwbaarheid van de verschillende versies van de KIPPPI wordt in deze onderzoeken als goed gekwalificeerd (NJi databank). In 2000 is het instrument grondig bijgesteld op basis van de toenmalige onderzoeksuitkomsten en opnieuw onderzocht. Romijn en Kousemaker 11 rapporteren goede interne consistenties voor de baby en kleuter KIPPPI (Crombach s alpha bedroeg gemiddeld 0,83. De samenhangen met de CBCL bleken gematigd: de correlatie varieerde tussen 0,41 en 0,51. De KIPPPI (versie 2008) heeft drie leeftijdsversies voor de eerste vier levensjaren: de Baby KIPPPI, Peuter KIPPPI en de KIPPPI 1-4. In dit onderzoek hebben we de Baby KIPPPI afgenomen op de leeftijd van 6 maanden en 14 maanden, de Peuter KIPPPI op 24 maanden en op 36 en 45 maanden de KIPPPI 1-4. De peuter en KIPPPI1-4 bestaan uit 70 items die betrekking hebben op drie subschalen: Welbevinden, Competentie en Autonomie. De totale probleemscore ligt tussen de 70 en 280. SDQ 3-4 De Strenghts and Difficulties Questionnaire (SDQ) is van oorsprong een Engelse vragenlijst die in 1997 ontwikkeld werd door Robert Goodman 12. Hij verkreeg de vragen door gebruik te maken van de omschrijving van symptomen van DSMclassificaties die relatief vaak voorkomen bij jeugdigen: angst en depressie, gedragsstoornissen en ADHD. De SDQ beoogt de aanwezigheid van psychosociale problemen in kaart te brengen, de sterke kanten van het kind, en de invloed van psychosociale problemen op het dagelijks functioneren. De SDQ oudervragenlijst bevat in totaal 25 items, die betrekking hebben op de volgende vijf subschalen: (1) Hyperactiviteit/ aandachtstekort, (2) Emotionele problemen, (3) Problemen met leeftijdsgenoten, (4) Gedragsproblemen, en (5) Pro-sociaal gedrag. Met de SDQ kan een Totale Probleemscore berekend worden en scores op de vijf subschalen. De 25 items zijn geformuleerd in de vorm van korte stellingen, bijvoorbeeld: Mijn kind houdt rekening met gevoelens van anderen en hebben betrekking op de afgelopen zes maanden. Deze items kunnen beantwoord worden met niet waar (0), beetje waar (1) en zeker waar (2). De eerste vier schalen vormen samen de totale probleemscore, de totale probleemscore ligt tussen 0 en 40. Daarnaast beschikt de SDQ over een 'impact schaal', die een indicatie voor de ernst van de problematiek geeft. Met deze vragen wordt inzicht verkregen in hoeverre eventueel aanwezige problematiek interfereert met het dagelijks functioneren en wat de ernst en duur is van deze problematiek. De impact schaal is niet meegenomen in de analyses. De SDQ heeft twee verschillende ouderversies: de SDQ 3-4, voor kinderen van 3 en 4 jaar oud en SDQ 4-16 voor kinderen tussen 4 en 16 jaar. In dit onderzoek gaat het om de oudervragenlijst voor 3 en 4 jarigen. De psychometrische eigenschappen van de SDQ 4-16 zijn inmiddels veelvuldig onderzocht in verschillende landen, waaronder Nederland 28, 29, 30, 31. Achenbach en collega s 32 hebben studieuitkomsten met betrekking tot de SDQ uit 26 verschillende landen geïntegreerd. Hieruit blijkt dat de interne consistentie (Cronbach s alpha) en criteriumvalidteit

TNO-rapport TNO/CH 2011.053 December 2011 19 / 118 (correlatie met YSR/CBCL) voldoende tot goed zijn. Er zijn nog geen validatiestudies uitgevoerd naar de SDQ 3-4. In 2000 is de SDQ naar het Nederlands vertaald 33. In de studie van Van Widenfelt 28 werden de eigenschappen van de SDQ Parent Form onderzocht in Nederland in een steekproef van 8-16 jarige kinderen. De SDQ bleek voldoende betrouwbaar en valide. Muris en collega s 29 rapporteren eveneens goede psychometrische eigenschappen van de ouderversie van de SDQ in een steekproef van 9-15 jarigen in Nederland. Vogels en collega s 31 tenslotte onderzochten de ouderversie van de SDQ in een steekproef van 7-12 jarige kinderen. Ook in deze studie kwam de SDQ (ouderversie) als goed uit de bus: de betrouwbaarheid, validiteit en meerwaarde voor de signalering van psychosociale problemen waren goed 30, 31. De SDQ werd vervolgens als standaard screeningsinstrument voor psychosociale problemen ingevoerd in de JGZ voor kinderen tussen 7 en 12 jaar oud 13. Analyse In de analyses is de respons, betrouwbaarheid van de (sub)schalen en schaalstructuur, de validiteit en de meerwaarde van verschillende signaleringslijsten nagegaan. De uitgevoerde analyses zijn per vraagstelling beschreven. 2.2.2 Respons De respons is beschreven per leeftijdsgroep. Non-respons kan samenhangen met kenmerken van de vragenlijst, zoals moeilijkheid van de items. In de leeftijdsgroepen 14, 24, 36 en 45 maanden zijn er telkens twee groepen met gehanteerde instrumenten. Met behulp van een Chi 2 -toets is het verschil in respons tussen deze twee groepen getoetst. Door middel van kruistabellen zijn verschillen in achtergrondkenmerken (bijv. geslacht en leeftijd van het kind) tussen respondenten en non-respondenten beschreven; verschillen zijn getoetst met Chi 2 -toetsen. Het uiteindelijke analysebestand is beschreven in termen van achtergrondkenmerken; met behulp van Chi 2 zijn verschillen tussen de twee groepen vragenlijsten getoetst. 2.2.3 Betrouwbaarheid van de (sub)schalen en schaalstructuur Wat betreft de psychometrische eigenschappen is ten eerste van de vragenlijsten de interne consistentie (betrouwbaarheid van de (sub) schalen) en de factorstructuur nagegaan. De interne consistentie van de verschillende schalen van de lijsten is bepaald met behulp van Cronbach s alfa. Een vuistregel is dat een Cronbach s alfa van tenminste 0,80 nodig is om een instrument te kunnen gebruiken voor besluiten op het niveau van individuele personen 36. Vervolgens is een toetsende factoranalyse uitgevoerd waarmee statistisch getoetst kan worden of de gevonden factorstructuur overeenkomt met het veronderstelde schaalmodel van de lijsten. Deze factoranalyses zijn uitgevoerd met het programma Mplus 34. De toetsing van de schaalstructuur is in twee stappen uitgevoerd. Eerst is het meest eenvoudige model met een enkelvoudige schaal getoetst. In de tweede fase van de analyse is een model geëvalueerd dat overeenkomt met de subschalen van de betreffende signaleringslijst. We gebruiken twee criteria CFI (Comparative Fit Index) en de RMSEA (root Mean Square Error of Approximation) om aan te geven hoe goed het veronderstelde model bij de empirische gegevens past. Als richtlijn voor een acceptabele fit tussen de gevonden en veronderstelde factor structuur, zijn we uitgegaan van een CFI van tenminste 0,90 of een RMSEA kleiner dan 0,08. Bij discrepantie tussen de twee criteria kan men concluderen dat er aanwijzingen zijn dat het veronderstelde model de gevonden structuur redelijk benadert 34.