Een onderzoek naar de betrouwbaarheid en de validiteit van de SDQ

Transcriptie

1 Een onderzoek naar de betrouwbaarheid en de validiteit van de SDQ Masterscriptie Forensische Orthopedagogiek Pedagogische en Onderwijskundige Wetenschappen Universiteit van Amsterdam T.J. Boonekamp Begeleiding UvA: dr. I.B. Wissink Prof. G.J.J.M. Stams Begeleiding WODC: dr. A.M. van der Laan Amsterdam, december

2 Een onderzoek naar de betrouwbaarheid en de validiteit van de SDQ Masterscriptie Forensische Orthopedagogiek Pedagogische en Onderwijskundige Wetenschappen Universiteit van Amsterdam T.J. Boonekamp Begeleiding UvA: dr. I.B. Wissink Prof. G.J.J.M. Stams Begeleiding WODC: dr. A.M. van der Laan Amsterdam, december

3 Inhoudsopgave Abstract... 3 Samenvatting Inleiding SDQ bij oudere adolescenten SDQ bij delinquente adolescenten Vraagstelling Methode Steekproef en procedure Instrumenten Analyses Resultaten Meetinvariantie Betrouwbaarheidsanalyse Variantieanalyse Discussie Beperkingen en aanbevelingen Literatuurlijst

4 Abstract The present study focuses on the reliability and validity of the Strengths and Difficulties Questionnaire (SDQ) for different groups of juveniles in the Netherlands. The sample (n=360) consisted of four groups distinguished on the basis of age (middle or late adolescence) and delinquency. Multi group confirmatory factor analyses showed measurement invariance for emotional problems, hyperactivity and prosocial behavior, but not for conduct and peer problems. Internal consistency reliabilities were low to acceptable for all scales, but extremely low for peer problems and total problems. A comparison of the means for the three measurement invariant scales and the total problem score showed that the normal sample reported more problems than the delinquent sample did, which indicates no discriminant validity. It was concluded that reliability and validity of the SDQ seems not adequate for use in delinquent samples and late adolescents. 3

5 Samenvatting Dit onderzoek heeft zich gericht op de betrouwbaarheid en validiteit van de Strengths and Difficulties Questionnaire (SDQ) bij verschillende groepen jeugdigen in Nederland. De steekproef (n=360) bestaat uit vier groepen die te onderscheiden zijn op basis van leeftijd (midden of late adolescentie) en delinquentie. Multi-groep confirmatieve factoranalyses lieten meetinvariantie zien voor de subschalen emotionele problemen, hyperactiviteit en prosociaal gedrag, maar niet voor de subschalen gedragsproblemen en problemen met leeftijdsgenoten. Interne consistenties waren laag tot acceptabel voor alle schalen, met uitzondering van extreem lage waarden voor problemen met leeftijdsgenoten en de totale probleemschaal. Een vergelijking van de gemiddelden van de drie meetinvariante schalen en de totale probleemschaal, liet zien dat de normale populatie meer problemen rapporteert dan de delinquente groep, wat duidt op een gebrek aan discriminerend vermogen van de SDQ. Op basis van de resultaten wordt geconcludeerd dat de betrouwbaarheid en validiteit van de SDQ niet toereikend lijken voor afname bij delinquente jongeren en late adolescenten. 4

6 1. Inleiding De adolescentie is een periode vol veranderingen op lichamelijk, cognitief, sociaal en emotioneel gebied (Verhulst, 2006). Tevens is het een kritieke periode voor de ontwikkeling van psychiatrische stoornissen (Kessler e.a., 2007). Zo blijkt uit onderzoek van Costello en anderen (2003) dat 36.7% van alle adolescenten voldoet aan de eisen van minstens één psychiatrische stoornis uit de DSM-IV. Het is belangrijk dat dergelijke stoornissen goed in kaart worden gebracht. Er bestaan verschillende instrumenten om een indicatie te verkrijgen van een stoornis. Een veelgebruikte vragenlijst is de Strengths and Difficulties Questionnaire (SDQ). Dit is een gedragsvragenlijst die in 1997 is ontworpen door Goodman in Engeland voor kinderen van drie tot en met zestien jaar. Hij heeft bij een eerder onderzoek (zie Goodman, 1997) onder gezinnen in Engeland een aantal probleemgedragingen ontdekt die vaak voorkomen bij jongeren. Op basis van omschrijvingen van DSM-classificaties heeft hij de probleemgedragingen omgezet in vragen. Goodman beschrijft vijf probleemschalen die de subschalen van de SDQ vormen, te weten: emotionele problemen; problemen met leeftijdsgenoten; gedragsproblemen; hyperactiviteit/aandachtsproblemen en prosociaal gedrag. De vier probleemschalen vormen opgeteld een totale probleemschaal. De zelfrapportage versie is ontwikkeld voor normatieve (niet-klinische) jongeren van 11 tot en met 16 jaar. In 2000 is de vragenlijst in het Nederlands vertaald door Treffers en Van Widenfelt (van Widenfelt, Goedhart, Treffers, & Goodman, 2003). De SDQ wordt in diverse landen gebruikt als screeningsinstrument in verschillende situaties en als gevolg daarvan is ook de betrouwbaarheid en de validiteit in verschillende landen onderzocht (Achenbach, e.a., 2008). Betrouwbaarheid en validiteit zijn belangrijk om de kwaliteit van de vragenlijst vast te stellen. Validiteit houdt in of de vragenlijst meet, wat het beoogt te meten. Bij betrouwbaarheid gaat het om de nauwkeurigheid van de metingen. De gevonden interne consistenties van de onderzoeken die hieronder genoemd worden, zijn een indicatie van constructvaliditeit, oftewel zijn de constructen goed gemeten. Voorts bestaat er inhouds- en criteriumvaliditeit. Inhoudsvaliditeit gaat na of een vragenlijst het hele spectrum omvat van het construct dat wordt gemeten. Criteriumvaliditeit kijkt naar de voorspellende waarde van een extern criterium van een vragenlijst (Bijleveld, 2009). Achenbach en anderen (2008) hebben onderzoeken naar de SDQ uit verschillende landen samengevat. De psychometrische eigenschappen variëren per onderzoek. Zo vindt Goodman (2001) een goede interne consistentie (α >.80) voor de totale probleemschaal en 5

7 lage tot acceptabele interne consistenties wanneer er per subschaal wordt gekeken (α =.59 tot.80). De zelfrapportage versie heeft de laagste interne consistentie in vergelijking met de ouder- en leerkrachtversie. In overig onderzoek worden soortgelijke resultaten gevonden (α =.50 tot.70 voor de subschalen; α =.70 tot.80 voor totaalscore). In Nederland zijn de eigenschappen van de Nederlandse versie van de SDQ onderzocht in een normale populatie door Van Widenfelt, Goedhart, Treffers en Goodman (2003). De steekproef bestond uit kinderen en adolescenten van 9 tot 15 jaar. De interne consistenties voor de zelfrapportage versie waren onvoldoende (voor de subschalen problemen met leeftijdsgenoten en gedragsproblemen ) (α.=.39 en α=.47) tot acceptabel voor de overige drie subschalen (α.=.60 tot α=.70). Volgens de auteurs was een verklaring voor de relatief lage betrouwbaarheid dat jongeren soms bewust niet al hun problematiek rapporteren en dat zij zich soms niet bewust zijn van het feit dat hun gedrag probleemgedrag is. Ook Muris, Meesters en Van den Berg (2003) hebben onderzoek gedaan bij Nederlandse kinderen en adolescenten. Zij concluderen dat de SDQ positieve resultaten laat zien, maar wanneer er nader wordt gekeken naar het onderzoek, zijn er vraagtekens te plaatsen bij onder andere de lage interne consistenties van de schalen en de factorladingen van de items. Sommige items passen beter binnen een andere schaal dan de schaal waartoe zij zouden behoren, wat betekent dat er problemen zijn met de constructvaliditeit van de SDQ. Voorts heeft het WODC in de Monitor Zelfgerapporteerde Jeugdcriminaliteit onder jongeren (n=714) in de leeftijd van tien tot en met zeventien jaar ook de SDQ meegenomen. De betrouwbaarheid in dit onderzoek week niet af van ander Nederlands onderzoek. Ook hier werden lage interne consistentie betrouwbaarheden gevonden voor de subschalen problemen met leeftijdsgenoten en gedragsproblemen (respectievelijk een α van.36 en.42). Voor de overige schalen waren de interne consistenties acceptabel (α van.61 tot.69). De scores laten verder zien dat de jongeren veel prosociaal gedrag rapporteren en relatief weinig psychosociale problemen (Van der Laan & Blom, 2006). De Commissie Testaangelegenheden Nederland (COTAN) heeft de normen en de criteriumvaliditeit voor de Nederlandse versie in 2007 als onvoldoende beoordeeld. De normen werden niet representatief genoemd en/of de representativiteit was niet te beoordelen. De commissie stelde verder dat er te weinig onderzoek is gedaan naar de criteriumvaliditeit, maar dat de betrouwbaarheid en begripsvaliditeit wel voldoende waren (Evers, Braak, Frima, & van Vliet-Mulder (2009). Terwijl de zojuist besproken onderzoeken zich richtten op niet-klinische groepen kinderen en jongeren, hebben Couwenbergh en anderen (2009) zich gericht op een groep 6

8 jongeren die doorverwezen was naar jeugdzorg. De interne consistentie van de SDQ bleek voldoende te zijn voor de subschalen emotionele problemen, hyperactiviteit/ aandachtstekort en de totale probleemschaal. De overige subschalen scoorden echter onvoldoende, met name de subschaal problemen met leeftijdsgenoten. Daarnaast is er gekeken naar het verkrijgen van een indicatie voor bepaalde diagnoses. De onderzoekers stelden dat de zelfrapportage versie goed kon onderscheiden tussen het wel of niet hebben van emotionele problemen, maar dat dit niet gold voor hyperactiviteit en aandachtsproblemen. De auteurs concluderen uiteindelijk dat de zelfrapportage versie geschikt is voor het rapporteren van emotionele problemen en gedragsproblemen, maar duidelijk minder geschikt voor de overige subschalen. Volgens de onderzoekers zijn adolescenten beter in staat om internaliserende problematiek te rapporteren (Couwenbergh, e.a. 2009). Kortom, er is veel onderzoek uitgevoerd naar de SDQ in normale populaties. Over het algemeen lijken de subschalen problemen met leeftijdsgenoten en gedragsproblemen over de laagste interne consistenties te beschikken. De eigenschappen van de overige subschalen en de totale probleemschaal zijn over het algemeen voldoende. Over de psychometrische eigenschappen in Nederland in verschillende subgroepen jongeren is echter weinig bekend. De lage betrouwbaarheden van de subschalen zorgen voor twijfels over het gebruik van deze vragenlijst. Het is daarom belangrijk te onderzoeken hoe de SDQ zich gedraagt binnen verschillende groepen. De huidige studie betreft een dergelijk onderzoek. Er wordt gekeken naar de toepassing van de SDQ bij adolescenten ouder dan 16 jaar en delinquente adolescenten. In de klinische praktijk blijkt namelijk dat de SDQ ook voor deze doelgroepen wordt gebruikt. 1.1 SDQ bij oudere adolescenten Aangezien de SDQ in eerste instantie is ontworpen voor jongere leeftijdsgroepen kan men zich afvragen of de SDQ voor adolescenten ouder dan 16 jaar een geschikt instrument is. Uit onderzoek in Noorwegen door van Roy, Veenstra en Clench-Aas (2008) onder een normale populatie vroege en late adolescenten blijkt dat de factorladingen gelijk waren voor vroege (13 tot 16 jaar) en late adolescenten (16 tot 19 jaar). Ze vonden echter hogere ladingen voor de jongste groep (10-13 jaar). Er lijkt dus sprake te zijn van een verschillende interpretatie van de items door pre-adolescenten en vroege en late adolescenten. Ander onderzoek naar het gebruik van de SDQ bij oudere adolescenten is ons niet bekend. Er is wel onderzoek gedaan naar het rapporteren van problemen in verschillende leeftijdsgroepen op de SDQ. Van der Laan en Blom (2006) vonden dat de leeftijdsgroep 14-7

9 15 jaar gemiddeld minder problemen met leeftijdsgenoten rapporteert dan andere leeftijdsgroepen (12-13 en jaar). Voor de andere subschalen zijn geen verschillen in leeftijd gevonden. 1.2 SDQ bij delinquente adolescenten In januari 2009 is er een landelijke visie op de psychiatrische basiszorg vastgesteld door de sector Justitiële Jeugdinrichtingen (JJI). Deze visie schrijft een screening van de jongere bij binnenkomst in een JJI voor als minimumvereiste om mogelijke gedrags- en/of psychische problematiek in een vroeg stadium te onderkennen en aan te pakken. Jongeren bij wie een vermoeden van problematiek wordt onderkend, krijgen diepergaand onderzoek (Raad voor Strafrechtstoepassing en Jeugdbescherming, 2009). De screening is vervolgens geïntegreerd in de nieuwe basismethodiek Youturn die per 1 januari 2010 is ingevoerd in alle JJI s (Stuurgroep YOUTURN, 2009). Voorts geldt dit voor delinquente jongeren die ambulant behandeld worden. Bij hen wordt een vroegtijdige screening uitgevoerd om een juiste interventie aan te bieden (Raad voor Strafrechtstoepassing en Jeugdbescherming, 2008). Een goede screening van deze doelgroep is belangrijk omdat uit onderzoek van Colins en anderen (2010) blijkt dat er een hoge prevalentie is van psychiatrische stoornissen onder delinquente jongens in de JJI s in Nederland. Zeventig procent van de jongens voldoet aan de eisen voor minstens één psychiatrische stoornis. Met name antisociale gedragsstoornis (46,4%), drugsof alchoholverslaving (45,1%), oppositioneel-opstandige gedragsstoornis (19,8 %) en ADHD (13,5%) komen vaak voor. Daarnaast vertoont zo n 13 tot 20% van de jongeren internaliserende problematiek. De SDQ wordt al ingezet als screeningsinstrument bij delinquente adolescenten, maar er is geen onderzoek gevonden waarbij de psychometrische eigenschappen van de SDQ zijn getoetst binnen een dergelijke steekproef. Het is daarom van belang om te onderzoeken hoe deze vragenlijst zich gedraagt in een dergelijke populatie. Er is veel onduidelijkheid omtrent de psychometrische kwaliteit van de SDQ. 1.3 Vraagstelling Zoals uit de literatuur is gebleken, zijn er uiteenlopende en soms niet positieve resultaten gevonden voor de SDQ. Daarom is het belangrijk is dat de SDQ wordt onderzocht in verschillende samples. De vraag die centraal staat is: heeft de SDQ goede psychometrische kwaliteiten in verschillende groepen jongeren? In het huidige onderzoek is er sprake van een basisgroep die bestaat uit de doelgroep waarvoor de vragenlijst is ontwikkeld, jonge niet- 8

10 delinquente adolescenten (tot en met 16 jaar). Er is echter gebleken dat de SDQ ook wordt gebruikt voor andere doelgroepen, zoals oudere adolescenten en delinquente adolescenten. Er zijn daarom drie vergelijkingsgroepen opgesteld. De eerste vergelijkingsgroep bestaat uit oudere niet-delinquente adolescenten (17 jaar en ouder). Vervolgens zijn er twee delinquente vergelijkingsgroepen onderzocht: een jonge delinquente groep (13-16 jaar) en een oudere delinquente groep (17 jaar en ouder). Een eerste doel van het onderzoek is vast te stellen of de schalen van de SDQ meetinvariant zijn. Dit houdt in dat de items van de schalen hetzelfde gewicht hebben in verschillende groepen, wat wijst op een eenduidige interpretatie van items door verschillende groepen respondenten. Zoals hierboven is vermeld, zijn er vier groepen vergeleken. Het is belangrijk om te kijken naar meetinvariantie. Als er namelijk sprake is van meetinvariantie, mag aangenomen worden dat de subschalen dezelfde concepten meten in verschillende groepen. De SDQ kan dan in verschillende groepen gebruikt worden. Is er sprake van meetvariantie, dan worden de items van de subschalen verschillend geïnterpreteerd door de groepen en is er onvoldoende constructvaliditeit. Nagegaan wordt of factorladingen van de vier groepen aan elkaar gelijkgesteld kunnen worden. Vervolgens worden de interne consistenties van de vijf subschalen en de totale probleemschaal onderzocht in de afzonderlijke groepen en wordt er gekeken of betrouwbaarheden overeenkomstig zijn met eerder onderzoek. De verwachting is dat de betrouwbaarheidsmaten van de subschalen problemen met leeftijdsgenoten en gedragsproblemen laag zijn. Tot slot worden de gemiddelden tussen de groepen vergeleken voor de subschalen die meetinvariant zijn. Verwacht wordt dat er meer problemen worden gerapporteerd door de delinquente groep. Dit zou tevens een indicatie zijn van het onderscheidend vermogen van het instrument. 2. Methode 2.1 Steekproef en procedure Zoals in het voorgaande aangegeven, bestond de steekproef uit vier groepen jongens. De eerste groep waren de jonge niet-delinquenten in de leeftijd van 13 tot en met 16 jaar (n = 102). Deze groep was de basisgroep, omdat de SDQ oorspronkelijk voor deze doelgroep is ontwikkeld. De volgende groep bestond uit oudere niet-delinquenten in de leeftijd van 17 tot en met 23 jaar (n = 78). Voorts waren er twee delinquente groepen gevormd bestaande uit jonge delinquenten van 13 tot 16 jaar (n = 68) en oude delinquenten in de leeftijd van 17 tot 20 jaar (groep 4 n = 112). De beschrijvende statistieken worden weergegeven in Tabel 1. 9

11 Tabel 1 Beschrijvende statistieken voor de vier groepen Variabelen N Gemiddelde leeftijd (SD) Cultuur (niet-nederlands) (%) 1. Jonge niet-delinquenten (.86) Oude niet delinquenten (.75) Jonge delinquenten (.90) Oude delinquenten (1.43) Opleidingsniveau (laag) (%) Noot. Cultuur wordt aangeduid als niet-nederlands als minstens één van de ouders van de respondent in het buitenland is geboren. Opleidingsniveau is verdeeld in laag en hoog, waarbij een laag opleidingsniveau bestaat uit jongens die geen opleiding hebben afgemaakt of MBO2 of lager hebben afgerond. Een gemiddeld tot hoog opleidingsniveau bestaat uit jongens die HAVO, VWO of MBO3 of hoger volgen of hebben afgerond. De delinquente respondenten zijn geworven in verschillende JJI s in Nederland. Alleen de gegevens van de jongeren die toestemming (98%) hebben gegeven om deel te nemen van het onderzoek, zijn verwerkt. Meisjes zijn niet meegenomen, omdat er te weinig gegevens van meisjes waren (n=13). De gegevens zijn geanonimiseerd. Voor de normale populatie is gebruik gemaakt van een algemene bevolkingssteekproef, ingedeeld op basis van leeftijd. Deze groepen bestonden uit zoveel mogelijk vergelijkbare jongeren (met de delinquente groepen) met betrekking tot etnische achtergrond, opleidingsniveau en leeftijd. Met behulp van toetsen is gekeken of er significante verschillen zijn tussen de delinquente en de normatieve groepen. De resultaten lieten zien dat de verhouding allochtoon autochtoon in beide groepen nagenoeg gelijk was. Wel is een significant groepsverschil gevonden voor opleidingsniveau, X²(3) = 35.50, p <.01. De delinquente adolescenten hadden een lager opleidingsniveau dan de niet-delinquente adolescenten. In de praktijk blijkt echter dat de jongeren in de JJI s in het algemeen een lager opleidingsniveau hebben, waardoor dit verschil de realiteit het beste benaderde. 2.3 Instrumenten In de inleiding is de ontwikkeling van de SDQ reeds kort beschreven. Hier is beschreven dat de vragenlijst vijf subschalen bevat. Elke subschaal bestaat uit vijf items die beantwoord worden met niet waar, een beetje waar of zeker waar. Enkele voorbeelden van items zijn: Ik heb vaak hoofdpijn, buikpijn of ik ben misselijk (emotionele problemen); Ik heb minstens één goede vriend of vriendin (problemen met leeftijdsgenoten); Ik word erg boos en ben vaak driftig (gedragsproblemen); Ik ben rusteloos, ik kan niet lang stilzitten 10

12 (hyperactiviteit/ aandachtsproblemen); en Ik probeer aardig te zijn tegen anderen. Ik houd rekening met hun gevoelens (prosociaal gedrag). Er zijn vijf items die gehercodeerd moeten worden, omdat deze positief zijn geformuleerd ten opzichte van de overige twintig items. Een hoge score op de subschalen betekent dat er meer problemen worden ervaren door de jongeren, behalve voor de schaal prosociaal gedrag. Hier geldt hoe hoger de score, hoe meer prosociaal gedrag er wordt gerapporteerd. De vier probleemschalen ( problemen met leeftijdsgenoten, gedragsproblemen, hyperactiviteit/aandachtsproblemen en emotionele problemen ) vormen samen de totale probleemschaal (van Widenfelt, Goedhart, Treffers, & Goodman, 2003). 2.4 Analyses In de eerste plaats zijn er multi-groep confirmatieve factoranalyses voor de vier groepen uitgevoerd om de meetinvariantie van de SDQ over de verschillende groepen te onderzoeken. Vervolgens is er een betrouwbaarheidsanalyse uitgevoerd voor de verschillende subschalen en de totale schaal om te kijken of de schalen voldoende betrouwbaar waren in de verschillende groepen. Voorts is een variantie-analyse gedaan om de gemiddelde scores tussen verschillende groepen te vergelijken en een indicatie te krijgen van het onderscheidend vermogen van de SDQ. De analyses zijn uitgevoerd met behulp van SPSS 17.0 en AMOS. 3. Resultaten 3.1 Meetinvariantie Door te toetsen of er sprake is van meetinvariantie, wordt onderzocht of de factorstructuur in verschillende groepen overeenkomstig is. Volgens Chueng en Rensvold (2000) en Vijver en Lueng (2000) kunnen multi-groep confirmatieve factoranalyses worden gebruikt voor gedetailleerde informatie over factorstructuren in verschillende groepen. 11

13 De factorstructuur van de subschaal prosociaal gedrag is afgebeeld in Figuur 1. De vijf items zijn de geobserveerde variabelen en de ellips is de latente variabele. De pijlen geven de factorladingen weer en de e geeft de meetfout weer. 1 e Item 1 1 e Item 4 e 1 Item 9 Prosociaal gedrag e 11 Item 17 e 1 Item 20 Figuur 1. Saturated model voor de subschaal prosociaal gedrag In de eerste plaats is gekeken naar het basismodel van de schalen van de SDQ. Met andere woorden, de fit van de basisstructuur is vastgesteld (Zie Tabel 2). Wanneer de Root Mean Square Error of Approximation (RMSEA) een waarde heeft van onder de.05 kan gesproken worden van een goede fit, oftewel het model beschrijft de gegevens op een juiste manier (Browne & Cudeck, 1993). In de tabel is te zien dat de waardes allen onder de.05 liggen. Vervolgens is de Comparative Fit Index bekeken. Als deze waarden boven de.90 liggen, houdt dit een redelijke fit in en als de CFI een waarde heeft van boven de.95 betekent dit een goede fit (Bentler, 1990). Er is te zien dat subschalen emotionele problemen en gedragsproblemen een redelijke fit hebben. De overige subschalen beschikken over een goede fit. Geconcludeerd kan worden dat de basisstructuur een redelijke tot goede fit laat zien in de verschillende groepen. Tabel 2 Basismodel fit voor jonge niet-delinquenten Subschaal (5 items) Df X 2 P RMSEA CFI Emotionele problemen Gedragsproblemen Hyperactiviteit/aandachtsproblemen Problemen met leeftijdsgenoten Prosociaal gedrag

14 Vervolgens is gekeken of de factorladingen van de vier groepen gelijkgesteld kunnen worden aan elkaar door de fit van het gelijkgestelde model (het model met gelijke factorladingen over de groepen) te vergelijken met de fit van het basismodel. De resultaten worden weergegeven in Tabel 3. Voor elke subschaal afzonderlijk zijn multi-groep confirmatieve factoranalyses uitgevoerd over de vier groepen zoals besproken in paragraaf 2.1. Tabel 3 Multi-groep confirmatieve factor analyses voor de subschalen Subschaal (5 items) ΔDf ΔX 2 p Emotionele problemen Gedragsproblemen Hyperactiviteit/aandachtsproblemen Problemen met leeftijdsgenoten Prosociaal gedrag Uit de analyse bleek dat bij drie subschalen de ΔX2 (Chi-kwadraat verschil)-waarden niet significant waren, te weten bij de subschalen: emotionele problemen ; hyperactiviteit/aandachtsproblemen en prosociaal gedrag. Met andere woorden, deze schalen kunnen we meetinvariant noemen. Bij de andere subschalen ( gedragsproblemen en problemen met leeftijdsgenoten ) waren de ΔX2-waarden echter significant, oftewel, een indicatie van een meetvariante subschaal. Dit betekent dat voor deze schalen de items niet gelijke ladingen lijken hebben voor de verschillende groepen. Voor deze subschalen zijn dan ook additionele multi-groep confirmatieve factor analyses gedaan, waarbij groep 1 (jonge niet-delinquenten) telkens als basisgroep is gebruikt en iedere keer is gelijkgesteld aan één van de andere groepen. Dit, om te toetsen welke groepen significant van de basisgroep afweken. In Tabel 4 worden de resultaten van deze analyses weergegeven. 13

15 Tabel 4 Multi-groep confirmatieve factor analyses voor de twee variante subschalen met de jonge niet-delinquenten als basisgroep Groep Gedragsproblemen (X 2 ) Problemen met leeftijdsgenoten (X 2 ) Jonge niet-delinquenten gelijkgesteld aan oude niet-delinquenten Jonge niet-delinquenten gelijkgesteld aan jonge delinquenten Jonge niet-delinquenten gelijkgesteld aan oude delinquenten *p< * 12.47* * 7.80 De resultaten geven aan dat met name de oude niet-delinquenten en de oude delinquenten verschillen van de basisgroep (de jonge niet-delinquenten). Dit houdt in dat de jonge en oude delinquenten verschillen van de jonge niet-delinquenten. Met andere woorden, met name leeftijd lijkt van invloed op de interpretatie van de items. 3.2 Betrouwbaarheidsanalyse Om de interne consistentie van de vijf subschalen te meten is vervolgens een betrouwbaarheidsanalyse uitgevoerd. Een vuistregel in onderzoek is dat Cronbach s α minimaal.80 moet zijn, om een voldoende betrouwbaarheid te kunnen garanderen (Bijleveld, 2009). De COTAN vindt een α van.60 voor onderzoek op groepsniveau acceptabel. Een α van.80 is echter nodig voor individueel gebruik in de klinische praktijk (Evers, Braak, Frima, & van Vliet-Mulder (2009). De resultaten zijn te zien in Tabel 5. Tabel 5 Cronbach s alpha voor de vier groepen Schalen Jonge niet delinquenten (n=102) Cronbach s alpha Oude nietdelinquenten (n=78) Jonge delinquenten (n=68) Oude delinquenten (n=112) Emotionele problemen Hyperactiviteit/ aandachtsproblemen Gedragsproblemen Problemen met leeftijdsgenoten Prosociaal gedrag Totale probleemschaal Totale groep (n=360) 14

16 Als er wordt uitgegaan van een minimale Cronbach s α van.80 voor het gebruik in de klinische praktijk, is te zien dat geen enkele subschaal aan deze waarde voldoet. Hyperactiviteit/aandachtsproblemen heeft een acceptabele betrouwbaarheid, gevolgd door emotionele problemen, prosociaal gedrag en gedragsproblemen met acceptabele waarden voor een aantal groepen. Erg lage waarden zijn gevonden voor de subschaal problemen met leeftijdsgenoten en de totale probleemschaal. Er is vervolgens een test uitgevoerd om te kijken of de interne consistenties significant verschillen tussen de groepen. De betrouwbaarheid bleek alleen significant te verschillen op de totale probleemschaal voor de jonge niet-delinquenten in vergelijking met de oude niet-delinquenten en voor de oude nietdelinquenten in vergelijking met de oude delinquenten. De rapportages van de oude nietdelinquenten laten een hogere betrouwbaarheid zien dan de rapportages van de andere groepen. 3.3 Variantieanalyse Om de verschillen in gemiddelde scores tussen de groepen te toetsen is er een multivariate variantieanalyse (MANOVA) uitgevoerd, met de factoren delinquentie en leeftijd als onafhankelijke variabelen en de meetinvariante subschalen als afhankelijke variabelen. De schalen gedragsproblemen en problemen met leeftijdsgenoten zijn dus niet meegenomen, aangezien het niet juist is om gemiddelden te vergelijken van schalen die niet meetinvariant zijn (zoals bleek uit de multi-groep confirmatieve analyses, zie Tabel 3). Wilks Lambda (Λ) is gebruikt om de multivariate effecten te schatten. Voor de totale probleemschaal is een univariate variantieanalyse (ANOVA) uitgevoerd met dezelfde onafhankelijke variabelen. Uit de MANOVA bleek dat er een significant hoofdeffect was (Λ=.17, F(3, 337)=561.86, p=.00). Vervolgens bleek uit het univariate effect dat de factor delinquentie de verschillen veroorzaakte op de subschalen hyperactiviteit/aandachtsproblemen (Λ=.89, F(3, 358)=6.96, p=.00, η2=.06) en prosociaal gedrag (Λ=.89, F(3, 358)=10.55, p=.00, η2=.08) met hogere scores voor niet-delinquenten dan voor de delinquenten. De ANOVA voor de totale probleemschaal liet zien dat de delinquenten significant verschilden van de niet-delinquenten (F(3, 358)=5.06, p=.00, η2=.04). De gemiddelden en standaarddeviaties worden weergegeven in Tabel 6. 15

17 Tabel 6 Gemiddelden (en standaarddeviaties) voor delinquenten en niet-delinquenten. Subschaal Delinquent Niet-delinquent F-waarde d Hyperactiviteit/aandachtsproblemen 3.31 (2.56) 4.52 (2.43) 19.59*.49 Prosociaal 7.83 (1.96) 6.69 (1.88) 30.08*.59 Totale probleemschaal (4.55) (4.81) 14.74*.41 *p<.001 De gemiddelden in Tabel 6 laten zien dat de niet-delinquente jongeren meer hyperactiviteit/aandachtsproblemen rapporteren dan de delinquente jongeren. Ook is de gemiddelde score op de totale probleemschaal een stuk hoger. Bovendien rapporteren ze minder prosociaal gedrag dan de delinquente jongeren. Voor emotionele problemen zijn geen significante verschillen gevonden. Het effect is het grootst ten aanzien van prosociaal gedrag (d =.59). Voor de andere twee subschalen geldt dat de gevonden effecten klein zijn. 4. Discussie Huidig onderzoek is het eerste onderzoek in Nederland naar het gebruik van de SDQ bij zowel niet-delinquente als delinquente jongeren uit verschillende leeftijdsgroepen. Er waren al kritische vraagtekens te plaatsen bij het gebruik van de SDQ in een normale populatie en met betrekking tot het gebruik van de SDQ in een delinquente populatie bestaan nu ook twijfels. Om te onderzoeken of de subschalen meetinvariant waren, zijn multi-groep confirmatieve factoranalyses uitgevoerd voor de vijf verschillende subschalen. De resultaten van de multi-groep factoranalyses bevestigen meetinvariantie voor drie van de vijf subschalen, namelijk prosociaal gedrag, hyperactiviteit/aandachtsproblemen en emotionele problemen. Met andere woorden, deze subschalen meten dezelfde concepten in de vier verschillende groepen. Zowel delinquente als niet-delinquente jongeren lijken de items op deze schalen op een vergelijkbare manier te interpreteren. Voor twee subschalen geldt dit echter niet. Dit betreft de subschalen problemen met leeftijdsgenoten en gedragsproblemen. Met andere woorden, de items van deze twee subschalen lijken verschillend te worden geïnterpreteerd door met name de oudere groepen (versus de jongere groepen). Een verklaring voor deze verschillende interpretatie van de items door de oudere jongeren kan te maken hebben met de mogelijkheid dat late adolescenten zich bijvoorbeeld minder kunnen vinden in een item als ik kan beter omgaan met volwassenen dan met kinderen. Een jongen van 21 jaar zal deze vraag anders interpreteren dan een jongen van 13 16

18 jaar. Dit kan verklaard worden uit het feit dat de cognitieve, emotionele en sociale ontwikkeling nog grote veranderingen doormaakt gedurende de adolescentie (Verhulst, 2006). Deze subschalen zijn onbruikbaar voor de klinische praktijk als het gaat om adolescenten ouder dan 16 jaar. Zij lijken de vragen anders te interpreteren de vragen dan de jongere adolescenten voor wie de SDQ opgesteld is. Om de interne consistenties van de subschalen en totale probleemschaal te onderzoeken, is er gekeken naar de betrouwbaarheid van de SDQ in termen van Cronbach s alpha. De interne consistenties bleken laag tot acceptabel. Vooral de interne consistenties van de subschaal problemen met leeftijdsgenoten en de totale probleemschaal waren erg laag. Alleen de schaal hyperactiviteit/aandachtsproblemen maakte een positieve uitzondering. Dit komt overeen met andere onderzoeken, waar de interne consistentie van deze schaal over het algemeen acceptabel tot goed was. Er is vervolgens gekeken of er hogere interne consistenties werden gevonden in bepaalde groepen, maar in alle groepen zijn lage betrouwbaarheden gevonden. Kortom, in dit onderzoek bleek de betrouwbaarheid van de SDQ onvoldoende te zijn, met uitzondering van de subschaal hyperactiviteit/aandachtsproblemen. In vergelijking met andere onderzoeken, presteerde met name de totale probleemschaal slechter. De resultaten die duiden op de lage betrouwbaarheid van de subschalen van de SDQ in verschillende groepen kunnen niet veroorzaakt zijn door een laag aantal respondenten of een laag aantal items per subschaal, aangezien er ook lage betrouwbaarheden zijn gevonden voor de totale groep respondenten en op de totale probleemschaal (met meerdere items). Een mogelijke verklaring kan wel zijn dat de steekproef relatief veel laag opgeleide jongens bevat. Uit een additionele analyse bleek echter dat de betrouwbaarheden voor laag opgeleide en midden tot hoog opgeleide jongeren voor de meeste subschalen weinig verschillen lieten zien. De subschaal problemen met leeftijdsgenoten vormt hierbij een uitzondering. Op deze subschaal was de interne consistentie een stuk lager voor de laag opgeleide jongeren. Dit kan betekenen dat sommige laag opgeleide jongens niet erg consistent zijn in het rapporteren van problemen met leeftijdsgenoten. Ten slotte zijn er opvallende resultaten gevonden bij de vergelijking van de gemiddelden voor de delinquente jongeren en niet-delinquente jongeren. Delinquente jongeren blijken aanzienlijk minder hyperactiviteit/aandachtsproblemen te rapporteren dan niet-delinquente jongeren. Voorts rapporteren deze jongeren meer prosociaal gedrag dan de niet-delinquente jongeren. De SDQ lijkt dan ook niet goed in staat om te onderscheiden tussen niet-delinquente en delinquente adolescenten voor hyperactiviteit/ aandachtsproblemen en prosociaal gedrag. Met andere woorden, er lijkt wat te schorten aan 17

19 het onderscheidend vermogen van de SDQ en op basis van deze resultaten en de overige resultaten wordt het gebruik van deze vragenlijst als screeningsinstrument van problemen bij delinquente jongeren dan ook afgeraden. De bevinding dat delinquente jongeren minder problemen rapporteren dan nietdelinquente jongeren is tegenstrijdig met de literatuur, waarin meer problemen worden gevonden voor delinquente jongeren (Colins, e.a., 2010). Onderrapportage van psychopathologie is echter een bekend fenomeen bij delinquente jongeren, en dus een mogelijke verklaring voor de lage scores in deze groep ten opzichte van de niet-delinquente groep. Zo is gebleken uit onderzoek dat jeugdige delinquenten met psychiatrische stoornissen bij zelfrapportage weinig tot geen psychopathologie rapporteren (Breuk e.a., 2007). Daarnaast kleeft er een aantal nadelen aan zelfrapportage door jongeren in de forensische setting. Deze jongeren zijn doorgaans terughoudend in het geven van informatie, omdat ze bang zijn veroordeeld te worden op de informatie die zij geven over zichzelf (Bailey e.a., 2006). In de eerste plaats zien ze psychiaters/gedragsdeskundigen als iemand die aan de kant van de rechter staat en daarnaast vergelijken ze deze clinici met hun ouders of leerkrachten, met wie ze vaak conflicten ervaren. Delinquente jongeren zien psychiaters/gedragsdeskundigen dan ook niet snel als iemand die hen wil helpen (Bailey e.a., 2006). Onderrapportage is wellicht ontstaan doordat de delinquente jongeren in het huidige onderzoek om dezelfde reden hun problemen niet rapporteren. 4.1 Beperkingen en aanbevelingen Een beperking van het onderzoek betreft de aard van de steekproef. De verschillende groepen verschilden in opleidingsniveau, wat mogelijk de resultaten beïnvloed heeft. Beide groepen waren laag opgeleid, maar de delinquente jongeren hadden een nog lager opleidingsniveau dan de niet-delinquente jongeren. In de praktijk is het bovendien zo dat een kenmerk van delinquente jongeren een laag opleidingsniveau is, waardoor deze beperking nauwelijks te voorkomen is. Verschillen tussen de groepen kunnen in ieder geval niet toegeschreven worden aan de etnische achtergrond (autochtoon of allochtoon) van de jongeren. Er was immers geen significant verschil in het percentage allochtone versus autochtone jongeren in beide groepen jongeren. Een volgende mogelijke beperking betreft de afnamecondities. Er zijn veel factoren die van invloed kunnen zijn op de scores van de SDQ. De delinquente jongeren ervaren bijvoorbeeld veel stress bij binnenkomst in een JJI, waardoor er negatievere scores verwacht 18

20 worden bij de delinquente groep. Het is bovendien onduidelijk of de afname van de vragenlijsten overal op dezelfde manier geschiedt. Verder onderzoek naar de SDQ is nodig om inzicht te krijgen in het gebruik van het instrument in verschillende subpopulaties, waaronder ook meisjes. Daarnaast is het belangrijk om de subschalen die slecht presteren nader te onderzoeken en te bekijken welke items invloed lijken te hebben op de prestaties. Concluderend bestaan er voor delinquente jongeren en oudere adolescenten duidelijke twijfels omtrent het gebruik van de SDQ door de beperkte validiteit en betrouwbaarheid. Niet alle schalen zijn meetinvariant, wat vooral lijkt te worden beïnvloed door leeftijd. Met andere woorden, de items lijken verschillend geïnterpreteerd te worden door jonge en oude adolescenten. Voorts zijn de betrouwbaarheidscijfers van een aantal subschalen vrij laag en lijkt de SDQ geen juist onderscheidend vermogen te hebben. Op basis van de resultaten van huidig onderzoek wordt het gebruik van de SDQ bij zowel jonge als oude delinquente adolescenten dan ook afgeraden. Er is meer onderzoek nodig binnen deze doelgroep, om te kijken of het huidige onderzoek een uitzondering betreft of niet. Toekomstig onderzoek zich moeten richten op het achterhalen van de omstandigheden waarin de SDQ wellicht wel betrouwbare resultaten zou kunnen geven. Feit blijft echter dat de SDQ wordt gebruikt in de klinische praktijk, en dat resultaten in de huidige omstandigheden niet hoopgevend zijn. 19

21 Literatuur Achenbach, T. M., Becker, A., Döpfner, M., Heiervang, E., Roessner, V., Steinhausen, H., & Rothenberger, A. (2008). Multicultural assessment of child and adolescent psychopathology with ASEBA and SDQ instruments: Research findings, applications, and future directions. Child Psychology and Psychiatry, 49, Bailey, S., Doreleijers, T., & Tarbuck, P. (2006). Recent developments in mental health screening and assessment in juvenile justice systems. Child and Adolescent Psychiatric Clinics of North America, 15, Bentler, P. M. (1990). Comparative fix indexes in structural models. Psychological Bulletin, 107, Bijleveld, C.C.J.H. (2009). Methoden en Technieken van Onderzoek in de Criminologie. Den Haag: Boom Juridische Uitgevers. Breuk, R. E., Clauser, C. A. C., Stams, G. J. J. M., Slot, N. W., & Doreleijers, T. A. H. (2007). The validity of questionnaire self-report of psychopathology and parent-child relationship quality in juvenile delinquents with psychiatric disorders. Journal of Adolescence,30, Browne, M. W., & Cudeck, R. (1993). Alternative ways of assessing model fit. In K. B. S. Long (Ed.), Testing structural equation models (pp ). Newbury Park, CA: Sage. Cheung, G. W., & Rensvold, R. B. (2000). Assessing extreme and acquiescence response sets in cross-cultural research using structural equations modeling. Journal of Cross-Cultural Psychology, 31,

22 Colins, O., Vermeiren, R., Vreugdenhil, C., Brink, W. van den, Doreleijers, T., & Broekaert, E. (2010). Psychiatric disorders in detained male adolescents: A systematic literature review. The Canadian Journal of Psychiatry, 55, Costello, E.K., Mustillo, S., Erkanli, A., Keeler, G., & Angold, A. (2003). Prevalence and development of psychiatric disorders in childhood and adolescence. Archives of General Psychiatry, 60, Couwenbergh, C., Ruiter, C. de, Brink, W. van, Gaag, R. J. van der, & Koeter, M. (2009). Screening for psychopathology among adolescents: Validity of the dutch SDQ in youth mental health care. In: Substance abuse and its co-occurrence with other mental health problems in adolescents. (pp ). Enschede: PrintPartners Ipskamp. Evers, A., Braak, M. S. L., Frima, R. M., & Vliet-Mulder, J. C. van (2009). COTAN documentatie. Amsterdam: Boom test uitgevers. Goodman, R. (1997). The strengths and difficulties questionnaire: A research note. Journal of Child Psychology and Psychiatry, 38, Goodman, R. (2001). Psychometric properties of the strengths and difficulties questionnaire. Journal of the American Academy of Child & Adolescent Psychiatry, 40, Havas, J., Bosma, H., Spreeuwenberg, C., & Feron, F. J. (2009). Mental health problems of dutch adolescents: The association with adolescents' and their parents' educational level. European Journal of Public Health, 20, Kessler, R. C., Amminger, G. P., Aguilar-Gaxiola, S., Alonso, K., Lee, S., & Ustun, T.B. (2007). Age of onset of mental disorders: a review of recent literature. Current Opinion Psychiatry, 20,

23 Laan, A. M. van der, & Blom, M. (2006). Jeugddelinquentie: Risico's en bescherming. bevindingen uit de WODC monitor zelfgerapporteerde jeugdcriminaliteit. Meppel/Den Haag: Boom Juridische Uitgevers/WODC. Muris, P., Meesters, C., & Berg, F. van den (2003). The strengths and difficulties questionnaire (SDQ): Further evidence for its reliability and validity in a community sample of dutch children and adolescents. European, Child & Adolescent Psychiatry, 12, 1-8. Raad voor Strafrechtstoepassing en Jeugdbescherming (2008). Jeugdige delinquenten. Minder opsluiten, gerichter begeleiden: Advies 16 oktober Geraadpleegd op 5 november 2010 via Raad voor Strafrechtstoepassing en Jeugdbescherming (2009). Zorg voor jongeren met psychiatrische stoornissen in de justitiele jeugdinrichtingen: Advies 28 mei Geraadpleegd op 12 november 2010 via Roy, B. van, Veenstra, M., & Clench-Aas, J. (2008). Construct validity of the five-factor strenghts and difficulties questionnaire (SDQ) in pre-, early, and late adolescence. Child Psychology and Psychiatry, 49, Stuurgroep YOUTURN. (2009). YOUTURN: Basishandleiding. Den Haag: DJI. Verhulst, F.C. (2006). Principes. In: Verhulst, F.C. & Verheij, F. (red). Kinder- en jeugdpsychiatrie: onderzoek en diagnostiek. p Assen: Koninklijke Van Gorcum. Vijver, F. J. R., van de, & Leung, K. (2000). Methodological issues in psychological research on culture. Journal of Cross-Cultural Psychology, 31,

24 Widenfelt, B. M. van, Goedhart, A. W., Treffers, P. D. A., & Goodman, R. (2003). Dutch version of the strengths and difficulties questionnaire (SDQ). European Child & Adolescent Psychiatry, 12,