De validiteit van het SPRINT instrumentarium

Transcriptie

1 De validiteit van het SPRINT instrumentarium Eerste deelrapport van het evaluatieonderzoek Drs. E. van Leeuwen Dr. B. Bijl

2 Colofon 2003 PI Research, Duivendrecht Overname, openbaarmaking en/of verspreiding van (gedeelten van) deze uitgave is niet toegestaan zonder toestemming van de auteurs. E. van Leeuwen en B. Bijl. De validiteit van het SPRINT instrumentarium; Eerste deelrapport van het evaluatieonderzoek. Peildatum Duivendrecht: PI Research, Dit onderzoek is verricht in opdracht van het Stadsdeel Oost Watergraafsmeer in Amsterdam. Met dank aan: Alle leerkrachten en interne begeleiders van de zes deelnemende scholen voor hun grote inzet bij het invullen van vragenlijsten en hun deelname aan het follow-up interview. Over de auteurs: Emilie van Leeuwen en Bas Bijl zijn werkzaam bij PI Research te Duivendrecht. PI Research is een organisatie voor onderzoek, innovatie en opleiding, gericht op de ontwikkeling, opvoeding en behandeling van kinderen en jongeren. PI Research Postbus ZH Duivendrecht Tel: Fax:

3 Inhoud 1 SPRINT II: de screening van kinderen Inleiding De ontwikkeling van antisociaal gedrag bij kinderen De screeningsprocedure Methode van screening: enkele principes Inleiding Eerste selectie en tweede selectie Rekening houden met typen fouten Opzet van het rapport De opzet van het valideringsonderzoek Inleiding Doel- en vraagstelling van het onderzoek De onderzoeksinstrumenten De screeningsinstrumenten Overige meetinstrumenten Analyse van de gegevens De toetsing van screeningsresultaten aan gedragscriteria Verschillen tussen deelnemers en niet-deelnemers aan de screening Veiligheidsbeleving: een exploratieve analyse De onderzoeksprocedure Analyses en resultaten De onderzoeksgroep Criterium één: uitkomsten van de globale screening en de specifieke screening worden getoetst aan de interviewbeoordeling van de IB er Criterium twee: uitkomsten van de globale en de specifieke screening worden getoetst aan de uitkomsten van het interview met de leerkracht Criterium drie: uitkomsten van de specifieke screening worden getoetst aan de hand van de WASkort, ingevuld door de leerkracht... 26

4 3.5 Criterium vier: het vóórkomen van verwijzingen naar scholen voor speciaal basisonderwijs onder kinderen die wel en kinderen die niet aan SPRINT deelnemen Criterium vijf: het vóórkomen van aanmeldingen bij de reguliere jeugdzorg Criterium zes: het vóórkomen van politiecontacten Overeenstemming tussen leerkrachten en IB ers De relatie tussen drie afnamen met de vragenlijst Waargenomen AntiSociaal gedrag (WAS-lijst) Kinderen die geen toestemming hebben gekregen De relatie tussen veiligheidsbeleving van leerkrachten en het aantal geselecteerde kinderen voor SPRINT Samenvatting en conclusie Inleiding Het toetsen van de uitkomsten aan criteria bij follow-up Criterium 1 en 2: uitkomsten van interviews met de leerkracht en de IB-er Criterium 3, 4 en 5: de WASkort, aanmeldingen bij de jeugdzorg en het SBO Wat levert het exploratieve onderzoek op? Conclusie met betrekking tot de validiteit van het instrumentarium Het gebruik van de screening in de praktijk...38 Literatuur 39 Bijlage 1 41

5 1 SPRINT II: de screening van kinderen 1.1 Inleiding Uit vooral Amerikaans onderzoek (Loeber e.a., 1998) blijkt dat antisociaal gedrag op jonge leeftijd gerelateerd is aan antisociaal gedrag op latere leeftijd. Hoe jonger en hoe meer antisociaal gedrag een kind toont, des te groter is de kans dat hij over zal gaan tot antisociale gedragingen die het huidige gedrag in ernst en omvang overtreffen. In paragraaf 1.2 wordt de onderliggende theorie over deviante ontwikkeling kort toegelicht. Het project Signalering van en Preventieve Interventie bij antisociaal gedrag, kortweg SPRINT, heeft tot doel kinderen die antisociaal gedrag vertonen vroegtijdig op te sporen en, indien de ouders daarmee akkoord gaan, hun (alsmede hun ouders) een passend preventief hulpaanbod (interventie) te doen. Door preventief te interveniëren kan escalatie van problemen worden voorkomen. SPRINT sluit daarmee aan bij de theorie en zet een stap in de richting van preventief werken in de praktijk. De opsporing of screening is dus de eerste, en tevens cruciale stap. Daarom is het van belang te weten hoe goed die selectie in de praktijk is uitgevoerd. In onderzoeksjargon heet dit de validiteitsvraag: is het gebruikte instrumentarium voor screening valide? Doen de gehanteerde middelen of instrumenten datgene waarvoor zij zijn ontworpen, namelijk de selectie van de beoogde doelgroep? In dit (deel)rapport wordt verslag gedaan van het onderzoek naar de validiteit van de screeningsinstrumenten die bij SPRINT worden gebruikt. 1 Overigens bevat paragraaf 1.3 een beschrijving van de screeningsprocedure. Screening van individuen op aanwezige problematiek, met als doel de selectie voor een bepaalde vorm van hulp, is geen eenvoudige opgave. In paragraaf 1.4 worden enkele principes van screening en de daarbij behorende terminologie behandeld. Het raamwerk van de screeningsprocedure is ontwikkeld in de eerste SPRINT-pilot (SPRINT I), die tussen 1996 en 1998 is uitgevoerd. Daaraan hebben twee basisscholen in Amsterdam Noord en een school in Bos en Lommer deelgenomen. In SPRINT II is voortgebouwd op de ervaringen die in het voorafgaande project zijn 1 Dit valideringsonderzoek vormt een eerste onderdeel van het evaluatieonderzoek, waarin ook de effecten van de interventie onderzocht zullen worden. Onderzoek naar het effect van het interventieaanbod zal in december 2003 worden afgerond en in de vorm van een tweede deelrapport verschijnen. PI Research

6 De opzet van het valideringsonderzoek opgedaan. SPRINT II wordt uitgevoerd op zes scholen in Amsterdam Oost. Behalve de scholen en PI Research zijn Bureau Jeugdzorg Amsterdam en Afra Boddaert PPI als uitvoerende instanties bij het project betrokken. Het project wordt gefinancierd door het Stadsdeel Oost-Watergraafsmeer. Tabel 1.1 geeft een overzicht van alle partners in het project. Tabel 1.1 Betrokken partners Opdrachtgever Onderzoek en interventie Deelnemende scholen Stadsdeel Oost- Watergraafsmeer: subsidiegever PI Research: begeleiding screening op scholen en training Bureau Jeugdzorg Amsterdam: benadering ouders, doorverwijzing naar ABPPI en Support; nu geen hulp, wellicht later. Afra Boddaert PPI (ABPPI): interventie ouders en kind OBS Aldoende OBS De Kraal SBO Spectrum PCB De Kraanvogel OBS De Kaap De Linnaeusschool 1.2 De ontwikkeling van antisociaal gedrag bij kinderen Het ontstaan van een deviante ontwikkeling kondigt zich meestal voor het negende levensjaar aan. Het is niet zo dat jongeren die op jonge leeftijd probleemgedrag laten zien, zich onvermijdelijk in criminele zin zullen ontwikkelen. Sommige jongeren blijken na enige tijd spontaan hun deviante gedrag te beëindigen. Deze categorie wordt wel aangeduid met de term experimenteerders, terwijl degenen die voortgaan op het delinquente pad de volharders of de stijgers worden genoemd. Recent criminologisch onderzoek van Loeber en Stouthamer-Loeber biedt aanknopingspunten voor de ontwikkeling van preventieve interventies (Loeber e.a., 1998). Door middel van een longitudinaal onderzoek kregen Loeber en Stouthamer- Loeber meer inzicht in de mechanismen die ervoor zorgen dat een kind dat minder ernstige vormen van probleemgedrag laat zien, in de loop van de tijd over gaat tot ernstiger vormen. Loeber en Stouthamer-Loeber komen tot de conclusie dat men bij de ontwikkeling van antisociaal gedrag drie deviante ontwikkelingstrajecten kan onderscheiden: een openlijk traject, een heimelijk traject en een traject met autoriteitsconflicten. Het openlijk traject omvat de ontwikkeling van openlijk waarneembare, vaak externaliserende gedragsproblemen. Daarbij kan men denken aan schelden, pesten, vechten, en, uiteindelijk, ernstig geweld, verkrachting en doodslag. Bij het heimelijk traject gaat het om het probleemgedrag dat min of meer in het geniep plaats vindt (winkeldiefstal, liegen, fraude, etc.). Bij het traject met autoriteitsconflicten moet gedacht worden aan buitensporige koppigheid, ongehoorzaamheid, spijbelen, weglopen en dergelijke (zie fig. 1.1). 6 PI Research 2004

7 De validiteit van het SPRINT instrumentarium Figuur 1.1 Drie deviante ontwikkelingspaden van antisociaal gedrag (naar Loeber e.a., 1998) aanvangs leeftijd laat Drie ontwikkelingstrajecten bij het ontstaan van antisociaal gedrag bij jongens (Loeber e.a. 1991) % jongens weinig GEWELD- DADIG GEDRAG verkrachting beroving MATIGE tot ERNSTIGE DELINQUENTIE fraude, inbraak ernstige diefstal FYSIEK VECHTEN BESCHADIGING VAN GOEDEREN vandalisme brandstichting MINDER ERNSTIGE AGRESSIE pesten, bullying ONTWIKKELINGSTRAJECT VAN OPENLIJK ANTISOCIAAL GEDRAG VERMIJ- DEN VAN AUTORITEITS PERSONEN spijbelen, weglopen s avonds laat op straat ERNSTIGE ONGEHOORZAAMHEID MINDER ERNSTIGE HEIMELIJKE PROBLEMEN winkeldiefstal, vaak liegen ONTWIKKELINGSTRAJECT VAN HEIMELIJK ANTISOCIAAL GEDRAG HALSTARRIG EN WEERSPANNIG GEDRAG ONTWIKKELINGSTRAJECT VAN AUTORITEITS CONFLICTEN VOOR HET 13E JAAR vroeg veel 1.3 De screeningsprocedure SPRINT gebruikt de basisschool als vindplaats waarbij leerkrachten de primaire informanten zijn. Jongens en meisjes in de leeftijd van 7 tot en met 11 jaar (groep 4 t/m 7) zijn een jaar lang gevolgd (gescreend) op het vóórkomen van antisociaal gedrag. De screeningsprocedure bestaat in hoofdzaak uit twee stappen. De uitkomst van de ene stap is bepalend voor de stap die daaropvolgend wordt genomen (zie fig. 2.1). Naar onder neemt het aantal selectiemomenten toe en nemen de aantallen overgebleven kinderen af. Elke selectie heeft een splitsing van een categorie van kinderen tot gevolg. Het onderzoek spitst zich toe op twee selectiemomenten. De beslissingen die op deze momenten worden genomen zijn gebaseerd op informatie die met de ontwikkelde screeningsinstrumenten is verzameld. Dit in tegenstelling tot de andere selectiemomenten, waarbij sprake is van selectie op grond van toestemming of beslissing van ouders. Het verlenen van toestemming voor deelname PI Research

8 De opzet van het valideringsonderzoek aan SPRINT is hiervan een voorbeeld, maar ook de beslissing van ouders (van volharders of stijgers ) het SPRINT aanbod te accepteren. Figuur 1.2 De screeningsprocedure: selectiemomenten en de resulterende categorieën kinderen Alle kinderen uit groep 4 tot en met 7 Geen screening: leerlingen zonder toestemming Globale screening: eenmalig door leerkracht (ouders hebben toegestemd in deelname) niet-potentieel risicovol potentieel risicovol Specifieke screening; drie metingen door leerkracht experimenteerders (geen verdere actie) volharders en stijgers (mogelijk SPRINT-aanbod) Op basis van de globale screening worden kinderen aan de categorieën nietpotentieel risicovol en potentieel risicovol toegewezen. Deze toewijzing gebeurt op grond van een beslisregel, waarbij wordt gekeken naar aard en ernst van het antisociaal gedrag en aanvullende risico s (zoals leesproblemen). Hoewel bij de specifieke screening in totaal drie metingen zijn verricht, is de selectie gebaseerd op de scores van de tweede en derde meting. 2 Er wordt gekeken naar de frequentie en ernst van het probleemgedrag dat kinderen laten zien. 3 Met behulp van een aantal wegingsregels kan een totaalscore worden berekend. Aan de hand van totaalscores van de tweede en de derde meting wordt bepaald of een kind een 2 Deze keuze heeft er mee te maken dat op de eerste meting structureel hoger wordt gescoord dan op de tweede en de derde meting. Waarschijnlijk is dit te wijten aan het feit dat leerkrachten tijdens de eerste meting over de gehele afgelopen schoolperiode van de kinderen rapporteren in plaats van over het afgelopen halfjaar, zoals in de vragenlijst staat aangegeven. 3 Om een indruk te geven van de samenhang tussen risicovol probleemgedrag zoals gemeten met de WAS-lijst en behaalde totaalscores is in bijlage 1 een aantal voorbeelden opgenomen van profielen van kinderen die verschillende scores hebben gehaald. 8 PI Research 2004

9 De validiteit van het SPRINT instrumentarium stijger is, een volharder of een experimenteerder. Een kind wordt een stijger genoemd als er bij de derde meting, ten opzichte van de tweede, sprake is van toenemende gedragsproblemen. Een kind dat stabiele gedragsproblemen laat zien wordt een volharder genoemd. Een experimenteerder is, ten slotte, een kind dat (in eerste instantie) gedragsproblemen laat zien, die na verloop van tijd afnemen en/of verdwijnen. 1.4 Methode van screening: enkele principes Inleiding Bij de screening van groepen op, bijvoorbeeld, de aanwezigheid van risicovol probleemgedrag, moet een aantal principes in het oog worden gehouden, om ervoor te zorgen dat uiteindelijk de juiste selectie plaats vindt. In deze paragraaf wordt kort ingegaan op een aantal van deze principes. Eerst wordt de vraag behandeld hoe selectief de opgezette screeningsprocedure moet zijn ( 1.3.2). Daarna wordt ingegaan op het soort fouten dat bij de screening moet worden vermeden ( 1.3.3). Tenslotte wordt stil gestaan bij de verschillende informatiebronnen die te gebruiken zijn en wat hiervan de consequenties zijn voor de selectie van kinderen ( 1.3.4) Eerste selectie en tweede selectie Bij selectie van personen is het gebruikelijk in verschillende fases te werk te gaan. De eerste fase bestaat meestal uit een grove schifting van personen die zeker niet voor nadere beoordeling in aanmerking komen en personen waarvoor dat wel geldt. Daarna volgt bij de laatstgenoemde groep een nader onderzoek dat preciezer van aard is om uiteindelijk tot de selectie van de juiste personen te komen. Dergelijke getrapte procedures komen we veel in het dagelijks leven tegen, bijvoorbeeld in sollicitatieprocedures. Ook in epidemiologisch onderzoek bij jeugdigen wordt veelvuldig gewerkt met een stapsgewijze selectie. Vaak gebruikt men daarbij de zogeheten twee fases-methode (Verhulst, Berden & Sanders-Woudstra, 1985). Daarbij wordt eerst een korte screeningslijst afgenomen om de groep probleemgevallen te selecteren. Deze wordt vervolgens uitgebreider onderzocht. Een dergelijke opzet komen we bijvoorbeeld tegen in de klassieke Isle of White Study van Rutter c.s. (Rutter, Tizard & Whitmore, 1970), alsook in de bekende Nederlandse studie van Verhulst (Verhulst e.a., 1985). Een voordeel van de twee-fases-methode is dat men op een efficiënte wijze omgaat met de inzet van onderzoekstijd. De eerste groep kan men redelijk snel selecteren. Als men pas bij deze groep uitgebreider diagnostisch onderzoek verricht, voorkomt men dat men dit onderzoek verricht bij veel jeugdigen die niet problematisch blijken 4 Deze paragraaf is een bewerking van een paragraaf uit Doreleijers e.a. (1999. p. 67 e.v.). PI Research

10 De opzet van het valideringsonderzoek te zijn. Dat spaart tijd. Bovendien valt men personen niet onnodig met het onderzoek lastig. Een dergelijke opzet past goed bij de selectie van kinderen die het risico lopen om antisociaal gedrag te ontwikkelen. Het is uit oogpunt van preventie van belang om te signaleren of de kinderen risico lopen om op een deviant ontwikkelingstraject terecht te komen. Gezien het grote aantal kinderen dat mee doet aan SPRINT (n=758), is het echter onmogelijk en ongewenst om op elk een uitgebreid onderzoek toe te passen. Het is onmogelijk, omdat dit gewoonweg teveel tijd en middelen zou kosten. Het is ongewenst, omdat men vele niet-problematische kinderen zou confronteren met een procedure die niet terzake is. Om die reden bouwt men de selectie van de kinderen het best stapsgewijs op door eerst een globale screening uit te voeren, om daarna bij gesignaleerde probleemgevallen een nader onderzoek te plegen Rekening houden met typen fouten De meetmethoden die in de psychologie, pedagogiek en de psychiatrie worden gebruikt, bezitten geen honderd procent nauwkeurigheid. Bij elke selectie maakt men daarom fouten. De bruikbaarheid van de twee-fase-methode staat of valt bij de trefzekerheid van de procedure: de bedoeling is dat men een zo zuiver mogelijke scheiding krijgt tussen kinderen zonder risico en kinderen met risico. Bovendien hoort men daarbij een expliciete uitspraak te doen over het type fout dat bij de eerste selectie zoveel mogelijk wenst te voorkomen en het type fout dat men nog kan toestaan. Tabel 1.2 laat zien welke combinaties van foute en goede selecties men heeft wanneer men de uitkomsten van de eerste fase van de procedure vergelijkt met de uitkomsten van een andere procedure die preciezer van aard is (zie ook Drenth & Sijtsma, 1990). Daarbij vergelijkt men bijvoorbeeld de uitkomsten van de eerste screening met de uitkomsten van uitgebreider onderzoek dat ten behoeve van een speciale studie op alle kinderen die gescreend zijn is toegepast. Tabel 1.2 Combinaties van negatieve en positieve selecties (fictief voorbeeld) Resultaat preciezere procedure Resultaat eerste screening niet problematisch problematisch niet problematisch 69 (D) 10 (C) problematisch 1 (B) 20 (A) In de figuur is uitgegaan van een onderzoeksgroep van 100 kinderen. In deze groep zijn nu de volgende combinaties denkbaar. 10 PI Research 2004

11 De validiteit van het SPRINT instrumentarium Voor een aantal kinderen is de uitslag van de eerste screening positief (er is sprake van risicovol probleemgedrag), en deze uitslag correspondeert met de preciezere procedure. Men spreekt hier van de sensitiviteit van de eerste screening. Deze eigenschap wordt uitgedrukt in het percentage juiste selecties: (A/(A+B))x100. Voor een aantal kinderen is de uitslag van de eerste screening negatief (er is geen sprake van risicovol probleemgedrag), en deze uitslag correspondeert eveneens met de preciezere procedure. Men spreekt hier van de specificiteit van de eerste screening. Deze eigenschap wordt uitgedrukt in het percentage juiste uitsluitingen: (D/(C+D))x100. Voor een aantal kinderen is de uitslag van de eerste screening negatief (er is geen sprake van risicovol gedrag), en deze uitslag correspondeert niet met de preciezere procedure. Men spreekt hier van missers of foute negatieven. Dit wordt uitgedrukt in het percentage onjuiste uitsluitingen: (B/(A+B))x100. Voor een aantal kinderen is de uitslag van de eerste screening positief (er is sprake van risicovol gedrag), en deze uitslag correspondeert ook niet met de preciezere procedure. Men spreekt hier van foute treffers of foute positieven. Dit wordt uitgedrukt in het percentage onjuiste selecties (C/(C+D))x100. Vanzelfsprekend wordt bij de constructie van de screening getracht de sensitiviteit en de specificiteit zo hoog mogelijk te maken. Het aantal missers dient normaal gesproken zo laag mogelijk gehouden te worden. Immers, wordt een kind bij de screening eenmaal uitgesloten van een nader onderzoek, dan is dit een gemiste kans. Daar staat tegenover dat het in dit soort gevallen minder ernstig is als er sprake is van een foute treffer. Het nadere onderzoek bij de geselecteerde jeugdige kan in tweede instantie alsnog aantonen dat er geen sprake is van risicovol gedrag. Hoewel uit redenen van efficiëntie en cliënt-belasting de foute treffers voorkomen moeten worden, is dit type fout minder erg dan de missers. Met andere woorden: men accepteert een zekere mate van overselectie en men probeert tegelijkertijd onterechte uitsluitingen te voorkomen. Bij de hier opgezette screeningsprocedure is eveneens een zekere mate van overselectie geaccepteerd. Tegelijk is getracht de mate waarin dit gebeurt binnen de perken te houden. Daarmee moet voorkomen worden dat te vaak onnodig nader onderzoek wordt verricht. PI Research

12 De opzet van het valideringsonderzoek 1.5 Opzet van het rapport In hoofdstuk 2 wordt de opzet van het onderzoek besproken. De onderzoeksvragen worden uiteen gezet, evenals de criteria waaraan deze zullen worden getoetst. Ook worden in dit hoofdstuk de gebruikte meetinstrumenten en de onderzoeksprocedure nader toegelicht. Hoofdstuk 3 bevat de resultaten van het onderzoek. De validiteit van de globale screening en de specifieke screening komen in dit hoofdstuk aan de orde. Tevens wordt er exploratief onderzoek verricht naar de relatie tussen veiligheidsbeleving van leerkrachten en het aantal risicovolle kinderen dat voor SPRINT geselecteerd is. Hoofdstuk 4 bevat de conclusie en discussie. 12 PI Research 2004

13 2 De opzet van het valideringsonderzoek 2.1 Inleiding In dit hoofdstuk wordt beschreven hoe het onderzoek naar de validiteit van het SPRINTscreeningsinstrumentarium is opgezet. Het doel van dit onderzoek, alsmede de vragen die het moet beantwoorden zijn in paragraaf 2.2 beschreven. In paragraaf 2.3 volgt een korte beschrijving van de instrumenten die zijn gebruikt voor het verzamelen van de screeningsinformatie en van andere gegevens, die nodig zijn voor de validering. Daarna volgt een toelichting op de analyses die zijn uitgevoerd op de data ( 2.4). De laatste paragraaf gaat in op enkele procedurele aspecten van het onderzoek ( 2.5). 2.2 Doel- en vraagstelling van het onderzoek Het onderzoek, dat parallel loopt aan de ontwikkeling en implementatie van de SPRINTmethode in Amsterdam Oost/Watergraafsmeer, is er onder meer op gericht de screeningsprocedure te evalueren. Het doel van de evaluatie is zicht te krijgen op de validiteit van de instrumenten die daarbij worden ingezet. Met validiteit wordt bedoeld: de mate waarin de gebruikte instrumenten datgene doen waarvoor zij zijn ontworpen. En dat is de selectie van kinderen die baat kunnen vinden bij het (preventieve) aanbod van SPRINT de selectie, dus, van de beoogde doelgroep. 5 Het onderzoek dient een antwoord te geven op de vraag of met behulp van de screeningsinstrumenten met een zo groot mogelijke trefzekerheid kinderen worden geïdentificeerd die het risico lopen antisociaal gedrag te ontwikkelen. 6 De validiteitsvraag wordt verder gespecificeerd met behulp van de deelvragen: Vertonen de kinderen die op enig moment in de screeningsprocedure zijn geïdentificeerd als risicovol, na verloop van tijd nog steeds (ernstige) signalen van antisociaal gedrag? Vertonen de kinderen die op enig moment in de screeningsprocedure zijn geïdentificeerd als niet risicovol, na verloop van tijd nog steeds geen (ernstige) signalen van antisociaal gedrag? 5 SPRINT omvat tevens een aanbod voor ouders, maar de screeningsinstrumenten die thans worden geëvalueerd zijn gericht op de kinderen. 6 Van risico wordt gesproken als er over een kind duidelijke signalen zijn verkregen (m.b.t. factoren als gedrag, gezins- en opvoedingssituatie) die in verband worden gebracht met een mogelijke ontwikkeling van antisociaal gedrag. PI Research

14 Analyses en resultaten 2.3 De onderzoeksinstrumenten Behalve de screeningsinstrumenten, die in paragraaf worden besproken, zijn voor de validering nog enkele andere meetinstrumenten in het onderzoek gebruikt (zie 2.3.2) De screeningsinstrumenten De Lijst voor de Globale Screening De Lijst voor de Globale Screening (LGS) is een korte vragenlijst, die door de leerkracht voor alle kinderen (in de groepen 4 t/m 7) wordt ingevuld. 7 De LGS bestaat uit een aantal globale categorieën die gebaseerd zijn op de deviante ontwikkelingstrajecten van Loeber e.a. (1998): openlijk probleemgedrag, heimelijk probleemgedrag, ongehoorzaam en/of opstandig gedrag. Op een driepuntsschaal kan worden aangegeven in hoeverre de genoemde categorie op een kind van toepassing is. In de LGS wordt verder gevraagd naar de aanwezigheid van risicofactoren in de omgeving van een kind, die kunnen bijdragen aan de ontwikkeling van antisociaal gedrag. Ten slotte wordt gevraagd naar de leesprestaties van de kinderen. 8 Uit onderzoek is bekend dat lees- en leerproblemen een risicofactor vormen voor de ontwikkeling van antisociaal gedrag (Maguin e.a., 1993; Sanson e.a., 1996). Bij leesprestaties wordt onderscheid gemaakt tussen begrijpend lezen en technisch lezen. De LGS vraagt per kind aan te geven of het op deze twee aspecten van lezen een d of een e op de Cito-toets heeft gehaald. 9 Het invullen van de LGS neemt, per groep, ongeveer tien minuten in beslag. De vragenlijst Waargenomen AntiSociaal gedrag De vragenlijst Waargenomen AntiSociaal gedrag (WAS-lijst) is een bewerking van een instrument dat Loeber e.a. ontwikkelden voor de Pittsburgh Youth Study (Loeber, Loeber-Stouthamer, Van Kammen & Farrington, 1987). De vragenlijst wordt ingevuld door de leerkracht van het kind en wordt ingezet in het kader van de specifieke screening. De items van de WAS-lijst zijn gebaseerd op de deviante ontwikkelingstrajecten van Loeber e.a. (1998). De WAS-lijst omvat 41 vragen over het al dan niet voorkomen van diverse vormen van openlijk en heimelijk probleemgedrag en over problemen met 7 Uiteraard gebeurt dat alleen indien de ouders van de betrokken kinderen toestemming hebben gegeven voor deelname aan SPRINT (zie 2.5). 8 De vragen over leesprestaties zijn geformuleerd in overleg met Drs. J. Geelhoed. De heer Geelhoed is deskundige op het gebied van de lees- en leerstoornissen en werkzaam bij het Pedologisch Instituut te Duivendrecht. 9 Deze scores betekenen dat de prestaties op dit gebied (zeer) onvoldoende zijn. Overigens werkt een aantal scholen met AVI-scores in plaats van CITO-scores. Met hulp van de heer Geelhoed zijn de scores omgerekend naar CITOscores. 14 PI Research 2004

15 De validiteit van het SPRINT instrumentarium autoriteiten. Als een kind antisociaal gedrag vertoont, wordt gevraagd hoe vaak en in welke mate het gedrag voorkomt. Een aantal items gaat over monitorvaardigheden van ouders. Uit onderzoek blijkt dat afwezigheid van monitorvaardigheden van ouders een risico vormt voor de ontwikkeling van probleemgedrag bij kinderen (Lipsey & Derzon, 1998; Loeber, 1998). Daarnaast is het instrument voor SPRINT II aangevuld met een aantal items uit de Signaleringslijst (Orobio de Castro, 1999). Tenslotte is een aantal demografische variabelen in de WAS-lijst opgenomen. Het invullen van één lijst neemt ongeveer vijf à tien minuten in beslag Overige meetinstrumenten WASkort In verband met het evaluatieonderzoek is gebruik gemaakt van een ingekorte versie van de WAS-lijst, de WASkort. De WASkort wordt ingevuld door de leerkracht en wordt gebruikt voor een follow-up meting bij kinderen voor wie in een eerder stadium de (uitgebreide) WAS is ingevuld. Het invullen neemt ongeveer drie minuten in beslag. De WASkort is samengesteld om de leerkrachten tegemoet te komen in de extra werkbelasting die het onderzoek met zich meebracht (zie ook 2.5). De WAS-lijst is ingekort tot twaalf items. Uit de analyse blijkt dat de scores op de WASkort zeer hoog correleren met de scores op de oorspronkelijke uitgebreide lange versie. 10 Dit betekent dat de ingekorte vragenlijst hetzelfde meet als de vragenlijst waarvan hij is afgeleid. Kinderen die hoog scoren op de WASkort, deden dat (vrijwel zonder uitzondering) ook op de WAS-lijst. Interview Het interview wordt afzonderlijk afgenomen bij leerkrachten en IB ers en heeft als doel om na te gaan of kinderen die hebben deelgenomen aan de globale en specifieke screening op een later tijdstip (follow-up) al dan niet antisociaal gedrag laten zien. In het interview worden leerkrachten en IB ers gevraagd kinderen te noemen die ten tijde van de follow-up risicovol probleemgedrag laten zien. Verder wordt navraag gedaan naar kinderen die, sinds de start van SPRINT, in verband met gedragsproblemen zijn doorverwezen naar het speciaal basisonderwijs en/of naar jeugdzorginstellingen. Het interview is afgenomen door een onderzoeker van PI Research en neemt ongeveer tien minuten in beslag. 10 De gevonden correlatiecoëfficiënt heeft een waarde van.96. PI Research

16 Analyses en resultaten Vragenlijst School & Veiligheid De vragenlijst School & Veiligheid is ontwikkeld door het School Advies Centrum (SAC) in Utrecht. Met deze vragenlijst, die wordt ingevuld door de leerkracht, wordt de persoonlijke veiligheidsbeleving en het oordeel van de leerkracht over de veiligheid van leerlingen gemeten (PMG Management, personeel en organisatie, 2001). In de vragenlijst komen onderwerpen als fysiek, psychisch en verbaal geweld aan de orde, maar ook vandalisme en racistisch(e) gedragingen of taalgebruik. Ook dit instrument is ingezet ten behoeve van het valideringsonderzoek. Invullen van deze vragenlijst neemt ongeveer tien minuten in beslag. 2.4 Analyse van de gegevens De toetsing van screeningsresultaten aan gedragscriteria Om de onderzoeksvragen (i.c. de deelvragen) te beantwoorden, zijn één of meer criteria vereist van antisociaal gedrag op een verder in de tijd gelegen moment. Hieraan dienen de screeningsresultaten te worden gerelateerd. Wanneer een relatie tussen de screeningsresultaten en de gedragscriteria wordt aangetoond, zegt dat iets over het voorspellende of discriminerende vermogen van het gebruikte instrumentarium. De screeningsgegevens die in 2001 en 2002 zijn verzameld, worden in verband gebracht met informatie uit het interview en de WASkort over probleemgedrag die in 2003 zijn afgenomen bij leerkrachten en IB ers. De twee laatstgenoemde instrumenten leveren informatie op over de volgende gedragscriteria: 1. de aanwezigheid van (ernstig) antisociaal gedrag bij kinderen, volgens de IB er (interview juni 2003) 2. de aanwezigheid van (ernstig) antisociaal gedrag bij kinderen, volgens de nieuwe leerkracht (interview juni 2003) de aanwezigheid van (ernstig) antisociaal gedrag bij kinderen, volgens de nieuwe leerkracht (WASkort juni 2003) 4. het vóórkomen van verwijzing van kinderen naar scholen voor speciaal basisonderwijs (i.v.m. gedragsproblemen), sinds de start van de specifieke screening in het vóórkomen van contacten van kinderen met reguliere jeugdzorg (i.v.m. gedragsproblemen), sinds de start van de specifieke screening in De gegevens van de globale screening en de specifieke screening zijn verzameld in het leerjaar en , dus door andere leerkrachten dan de hier bedoelde. 16 PI Research 2004

17 De validiteit van het SPRINT instrumentarium 6. het vóórkomen van (geregistreerde) politiecontacten van kinderen, sinds de start van de specifieke screening in Met betrekking tot de eerste twee selectiemomenten zijn vooraf verwachtingen geformuleerd over de verschillen die tussen risicogevallen en niet-risicogevallen zullen optreden op de onderscheiden criteria. 12 Tabel 2.1 geeft een overzicht van deze verwachtingen. Zo wordt bijvoorbeeld verwacht dat IB ers tijdens het interview significant vaker kinderen als risicovol zullen benoemen die bij de globale screening reeds als potentieel risicovol uit de bus kwamen. De validiteit van het screeningsinstrumentarium is afhankelijk van onder meer de mate waarin deze en dergelijke verwachtingen door het onderzoek worden bevestigd. Tabel 2.1 Gedragscriteria Verwachte verschillen tussen onderscheiden categorieën met betrekking tot een aantal gedragscriteria. Verwachte verschillen tussen categorieën kinderen? 1. antisociaal gedrag volgens IB er (interview) niet-potentieel risicovol vs. potentieel risicovol ja experimenteerders vs. volharders & stijgers ja 2. antisociaal gedrag volgens leerkracht (interview) ja ja 3. antisociaal gedrag (WASkort) - ja 4. verwijzing naar SBO (i.v.m. gedragsproblemen; interview) ja ja 5. contacten met reguliere jeugdzorg (i.v.m. gedragsproblemen; interview) ja ja 6. politiecontacten (geregistreerde) ja ja Een andere indicatie voor de validiteit wordt verkregen door de samenhang te onderzoeken tussen de drie verschillende afnamen met de WAS-lijst. Verwacht wordt dat er een significant verband wordt gevonden tussen de eerste, de tweede en de derde afname Verschillen tussen deelnemers en niet-deelnemers aan de screening Bij wijze van controle wordt onderzocht of onder kinderen, wier ouders géén toestemming hebben verleend aan deelname aan de SPRINT screening, risicogevallen evenredig zijn vertegenwoordigd als in de categorie kinderen die wel aan de SPRINT-screening hebben deelgenomen. Vooralsnog wordt verwacht dat het al dan niet verlenen van toestemming 12 Zie notitie Evaluatieonderzoek SPRINT II (PI Research, november 2002). PI Research

18 Analyses en resultaten niet systematisch gerelateerd is aan de signalering van risico s op de ontwikkeling van antisociaal gedrag. Bij deze analyse zullen zoveel mogelijk de eerder genoemde criteria worden gehanteerd, met dit verschil dat omwille van de anonimiteit van de betrokken kinderen zeer strenge normen zijn aangelegd. De onderzoekers hebben de gegevens zodanig verzameld dat de identiteit van deze kinderen alleen bekend is bij de IB ers en de leerkrachten. De verwachtingen die in het onderzoek met betrekking tot deze categorie worden getoetst zijn vermeld in tabel 2.2. Tabel 2.2 Deelnemers en niet-deelnemers: verwachte overeenkomsten tussen onderscheiden categorieën met betrekking tot een aantal gedragscriteria. Gedragscriteria 1. antisociaal gedrag volgens IB er (interview) 2. antisociaal gedrag volgens leerkracht (interview) Verwachte overeenkomsten tussen categorieën kinderen? niet-deelnemers vs. deelnemers globale screening ja ja niet-deelnemers vs. deelnemers specifieke screening 3. antisociaal gedrag (WASkort) ja 4. verwijzing naar SBO (i.v.m. gedragsproblemen; interview)) 5. contacten met reguliere jeugdzorg (i.v.m. gedragsproblemen; interview)) 6. politiecontacten (geregistreerde) ja ja ja Veiligheidsbeleving: een exploratieve analyse Is er een verband tussen de persoonlijke veiligheidsbeleving van leerkrachten en de mate waarin antisociaal gedrag voorkomt in de klas of op school? In een exploratief onderdeel van het valideringsonderzoek is getracht hierover meer inzicht te verkrijgen. Een valide screeningsinstrumentarium selecteert vooral op basis van kenmerken en eigenschappen van het object van beoordeling (het kind) en behoort zo min mogelijk gevoelig te zijn voor de subjectiviteit van de beoordelaar (de leerkracht). Bij een onverhoopte gevoeligheid voor subjectieve factoren wordt op individueel niveau waarschijnlijk een verband aangetroffen tussen gevoelens van onveiligheid en de mate waarin risicogevallen zijn geïdentificeerd. Zich onveilig voelende leerkrachten zullen verhoudingsgewijs sneller of eerder geneigd zijn gedrag als antisociaal te betitelen. Een dergelijke bevinding zou afbreuk doen aan de validiteit van de screeningsinstrumenten. Omgekeerd wordt bij consensus over de mate van veiligheid op een school ( intersubjectiviteit ) verwacht dat op scholen waar relatief veel risicogevallen worden gesignaleerd, de persoonlijke veiligheidsbeleving van leerkrachten en hun inschatting van de veiligheid van leerlingen 18 PI Research 2004

19 De validiteit van het SPRINT instrumentarium ongunstiger is. Indien een dergelijk verband wordt aangetoond, dan wordt dat als ondersteuning beschouwd voor de validiteit van het instrumentarium. 2.5 De onderzoeksprocedure Toestemmingsbeleid Omdat SPRINT bij de start van het project geen onderdeel uitmaakt van het eigen pedagogisch beleid van de betrokken basisscholen, is ouders gevraagd of zij bezwaar hadden tegen deelname van hun kind aan het project. Op de zes scholen die aan het project deelnemen zijn brieven gestuurd aan ouders met informatie over SPRINT en een verzoek tot deelname. Ouders konden op een bijgevoegde antwoordstrook aangeven als zij niet wilden dat hun kind aan SPRINT meedeed. Van de totale groep kinderen kreeg ongeveer 4% van de kinderen geen toestemming. De dataverzamelingsrondes Nadat toestemming was verkregen voor deelname aan SPRINT, ging in mei 2001 de globale screening van start. 13 Dit betekende dat de leerkrachten in de groepen 3 tot en met 6 een globale screeningslijst invulden voor alle kinderen in hun groep (n=758). 14 De screeningsprocedure is begeleid door een onderzoeker van PI Research. Op de verschillende scholen is een contactpersoon aangesteld, meestal de IB er, die de taak had om het SPRINT project op school te coördineren. Een groep van 170 potentieel risicovolle kinderen, geselecteerd op basis van de globale screening, is een jaar lang (ongeveer) gevolgd, met behulp van de WAS-lijst. De WAS-lijst is voor ieder kind drie maal door de leerkracht ingevuld, steeds met een tussenperiode van ongeveer een half jaar. De eerste afname met de WAS-lijst heeft plaatsgevonden in de maanden mei en juni De vragenlijsten, vergezeld van een begeleidende brief voor de leerkracht, zijn uitgezet door de onderzoeker van PI Research en ingezameld door de IB er en de onderzoeker gezamenlijk. Voor de tweede en de derde meting met de WAS-lijst is dezelfde procedure gevolgd. De tweede meting heeft tussen december 2001 en februari 2002 plaatsgevonden, de derde tussen juni en september Bij alle drie de metingen viel op dat leerkrachten het belastend vonden om de vragenlijsten in te vullen. Het invullen vergde tamelijk veel tijd, zeker als er voor meerdere kinderen lijsten moesten worden ingevuld. Omdat het onderzoek bij een aantal leerkrachten geen hoge prioriteit had, heeft de dataverzameling enige 13 Op basisschool de Kraanvogel is, om organisatorische redenen, besloten na de zomervakantie van 2001 van start te gaan met de screeningsprocedure. 14 De eerste meting ging vóór de zomervakantie van 2001 van start in de groepen 3 tot en met 6. De kinderen stroomden na de zomer door naar de groepen 4 tot en met 7. PI Research

20 Analyses en resultaten vertraging opgelopen. De dataverzamelingsrondes werden uitgerekt, waardoor er minder tijd tussen de metingen (vier à vijf maanden) lag dan de oorspronkelijk bedoelde zes maanden. De interviews zijn in de maanden mei en juni van 2003 afgenomen. Per school is een IB er door een onderzoeker geïnterviewd en hebben in totaal 43 leerkrachten hun medewerking aan het interview verleend. Second opinion Op een aantal scholen bleek dat de IB ers bij sommige kinderen risico s signaleerden op basis van extra informatie, waarover zij beschikten. Om een zo volledig mogelijk beeld te verkrijgen aan de hand van de globale screening, heeft de IB er voor dit groepje kinderen eveneens WAS-lijsten ingevuld. Deze informatie is te beschouwen als een second opnion. Een second opnion van de IB er werd ook gevraagd wanneer door de leerkracht helemaal geen of juist veel (meer dan tien kinderen) werden geselecteerd in een groep. De extra informatieronde is bedoeld om na te gaan of de subjectieve beleving van de leerkracht de selectie van kinderen onevenredig beïnvloed. Bij beoordelingsverschillen tussen de IB er en de leerkracht hebben deze functionarissen getracht in gezamenlijk overleg tot een consensusscore te komen. Wanneer dit niet lukte, is de extra informatie van de IB er door de onderzoekers als doorslaggevend beschouwd. Bij het verwerken van de verzamelde gegevens in de computer, hebben alle deelnemende kinderen een code gekregen. Deze codes zijn ingevoerd om de anonimiteit van de kinderen te waarborgen. Terugkoppeling van informatie over de metingen Om de scholen en andere SPRINT partners op de hoogte te houden van de ontwikkelingen rondom SPRINT, is gebruik gemaakt van diverse vormen van schriftelijke terugkoppeling. Er zijn twee tussenrapporten verschenen, het eerste in januari 2002 en het tweede in november Daarnaast is voor de zomervakantie van 2002 en begin 2003 een nieuwsbrief uitgebracht. 20 PI Research 2004

21 3 Analyses en resultaten 3.1 De onderzoeksgroep Het SPRINTproject is van start gegaan met een groep van 758 kinderen. De eerste selectie, op basis van de globale screening, leverde een potentiële risicogroep op van 170 kinderen; 130 jongens (77%) en 40 meisjes (23%). Van deze kinderen zaten bij aanvang van SPRINT 36 kinderen in groep 4 (21%), 44 kinderen in groep 5 (26%), 48 in groep 6 (28%) en 42 in groep 7 (25%) 15. Hun leeftijd varieerde in 2001 van zeven tot en met twaalf jaar. De etniciteit van de 170 potentiële risicokinderen is divers (zie figuur 3.1). Marokkaanse kinderen vormden de grootste groep (46%), gevolgd door de groep Surinaamse kinderen (16%) 16. De onderlinge verdeling van deze etnische groeperingen rechtvaardigt geen conclusies over het over- of ondervertegenwoordigd zijn van bepaalde etnische groepen. Het gaat namelijk om een kleine groep, waardoor de invloed van het toeval vrij groot kan zijn. Bovendien wijkt de verdeling niet in grote mate af van de wijze waarop de verschillende etnische groepen, in het leeftijdssegment van 7 tot en met 13 jaar, op de deelnemende scholen vertegenwoordigd zijn. 15 SBO het Spectrum hanteert een andere indeling van groepen dan de reguliere basisscholen. In overleg met de school is een koppeling gemaakt tussen de groepen A tot en met E van het Spectrum en de groepen 4 tot en met 7 van de reguliere basisscholen. 16 Voor de afkomst van de kinderen is de definitie van het Amsterdamse bureau voor Onderzoek en Statistiek (O&S) gebruikt. Een kind is allochtoon wanneer hijzelf of een van zijn ouders in het buitenland is geboren. Als beide ouders in verschillende landen in het buitenland geboren zijn, dan wordt het geboorteland van de moeder gekozen. O & S onderscheidt acht bevolkingsgroepen: Autochtone Nederlanders, Surinamers, Antillianen, Turken, Marokkanen, Zuid-Europeanen, Overige geïndustrialiseerde landen en Overige niet-geïndustrialiseerde landen. PI Research

22 Analyses en resultaten Figuur 3.1 De etnische achtergrond van de kinderen Uit informatie van leerkrachten (in 2001) over risicosignalen in de omgeving van het kind, bleek dat gemiddeld 32 % van de kinderen (vermoedelijk) te maken had met één of meer risicosignalen in zijn directe omgeving, zoals probleemgedrag bij zusjes of broertjes, economische deprivatie of psychosociale problematiek in het gezin van herkomst. Volgens de inschatting van de leerkracht (in 2001) was er bij 62% van de kinderen geen sprake van risicosignalen. Tenslotte was hier voor 6% van de kinderen geen informatie over beschikbaar. In dit hoofdstuk worden de screeningsresultaten van de onderzoeksgroep getoetst aan de criteria uit hoofdstuk 2 ( 2.2.2) en wordt gekeken of aan de vooraf geformuleerde verwachtingen wordt voldaan. 3.2 Criterium één: uitkomsten van de globale screening en de specifieke screening worden getoetst aan de interviewbeoordeling van de IB er De validiteit van de globale screening en de specifieke screening wordt allereerst getoetst aan het eerste criterium, de uitkomsten van het interview globale beoordeling (hieraan zal verder worden gerefereerd als het interview ) dat met de IB er is gehouden in de maanden mei en juni Op basis van het eerste criterium wordt verwacht dat kinderen die hoog hebben gescoord op de globale screening in 2001 (de potentiële risicokinderen), tijdens het interview met de IB er significant vaker als problematisch worden genoemd dan kinderen die laag hebben gescoord op de globale screening. Tevens wordt verwacht dat de hoogscoorders op de specifieke screening (de risicokinderen), significant vaker als problematisch worden aangeduid tijdens het interview met de IB er dan de laagscoorders op de specifieke screening. Deze verwachtingen worden getoetst aan de hand van de Chi-kwadraat toets. Met behulp hiervan kan worden berekend of er een significant verband bestaat tussen de screeningsresultaten en de interviewbeoordeling. Door de screeningsresultaten te koppelen aan de observaties van professionals die de kinderen dagelijks meemaken (in dit geval de IB er), kunnen ook de sensitiviteit en de specificiteit voor zowel de globale als de specifieke screening worden berekend, alsmede de foute positieven en de foute negatieven (zie 1.3.3) 17. In tabel 3.2 staan de sensitiviteit en de specificiteit van de globale screening weergegeven, gebaseerd op het aantal kinderen dat tijdens het interview met de 17 Voor het berekenen van de sensitiviteit en de specificiteit is uitgegaan van het oordeel van deskundigen: IB ers en leerkrachten. 22 PI Research 2004

23 De validiteit van het SPRINT instrumentarium IB er is genoemd als problematisch. Ook de aantallen kinderen staan in de tabel weergegeven. Tabel 3.1 Sensitiviteit en specificiteit van de globale screening, vergeleken met de uitkomsten van het interview Interview IB er in 2003 Globale screening in 2001 genoemd als problematisch niet genoemd als problematisch potentieel risicovol 73% (n=57) 14% (n=90) niet potentieel risicovol 27% (n=21) 86% (n=539) Totaal 100% (n=78) 100% (629) De Chi-kwadraat toets levert een significant verband op (p=.000) 18 tussen het aantal hoogscoorders op de globale screening (potentiële risicokinderen) en het aantal kinderen dat door de IB er problematisch wordt genoemd 19. Op basis van het aantal kinderen dat de IB er als risicovol heeft aangeduid (n=57), wordt een sensitiviteit berekend van 73%. Dit betekent dat bijna driekwart van de kinderen, die door de IB er problematisch wordt genoemd, een hoge score heeft behaald op de globale screening in Tevens is er sprake van 27% foute negatieven. Iets meer dan een kwart van de kinderen die tijdens het interview met de IB er als problematisch is aangemerkt, heeft een lage score behaald op de globale screening en is in 2001 niet als potentieel risicovol geïdentificeerd. De specificiteit van de globale screening is 86%. Dit betekent dat bijna negen tiende van de kinderen, die tijdens het interview met de IB er niet is genoemd als problematisch, ook laag heeft gescoord op de globale screening in Tenslotte is er sprake van een percentage van 14 foute positieven. Hiermee wordt bedoeld dat 14% van de kinderen die tijdens het interview met de IB er niet is genoemd, hoog heeft gescoord op basis van de globale screening in In tabel 3.2 staan de sensitiviteit en de specificiteit van de specifieke screening weergegeven, en ook de aantallen kinderen staan vermeld. Tabel 3.2 Sensitiviteit en specificiteit van de specifieke screening, vergeleken met de uitkomsten van het interview met de IB er Interview IB er in χ 2 genoemd als problematisch niet genoemd als problematisch = , df=1 19 Er is gebruik gemaakt van de De Bonferroni-Holm correctie om te corrigeren voor toevalstreffers; risicovol 77% (n=44) 32% (n=29) Specifieke screening in 2001 niet risicovol 23% (n=13) 68% (n=61) PI Research totaal 100% (n=57) 100% (90)

24 Analyses en resultaten Met behulp van de Chi-kwadraat toets wordt een significante samenhang gevonden (p=.000) 20 tussen de screeningsresultaten en de uitkomsten van het interview. Er bestaat dus een significant positief verband tussen de score op de specifieke screening (de risicokinderen) en de beoordeling van problematisch gedrag. De sensitiviteit van de specifieke screening wordt berekend op 77%. Het percentage foute negatieven is 23. De specificiteit van de specifieke screening komt op 68%. Tenslotte is er sprake van 32% foute positieven. 3.3 Criterium twee: uitkomsten van de globale en de specifieke screening worden getoetst aan de uitkomsten van het interview met de leerkracht. Het tweede criterium houdt in dat de globale en specifieke screeningsresultaten worden getoetst aan de uitkomsten van het interview globale beoordeling dat in de maanden mei en juni 2003 met de leerkracht is gehouden. Verwacht wordt dat kinderen die in 2001 hoog scoorden op de globale screening (de potentiële risicokinderen) tijdens het interview met de leerkracht significant vaker als problematisch worden genoemd dan kinderen die in 2001 laag scoorden op de globale screening. Dezelfde verwachting geldt voor de specifieke screening: kinderen die hoog hebben gescoord op de specifieke screening (de risicokinderen) zullen tijdens het interview met de leerkracht significant vaker worden aangemerkt als problematisch dan laagscoorders. De verwachtingen worden getoetst met behulp van een Chi-kwadraat toets. Daaropvolgend worden de sensitiviteit en de specificiteit berekend, alsmede de foute positieven en de foute negatieven (zie 1.3). In tabel 3.3 staan de sensitiviteit en de specificiteit van de globale screening weergegeven. Ook de aantallen kinderen staan vermeld. Tabel 3.3 Sensitiviteit en specificiteit van de globale screening, vergeleken met de uitkomsten van het interview met de leerkracht Interview leerkracht in 2003 Globale screening in 2001 niet genoemd als genoemd als problematisch problematisch potentieel risicovol 75% (n=76) 11% (n=69) niet potentieel risicovol 25% (n=26) 89% (n=537) 20 χ 2 = 28.86, df=1 24 PI Research 2004

25 De validiteit van het SPRINT instrumentarium totaal 100% (n=102) 100% (n=606) Bij het uitvoeren van de Chi-kwadraat toets wordt een significant positief verband gevonden (p=.000) 21 tussen de uitkomsten van de globale screening en het interview. Dit betekent dat er een significante relatie bestaat tussen de score op de globale screening in 2001, en de beoordeling van probleemgedrag tijdens het interview met de leerkracht in De sensitiviteit van de globale screening is 75%. Driekwart van de kinderen die hoog heeft gescoord op de globale lijst in 2001 wordt dus problematisch genoemd door de huidige leerkracht. Het percentage foute negatieven is dus 25. Een kwart van de laagscoorders op de globale lijst is door de leerkracht als problematisch aangeduid. De specificiteit van de globale screening is 89%, wat inhoudt dat nagenoeg negen op de tien laagscoorders op de globale lijst (in 2001) tijdens het interview met de IB er niet als problematisch is genoemd. Het percentage foute positieven komt, tenslotte, op 11. Eén op de tien kinderen heeft op de globale screening hoog gescoord maar wordt door de leerkracht niet aangeduid als problematisch of risicovol. In tabel 3.4 staan de sensitiviteit en de specificiteit van de specifieke screening weergegeven. Ook de aantallen kinderen staan daarin vermeld. Tabel 3.4 Sensitiviteit en specificiteit van de specifieke screening, vergeleken met de uitkomsten van het interview met de leerkracht Interview leerkracht in 2003 Specifieke screening in 2002 genoemd als problematisch niet genoemd als problematisch risicovol 78% (n=59) 29% (n=20) niet risicovol 22% (n=17) 71% (n=49) totaal 100% (n=76) 100% (n=69) Er wordt op basis van de Chi-kwadraat toets een significante samenhang gevonden (p=.000) 22 tussen de resultaten van de specifieke screening en de uitkomsten van het interview met de leerkracht. Dit betekent dat er een significante samenhang bestaat tussen de scores van de groep risicokinderen op de specifieke screening en de uitkomsten van het interview met de leerkracht. 21 χ 2 = 216, df=1 22 χ 2 = 34.5, df=1 PI Research