KAIRO Evaluatieonderzoek: Eindrapport

Transcriptie

1 KAIRO Evaluatieonderzoek: Eindrapport Gert Kroes Huub Pijnenburg

2

3 KAIRO Evaluatieonderzoek: Eindrapport

4 Het KAIRO project is mede mogelijk gemaakt door subsidie van: ESF-Equal, het ministerie van Sociale Zaken en Werkgelegenheid en de Provincie Gelderland. Kennisontwikkeling Autismebehandeling en Integratie Regulier Onderwijs Praktikon centrum voor onderzoek in jeugdzorg en onderwijs p/a Radboud Universiteit / ACSW Postbus 9104 tel: HE Nijmegen fax: [email protected] Praktikon, Nijmegen / Dr. Leo Kannerhuis, Doorwerth / De Steiger, Dordrecht / RijnIJssel, Arnhem / Da Vinci, Dordrecht Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm of op welke andere wijze dan ook, en evenmin in een retrieval systeem worden opgeslagen zonder de voorafgaande schriftelijke toestemming van Praktikon te Nijmegen. No part of this book/publication may be reproduced in any form, by print, photoprint, microfilm or any other means without written permission from the publisher.

5 Inhoud 1. Inleiding 7 2. Opzet evaluatieonderzoek 9 3. Resultaten TOP-scan Resultaten doelgroeptoets 18 5 Resultaten analyse randvoorwaarden project 21 6 Resultaten evaluatie leercoaches/persoonlijk begeleiders Resultaten levensloopmonitor 27 8 Cliëntwaardering jongeren en ouders bij afsluiting 35 9 Afvallers Samenvatting en Conclusie 39 Literatuur 45 Appendix. Ontwikkeling en evaluatie trechterdiagnostiek 47

6

7 7 1. Inleiding Jongeren met een Autisme Spectrum Stoornis (ASS) die een middelbare beroepsopleiding op een roc volgen, hebben extra ondersteuning en begeleiding nodig. Een roc-opleiding vraagt bijvoorbeeld om sociale vaardigheden, het kunnen plannen en samenwerken. Deze vaardigheden zijn voor jongeren met ASS niet altijd even vanzelfsprekend. Om de opleiding op het roc te laten slagen is een goede voorbereiding en begeleiding van essentieel belang. Vanuit die gedachte is KAIRO ontwikkeld. In KAIRO werken centra voor autisme samen met roc-opleidingen vanuit hun eigen deskundigheid samen om door middel van het Onderwijs Behandel Programma de jongere met ASS bij diens opleidingstraject te begeleiden. KAIRO staat voor Kennisontwikkeling Autismebehandeling en Integratie Regulier Onderwijs (Van Dijk, 2005). Hoofddoel van het project is het ontwikkelen van een nieuwe, geïntegreerde zorg- en onderwijsmodule die recht doet aan de specifieke mogelijkheden/beperkingen van jongeren met ASS en hun naasten én actief bijdraagt aan de uitbouw dan wel het behoud van hun zelfredzaamheid. Het project wordt uitgevoerd door twee zorginstellingen, te weten het Dr. Leo Kannerhuis in Doorwerth en De Steiger in Dordrecht, en twee onderwijsinstellingen, het roc Rijn IJssel in Arnhem en het Da Vinci College in Dordrecht. In het project heeft een tweetal pilots plaatsgevonden. In deze pilots zijn 33 jongeren met ASS uit de regio s Arnhem (24) en Dordrecht (9) gestart met het KAIRO programma, dat bestaat uit een voorbereidend introductieprogramma en Onderwijs/behandelprogramma (OBP). Beide onderdelen van KAIRO zijn nieuw ontwikkeld met het doel jongeren met ASS de gelegenheid te bieden een startkwalificatie in het regulier onderwijs te behalen. Het introductieprogramma is gericht op het aanleren van specifieke vaardigheden die nodig zijn voor het volgen van een roc-opleiding. De pilot hiervan liep van medio maart tot medio juli Naast de training aan de jongeren zijn er ook een cursussen voor ouders en leerkrachten, om hen beter inzicht te geven en te leren omgaan met de mogelijkheden en beperkingen van de jongeren (Lobregt van Buuren & Relyveld, 2005; voor een evaluatie van de doelen van het introductieprogramma, zie Claeys, 2006). Het daarop volgende OBP liep van augustus 2006 tot juli Aan deze pilots is een onafhankelijk evaluatieonderzoek gekoppeld, dat zich zowel richtte op evaluatie van het proces als van het product van dit project: het in kaart brengen en evalueren van het proces van het ontwikkelen, implementeren en uitvoeren van het KAIRO programma, en de effecten van het programma voor de deelnemers. Dit onderzoek is uitgevoerd door Praktikon, een organisatie voor ontwikkeling en onderzoek in jeugdzorg en onderwijs, die verbonden is aan de Radboud Universiteit Nijmegen. In nauwe samenwerking met de betrokken instellingen zijn voor dit onderzoek verschillende instrumenten ontwikkeld voor de proces- en productevaluatie, te weten: Procesevaluatie: TOP-scan (Taxatie Onderzoekspersperspectief Projectplan). Dit instrument is ontwikkeld om vooraf een gestandaardiseerde inschatting te kunnen maken van de mogelijkheden die een projectannex subsidieplan biedt voor onderzoek naar de uitkomsten van een innovatief behandel- en/of onderwijsprogramma. Beoordeeld wordt in hoeverre de noodzakelijke kernelementen doelgroep, interventie, beoogde uitkomsten en randvoorwaarden, alsmede de achterliggende zorg/onderwijsaanbodvisie of theorie in het projectplan voldoende zijn omschreven. Het doel van de TOP-scan is dus een inschatting van de mogelijkheden die een projectplan biedt voor evaluatieonderzoek; het doel is nadrukkelijk niet een expertoordeel te vellen met betrekking tot de zorginhoudelijke vraag naar de kwaliteit van de theoretische fundering en plausibiliteit van het beschreven project, of de empirische onderbouwing van de handelingsvisie die aan het project ten

8 8 grondslag ligt. De TOP-scan van KAIRO (Praktikon, Kroes & Pijnenburg, 2006) is reeds eerder gepubliceerd. Een samenvatting van de bevindingen is voor de volledigheid ook in deze publicatie opgenomen. Vragenlijst Doelgroepkenmerken. Met behulp van dit instrument, dat evenals de TOP-scan eenmalig wordt ingezet, wordt nagegaan in hoeverre de kenmerken van de in het projectplan aangeduide beoogde doelgroep overeenkomen met die van de feitelijk instromende cliënten. Vragenlijst Randvoorwaarden. Dit instrument geeft een overzicht van de randvoorwaardelijke of contextuele factoren, die in de ogen van de respondenten (leden Landelijke Werkgroep en Stuurgroep) van invloed zijn op uitvoering en verloop van het KAIRO-project. Evaluatielijst voor Leercoaches en Persoonlijk Begeleiders (ELPB). Aan de hand van deze beoordelingslijst is leercoaches en persoonlijk begeleiders als sleutelfiguren in dit project gevraagd naar hun oordeel over het verloop van het project, en naar factoren die huns inziens een belangrijke rol spelen bij het realiseren van de projectdoelen en een positieve waardering van cliënten voor het project. Productevaluatie: Levensloopmonitor. Deze heeft tot doel de deelnemende jongeren periodiek te screenen, de voortgang op een aantal functioneringsgebieden vast te leggen en mogelijke nieuwe ondersteuningsvragen op te sporen. Bovendien wordt de waardering van het programma door de cliënten de jongere en hun ouders in kaart gebracht. In het nu voorliggende rapport wordt verslag gedaan van de proces- en productevaluatie van het Introductieprogramma en het Onderwijs/behandelprogramma tezamen, aan de hand van de hiervoor genoemde instrumenten. Tenslotte wordt in de Appendix de ontwikkeling beschreven van de in het kader van KAIRO ontwikkelde procedure voor trechterdiagnostiek en de allereerste ervaringen hiermee binnen het roc.

9 9 2. Opzet evaluatieonderzoek Het hier gerapporteerde, onafhankelijke evaluatieonderzoek richt zich zowel op procesevaluatie als op productevaluatie van het project. Bij procesevaluatie staat de vraag centraal in hoeverre het project de beoogde doelgroep daadwerkelijk bereikt, hoe het primaire proces rond de geïncludeerde cliënten vervolgens verloopt, en of er factoren aan te wijzen zijn die daarop een bevorderende of belemmerende invloed hebben. Onder productevaluatie verstaan we het in kaart brengen en evalueren van de resultaten voor de deelnemers van het Introductieprogramma, respectievelijk het Onderwijs/Behandelprogramma. Om het evaluatieonderzoek rond KAIRO mogelijk te maken zijn verschillende instrumenten 1 ontwikkeld, die door Praktikon in samenwerking met de deelnemende instellingen zijn ingezet. Deze instrumenten passeren in de volgende subparagraaf kort de revue. 2.1 Instrumenten Procesevaluatie instrumenten Taxatie Onderzoekperspectief Projectplan (TOP-scan) Dit instrument is ontwikkeld om voorafgaand aan de start van het project een onafhankelijke, gestandaardiseerde inschatting te kunnen maken van de mogelijkheden die een project-, annex subsidieplan biedt voor onderzoek naar de uitkomsten van een innovatief behandel- en/of onderwijsprogramma. Het doel van de TOP-scan is nadrukkelijk niet een expertoordeel te vellen met betrekking tot de zorginhoudelijke vraag naar de kwaliteit van de theoretische fundering en plausibiliteit van het beschreven project, of de empirische onderbouwing van de handelingsvisie die aan het project ten grondslag ligt. Aan de hand van de TOP-scan wordt beoordeeld in hoeverre de noodzakelijke kernelementen doelgroep, interventie, beoogde uitkomsten en randvoorwaarden, alsmede de achterliggende zorg-/onderwijsaanbodvisie of theorie in het projectplan voldoende zijn omschreven (Praktikon, 2003/2005). De gestandaardiseerde beoordeling van een projectplan vindt plaats in 9 categorieën, die elk één of meer criteria bevatten. De standaardset van in totaal 29 criteria en subcriteria maakt het mogelijk inhoud en kwaliteit van verschillende projecten per criterium systematisch met elkaar te vergelijken. Een uitgebreid verslag over de TOP-scan van KAIRO is al gepubliceerd in juni Daarom beperken we ons in de voorliggende rapportage tot een beknopte weergave van de belangrijkste uitkomsten. Vragenlijst Doelgroepkenmerken Het belangrijkste doel van deze speciaal voor KAIRO ontwikkelde lijst is zicht te krijgen op de vraag in hoeverre de kenmerken van de feitelijk ingestroomde jongeren overeenkomen met die van de beoogde doelgroep. Deze vragenlijst, in juni 2006 ingevuld door de intakecoördinatoren in Arnhem en Dordrecht, bestaat uit drie delen: Deel 1: Specifieke intake-informatie betreffende elk van de ingestroomde jongeren. Dit deel is een checklist van 10 intakecriteria, ontleend aan het KAIRO projectplan. 1 Gezien de grote werkbelasting die het KAIRO-project en het daaraan gekoppelde evaluatieonderzoek gedurende het voortraject voor alle betrokken cliënten en medewerkers met zich mee bracht, is in overleg met de Landelijke Werkgroep afgezien van een formele (vragenlijst)evaluatie door Praktikon bij alle deelnemers aan de Leerkracht- en Oudertrainingen die tijdens het voortraject hebben plaatsgevonden. Op beide pilot-locaties is wel intern geëvalueerd. De resultaten van de binnen het Leo Kannerhuis uitgevoerde evaluatie van de Cursus voor ouders binnen KAIRO lieten zien dat de cursus redelijk tot goed aan de verwachtingen van de respondenten heeft voldaan. De bij het project betrokken trainers/individuele mentoren en leerkrachten/leercoaches zijn aan het eind van het traject benaderd voor een beknopte proces- en doelrealisatie-evaluatie middels de Evaluatielijst voor Leercoaches en Persoonlijk Begeleiders.

10 10 Deel 2: Algemene intake-informatie, deels kengetallen, deels open vragen. Deel 3: Kenmerken van jongeren die weliswaar in aanmerking kwamen maar niet zijn ingestroomd. Vragenlijst Randvoorwaarden In het kader van het evaluatieonderzoek maken we een onderscheid tussen relevante inhoudelijke en contextuele factoren. Inhoudelijke factoren hebben te maken met het primaire proces binnen het project. Het kan daarbij bijvoorbeeld gaan om de soort en ernst van de problematiek van de ingestroomde leerlingen/cliënten. Contextuele factoren betreffen de factoren die het primaire proces mogelijk maken, dan wel belemmeren. Anders gezegd: randvoorwaarden op financieel, personeel en logistiek vlak. Doel van de Vragenlijst Randvoorwaarden, die werd ontwikkeld in samenspraak met de projectleider en projectmanager van KAIRO, is informatie te verzamelen over de contextuele factoren die een mogelijk een gunstige of ongunstige rol spelen in het KAIRO-project. Respondenten zijn alle leden van de Landelijke KAIRO Werkgroep en Stuurgroep. Hen wordt gevraagd met betrekking tot een veertigtal aspecten van het KAIRO-project een persoonlijke inschatting te maken van de mate waarin men voorgelegde items van toepassing vindt. De items zijn gerubriceerd in de volgende rubrieken Landelijke regievoering/projectmanagement (4 items); Regionale regievoering/projectafstemming (4 items); Projectoverleg Stuurgroep/Landelijke Werkgroep (11 items); Projectbetrokkenheid (2 items); Projectuitvoering (10 items); Informatievoorziening en afstemming (9 items). Het antwoordformat is een zeven-puntsschaal variërend van 1 (zeer slecht) tot 7 (zeer goed). Behalve voor deze cijfermatige inschattingen biedt de Vragenlijst Randvoorwaarden respondenten ook ruimte voor aanvullend commentaar en suggesties. Evaluatielijst voor Leercoaches en Persoonlijk Begeleiders (ELPB) De oordelen van leercoaches en persoonlijk begeleiders (sleutelfunctionarissen) over verloop en opbrengst van het project zijn geïnventariseerd met behulp van de Evaluatielijst voor Leercoaches en Persoonlijk Begeleiders. Respondenten wordt gevraagd met betrekking tot 22 vragen hun oordeel te geven op een 10- punts schaal (rapportcijfer). Bij een beperkt aantal vragen hebben respondenten de mogelijkheid het toegekende cijfer schriftelijk te motiveren. De vragen in de lijst die betrekking hebben op respectievelijk doelrealisatie en beleidsmatige effecten van het KAIRO-project zijn gebaseerd op de betreffende passages uit de project(subsidie)aanvraag van het project Productevaluatie-instrumenten Levensloopmonitor De Levensloopmonitor is ontwikkeld om de competenties van de jongere vast te leggen tijdens het onderwijstraject en om de resultaten van het Introductieprogramma en het Onderwijs Behandel Programma (OBP) meetbaar te maken. In Tabel 1 wordt een overzicht gegeven van de gebruikte instrumenten, de domeinen waarop deze betrekking hebben, en de informanten die gevraagd worden de gegevens te verstrekken.

11 11 Tabel 1. Levensloopmonitor KAIRO: instrumenten, meetdomeinen en informanten. Instrument Afkorting Meetdomein Informant Leerling Competentie Profiel (voor KAIRO aangepaste versie) Strengths and Difficulties Questionnaire (Leerkracht- en Ouderversie) Competentiebelevingsschaal voor Adolescenten LCP SDQ-L SDQ-O Sociaal-emotionele en cognitieve ontwikkeling Gedrag, Emoties, Hyperactiviteit en Sociale aanpassing CBSA Zelfwaardering jongere Jongere Persoonlijk begeleider of leercoach Persoonlijk begeleider of leercoach; ouders Vragenlijst Gezinsfunctioneren voor Ouders VGFO Basiszorg, Gezinscontacten, Opvoedingsvaardigheden, Jeugdbeleving ouders, Veiligheid, Individueel functioneren ouders, Partnerrelatie. Ouder(s) De Levensloopmonitor wordt gebruikt om zicht te krijgen op de voortgang op de in de tabel genoemde domeinen. De instrumenten zijn gekozen met het oog op de kerntaken die voor het OBP gedefinieerd zijn: de leercompetenties van de jongere, zijn persoonlijk functioneren, sociale ontwikkeling en gedrag. Als belangrijke omgevingsvariabele wordt ook het gezinsfunctioneren in de registratie betrokken. Het merendeel van de instrumenten is gestandaardiseerd en gevalideerd, en heeft Nederlandse normen. Daardoor is een vergelijking mogelijk van de problemen en competenties van de KAIRO-jongeren met landelijke normgroepen. Het Leerling Competentie Profiel (LCP) is een instrument dat door De Wilde & Hamelink (2003) is ontwikkeld om de leercompetenties van jongeren met ASS in het voortgezet onderwijs in kaart brengen. De lijst is nog experimenteel en niet genormeerd. Voor gebruik binnen de levensloopmonitor is de lijst ingekort en toegespitst op de voor het OBP meest relevante competentiegebieden. De ingekorte versie kent 90 vragen die betrekking hebben op de competentiegebieden Emotie, motivatie en beloning, Sociale interactie, en Sociale vaardigheden (tezamen het domein Sociaal-emotionele ontwikkeling), en 47 vragen die betrekking hebben op Flexibiliteit in denken, Prikkelverwerking en aandacht, Communicatie, en Executieve vaardigheden (tezamen het domein Cognitie ontwikkeling). Alle vragen worden beantwoord op een vijfpuntsschaal met scores die variëren van 1 (antwoordcategorie zeer zeker niet waar ) tot 5 ( zeker waar ). De scores worden deelgebied bij elkaar opgeteld en vervolgens gedeeld door het aantal ingevulde vragen. Zodoende wordt per deelgebied een gemiddelde score verkregen die kan variëren van 1 tot 5. De scores op de twee hoofddomeinen zijn het gemiddelde van de scores op de betreffende deelgebieden. De Strengths and Difficulties Questionnaire (SDQ; Goodman, 1997) is een gestandaardiseerde en gevalideerde vragenlijst met vragen over Gedrag, Emoties, Hyperactiviteit en Sociale aanpassing, plus een gedeelte over de mate van beperking als gevolg van problemen op één of meer van deze gebieden. De vragenlijst is in het Nederlands vertaald als Sterke Kanten en Moeilijkheden Vragenlijst (Goedhart, Treffers, & Van Widenfelt, 2003). Er zijn verschillende, bijna identieke versies van de SDQ voor ouders en leerkrachten. De vragen over psychische problemen worden gescoord worden op een driepuntsschaal. Deze 25 vragen vormen vijf subschalen: emotionele problemen, gedragsproblemen, hyperactiviteit, problemen met leeftijdgenoten, en prosociaal gedrag. De totale probleemscores wordt berekend door de scores van de eerste vier schalen bij elkaar op te tellen. De schaal prosociaal gedrag (inlevingsvermogen, empathie) is een positieve schaal die niet meetelt bij het bepalen van de totale probleemscore. De zes (in de leraarversie) of acht (ouderversie) extra vragen gaan over de invloed van de waargenomen moeilijkheden op emoties, gedrag of omgang met anderen, en over de duur van de moeilijkheden. Deze

12 12 vragen vormen tezamen een impact schaal, die aangeeft in hoeverre de moeilijkheden de jongere en zijn of haar omgeving belasten. Bij de scoring worden Nederlandse normen gebruikt. De Competentiebelevingsschaal voor Adolescenten (CBSA; Treffers et al., 2002) is een gestandaardiseerde en gevalideerde vragenlijst die het gevoel van competentie van de jongere meet op verschillende relevante levensgebieden van jongeren (o.a. school, sociale relaties, uiterlijk). De vragenlijst is een op Vlaamse en Nederlandse adolescenten (12-18 jaar) afgestemde bewerking van het Self- Perception Profile for Adolescents van Susan Harter (1985). Competentiebeleving wordt in deze vragenlijst opgevat als een vorm van zelfwaardering, wat weer gezien wordt als onderdeel van het zelfconcept. De items zijn in paarsgewijze tegenstellingen geformuleerd, bijvoorbeeld: Sommige kinderen vinden het moeilijk om vrienden te maken, maar Andere kinderen vinden het best gemakkelijk om vrienden te maken. Een kind geeft aan welke van de twee uitspraken een beetje waar resp. helemaal waar dan wel onwaar voor hem is. De items worden gescoord op 7 schalen, die zes specifieke domeinen en één meer algemeen domein van competentie representeren: Schoolvaardigheden, Sociale Acceptatie, Sportieve Vaardigheden, Fysieke Verschijning, Gedragshouding, Hechte vriendschap, en Gevoel van Eigenwaarde. De Vragenlijst Gezinsfunctioneren voor Ouders (VGFO; Janssen & Veerman, 2005) is een door ouders in te vullen vragenlijst met 63 vragen over Basiszorg in het gezin, Sociale contacten va het gezin, Opvoedingsvaardigheden ouders, Jeugdbeleving ouders, Veiligheid in het gezin, Individueel functioneren ouders, en de Partnerrelatie. Alle vragen worden gescoord op een vier-puntsschaal met antwoorden variërend van (1) Geldt niet tot (4) Geldt helemaal. De ruwe scores worden per schaal bij elkaar opgeteld en gedeeld door het aantal ingevulde vragen. Alle scores tezamen leveren een Totaalscore op voor het gezinsfunctioneren. De vragenlijst is nog niet genormeerd; hogere gemiddelde scores wijzen op een beter functioneren, lagere gemiddelden op een gebrekkig functioneren. Ter vergelijking worden de scores van een aantal gezinnen die verwezen zijn naar ambulante jeugdhulpverlening gebruikt als voorlopig referentiekader. Laatste onderdeel van de Levensloopmonitor is de Jeugdthermometer GGZ (Kok & Mulder, 2005). Deze vragenlijst meet de waardering van jongeren en ouders over de verkregen behandeling of begeleiding. Van deze vragenlijst zijn drie verschillende, min of meer parallelle versies ontwikkeld. Zo zijn er twee versies die betrekking hebben op de behandeling van jongeren: één die door jongeren vanaf 12 jaar zelf dient te worden ingevuld, en een tweede versie die door hun ouders wordt ingevuld. De Jeugdthermometer GGZ werd in 2002 door het Trimbos-instituut ontwikkeld en getest; de ouderversie werd in 2005 aangepast (Bransen, Kok, & Van Wijngaarden, 2005). In 2005 is ook een derde versie ontwikkeld die alleen voor ouders bestemd is. Deze versie richt zich op de waardering van de begeleiding die ouders zelf hebben gekregen, in het kader van een behandeling van een kind of van het hele gezin. De vragen van de thermometers hebben betrekking op de volgende deelgebieden: de Informatie die door de behandelaars is verstrekt, de Inspraak die de cliënt tijdens de behandeling kreeg, het functioneren van de Hulpverlener, en het Resultaat van de behandeling. In de ouderversie over de hulp aan de jongere zijn de deelgebieden Informatie en Inspraak samengevoegd. Alle vragen worden met ja (= tevreden ; score 1) of nee (= niet tevreden ; score 0) beantwoord. Door de scores per deelgebied op te tellen en te middelen worden totaalscores verkregen die kunnen variëren van 0 tot 1. Daarnaast wordt de cliënt nog gevraagd om een rapportcijfer (1-10) te geven voor de hulp als geheel.

13 Meetmomenten In Tabel 2 wordt een overzicht gegeven van de afname van de verschillende instrumenten voor procesevaluatie (cursief) en productevaluatie op verschillende meetmomenten tijdens het gehele KAIRO pilotproject. Tabel 2. Pilots KAIRO: instrumenten, meetmomenten en informanten bij proces- en productevaluatie Informant Externe beoordelaar (Praktikon) Introductieprogramma T0 Maart 2006 T1 Mei (Juni) 2006 TOP-scan* Onderwijs-/Behandelprogramma T2 November 2006 T3 Mei 2007 Intakecoördinator Lid Stuurgroep / Landelijke Werkgroep Leercoach / Persoonlijk Begeleider Jongere Ouder CBSA SDQ-O VGFO (Vragenlijst Doelgroepkenmerken) (Vragenlijst Randvoorwaarden) CBSA Thermometer SDQ-O VGFO Thermometer SDQ-L LC-Profiel CBSA SDQ-O VGFO SDQ-L Trainer LC-Profiel SDQ-L Leerkracht LC-Profiel Procesevaluatie-instrumenten zijn in de tabel cursief weergegeven; productevaluatie-instrumenten romein. Verklaring afkortingen: a) Procesevaluatie-instrumenten (cursief ): TOP-scan Taxatie Onderzoeksperspectief Projectplan (gepubliceerd in juni 2006) ELPB Evaluatielijst voor Leercoaches en Persoonlijk Begeleiders b) Productevaluatie-instrumenten (romein) CBSA CompetentieBelevingSchaal voor Adolescenten LC-Profiel LeerlingCompetentie-Profiel SDQ-L Strengths and Difficulties Questionnaire - Leerkrachtversie SDQ-O Strengths and Difficulties Questionnaire - Ouderversie Thermometer Jeugdthermometer GGZ (3 versies) VGFO Vragenlijst Gezinsfunctioneren voor Ouders Vragenlijst Randvoorwaarden ELPB CBSA Thermometer SDQ-O VGFO Thermometer SDQ-L LC-Profiel Wat betreft de inzet van procesevaluatie-instrumenten: de TOP-scan en Vragenlijst Doelgroepkenmerken werden eenmalig ingezet (aan het einde van het Introductieprogramma), evenals de Evaluatielijst voor Leercoaches en Persoonlijk Begeleiders. De Vragenlijst Randvoorwaarden werd tweemaal ingezet: zowel aan het eind van het Introductieprogramma, als aan het eind van het Onderwijs-/Behandelprogramma. Zoals in tabel 2 te zien is, zijn ook de onderdelen van de productevaluatie-instrumenten, gebundeld in de Levensloopmonitor, afgenomen op verschillende meetmomenten: bij aanvang (T0) en tegen het einde (T1) van het Introductieprogramma bij de deelnemende jongeren, hun ouders en hun persoonlijk begeleiders, en opnieuw halverwege (T2) en tegen het einde van het Onderwijs/behandelprogramma (T3). De trainers en leercoaches konden pas na enige tijd vragenlijsten over het functioneren van de jongeren invullen, omdat zij de jongeren daarvoor eerst wat beter dienden te leren kennen. Daarom vindt er als het ware een verschuiving plaats in de afname van de vragenlijsten bij trainers en coaches (SDQ, LCP) ten opzichte van de metingen bij de jongeren en hun ouders. Tegen het einde van het

14 14 Introductieprogramma werden de vragenlijsten afgenomen om cliëntwaardering te meten: bij jongeren en ouders m.b.t. het Introductieprogramma als geheel (Jeugdthermometer Jongeren en Ouders/versie A), bij de ouders ook m.b.t. de Oudercursus (Jeugdthermometer Ouders, versie B). Tegen het einde van het Onderwijs/behandelprogramma werd alleen de Jeugdthermometer Jongeren en Ouders/versie A afgenomen. Om de veranderingen die gedurende het gehele onderwijs-behandeltraject zijn opgetreden te meten, richten we ons in de productevaluatie met name op de verschillen tussen de eerste (T0) en laatste (T3) meting. (Zoals gezegd is er al eerder verslag gedaan van de veranderingen tijdens het Introductieprogramma, tussen T0 en T1). De meting halverwege het Onderwijs/behandelprogramma (T2) diende vooral om het beloop van de veranderingen op individueel niveau in beeld te brengen, zodat behandelplannen eventueel nog konden worden bijgesteld, en om een goede vergelijking tussen de beoordelingen van de jongeren door trainers en leercoaches mogelijk te maken. In dit rapport zullen we ons concentreren op de verschillen in het functioneren van jongeren (en hun gezinnen) tussen aanvang en einde van het totale traject, en op de cliëntwaardering aan het eind van het traject. Voor een evaluatie van de beoordelingen van jongeren door trainers en leercoaches zullen we ook gebruik maken van de gegevens op de tussentijdse meetmomenten. 2.3 Deelnemers en respons productevaluatie/levensloopmonitor Het Introductieprogramma van KAIRO is op 2 locaties gestart met 33 deelnemers in totaal. Van deze groep hebben er 5 het Introductieprogramma niet afgemaakt; deze uitval was bij de opbouw en aanvang van het project ingecalculeerd. Verder is er één nieuwe deelnemer tijdens de introductiefase ingestroomd, zodat in totaal 29 jongeren aan het Onderwijs/Behandelprogramma (OBP) zijn begonnen. In de loop van het OBP zijn vervolgens nog 7 van de 29 gestarte deelnemers (24,1%) vroegtijdig gestopt. Bij aanvang was de gemiddelde leeftijd van de jongeren 18,7 jaar (range 15,8 22,8); bij afsluiting van het traject was dit 20,4 jaar (range 17,1 24,1). Alle deelnemers waren mannen, op één vrouw na. Tabel 3. Aantal deelnemers en respons (jongeren) tijdens de KAIRO-pilot. Aanvang traject (T0) Einde voortraject (T1) Halverwege OBP (T2) Deel- Res- Deel- Res- Deel- Resnemers pons nemers pons nemers pons Einde OBP (T3) Deelnemers Leo Kannerhuis % 20 95% 19 89% 15 67% De Steiger 9 89% 9 90% 7 86% 7 86% Totaal 33 97% 29 97% 26 88% 22 73% Respons De responspercentages op de vragenlijsten worden per meetmoment berekend (Tabel 3). Het responspercentage is het aantal jongeren dat op een bepaald moment een vragenlijst (CBSA) heeft ingevuld, gedeeld door het aantal deelnemers aan KAIRO op dat moment. Bijvoorbeeld: bij T1, aan het einde van het Introductieprogramma, zijn er nog 29 jongeren die deelnemen aan het project; van die 29 jongeren hebben er 28 een CBSA ingevuld, een respons van 97%. De responspercentages voor de andere vragenlijsten (niet afzonderlijk in de tabel weergegeven) variëren enigszins. Voor de vragenlijsten die door ouders, trainers en coaches zijn ingevuld is de respons over het algemeen iets lager dan voor de CBSA, die door de jongeren is ingevuld. Bij de presentatie van de resultaten zal het aantal respondenten per vragenlijst worden weergegeven.

15 15 De analyse van de verschillen tussen aanvang en einde van het totale traject is gebaseerd op de gegevens van de deelnemers die zowel aan de begin- als aan de eindmeting hebben meegedaan. Van de 22 deelnemers bij het einde van het traject, hebben er 13 (59%) zowel een begin- als een eindmeting. Ook dit aantal varieert enigszins per vragenlijst en per informant; bij de weergave van de afzonderlijke resultaten wordt daarom steeds het aantal respondenten vermeld. 2.4 Berekeningen productevaluatie/levensloopmonitor Deviatiescores In de Levensloopmonitor is een aantal gestandaardiseerde en genormeerde vragenlijsten opgenomen (SDQ, VGFO en CBSA). Van al deze vragenlijsten zijn Nederlandse populatienormen beschikbaar. Daardoor is het mogelijk om bij iedere individuele score uit te rekenen hoeveel deze score afwijkt van het landelijke gemiddelde op de betreffende vragenlijst. Van dit gegeven maken we gebruik om bij alle vragenlijsten eenzelfde meeteenheid te berekenen, de zogenaamde normatieve deviatiescore, kortweg deviatiescore genoemd. Deze deviatiescore wordt berekend door bij elke individuele score de afwijking ten opzichte van het landelijk gemiddelde te delen door de standaardafwijking van de landelijke scores. In formule: (Behaalde score Landelijk gemiddelde score) Deviatiescore = Standaardafwijking van landelijke gemiddelde. Een deviatiescore van 0 betekent dat de behaalde score op een vragenlijst niets afwijkt van oftewel gelijk is aan - het landelijk gemiddelde voor de betreffende vragenlijst. Een deviatiescore van +1 betekent dat een score één standaardafwijking boven het landelijk gemiddelde ligt. Dit houdt per definitie ook in dat 85% van de bevolking lager scoort. Zo is voor elke deviatiescore aan te geven welk percentage van de bevolking hoger (of lager) scoort. Deze percentages van de bevolking met de bijbehorende interpretaties van deviatiescores staan in Tabel 4. Tabel 4. Interpretatie van deviatiescores. Deviatiescore Percentielscore Label Betekenis <,79 < 79% Geen problemen Geen zorgen van betekenis 0,79 1,28 79% -89% Matige problemen 1,29 1,64 90% -94% Aanzienlijke problemen 1,65 1,95 95% -97% Ernstige problemen 1,96 97% Zeer ernstige problemen Problematiek verdient aandacht Problematiek verdient behandeling Het grote voordeel van het gebruik van deviatiescores is dat de uitkomsten van alle mogelijke vragenlijsten direct onderling vergelijkbaar zijn. Zo heeft een deviatiescore van 1,6 op de SDQ dezelfde betekenis als een deviatiescore van 1,6 op de VGFO of CBSA. Ook is meteen duidelijk hoe hoog een bepaalde score is in vergelijking met de landelijke normgroepen. Dit geldt voor elke genormeerde vragenlijst, ongeacht het geslacht of de leeftijd van degene waarop de vragenlijst betrekking heeft, en ongeacht het type informant. Bij de niet-genormeerde vragenlijsten van de Levensloopmonitor (LCP en Jeugdthermometer GGZ) kunnen geen deviatiescores worden berekend. Bij het LCP worden de ruwe scores gebruikt. De scores op

16 16 de Jeugdthermometer zijn met 10 vermenigvuldigd, zodat ze als een rapportcijfer kunnen worden geïnterpreteerd: scores groter dan 5 kunnen als voldoende worden beschouwd, acht is goed, etc Effectgroottes Om veranderingen in het functioneren van de jongeren tijdens het Introductieprogramma te bepalen, zijn voor een aantal instrumenten (SDQ, CBSA) effectgroottes berekend. De effectgrootte is een statistische maat voor de grootte van het verschil tussen de scores bij aanvang en na verloop van tijd (gedeeld door een gezamenlijke standaarddeviatie). De interpretatie van effectgroottes volgens Cohen (1988) is weergegeven in Tabel 5. Tabel 5. Interpretatie van effect size (ES). Effectgrootte 0,80 Betekenis Groot effect 0,50 0,79 Middelgroot effect 0,20 0,49 Klein effect < 0,20 Verwaarloosbaar effect Klinisch betekenisvolle verandering De berekening van deviatiescores en effectgroottes tezamen kan worden benut om effectcategorieën te bepalen, die een indicatie geven van klinisch betekenisvolle veranderingen. Dat gaat als volgt. Bij het evaluatieonderzoek spreken we pas van een betekenisvolle verandering als een effectgrootte groter dan of gelijk is aan 0,20. Dat wil zeggen dat de verandering groter is dan je op grond van toeval zou kunnen verwachten. Het is echter ook mogelijk dat er sprake is van een negatieve verandering oftewel een verslechtering; dan geldt dat deze pas betekenisvol mag worden genoemd als de effectgrootte kleiner dan of gelijk is aan -0,20. Er zijn dan drie mogelijkheden (zie Tabel 6): aan het eind van de behandeling is er een betekenisvolle verslechtering opgetreden (die we als - coderen); er is geen sprake van een s betekenisvolle verandering (code 0); of er is een betekenisvolle verbetering opgetreden (code + of ++). Tabel 6. Effectcategorieën. Effect Effect Size (ES) Klachten Betekenis - -0,20 Ja/nee Verslechterd 0-0,20 < ES < 0,20 Ja/nee Onveranderd + 0,20 Ja Verbeterd, maar nog wel klachten ++ 0,20 Nee Verbeterd, klachtenvrij Deze indeling kunnen we nog verfijnen door de status van de klachten aan het eind van de behandeling erbij te betrekken. Deze status leiden we af uit de deviatiescores: een deviatiescore van 1,29 of hoger duidt op aanzienlijke problemen, een deviatiescore lager dan 1,29 op de afwezigheid daarvan. Door dit gegeven te combineren met het effect van de behandeling, kunnen we positieve veranderingen nog onderverdelen in de categorie Verbeterd, maar nog wel klachten aan het eind (score +) en Verbeterd en klachtenvrij aan het eind. Om het schema niet al te ingewikkeld te maken, wordt er bij Verslechtering (-) of Geen verandering (0) alleen gekeken naar de grootte van de verandering, zonder rekening te houden met de status van de klachten bij afsluiting.

17 17 3. Resultaten TOP-scan De tussentijds al gepubliceerde beoordeling van het KAIRO-projectplan (Praktikon, 2006) liet op elk van de drie hoofdelementen van de TOP-scan plussen en minnen zien, als volgt: Inhoud (vragen 1-3: beschrijving van beoogde doelgroep/interventie/uitkomst:): 6x ja, 1x ja/nee (subscore: 6,5 uit 7). Theorie (vragen 4-6: theoretische/empirische onderbouwing van behandeling/onderwijs/diagnostiek): 7x ja, 3x ja/nee (subcore: 8,5 uit 10). Context (vragen 7-9): 8 keer ja, 1 keer ja/nee, 2 keer nee (subcore 8,5 uit 11). De Totaalscore komt daarmee uit op 84%: 23,5 van het maximaal te behalen aantal van 28 punten. Het KAIRO-projectplan voldoet aan 21 van de 28 criteria volledig; aan 2 criteria geheel niet voldaan, en aan 5 criteria gedeeltelijk (Ja = 1 punt; Nee = geen punt ; gedeeltelijk = ½ punt). Deze positieve cijfers leidden in het TOP-scan rapport tot de volgende conclusies. Het projectplan (met bijlagen, handleidingen en werkboeken) van het KAIRO-project is zorgvuldig opgebouwd. KAIRO is een ambitieus project dat in de samenwerking tussen beroepsonderwijs en kinderen jeugdpsychiatrie jongeren met ASS-problematiek wil ondersteunen. De resultaten van het project kunnen richtinggevend zijn voor de verdere ontwikkeling van samenwerkingsprogramma s van zorg en onderwijs ten behoeve van jongeren uit de doelgroep en hun ouders/opvoeders. Het projectplan is in zijn volledigheid gedegen beschreven. De hoeveelheid materiaal is indrukwekkend; veel onderwerpen die relevant zijn voor de beoordeling, zijn in verschillende bijlagen en handleidingen te vinden. Nadeel daarvan is dat veel gepuzzel nodig was om tot een goede beoordeling te kunnen komen. De screening van het projectplan en bijlagen, handleidingen en werkboeken resulteert in een voor de jeugdzorgsector uitzonderlijke score van 84%: in rapportcijfer-termen: een ruime 8. De inhoud (doelgroep, interventie, resultaat) is volledig beschreven. De theoretische projectonderbouwing is met name gestoeld op praktijkervaringen; deze ontbeert empirisch-wetenschappelijke evidentie of een expliciete theoretische onderbouwing. Wat betreft de explicitering van randvoorwaardelijke aspecten is het projectplan adequaat, met uitzondering van informatie betreffende de personele inzet. Dit laatste is een duidelijk zorgpunt: het gebrek aan explicitering op dit punt kan het project in de uitvoeringsfase opbreken. Nadere uitwerking van personele inzet én zorgvuldige monitoring van het ontstaan van eventuele knelpunten hierin wordt daarom zeer aanbevolen. In het TOP-scan rapport (Praktikon, 2006) werd er verder op gewezen dat het voor de uiteindelijke evaluatie van het project aanbeveling verdient het geconstateerde hiaat in de theoretische onderbouwing, inclusief bronnenvermelding, op te lossen. De grote hoeveelheid losse projectdocumenten is gezien de eisen van het financieringsprogramma (EQUAL) en de complexiteit van het ontwikkelde programma weliswaar begrijpelijk, maar maakt het geheel onoverzichtelijk. Voor de uitvoeringsfase is dit punt als een risicofactor aangemerkt, temeer omdat KAIRO een geïntegreerd programma aan wil bieden, waarin zorgen onderwijspartners samenwerken en communicatie en onderlinge afstemming sleutelbegrippen zijn. Voor zover wij hebben kunnen vaststellen is deze constatering ook op dit moment nog steeds actueel.

18 18 4. Resultaten doelgroeptoets Van de in totaal 42 uitgevoerde project-intakes (38 jongens, 4 meisjes) heeft 90% geleid tot een positief intakebesluit. Vier kandidaten werden afgewezen. Daarnaast stroomden vier jongeren die in principe wel in aanmerking kwamen, niet in vanwege het onvoldoende aanspreken van de aangeboden opleidingsrichtingen of capaciteitsproblemen van het programma. Tabel 7. Kengetallen KAIRO-intakes. Vraag De Steiger Leo Kannerhuis Totaal N J/M N J/M N J/M Totaal aantal KAIRO-intakes 12 12/ / /4 Aantal intakes dat leidde tot een negatief intakebesluit 2 2/0 2 1/1 4 3/1 Aantal intakes dat leidde tot een positief intakebesluit 10 10/ / /3 Ondanks positief intakebesluit niet ingestroomd, of om andere reden teruggetrokken 0 0/0 4 2/2 4 2/2 Uiteindelijke aantal deelnemers Voortraject 10 10/ / /1 Tabel 8 illustreert dat de via De Steiger en het Leo Kannerhuis ingestroomde cliënten over het algemeen voldoen aan de gestelde intakecriteria, al zijn er ook enige uitzonderingen. Daarnaast laten de cijfers in de kolom Twijfel over voldoen aan criterium zien dat er een paar cliënten zijn die het voordeel van de twijfel hebben gekregen met betrekking tot het ene of andere criterium. Met name de cijfers in Tabel 8 die betrekking hebben op de intakecriteria 5, 8 en 9 wijken af van het algemene beeld. Om te beginnen zijn twee jongeren toegelaten die getypeerd werden als niet gemotiveerd (criterium 5). Dit geldt ook voor zeven kandidaten bij wie er twijfels waren over hun motivatie. Dat dit bij een relatief groot aantal cliënten het geval was, is overigens niet geheel onbegrijpelijk. Op het moment van intake moesten de jongeren zich immers nog oriënteren. Het is de vraag of het realistisch is te verwachten dat jongeren op zo n moment al helemaal duidelijk hebben wat voor beroepsperspectief zijn voor zichzelf zien, zeker bij de doelgroep van het KAIRO-project: hun motivatie voor activiteiten groeit vaak pas gaandeweg. De formulering van criterium 5 vraagt daarom om nadere overweging (evenals de vraag hoe jongeren optimaal ondersteund kunnen worden bij het maken van de afweging om al dan niet aan te melden). De noodzaak van heroverweging geldt ook criterium 7. Hier hadden de respondenten problemen met het (graduele) onderscheid tussen informatieverwerkingsproblemen die alle jongeren met ASS ervaren en het bestaan van een ernstige informatieverwerkingsstoornis, die in dit criterium als contra-indicatie wordt genoemd. Verder zijn twee cliënten toegelaten bij wie ten tijde van de intake naast ASS ook sprake was van een andere psychiatrische stoornis of handicap, en zeven cliënten bij wie dit niet uitgesloten werd geacht. Eveneens zijn vijf cliënten ingestroomd die op het moment van de intake stellig te maken hadden met ernstige gezinsproblematiek, en drie cliënten bij wie dat mogelijk het geval was.

19 19 Tabel 8. Overzicht van aantallen cliënten die (mogelijk) niet voldoen aan gestelde intake-criteria. Twijfel over Voldoet niet aan voldoen aan Totaal criterium criterium Criteria 1 ASS diagnose is gesteld door GZ-psycholoog of psychiater 2 Jongere geeft zelf aan het KAIRO onderwijsen behandelprogramma te willen volgen 3 Jongere heeft benedengemiddelde intelligentie of hoger 4 Jongere voldoet aan vooropleidingseisen of heeft aantoonbaar een vergelijkbaar niveau (schooladviezen, diploma s, IQ-test) 5 Jongere geeft zelf aan gemotiveerd te zijn voor onderwijs- en behandelprogramma De Steiger Leo Kanner De Steiger Leo Kanner Niet Voldoen Twijfel * - - 1* Jongere kan in een groep functioneren Bij jongere is geen sprake van een ernstige informatieverwerkingstoornis 8 Bij jongere is geen sprake van een andere psychiatrische stoornis/handicap 9 In het gezin van de jongere is geen sprake van ernstige gezinsproblematiek 1 1 -** -** Leeftijd van de jongere ligt tussen 16 en * Op basis van capaciteitstoets toch toegelaten; ** niet ingevuld vanwege vragen over formulering criterium. In Deel 2 van de Vragenlijst Doelgroepkenmerken plaatsten de respondenten kanttekeningen bij de wijze waarop de doelgroep benaderd is en bij de gehanteerde intakecriteria. We geven ze hier puntsgewijs weer. - Vragen zijn er bij het karakter van de doelgroep die in Arnhem als wat te zwaar wordt gekwalificeerd. Verondersteld wordt dat het opzoeken van deze zware groep samenhangt met het feit dat aanvankelijk weinig aanmeldingen binnen kwamen. - Overweeg als aanvullend intakecriterium het nader uitwerken van het contra-indicatiecriterium 8 (geen andere psychiatrische stoornis); de ervaring leert dat bij uitvallen met name problematiek als ADHD/impulscontrole-stoornis een rol speelt. - Overweeg als aanvullend intakecriterium dat sprake moet zijn van een stabiele woonsituatie (bij voorkeur thuiswonend of met aantoonbaar voldoende begeleiding en steun vanuit de omgeving Overweeg als aanvullend intakecriterium dat ouders expliciet zouden moeten verklaren bereid te zijn tot het volgen van een oudercursus. - Wenselijk is een meer informatieve folder en website, met concrete en afgebakende informatie over vooropleiding en verwijzingsmogelijkheden. - Toeleidende scholen zouden beter en directer benaderd en geïnformeerd kunnen worden. - Meer media-aandacht kan een wervend effect hebben, alsook gebruikmaken van bestaande kanalen (sluitende keten: VMBO/roc-zorgleerlingen). - Interne informatievoorziening in het roc kan beter; medewerkers zijn onvoldoende op de hoogte. - Het Da Vinci College zou door een helderder communicatie met de DVC de werving voor het project kunnen verbeteren; - Het aantal opleidingsrichtingen (nu 2: ICT/Administratie) zou kunnen worden uitgebreid.

20 20 Deel 3 van de Vragenlijst Doelgroepkenmerken heeft betrekking op kenmerken van afvallers, dat wil zeggen kandidaten van wie ten tijde van de intake is vastgesteld dat ze voldeden aan de intakecriteria, maar die desondanks niet zijn ingestroomd. In Arnhem vielen drie meisjes af vanwege de beschikbare opleidingsrichtingen, die technisch van aard zijn of een beroep doen op exacte of wiskundige vaardigheden. Het vinden van kandidaten zou met name makkelijker worden wanneer het onderwijsaanbod ook groen-, horeca-, en secretariaatsopleidingen zou omvatten. Andere genoemde redenen (zij het slechts in een enkel geval) zijn: risico op cognitief overvragen, instabiliteit woonsituatie, leeftijd, en onvoldoende tijd hebben om over deelname te kunnen beslissen.

21 21 5 Resultaten analyse randvoorwaarden project Zoals ook aan het einde van het Voortraject/Introductieprogramma (zomer 2006), is bij de afronding van het project (zomer 2007) aan de leden van de Stuurgroep (SG) en Landelijke werkgroep (LWG) de Vragenlijst Randvoorwaarden KAIRO-project voorgelegd. Met deze vragenlijst zoeken we naar contextuele factoren die in de ogen van de respondenten het primaire proces van het project hebben belemmerd of gefaciliteerd. Bij elk item van deze Vragenlijst wordt respondenten gevraagd een oordeel te geven door het omcirkelen van één van de volgende zeven antwoordcategorieën: zeer slecht (1), slecht (2), onvoldoende (3), matig/wisselend (4), voldoende (5), goed (6) of zeer goed (7). In vergelijking met de vorige afname daalde de totale respons van 65% naar 47%. Alle 4 de leden Stuurgroepleden respondeerden, evenals 4 van de 13 leden van de Landelijke Werkgroep (met inbegrip van de projectmanager); de conclusies op basis van de gegevens van de laatstgenoemde groep hebben daarom een tentatief karakter. We gaan hier in op de meest opvallende bevindingen op het meest recente meetmoment, en vervolgens op de meest in het oog springende verschillen tussen beide groepen respondenten en verschuivingen ten opzichte van de beoordeling een jaar geleden. Tabel 9geeft voor elk van de 40 items van de Vragenlijst Randvoorwaarden het gemiddelde en de spreiding in de antwoorden van de leden van LWG en SG op de beide meetmomenten. De belangrijkste conclusie is dat de waarderingen over het KAIRO projectjaar over het algemeen opnieuw redelijk tot zeer positief zijn: ruim driekwart (82,5%) van de gemiddelde scores ligt op het gewenste niveau van een 5 ( voldoende ) of hoger. Ten opzichte van de eerste meting is dit een stijging van 5%. Op één na liggen alle andere gemiddelde itemscores (16%) tussen 4 ( matig/wisselend ) en 6,3 ( goed ). De LWG-beoordeling van één item (24: Werktijd die voor projectactiviteiten beschikbaar is) is met een gemiddelde van 3,5 (onvoldoende/matig) opvallend laag; de individuele antwoorden lopen uiteen van 2 ( slecht ) tot 5 ( voldoende ). Ook een jaar geleden was de LWG kritisch op dit punt, zij het dat de gemiddelde score toen (3,7) iets minder ongunstig was dan de huidige. De andere onvoldoende beoordeling van afgelopen jaar (item 20) is nu een voldoende (5) geworden: dit betekent dat het project naar de mening van de LWG inmiddels wel voldoende is gaan leven in de betrokken organisaties. Kijken we naar de gemiddelde scores per thema, dan blijken twee thema s in de ogen van de LWG nu niet helemaal het gewenste niveau (score 5/ voldoende of hoger) te halen: Landelijke regievoering/ projectmanagement en Projectuitvoering financiële, personele en materiële randvoorwaarden : de gemiddelde scores zijn hier respectievelijk 4,5 en 4,9. Vergelijken we de cijfers van de twee groepen respondenten en beide meetmomenten, dan zien we enerzijds een paar verschillen tussen beide groepen respondenten, en anderzijds wat lichte verschuivingen in de oordelen van de beide groepen over tijd. In de ogen van de LWG scoort het thema Landelijke regievoering en projectmanagement nu tussen wisselend/matig en voldoende (gemiddelde score: 4,5). Dat is lager dan in 2006, toen dit thema gemiddeld een 5,5 ( ruim voldoende ) scoorde. Het oordeel van de LWG over de andere thema s ligt vrijwel op hetzelfde niveau als vorig jaar (thema Projectuitvoering: financiële, personele en materiële randvoorwaarden ) of iets hoger (thema s Regionale projectafstemming, Projectoverleg LWG, Projectbetrokkenheid, en Projectinformatievoorziening en afstemming ). De respondenten geven met name aan zich zorgen te maken over de borging van het project en de continuïteit ervan wanneer de projectfinanciering wegvalt. De tijdens het project al bestaande spanning tussen benodigde projectinzet en financiële middelen, zal daardoor naar verwachting sterk toenemen. De beoordeling van de SG is over de hele linie vergelijkbaar met die van afgelopen jaar, met uitzondering van het thema Projectuitvoering. Hier is nu sprake van een wat minder gunstige beoordeling, al is het gemiddelde oordeel nog steeds ruim voldoende (gemiddelde score nu 5,4 tegenover 6,25 in 2006).

22 22 Tabel 9. Gemiddelde itemscores en spreiding Vragenlijst Randvoorwaarden op twee meetmomenten. Werkgroep Stuurgroep Nr. Thema/item Landelijke regievoering/projectmanagement range/gem. range/gem. range/gem. range/gem. 1 Bewaking planning en voortgang op landelijk niveau 5-6 / 5,5 5 / / / 5,5 2 Concretisering projectplan in uitvoeringsrichtlijnen 4-6 / 5,3 4-5 / 4,75 6 / / 5,5 3 Interne informatievoorziening Stuurgroep - Werkgroep 4-6 / 5,3 4-5 / 4, / 4,7 5-6 / 5,75 4 Interne communicatie Stuurgroep - Landelijke Werkgroep 4-6 / / / 5,3 5-6 / 5,75 Regionale regievoering/projectafstemming 5 Projectaansturing op regionaal niveau 4-5 / 4,4 4-6 / / 5,4 4-6 / 5,25 6 Onderlinge afstemming onderwijs - behandeling 4-5 / 4,6 5-6 / 5,5 5-6 / 5,7 5-6 / 5,75 7 Tijdbewaking projectuitvoering op regionaal niveau 4-5 / 4,9 4-6 / / 5,3 5-6 / 5,75 8 Informatievoorziening regiocoördinator-projectuitvoerders 4-5 / 4,5 4-6 / / 5,7 5-6 / 5,75 Projectoverleg stuurgroep/landelijke werkgroep 9 Aanwezigheid leden tijdens overleg 4-6 / 5,1 5-7 / 5,75 5 / 5 6 / 6 10 Relevantie agendapunten 4-6 / 5,3 5-6 / 5,5 6 / 6 6 / 6 11 Kwaliteit geagendeerde vergaderstukken 4-5 / 4,6 5-6 / 5,5 5-6 / 5,7 5-6 / 5,5 12 Kwaliteit vergaderstructuur overleg 3-5 / 4,1 4-5 / 4,75 6 / 6 6 / 6 13 Kwaliteit voorzitterschap 3-5 / 4,4 4-5 / 4,75 6 / 6 6 / 6 14 Kwaliteit besluitvorming tijdens overleg 4-6 / 4,8 4-6 / 5 6 / / 5,75 15 Kwaliteit verslaglegging/notulering overleg 4-6 / 5,3 5-6 / 5,5 6 / / 6,25 16 Kwaliteit tenuitvoerlegging genomen besluiten 4-6 / 5,1 4-6 / 5, / 5,7 5-7 / 5,75 17 Ruimte voor inbreng van alle overlegdeelnemers 5-6 / 5,5 5-7 / / 5,3 6-7 / 6,25 18 Kwaliteit eigen inbreng respondent in overleg 5-7 / 4,6 5-6 / 5, / 5,7 5-6 / 5,75 19 Kwaliteit inbreng collega-deelnemers in ogen respondent 5-7 / 5,5 4-7 / 5, / 5,7 5-6 / 5,75 Projectbetrokkenheid 20 Project leeft in organisatie; betrokkenheid op alle niveaus 2-5 / 3,7 4-6 / / / 5,25 21 Project leeft bij ouders van cliënten/belangrijke anderen 4-6 / 5,5 6 / / / 5 Projectuitvoering 22 Beschikbaarheid financiën voor aanschaf materiële zaken 2-6 / 4,4 3-5 / 4, / 5,3 4-6 / 5,25 23 Beschikbaarheid financiën voor inzet personeel 4-6 / 4,7 3-5 / 4, / 5,3 4-5 / 4,5 24 Werktijd die voor projectactiviteiten beschikbaar is 3-5 / 3,7 2-5 / 3,5 4-5 / 4,7 4-6 / 5 25 Kwalificaties projectmedewerkers 4-6 / 5,7 5-6 / 5, / / 5,75 26 Geïnformeerd/geïnstrueerd zijn van projectmedewerkers 5-6 / 5,4 5-6 / 5, / 5,7 5-6 / 5,75 27 Kwaliteit werkmaterialen en methodieken 5-6 / 5,3 4-6 / 5,25 6 / / 5,5 28 Kwaliteit ruimtes t.b.v. behandel-/onderwijsprogramma 4-6 / 4,8 4-5 / 4,5 6 / / 5,5 29 Tijdige beschikbaarheid cliëntrapportages 4-6 / 4,6 4-6 / 4, / 5,5 5-6 / 5,5 30 Kwaliteit cliëntrapportages op basis intake/behandelplan 4-6 / 5,5 5-6 / 5,25 6 / / 5,5 31 Volledigheid dossiers/cliëntgegevensregistratie 4-6 / 5,5 4-6 / 5,25 6 /6 5-6 / 5,5 Projectinformatievoorziening en afstemming 32 Onderling communicatie projectmedewerkers 4-6 / 5,1 5-6 / 5,5 5-6 / 5,7 4-6 / 4,75 33 Communicatie binnen eigen organisatie 2-5 / / 4, / 5,7 4-6 / 4,75 34 Onderlinge samenwerking projectmedewerkers 4-6 / 5,3 5-6 / 5, / 5,3 5-6 / 5,5 35 Communicatie/afstemming met cliënten/jongeren 5-6 / 5,4 5-6 / 5,75 6 / 6 6 / 6 36 Communicatie/afstemming met ouders cliënten 5-6 / 5,3 4-6 / 5 6 / 6 6 / 6 37 Communicatie/afstemming met coaches/begeleiders 5-6 / 5,5 5-6 / 5,75 6 / 6 6 / 6 38 Informatievoorziening aan cliënten/jongeren 5-6 / 5,5 5-6 / 5,75 6 / / 5,5 39 Informatievoorziening aan ouders/belangrijke anderen 5-6 / 5,2 5-6 / 5, / 6,3 6 / 6 40 Communicatie over project naar buiten toe 5-6 / 5,2 4-6 / 5, / 6,3 5-7 / 6

23 23 De LWG waardeert 72% van alle items nu gemiddeld met een 5 (voldoende) of hoger, tegen 60% een jaar geleden. De SG doet hetzelfde met 92% van de items, tegen 95% op het eerste meetmoment. Dat constaterende, is het niet verrassend dat het oordeel van de SG op vijf van de zes thema s uit de Vragenlijst iets positiever is dan dat van de LWG. Bovendien is de spreiding in de antwoorden is bij de leden van de LWG bij 42% van alle items groter in negatieve zin dan bij de SG. Het contrast tussen het oordeel van LWG en SG is het grootst bij de thema s Landelijke regievoering/projectmanagement en Projectuitvoering. Bij dit laatste thema lopen de meningen van de leden van de LWG ook het sterkst uiteen (range itemscores is 2-6). Meerdere leden van SG en LWG vinden elkaar in hun oordeel dat de in het kader van KAIRO noodzakelijke extra inzet hoog is in relatie tot de beschikbare projectmiddelen. De grootste zorg van beide groepen respondenten is dan ook de continuïteit en borging van het project na het wegvallen van de aanvullende projectfinanciering. De spanning tussen benodigde projectinzet en financiële middelen, die ook gedurende het project duidelijk aanwezig was, zal hierdoor aanzienlijk toenemen. Wil het project op de rails blijven dan is aandacht voor structurele financiële borging een vereiste. Extra middelen zullen gevonden moeten worden. De reguliere financiering is niet toereikend; daarover zijn de respondenten het met elkaar eens. Naast deze breed gedragen zorg, zijn in de vragenlijsten ook een aantal andere commentaren te vinden. Met name wordt daarin aandacht gevraagd voor de volgende punten: het in vergelijking met het 1 e leerjaar weinig uitgewerkt zijn van het 2 e en 3 e leerjaar; onvolledigheid van dossiers voor LGF-aanvragen; de toenemende vraag van andere onderwijsorganisaties om voorlichting over het project; de meerwaarde voor de concrete leer-/zorgsituatie van de internationale projectcomponent; het ontbreken van een lijnfunctionaris in de Stuurgroep, en zodoende onvoldoende bijsturing op financiële en bedrijfsmatige aspecten van het project, zoals het opvangen/voorkomen van pieken in werkbelasting van medewerkers; invullen van ambulante begeleiding op school gedurende het project het zoeken van stagebedrijven, en het vinden van/de overgang naar werk na het project, respectievelijk doorstromen naar het HBO; het opzetten van een E-community in het kader van het project. Tot slot hebben de respondenten van beide groepen aangegeven van welke programma-elementen zij verwachten dat deze ook onder reguliere condities goed zullen blijven lopen. Genoemd worden: het voorprogramma: oudercursus en leerkrachttraining; behandeltrainingen van leercoaches/kairobegeleiders; onderwijsbegeleiding; uitwisseling tussen behandeling/persoonlijk begeleiders en onderwijs/ leercoaches rondom individuele cliënten, en het gebruik van de evaluatiemonitor voor behandelresultaten.

24 24 6 Resultaten evaluatie leercoaches/persoonlijk begeleiders In de vorige paragraaf stond de procesevaluatie centraal vanuit het perspectief van de leden van Landelijke Werkgroep en Stuurgroep, als verantwoordelijken voor de ontwikkeling en aansturing van het KAIROproject. In deze paragraaf richten we ons op het oordeel van sleutelfunctionarissen in de uitvoeringspraktijk: de leercoaches en persoonlijk begeleiders. Hun oordelen over verloop en opbrengst van het project zijn geïnventariseerd met behulp van de Evaluatielijst voor Leercoaches en Persoonlijk Begeleiders, die deze zomer op beide locaties is uitgezet. Deze lijst omvat 22 vragen. Respondenten wordt gevraagd te oordelen op een 10-punts schaal (rapportcijfer). Bij twee vragen (6 en 7) wordt de mogelijkheid geboden het toegekende cijfer schriftelijk te motiveren. De vragen 10-22, die betrekking hebben op respectievelijk doelrealisatie en beleidsmatige effecten, zijn gebaseerd op de betreffende passages uit de project(subsidie)-aanvraag van KAIRO. Tabel 10 geeft een overzicht van de resultaten. Van de benaderde leercoaches en persoonlijk begeleiders heeft ruim tweederde (69%) gereageerd: een voldoende hoog percentage om het trekken van conclusies te rechtvaardigen. Een enkele uitzondering daargelaten vinden we geen significante verschillen tussen de antwoorden van respondenten op de beide locaties. Tenzij expliciet anders aangegeven, hebben de navolgende conclusies daarom een locatieoverstijgend karakter, en spreken we over de evaluatie van de leercoaches en/of persoonlijk begeleiders. Tabel 10. Evaluatielijst Leercoaches/Persoonlijk Begeleiders. Resultaten spreiding gemiddelde 1. Hoe schat u gemiddeld het enthousiasme in van de jongeren zelf over het tot dusver geboden programma? 2. In hoeverre is aan het eind van dit schooljaar naar uw mening gemiddeld sprake van toename van zelfredzaamheid bij de deelnemers? 3. In hoeverre is aan het eind van dit schooljaar naar uw mening bij de deelnemers sprake van ontwikkeling van competenties die noodzakelijk zijn voor de arbeidsmarkt? 4. In hoeverre is aan het eind van dit schooljaar naar uw mening sprake van verbeterd arbeidsmarktperspectief voor de deelnemers? Programma-uitvoering en -waardering 5. In welke mate zijn de activiteiten in het kader van het programma uitgevoerd zoals gepland? 6. Wat zijn volgens u sterke onderdelen van het programma zijn, die het goed hebben gedaan? 7. Zijn naar uw mening nog (verdere) aanpassingen nodig voordat het onderwijszorgprogramma structureel kan worden ingevoerd? 8. Hoe schat u in dat de jongeren met wie u als begeleider of coach te maken hebt het project gemiddeld waarderen? 9. Hoe schat u in dat de ouders/verzorgers van de deelnemers met wie u als begeleider of coach te maken hebt het project gemiddeld waarderen? 7-8 7, , , , ,2 n.v.t. n.v.t. n.v.t. 50%: Ja 50%: Nee 7-9 7, ,1

25 25 Tabel 10. Evaluatielijst Leercoaches/Persoonlijk Begeleiders - vervolg. Doelrealisatie De algemene projectdoelstelling van het KAIRO-programma luidt volgens het projectplan als volgt: Jongeren met autisme worden door een gezamenlijk optreden van onderwijs en zorg in staat gesteld om een beroepsopleiding te volgen die: 1. recht doet aan hun mogelijkheden; 2. inzicht en acceptatie brengt van realistische mogelijkheden/beperkingen van de jongeren en naasten en 3. actieve uitbouw van zelfredzaamheid bewerkstelligt. 10. In hoeverre vindt u op dit moment dat het 1 e aspect van de algemene projectdoelstelling ('de beroepsopleiding doet recht aan hun mogelijkheden ) wordt gerealiseerd? 6-8 7,1 11. In hoeverre vindt u op dit moment dat het 2 e aspect van de algemene projectdoelstelling (' brengt inzicht en acceptatie van realistische mogelijkheden/beperkingen van de jongeren en naasten ) wordt gerealiseerd? 12. In hoeverre vindt u op dit moment dat het 3 e aspect van de algemene projectdoelstelling ( bewerkstelligt actieve uitbouw van zelfredzaamheid) wordt gerealiseerd? KAIRO heeft meerdere subdoelstellingen. Geef hierna voor elke subdoelstelling aan in hoeverre u vindt dat het project er in slaagt deze te realiseren 13. De doelgroep ondersteunen bij het kiezen, verkrijgen en behouden van een opleiding in het reguliere (beroeps-) onderwijs 6-8 7, , ,5 14. Motiveren van mensen met autisme tot deelname aan onderwijs? 4-9 7,5 15. Vergroten deskundigheid bij docenten/begeleiders? 6-9 7,5 16. Toerusten van de directe omgeving van de jongere als steunend systeem? 7-9 7,5 17. Voorkomen van uitval uit het reguliere onderwijs van leerlingen die een bepaalde vorm van autisme hebben? Beleidsmatige effecten 7-8 7,3 18. In hoeverre vindt u dat in het project de beoogde samenwerking en integrale afstemming tussen school en behandeling wordt gerealiseerd? 19. In hoeverre vindt u dat in het project de beoogde samenwerking met ouders wordt gerealiseerd? 20. In hoeverre vindt u dat er sprake is van inbedding van de projectresultaten in het reguliere beleid / structurele aanbod van uw organisatie? 21. In hoeverre vindt u dat het project bijdraagt aan beleidsvoornemens gericht op normalisering en integratie van de KAIRO-doelgroep? 22. In hoeverre vindt u dat de volgende doelstelling uit het projectplan is gerealiseerd: de steunende functie van het microsysteem versterken, en zodoende bijdragen aan het toerusten van mantelzorg? 3-8 6, , , , Het gemiddelde evaluatierapportcijfer van alle respondenten gezamenlijk is een ruime voldoende: 7,2. Op het niveau van individuele respondenten variëren de rapportcijfers van 6,1 tot 7,8. Een vergelijkbare variatie is ook te zien bij gemiddelde cijfers voor de verschillende thema s in de Evaluatielijst (die we hierna afzonderlijk bespreken) als volgt: 1. Resultaten: 6,5-7,8 2. Programma-uitvoering en -waardering: Realisatie hoofddoelen: 5,7-7,7 4. Realisatie subdoelen: 6,4-8,2 5. Beleidsmatige effecten: 6,2-8

26 26 Afhankelijk van het thema liggen de rapportcijfers van de verschillende respondenten 1-2 rapportpunten uiteen. Ze zijn het dus niet op alle fronten helemaal met elkaar eens. De variatie in beoordeling is het kleinst als het gaat om Programma-uitvoering en waardering, en het grootst bij Realisatie van hoofd- en subdoelen. Het 5 e thema Beleidsmatige effecten is het enige waarbij sprake is van een duidelijk locatieverschil in beoordeling: de Dordtse cijfers bevinden zich duidelijk aan de onderkant van de range; de Arnhemse variëren van 6,2 tot 8. Thema: Resultaten De respondenten geven aan het enthousiasme van de jongeren over het programma positief in te schatten cijfer 7,5), evenals de toename van zelfredzaamheid bij de deelnemers (cijfer 7,4). Het oordeel over de ontwikkeling van competenties die noodzakelijk zijn voor deelname aan de arbeidsmarkt en - in de samenhang daarmee - de verbetering van het arbeidsmarktperspectief valt wat lager uit maar is nog steeds voldoende (cijfers respectievelijk 6,6 en 6,5). Slechts enkele beoordelaar geeft op onderdelen een onvoldoende, met name bij de vragen 3 (1x 4; 1x 5) en 4 (1x 5). Thema: Programma-uitvoering en -waardering Bij dit thema variëren de cijfers wat minder: van 7,1 tot 7,9. Over vraag 7 (ja/nee-vraag) zijn de meningen verdeeld: even veel respondenten vinden wel als niet dat het huidige KAIRO-programma nog verder ontwikkeld moet worden, alvorens het structureel moet worden ingevoerd. Thema: Realisatie hoofd- en subdoelen Hier ontlopen de gemiddelde cijfers elkaar nauwelijks: de gemiddelde cijfers liggen tussen 7,1 en 7,3 voor de hoofddoelen, en tussen 7,3 en 7,5 voor de subdoelen van het project. Dit betekent dat het project er in ruim voldoende mate in slaagt om recht te doen aan de mogelijkheden van de cliënten, dat het bijdraagt aan inzicht en acceptatie van realistische mogelijkheden en beperkingen bij cliënten en hun naasten, en dat het cliënten helpt hun zelfredzaamheid te vergroten. Op individueel niveau is er meer variatie in beoordeling. Kijken we naar de hoofddoelstelling van het programma (vragen 10, 11 en 12), dan zien we het volgende. Op één uitzondering na (1x een 5 bij vraag 10) doet het programma voldoende (6) tot goed (8) recht aan de mogelijkheden van cliënten, draagt het bij aan een realistische kijk op, en acceptatie van hun mogelijkheden en beperkingen, en vergroot het de zelfredzaamheid van de deelnemers. Ook op subdoelniveau is sprake er individuele verschillen: hier loopt de cijferrange van 5 (1x gegeven) tot 9. Eén respondent beoordeelt vraag 15 (Vergroot het project de deskundigheid bij begeleiders/docenten?) met een onvoldoende (4). Deze individuele verschillen laten echter onverlet dat het oordeel overall tussen ruim voldoende en goed schommelt als het gaat om het ondersteunen van cliënten bij het zoeken en volgen van een reguliere opleiding, het motiveren van cliënten tot onderwijsdeelname en het voorkomen van uitval, en het vergroten van de deskundigheid van docenten en begeleiders. Thema: Beleidsmatige effecten Overall wordt dit thema met een cijfer 6,9 iets minder positief beoordeeld dan de andere thema s. Daarnaast zien we ook hier een contrast tussen enerzijds een zeer geringe spreiding van gemiddelden (6,9 7) en anderzijds en grote individuele variatie (3-9). Overigens wordt deze observatie genuanceerd door het gegeven dat slechts drie beoordelaars bij een van de vijf vragen in deze rubriek een keer een onvoldoende geven: respectievelijk voor de vragen 18 (een 3) en 19 (2x een 5). De cijfers overziend is de conclusie dat de beoordelaars vinden dat het project in voldoende tot ruim voldoende mate er in slaagt om: a) samenwerking tot stand te brengen tussen scholing en behandeling, en tussen opleiders/behandelaars en ouders, b) de projectopbrengsten te integreren in het reguliere aanbod en beleid, c) integratie van deelnemers aan het programma te bevorderen, en c) het microsysteem van cliënten en hun naasten te versterken.

27 27 7. Resultaten levensloopmonitor Evaluatie van KAIRO door Johan (gefingeerde naam). Johan is tevreden over de behandeling. Hij is nu beter in staat dingen te doen die hij wil, kan beter met mensen en situaties omgaan waar hij eerder moeite mee had. Toch vindt hij nog niet dat hij door de behandeling voldoende vooruit is gegaan. Johan geeft ook aan vooruit te zijn gegaan in communicatieve- en sociale vaardigheden, en vrije tijdsvaardigheden. Hij maakt makkelijker een praatje op school met klasgenoten. In zijn vrije tijd neemt hij nu ook zelf initiatief bij onderhouden van contacten. Hij heeft nu regelmatig contact met een paar vrienden en is in staat dit ook na de trainingen vast te houden. Verder is zijn zelfverzorging verbeterd. Houden aan planning en niet meer uitstellen van zaken die hij niet nuttig vindt, is niet veranderd. Volgens moeder is er een afname van de problemen als geheel (SDQ). Op alle vlakken ziet moeder vooruitgang, behalve bij prosociaal gedrag. Effectmeting laat wel vermindering van totaal aantal problemen zien, maar dit is niet statistisch significant. Moeder herkent de uitslag. Ze ziet wel dat Johan nu zelf initiatief neemt in sociale contacten en dat ook doorzet na de trainingen. Ze ziet echter niet dat hij ook nieuwe contacten maak, en denkt dat het om die reden niet als significante vooruitgang is gemeten. Geeft aan dat vragen zo gesteld zijn dat het soms lastig antwoorden is en het niet altijd aansluit op situatie. Ook volgens de leerkrachten is het totaal aantal problemen verminderd (SDQ). Effectmeting scoort een verbetering (++) bij zowel emotionele problemen als aandachtstekort en hyperactiviteit. De leerkracht geeft aan dat het lijkt of er daarnaast ook een toename van bepaalde problemen is; feitelijk is dat niet zo, deze problemen zijn echter wel meer zichtbaar geworden. Deze samenvatting van een mondelinge evaluatie met een willekeurige deelnemer aan het KAIRO project, en met zijn ouders en begeleiders, geeft een indruk van de manier waarop KAIRO door de betrokkenen is ervaren, mede aan de hand van de instrumenten van de Levensloopmonitor. In de volgende paragrafen zullen we de uitkomsten van het programma nader onder de loep nemen. 7.1 Gedragsproblemen jongere bij aanvang en afsluiting Het beloop van de gedrags- en emotionele problemen van de jongeren tussen het begin en einde van het KAIRO-traject is gemeten met de SDQ. We presenteren eerst de uitkomsten van de SDQ die door de ouders is ingevuld; de uitkomsten volgens de trainers en leercoaches komen daarna aan de orde. De SDQ is in veel gevallen door beide ouders ingevuld, maar in totaal is de moeder het vaakst degene die de lijst invulde. Per deelnemer hebben we slechts één vragenlijst genomen om het verschil tussen begin- en eindmeting te berekenen. Indien de SDQ door beide ouders was ingevuld, hebben we daarvoor de vragenlijst van moeder genomen. Dat levert een totaal op van 16 deelnemers, waarbij de SDQ door minstens één van beide ouders op beide meetmomenten is ingevuld. De uitkomsten van de SDQ worden gepresenteerd in de vorm van deviatiescores, die het verschil ten opzichte van de landelijke normgroep van normale jongeren aangeven. Per definitie is een deviatiescore van 0 gelijk aan het gemiddelde van de landelijke normgroep. Hoe hoger de deviatiescore, des te groter de afwijking ten opzichte van het landelijk gemiddelde, en hoe ernstiger de problematiek op een bepaalde dimensie. Scores van 1,28 of hoger betekenen dat slechts 10% van de algemene bevolking even hoog of nog hoger scoort. Zulke scores zijn dan ook een aanwijzing voor aanzienlijke problematiek (vgl. Tabel 4).

28 28 Figuur 1. Sociaalemotionele en gedragsproblemen jongeren (SDQ) bij aanvang (T0) en einde (T3), volgens ouders (N=16) 3 Deviatiescores Emoties Gedrag Hyperactviteit Sociaal Prosociaal Totaal Aanvang Einde Figuur 1 laat zien dat de jongeren die aan KAIRO deelnamen bij aanvang vooral emotionele en sociale problemen vertoonden, en geen of nauwelijks gedragsproblemen of hyperactiviteit. Dit beeld voldoet aan het bij de intake gestelde criterium, dat (ernstige) gedragsproblemen een contra-indicatie zijn voor deelname aan KAIRO. Ook aan het einde van het traject is er sprake van sociaalemotionele problematiek, maar met name de sociale problemen zijn dan flink afgenomen. De gemiddelde deviatiescores voor Sociale problemen en (het gebrek aan) Prosociaal gedrag zijn dan nog wel in het klinisch bereik. De Totale problemen berekend op basis van de eerste vier probleemschalen zijn eveneens afgenomen. De gemiddelde scores uit de grafiek zijn ook in de volgende tabel 11 weergegeven, met bijbehorende standaardafwijkingen. Daarnaast zijn de effectgroottes en het effect berekend. Daaruit blijkt dat de effectgroottes van de vermindering van sociaalemotionele problematiek variëren van 0,24 (een klein effect) voor emotionele problemen tot 0,76 (middelgroot effect) voor sociale problemen. Over het geheel is er volgens de ouders dus een betekenisvolle vermindering van sociaalemotionele problematiek opgetreden. Tabel 11. Sociaalemotionele en gedragsproblemen (SDQ Ouders) bij aanvang (T0) en einde (T3). T0 Dimensie N M SD M SD ES Effect Emotionele problemen 16 1,49 1,56 1,13 1,49 0,24 ++ Gedragsproblemen 16 0,09 0,73 0,18 1,32-0,08 0 Hyperactiviteit 16 0,50 0,72 0,48 0,75 0,03 0 Problemen met leeftijdsgenoten 16 2,40 1,17 1,42 1,39 0,76 + Prosociaal gedrag 16 1,96 1,65 1,29 1,61 0,41 + Totale problemen 16 1,52 0,78 1,11 0,94 0,47 ++ Noot. Deviatiescore > 1,28 wil zeggen: er is sprake van aanzienlijke problematiek. Betekenis ES: <0,20 = verwaarloosbaar effect; 0,20 0,49 = klein effect; 0,50 0,79 = middelgroot effect; >0,80 = groot effect. Codering Effect: - verslechterd; 0 onveranderd; + verbeterd, maar niet klachtenvrij; ++ verbeterd en klachtenvrij. T3

29 29 Ter vergelijking met de beoordeling van de vooruitgang in het functioneren door de ouders, geven we nu de resultaten weer van de beoordeling van de jongeren door trainers en leercoaches. Deze behandelaars hebben dezelfde vragenlijst ingevuld als de ouders, maar op verschillende tijdstippen in het traject. De trainers hebben de SDQ ingevuld bij het einde van Introductieprogramma (T1) en halverwege het OBP (T2); de leercoaches halverwege (T2) en aan het einde van het OBP (T3). Leercoaches en trainers hebben de jongeren dus alleen bij T2 tegelijkertijd beoordeeld. In Figuur 2 zijn de gemiddelde scores van de behandelaars op de verschillende tijdstippen weergegeven. Figuur 2. Sociaal-emotionele en gedragsproblemen jongeren (SDQ) bij T1, T2 en T3, volgens trainers (N=13) en leercoaches (N=14) 2 Deviatiescores Emoties Gedrag Hyperactviteit Sociaal Prosociaal Totaal T1-Trainers T2-Trainers T2-Leercoaches T3-Leercoaches In figuur 2 is te zien dat de beoordelingen van de sociaalemotionele en gedragsproblemen door de trainers en leercoaches over het algemeen hetzelfde profiel vertonen als bij de ouders te zien was: geen of nauwelijks gedragsproblemen of hyperactiviteit, wel sociaalemotionele problematiek. Iets lager dan gemiddelde, negatieve scores voor gedragsproblemen betekent zelfs dat de KAIRO-jongeren volgens trainers en leercoaches minder gedragsproblemen vertonen dan de gemiddelde leerling in de algemene bevolking. De leercoaches signaleren wat meer emotionele problematiek dan de trainers, en ook valt op dat de leercoaches een flinke toename van prosociale problemen (oftewel een afname van prosociaal gedrag) zien aan het einde van het traject. De veranderingen tussen twee meetmomenten laten een wisselend beeld zien; over het algemeen lijkt er sprake van een toename van problemen in de loop van het traject. Een rechtstreekse vergelijking tussen de scores van ouders en behandelaars is niet goed mogelijk door de verschillen in meetmomenten. Bovendien is de groep jongeren die door trainers en leercoaches op verschillende meetmomenten is beoordeeld niet exact gelijk aan de groep jongeren die door de ouders is beoordeeld (vanwege ontbrekende gegevens bij verschillende metingen). Desondanks kunnen we constateren, dat de deviatiescores voor de sociaalemotionele problematiek bij de behandelaars over het algemeen aanzienlijk lager zijn dan die van de ouders. Uitzondering hierop vormt de beoordeling van Emotionele problemen, die volgens ouders en leercoaches bij T3 ongeveer gelijk zijn, en de ernst van Prosociale problemen bij T3, die volgens de leercoaches ernstiger zijn dan volgens de ouders. Het meest opvallend is echter, dat de meningen over het beloop van de problemen van ouders en behandelaars

30 30 behoorlijk uiteen lopen. Dit is nog beter te zien als we ook effectscores berekenen op basis van de scores van de behandelaars (Tabel 12). Tabel 12. Gedragsproblemen jongere (SDQ Leerkracht) volgens trainers en leercoaches. T1 Trainers N M SD M SD ES Effect Emotionele problemen 13 0,57 1,43 0,77 1,31-0,15 0 Gedragsproblemen 13-0,21 0,43-0,21 0,62 0,00 0 Hyperactiviteit 13 0,09 0,91 0,43 0,66-0,43 - Problemen met leeftijdsgenoten 12 0,57 1,03 0,72 1,00-0,15 0 Prosociaal gedrag 12 1,07 0,70 0,92 1,00 0,17 0 Totale problemen 12 0,28 0,59 0,64 0,61-0,60 - T2 Leercoaches N M SD M SD ES Effect Emotionele problemen 14 1,15 1,41 1,08 1,00 0,06 0 Gedragsproblemen 14-0,36 0,41-0,12 0,70-0,42 - Hyperactiviteit 14-0,29 0,80 0,25 0,96-0,61 - Problemen met leeftijdsgenoten 12 0,57 1,24 0,42 0,92 0,14 0 Prosociaal gedrag 9 0,80 0,82 1,71 1,09-0,94 - Totale problemen 12 0,13 0,85 0,43 0,70-0,39 - Noot. Deviatiescore > 1,28 wil zeggen: er is sprake van aanzienlijke problematiek. Betekenis ES: <0,20 = verwaarloosbaar effect; 0,20 0,49 = klein effect; 0,50 0,79 = middelgroot effect; >0,80 = groot effect. Codering Effect: - verslechterd; 0 onveranderd; + verbeterd, maar niet klachtenvrij; ++ verbeterd en klachtenvrij. T2 T3 Bij de behandelaars ontbreekt de aanvangsmeting (T0). Deze meting is bewust niet afgenomen omdat zij immers op dat moment van de cliënt alleen bij de intake hebben een indruk hebben opgedaan. Een berekening van de effectscores van de veranderingen tijdens het traject volgens de behandelaars is daarom gebaseerd op de verschillen tussen T1 en T2 (trainers) en tussen T2 en T3 (leercoaches). Zowel bij de trainers als bij de leercoaches is de leerkracht-versie van de SDQ afgenomen. De deviatiescores zijn dus voor beide typen professionals gebaseerd op de normen voor leerkrachten, omdat bekend is dat professionele beoordelaars over het algemeen andere normen hanteren dan ouders bij het beoordelen van gedragsproblemen bij jongeren (vgl. Kroes, Veerman, & de Bruijn, 2000). Uit tabel 12 blijkt, dat de meeste scores binnen het normale bereik vallen. De scores voor Prosociaal gedrag wijzen op matige tot ernstige problemen op dit domein volgens beide typen beoordelaars; verder zijn er matige problemen op emotioneel gebied, althans volgens de leerkrachten. Dit is na het introductieprogramma + het eerste halfjaar op school. De effectgroottes van de veranderingen tussen twee verschillende meetmomenten zijn over het algemeen gering, maar op een aantal domeinen is sprake van een duidelijke verslechtering van het functioneren in de loop van het traject. Dit geldt met name voor Hyperactiviteit (volgens beiden), Gedragsproblemen en Prosociaal gedrag (volgens de leercoaches). Ook de scores voor Totale problemen laten volgens beide beoordelaars een verslechtering zien. Er zijn duidelijke verschillen te constateren tussen de beoordelingen van de jongeren door de ouders enerzijds, en de professionele behandelaars anderzijds. Deze betreffen zowel de ernst van de problemen als het beloop. Deze verschillen zijn op zich niet nieuw; uit verschillende effectstudies is gebleken dat

31 31 professionele beoordelaars de ernst van de problemen als minder ernstig beoordelen dan ouders, en dat zij veel minder veranderingen constateren tijdens de loop van een behandeling dan ouders dat doen (zie bijv. Janssen & Oud, 1993). Daarvoor zijn verschillende oorzaken aan te geven, die tezamen dit beeld kunnen verklaren (Kroes et al., 2000). Een belangrijke oorzaak voor het verschil in mening over de effecten is dat de meetmomenten voor de beoordelaars verschillen: ouders beoordelen kinderen bij aanvang, op basis van de periode voorafgaand aan de hulpverlening; behandelaars kunnen kinderen pas goed beoordelen als de hulpverlening al een tijd op gang is. Bovendien zien professionele beoordelaars tegen het einde van de behandeling vaak een zekere terugval, die wellicht samenhangt met het naderende afscheid van behandeling. Deze laatste verklaring komt overeen met andere informatie uit mondelinge en schriftelijke evaluaties van het KAIRO-traject. Met name leercoaches geven daarbij aan dat hun hogere ernstscores aan het eind van het traject voor een deel veroorzaakt zijn doordat de leercoaches de jongere aan het eind veel beter heeft leren kennen, en dus ook zijn problematiek beter kan onderkennen. 7.2 Competentiebeleving Jongere bij aanvang en afsluiting De competentiebeleving van de jongeren is gemeten met de Competentiebelevingsschaal voor Adolescenten (CBSA). De competentiebeleving heeft betrekking op een aantal domeinen van functioneren, zoals schoolvaardigheden, sociale competenties, gedragshouding en zelfwaardering. Het landelijk gemiddelde van de deviatiescores is per definitie 0; positieve scores op de CBSA wijzen op een positieve competentiebeleving, negatieve scores op een beneden gemiddelde competentiebeleving. Volgens de normering van de CBSA is er sprake van een problematische competentiebeleving als de deviatiescore lager is dan -1,00 (corresponderend met het 16 e percentiel in de landelijke normgroep). In figuur 4 zijn de uitkomsten weergegeven voor de competentiebeleving van de jongere bij T0 en T3. Figuur 3. Competentiebeleving jongeren (CBSA) bij aanvang en einde (N=13). 1,5 Deviatiescores 1 0,5 0-0,5-1 -1,5 Schoolv.h. Sociale acc. Sportieve v.h. Uiterlijk Gedrag Vriendschap Eigenwaarde Aanvang Einde In figuur 3 is te zien dat de scores op het gebied van sociale acceptatie, sportieve vaardigheden, vriendschap en zelfwaardering bij aanvang beneden het landelijke gemiddelde liggen. Op deze terreinen

32 32 voelden de jongeren zich bij aanvang dus minder competent. Op het gebied van sociale acceptatie is de gemiddelde score zelfs lager dan -1, wat duidt op een problematische competentiebeleving. De zelfbeleving van de jongeren komt goed overeen met het beeld dat anderen ouders, trainers en leercoaches van hen hebben: er is sprake van sociaalemotionele problematiek, niet van gedragsproblemen. Opvallend is de grote verschuiving in zelfbeleving die in de loop van onderwijsbehandeltraject is opgetreden: aan het eind voelen de jongeren zich veel competenter op sociaal gebied en is ook hun gevoel van eigenwaarde behoorlijk toegenomen. Daarentegen vinden de jongeren dat ze zich aan het einde van de behandeling iets minder goed gedragen dan aan het begin, maar desondanks is de score voor Gedrag aan het eind nog altijd boven gemiddeld. Tenslotte is te zien dat de jongeren zich zowel bij aanvang als aan het einde niet meer of minder competent voelen op het gebied van schoolse vaardigheden dan hun leeftijdsgenoten uit de normale populatie. In Tabel 13 zijn de gemiddelde deviatiescores op de CBSA, de standaardafwijkingen, de effectgroottes (ES) van het verschil tussen aanvang en afsluiting, en de codering van het effect weergegeven. Tabel 13. Competentiebeleving (CBSA) bij aanvang en afsluiting. T0 Dimensie N M SD M SD ES Effect Schoolvaardigheden 12 0,07 0,91-0,15 0,94-0,24 - Sociale acceptatie 13-1,13 1,21 0,17 1,09 1,13 ++ Sportieve vaardigheden 13-0,65 1,03 0,23 1,13 0,81 ++ Fysieke verschijning 13 0,22 1,24 0,40 1,28 0,14 0 Gedragshouding 13 0,83 1,05 0,30 1,25-0,46 - Hechte vriendschap 13-0,89 1,49 0,33 1,26 0,88 ++ Gevoel van eigenwaarde 13-0,45 1,69 0,34 1,46 0,50 ++ Noot. Deviatiescore < -1 wil zeggen: er is sprake van een problematische competentiebeleving. Betekenis ES: <0,20 = verwaarloosbaar effect; 0,20 0,49 = klein effect; 0,50 0,79 = middelgroot effect; >0,80 = groot effect. Codering Effect: - verslechterd; 0 onveranderd; + verbeterd, maar nog wel problematisch; ++ verbeterd en niet problematisch. T3 Zoals al in de grafiek te zien was, is er een behoorlijk grote verbetering opgetreden in de zelfbeleving van de jongeren op het gebied van sociale acceptatie, sportieve vaardigheden, vriendschap en zelfwaardering. De effectgroottes op deze gebieden varieerden van 0,50 tot 1,13 middelgrote tot grote effecten dus. De competentiebeleving op het gebied van schoolse vaardigheden en gedrag is daarentegen iets gedaald (ES resp. -0,24 en -0,46), maar is ook aan het einde van het behandeltraject geenszins problematisch 7.3 Gezinsfunctioneren bij aanvang en afsluiting Het gezinsfunctioneren wordt gemeten met de Vragenlijst Gezinsfunctioneren Ouders (VGFO). Net als bij de CBSA het geval is, worden met de VGFO positieve vaardigheden of competenties gemeten, in dit geval op verschillende gebieden van het gezinsfunctioneren. Dat betekent dat positieve deviatiescores duiden op een meer dan gemiddeld goed functioneren op bijvoorbeeld het gebied van opvoedingsvaardigheden, sociale contacten van het gezin, of op een goede partnerrelatie. Negatieve scores duiden op een minder dan gemiddeld goed functioneren, en deviatiescores lager dan -1,00 (beneden het 16 e percentiel van de voorlopige normgroep) wijzen op een problematisch functioneren.

33 33 Figuur 4. Gezinsfunctioneren (VGFO) bij aanvang en einde (N=15). 1 Deviatiescores 0,5 0-0,5-1 Basiszorg Soc. Contacten Opvoedingsv.h. Jeugdbeleving Veiligheid Indiv. Funct. Relatie Totaal Aanvang Einde De gemiddelde scores voor het gezinsfunctioneren bij aanvang zijn op de meeste domeinen wat lager dan het landelijke gemiddelde, maar wijken daar toch niet al te ver van af. Uitzondering daarop vormt de Basiszorg, die bij aanvang als veel lager dan gemiddeld wordt ervaren, en aan het einde van de behandeling zelf een geringe maar wel betekenisvolle verslechtering laat zien. Bij de andere gebieden is er over de hele lijn vooruitgang te constateren aan het eind van het behandeltraject, met name wat betreft sociale contacten van het gezin, opvoedingsvaardigheden en partnerrelatie. De effectgroottes van deze veranderingen op deze gebieden, weergegeven in Tabel 14, variëren van 0,28 (sociale contacten) tot 0,44 (partnerrelatie). Het gaat dus om kleine maar wel betekenisvolle effecten. Ook de scores voor het totale gezinsfunctioneren bij aanvang en einde laten een kleine verbetering zien. Tabel 14. Gezinsfunctioneren (VGFO) bij aanvang en einde volgens de ouders. T0 Dimensie N M SD M SD ES Effect Basiszorg 15-0,74 0,99-0,96 0,97-0,22 - Sociale Contacten 15-0,43 1,01-0,14 1,05 0,28 ++ Opvoedingsvaardigheden 15-0,46 0,93-0,15 0,97 0,33 ++ Jeugdbeleving 15-0,27 1,14-0,13 1,09 0,13 0 Veiligheid in het Gezin 15 0,09 0,54 0,26 0,87 0,23 ++ Individueel Functioneren 15 0,00 0,81 0,10 0,69 0,13 0 Partnerrelatie 10-0,21 1,41 0,29 0,79 0,44 ++ Totaal Gezinsfunctioneren 15-0,41 0,90-0,15 0,91 0,29 ++ Noot. Deviatiescore < -1 wil zeggen: er is sprake van een problematische competentiebeleving. Betekenis ES: <0,20 = verwaarloosbaar effect; 0,20 0,49 = klein effect; 0,50 0,79 = middelgroot effect; >0,80 = groot effect. Codering Effect: - verslechterd; 0 onveranderd; + verbeterd, maar nog wel problematisch; ++ verbeterd en niet problematisch. T3

34 Leercompetenties jongeren volgens trainers en leercoaches De leercompetenties van de jongeren zijn gemeten met het Leerling Competentie Profiel (LCP; De Wilde & Hamelink (2003). Dit instrument is een experimentele vragenlijst die ontwikkeld is om de leercompetenties van jongeren met ASS in het voortgezet onderwijs in kaart brengen. De vragenlijst wordt door leerkrachten ingevuld. Voor gebruik bij KAIRO is de lijst ingekort en toegespitst op de voor het OBP meest relevante competentiegebieden. Deze zijn: Emotie, Motivatie en beloning, Sociale interactie, en Sociale vaardigheden (tezamen het domein Sociaal-emotionele ontwikkeling), en Flexibiliteit in denken, Prikkelverwerking en aandacht, Communicatie, en Executieve vaardigheden (tezamen het domein Cognitieontwikkeling). De gemiddelde scores op de competentiegebieden kunnen variëren van 1 ( zeer zeker niet waar = zeer weinig competent) tot 5 ( zeker waar = zeer competent). De vragenlijst is nog niet genormeerd. Er kunnen dus nog geen vergelijkingen worden gemaakt met leerlingen uit een normale of klinische normgroep, en er kunnen ook geen deviatiescores worden berekend. Tabel 15. Leercompetenties jongere (LCP KAIRO) volgens de trainers en leercoaches. Trainers Leercoaches Dimensie N T1 T2 N T2 T3 Emotie, Motivatie en beloning 25 3,18 3, ,37 3,30 Sociale interactie 25 3,53 3, ,49 3,38 Sociale vaardigheden 25 3,46 3, ,46 3,45 Totaal Sociaal emotionele ontwikkeling 25 3,39 3, ,44 3,38 Flexibiliteit in denken 25 3,26 3, ,20 3,26 Prikkelverwerking 25 3,17 3, ,37 3,26 Communicatie, taalgebruik 25 3,54 3, ,57 3,44 Executieve vaardigheden 25 3,33 3, ,68 3,46 Totaal Cognitieve ontwikkeling 25 3,33 3, ,46 3,32 Noot. Leercompetentiescores kunnen variëren van 1 tot 5; hoe hoger de score, des te groter de competentie. In Tabel 15 zijn de uitkomsten weergegeven van de leercompetenties van de jongeren, zoals beoordeeld door de trainers van het behandelprogramma en de leercoaches binnen het roc. De situatie waarin de jongeren beoordeeld worden verschilt dus per beoordelaar (trainingsgroep vs. klas), en de meetmomenten overlappen elkaar maar gedeeltelijk: de trainers vulden de lijst in aan het eind van het Introductieprogramma (T1) en halverwege het OBP (T2), de leercoaches op T2 en aan het eind van het OBP (T3). We vergelijken de scores per beoordelaar op twee meetmomenten gedurende het programma; meting van het verschil tussen begin en eind van het KAIRO-programma is niet mogelijk. Zoals in de tabel te zien is, liggen de meeste scores iets boven het gemiddelde van de vragenlijst (= 3). Er zijn amper verschillen tussen de beoordelaars en de meetmomenten, en ook tussen de domeinen onderling is er nauwelijks verschil in scores. Bij toetsing (t-test) blijkt dan ook geen enkel verschil statistisch significant te zijn. Blijkbaar verandert het competentieprofiel nauwelijks gedurende het programma, maar het is ook mogelijk dat het LCP dit te weinig gedifferentieerd meet. Nadere analyse van dit instrument is daarom zeker op zijn plaats, maar zou voor dit evaluatieonderzoek te ver voeren.

35 35 8 Cliëntwaardering jongeren en ouders bij afsluiting In Tabel 16 zijn de uitkomsten weergegeven van de cliëntwaardering aan het einde van het gehele traject door de jongeren en hun ouders, gemeten met de GGZ Jeugdthermometer. De vragen van de Jeugdthermometer konden met ja (tevreden; score = 1) of nee (niet tevreden; score = 0) worden beantwoord. De scores per dimensie zijn het gemiddelde van de scores op de bijbehorende vragen. De scores per dimensie kunnen dus variëren van 0 ( op alle vragen nee geantwoord) tot 1 (op alles ja geantwoord). Het algemeen rapportcijfer wordt gescoord op een schaal van 1 tot 10. Tabel 16. Waardering hulp aan jongere (Jeugdthermometer GGZ) door jongeren en ouders bij afsluiting. Jongeren Ouders Dimensie N M SD N M SD Informatie 26,88,28 22,92,12 Inspraak* 25,93, Hulpverlener 25,95,23 22,98,11 Behandeling 25,80,29 16,98,08 Algemeen rapportcijfer 26 7,63 1, ,86,83 * De dimensies Informatie en Inspraak zijn bij de ouderversie van de Jeugdthermometer samengevoegd. De waardering voor het KAIRO-programma is zowel bij jongeren als ouders zeer hoog. Over aspecten van de behandeling zelf blijken de jongeren over het algemeen iets minder waardering te hebben (score 0,80) dan hun ouders (0,98). Zowel jongeren als ouders geven hoge algemene rapportcijfers.

36 36 9 Afvallers Zoals in hoofdstuk 2 van dit rapport is aangegeven, heeft een deel van de oorspronkelijke deelnemers aan de pilot van het project KAIRO het programma niet afgemaakt. Tijdens de duur van het onderwijsbehandelprogramma zijn 7 van de 29 deelnemers afgevallen. Op grond van deze aantallen is het uitvalpercentage van KAIRO berekend. Bovendien zijn tijdens het voortraject (Introductieprogramma) al 5 jongeren afgevallen. Deze laatste afvallers tellen weliswaar niet mee bij het berekenen van de uitval, maar tezamen met de 7 afvallers tijdens het OBP kunnen deze jongeren wel een beeld geven van de eigenschappen van de afvallers. Bij de meeste van deze afvallers is wel een aanvangsmeting verricht. Het is dan ook interessant om die gegevens te gebruiken voor een analyse van mogelijke verschillen bij aanvang tussen de afvallers en de jongeren die het hele traject hebben doorlopen. Wellicht kunnen we door zo n analyse specifieke eigenschappen van uitvallers op het spoor komen, wat ertoe kan bijdragen om redenen voor uitval te achterhalen of de intakecriteria te toetsen. Bij de analyse van uitvallers vergelijken we de scores van afvallers (N = 12) en blijvers (N = 22) op een aantal vragenlijsten die bij aanvang zijn afgenomen. Het gaat daarbij om mogelijke verschillen op het gebied van sociaalemotioneel functioneren, gedragsproblemen, competentiebeleving en gezinsfunctioneren. We vergelijken dus de gegevens van twee groepen jongeren, afvallers en blijvers, bij T0. Alle 12 afvallers hebben aan de aanvangsmeting deelgenomen; van de 22 uiteindelijke blijvers hebben er 21 een CBSA bij aanvang ingevuld. De respons bij de vragenlijsten die door de ouders zijn ingevuld ligt voor beide groepen wat lager. De analysemethode is grotendeels hetzelfde als bij de analyse van de verschillen tussen aanvang en einde het geval was: we vergelijken de deviatiescores bij aanvang van beide groepen jongeren en berekenen de effectgroottes van het verschil tussen beide groepen. Effectgroottes groter dan 0,20 wijzen in dit geval op een betekenisvol verschil tussen afvallers en blijvers. Figuur 5. Sociaal-emotionele en gedragsproblemen jongeren (SDQ ) bij afvallers en blijvers (T0), v olgens ouders. 3 Deviatiescores E mo tie s Ge dr ag Hype ra ctv ite it S ocia al P ro socia al To ta a l Blijvers A fvallers Analyse van de verschillen leert dat er een aantal belangrijke verschillen zijn tussen afvallers en jongeren die het hele programma hebben doorlopen. In figuur 5 zijn de scores voor sociaalemotionele en gedragsproblemen (SDQ Ouders) weergegeven, en in Tabel 17 de bijbehorende effectgroottes van het

37 37 verschil tussen beide groepen. Daaruit blijkt met name dat jongeren die afvallen veel meer gedragsproblemen vertonen dan de jongeren die het traject afmaken (ES = 0,96). Deze afvallers voldeden dus blijkbaar niet aan het intakecriterium, dat er geen sprake mocht zijn van ernstige gedragsproblematiek bij aanvang. Daarnaast is er bij afvallers sprake van meer problemen op het gebied van prosociaal gedrag (ES = 0,50). Tabel 17. Sociaalemotionele en gedragsproblemen jongere (SDQ Ouders) bij afvallers en blijvers (T0). Afvallers Blijvers Dimensie N M SD N M SD ES Emotionele problemen 11 1,78 1, ,49 1,56 0,18 Gedragsproblemen 11 1,36 1, ,09 0,73 0,96 Hyperactiviteit 11 0,65 0, ,50 0,72 0,18 Problemen met leeftijdsgenoten 11 2,44 1, ,40 1,17 0,03 Prosociaal gedrag 11 2,70 1, ,96 1,65 0,50 Totale problemen 11 2,04 1, ,52 0,78 0,57 Noot. Deviatiescore > 1,28 wil zeggen: er is sprake van aanzienlijke problematiek. Betekenis ES: <0,20 = verwaarloosbaar effect; 0,20 0,49 = klein effect; 0,50 0,79 = middelgroot effect; >0,80 = groot effect. Analyse van de verschillen in competentiebeleving (CBSA) tussen afvallers en blijvers leert, dat ook hier aanzienlijke verschillen zijn tussen afvallers en blijvers (zie figuur 6 en tabel 18). Met name de beleving op het gebied van gedrag, schoolvaardigheden, sportieve vaardigheden en gevoel van eigenwaarde is aanmerkelijk negatiever bij de afvallers dan bij de jongeren die het KAIRO-programma bleven volgen. Figuur 6. Competentiebeleving (CBSA) afvallers en blijvers bij aanvang. 1,5 Deviatiescores 1 0,5 0-0,5-1 -1,5 Schoolv.h. Sociale acc. Sportieve v.h. Uiterlijk Gedrag Vriendschap Eigenwaarde Blijvers Afvallers

38 38 Tabel 18. Competentiebeleving (CBSA) bij afvallers en blijvers (T0). Afvallers Blijvers Dimensie N M SD N M SD ES Schoolvaardigheden 12-0,55 1, ,01 0,82-0,49 Sociale acceptatie 12-0,76 1, ,00 1,11 0,20 Sportieve vaardigheden 12-1,30 1, ,70 1,17-0,51 Fysieke verschijning 12-0,48 1, ,03 1,21-0,34 Gedragshouding 12-0,33 1, ,78 1,01-1,07 Hechte vriendschap 12-0,70 1, ,71 1,34 0,01 Gevoel van eigenwaarde 12-1,12 1, ,50 1,53-0,43 Noot. Deviatiescore < -1 wil zeggen: er is sprake van een problematische competentiebeleving. Betekenis ES: <0,20 = verwaarloosbaar effect; 0,20 0,49 = klein effect; 0,50 0,79 = middelgroot effect; >0,80 = groot effect. Tenslotte blijkt ook het gezinsfunctioneren (niet in grafiek of tabel weergegeven) aanzienlijk problematischer te zijn bij de jongeren die uitvallen in de loop van het traject. Met name de partnerrelatie in de gezinnen van afvallers (deviatiescore -1,41) wordt door de ouders als aanmerkelijk slechter beoordeeld dan bij de gezinnen van blijvers (-0,48). Maar ook op de andere domeinen is er sprake van verschil in functioneren ten nadele van de gezinnen van de afvallers.

39 Samenvatting en Conclusie Aan het KAIRO-project is een onafhankelijk evaluatie-onderzoek gekoppeld dat zich richtte op de analyse van zowel het proces (instroom, verloop, randvoorwaarden) als het product (resultaat) van het project 10.1 Procesevaluatie Taxatie Onderzoeksperspectief Projectplan (TOP-scan) De TOP-scan geeft antwoord op de vraag: Is evaluatieonderzoek mogelijk als een project zo wordt uitgevoerd als het in het projectplan is uitgewerkt; zijn de voor zo n onderzoek noodzakelijke kernelementen: doelgroep, interventie, beoogde uitkomsten en randvoorwaarden, alsmede de achterliggende zorgaanbodvisie/-theorie in het projectplan voldoende omschreven? De screening van het KAIRO-projectplan (met inbegrip van bijlagen, handleidingen en werkboeken) resulteert in een voor de jeugdzorgsector zeer positieve score van 84%: in rapportcijfertermen: een ruime 8 (Praktikon, 2006). De beoogde doelgroep, alsook de voorgestelde interventie en de nagestreefde resultaten zijn duidelijk geformuleerd. De grote hoeveelheid bij het projectplan behorende losse projectdocumenten, die ongetwijfeld samenhangt met de complexiteit van het ontwikkelde programma, maakt het geheel wel onoverzichtelijk. Een tweede kritische kanttekening geldt de eenzijdige klinische onderbouwing (visie) van het project: deze is sterk gestoeld op praktijkervaringen en ontbeert een duidelijk empirisch of theoretischwetenschapplijk fundament. Voor de projectuitvoering is dit een risicofactor, temeer omdat KAIRO een geïntegreerd programma aan wil bieden, waarin zorg- en onderwijspartners samenwerken en communicatie en onderlinge afstemming sleutelbegrippen zijn. Wat betreft de explicitering van randvoorwaardelijke aspecten is het projectplan adequaat, met uitzondering van informatie betreffende de personele inzet. Dit laatste is in het vorig jaar gepubliceerde TOP-scan rapport als zorgpunt naar voren gebracht. De antwoorden van de leden van de Landelijke Werkgroep op de hierna (par ) besproken Vragenlijst Randvoorwaarden bevestigen deze zorg; de beperkte mogelijkheden voor personele inzet in het kader van het KAIRO0-project zijn zowel bij de tussentijdse evaluatie in 2006, als bij de eindevaluatie in 2007 als knelpunt benoemd Doelgroepanalyse De doelgroeptoets die in de loop van het voortraject met behulp van de Vragenlijst Doelgroepkenmerken is uitgevoerd wijst uit dat in totaal 42 intakes hebben plaatsgevonden. Bij 38 intakes (waarvan 3 bij meisjes) leidde dit tot een positief intakebesluit. Enkele jongeren uit deze groep vielen alsnog af vanwege het niet aanspreken van de aangeboden opleidingsrichtingen of capaciteitsproblemen. Redenen waarom kandidaten niet voldeden aan de gestelde intakecriteria waren, in volgorde van belangrijkheid: aanwezigheid van een andere handicap ofwel comorbiditeit, ernstige gezinsproblematiek, en motivatieproblemen bij de jongere. Uitgaande van de in het KAIRO-projectplan geformuleerde intakecriteria stellen we vast dat het profiel van de beoogde doelgroep in grote lijnen aansluit op de kenmerken van de jongeren die daadwerkelijk in KAIRO zijn ingestroomd. Er zijn echter ook vraagtekens, met name bij het van instromen jongeren in wiens gezin op het moment van intake sprake was van ernstige gezinsproblematiek en/of een instabiele woonsituatie, of bij wie ten tijde van de intake vraagtekens bestonden over hun motivatie voor deelname

40 40 aan het KAIRO-programma. Ook het contra-indicatiecriterium ernstige informatieverwerkingsstoornis vraagt om heroverweging, aldus de respondenten. Immers, bij alle jongeren in de doelgroep van het KAIRO-project sprake is van problemen op dit gebied. Daarom zou nader moeten worden uitgewerkt wanneer sprake is van informatieverwerkingsproblemen die zo ernstig zijn dat ze een succesvolle deelname aan het programma bij voorbaat verhinderen. Wat het benaderen van kandidaten betreft, worden op grond van de inmiddels opgedane ervaringen vanuit beide locaties suggesties gedaan die er toe kunnen leiden dat de beoogde doelgroep beter wordt bereikt (zie hoofdstuk 9). Deze aanbevelingen hebben met name betrekking op uiteenlopende aspecten van informatievoorziening aan jongeren en toeleidende scholen. En tenslotte gaat het bij deze doelgroepanalyse om de kenmerken van deelnemers en uitvallers bij aanmelding/intake; gedurende het traject zijn er ook nog uitvallers geweest, waarvan de kenmerken afzonderlijk geanalyseerd zijn zie hoofdstuk 5. Ook de kenmerken van deze latere uitvallers kunnen uiteraard licht werpen op de aard van de doelgroep die door KAIRO bereikt wordt, en op de eigenschappen van de jongeren die het beste profiteren van het aanbod van KAIRO Analyse Randvoorwaarden Project Aan de hand van de Vragenlijst Randvoorwaarden is in samenwerking met de Stuurgroep (SG) en Landelijke Werkgroep (LWG) geanalyseerd welke factoren uitvoering en verloop van het project hebben gefaciliteerd dan wel gehinderd. Thema s die in de Vragenlijst Randvoorwaarden aan bod komen zijn: Landelijke regievoering/projectmanagement, Regionale regievoering/projectmanagement, Kwaliteit projectoverleg, Projectbetrokkenheid, Financiële, Personele en Materiële randvoorwaarden, Informatievoorziening en onderlinge afstemming. De belangrijkste conclusie uit de vragenlijstgegevens is dat de waarderingen met betrekking tot de genoemde thema s over het algemeen redelijk tot zeer positief zijn: ruim driekwart (82,5%) van de gemiddelde scores ligt op het gewenste niveau ( voldoende tot (zeer) goed ; alle andere gemiddelde itemscores op één na (16%) liggen tussen matig/wisselend en goed. Opvallend laag is het LWGoordeel over de hoeveelheid werktijd die voor projectactiviteiten beschikbaar was: de gemiddelde score is onvoldoende/matig. Ook een jaar geleden bij de analyse van het voortraject was dit het geval. De enige andere onvoldoende beoordeling uit de voortrajectfase is in de projectfase een voldoende geworden: het project naar de mening van de respondenten gaandeweg voldoende gaan leven in de betrokken organisaties. Kijken we naar de gemiddelde themascores, dan blijken er twee in de ogen van de LWG niet helemaal het gewenste niveau ( voldoende ) te halen: Landelijke regievoering/ projectmanagement en Projectuitvoering. De andere thema s scoren voldoende tot goed. Vergelijken we de cijfers van de twee groepen respondenten en beide fasen (voortraject en project), dan zien we enerzijds enkele verschillen tussen beide groepen respondenten, en anderzijds verschuivingen in de oordelen van de beide groepen over tijd - zij het slechts lichte. Met name het oordeel van de LWG over het thema Landelijke regievoering en projectmanagement is gedurende de projectfase kritischer dan tijdens de voortrajectfase. De grootste zorg van de respondenten is de continuïteit en borging van het project zeker na het wegvallen van de aanvullende projectfinanciering. De spanning tussen benodigde projectinzet en financiële middelen, die ook gedurende het project duidelijk aanwezig was, zal hierdoor aanzienlijk toenemen. Wil het project op de rails blijven dan is aandacht voor structurele financiële borging een vereiste. Het is overigens van belang hierbij aan te tekenen dat de leercoaches en persoonlijk begeleiders aangeven er vertrouwen in te hebben dat ook zonder aanvullende projectfinanciering - dus

41 41 onder reguliere omstandigheden - een aantal programma-elementen goed zal blijven lopen. (zie de volgende subparagraaf) Projectevaluatie Leercoaches en Persoonlijk Begeleiders Bij de afronding van het evaluatieonderzoek is aan alle betrokken leercoaches en persoonlijk begeleiders als sleutelfiguren in de uitvoering van het KAIRO-project gevraagd hun oordeel te geven over het verloop (en de opbrengst) van het project. Hun mening is geïnventariseerd met behulp van de Evaluatielijst voor Leercoaches en Persoonlijk Begeleiders, die 22 items omvat. Het gemiddelde evaluatierapportcijfer van alle respondenten (2/3 van de aangeschreven groep) is ruim voldoende: 7,2. Individuele rapportcijfers lopen uiteen van 6,1 tot 7,8. Een vergelijkbare spreiding zien we ook bij gemiddelde cijfers voor de afzonderlijke thema s in de vragenlijst, als volgt: 1. Resultaten: 6,5-7,8; 2. Programma-uitvoering en waardering: 7 8; 3. Realisatie hoofddoelen: 5,7-7,7; 4. Realisatie subdoelen: 6,4-8,2 en 5. Beleidsmatige effecten van het project: 6,2-8. Afhankelijk van het thema liggen de rapportcijfers van de verschillende respondenten dus 1 tot 2 rapportpunten uiteen. De variatie in beoordeling is het kleinst als het gaat om Programma-uitvoering en waardering, en het grootst bij Realisatie van hoofd- en subdoelen. Het 5 e thema Beleidsmatige effecten is het enige waarbij sprake is van een duidelijk locatieverschil in beoordeling: de Dordtse cijfers over het algemeen lager dan de Arnhemse. Programma-elementen waarvan vertegenwoordigers van beide subgroepen respondenten verwachten dat ze ook onder reguliere omstandigheden goed zullen blijven lopen zijn: oudercursus en leerkrachttraining; behandeltrainingen van leercoaches/kairo-begeleiders; uitwisseling tussen behandelaars en docenten rondom individuele cliënten, en het gebruik van de evaluatiemonitor voor behandelresultaten Productevaluatie De productevaluatie betreft het in kaart brengen en evalueren van de effecten voor de deelnemers van het Introductieprogramma en het Onderwijs/Behandelprogramma. Dit onderzoek is uitgevoerd door Praktikon, een organisatie voor onderzoek en ontwikkeling verbonden aan de Radboud Universiteit Nijmegen. Het Introductieprogramma van KAIRO is gestart op 2 locaties met 33 deelnemers in totaal. De gemiddelde leeftijd van deze jongeren was bij aanvang 18,7 jaar (range 15,8 22,8). Tijdens het voortraject is nog een aantal jongeren afgevallen, zodat uiteindelijk 29 jongeren zijn gestart met het Onderwijs/Behandelprogramma (OBP). Van deze 29 deelnemers zijn er tijdens het schooljaar in totaal 7 uitgevallen (24%). Wanneer we dit cijfer vergelijken met schooluitval voor een eindkwalificatie bij het reguliere roc-onderwijs (30%) en die voor jongeren met een psychische handicap (60 %), dan is de uitval bij het eerste lesjaar van een positief resultaat te noemen. Om de voortgang bij de deelnemende jongeren op een aantal functioneringsgebieden vast te leggen en eventuele nieuwe ondersteuningsvragen op te sporen, is voor KAIRO de Levensloopmonitor ontwikkeld. Daarnaast is de waardering voor het onderwijs- en behandelaanbod door de cliënten de jongere en hun ouders aan het eind van het traject in kaart gebracht.

42 Levensloopmonitor De levensloopmonitor bestaat uit een aantal, voor het merendeels gestandaardiseerde en genormeerde vragenlijsten. De vragenlijsten zijn gekozen met het oog op de kerntaken die voor het OBP gedefinieerd zijn en hebben betrekking op de leercompetenties van de jongere, zijn persoonlijk functioneren, sociale ontwikkeling en gedrag. Als belangrijke omgevingsvariabele wordt het gezinsfunctioneren in de registratie betrokken. De vragenlijsten, functioneringsgebieden en informanten die de vragenlijsten hebben ingevuld, zijn weergegeven in onderstaande tabel. Instrument Afkorting Meetdomein Informant Leerling Competentie Profiel (voor KAIRO aangepaste versie) LCP Sociaal-emotionele en cognitieve ontwikkeling Trainer of leercoach Strengths and Difficulties Questionnaire (Leerkracht- en Ouderversie) Competentiebelevingsschaal voor Adolescenten SDQ-L SDQ-O Gedrag, Emoties, Hyperactiviteit en Sociale aanpassing Trainer of leercoach Ouder(s) CBSA Zelfwaardering jongere Jongere Vragenlijst Gezinsfunctioneren voor Ouders VGFO Basiszorg, Gezinscontacten, Opvoedingsvaardigheden, Jeugdbeleving ouders, Veiligheid, Individueel functioneren ouders, Partnerrrelatie. Ouder(s) Uitkomsten De resultaten van het KAIRO-programma zijn berekend op basis van de gegevens van 13 (van de 22) einddeelnemers bij wie zowel een begin- als een eindmeting is verricht. De uitkomsten op de verschillende levensdomeinen laten zich als volgt samenvatten: 1. Sociaalemotionele en gedragsproblemen. De jongeren die aan KAIRO deelnamen vertoonden bij aanvang vooral emotionele en sociale problemen, en geen of nauwelijks gedragsproblemen of hyperactiviteit. Dit beeld voldoet aan het bij de intake gestelde criterium, dat (ernstige) gedragsproblemen een contra-indicatie zijn voor deelname aan KAIRO. Ook aan het einde van het traject is er nog wel sprake van sociaalemotionele problematiek, maar met name de sociale problemen zijn dan flink afgenomen. De effectgroottes van de vermindering van sociaalemotionele problematiek variëren van 0,24 (een klein effect) voor emotionele problemen tot 0,76 (middelgroot effect) voor sociale problemen. Over het geheel is er volgens de ouders dus een betekenisvolle vermindering van sociaalemotionele problematiek opgetreden. 2. De sociaalemotionele en gedragsproblemen zijn ook beoordeeld door de trainers en leercoaches, maar de voormeting heeft bij deze informanten niet meteen aan het begin van de behandeling plaatsgevonden (de behandelaars moesten de jongeren immers eerst nog leren kennen). Over het algemeen zijn de ernstscores van de behandelaars lager dan die van de ouders. Het profiel van de problemen is echter wel hetzelfde als bij de ouders te zien was: niet of nauwelijks gedragsproblemen of hyperactiviteit, wel sociaalemotionele problematiek. De leercoaches signaleren wat meer emotionele problematiek dan de trainers, en ook valt op dat de leercoaches een flinke toename van prosociale problemen (oftewel een afname van prosociaal gedrag) zien

43 43 aan het einde van het traject. Over het algemeen lijkt er sprake van een toename van problemen in de loop van het traject, volgens trainers en leercoaches. Dit is mogelijk te verklaren uit het feit, dat de behandelaars de jongeren gedurende het traject steeds beter leren kennen, waardoor emotionele problematiek meer opvalt. Daarnaast is een reële terugval tegen het einde van het traject goed denkbaar. 3. De competentiebeleving van de jongeren De competentiebeleving van de jongeren op het gebied van sociale acceptatie, sportieve vaardigheden, vriendschap en zelfwaardering was bij aanvang beneden gemiddeld. Op het gebied van gedrag, uiterlijk en schoolse vaardigheden was hun competentiegevoel echter gemiddeld tot bovengemiddeld. De zelfbeleving van de jongeren komt dus goed overeen met het beeld dat anderen ouders, trainers en leercoaches van hen hebben: er is sprake van problemen op sociaalemotioneel gebied, niet van gedragsproblemen. Opvallend is de grote verschuiving in zelfbeleving die in de loop van onderwijs-behandeltraject is opgetreden. Aan het einde voelen de jongeren zich veel competenter op sociaal gebied en is ook hun gevoel van eigenwaarde behoorlijk toegenomen. De effectgroottes op deze gebieden varieerden van 0,50 tot 1,13 middelgrote tot grote effecten dus. Tenslotte is te zien dat de jongeren zich zowel bij aanvang als aan het einde niet meer of minder competent voelen op het gebied van schoolse vaardigheden dan hun leeftijdsgenoten uit de normale populatie. 4. Het gezinsfunctioneren De ouders oordelen bij aanvang van KAIRO over het algemeen iets negatiever over het functioneren van hun gezin dan de ouders in de landelijke normgroep. Op het gebied van de basiszorg zijn de scores echter beduidend lager dan het landelijk gemiddelde, en aan het eind van het OBP zijn deze zelfs nog iets lager geworden. Op de andere gebieden is er echter vooruitgang te zien aan het eind van het behandeltraject, met name wat betreft de sociale contacten van het gezin, de opvoedingsvaardigheden en de partnerrelatie. De effectgroottes van deze veranderingen op deze gebieden variëren van 0,28 tot 0,44. Het gaat dus om kleine maar wel betekenisvolle effecten. 5. Leerlingcompetenties De leercompetenties, beoordeeld door de trainers en de leercoaches, laten een wisselend beeld zien. Er is geen sprake van een duidelijke voor- of achteruitgang op één of meer leercompetentiegebieden. Het Leerling Competentie Profiel is een experimentele vragenlijst, die nog verdere analyse behoeft om te kunnen beoordelen of deze lijst geschikt is als instrument voor het meten van veranderingen op dit gebied. 6. Cliëntwaardering De waardering voor de hulpverlener(s), gemeten met de GGZ Jeugdthermometers voor Jongeren en Ouders, is zowel bij de jongeren als ouders zeer hoog. De gemiddelde scores van jongeren en ouders komen in grote lijnen overeen, alleen blijken de jongeren over het algemeen wat minder waardering te hebben voor het resultaat van de behandeling dan hun ouders. De jongeren geven gemiddeld het rapportcijfer 7,6 voor de behandeling als geheel, de ouders 7, Afvallers Tenslotte is onderzocht of er verschillen in eigenschappen te zien zijn tussen de afvallers (N = 12 en de jongeren die het traject hebben afgemaakt (N = 22, bij aanvang). Opmerkelijk is dat de jongeren die het traject niet hebben afgemaakt bij aanvang veel meer gedragsproblemen vertonen dan de jongeren die wel de eindstreep hebben gehaald (de effectgrootte van het verschil tussen beide groepen is 0,96). De vraag bij deze afvallers is, in hoeverre de gedragsproblemen er toe hebben bijgedragen dat zij het programma niet

44 44 hebben kunnen volhouden. Blijkbaar voldeden ze wel aan het intakecriterium dat er geen sprake mocht zijn van ernstige gedragsproblematiek bij aanvang, maar was hun problematiek toch van dien aard dat zij een wat andere doelgroep vormden dan degenen het programma wél hebben afgerond. Daarnaast is er bij afvallers sprake van meer problemen op het gebied van prosociaal gedrag (effectgrootte = 0,50). Ook zijn er aanzienlijke verschillen in competentiebeleving tussen afvallers en blijvers: met name de beleving op het gebied van gedrag, schoolvaardigheden, sportieve vaardigheden en gevoel van eigenwaarde is aanmerkelijk negatiever bij de afvallers dan bij de jongeren die het KAIRO-programma bleven volgen. Tenslotte is ook het gezinsfunctioneren bij de afvallers meer problematisch, waarvan het meest op het gebied van de partnerrelatie. Jongeren die afvielen hadden dus op diverse gebieden meer problemen dan de jongeren die het programma in het geheel hebben doorlopen Conclusie De Levensloopmonitor geeft een gedifferentieerd beeld van het functioneren van de groep jongeren bij aanvang en afsluiting van het KAIRO-programma. De resultaten laten zien dat de groep deelnemers die het programma hebben afgerond geen gedragsproblemen vertoonde, maar wel de nodige sociaalemotionele problematiek. Die problematiek is tijdens het onderwijs-behandeltraject behoorlijk afgenomen, en de waardering voor het programma was zowel bij ouders als jongeren groot.

45 45 Literatuur Berument, S.K., Rutter, M., Lord, C., Pickles, A., & Bailey, A. (1999). Autism Screening Questionnaire: diagnostic validity. British Journal of Psychiatry, 175, Bransen, M., Kok, I. & Van Wijngaarden, B. (2005). De aanpassing van de GGZ jeugdthermometer versie 2003 tot de GGZ jeugdthermometer versie Utrecht: Trimbos-instituut. Brereton, A.V.B., & Tonge, B.J. (2002). Screening young people for autism with the developmental behaviour checklist. Journal of the American Academy of Child and Adolescent Psychiatry, 41, Brock, S.E. (2004). The identification of Autism Spectrum Disorders: A primer for the school psychologist. Sacramento: California State University, Department of Special Education, Rehabilitation, and School Psychology. Claeys, M. (2006). Tussenevaluatie Introductieprogramma KAIRO-Doorwerth. Competentie Tevredenheid Zelfwaardering. Doctoraalscriptie. Nijmegen: Radboud Universiteit. Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Hillsdale: Erlbaum. De Wilde, L., & Hamelink, B. (2003). Ontwikkelversie Leerling- & competentieprofiel. Utrecht: Landelijk Netwerk Autisme. Ehlers, S., Gillberg, C., & Wing, L. (1999). A screening questionnaire for Asperger syndrome and other high-functioning Autism Spectrum Disorders in school age children. Journal of Autism and Developmental Disorders, 29, Goedhart, A., Treffers, F., & Van Widenfelt, B. (2003). Vragen naar psychische problemen bij kinderen en adolescenten. De Strengths and Difficulties Questionnaire (SDQ). Maandblad Geestelijke volksgezondheid, 58, Goodman, R. (1997). The Strengths and Difficulties Questionnaire: A research note. Journal of Child Psychology and Psychiatry, 38, Harter, S. (1985). Manual for the self-perception profile for children. Denver: University of Denver. Hepburn, S.L., DiGuiseppi, C., Rosenberg, S., Kaparich, K., Robinson, C., & Miller, L. (in press). Use of a Teacher Nomination Strategy to Screen for Autism Spectrum Disorders in General Education Classrooms: A Pilot Study. Journal of Autism and Developmental Disorders. Jansen, M.G., & Oud, J.H.L. (1993). Residentiële hulpverlening geëvalueerd. Eindrapport. Nijmegen: Katholieke Universiteit, Instituut voor Orthopedagogiek. Janssen, J., & Veerman, J.W. (2005). Vragenlijst Gezinsfunctioneren voor Ouders (VGFO). Voorlopige Handleiding. Nijmegen: Praktikon. Kok, I., & Mulder, E (2005). Handleiding bij de diverse Thermometers (versie 2005). Utrecht: Trimbosinstituut/GGZ Nederland. Kroes, G., & Pijnenburg, H.M. (2006). : Rapportage voortrajectfase. Nijmegen: Praktikon. Kroes, G., & Koomen, H. (2006). Nederlandse vertaling van de Autisme Spectrum Screening Questionnaire (ASSQ). Nijmegen: Praktikon. Kroes, G., Veerman, J. W., & De Bruyn, E. E. J. (2000). Realiteit en vertekening bij het beoordelen van probleemgedrag van kinderen. In J. D. Bosch, R. J. van der Gaag, A. J. J. M. Ruijssenaars, & A. Vyt (Red.), Jaarboek Ontwikkelingspsychologie, orthopedagogiek en kinderpsychiatrie 4 ( ) (pp ). Houten/Diegem: Bohn Stafleu Van Loghum. Lobregt van Buuren, E., & Relyveld, C. (2005). Concept Onderwijs Behandelplan KAIRO project. Doorwerth: Dr. Leo Kannerhuis. Luteijn, E., Minderaa, R., & Jackson, S. (2002). Vragenlijst voor Inventarisatie van Sociaal gedrag van Kinderen. Lisse: Swets Test Publishers. Praktikon (2003/2005).TOP-scan (Taxatie Onderzoeksperpectief Projectplan: Een systematiek voor het beoordelen van projectplannen voor innovatieve interventies, op de mogelijkheden die zij bieden voor evaluatie-onderzoek). Nijmegen: Praktikon.

46 46 Praktikon (2006). TOP-scan (Taxatie Onderzoeksperspectief Projectplan) KAIRO. Nijmegen: Praktikon. Treffers, Ph.D.A., Goedhart, A.W., Van den Bergh, B.R.H., Veerman, J.W., Ackaert, L., & De Rycke, L. (2002). Competentie Belevingsschaal voor Adolescenten (CBSA), handleiding. Lisse: Swets Test Publishers. Van Dijk, A.A. (2005). Aanvraag KAIRO project. Doorwerth: Dr. Leo Kannerhuis.

47 47 Appendix. Ontwikkeling en evaluatie trechterdiagnostiek Onderdeel van het KAIRO-programma was het ontwikkelen van een eenduidige procedure om jongeren met ASS binnen het onderwijs op te sporen en te diagnosticeren, een zogenaamde trechterdiagnostiek. Behalve een procedure zou daarvoor een instrument gekozen of ontwikkeld moeten worden voor grofmazige screening, gebaseerd op waargenomen gedrag van de jongere ten aanzien van kenmerken van ASS. Dit instrument zou bij onderwijskrachten afgenomen moeten worden. vervolgens zouden jongeren met een vermoeden van ASS moeten worden doorverwezen naar specialisten voor formele diagnosticering. Het doel van de trechterdiagnostiek is dus de diagnostiek op scholen en binnen de (gespecialiseerde) GGZ te stroomlijnen met als eindresultaat een (medisch-psychiatrische) diagnose en gerichte verwijzing naar zorg/behandeling. De procedure van het diagnosticeren van ASS van eerste vermoeden tot formele diagnose die voor KAIRO is ontwikkeld, verloopt als volgt. Het eerste signaal van mogelijke ASS-problematiek komt meestal van een leerkracht of leerlingbegeleider. Deze meldt zijn/haar vermoeden aan een schoolpsycholoog of orthopedagoog. Lijkt dit vermoeden reëel na een eerste globale inventarisatie, wellicht door raadpleging leerkracht en dossier jongere, dan vult de schoolpsycholoog met een leerkracht die de jongere goed kent een screeninglijst in. Op grond van de score op deze screeninglijst adviseert de schoolpsycholoog al dan niet tot een aanvraag voor een uitgebreid diagnostisch onderzoek naar ASS (of eventuele andere problematiek) in samenspraak met leerling en ouders. Het uitgebreide diagnostisch onderzoek bij GGZ instelling bevestigt of verwerpt tenslotte de diagnose ASS. Als screeninginstrument voor de diagnostiek van ASS komen verschillende vragenlijsten in aanmerking die internationaal voor dit doel gebruikt worden, zoals de Autism Screening Questionnaire (ASQ; Berument, Rutter, Lord, Pickles, & Bailey, 1999), de Autism Spectrum Screening Questionnaire (ASSQ; Ehlers, Gillberg, & Wing, 1999), de Developmental Behavior Checklist Autism Screening Algorithm (DBC-ASA; Brereton et al., 2002), en de Nederlandse Vragenlijst voor Inventarisatie van Sociaal gedrag van Kinderen (VISK; Luteijn, Minderaa & Jackson, 2002). De meeste van deze instrumenten zijn echter uitsluitend gericht op de ouders van jongeren met ASS, en niet geschikt of genormeerd voor gebruik door leerkrachten. Van de vragenlijsten die (ook) voor leerkrachten geschikt zijn en die op hun betrouwbaarheid en screeningskwaliteiten zijn onderzocht, wordt de ASSQ genoemd als een zeer geschikt instrument om ASS bij normaal begaafde jongeren binnen het onderwijs te identificeren (Brock, 2004; Hepburn et al., 2007). Nadeel van dit instrument is dat er bij aanvang van het KAIRO-project nog geen officiële Nederlandse versie voorhanden was en dat de vragenlijst niet voor Nederlandse leerkrachten genormeerd is. De ASSQ is een vragenlijst met 27 items die door ouders of leerkrachten wordt ingevuld om de karakteristieke symptomen van ASS bij kinderen en adolescenten te meten. Betrouwbaarheid en validiteit van deze lijst zijn inmiddels uitgebreid onderzocht in Amerikaanse, Engelse, Noorse en Zweedse populaties, en er zijn afkappunten voorgesteld om mogelijke en vrij zekere ASS-casussen te identificeren (Ehlers et al., 1999). Omdat de ASSQ een veelbelovend instrument lijkt voor gebruik bij de trechterdiagnostiek binnen het onderwijs, hebben we besloten om dit instrument in het Nederlands te vertalen en in het KAIRO-project uit te testen. Deze vertaling is door de auteurs van de oorspronkelijke Engelstalige versie goedgekeurd, zodat we over een geautoriseerde Nederlandse vertaling kunnen beschikken, de Autisme Spectrum Screening Questionnaire (ASSQ; Kroes & Koomen, 2006). Zoals gezegd telt de ASSQ 27 vragen, waarvan er 11 betrekking hebben op sociale interactie, 6 op communicatie, 5 op beperkt of repetitief gedrag, en 5 op motorische onhandigheid of andere symptomen (zie Bijlage). De antwoorden worden gegeven op een driepuntsschaal: 0 = Nee, 1 = Enigszins, en 2 =

48 48 Ja. De totaalscore is de som van alle scores op de vragen (range 0 54). In onderstaande tabel is de sensitiviteit en de specificiteit van de vragenlijst weergegeven, zoals berekend in een Zweedse populatie (Ehlers et al., 1999). Sensitiviteit heeft betrekking op de kans dat een feitelijke ASS-diagnose op grond van de ASSQ onderkend wordt (true positive rate); specificiteit heeft betrekking op de kans dat een elke diagnose die op grond van de ASSQ gesteld bij nadere diagnostiek juist blijkt te zijn (false positive rate). Op basis van een afweging van deze beide factoren kunnen twee afkappunten voor leerkrachten worden bepaald. Ten eerste: bij een score van 11 is er een grote kans (90%) dat alle feitelijke gevallen van ASS onderkend worden, maar is de kans ook erg groot (42%) dat er jongeren ten onrechte met deze diagnose worden aangemerkt. ten tweede: bij een score van 22 is de kans groot (90%) dat de diagnose ASS terecht gesignaleerd wordt, maar is er tegelijkertijd een grote kans (30%) dat er jongeren met deze diagnose niet onderkend worden, met name bij lichtere problematiek. Figuur 7. ASSQ: sensitiviteit en specificiteit (Ehlers, Gillberg, & Wing, 1999). Nogmaals, de afkappunten zijn gebaseerd op gegevens in een buitenlandse populatie. Zolang er geen vergelijkbare Nederlandse normeringsgegevens zijn, kunnen we deze gegevens als voorlopige normen hanteren. Dat betekent dat we een score van 11 op de ASSQ aanhouden als de ondergrens voor de aanwezigheid van mogelijke ASS problematiek, en een score van 22 als de ondergrens voor een zeer sterke aanwijzing voor de diagnose ASS. Scores vanaf 22 zijn zeker reden voor een verwijzing naar specialistische diagnostiek, scores tussen 11 en 22 geven voldoende aanleiding om de casus verder te onderzoeken en mogelijk door te verwijzen voor specialistische diagnostiek.

49 49 Tijdens het KAIRO-project was er door allerlei praktische omstandigheden (tijdgebrek, onvoldoende uitgewerkte procedures, beschikbaarheid medewerkers) onvoldoende gelegenheid om deze procedure en de ASSQ uitgebreid te testen. Er is hiermee dan ook slechts op beperkte schaal ervaring opgedaan, maar die ervaringen zijn wel hoopgevend 2. Bij een vijftal casussen is geconstateerd dat de scores op de ASSQ een vrij nauwkeurige indicatie geven voor de aanwezigheid van ASS. Het betreft jongvolwassenen (van 20 jaar en ouder) waarbij ASS nog nooit eerder ter sprake is gekomen en waarbij de eerste signalering bij de onderwijsinstelling plaats vond. Bij de signalering ASS zijn de gegevens van ASSQ gecombineerd met andere informatiebronnen, zoals: - gegevens eerder onderzoek - interview schoolloopbaan/vroegkinderlijke ontwikkeling - observatiegegevens opleiding Voor een zorgvuldig signalering is het dus belangrijk om niet alleen van de ASSQ gebruik te maken, maar ook van informatie die op andere wijze verzameld is. De betrokkenen worden via de huisarts voor specialistische diagnostiek doorverwezen naar ggz. Tot nu toe hebben alle huisartsen de aanmelding serieus genomen en doorverwezen naar de ggz. We geven twee voorbeelden ter illustratie. Casus A. Signaleringstraject screening ASS met behulp van ASSQ. Persoonsgegevens A. Mannelijk, 21 jaar Vooropleiding: Basisschool, vso lom, 2 eerdere beroepsopleidingen bij ander ROC afgebroken Huidige opleiding: heroriëntatietraject educatie Rijn IJssel Eerste signalering Eerste signalering door assessoren van assessment center van educatie. Signaleringsgegevens: - opvallende uitstraling - opvallende blik - teruggetrokken houding - monotone spraak - moeite met het leggen van sociale contacten Verwijzing naar orthopedagoog. Wijze van vervolgsignalering Scores ASSQ Voortgang: Diagnose en indicatie Observatiegegevens assessment Gesprek met L over schoolloopbaan: Geen opleiding afgemaakt, veel gespijbeld tijdens VO. Ooit eerder onderzoek gedaan ten tijde van VO: Groot verschil tussen PIQ en VIQ ten gunste van VIQ Totaalscore 27 (8 items ja, 11 enigszins, 8 nee). Andere opvallende kenmerken - wil het liefst alleen zijn - ik voel wel aan wanneer ik moet stoppen met eerlijk zijn - Zeer traag werktempo - Woordvindproblemen - Opvallende stand ogen - Geen emotie waarneembaar - Zeer creatief in schrijven, is veel bezig met (film) auteurs - jonger uitzien dan leeftijd - zich jonger gedragen dan leeftijd - bang voor veel prikkels Verwijzing naar GGZ via huisarts. Begeleidende brief aan A. meegegeven. Vervolg: zie citaat: Bedankt voor je verwijsbrief naar huisarts. Onze vraag blijft, wat voor last heeft deze meneer van zijn stoornis en wat is de bedoeling van het onderzoek. Graag nog informatie daarover. 3 juni: A. heeft intake gehad bij GGZ. Diagnostisch onderzoek moet nog plaatsvinden. Wel tijdens de intake al te horen gekregen dat autistische kenmerken aanwezig zijn. 2 Met dank aan Monique Janssen van roc Rijn IJssel, die deze evaluatie heeft uitgevoerd.

50 50 Casus B. Signaleringstraject screening ASS met behulp van ASSQ. Persoonsgegevens B. Mannelijk 22 jaar Vooropleiding: Basisschool, vbo, roc niveau 2 afgerond, niveau 3 afgebroken vanwege problemen stage, moeite met werk behouden Huidige opleiding: spw niveau 4 Eerste signalering Wijze van vervolg signalering: Scores ASSQ Mentor opleiding Signaleringsgegevens: - Niet kunnen reflecteren op eigen gedrag - Moeilijk kunnen verplaatsen in stand punt klasgenoten - Zwart / wit denkt, moeite met nuancering - opmerkingen maken die niet passend zijn in context - moeite met het leggen van sociale contacten - afdraaien eigen verhaal, reacties van anderen niet in de gaten hebbend. Verwijzing naar orthopedagoog Observatiegegevens opleiding Eigen reflectieverslagen leerling Gesprek met A over schoolloopbaan: Gesprek met moeder en A over kinderperiode Tijdens Bao omschreven als een zeer moeilijke jongen. Veel weglopen tijdens de basisschool. Ook moeilijk in de opvoedingssituatie Totaalscore 35 (11 items ja, 13 enigszins, 3 nee) Andere opvallende kenmerken: - veel moeite met open vragen - heel druk in zijn praten - veel transpireren - eenzijdig bepalen van gespreksthema - veel in detail denken - denken in losse schakels Voortgang: Verwijzing naar GGZ via huisarts. Begeleidende brief aan B. meegegeven. Intakegesprek bij GGZ volgt na drie weken. Wachttijd voor onderzoek meer dan een half jaar. Vervolgens wordt het bemoeilijkt door verhuizing van B. naar andere regio Diagnose en indicatie PDD-NOS, B. belt om deze diagnose door te geven aan schoolpedagoog (11 maanden na verwijzing via huisarts). Bovenstaande voorbeelden illustreren dat de totaalscore op de ASSQ een goede indicatie geeft van de ernst van de AS problemen, al is er uiteraard veel meer casuïstiek nodig om dit goed te onderbouwen en om optimale afkappunten voor het Nederlandse onderwijs vast te stellen. Verder geeft het tweede voorbeeld een aanwijzing van het wellicht belangrijkste obstakel in de screeningsprocedure: de toegang tot specialistische diagnostiek en de wachttijden in de zorg. In het tweede voorbeeld verliep meer dan een jaar tussen eerste signalering en uiteindelijke diagnose. Tenslotte nog een paar opmerkingen die bij het gebruik van de ASSQ naar voren kwamen. Ten eerste werd opgemerkt dat sommige items van de ASSQ niet aansluiten bij de leeftijd van deze onderzochte doelgroep (boven de 20 jaar). Verder vormt de lijst vanzelfsprekend een zo beknopt mogelijke selectie van items, die zo goed mogelijk differentiëren tussen ASS en geen of andere stoornissen. Volledigheid bij het in kaart brengen van ASS symptomen wordt dan ook niet nagestreefd. Bij de test werd regelmatig gebruikt gemaakt van de mogelijkheid om aanvullende kenmerken te noemen (deze worden overigens niet gescoord). Voorbeelden van zulke aanvullingen zijn: Geringe vaardigheid tot generaliseren, denken in

51 51 losse schakel, geen emotie in gezicht, afwijkende, niet ter zaken doende opmerkingen maken tussendoor, gebrek aan structuur/chaotische werkstijl, uitblijven van reactie op emotionele input, moeite met open vragen, geen wederkerigheid in interactie, eigen verhaal afdraaien, eenzijdig bepalen van gespreksthema, uitvluchten zoeken/ situatie vermijden, er jonger uitzien en gedragen dan leeftijd. Deze aanvullingen kunnen benut worden als extra observatiegegevens voor verdere diagnostiek.