Effectrapportage STOP De Waarden Tiel Training 1. J.M.C. Sijbers I.L.W. Bastiaanssen J.W. Veerman

Transcriptie

1 Effectrapportage STOP De Waarden Tiel Training 1 J.M.C. Sijbers I.L.W. Bastiaanssen J.W. Veerman

2 2

3 Effectrapportage STOP De Waarden Tiel Training 1 3

4 Praktikon maakt deel uit van Entréa te Nijmegen en is gelieerd aan de bijzondere leeropdracht Speciale Kinder- en jeugdzorg, die vanwege deze stichting is verbonden aan de Faculteit der Sociale Wetenschappen van de Radboud Universiteit Nijmegen. Praktikon Postbus HE Nijmegen tel: fax: Praktikon Nijmegen Behoudens de in of krachtens de Auteurswet van 1912 gestelde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm of op welke andere wijze dan ook, en evenmin in een retrieval systeem worden opgeslagen zonder de voorafgaande schriftelijke toestemming van Praktikon te Nijmegen. No part of this publication may be reproduced in any form, by print, photo print, microfilm or any other means without written permission from the Publisher. 4

5 Inhoudsopgave Hoofdstuk 1. Opzet effectonderzoek blz STOP4-7 blz Doel onderzoek blz Uitgangspunten blz Instrumenten en meetmomenten blz. 8 Hoofdstuk 2. Opzet effectrapportage blz. 9 Hoofdstuk 3. Resultaten blz Respons blz Probleemgedrag kind blz Opvoeding ouders blz Cliënttevredenheid blz Evaluatie programma blz. 20 Bijlage 1. Toelichting tabellen blz. 22 Bijlage 2. Analyseschema blz. 23 5

6

7 Hoofdstuk 1. Opzet effectonderzoek 1.1. STOP4-7 De methodiek STOP4-7 is bedoeld om vroeg in te grijpen bij ernstige gedragsproblemen bij kinderen van vier tot en met zeven jaar 1. Het gaat om kinderen met gedragsproblemen zoals liegen, vechten, driftbuien, ongehoorzaamheid en opstandig gedrag. Er is sprake van een coërcieve interactie (een dwingrelatie) tussen ouder en kind waardoor er geen gezagsrelatie ontwikkeld is. De ouders hebben onvoldoende opvoedingscompetenties en ervaren een hoge opvoedingsbelasting. STOP4-7 is gebaseerd op leertheoretische principes van het Oregon Social Learning Center in de V.S.. De methodiek is multimodaal, ze bestaat uit een kindtraining, een oudertraining en een leerkrachttraining. Alle trainingen zijn groepstrainingen. De methodiek wordt volgens protocol uitgevoerd. Er is een aantrekkelijk draaiboek gemaakt, waarin de doelstellingen en methoden van de methodiek per bijeenkomst nauwkeurig beschreven staan. Dit protocol dient systematisch aangevuld te worden met een aantal huis- en schoolbezoeken. Hierin zit de verfijning op maat Doel onderzoek Het doel van het onderzoek STOP4-7 is informatie te verzamelen over uitvoering en uitkomsten van de interventie in de verschillende instellingen die deze interventie uitvoeren en daarvoor gecertificeerd zijn. Met deze informatie kan zowel op locaal niveau (van de uitvoerende instellingen) als op landelijke niveau (de stuurgroep STOP4-7) de kwaliteit van de interventie bewaakt worden en verder verbeterd Uitgangspunten Voor onderzoek naar uitvoering en uitkomsten van een jeugdzorginterventie heeft Praktikon een algemeen zorgevaluatiemodel ontwikkeld dat ook in dit onderzoek als uitgangspunt wordt genomen. In het kort bestaat vanuit het model gezien een professioneel zorgaanbod uit een inhoud (doelgroep, interventies en uitkomsten) in een dubbele context (bejegening en randvoorwaarden) waarvoor een zorgaanbodtheorie te formuleren valt. De zorgaanbodtheorie (in het Engels: program theory ) vormt als het ware de lijm tussen de onderdelen. Deze theorie geeft aan waarom de bedoelde interventies bij de beoogde doelgroep tot de gewenste uitkomsten zullen leiden, en hoe bejegening en organisatorische voorwaarden hierop van invloed zijn. Dit allen maakt een zorgaanbod specificeerbaar en evalueerbaar. Bij die evaluatie gaat het in de regel om de volgende onderzoeksvragen: 1. Worden de gewenste uitkomsten behaald? 2. Zijn de bedoelde interventies uitgevoerd? 3. Is de beoogde doelgroep bereikt? 4. Komt de juiste bejegening tot stand? 5. Zijn de benodigde randvoorwaarden vervuld? Een positieve beantwoording van bovengenoemde vragen geeft aanwijzingen dat het zorgaanbod in kwestie kwalitatief goed genoeg is. In het STOP4-7 onderzoek staat het beantwoorden van deze onderzoeksvragen ook centraal. In de effectrapportage worden de antwoorden op de eerste drie vragen gegeven. Terugkoppeling over de bejegening en het vervullen van de randvoorwaarden (de vragen 4 en 5) vindt momenteel in het kader van intervisie en supervisie plaats. Het is te verwachten dat hierover in de toekomst ook aparte registraties en rapportages plaats gaan vinden. 1 De Mey, W. (2005) Samen sterker terug op pad: STOP. Een vroegtijdige interventie voor jonge kinderen met gedragsproblemen. Amsterdam: SWP. 7

8 1.4. Instrumenten en meetmomenten Op basis van de zorgaanbodtheorie van STOP4-7 zijn meetinstrumenten gekozen. In Figuur 2 wordt aangegeven welke instrumenten op welke momenten worden afgenomen. Figuur 2. Overzicht gegevensverzameling STOP 4-7 Informant Start Gedurende hulp Einde hulp Follow up Ouder(s)/verzorger(s) CBCL -18jr NOSIK SOG 4-7 CBCL -18jr NOSIK SOG 4-7 BESTE CBCL -18jr NOSIK SOG 4-7 Leerkracht TRF -18jr TRF -18jr BESTE TRF -18jr Pedagogisch Medewerker (niet kindtrainers) CBCL -18jr CBCL -18jr CBCL -18jr Trainers Formulier aanvang training Checklist kindtraining, oudertraining en leerkrachttraining Formulier einde training Betekenis afkortingen instrumentarium: BESTE Beoordelingsschaal voor Tevredenheid en Effect STOP CBCL -18jr Child Behavior Checklist voor -18 jarigen 3 NOSIK Nijmeegse Ouderlijke Stress Index Korte versie 4 SOG 4-7 Schaal voor Ouderlijk Gedrag versie TRF Teacher s Report Form Checklist kindtraining, oudertraining en leerkrachttraining: een formulier om na te gaan of de beoogde inhoud van verschillende bijeenkomsten is gerealiseerd. Formulier aanvang training: formulier met aanvangsdatum en einddatum van de training en de namen van de deelnemende kinderen. Formulier einde training: behandelintegriteitsformulier om na te gaan of de criteria van het programma worden gerealiseerd (aantal huisbezoeken, schoolbezoeken, e.d.). 2 De Meyer, R.E., Jansen, J., Veerman, J.W. (2004). Handleiding beoordelingsschaal tevredenheid en effect (BESTE). Nijmegen: Praktikon, KUN, ACSW. 3 Verhulst, F.C., Ende, J. van der, & Koot, H.M. (199). Handleiding voor de CBCL/4-18. Rotterdam: Erasmus Universiteit/Afdeling Kinder- en Jeugdpsychiatrie, Sophia Kinderziekenhuis. Achenbach, T.M. & Rescorla, L.A. (2001). Manual for the ASEBA school-age forms & profiles. Burlington. VT: University of Vermont, Research Center for Children, Youth & Families. 4 Brock, A.J.L.L. de, Vermulst, A.A., Gerris, J.R.M., Abidin, R.R. (1992). NOSI: Nijmeegse Ouderlijke Stress Index. Vragenlijst experimentele nieuwe versie. Nijmegen: Katholieke Universiteit Nijmegen, sectie Orthopedagogiek Gezin & Gedrag. 5 Van Leeuwen, K. (2002). Beknopte Handleiding voor het praktisch gebruik van de Schaal Ouderlijk Gedrag (SOG). Vakgroep Ontwikkelings- en Persoonlijkheidspsychologie Universiteit Gent. Voor STOP4-7 is de vragenlijst ingekort tot 5 schalen die van toepassing zijn op de vaardigheden die in de oudertraining worden getraind. Deze speciaal verkorte versie heet de SOG4-7. Verhulst, F.C., Ende, J. van der, & Koot, H.M. (1997a). Handleiding voor de TRF. Rotterdam: Erasmus Universiteit/Sophia Kinderziekenhuis, Afdeling Kinder- en Jeugdpsychiatrie. Achenbach, T.M. & Rescorla, L.A. (2001). Manual for the ASEBA school-age forms & profiles. Burlington. VT: University of Vermont, Research Center for Children, Youth & Families. 8

9 Hoofdstuk 2. Opzet effectrapportage Op de volgende bladzijden staan de resultaten van de laatste, meest recente training van STOP4-7 bij de op de kaft van deze rapportage aangegeven locatie, met het eveneens op de kaft vermelde jaartal gevolgd door een nummer. Bijvoorbeeld: is de eerste training van de betrokken locatie in De resultaten van deze laatste training worden in een aantal tabellen gepresenteerd en kunnen steeds vergeleken worden met landelijke referentiegegevens en locale referentiegegevens. In dit geval zijn er geen locale referentiegegevens omdat dit de eerste training van de locatie Tiel is. Een en ander wordt hieronder uitgelegd. Tabel 3.1 heeft betrekking op de respons op de vragenlijsten. Hier worden per vragenlijst het aantal deelnemende kinderen, het percentage vragenlijsten dat bij de voormeting is teruggestuurd, het percentage vragenlijsten dat bij de nameting is teruggestuurd en het percentage vragenlijsten dat zowel bij de voor- als de nameting is teruggestuurd, getoond. Tabellen , en geven de resultaten voor het probleemgedrag van het kind weer. Tabellen en tonen de resultaten voor de opvoeding. De tabellen omtrent het probleemgedrag en de opvoeding bestaan uit het aantal ingevulde vragenlijsten, de gemiddelden en standaarddeviaties (maat voor afwijking van het gemiddelde) bij voor- en nameting, de significantie van het verschil tussen de vooren nameting en de Effect Size (ES, maat voor grootte van het effect). Ten slotte geven de tabellen 3.4, 3.5, 3. en 3.7 de gegevens omtrent tevredenheid weer. Hier worden het aantal ingevulde vragenlijsten en de mate van ervaren verandering in percentages weergegeven. Elke tabel bestaat uit twee rijen. De eerste rij bestaat uit landelijke referentiegegevens, deze dienen als benchmark 7. Deze gegevens worden momenteel gevormd door de gemiddelde resultaten van de trainingen uitgevoerd tussen februari 2003 en juni 2007 bij De Waarden, Trajectum, Lindenhout en t Kabouterhuis 8. Deze gegevens zullen jaarlijks door de onderzoekers worden aangepast op basis van nieuwe onderzoeksuitkomsten. De tweede rij toont de resultaten van de laatste training. Deze zijn te vergelijken zijn met de referentiegegevens uit de rij erboven. De tabellen geven niet alleen inzicht in de effecten van de training, maar ook in hoeverre de beoogde doelgroep is bereikt. Effecten worden aangegeven door de uitkomst van statistische toetsen waarmee het verschil tussen de voor- en nameting wordt getoetst (via de t-toets voor gepaarde waarnemingen) en door de Effect Size (ES). Een ES van 0,50 en hoger duidt op een middelgroot effect. Op de vraag of de beoogde doelgroep is bereikt geven de scores op de voormeting een antwoord. Dit zijn deviatiescores die aangeven in welke mate er sprake is van problemen. Scores van twee en hoger duiden op zeer ernstige problemen. In Bijlage 1 wordt de interpretatie van deze en andere statistische termen nog verder toegelicht, in Bijlage 2 staat een analyseschema dat behulpzaam kan zijn bij het interpreteren van de resultaten. De interventie wordt sinds dit jaar voor het eerst procesmatig geëvalueerd. Dit gebeurt aan de hand van de behandelchecklisten. Hiermee wordt nagegaan of de beoogde inhoud van de verschillende bijeenkomsten wordt gerealiseerd. Daarnaast bestaat het formulier einde training om na te gaan of de verschillende criteria van het programma worden gerealiseerd. In deze effectrapportage zullen de resultaten van deze behandelchecklisten worden opgenomen (zie paragraaf 3.5). 7 Een benchmark is een manier om de resultaten van verschillende instellingen of organisaties met elkaar te kunnen vergelijken met als doel om resultaten te verbeteren. 8 De Meyer, R.E., Brussel, A. van, Duijvenbode A. van & Veerman, J.W (2007). Resultaten STOP4-7. Tabellenboek trainingen Nijmegen: De Waarden/Praktikon. Bastiaanssen, I.L.W., Sijbers, J.M.C., Veerman, J.W. (2008). Aanvulling op Resultaten Stop4-7 Tabellenboek trainingen Nijmegen: Praktikon Bastiaanssen, I.L.W., Sijbers, J.M.C., Veerman, J.W. (2008). Stop4-7 Nederland Resultaten Nijmegen: Praktikon 9

10 10

11 Hoofdstuk 3. Resultaten 3.1. Respons Tabel 3.1. Respons (%) op de vragenlijsten Norm Lijst N 9 Voormeting (T1) Nameting (T2) Voor- en nameting (T1-T2) CBCL ouders % (125) 7.1% (98) 58.2% (85) TRF % (143) 2.3% (99) 5. % (90) CBCL p.m % (14) 77.8 % (14) 55.% (10) NOSI(K) % (120) 9.2% (101) 59.% (87) SOG % (99) 1.8% (81) 48.1% (3) Laatste training BESTE ouders BESTE leerkracht CBCL ouders TRF CBCL p.m. NOSIK SOG 4-7 BESTE ouders BESTE leerkracht % () 100% () 100% (2) 100% () 100% () % (9) 37.5% (12) 100% () 100% () 50.0% (1) 100% () 100% () 100% () 100% () % () 100% () 50.0% (1) 100% () 100% () - - De totale respons op de voor- en nameting van de vragenlijsten is voor het merendeel van de vragenlijsten zeer goed (100%), behalve de CBCL van de pedagogisch medewerkers (50%: onvoldoende). Ten opzichte van de landelijke gegevens is de respons zeer goed te noemen. 9 Aantal deelnemende kinderen. 11

12 3.2. Probleemgedrag kind Tabel Groepsgewijze veranderingen in probleemgedrag (CBCL) volgens ouders bij nameting Norm Dimensie N 10 Voormeting T1 Gem. SD Nameting T2 Gem. SD Significantie <.10 T1-T2 ES Totaal * Externaliseren * 0.47 Internaliseren * 0.27 Laatste training Totaal Externaliseren Internaliseren Toelichting: Zie Bijlage 1 voor een toelichting van berekening van de scores. De oude normen van de CBCL 4-18 zijn hier gebruikt om te kunnen vergelijken met de gegevens van voorgaande jaren. * * * Gezien de kleine aantallen (N=) moet met bovenstaande resultaten voorzichtig worden omgegaan. Bij aanvang rapporteren ouders zowel zeer ernstige internaliserende problemen als externaliserende problemen bij hun kinderen. Bij einde rapporteren ouders geen internaliserende problemen meer bij hun kinderen. Ouders rapporteren een significante afname in het totale probleemgedrag van het kind. De effectgrootte is groot (ES = 1.51). Ook op de schaal externaliserend probleemgedrag rapporteren de ouders een significante afname, met ook een groot effect (ES = 1.49). Gemiddeld genomen blijft het probleemgedrag van de kinderen na afloop van de interventie binnen de klinische range (deviatiescore hoger dan 1,29). Dit betekent dat het probleemgedrag van de kinderen ondanks de significante verbetering nog steeds ernstig is en aandacht verdient. Wat betreft het internaliserend probleemgedrag rapporteren de ouders een significante verbetering (groot effect, ES = 1.24). Na de interventie is het internaliserend probleemgedrag dermate afgenomen dat er op dit gebied geen zorgen meer zijn. Opvallend is dat er bij aanvang van de interventie gemiddeld genomen zeer ernstige problemen worden gerapporteerd in vergelijking met de landelijke cijfers van de voorgaande jaren. Daarnaast is opvallend dat deze problemen sterk afnemen en gemiddeld genomen rapporteren de ouders van deze kinderen na de interventie minder problemen dan dat ouders voorgaande jaren rapporteerden. Binnen de groep kinderen die de training hebben gevolgd is geen sprake van (een) enkele hoge score(s) die het gemiddelde beïnvloeden. Alle kinderen scoren hoog op externaliserend probleemgedrag en totaal probleemgedrag. 10 Voor analyses worden de deviatiescores van bepaalde schalen van de vragenlijsten gebruikt. Wanneer ouders niet alle vragen beantwoorden kunnen de schalen die bij de ontbrekende vragen horen niet berekend worden en zal het aantal respondenten (N) voor die schaal verder achteruitgaan. Om die reden komt het aantal respondenten zoals in bovenstaande tabel weergegeven niet altijd overeen met het aantal respondenten zoals weergegeven in tabel

13 Tabel Groepsgewijze veranderingen in probleemgedrag (TRF) volgens leerkrachten bij nameting Norm Dimensie N 11 Voormeting T1 Gem. SD Nameting T2 Gem. SD Significantie <.10 T1-T2 ES Totaal * Externaliseren * 0.15 Internaliseren * 0.21 Laatste training Totaal Externaliseren Internaliseren Toelichting: Zie Bijlage 1 voor een toelichting van berekening van de scores. De oude normen van de TRF 4-18 zijn hier gebruikt om te kunnen vergelijken met de gegevens van voorgaande jaren Voor het interpreteren van bovenstaande resultaten moet voorzichtig worden omgegaan gezien de kleine aantallen (N=). De leerkrachten rapporteren, in tegenstelling tot de ouders, dat de kinderen nauwelijks problemen hebben, zowel bij aanvang als bij einde van de training. Wat betreft het totale, externaliserende en internaliserende probleemgedrag wordt er geen significante afname gerapporteerd. Dit in tegenstelling tot de landelijke gegevens van de jaren daarvoor. Tabel Groepsgewijze veranderingen in probleemgedrag (CBCL) volgens pedagogisch medewerkers bij nameting Norm Dimensie N¹º Voormeting T1 Gem. SD Nameting T2 Gem. SD Significantie <.10 T1-T2 ES Totaal Externaliseren Internaliseren Laatste training Totaal Externaliseren Internaliseren Toelichting: Zie Bijlage 1 voor een toelichting van berekening van de scores. De oude normen van de CBCL 4-18 zijn hier gebruikt om te kunnen vergelijken met de gegevens van voorgaande jaren. Er was bij de laatste training één pedagogisch medewerker betrokken. Hierdoor kunnen er geen resultaten berekend worden. 11 Voor analyses worden de deviatiescores van bepaalde schalen van de vragenlijsten gebruikt. Wanneer ouders niet alle vragen beantwoorden kunnen de schalen die bij de ontbrekende vragen horen niet berekend worden en zal het aantal respondenten (N) voor die schaal verder achteruitgaan. Om die reden komt het aantal respondenten zoals in bovenstaande tabel weergegeven niet altijd overeen met het aantal respondenten zoals weergegeven in tabel

14 3.3. Opvoeding ouders Tabel Groepsgewijze veranderingen in opvoedingsstress (NOSIK) bij nameting Norm Dimensie N 12 Voormeting T1 Gem. SD Nameting T2 Gem. SD Significantie <.10 T1-T2 ES Laatste training Totale stress * 0.45 Totale stress * 1.13 Toelichting: Zie Bijlage 1 voor een toelichting van berekening van de scores. Voor het interpreteren van bovenstaande resultaten moet voorzichtig worden omgegaan gezien de kleine aantallen (N=). Bij aanvang rapporteren ouders een hoge mate van stress. Na afloop van de training valt de mate van opvoedingsstress gemiddeld genomen nog in de klinische range, wat wil zeggen dat ouders na beëindiging van de training nog steeds meer dan gemiddeld stress bij de opvoeding ervaren. De opvoedingsstress is significant afgenomen. De effectsize is groot (ES = 1.13). Voorgaande jaren lag de mate van opvoedingsstress na afloop van de training gemiddeld genomen ook nog in de klinische range. Er werd toen een klein effect gerapporteerd (ES = 0.45). 12 Voor analyses worden de deviatiescores van bepaalde schalen van de vragenlijsten gebruikt. Wanneer ouders niet alle vragen beantwoorden kunnen de schalen die bij de ontbrekende vragen horen niet berekend worden en zal het aantal respondenten (N) voor die schaal verder achteruitgaan. Om die reden komt het aantal respondenten zoals in bovenstaande tabel weergegeven niet altijd overeen met het aantal respondenten zoals weergegeven in tabel

15 Tabel Groepsgewijze veranderingen in ouderlijk gedrag (SOG4-7) bij nameting Norm Dimensie N 13 Voormeting T1 Gem. SD Nameting T2 Gem. SD Significantie <.10 T1-T2 ES Totaal * Positief ouderlijk * 0.23 gedrag Aanleren regels Sociaal belonen Hard straffen * 0.27 Inconsequent straffen * 0.72 Laatste training Totaal Positief ouderlijk gedrag Aanleren regels Sociaal belonen Hard straffen Inconsequent straffen Toelichting: Zie Bijlage 1 voor een toelichting van berekening van de scores * Voor het interpreteren van bovenstaande resultaten moet voorzichtig worden omgegaan gezien de kleine aantallen (N=). Wat opvalt is dat over het algemeen de gemiddelde scores van de ouders met betrekking tot hun ouderlijk gedrag bij aanvang niet in het probleemgebied liggen. Alleen wat betreft totaal ouderlijk gedrag en het aanleren van regels ervaren ouders enige matige van problematiek. Na afloop van de training ervaren ouders geen problemen meer wat betreft totaal ouderlijk gedrag. Ondanks de hoge mate van gedragsproblematiek en opvoedingsstress rapporteren ouders positief over hun opvoedvaardigheden. Desondanks rapporteren ouders een significante positieve verandering met betrekking tot het inconsequent straffen (ouders zijn consequenter geworden in het uitvoeren van een straf). De effectsize is groot (ES = 0.94). Voorgaande jaren was dit effect middelgroot (ES = 0.72). De landelijke cijfers van voorgaande jaren laten daarnaast een significante positieve verandering zien met betrekking tot totaal ouderlijk gedrag, positief ouderlijk gedrag en hard straffen. 13 Voor analyses worden de deviatiescores van bepaalde schalen van de vragenlijsten gebruikt. Bij de SOG zijn de scores omgezet om ze vergelijkbaar te maken met de andere vragenlijsten (hoe hoger de score, hoe problematischer). Wanneer ouders niet alle vragen beantwoorden kunnen de schalen die bij de ontbrekende vragen horen niet berekend worden en zal het aantal respondenten (N) voor die schaal verder achteruitgaan. Om die reden komt het aantal respondenten zoals in bovenstaande tabel weergegeven niet altijd overeen met het aantal respondenten zoals weergegeven in tabel

16 3.4. Cliënttevredenheid Tabel 3.4. Ervaren effectiviteit behandeling (BESTE) bij nameting Dimensie Instelling Aantal trainingen Verandering in gedrag kind N Goed vooruit gegaan Effectiviteit ouders Wel wat verbeterd Onveranderd/ slechter % 42.0% 8.7% De Waarden %.7% 0.0% Verandering in functioneren gezin % 49.3% 4.3% De Waarden 1 1.7% 83.3% 0.0% Manier van opvoeden kind % 27.9% 3.0% De Waarden 1.7% 33.3% 0.0% Zicht op gedrag kind % 3.8% 7.3% De Waarden % 20.0% 0.0% Toelichting: Zie Bijlage 1 voor een toelichting van berekening van de scores. Tabel 3.5. Totaal Ervaren effectiviteit en Tevredenheid ouders Dimensie Instelling Aantal trainingen N Effectiviteit/Tevredenheid ouders Totale effectiviteit % De Waarden % Tevredenheid over resultaten De Waarden Tevredenheid over kindtrainers De Waarden Tevredenheid over oudertrainers De Waarden

17 Alle ouders van de kinderen die STOP4-7 hebben gevolgd geven aan dat de interventie effect heeft gehad (100%, tabel 3.5.). Van één ouder kon de totale effectiviteit niet worden berekend vanwege ontbrekende antwoorden. In tabel 3.4 zijn de verschillende dimensies waarop ouders effect ervaren weergegeven. Daarin is te zien dat ouders vinden dat met name het zicht op het gedrag van hun kind goed is vooruitgegaan (80%) en de manier waarop ze hun kind opvoeden (.7%). Minder ouders geven aan dat het gedrag van hun kind goed vooruit is gegaan (33.3%). Dit is wel wat verbeterd volgens ouders. Nog minder ouders geven aan dat het gezinsfunctioneren goed is vooruitgegaan (1.7%). Volgens ouders is dit wel wat verbeterd (83.3%). Voorgaande jaren vonden meer ouders dat het gezinsfunctioneren goed was vooruitgegaan (4.4%). Uit tabel 3.5 is af te lezen dat ouders tevreden zijn over de resultaten van de training. Gemiddeld geven ze het rapportcijfer 7. Voorgaande jaren was dit rapportcijfer wat hoger (7,5). In zijn in de nieuwe vragenlijst naar tevredenheid en effectiviteit (BESTE) voor ouders een tweetal vragen toegevoegd. Ouders is gevraagd tevens een rapportcijfer toe te kennen aan de trainers van de kindtraining en de oudertraining. Gemiddeld geven ouders de kindtrainers een 8,7 en de oudertrainers een 7,8. Voorgaande jaren waren ouders even tevreden over de kindtrainers en de oudertrainers. Zij gaven toen zowel de kind- als oudertrainers het gemiddeld rapportcijfer 8,2. 17

18 Tabel 3.. Ervaren effectiviteit interventie leerkrachten Dimensie Instelling Aantal trainingen Verandering in gedrag kind N Goed vooruit gegaan Effectiviteit leerkrachten Wel wat verbeterd Onveranderd/ slechter % 72.7% 9.1% De Waarden 1 0.0% 33.3%.7% Verandering in functioneren gezin % 57.1% 14.3% De Waarden % 0.0% 100.0% Manier van begeleiden kind % 80.0% 10.0% De Waarden 1 0.0% 50.0% 50.0% Zicht op gedrag kind % 50.0% 40.0% De Waarden 1 0.0% 50.0% 50.0% Toelichting: Zie Bijlage 1 voor een toelichting van berekening van de scores. De vragenlijst voor tevredenheid en effect (BESTE) voor leerkrachten is pas in gebruik genomen vanaf het schooljaar Om die reden kunnen er geen vergelijkingen worden gemaakt met eerdere jaren ( ). De gegevens van fungeren hier dan ook als norm. Tabel 3.7. Totaal Ervaren effectiviteit en Tevredenheid leerkrachten Dimensie Instelling Aantal trainingen N Effectiviteit/Tevredenheid leerkrachten Totale Effectiviteit % De Waarden % Tevredenheid over resultaten De Waarden 1 5. Tevredenheid over netwerktrainers De Waarden

19 De vragenlijst voor tevredenheid en effect (BESTE) voor leerkrachten is pas in gebruik genomen vanaf het schooljaar Om die reden kunnen er geen vergelijkingen worden gemaakt met eerdere jaren ( ). De gegevens van fungeren hier dan ook als norm. Uit tabel 3. blijkt dat het merendeel van de leerkrachten vindt dat de problematiek van de kinderen onveranderd is gebleven. Geen enkele leerkracht geeft aan dat het gedrag van de kinderen goed is vooruitgegaan. De landelijke cijfers van het voorgaande jaar laten zien dat het merendeel van de leerkrachten vond dat het gedrag wel wat vooruit was gegaan. Het gaat echter om kleine aantallen (N=, ; N=, Tiel), waardoor de verschillen op toeval kunnen berusten. Bij de vragen met betrekking tot een verandering in het functioneren van het gezin heeft slechts één leerkracht haar mening gegeven. Met dit resultaat moet dan ook voorzichtig worden omgegaan. Uit tabel 3.7 is af te lezen dat de leerkrachten het resultaat van de training als voldoende beoordelen. Zij geven een gemiddeld rapportcijfer van,. De trainers die de leerkrachten de netwerktraining hebben gegeven krijgen gemiddeld een rapportcijfer van 8,0. De landelijke cijfers van het voorgaande jaar laten zien dat de leerkrachten de resultaten van de trainingen gemiddeld beoordeelden met een,8. De leerkrachten beoordeelden de trainers die de netwerktrainingen het voorgaande jaar hebben gegeven gemiddeld met een 8,0. 19

20 3.5. Evaluatie programma Het programma wordt geëvalueerd door middel van het Formulier einde training en de Behandelchecklisten. Het Formulier einde training gaat na hoeveel sessies van de kindtraining de kinderen hebben bijgewoond, hoeveel sessies van de oudertraining de ouders hebben bijgewoond. Daarnaast wordt nagegaan hoeveel sessies de leerkracht van de leerkrachttraining heeft bijgewoond en eventueel hoeveel sessies de pedagogisch medewerker en/of derden van de leerkrachttraining hebben bijgewoond. Ook wordt geëvalueerd hoe vaak ouders, leerkracht en eventueel pedagogisch medewerker aanwezig zijn geweest in de kindtraining. Ten slotte wordt bekeken hoeveel huis- en schoolbezoeken er per kind hebben plaatsgevonden. Er wordt gestreefd naar minimaal 5 huisbezoeken en minimaal 4 schoolbezoeken per kind. De behandelchecklisten gaan na of de beoogde inhoud van het programma is gerealiseerd. Op deze checklisten kan per bijeenkomst worden aangegeven welke onderwerpen zijn behandeld (zoals beschreven in het handboek). Daarnaast kunnen de trainers zelf de bijeenkomsten beoordelen middels een rapportcijfer. Het handboek beschrijft de kind- en oudertraining als bestaande uit 10 bijeenkomsten en de leerkrachttraining als bestaande uit 4 bijeenkomsten. In deze bijeenkomsten dienen respectievelijk 0 (kindtraining), 50 (oudertraining) en 39 (leerkrachttraining) onderwerpen aan bod te komen. Deze aantallen fungeren als norm. Bij De Waarden Tiel bestond de kindtraining uit 10 bijeenkomsten. Drie kinderen hebben één sessie gemist, de overige kinderen (N=3) hebben alle sessies bijgewoond. Tijdens de kindtraining zijn er 49 van de 0 onderwerpen behandeld. Dit betekent dat er voor 82% wordt voldaan aan de inhoud van het programma. Er kan geen gemiddeld rapportcijfer berekend worden omdat er geen cijfers zijn ingevuld voor de kindtraining. Naar eigen zeggen is er volgens de kindtrainers een goede eerste training gegeven. Zij hebben het idee dat ze iets waardevols hebben neergezet. De oudertraining bestond uit 11 bijeenkomsten. Twee ouders hebben 10 bijeenkomsten bijgewoond en één ouder heeft 9 bijeenkomsten bijgewoond. De overige ouders (N=3) hebben alle bijeenkomsten bijgewoond. Van de 50 onderwerpen van de oudertraining zijn er 43 behandeld. Hiermee wordt voor 8% voldaan aan de inhoud van het programma. Per bijeenkomst kunnen de trainers een cijfer geven over hoe de bijeenkomst is verlopen. De trainers geven een gemiddeld rapportcijfer van 7,1 voor de bijeenkomsten van de oudertraining. Ouders hebben de mogelijkheid om mee te draaien in de kindtraining. Drie ouders zijn drie keer aanwezig geweest in de kindtraining. Twee ouders zijn vier keer aanwezig geweest in de kindtraining en één ouder is vijf keer aanwezig geweest in de kindtraining. De leerkrachttraining bestond uit 4 bijeenkomsten. Twee leerkrachten waren bij al deze bijeenkomsten aanwezig. Drie leerkrachten waren bij 3 bijeenkomsten aanwezig en één leerkracht heeft geen enkele bijeenkomst bijgewoond. Daarnaast zijn er twee pedagogisch medewerkers die de hele leerkrachttraining hebben bijgewoond. Tijdens de leerkrachttraining zijn er 29 van de 39 onderwerpen aan bod gekomen. Er wordt voor 74% voldaan aan de inhoud van het programma. De trainers geven gemiddeld een,9 als rapportcijfer voor de bijeenkomsten van de leerkrachttraining. Ook de leerkrachten en de pedagogisch medewerkers hebben de mogelijkheid om mee te draaien in de kindtraining. 20

21 De leerkrachten zijn 1 à 2 keer aanwezig geweest in de kindtraining. Beide pedagogisch medewerkers zijn 3 keer aanwezig geweest in de kindtraining. Hiervan zijn geen normen beschikbaar. Bij vier van de zes gezinnen hebben 5 huisbezoeken plaatsgevonden. Hiermee wordt voldaan aan de norm. Bij de overige twee gezinnen hebben 4 huisbezoeken plaatsgevonden. Hiermee wordt bijna voldaan aan de norm (norm aantal huisbezoeken=5). Bij 5 van de kinderen hebben trainers 2 maal de school bezocht. Bij één kind hebben geen schoolbezoeken plaatsgevonden. Hiermee wordt niet voldaan aan de norm (norm aantal schoolbezoeken=4). 21

22 Bijlage 1: Toelichting tabellen Toelichting tabellen tot en met : Voor aanvang en afsluiting worden steeds de gemiddelde deviatiescores gegeven met de standaarddeviatie. Deviatiescores groter of gelijk aan 1,29 wijzen op aanzienlijke problemen (de klinische range), scores boven de 1,4 wijzen op ernstige problemen en scores boven de 1,9 wijzen op zeer ernstige problemen. Als er een statistisch significante verandering aantoonbaar is dan staat na de gegevens over de afsluiting een asterisk (*), de kans dat een geconstateerde verbetering op toeval berust is dan 10% of kleiner. Gem. = gemiddelde deviatiescore (=standaardscore: de gemiddelde afwijking van de norm, een deviatiescore van 0 betekent dat het gemiddeld gelijk is aan dat van de normgroep, scores hoger dan 0 duiden op problemen, zie onderstaande tabel voor verdere interpretatie) SD = standaarddeviatie (spreiding van de individuele deviatiescores om het gemiddelde (= Gem.)). ES = Effectsize (effectgrootte), berekend door het verschil tussen voor- en nameting te delen door de gepoolde SD. Deviatiescore (Gem.) Percentielscore Label Betekenis Kleiner dan 0,80 lager dan 0,78 Geen problemen Geen zorgen van betekenis Van 0,80 t/m 1,28 0,79 t/m 0,89 Matige problemen Van 1,29 t/m 1,4 0,90 t/m 0,94 Aanzienlijke problemen Van 1,5 t/m 1,9 0,95 t/m 0,97 Ernstige problemen Groter dan 1,9 groter dan 0,97 Zeer ernstige problemen Problematiek verdient aandacht Problematiek verdient behandeling ES groter of gelijk aan 0,80 Van 0,50 t/m 0,79 Van 0,20 t/m 0,49 Kleiner dan 0,20 Betekenis Groot effect Middelgroot effect Klein effect Verwaarloosbaar effect Toelichting tabellen 3.4, 3.5, 3. en 3.7: De totale effectiviteit is bepaald door de scores op de vier algemene vragen op de Beoordelingsschaal voor Tevredenheid en Effect (BESTE) op te tellen. Hierin wordt gevraagd naar een eventuele gedragsverandering bij het kind, een eventuele verandering in de opvoeding, een eventuele verandering in het functioneren van het gezin, of het eventueel verkrijgen van meer zicht op het gedrag van het kind. Bij een mogelijke range van 4-1 is gekozen voor een afkappunt van 12. Een score op of boven dit afkappunt is een indicatie voor effectiviteit. Het percentage geeft aan hoeveel gezinnen een dergelijke score halen. De BESTE is vanaf training 3 afgenomen. 22

23 Bijlage 2: Analyseschema Onderstaand schema kan door de locatie gebruikt worden om de resultaten van de laatste training te analyseren. Vergelijk bij de interpretatie de gegevens van de laatste training steeds met de landelijke referentiegegevens. Signalering opvallende zaken: Respons: Verklaring: 1) Is het gesignaleerde herkenbaar? 2) Wat zijn mogelijke verklaringen? Verbeteracties: 1) Zijn de uitkomsten goed genoeg? 2) Moet er iets veranderen? Probleemgedrag: Ouderlijke stress: Ouderlijk gedrag: Tevredenheid: Behandelintegriteit: 23