Interbeoordelaarsovereenstemming bij gestructureerd beslissen over kindermishandeling

Transcriptie

1 kind en adolescent jaargang 34 (2013), nr. 3, p Interbeoordelaarsovereenstemming bij gestructureerd beslissen over kindermishandeling Cora Bartelink, Tom van Yperen, Ingrid ten Berge, Leontien de Kwaadsteniet en Cilia Witteman samenvatting Gestructureerde besluitvorming wordt beschouwd als een mogelijke oplossing voor de grote subjectiviteit in beoordelingen en beslissingen over kinderen in een (potentieel) onveilige opvoedingssituatie. In deze vignetstudie is onderzocht in hoeverre een werkwijze voor gestructureerde besluitvorming, orba, leidt tot meer overeenstemming tussen medewerkers van Advies- en Meldpunten Kindermishandeling (amk). Daarvoor zijn verschillen tussen veertig beginnende en veertig ervaren amk-medewerkers onderzocht. Over het geheel genomen bleek de overeenstemming laag te zijn, hoewel die over oordelen beter was dan over beslissingen. Ervaren medewerkers waren het over een aantal oordelen en beslissingen vaker eens dan beginnende medewerkers (bijvoorbeeld aanwezigheid van kindermishandeling), maar niet over alle (beslissing om melding in onderzoek te nemen). Er is geen overtuigend bewijs dat gestructureerde besluitvorming leidt tot meer overeenstemming. We geven aanbevelingen voor verbetering van de uniformiteit in de besluitvorming en voor verder onderzoek. C. Bartelink, MSc., is onderzoeker bij het Nederlands Jeugdinstituut op het terrein van besluitvorming bij kindermishandeling en effectieve hulp. Prof. dr. T. A. van Yperen is bijzonder hoogleraar Monitoring en innovatie zorg voor jeugd bij de Faculteit Gedrags- en Maatschappijwetenschappen van de Rijksuniversiteit Groningen en is eveneens werkzaam bij het Nederlands Jeugdinstituut. Dr. I. J. ten Berge is senior adviseur en onderzoeker bij het Nederlands Jeugdinstituut en expert op het terrein van besluitvorming bij kindermishandeling. Dr. L. de Kwaadsteniet is werkzaam als docent en onderzoeker aan de Radboud Universiteit Nijmegen. Prof. dr. C. L. M. Witteman is hoogleraar psychodiagnostische besluitvorming bij het Behavioural Science Institute van de Radboud Universiteit Nijmegen. Noot: Dit onderzoek is gefinancierd met een subsidie van ZonMw. 120

2 interbeoordelaarsovereenstemming bij gestructureerd beslissen over kindermishandeling Inleiding Beslissen over kindermishandelingszaken is niet eenvoudig, omdat de problematiek in gezinnen complex en dynamisch kan zijn (Benbenishty, 1992; Kaplan, Pelcovitz, & Labruna, 1999). Beslissingen zijn ingrijpend en de gevolgen ervan zijn van tevoren niet goed te overzien. Medewerkers van de Advies- en Meldpunten Kindermishandeling (amk) hebben dagelijks te maken met zaken waarin kinderen mogelijk het slachtoffer van kindermishandeling zijn. amk-medewerkers nemen meldingen aan van vermoedens van kindermishandeling van burgers en professionals en beoordelen in een amk-onderzoek of een kind zich in een bedreigende opvoedingssituatie bevindt. Als er hulp nodig is, kunnen amk-medewerkers een gezin verwijzen naar Bureau Jeugdzorg of afspraken maken met de jeugdgezondheidszorg of andere beschikbare voorzieningen. Ook kunnen zij bij de Raad voor de Kinderbescherming een verzoek doen tot onderzoek naar de noodzaak van een jeugdbeschermingsmaatregel wanneer ingeschat wordt dat vrijwillige hulp geen kans van slagen heeft. Gezien het ingrijpende karakter van de te nemen beslissingen is snelle, zorgvuldige besluitvorming een vereiste. Wat zorgvuldig beslissen bemoeilijkt, is dat informatie in veel situaties summier is en soms tegenstrijdig. Beslissingen worden onder tijdsdruk genomen en er is maar een beperkt aantal handelingsmogelijkheden die meestal geen van alle optimaal zijn (Benbenishty, Osmo, & Gold, 2003; Dalgleish, 1997; Ten Berge, 1998). De gezinnen waar het om gaat, beseffen in veel gevallen de ernst van de problemen (nog) niet of hebben geen eigen hulpvraag of motivatie voor hulp. Bij gedwongen hulp krijgen hulpverleners vaak te maken met angst en weerstand van gezinnen (Dumbrill, 2005; Turnell, & Edwards, 1999). In dergelijke complexe situaties ontstaan vertekeningen door tekortkomingen in het beslisproces: mensen zien relevante informatie over het hoofd, geven irrelevante details te veel gewicht of zoeken alleen informatie die past bij wat ze al dachten (Munro, 1999; Munro, 2008). Vooral recente, levendige informatie of informatie die veel emoties oproept, krijgt een groot gewicht (Munro, 1999). Fouten kunnen ook ontstaan doordat medewerkers meer afgaan op persoonlijke ervaringen en opvattingen dan op empirische kennis (Benbenishty e.a., 2003; Garb, 2005; Munro, 1998; Osmo & Benbenishty, 2004). Onderzoek laat zien dat de kwaliteit van het besluitvormingsproces en de beslissingen die voortvloeien uit ongestructureerde besluitvorming beperkt is (Benbenishty e.a., 2003, Munro, 1996; Munro, 1999). Zo blijkt onder meer dat er (soms grote) verschillen tussen medewerkers zijn in oordelen en beslissingen (Berben, 2000; Britner & Mossler, 2002; Gold, Benbenishty & Osmo, 2001; Munro, 2008; Ten Berge, 1998; Van Montfoort; 2004). Subjectiviteit in besluitvorming over (vermoedens van) kindermishandeling is ongewenst. Ouders en kinderen hebben recht op een gelijke behandeling, ongeacht waar ze wonen of met welke medewerker zij te maken hebben (zie Internationaal Verdrag voor de Rechten van het Kind). Gestructureerde besluitvorming Hoewel sommige fouten onvermijdelijk zijn, bijvoorbeeld onjuiste beslissingen als 121

3 kind en adolescent jaargang 34 (2013), nr. 3 gevolg van beperkte informatie (Munro, 1996), zijn andere fouten te vermijden wanneer hulpverleners kritisch kijken naar hun beslissingen (Gambrill, 2005). Een manier voor verbetering van besluitvorming wordt vaak gezocht in het expliciteren en systematiseren van het besluitvormingsproces (zie o.m. De Bruyn, Ruijssenaars, Pameijer, & Van Aarle, 2003; Munro, 2008; Pameijer & Van Beukering, 2004; Shlonsky & Wagner, 2005). Gestructureerd beslissen leidt tot een gefundeerde afweging van alternatieve opties en hun mogelijke uitkomsten (Bolton & Lennings, 2010). Daardoor zijn hulpverleners minder kwetsbaar voor voorbarige conclusies (Hodgkinson, Bown, Maule, Glaister, & Pearman, 1999) en kunnen ze betere interventies kiezen (Wagner, Johnson, & Caskey, 2001). Voor de amk s is daarom de orba-werkwijze ontwikkeld. orba is een systematische, empirisch onderbouwde werkwijze voor Onderzoek, Risicotaxatie en Besluitvorming door de amk s (Ten Berge & Vinke, 2006). orba is in ontwikkeld door het Nederlands Jeugdinstituut (voorheen nizw Jeugd), adviesbureau Van Montfoort en de amk s. De werkwijze is gebaseerd op enerzijds wetenschappelijke kennis (evidencebased) en anderzijds de expertise van een groep amk-medewerkers (practice-based). Eerst is een nulversie van de werkwijze ontwikkeld op basis van inzichten uit Effective child protection (Munro, 2002; herzien in 2008), het Risk/General Assessment and Decision-making Model (Dalgleish, 1997), Signs of Safety (Turnell & Edwards, 1999) en Beslissen over interventies in gezinnen (Van Montfoort, 2004). Belangrijkste overeenkomsten tussen deze benaderingen zijn het structureren van het besluitvormingsproces en het onderscheiden van enerzijds het beoordelen van de mate van bedreiging voor het kind en anderzijds het beslissen over welke hulp of beschermende maatregelen ingezet kunnen worden om de veiligheid van het kind te vergroten. Vervolgens zijn op drie pilotlocaties in tien bijeenkomsten met amk-medewerkers de belangrijkste criteria en afwegingen voor kernbeslissingen uitgewerkt en is de bruikbaarheid van bestaande diagnostische instrumenten en nieuw ontwikkelde checklists getest. Op elke locatie deden acht tot tien medewerkers mee aan de pilot. Met de ontvangen feedback van de pilotlocaties en het landelijk overleg van amk-teamleiders is de definitieve orbawerkwijze ontwikkeld. orba bestaat uit inhoudelijke en procesmatige criteria en richtlijnen voor het besluitvormingsproces, ondersteund door zes checklists, waaronder de Checklist Aandachtspunten (Ten Berge & Vinke, 2006) en het Licht Instrument Risicotaxatie inzake Kindveiligheid (lirik; Ten Berge & Eijgenraam, 2009). De checklists ondersteunen de besluitvorming door relevante stappen, overwegingen, criteria en aandachtspunten weer te geven, zowel op inhoud als voor het besluitvormingsproces. De inhoudelijke richtlijnen en criteria betreffen de te verzamelen informatie, de oordeelsvorming en de te nemen beslissingen. Er worden verschillende kernbeslissingen onderscheiden, waarvoor is uitgewerkt welke criteria en oordelen daaraan ten grondslag dienen te liggen en welke informatie nodig is voor een goede beoordeling en besluitvorming. De informatie wordt geordend aan de hand van de volgende domeinen: vermoedelijke mishandeling, jeugdige, opvoeding en verzorging, ouder(s), gezin en omgeving, hulpverlening. Voor elk domein worden aandachtspunten aangereikt. Deze zijn gericht op zowel de zorgen, problemen en risicofactoren als op positieve aspecten en beschermende factoren. 122

4 interbeoordelaarsovereenstemming bij gestructureerd beslissen over kindermishandeling De procesmatige richtlijnen betreffen het expliciet onderscheiden van verschillende stappen in de besluitvorming: informatie verzamelen, ordenen, analyseren, concluderen en beslissen. Ook het werken met een plan van aanpak en het formuleren van onderzoeksvragen voor het onderzoek naar een gezinssituatie horen hierbij (Ten Berge & Vinke, 2006). orba is in in heel Nederland bij de amk s ingevoerd. Alle amk-medewerkers moeten een basistraining volgen en in een toetsingsprocedure bewijzen orba goed te kunnen toepassen in de casuïstiek. Onderzoek De verwachting is dat orba bijdraagt aan het verminderen van de subjectiviteit en vertekeningen in de besluitvorming, doordat medewerkers meer systematisch werken en relevante inhoudelijke aandachtspunten aangereikt krijgen. Het is nog niet vastgesteld of aan die verwachting wordt voldaan, omdat hier nog geen systematisch wetenschappelijk onderzoek naar is verricht. Dossieronderzoek heeft aangetoond dat orba leidt tot een meer systematisch en transparant besluitvormingsproces (De Kwaadsteniet, Bartelink, Witteman, Ten Berge, & Van Yperen, 2013). Ook constateerde de Inspectie Jeugdzorg in onderzoek bij de amk s in de periode dat er verbeteringen zijn in de plannen van aanpak, eenduidigheid van criteria en transparantie van de besluitvorming. Zij schrijft dit mede toe aan de invoering van orba (Inspectie Jeugdzorg ). Een gebruikersevaluatie laat zien dat amk-medewerkers enthousiast zijn over orba. Zij menen dat orba hen helpt meer gestructureerd en transparant te beslissen en dat zij hierdoor een beter inzicht in het functioneren van gezinnen hebben (Ten Berge & De Baat, 2009). Er is echter nog geen onderzoek gedaan naar de mate van overeenstemming in de besluitvorming. De veronderstelling is dat wanneer amk-medewerkers het meer met elkaar eens zijn over wat de beste beslissing is de subjectiviteit afneemt; beslissingen zijn dan minder afhankelijk van persoonlijke voorkeuren en er ontstaat een gedeelde visie op wat de beste aanpak voor gezinnen is. Ook internationaal is er weinig tot geen onderzoek gedaan naar de vraag of structurering en explicitering van besluitvormingsprocessen in de jeugdzorg leidt tot meer uniformiteit in besluitvorming. Er zijn enkele vergelijkbare buitenlandse werkwijzen voor gestructureerde besluitvorming voor de kinderbescherming: het Victorian Risk Framework (vrf) (Armitage, Boffa, & Parker, 1999) uit Australië en het Structured Decision Making (sdm) model (Children s Research Center, 1999) uit de Verenigde Staten. Er zijn enkele onderzoeken rond het sdm-model uitgevoerd, met name naar de betrouwbaarheid en validiteit van de risicotaxatie-instrumenten (zie Johnson, 2004; Loman, & Siegel, 2004). Wagner en collega s (2001) constateerden dat in regio s waar het sdm was geïmplementeerd, uithuisplaatsingen stabieler leken te zijn dan in regio s die het sdm niet gebruikten. Dit geeft aan dat gestructureerde besluitvorming de kwaliteit van beslissingen kan beïnvloeden. Er is voor het sdm en vrf echter nog niet onderzocht in hoeverre werkers het ook vaker met elkaar eens zijn over de meest gewenste beslissing. Doel van dit onderzoek is dan ook te bepalen of gestructureerde besluitvorming de overeenstemming tussen werkers over oordelen en beslissingen kan verbeteren. De belangrijkste vraag van dit onderzoek is: Leidt het werken volgens orba tot meer 123

5 kind en adolescent jaargang 34 (2013), nr. 3 uniformiteit in oordelen en besluiten bij amk-medewerkers dan werken zonder orba? De volgende twee deelvragen zijn opgesteld: Wat is de interbeoordelaarsovereenstemming over kernoordelen en -beslissingen? Zijn er verschillen tussen orba-gecertificeerde amk-medewerkers en beginnende amk-medewerkers in de interbeoordelaarsovereenstemming over oordelen en besluiten? De verwachting was dat ervaren medewerkers het vaker met elkaar eens zouden zijn dan beginnende medewerkers, omdat zij in orba getraind zijn en hebben aangetoond het in de praktijk te kunnen toepassen. Dit onderzoek maakt deel uit van een groter onderzoek naar de besluitvorming door de amk s (Ten Berge, Bartelink, & De Kwaadsteniet, 2011). Methode Om te onderzoeken of orba leidt tot meer uniformiteit in de besluitvorming is de overeenstemming over verschillende oordelen en besluiten tussen beginnende amkmedewerkers en gecertificeerde amk-medewerkers onderzocht middels 16 vignetten (casusbeschrijvingen). Het werken met vignetten is de meest geschikte werkwijze, omdat in de dagelijkse casuïstiek er vanzelfsprekend verschillende beslissingen genomen worden. Met vignetten krijgen meerdere medewerkers dezelfde informatie voorgelegd, waardoor beter te onderzoeken is in hoeverre zij het met elkaar eens zijn over de zaak. Respondenten Een experimentele opzet met aselecte toewijzing van de orba-werkwijze aan een van de groepen was niet mogelijk, omdat orba overal al ingevoerd is. Daarom is er gekozen voor een steekproef bestaande uit twee groepen: 40 orba-gecertificeerde amk-medewerkers en 40 beginnende amk-medewerkers. Op het moment van onderzoek waren er vier amk s waarvan de medewerkers orba-gecertificeerd waren, dat wil zeggen dat de medewerkers de orba-training gevolgd hadden en in een toetsingsprocedure hebben laten zien orba in de casuïstiek te kunnen toepassen. Van deze vier amk s is aselect een steekproef van acht tot twaalf respondenten getrokken. Hiervoor is gekozen om de belasting evenredig over de amk s te verdelen waarbij rekening gehouden is met de grootte van het amk. Beginnendeamk-medewerkers hadden de orba-basistraining nog niet gevolgd. Deze medewerkers hebben wel meerjarige werkervaring in de jeugdzorg of jeugdbescherming. Adviesbureau Van Montfoort geeft de orba-basistraining als onderdeel van de amk-basistraining voor nieuwe medewerkers. Alle medewerkers die zich in de eerste helft van 2011 voor de amk-basistraining aanmeldden, zijn voor het onderzoek benaderd. Pas na deelname aan het vignetonderzoek kregen zij de orba-basistraining. Aan het onderzoek hebben 69 vrouwen en 11 mannen meegedaan. De respondenten werkten bij 12 van de 15 in Nederland aanwezige amk s. In tabel 1 is de leeftijd en werkervaring van medewerkers weergegeven. Gecertificeerde respondenten waren gemiddeld ouder (t(79) = -4,54; p<.001), hadden meer 124

6 interbeoordelaarsovereenstemming bij gestructureerd beslissen over kindermishandeling jaren werkervaring bij het amk (t(79) = ; p<.001) en in de jeugdzorg/jeugdbescherming dan beginners (t(79) = -5.39; p<.001). Dit betekent dus dat gecertificeerde medewerkers niet alleen verschilden in het feit dat ze meer amk-werkervaring hadden en orba-gecertificeerd waren, maar ook in werkervaring in de jeugdzorg en jeugdbescherming. Tabel 1 Leeftijd en werkervaring respondenten (n = 80). Gemiddelde (standaarddeviatie) T-waarde Beginnend Gecertificeerd Totaal Leeftijd 37.0 (9.6) 43.6 (8.7) 40.3 (9.7) ** Aantal jaar werkervaring 0.8 (1.1) 6.6 (5.0) 3.7 (4.6) ** bij het amk Aantal jaar werkervaring in de jeugdzorg of jeugdbescherming 6.4 (6.6) 13.4 (9.6) 9.9 (8.9) ** ** p <.000 Aan alle medewerkers is gevraagd op welke manier zij in het werken met orba getraind waren. Van de gecertificeerde medewerkers hadden 33 (82.5%) een officiële orba-training gehad. Opvallend is dat zeven gecertificeerde medewerkers zeiden op de werkvloer in orba getraind te zijn en niet de officiële orba-training te hebben gehad. Geen van de beginnende medewerkers had een officiële orba-training gehad. Negen van hen (22.5%) waren wel op de werkvloer door de teamleider of gedragsdeskundige in orba getraind. Er is aan de respondenten gevraagd of zij de lirik en/of de Checklist Aandachtspunten gebruikt hadden bij het beoordelen van de vignetten. Een aantal respondenten gebruikte de Checklist Aandachtspunten (acht beginnende en achttien gecertificeerde medewerkers) en/of de lirik (zeven beginnende en zeven gecertificeerde medewerkers). Vignetten en vooronderzoek Er is een aanpak met vignetten gebruikt die gebruikelijk is voor onderzoek naar de interbeoordelaarsovereenstemming bij categorische besluiten (zie bijvoorbeeld Mezzich, Mezzich, & Coffman, 1985). Voor het onderzoek is een casusboek samengesteld met zestien casusbeschrijvingen (zie Ten Berge, Bartelink, & De Kwaadsteniet, 2011). Acht daarvan betroffen het beslismoment een melding al dan niet aan te nemen, acht betroffen de beslissing over het vervolg na amk-onderzoek. In de casusbeschrijvingen werd systematisch gevarieerd met de leeftijd van het kind of de kinderen, de ernst en complexiteit van de problematiek en of het een professionele dan wel particuliere melder betrof. Zaken waarin het te nemen besluit overduidelijk was (bijvoorbeeld vanwege de ernst van de problematiek), zijn vermeden. De casusbeschrijvingen zijn gebaseerd op dossiermateriaal van de amk s. Het dossiermateriaal is bewerkt tot geanonimiseerde en niet tot personen herleidbare vignetten. Inhoud en lengte van de 125

7 kind en adolescent jaargang 34 (2013), nr. 3 meldingen komt overeen met informatie in de dossiers in de praktijk. Inhoud van de onderzoekszaken komt overeen met de praktijk, maar in verband met de belasting voor respondenten was de informatie beknopter weergegeven (maximaal 1 A4). In tegenstelling tot normale amk-onderzoeken beschikten respondenten in deze studie niet over mondelinge informatie en konden zij niet doorvragen. De vignetten zijn in een vooronderzoek op bruikbaarheid en representativiteit getoetst door de teamleiders en gedragsdeskundigen van de amk s. Op basis hiervan zijn er enkele aanpassingen in de formulering van de vignetten doorgevoerd. Procedure en vragenlijst Het onderzoek is volgens een geblokt design opgezet (Eijgenraam e.a., 2008). Daarbij is aan de 80 respondenten gevraagd elk vier vignetten te beoordelen: twee over de vraag of een casus al dan niet als melding moest worden aangenomen en twee over de vraag welk vervolg is aangewezen na een amk-onderzoek. Deze combinatie van vier vignetten varieerde willekeurig op basis van enkele kenmerken van de vignetten. Elk van de 16 vignetten is door 20 respondenten beoordeeld: tien beginnende en tien orbagecertificeerde medewerkers. De respondenten hebben bij elk vignet een vragenlijst ingevuld. In de vragenlijst is gevraagd naar de orba-oordelen en beslissingen. Het amk kent een aantal kernoordelen en kernbeslissingen. Wanneer medewerkers beoordelen of zij een zaak in onderzoek nemen, gaat het om de volgende vragen: 1 Is er sprake van een gegrond vermoeden van kindermishandeling? (Oordeel) 2 Neemt u de zaak aan als melding? (Besluit) Wanneer medewerkers beoordelen of zij na het amk-onderzoek een zaak kunnen afsluiten, zijn de vragen: 1 Is er sprake van kindermishandeling? (Oordeel) 2 Is er hulp nodig? (Oordeel) 3 Kan hulp in een vrijwillig kader plaatsvinden? (Oordeel) 4 Met welke actie sluit u de zaak af? (Besluit) (Antwoordmogelijkheden: Afsluiten zonder verdere bemoeienis door het amk; overdragen aan bjz voor verder onderzoek en/of hulp; overdragen aan de Raad voor de Kinderbescherming; anders namelijk) Daarnaast spraken de respondenten zich uit over een aantal achterliggende oordelen: de ernst van de problematiek, de risico s op kindermishandeling in de toekomst, de zekerheid over hun oordeel over de aard en ernst van de problematiek, de hoeveelheid informatie en de moeilijkheid van de beslissing. Ook is aan de respondenten gevraagd hun beoordelingen en beslissingen te onderbouwen met inhoudelijke overwegingen en argumenten. Ten slotte bevatte de vragenlijst enkele vragen naar achtergrondgegevens, zoals leeftijd, werkervaring en de manier waarop ze de orba-training gehad hadden. De vignetten zijn per post of verstuurd. De vragenlijst werd via internet ingevuld. In verband met de analyse van de interbeoordelaarsovereenstemming was het van belang dat alle vignetten even vaak werden beoordeeld. Uitval van enkele medewerkers maakte het noodzakelijk om meer respondenten te benaderen. Er zijn in totaal

8 interbeoordelaarsovereenstemming bij gestructureerd beslissen over kindermishandeling medewerkers benaderd, waarvan er 80 daadwerkelijk aan het onderzoek hebben meegedaan (94% respons). Analyse Eerst is het percentage overeenstemming bepaald. Die index is echter niet voor de kans op toevallige overeenstemming gecorrigeerd. Daarom is de kansgecorrigeerde interbeoordelaarsovereenstemming bepaald met de Intraclass Correlatie Coëfficiënt (icc). Internationaal gezien is dit de meest geschikte en geaccepteerde maat voor beoordelingen van minimaal ordinaal meetniveau en met meer dan twee beoordelaars per vignet (Shrout & Fleiss, 1979). De kernbeoordelingen en -beslissingen zijn dichotome variabelen. De enige uitzondering hierop was het besluit over het vervolg na het amk-onderzoek, waarvoor een Cohens kappa voor beoordelingen op nominaal meetniveau is berekend, omdat dichotomiseren niet mogelijk was. Bij icc van tot.30 en kappa van tot.20 wordt de overeenstemming slecht genoemd, bij icc van.31 tot.50 en kappa van.21 tot.40 matig, bij icc van.51 tot.70 en kappa van.41 tot.60 redelijk, en bij icc van.71 tot 1.00 en kappa van.61 tot 1.00 goed (gebaseerd op Van Yperen, 1990). Er is geen geschikte analysetechniek om verschillen in overeenstemming tussen beginnende en gecertificeerde medewerkers te toetsen. Een vergelijking van de betrouwbaarheidsintervallen levert een indicatie voor significante verschillen (Goldstein & Healy, 1995). Een kwalitatieve analyse van de open antwoorden is uitgevoerd met Maxqda om inzicht in de argumenten te krijgen voor het al dan niet aannemen van meldingen. De codering is ontwikkeld op basis van de orba-handleiding (Ten Berge & Vinke, 2006), waarin de afwegingen voor de beslissing om een melding aan te nemen zijn beschreven. Resultaten Algemene interbeoordelaarsovereenstemming In tabel 2 is het percentage overeenstemming tussen beginnende medewerkers onderling en gecertificeerde medewerkers onderling over de orba-kernoordelen en -beslissingen en de intraclass correlatiecoëfficiënt (icc) opgenomen. De intraclass correlatiecoëfficiënt (icc) en kappa s leveren een somber beeld op: over het algemeen blijkt de overeenstemming slecht. Dat betekent dat de overeenstemming niet veel hoger is dan op basis van toeval te verwachten is. Alleen voor het oordeel of er sprake is van kindermishandeling is de interbeoordelaarsovereenstemming beter, maar zelfs deze krijgt de kwalificatie matig. Uit het percentage overeenstemming blijkt dat amk-medewerkers het onderling meer eens zijn over de oordelen dan over de beslissingen. Verschil beginnende en gecertificeerde medewerkers De verwachting was dat gecertificeerde medewerkers het meer met elkaar eens zouden zijn dan beginnende medewerkers. Dat wordt slechts gedeeltelijk bevestigd. 127

9 kind en adolescent jaargang 34 (2013), nr. 3 Tabel 2 Interbeoordelaarsovereenstemming bij orba-kernbeslissingen. Beginnend (n = 80) Gecertificeerd (n = 80) Totaal (n = 160) orba-kernoordelen en -beslissingen Meldingen Verdeling antwoorden Percentage overeenstemming icc 95% BI Verdeling antwoorden Percentage overeenstemming icc 95% BI Verdeling antwoorden Percentage overeenstemming icc 95% BI Is er sprake van een gegrond vermoeden van kindermishandeling Besluit: Aannemen als melding amk-onderzoeken 78.8% * 55.0% 65.22** -.01 / % / % * -.16 / % *.03 / % **.04 / /.55 Is er sprake van kindermishandeling 86.3% * Noodzaak van hulp 92.5% Vrijwillige hulp? 67.5% ** Besluit: Vervolg na amk-onderzoek bjz 38.8% Raad 23.8% Anders 37.5% 37.5 Kappa = / % 90.64** (redelijk) -.05 / % / % ** n.v.t. bjz 22.5% Raad 35.0% Anders 42.5% 50 Kappa =.24* (matig).40 / ** (matig) -.04 / % *.08 / % ** n.v.t. bjz 30.6% Raad 29.4% Anders 40.0% 40.1 Kappa = / / /.63 n.v.t. NB. In de kolom Verdeling antwoorden is steeds het percentage respondenten weergegeven dat met ja antwoordde. icc = intraclass correlatiecoëfficiënt, tenzij anders vermeld; * p <.05; ** p < % BI = 95% betrouwbaarheidsinterval. 128

10 interbeoordelaarsovereenstemming bij gestructureerd beslissen over kindermishandeling Gebaseerd op de icc en Cohens kappa lijken gecertificeerde medewerkers het meer eens te zijn dan beginnende medewerkers over het oordeel of er sprake is van kindermishandeling en over het besluit over het vervolg na het amk-onderzoek. Voor het oordeel over kindermishandeling overlapt het 95%-betrouwbaarheidsinterval van de icc van gecertificeerde medewerkers echter enigszins met dat van beginnende medewerkers. Omdat sommige gecertificeerde medewerkers geen officiële orba-training hadden ontvangen en sommige beginnende medewerkers al door een gedragswetenschapper of teamleider in orba getraind waren, is gecontroleerd wat de icc was voor de officieel orba-getrainde medewerkers (n = 33) en de volledig ongetrainde medewerkers (n =31). Dit maakt het geschetste beeld eerder diffuser dan helderder. Verschillen als die er al waren bleken soms in de omgekeerde richting dan bij analyse met de volledige groepen: waar het met de volledige groep leek alsof gecertificeerde medewerkers het meer met elkaar eens waren dan beginnende medewerkers, kon het bij de opgeschoonde analyses omgekeerd zijn. Op basis van geen van de analyses kan geconcludeerd worden dat orba de interbeoordelaarsovereenstemming verbetert. Overige analyses amk-medewerkers blijken het weinig met elkaar eens te zijn over de ernst van de problematiek (42.5%; icc =.22) en de risicotaxatie (53.8% en icc =.18). Gecertificeerde medewerkers zijn het aanmerkelijk vaker eens over de risicotaxatie dan beginnende medewerkers, hoewel dit niet zichtbaar is in een verschil in de icc (72.1% respectievelijk 48.8%; icc =.26 respectievelijk.18). Er is voorts gecontroleerd of de vignetten een homogeen beeld laten zien wat betreft overeenstemming. Er blijken geen vignetten te zijn waar respondenten het beduidend vaker of minder vaak over eens zijn. Ook is er nagegaan of er respondenten zijn die over het geheel genomen duidelijk afwijkend van hun collega s oordelen en beslissen over de vignetten. Dit blijkt niet het geval te zijn. Dit betekent dat de bovenstaande gegevens over de overeenstemming niet beïnvloed zijn door een afwijkend beoordeeld vignet of een afwijkend beslissende respondent (meer informatie over deze analyses is te vinden in het rapport van Ten Berge e.a., 2011). In een kwalitatieve analyse is gekeken naar de onderbouwing voor de beslissing om een melding voor verder onderzoek aan te nemen of een advies of consult te geven aan de melder. Uit tabel 3 blijkt dat medewerkers verschillende argumenten gebruiken bij de onderbouwing van beslissingen. Medewerkers die een melding aannemen wijzen vooral op de ernst van de problematiek, terwijl medewerkers die bij dezelfde casus een consult aan de melder geven, vooral wijzen op de mogelijkheden die de melder nog heeft om een zaak zelf aan te pakken. Beginnende en gecertificeerde medewerkers lijken dit op dezelfde manier te doen. 129

11 kind en adolescent jaargang 34 (2013), nr. 3 Tabel 3 Kwalitatieve analyses. Type argument Beginnende medewerker Gecertificeerde medewerkers Totaal Melding aannemen Melding niet aannemen Melding aannemen Melding niet aannemen Melding aannemen Melding niet aannemen Aard en ernst van de problemen Mogelijkheden en/of beperkingen van de melder Conclusie en discussie De hoofdvraag van dit onderzoek was of orba leidt tot meer uniformiteit in de beoordeling en besluitvorming van amk-medewerkers. Daartoe is de interbeoordelaarsovereenstemming van beginnende medewerkers vergeleken met die van orbagecertificeerde medewerkers. In het algemeen bleek de overeenstemming laag te zijn, met uitzondering van de beoordeling of er sprake is van kindermishandeling, maar ook hierover is de overeenstemming gecorrigeerd voor toevalsovereenstemming slechts matig. Toch is niet meteen te zeggen dat de amk s het slecht doen. De lage icc s en kappa s kunnen ontstaan door een zeer scheve verdeling in de gegevens. Bij een scheve verdeling in de gegevens zijn de icc en kappa onbetrouwbare maten: het is onduidelijk wat ze dan zeggen over de werkelijke overeenstemming (Van Yperen, 1990). Alleen voor het oordeel of de hulp in een vrijwillig kader kan plaatsvinden en de beide besluiten leveren de icc en kappa een betrouwbaar beeld, omdat hierbij geen of nauwelijks sprake was van een scheve verdeling. Dit betekent dat de overeenstemming tussen medewerkers over het oordeel of er sprake is van kindermishandeling matig is en dat de overeenstemming over het oordeel of de hulp in een vrijwillig kader kan plaatsvinden en over de kernbeslissingen slecht is. Over de oordelen of er sprake is van een vermoeden van kindermishandeling en of er hulp nodig is, bestaat onduidelijkheid over de interpretatie vanwege de scheve verdeling en daardoor onbetrouwbare icc. Dat orba duidelijk gepaard gaat met meer overeenstemming over oordelen en besluiten wordt in dit onderzoek niet bevestigd. Verschillen tussen gecertificeerde en beginnende medewerkers deden zich niet voor of niet altijd in de verwachte richting en in beide groepen was de overeenstemming laag. De resultaten van dit onderzoek komen overeen met die uit eerdere onderzoeken. In het algemeen blijkt dat de overeenstemming over de beoordeling van kindermishandelingszaken en beslissingen over noodzakelijke hulp laag is (Berben, 2000; Britner & Mossler, 2002; Schuerman, Rossi, & Budde, 1999). Recent onderzoek laat zien dat dit zelfs het geval is wanneer hulpverleners gestandaardiseerde en gevalideerde instrumenten gebruiken (Regehr, Bogo, Shlonsky, & LeBlanc, 2010). Als hulpverleners het al eens zijn over de diagnose, dan kunnen zij het nog oneens zijn over welke hulp nodig 130

12 interbeoordelaarsovereenstemming bij gestructureerd beslissen over kindermishandeling is (Arad-Davidzon, & Benbenishty, 2008; Lindsey, 1992). Deze trend is ook in dit onderzoek zichtbaar: de overeenstemming over beslissingen is lager dan die over oordelen. Er zijn verschillende verklaringen mogelijk voor het gebrek aan overeenstemming, met name over beslissingen. De belangrijkste is dat gestructureerde besluitvorming nog steeds veel ruimte laat aan de beslisser voor eigen afwegingen. orba geeft algemene aandachtspunten en criteria voor de inhoudelijke afwegingen, zodat ze voor elke zaak bruikbaar zijn (Ten Berge & Vinke, 2006). Maar voor de afweging van zorgen en signalen in individuele zaken vormen deze geen eenduidige richtlijn. De werker maakt afwegingen op grond van zijn of haar kennis en ervaring en in overleg met collega s. Dat laat veel ruimte voor de beslisser om op basis van eigen ervaring en inzicht een afweging te maken. De huidige empirische kennis is echter nog niet zover dat het de besluitvorming verder richting kan geven, bijvoorbeeld door een gouden standaard voor het beoordelen en beslissen over kindermishandelingszaken. Wetenschappelijke kennis over kindermishandeling schiet hiervoor tekort; hiermee zijn alleen algemene aandachtspunten aan te geven. Daarnaast is kindermishandeling een begrip waar een scala aan problemen onder valt (Baartman, 2009). Het kan in elk gezin weer verschillen om welke combinatie van problemen en risicofactoren het gaat, waardoor het niet mogelijk is een algemene grens te bepalen wanneer er wel of niet sprake is van kindermishandeling. Een andere mogelijke verklaring voor aanzienlijke verschillen is dat beslissingen behalve door inhoudelijke, casusspecifieke argumenten ook door andere factoren worden beïnvloed. Dalgleish verklaart beperkte overeenstemming vanuit het Risk/General Assessment and Decision Making (r/gadm) model (zie Baumann, Dalgleish, Fluke, & Kern, 2011). Het uiteindelijk genomen besluit hangt volgens dit model af van twee factoren: de inschatting van de problematiek en de bereidheid van de hulpverlener om in actie te komen. De inschatting van de problematiek hangt samen met casusspecifieke factoren, zoals kenmerken van het kind, de ouders en het gezin. De bereidheid om in actie te komen hangt af van de beslisser: bijvoorbeeld persoonlijke ervaring, normen en waarden. orba geeft richting aan de inhoudelijke beoordeling van zaken, maar besteedt geen aandacht aan factoren die de beslisdrempel van de beslisser beïnvloeden. Een derde mogelijke verklaring is dat medewerkers de algemene aandachtspunten en criteria voor beslissingen niet kennen of gebruikt hebben. Medewerkers bleken verschillende argumenten te gebruiken ter onderbouwing van hun beslissing. Daaruit valt af te leiden dat medewerkers mogelijk niet op de hoogte zijn van de orba-criteria of geen systematische afweging maken. Het kan echter ook zijn dat zij wel een afweging gemaakt hebben en alleen de voor hen doorslaggevende factor hebben opgeschreven. In het laatste geval laten medewerkers die een melding aannemen mogelijk een andere factor zwaarder wegen dan medewerkers die een zaak als advies of consult afhandelen. Zoals eerder opgemerkt geeft orba geen criteria voor de weging van verschillende argumenten. Ook ander onderzoek toont aan dat hulpverleners verschillend redeneren, waardoor zij tot andere conclusies en beslissingen komen (zie onder andere De Kwaadsteniet, Hagmayer, Krol, & Witteman, 2010). De laatste mogelijke oorzaak voor verschillen in besluiten kunnen regionale ver- 131

13 kind en adolescent jaargang 34 (2013), nr. 3 schillen zijn. Uit mondelinge contacten met amk s blijkt dat zij afspraken hebben met de Toegang van Bureau Jeugdzorg over de verdeling van zaken. Er is hierover geen landelijke consensus. Waar het ene amk een zaak als melding aanneemt, geeft het andere amk het advies om een zorgmelding bij de Toegang van Bureau Jeugdzorg te doen. Daarnaast zijn er ook regionale verschillen in het beschikbare zorgaanbod. Medewerkers houden hier in hun besluitvorming vermoedelijk rekening mee. Daardoor kunnen bij een landelijk onderzoek als dit verschillen in de besluitvorming zichtbaar worden. Door de opzet was het niet mogelijk om na te gaan of er regionale verschillen waren. Het is de vraag of het wenselijk is dat er dergelijke regionale verschillen bestaan gezien het recht van ouders en kinderen op een gelijke behandeling, onafhankelijk van de medewerker waar ze mee te maken krijgen of de regio waar ze wonen. Dit onderzoek kent een aantal beperkingen. Een vignetonderzoek komt niet volledig overeen met de werkelijkheid, omdat amk-medewerkers alleen beschikten over schriftelijke informatie en niet over mondelinge en non-verbale informatie. Een tweede beperking specifiek voor dit onderzoek betreft de twee groepen informanten: door training op de werkvloer en integratie van orba in het Kindermishandeling IT Systeem (kits) komen ook beginnende medewerkers automatisch in aanraking met orba. Hierdoor was het niet goed mogelijk om eenduidig vast te stellen of orba leidt tot verbetering van de overeenstemming. Daarnaast blijkt de overeenstemming in het geheel laag: ook gecertificeerde medewerkers zijn het nauwelijks met elkaar eens over beslissingen in zaken waar kindermishandeling speelt. Analyse met uitsluitend officieel orba-getrainde medewerkers levert geen hogere interbeoordelaarsovereenstemming op of grotere verschillen tussen gecertificeerde en beginnende medewerkers. Aanbevelingen Op basis van dit onderzoek zijn enkele aanbevelingen voor verdere verbetering van de uniformiteit van besluitvorming en voor verder onderzoek te doen. Dit onderzoek laat zien dat orba ruimte laat voor de individuele beslissingen. Subjectieve invloeden in de besluitvorming kunnen met een werkwijze voor gestructureerde besluitvorming als orba slechts ten dele ondervangen worden. Werken met dezelfde informatie en algemene criteria voor de weging daarvan lijkt een noodzakelijke, maar niet voldoende voorwaarde voor meer overeenstemming. De beperkte huidige wetenschappelijke inzichten maken het moeilijk om de besluitvorming verder te objectiveren. Daarnaast is de kans ook klein dat overeenstemming verbetert door verdere objectivering. Zo blijken werkers ook verschillende beslissingen te nemen als zij gestandaardiseerde instrumenten gebruiken en zelfs als zij het eens zijn over een diagnose (Arad-Davidzon, & Benbenishty, 2008; Regehr e.a., 2010). Voor verdere verbetering van de uniformiteit is het belangrijk dat werkers van elkaar en van hun ervaringen leren, zodat beslisdrempels onderling meer op één lijn komen. Dat vraagt dat zij systematisch met collega s overleggen over casuïstiek. Collegiaal overleg geeft inzicht in de normen en grenzen die verschillende medewerkers hanteren. Discussie hierover kan leiden tot meer overeenstemming in wat er in een specifieke casus aan de hand is en welke aanpak in deze en vergelijkbare casus het meest wenselijk is. Uit onderzoek (o.m. Pijnenburg, 1996) is echter bekend dat ook in 132

14 interbeoordelaarsovereenstemming bij gestructureerd beslissen over kindermishandeling teambesluitvorming zich gemakkelijk vertekeningen in besluitvorming voordoen. Teambesluitvorming is belangrijk, maar daarvoor is het nodig dat ook teams beslissingen gestructureerd nemen, zodat zij weloverwogen tot een besluit komen. Een vraag die dit onderzoek oproept, is hoe de overeenstemming binnen regio s of teams is. Verschillen in het beschikbare hulpaanbod en afspraken tussen amk s en Bureaus Jeugdzorg doen vermoeden dat landelijk gezien de overeenstemming over beslissingen laag is, maar dat het wellicht binnen regio s of teams beter is. Nadere studie kan daar licht op werpen. Er is ook voortgezet onderzoek nodig om te bepalen hoe gestructureerde besluitvorming kan bijdragen aan overeenstemming in beslissingen. In aansluiting op het r/gadm-besluitvormingsmodel van Dalgleish (Baumann e.a., 2011) is vooral nader onderzoek nodig naar de invloed van kenmerken van beslissers op de besluitvorming, met name hun attituden, kennis en vaardigheden, en opgedane (traumatische) ervaringen (zie Arad-Davidzon & Benbenishty, 2008; Baumann e.a., 2011; Regehr e.a., 2010). Literatuur Arad-Davidzon, B., & Benbenishty, R. (2008). The role of workers attitudes and parent and child wishes in child protection workers assessments and recommendation regarding removal and reunification. Children and Youth Services Review, 30(1), Armitage, E., Boffa, J., & Parker, B. (1999). Victorian Risk Framework: A guided professional judgment approach to risk assessment in child protection. Melbourne, Victoria: Department of Human Services, Child Protection and Juvenile Justice Branch, Practice Leadership Unit. Retrieved from: uploads/file/kursmaterial/victorian%20risk%20framework.pdf. Baartman, H. (2009). Het begrip kindermishandeling: pleidooi voor een herbezinning en voor bezonnen beleid. Driebergen-Rijsenburg: Augeo Foundation. Baumann, D. J., Dalgleish, L., Fluke, J., & Kern, H. (2011). The decision-making ecology. Washington, DC: American Humane Association. Retrieved from: cprc-dme-monograph.pdf. Benbenishty, R. (1992). An overview of methods to elicit and model expert clinical judgment and decision making. Social Service Review, 66, Benbenishty, R., Osmo, R. & Gold, N. (2003). Rationales provided for risk assessments and for recommended interventions in child protection: a comparison between Canadian and Israeli professionals. British Journal of Social Work, 33, Berben, E. G. M. J. (2000). Als iedereen hetzelfde was... Indicatiestelling in de jeugdzorg. Maastricht: Shaker Publishing BV (academisch proefschrift). Bolton, A., & Lennings, C. (2010). Clinical opinions of structured risk assessments for forensic child protection: The development of a clinically relevant device. Children and Youth Services Review, 32(10), Britner, P. A., & Mossler, D. G. (2002). Professionals decision-making about out-of-home placements following instances of child abuse. Child Abuse & Neglect, 26(4), Children s Research Center (1999). The improvement of child protective services with structured decision making. The CRC model. Madison, WI: Children s Research Center. Retrieved from: sites/default/files/publication_pdf/crc_sdm_book.pdf. 133

15 kind en adolescent jaargang 34 (2013), nr. 3 Dalgleish, L. I. (1997). Risk assessment and decision-making in child protection. Brisbane, Australia: University of Queensland, Department of Psychology. De Bruyn, E. E. J., Ruijssenaars, A. J. J. M., Pameijer, N. K., & Van Aarle, E. J. M. (2003). De diagnostische cyclus: Een praktijkleer. Leuven/Leusden: Acco. De Kwaadsteniet, L., Bartelink, C., Witteman, C., Ten Berge, I., & Van Yperen, T. (2013). Improved decision making about suspected child maltreatment: Results of structuring the decision process. Manuscript geaccepteerd voor publicatie in Children and Youth Services Review, 35, De Kwaadsteniet, L., Hagmayer, Y., Krol, N., & Witteman, C. (2010). Causal Client Models in Selecting Effective Interventions: A Cognitive Mapping Study. Psychological Assessment, 22, Dumbrill, G. C. (2005). Child welfare in Ontario: Developing a collaborative intervention model. Toronto: Ontario Association of Children s Aid Societies. Retrieved from collaborativemodel.pdf Eijgenraam, K., Yperen, T. van, Pijll, M. van der, Post, F., & Graaf, M. de (2008). Interbeoordelaarbetrouwbaarheid Standaard Taxatie Ernst Problematiek (STEP). Utrecht: Nederlands Jeugdinstituut (NJi). Gambrill, E. (2005). Critical thinking in clinical practice: Improving the quality of judgments and decisions. Hoboken (New Jersey): Wiley. Garb, H. N. (2005). Clinical judgment and decision making. Annual Review of Clinical Psychology, 1, Gold, N., Benbenishty, R. & Osmo, R. (2001). A comparative study of risk assessments and recommended interventions in Canada and Israel. Child Abuse and Neglect, 25, Goldstein H., & Healy, M. J. R. (1995). The graphical presentation of a collection of means. Journal of the Royal Statistical Society, 158, Hodgkinson, G. P., Bown, N. J., Maule, A. J., Glaister, K. W., & Pearman, A. D. (1999). Breaking the frame: An analysis of strategic cognition and decision making under uncertainty. Strategic Management Journal, 20, Inspectie Jeugdzorg (2007a). Vervolgonderzoek amk Flevoland. Utrecht: Inspectie Jeugdzorg. Inspectie Jeugdzorg (2007b). Vervolgonderzoek amk Limburg. Utrecht: Inspectie Jeugdzorg. Inspectie Jeugdzorg (2007c). Vervolgonderzoek amk Noord-Holland. Utrecht: Inspectie Jeugdzorg. Inspectie Jeugdzorg (2007d). Vervolgonderzoek amk Utrecht. Utrecht: Inspectie Jeugdzorg. Inspectie Jeugdzorg (2008). Hertoets Bureau jeugdzorg Noord-Holland: Een onderzoek naar het functioneren van de jeugdbescherming en het amk in Noord-Holland. Utrecht: Inspectie Jeugdzorg. Inspectie Jeugdzorg (2009). Rapport hertoets amk Flevoland: Een onderzoek naar het functioneren van het amk Flevoland. Utrecht: Inspectie Jeugdzorg. Johnson, W. (2004). Effectiveness of California s child welfare structured decision making (SDM) model: a prospective study of the validity of the California Family Risk Assessment. Madison (Wisconsin, usa): Children s Research Center. Retrieved from Kaplan, S. J., Pelcovitz, D., & Labruna, V. (1999). Children and adolescent abuse and neglect research: a review of the past 10 years. Part I: Physical and emotional abuse and neglect. Journal of the American Academy of Child and Adolescent Psychiatry, 38, Lindsey, D. (1992). Reliability of the foster care placement decision: A review. Research on Social Work Practice, 2, Loman, L. A., & Siegel, G. L. (2004). An evaluation of the Minnosota SDM Family Risk Assessment. St. Louis (Missouri, USA): Institute of Applied Research. Retrieved from assessment/approaches/decision.cfm Mezzich, A. C., Mezzich, J. E., & Coffman, G.A. (1985). Reliability of dsm-iii vs. dsm-ii in child psychology. Journal of the American Academy of Child Psychiatry, 24,

16 interbeoordelaarsovereenstemming bij gestructureerd beslissen over kindermishandeling Munro, E. (1996). Avoidable and unavoidable mistakes in child protection work. British Journal of Social Work, 26, Munro, E. (1998). Improving social workers knowledge base in child protection work. British Journal of Social Work, 28, Munro, E. (1999). Common errors of reasoning in child protection work. Child Abuse and Neglect, 23, Munro, E. (2008). Effective child protection. London: Sage. Osmo, R., & Benbenishty, R. (2004). Children at risk: rationales for risk assessments and interventions. Children and Youth Services Review, 26, Pameijer, N. K., & Van Beukering, J. T. E. (2004). Handelingsgerichte diagnostiek: Een praktijkmodel voor diagnostiek en advisering bij onderwijsleerproblemen. Leuven/Voorburg: Acco. Pijnenburg, H. M. (1996). Psychodiagnostic decision-making within clinical conferences. Exploring a domain. Nijmegen: NICI (academisch proefschrift). Regehr, C., Bogo, M., Shlonsky, A., & LeBlanc, V. (2010). Confidence and professional judgment in assessing children s risk of abuse. Research on Social Work Practice,20(6), Schuerman, J., Rossi, P. H., & Budde, S. (1999). Decisions on placement and family preservation: Agreement and targeting. Evaluation Review, 23, Shlonsky, A., & Wagner, D. (2005). The next step: Integrating actuarial risk assessment and clinical judgment into an evidence-based practice framework in cps case management. Children and Youth Services Review, 27(4), Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 68, Ten Berge, I. J. (1998). Besluitvorming in de kinderbescherming. De ontwikkeling en evaluatie van een checklist voor de beoordeling van meldingen bij de raad voor de kinderbescherming. Delft: Eburon (academisch proefschrift). Ten Berge, I. J., & De Baat, M. (2009). Ouders en kinderen hebben recht op transparante besluitvorming. Eindrapport deskundigheidsbevordering ORBA. Utrecht: Nederlands Jeugdinstituut. Ten Berge, I. J., Bartelink, C., & De Kwaadsteniet, L. (2011). Beter beslissen over kindermishandeling: Onderzoek naar de effecten van gestructureerde oordeelsvorming middels ORBA. Utrecht: Nederlands Jeugdinstituut. Ten Berge, I., & Eijgenraam, K. (2009). Licht Instrument Risicotaxatie Inzake Kindermishandeling: toelichting en instructie. Utrecht: Nederlands Jeugdinstituut. Ten Berge, I. J., & Vinke, A. (2006). Beslissen over vermoedens van kindermishandeling: Handreiking en hulpmiddelen voor het Advies- en Meldpunt Kindermishandeling. Utrecht/Woerden: nizw Jeugd/Adviesbureau Van Montfoort. Turnell, A., & Edwards, S. (1999). Signs of safety: A solution and safety oriented approach to child protection casework. New York/London: Norton. Van Montfoort, A. J. (2004). Beslissen over interventies in gezinnen. Reader bij de basiscursus voor nieuwe medewerkers Advies- en Meldpunten Kindermishandeling. Woerden: Adviesbureau van Montfoort. Van Yperen, T. A. (1990). Multi-axiale classificatie van specifieke ontwikkelingsstoornissen: Een studie over as II van het MAC. Leiden: Rijksuniversiteit Leiden (academisch proefschrift). Wagner, D., Johnson, K., & Caskey, R. (2001). Evaluation of Michigan s foster care Structured Decision Making case management system. Madison (Wisconsin, usa): Children s Research Center. Retrieved from