Werkprincipes voor het uitbouwen van een uniform registratiesysteem

Vzw Ondersteuningsstructuur Bijzondere Jeugdzorg info@osbj.be - www.osbj.be Werkprincipes voor het uitbouwen van een uniform registratiesysteem We formuleren hier twee belangrijke werkprincipes voor het uitwerken van een uniform registratiesysteem. Het eerste werkprincipe betreft het procesmatig werken vanuit de basis. Het tweede werkprincipe behelst het wetenschappelijk onderbouwd werken. Zoals zal blijken zijn beide werkprincipes met elkaar verbonden. Tevens zijn we er van overtuigd dat de kwaliteit van het uiteindelijke product alleen maar kan verhogen indien voldoende aandacht uitgaat naar beide principes. Bottom-up en procesmatig werken met aandacht voor de verschillende partijen Momenteel zijn geen goede en betrouwbare cijfers aanwezig met betrekking tot de volledige populatie van de BJB. Toch wordt het verlangen naar dergelijke cijfers bij de verschillende betrokken actoren steeds groter. Dit verlangen werd recent geconcretiseerd in ondermeer het Globaal Plan en in de resultaten van het behoefteonderzoek (Van Regenmortel 2006). We kunnen vijf belanghebbende partijen identificeren. Vooreerst heeft de overheid baat bij correcte en volledige cijfers. Daarnaast zijn cijfers nuttig voor de private voorzieningen. Binnen de voorzieningen zelf moeten we onderscheid maken tussen de werknemers die concreet met de jongeren werken en de mensen die het beleid van de organisatie uittekenen. Een vierde belanghebbende partij is de onderzoekswereld. Tot slot bevindt de vijfde partij zich op het intermediair niveau, namelijk de koepelorganisaties en de OSBJ. Rekening houden met de doelstellingen van de verschillende partijen De identificatie van belanghebbende partijen is één zaak. Daarnaast is het belangrijk om te kijken welke doelstellingen de verschillende partijen hierbij formuleren. Vanuit de overheid wil men vooral zicht krijgen op beleidsrelevante gegevens die het uittekenen van huidig en toekomstig beleid kunnen ondersteunen (Vervotte 2006, 65). Op het niveau van de private voorzieningen zal men enerzijds gegevens willen genereren die hen in staat stellen het beleid van de eigen organisatie aan te sturen (beleidsniveau binnen de organisatie) en anderzijds gegevens te verzamelen die het hulpverleningsproces op zich kunnen ondersteunen (het niveau van de hulpverleners). Tevens bleek uit het behoefteonderzoek dat het registratie-instrument gezien kan worden als een hulpmiddel bij de zelfevaluatie voor de private voorzieningen (Van Regenmortel 2006). Het beschikken over betrouwbare en valide cijfergegevens betekent een meerwaarde voor de OSBJ voor het inhoudelijke en methodisch ondersteunen van de private voorzieningen. Ook voor de drie koepelorganisaties kunnen de cijfers een belangrijke rol spelen in hun werking. Tot slot willen wetenschappelijke en beleidsonderzoekers gebruik maken van deze gegevens in hun zoektocht naar antwoorden op onderzoeksvragen. De hierboven vermelde doelstellingen zijn slechts gebaseerd op een logisch vermoeden. Wel is het zeker dat vooraleer een instrument geconstrueerd wordt deze doelstellingen door de verschillende partijen duidelijk moeten geformuleerd zijn. Zodoende kunnen deze in de uitwerking van het instrument maximaal op elkaar afgestemd worden. Met het oog op deze stap is het absoluut noodzakelijk dat voldoende overleg voorzien wordt met de betrokken partijen. Tevens moet in het proces voldoende transparantie bestaan naar de verschillende partijen teneinde een zo groot mogelijke consensus over het uiteindelijke instrument te bekomen. Dialoog is met andere woorden een belangrijk voorwaarde voor het welslagen van het proces. Bottom-up: werken vanuit de basis Het expliciteren van de doelstellingen sluit aan bij de aandachtspunten die Van Yperen formuleerde in zijn rapport omtrent registratie in de jeugdzorg in Nederland (Van Yperen 1995). Daarnaast stipt Van Yperen ook het belang aan van rekening houden met weerstanden bij het registreren van gegevens door hulpverleners, vooral wanneer deze gegevens doorstromen naar hogere niveaus (Van Yperen 1995, 22-23). Enerzijds valt deze weerstand te verklaren vanuit het feit dat diagnostiek in het kader waarvan belangrijke gegevens worden opgeslagen beschouwd wordt als een besloten en niet transparante activiteit. Tevens kunnen ethische overwegingen (bijvoorbeeld schending van privacy) meespelen. Anderzijds kan deze weerstand ook te maken hebben met een gebrek aan motivatie omdat men vaak als hulpverlener geen zicht heeft op wat uiteindelijk met de gegevens gebeurt of 1

omdat hierover slechts een gebrekkige of zelfs geen terugkoppeling bestaat. Het is belangrijk dat dergelijke weerstanden weggewerkt worden en zelfs onbestaande zijn. Hoewel de bovenstaande observaties geldig zijn voor de Nederlandse jeugdzorg, is het niet ondenkbaar dat ook in Vlaanderen gelijkaardige weerstanden kunnen waargenomen worden. Een weerstand die we zelf ervaren hebben in het kader van het registratiesysteem voor herstelrechtelijke en constructieve afhandelingen is de vrees dat de louter kwantitatieve gegevens onvoldoende in de context geplaatst worden en daardoor fout kunnen geïnterpreteerd worden door de overheid. Vooral wanneer hieraan een kwaliteitsbeoordeling zou gekoppeld worden en/of een beoordeling van de werklast voelen diensten zich erg kwetsbaar bij het transparant maken van deze registratiedata. Op de keper beschouwd zijn het de hulpverleners zelf die het registratie-instrument zullen moeten hanteren en van gegevens voorzien. Pas in tweede instantie kunnen de andere partijen echt gebruik maken van de gegenereerde gegevens. Omwille van deze reden is het uiterst belangrijk dat mogelijke weerstanden doorbroken en opgeheven worden. Een voorwaarde om dit te bereiken is het procesmatig werken met de verschillende partijen met een bijzondere aandacht voor de basis. Dit bottom-up werken is noodzakelijk omdat we zo beter zicht krijgen op weerstanden en deze kunnen overstijgen. Een registratie-instrument opleggen vanuit een top-down benadering werkt ons inziens de weerstanden meer in de hand. Het is uiterst belangrijk dat op een evenwichtige manier wordt rekening gehouden met de doelstellingen van de verschillende partijen. Ook met het oog op medewerking voor het registreren zelf, is duidelijkheid over het nut van het instrument als de meerwaarde ervan voor het werk van de hulpverlener zeer belangrijk. Besluit Met het eerste werkprincipe willen we benadrukken dat het uiterst belangrijk is dat het registratieinstrument tot stand moet komen op basis van een proces dat afgelegd wordt met de belanghebbende partijen. Hierbij is het belangrijk dat op een evenwichtige manier rekening wordt gehouden met de doelstellingen/verwachtingen van de verschillende partijen en dat het proces gedragen wordt door een transparante dialoog. Het proces moet gestalte krijgen vanuit een bottom-up benadering waarin een bijzondere aandacht moet gaan naar de mensen die het registratie-instrument later effectief zullen moeten invullen. Wetenschappelijk onderbouwd werken 1 Als tweede werkprincipe stellen we dat het registratie-instrument op een wetenschappelijk onderbouwde manier tot stand moet komen. Wetenschappelijk onderbouwd werken is een onmisbare voorwaarde om tot een kwalitatief eindproduct te komen. Zeker met het oog op exploitatie van de gegevens (Detry, Goedseels & Vanneste 2005). Wetenschappelijk onderbouwd werken verhoogt de duidelijkheid, zekerheid en degelijkheid van het geleverde werk. Ook wanneer beleidsbeslissingen worden genomen op basis van de verzamelde gegevens (Vervotte 2006) is het uiterst belangrijk dat deze gegevens van een hoogstaande kwaliteit zijn (Van Yperen 1995). Wat willen we registreren en waarom? Wat we willen registreren en waarom is de eerste vraag waar we ons moeten over buigen. Deze vraagstelling hangt uiteraard nauw samen met het formuleren van doelstellingen. Pas van hieruit kan bepaald worden welke kenmerken of variabelen van de doelgroep van de BJB we willen vastleggen. De kenmerken verschillen naar complexiteit en abstractie (Waege 2003). Complexe kenmerken zijn kenmerken die uiteenvallen in een aantal deelconcepten. Geslacht bijvoorbeeld is een niet-complex kenmerk, de gezinssituatie daarentegen is een complex kenmerk. Geslacht is ook een niet-abstract kenmerk omdat het een onmiddellijk waarneembaar kenmerk is. Een concept zoals maatschappelijke 1 De volgende literatuur werd geraadpleegd met het oog op het schrijven van dit punt: Van Yperen 1995, Bijleveld 2005, Waege 2003, Billiet 2003, Mark 1996, Carmines & Zeller 1979. 2

kwetsbaarheid is een abstract kenmerk dat niet onmiddellijk waarneembaar is maar dat gemeten kan worden aan de hand van een aantal andere kenmerken. Voor een effectieve registratie is het belangrijk dat de kenmerken voorzien worden van een goede conceptuele en operationele definitie. In de conceptuele definitie is het belangrijk om duidelijk te definiëren wat men verstaat onder een bepaald kenmerk. Het is belangrijk dat deze definitie door iedereen op een gelijkaardige manier wordt begrepen. Een goede conceptuele definitie is immers ook de enige kwaliteitsgarantie voor een goede operationalisering. Een kenmerk is goed geconceptualiseerd wanneer de definitie duidelijk te begrijpen valt en de definitie niet te verwarren valt met een andere definitie. Wanneer het mogelijk is, wordt een kenmerk het best geconceptualiseerd vanuit een reeds bestaande en getoetste achterliggende theorie, zeker wanneer het gaat over abstracte en/of complexe kenmerken (bijvoorbeeld maatschappelijke kwetsbaarheid ). Eens het kenmerk in een conceptuele definitie gegoten is, moet een operationele definitie opgesteld worden. In deze definitie worden de indicatoren opgenomen om dit kenmerk te meten (Waege 2003). Dit proces heet operationaliseren. Hiervoor kunnen we eveneens gebruik maken van een achterliggende getoetste theorie. Tevens moeten de stappen om het kenmerk effectief te meten duidelijk geëxpliciteerd worden. Belangrijke aandachtspunten hierbij zijn welke de indicatoren zijn en waar we onze informatie gaan ontsluiten. Welke indicatoren hanteer je om het gedrag van de jongere te meten? Leg je deze op voorhand vast of laat je dit aan de vrije interpretatie van de hulpverlener over? Waar ga je deze informatie ontsluiten? Op basis van een meetinstrument? Op basis van verslagen? Op basis van de indrukken van de hulpverlener? Eens de indicatoren bepaald zijn en we weten welke bronnen (de jongere zelf, verslagen, de ouders, ) we gaan gebruiken om de informatie te ontsluiten, is het nodig om in duidelijke richtlijnen vast te leggen hoe we deze informatie gaan optekenen. Concreet betekent dit dat het voor diegene die registreert duidelijk is hoe hij of zij moet registreren. Deze afspraken en richtlijnen kunnen opgetekend worden in een draaiboek of handleiding. Het is belangrijk dat deze indicatoren voldoen aan een aantal voorwaarden met het oog op een eventueel latere exploitatie van de gegevens. Concreet wil dit zeggen dat de indicatoren meetbaar moeten zijn. Dit betekent dat de antwoordcategorieën codeerbaar moeten zijn en omzetbaar in codes van nominaal, ordinaal, interval of ratio meetniveau (Mark 1996). Dit stelt ons in staat om de gegevens statistisch te verwerken. De antwoordcategorieën moeten ook exhaustief en mutueel exclusief zijn. Dit zorgt ervoor dat elk stuk gegeven slechts bij één antwoordcategorie kan ondergebracht worden (mutueel exclusief) en dat het gegeven kàn ondergebracht worden (exhaustief). Een voorbeeld kan dit verhelderen. Wanneer men het kenmerk etnische afkomst opneemt in het registratiesysteem moet men voldoende antwoordcategorieën opnemen zodat iedereen kan ondergebracht worden (dus bijvoorbeeld ook half Belgisch half Afrikaans). Indien men geen zicht heeft op het totaal aantal antwoordcategorieën waar de populatie kan onder aangebracht worden, moet men ook een soort van restcategorie voorzien. Het is trouwens steeds aan te raden om een antwoordcategorie andere te voorzien. Op die manier valt niemand uit de boot en zijn de antwoordcategorieën exhaustief. Tot slot merken we op dat bij de constructie van een registratiesysteem aan de voorwaarde van haalbaarheid moet voldaan worden. Met deze voorwaarde hangen een aantal bezorgdheden samen zoals bijvoorbeeld de tijdsinvestering van de hulpverlener voor het registreren. Ook de beschikbaarheid van de informatie moet hiermee in overweging genomen worden. Zo is het bijvoorbeeld zinloos om gegevens te willen registreren die moeilijk toegankelijk zijn voor de persoon die registreert. Deontologische vraagstellingen naar anonimiteit en bescherming van de privacy mogen ook niet links blijven liggen. Haalbaarheid heeft ook betrekking op de ambities van het registratiesysteem. Vandaar willen we nogmaals wijzen op het belang van het vooraf bepalen van de doelstellingen ervan. Pas wanneer deze duidelijk gesteld zijn en gedragen worden door een consensus kunnen de verschillende kenmerken bepaald worden. Onder haalbaarheid verstaan we tevens dat het vooropgestelde registratie-instrument informaticatechnisch haalbaar moet zijn. Met andere woorden, het registratie-instrument moet ook om te zetten zijn in een gebruiksvriendelijke informaticatoepassing. 3

Hoe willen we registreren? Om een kwaliteitsvol registratiesysteem op te bouwen moet voldaan worden aan twee belangrijke wetenschappelijke kwaliteitseisen, namelijk betrouwbaarheid en validiteit. Bij de uitwerking van een registratiesysteem dienen beide elementen duidelijk bewaakt en gemaximaliseerd te worden. Dit gebeurt het best door het volgen van een zorgvuldig uitgetekend proces. Betrouwbaarheid betekent eenvoudig gezegd dat bij elke herhaalde uitvoering eenzelfde resultaat behaald wordt. Het heeft met andere woorden betrekking op de uitvoering van de registratie en met name zo dat onafhankelijk van wie registreert hetzelfde resultaat bekomen wordt. Om dit te bereiken dient uiteraard aan een aantal voorwaarden te worden voldaan. Zo is het van primair belang dat een duidelijke, heldere conceptuele en operationele definitie van de kenmerken voorhanden is. Daarnaast moet een duidelijke handleiding aanwezig zijn die de invuller van het systeem begeleidt waardoor de kans op foutief ingeven zo klein mogelijk wordt gehouden. Alle instructies moeten eenduidig en helder begrijpbaar zijn. We moeten er ook naar streven om slechts één kenmerk per keer te registreren. Hiertoe vermijden we dat onder één kenmerk verschillende zaken worden verstaan. Daarom is het aangewezen om het registratie-instrument op voorhand te testen en bij te sturen waar nodig. Zo is het bijvoorbeeld noodzakelijk om te kijken of verschillende hulpverleners eenzelfde geval op dezelfde manier registreren. Tevens geeft dergelijke testfase ook zicht op de tijd die de hulpverlener in de toekomst hiervoor zal moeten uittrekken. Een instrument kan betrouwbaar zijn. Dit betekent niet noodzakelijk dat het ook valide is 2. Onder validiteit verstaan we dat wat we willen meten ook werkelijk gemeten wordt. Bijvoorbeeld wanneer we de mate van assertiviteit willen kennen en hiertoe een instrument opstellen, we ook werkelijk assertiviteit meten en bijvoorbeeld niet agressiviteit. Er zijn verschillende vormen van validiteit. Een eerste vorm van validiteit is inhoudsvaliditeit. Van Yperen noemt dit ook wel de dekking van het instrument (Van Yperen 1995). Deze vorm van validiteit wordt soms ook aangeduid met de term facevalidity (Bijleveld 2003, 147). Hieronder wordt verstaan dat het instrument alle aspecten met betrekking tot een bepaald domein ook werkelijk meet. Wanneer bijvoorbeeld een instrument ontwikkeld wordt over de vrijetijdsbesteding van jongeren dan moeten de verschillende aspecten van de vrijetijdsbesteding van de jongere in het instrument aan bod komen. Het instrument kan zich dan niet beperken tot een bevraging over vrienden en sport. Het instrument is dan niet inhoudsvalide. Wanneer in het registratiesysteem de sociale situatie van de jongeren bevraagd wordt, moeten alle aspecten van de jongere aan bod komen (thuis, school, vrije tijd, vrienden, ), zoniet is het instrument niet inhoudsvalide. Men kan deze vorm van validiteit niet helemaal testen. Het is vooral het resultaat van consensus tussen experten. Daarom is het belangrijk voor de constructie van het registratieinstrument voldoende overleg te voorzien zodat overeenstemming kan bereikt worden over wat geregistreerd moet worden met betrekking tot de jongeren van de BJB. Wanneer een registratie-instrument ontwikkeld wordt voor de populatie van de bijzondere jeugdzorg dient duidelijk vooraf gesteld te worden welke kenmerken hierin moeten opgenomen worden (afhankelijk van de doelstellingen) om te voldoen aan de kwaliteitseis van inhoudsvaliditeit. Vermoedelijk zullen deze wensen verschillen naargelang de erkenningscategorie. We moeten ons met andere woorden ook buigen over de vraag naar welk soort registratiesysteem we willen gaan. Willen we één registratiesysteem dat dezelfde basale gegevens verzamelt over de hele BJB heen of willen we ook verder (kunnen) differentiëren naar erkenningscategorie en bijgevolg per erkenningscategorie andere kenmerken opnemen? Een tweede vorm van validiteit is criteriumvaliditeit (Carmines & Zeller 1979). Dit houdt in dat de meting valide is wanneer deze overeenstemt met een extern criterium. De meting kan ofwel in het heden ofwel in de toekomst aan dit criterium getoetst worden. We spreken dan respectievelijk van concurrente en predictieve validiteit. Wanneer in het registratiesysteem gevraagd wordt naar de geregistreerde (!) graad van delinquentie kan de validiteit van dit kenmerk gemeten worden aan de hand van een extern criterium dat in het heden aanwezig is, namelijk aan de hand van gegevens op de jeugdrechtbank. Wanneer men recidive wil meten zal men met een criterium in de toekomst werken. In bovenstaand voorbeeld wordt het ook duidelijk dat deze vorm van validiteit beïnvloed kan worden door de informatiebron die men hanteert. Wanneer men bijvoorbeeld voor de geregistreerde graad van delinquentie beroep doet op het geheugen van de jongere in kwestie wordt de kans groter 2 Omgekeerd geldt wel dat een instrument altijd betrouwbaar moet zijn om valide te kunnen zijn. 4

dat de meting minder valide wordt. In dit geval valt het ook aan te raden om dergelijke meting te baseren op de gegevens op de jeugdrechtbank zelf indien deze ontsluitbaar zijn voor de invuller van het registratiesysteem. Een derde belangrijke vorm van validiteit is de constructvaliditeit. Deze houdt in dat een instrument het achterliggende construct ook werkelijk meet. Wanneer men bijvoorbeeld de maatschappelijke kwetsbaarheid van de jongere wil meten, kan men dit niet zomaar aan de inschatting van de invuller overlaten. Om een uitspraak te doen over de mate van maatschappelijke kwetsbaarheid dienen we een aantal aspecten in rekening te brengen die samen iets zeggen over de maatschappelijke kwetsbaarheid. Ook bijvoorbeeld antisociaal gedrag is iets wat niet aan de hand van één aspect in beeld kan gebracht worden, maar het resultaat is van een aantal aspecten die samen worden geëvalueerd. Het mag duidelijk zijn dat de algemene validiteit van het instrument beter wordt naarmate aandacht wordt geschonken aan deze drie vormen van validiteit. Een goede conceptuele en operationele definiëring van de verschillende variabelen verhoogt de validiteit van het instrument. Besluit Onder het tweede werkprincipe van wetenschappelijk onderbouwd werken verstaan we dat voldoende aandacht moet uitgaan naar de verschillende wetenschappelijke kwaliteitseisen. Vooreerst dienen de doelstellingen duidelijk voorop gesteld te worden, waarna de kenmerken kunnen geformuleerd worden. In een tweede stap is het belangrijk dat de kenmerken worden voorzien van een heldere en duidelijke conceptuele definitie. In een derde stap moeten de conceptuele definities geoperationaliseerd worden. Met het oog op de betrouwbaarheid van het registratie-instrument is het noodzakelijk om een draaiboek te voorzien met duidelijke instructies. Tevens dient de nodige aandacht uit te gaan naar de validiteit van het instrument. Deze validiteit valt onder te verdelen in inhoudsvaliditeit, constructvaliditeit en criteriumvaliditeit. Om de kwaliteit van het registratie-instrument te waarborgen is het noodzakelijk om dit procesmatig te ontwikkelen in overleg met de BJB waarbij het product steeds getoetst wordt aan de wetenschappelijke kwaliteitseisen. In dit proces dienen we ook steeds de haalbaarheid (en wenselijkheid) van het uiteindelijke product voor ogen te houden. Bibliografie BIJLEVELD, C. (2005), Methoden en technieken van onderzoek in de criminologie, Den Haag: Boom Juridische Uitgevers. BILLIET, J. (2003), De gestandaardiseerde vragenlijst, in WAEGE, H. & BILLIET, J. (eds.), Een samenleving onderzocht. Methoden van sociaal-wetenschappelijk onderzoek, Antwerpen: De Boeck, 223-284. CARMINES, E. & ZELLER, R. (1979), Reliability and Validity Assessment (Quantitative Applications in the Social Sciences), Londen: SAGE Publications. DETRY, I., GOEDSEELS, E. & VANNESTE, C. (2005), Onderzoeksproject met betrekking tot de productie en exploitatie van statistieken inzake jeugddelinquentie en jeugdbescherming, Onderzoeksproject, Brussel: NICC. GEENS, P., GEKIERE, W., VAN DER STRAETE, I. & PUT, J. (2002), De invoering van een elektronisch dossier in de bijzondere jeugdbijstand. Een juridisch onderzoek, onderzoeksrapport, Instituut voor Sociaal Recht (KULeuven). GOEDSEELS, E., VANNESTE, C. & DETRY, I. (2005), Gerechtelijke statistieken inzake jeugddelinquentie en jeugdbescherming: een (grote) stap vooruit, Panopticon 26 (1), 56-69. MARK, R. (1996), Research Made Simple. A Handbook for Social Workers, Londen: SAGE Publications. VAN REGENMORTEL, T. (2006), Behoefteonderzoek bij de private voorzieningen bijzondere jeugdbijstand, onderzoeksrapport HIVA (KULeuven). 5

VAN YPEREN, T. (1995), Het gebruik van instrumenten: registratie in de jeugdzorg, Utrecht: NIZW. VERVOTTE, I. (2006), Globaal Plan Jeugdzorg. De kwetsbaarheid voorbij Opnieuw verbinding maken, Brussel. WAEGE, H. (2003), Operationalseren, in WAEGE, H. & BILLIET, J. (eds.), Een samenleving onderzocht. Methoden van sociaal-wetenschappelijk onderzoek, Antwerpen: De Boeck, 87-155. 6