Experimenteren in het re-integratiedomein* Jaap de Koning, Luuk Mallee, Paul de Hek & Maikel Groenewoud** Dit artikel geeft een samenvatting van een recent onderzoek dat tot doel had een aantal experimenten met gemeentelijke re-integratiemaatregelen op te zetten op basis van gerandomiseerde controlegroepen. Het belang van experimenten is dat deze, mits goed uitgevoerd, betrouwbare metingen van effecten op de herintreding in de arbeidsmarkt geven. Dat op het terrein van re-integratie nauwelijks nog experimenten waren uitgevoerd, droeg bij aan het gebrek aan inzicht in de effectiviteit van het beleid op dit gebied. Het bleek moeilijk te zijn om gemeenten te vinden die bereid en in staat zijn om een experiment uit te voeren. Uiteindelijk konden negen experimenten worden uitgevoerd, maar mede door gebrek aan ervaring met experimenten deden zich bij de uitvoering problemen voor. Uiteindelijk zijn zes goed uitgevoerde experimenten geëvalueerd. Vooral de twee experimenten in Rotterdam tonen de waarde van experimenten aan. Deze zijn zodanig opgezet en uitgevoerd dat effecten nauwkeurig gemeten konden worden. De uitkomsten zijn vervolgens gebruikt in het gemeentelijke beleid. Verder is er in de gemeente een draagvlak ontstaan voor toekomstige experimenten. Maar in de meeste gemeenten is dat draagvlak er nog niet. Wat vooral nodig is, is een bewustwording bij betrokkenen (bestuurders, managers en uitvoerenden) van het belang van evidence-based beleid en de cruciale rol hierbij van experimenten. Er is bijvoorbeeld nog een groot tekort aan kennis. Zo gelooft men vaak in de effectiviteit van het eigen beleid, terwijl internationaal onderzoek aantoont dat re-integratiemaatregelen lang niet altijd effectief zijn. Wat dit betreft is een verdere professionalisering van het veld noodzakelijk. Op basis van de ervaringen in ons onderzoek doen we verder een aantal praktische aanbevelingen voor de uitvoering en evaluatie van experimenten. Inleiding Dit artikel gaat over de ervaringen bij het opzetten en uitvoeren van experimenten bij gemeenten om de effectiviteit van re-integratie-instrumenten vast te stellen en over de uitkomsten van de uitgevoerde experimenten. 1 In Nederland zijn tot nu toe weinig evaluaties van re-integratiemaatregelen op basis van experimenten uitgevoerd. 2 Waarom zijn experimentele evaluaties belangrijk? Om te bepalen of re-integratiemaatregelen effect hebben, moeten we weten wat er met de deelnemers aan een re-integratiemaatregel was gebeurd als deze er niet aan hadden deelgenomen. Dan zouden we de uitkomsten bij deelname kunnen vergelijken met die bij niet- * Gebaseerd op een onderzoek van SEOR, Regioplan en Epsilon. Zie voor verdere details: De Koning et al. (2014). ** Jaap de Koning en Paul de Hek zijn werkzaam bij SEOR/Erasmus Universiteit. Luuk Mallee en Maikel Groenewoud bij Regioplan. E-mail: dekoning@seor.eur.nl. 50 Tijdschrift voor Arbeidsvraagstukken 2016 (32) 1
Experimenteren in het re-integratiedomein deelname. Ligt bij deelname aan de maatregel de uitstroom naar een baan hoger dan bij niet-deelname? Is de duurzaamheid van de baan groter en het loon hoger? Uiteraard kunnen we deze vergelijking niet maken, want iemand neemt deel aan een re-integratiemaatregel of niet. Bij evaluaties moet daarom een zo goed mogelijke schatting worden gemaakt van de resultaten bij niet-deelname. Experimenten zijn hiervoor de beste methode. Randomisatie vormt de kern van een goed experiment. De eerste stap in een experiment is het nemen van een aselecte steekproef onder de doelgroep van de te evalueren maatregel (het betrekken van de totale doelgroep bij het experiment is natuurlijk ook goed). Vervolgens wordt in een tweede stap deze steekproef willekeurig verdeeld over twee subgroepen: de experimentele groep die aan de maatregel gaat deelnemen, en de controlegroep die de maatregel niet krijgt. Als deze groepen voldoende groot zijn waarborgt de randomisatie dat zij dezelfde samenstelling hebben. Als van de experimentele groep een groter percentage een baan vindt dan van de controlegroep, dan weten we dus zeker dat dit door de maatregel komt. Dit verschil in uitkomst tussen beide groepen is het effect van de maatregel (ook wel netto-effect genoemd). Er bestaan ook niet-experimentele controlegroep-benaderingen die niet op randomisatie zijn gebaseerd, waardoor niet gegarandeerd is dat de controlegroep precies dezelfde kenmerken heeft als de groep die een maatregel heeft gekregen. Abbring en Van den Berg (2003) hebben een methode ontwikkeld, waarmee in een niet-experimentele setting effecten toch betrouwbaar gemeten kunnen worden. Maar deze methode is niet altijd toepasbaar en gaat uit van bepaalde modelveronderstellingen. Vandaar de sterke voorkeur voor experimenten in de wetenschappelijke wereld. Het opzetten en uitvoeren van experimenten heeft wel meer voeten in de aarde dan de uitvoering van niet-experimentele evaluaties. Zo houdt de willekeurige keuze voor experimentele groep of controlegroep in dat sommige werklozen geen re-integratiemaatregel aangeboden krijgen, terwijl dit bij een normale uitvoering wel het geval was geweest. Het omgekeerde zal ook voorkomen. Dat kan op weerstand stuiten bij uitvoerders en werklozen. Verder moet voor een goede uitvoering van het experiment voorkomen worden dat de controlepersonen tijdens de loop van het experiment bij andere maatregelen betrokken worden. Binnen uitvoerende instanties kan het echter verleidelijk zijn om dit toch te doen. Op deze en andere problemen zijn wij ook feitelijk gestuit. Door het inzicht dat we daardoor hebben gekregen in de problemen die zich voordoen bij het opzetten en uitvoeren van experimenten, kunnen we aanbevelingen doen voor toekomstige experimenten. We gaan daarom in dit artikel juist ook in op de problemen die zich bij experimenten voordoen. Maar we willen tevens laten zien dat het mogelijk is om experimenten goed uit te voeren en dat deze dan zeer waardevolle informatie kunnen opleveren. Experimenten zijn uiteraard niet alleen waardevol als de onderzochte maatregelen effect blijken te hebben. Het is evengoed waardevol als aangetoond wordt dat een maatregel geen effect heeft. Doordat experimenten een zuiver beeld geven van de effecten van re-integratiemaatregelen, helpen ze gemeenten om een effectief re-integratiebeleid te ontwikkelen. Dat is goed voor bijstandsgerechtigden, die daardoor sneller aan het werk komen, maar ook voor de gemeenten zelf omdat deze daardoor op uitkeringen kunnen besparen. Tijdschrift voor Arbeidsvraagstukken 2016 (32) 1 51
Jaap de Koning, Luuk Mallee, Paul de Hek & Maikel Groenewoud De opbouw van het artikel is als volgt. We gaan eerst in op de knelpunten die we zijn tegengekomen bij de werving van gemeenten en bij de uitvoering van experimenten. Daarna geven we een korte beschrijving van de uitgevoerde experimenten en de uitkomsten van deze experimenten. We sluiten af met onze conclusies over de mogelijkheden om in de komende jaren meer experimenteel onderzoek uit te voeren naar de netto-effectiviteit van re-integratie. Experimenten in de praktijk lang niet altijd mogelijk Voorafgaand aan de start van de experimenten zijn 26 grote en middelgrote gemeenten gevraagd om te participeren in het onderzoek. Deze beperking tot grotere gemeenten heeft als achtergrond dat voor betrouwbare experimenten het aantal deelnemers voldoende groot moet zijn. Bij kleinere gemeenten is het aantal potentiële deelnemers simpelweg te klein. Twee derde van hen (18 gemeenten) had belangstelling om deel te nemen aan het onderzoek. Bij 9 van de 18 gemeenten bleek het echter niet mogelijk om een experiment te starten of had de gemeente onoverkomelijke bezwaren, toen duidelijk werd welke consequenties het starten van een experiment zou hebben. Er zijn twee redenen waarom gemeenten niet kunnen deelnemen aan experimenten. De eerste heeft te maken met schaalgrootte. Om verschillen in resultaten tussen experimentgroep en controlegroep te kunnen toewijzen aan de inzet van het re-integratie-instrument, was de eis voor een experiment dat er minimaal 300 klanten in een halfjaar voor het instrument geïndiceerd zouden worden, waarvan er 150 naar de experimentgroep en 150 naar de controlegroep zouden worden doorverwezen. 3 Zelfs middelgrote gemeenten bleken niet over re-integratie-instrumenten te beschikken met zoveel deelnemers. De tweede reden waarom een deel van de gemeenten niet kon deelnemen, had te maken met het probleem dat re-integratie-instrumenten vaak niet los van de inzet van andere instrumenten onderzocht kunnen worden. De inzet van een re-integratie-instrument is vaak afhankelijk van de uitkomst van een voorafgaand instrument. Voortijdige uitval uit het ene instrument kan doorstroom naar een ander instrument betekenen. Welk instrument dat dan is, wordt door de klantmanager vastgesteld, vaak zonder expliciete criteria. Wat ook regelmatig voorkomt, is dat klanten een bepaald traject volgen waarin wordt vastgesteld of, en zo ja, welk instrument ingezet wordt. Ook komt het voor dat er tegelijkertijd meerdere instrumenten ingezet worden, in wisselende combinaties. Dit maakt het moeilijk om instrumenten te isoleren en het effect van afzonderlijke instrumenten vast te stellen. Het is in deze situaties in theorie nog wel mogelijk om een valide experiment op te zetten, maar daarvoor zouden dan zodanig grote aantallen deelnemers nodig zijn, dat hieraan niet te voldoen is. Daarnaast waren er een aantal gemeenten die wel konden meedoen, maar uiteindelijk besloten toch niet te participeren. Hiervoor waren twee hoofdredenen. Op de eerste plaats speelde het (vermeende) financiële risico; dit speelde vooral op bestuurlijk en managementniveau. Een deel van de gemeenten besloot niet deel te nemen aan een experiment omdat zij er vrij zeker van waren dat het betreffende re-integratie-instrument tot vergroting van de uitstroom en vermindering van de uitkeringslast leidt. Zij verwachtten dat het niet inzetten van het 52 Tijdschrift voor Arbeidsvraagstukken 2016 (32) 1
Experimenteren in het re-integratiedomein re-integratie-instrument voor een controlegroep onvermijdelijk zou leiden tot hogere uitkeringslasten. Dit risico wilden zij niet nemen. De andere hoofdreden om geen experiment te starten was het ethische bezwaar; dit leeft vooral bij uitvoerders en hun direct leidinggevenden. De kern van dit bezwaar is dat je het niet kunt maken om klanten (uit de controlegroep) die zijn aangewezen op een bepaald instrument, dit instrument te ontzeggen. Dit bezwaar speelde bij bijna alle gemeenten, ook bij de gemeenten waar wel een experiment was gestart. Ook hierbij wordt in feite de vooronderstelling gehuldigd dat de betrokken maatregelen effectief zijn, terwijl uit het internationale onderzoek naar voren komt dat dit geenszins zeker is (zie Kluve, 2006; De Koning & Peers, 2007; Card, Kluve & Weber, 2010). Uiteindelijk zijn er in zeven gemeenten in totaal twaalf experimenten gestart. Vervolgens zijn drie gestarte experimenten alsnog afgevallen, als gevolg van beleidswijzigingen. Dit betekent dat er negen experimenten bij gemeenten volledig zijn uitgevoerd. Het feit dat vrij veel gemeenten en re-integratie-instrumenten zijn afgevallen voor deelname aan het onderzoek, heeft ervoor gezorgd dat de instrumenten die in het onderzoek betrokken zijn geen representatieve afspiegeling zijn van het re-integratiebeleid in Nederland. De uitvoering: experimenteren met experimenten In de praktijk bleek het heel ingewikkeld om experimenten zo uit te voeren, dat zij voldeden aan de eisen van experimenteel onderzoek. Deze eisen zijn op papier heel eenvoudig: klanten moeten eerst geïndiceerd worden voor het instrument dat onderzocht wordt. Vervolgens moeten klanten willekeurig verdeeld worden over experiment- en controlegroep. Vervolgens moet het instrument ingezet worden bij alle klanten uit de experimentgroep en niet bij klanten uit de controlegroep. We zijn in de praktijk vier hindernissen tegengekomen waardoor de uitvoering afweek van dit ideaal: 4 1 Geen volledig willekeurige toewijzing van deelnemers tot experiment- en controlegroep. Achterliggende redenen zijn enerzijds administratieve fouten in de toeleiding en anderzijds het selectief doorverwijzen van klanten uit experiment- of controlegroep naar alternatieve instrumenten. 2 Een grote no-show bij het oproepen van klanten, waardoor bij een deel van de experimentgroep het beoogde instrument niet ingezet kon worden. Daarnaast was er bij sommige experimenten ook grote uitval, waardoor deze klanten uit de experimentgroep niet het hele traject volgden en het ingewikkelder is om het gemeten effect toe te wijzen aan het instrument. 3 In een aantal gevallen werd voorafgaand aan de at random toedeling, alleen een globale screening uitgevoerd en pas na toedeling tot de experimentgroep een echte indicatie. Het gevolg was dat bij een vrij groot deel van de klanten uit de experimentgroep het beoogde instrument niet ingezet werd. 4 De hierboven genoemde ethische bezwaren zorgden er tijdens de uitvoering van experimenten regelmatig voor dat bij een deel van de controlegroep toch het onderzochte instrument werd ingezet: de verlokking van de contro- Tijdschrift voor Arbeidsvraagstukken 2016 (32) 1 53
Jaap de Koning, Luuk Mallee, Paul de Hek & Maikel Groenewoud legroep. Ook kwam het voor dat tijdens de uitvoering van een experiment een nieuw beleidsinitiatief grote prioriteit kreeg, wat ertoe leidde dat controlepersonen hiervoor benut werden. Deze hindernissen hebben ertoe geleid dat, ondanks de intensieve begeleiding door de onderzoekers, drie van de negen uitgevoerde experimenten uiteindelijk niet meegenomen konden worden in de analyses. De afwijkingen van de ideale experimentele setting waren bij deze drie experimenten dusdanig groot dat de verschillen in uitkomsten tussen experiment- en controlegroep niet betrouwbaar aan de inzet van het onderzochte instrument toegewezen konden worden. De uitgevoerde experimenten Uiteindelijk zijn van zes goed uitgevoerde experimenten de uitkomsten meegenomen in de analyses. We geven een korte omschrijving van deze experimenten. Inspanningsafspraken in de gemeente Nijmegen Het instrument Inspanningsplan houdt in dat een klant die zich meldt voor een uitkering, eerst vier weken zelf activiteiten moet ontplooien om de kans op betaald werk te vergroten. Hierover maakt de klantmanager van de afdeling Werk afspraken met de klant, aan de hand van een lijst met mogelijkheden. De afspraken kunnen betrekking hebben op het vinden van werk, het starten van een eigen onderneming of het wegnemen van belemmerende factoren. De inspanningsverplichting geldt voor nieuwe klanten vanaf 27 jaar, die in principe recht hebben op een uitkering en die binnen een jaar bemiddelbaar zijn naar werk (A- of B-klanten). De zogenoemde zorgklanten (C-klanten) krijgen geen inspanningsverplichting opgelegd. Doel van het instrument is om instroom in een uitkering te ontmoedigen en, voor degenen die toch in een uitkering komen, uitstroom daaruit naar werk te bevorderen. Aantal deelnemers experiment: 523. WerkLoont in de gemeente Rotterdam Iedereen die zich in Rotterdam meldt voor een uitkering en geacht wordt te kunnen werken, krijgt te horen dat hij als hij na de wachttijd van vier weken nog steeds geen werk heeft, moet gaan deelnemen aan de maatregel WerkLoont. Deze maatregel duurt vijftien weken en houdt in dat de bijstandsgerechtigde één dag per week moet werken en enkele dagen per week hulp krijgt bij het zoeken naar werk. Voor de meesten wordt de werkcomponent ingevuld bij de Roteb (het vegen van straten). De hulp bij het vinden van werk bestaat onder andere uit sollicitatietraining en begeleiding naar werk. Met de maatregel wordt zowel een preventief als een uitstroom-bevorderend effect beoogd. Het preventieve effect houdt in dat mensen door de verplichtingen die WerkLoont meebrengt, afzien van het aanvragen van een uitkering. Het uitstroom-bevorderende effect houdt in dat mensen die wel in een uitkering komen, door de hulp sneller een baan krijgen. Aantal deelnemers experiment: 3.218. 54 Tijdschrift voor Arbeidsvraagstukken 2016 (32) 1
Experimenteren in het re-integratiedomein Screening in de gemeente Rotterdam De screening houdt in dat een gesprek met een bijstandsgerechtigde wordt gevoerd, waarin wordt bepaald of betrokkene in beginsel plaatsbaar is op de arbeidsmarkt. Als dit laatste het geval is, vindt doorverwijzing naar sectorteams plaats, die proberen de klant te plaatsen. De doelgroep bestaat uit klanten die langer dan vijftien weken werkloos zijn, waarbij het in de praktijk vaak om langdurig werklozen gaat. Doel van de maatregel is de kans op uitstroom naar werk bij deze groep te vergroten. Aantal deelnemers experiment: 1.121. Sollicitatietraining in de gemeente Nijmegen Het instrument Training op zoek naar werk houdt in dat de klant gedurende zes bijeenkomsten van drie uur, verdeeld over zes weken een training krijgen die gericht is op het verbeteren van de sollicitatievaardigheden. De trainingen worden gegeven in groepen van tien mensen. Dit instrument is bedoeld voor klanten die een WWB-uitkering hebben en die hun sollicitatievaardigheden willen verbeteren. Voorwaarde voor deelname is dat de klant al een eigen cv heeft. De trainingen worden op twee niveaus gegeven: een mbo-min groep en een mboplus groep. Doel van de training is om volledige of gedeeltelijke uitstroom naar werk te bevorderen. De doelgroep wordt gevormd door klanten uit het zittend bestand met een overbrugbare afstand tot de arbeidsmarkt. Aantal deelnemers experiment: 357. Diagnose in de gemeente Enschede De gemeente Enschede heeft in het kader van dit experiment met 200 WWB ers (mensen in de Wet werk en bijstand, dus mensen die niet in hun eigen levensonderhoud kunnen voorzien) een diagnosegesprek gevoerd om vast te stellen of zij met behulp van dienstverlening kunnen werken, leren of meedoen. De beleidstheorie is dat de mate van participatie toeneemt door de ondersteuning van de gemeente. Deze ondersteuning kan ook leiden tot uitstroom, alhoewel grootschalige werkhervatting gezien de grote afstand tot de arbeidsmarkt van de deelnemers niet aannemelijk is. De doelgroep van de diagnoseadviseur bestaat uit WWB ers uit het zittend bestand met een grote afstand tot de arbeidsmarkt die zijn vrijgesteld van de sollicitatieplicht. Aantal deelnemers experiment: 400. Sociale activering in de gemeente Helmond Een programmamedewerker begeleidt klanten drie of zes maanden met als doel de klant te laten stijgen op de participatieladder. Verder verwijst de programmamedewerker naar flankerende dienstverlening zoals schuldhulpverlening en dienstverlening in het kader van de Wet maatschappelijke ondersteuning (Wmo). De ondersteuning kan leiden tot werkhervatting, maar gezien de grote afstand tot de arbeidsmarkt is dit niet aannemelijk. De doelgroep bestaat uit klanten met een grote, veelal onoverbrugbare afstand tot de arbeidsmarkt in combinatie met multiproblematiek. Aantal deelnemers experiment: 492. Tijdschrift voor Arbeidsvraagstukken 2016 (32) 1 55
Jaap de Koning, Luuk Mallee, Paul de Hek & Maikel Groenewoud Uitkomsten van de uitgevoerde experimenten Zoals hiervoor is aangegeven kan bij twee van de onderzochte maatregelen (Inspanningsplan Nijmegen en WerkLoont Rotterdam) een preventie-effect optreden. Tabel 1 laat zien dat in beide gevallen dit preventief effect ook daadwerkelijk is opgetreden: van de experimentgroep (die de maatregel krijgt) komt een groter percentage niet in de uitkering. Alleen in Rotterdam is dit echter significant. Het effect is in Rotterdam ook aanzienlijk groter. Wel geldt hierbij dat een deel later alsnog in een uitkering komt, waardoor het uiteindelijke effect duidelijk kleiner is dan het initiële effect. Tabel 1 Preventie van instroom in een uitkering, in procenten van totaal Percentage van alle deelnemers Percentage van alle deelnemers dat niet in een uitkering komt dat later alsnog in een uitkering komt Nijmegen Inspanningsplan Experimentgroep 26,0 1,6 Controlegroep 23,4 2,9 Netto-effect 2,6-1,3 Rotterdam Werk Loont Experimentgroep 29,5 7,9 Controlegroep 17,5 2,1 Netto-effect 12,0 * 5,8 * Significant op 5%-niveau. Bij alle maatregelen is gekeken naar het effect op de uitstroom naar een baan. In tabel 2 is de uitstroomkans binnen vijf maanden respectievelijk twaalf maanden na instroom in de uitkering weergegeven. De experimenten Nijmegen Inspanningsplan en Rotterdam WerkLoont geven een duidelijk positief nettoeffect te zien. In het geval van WerkLoont is zowel het effect na vijf als na twaalf maanden significant; bij het Nijmeegse experiment is alleen het effect na vijf maanden (zwak) significant. In alle andere gevallen zijn de effecten klein en niet significant. Als we kijken naar de effecten op de totale uitstroom (resultaten hier niet opgenomen) dan blijken deze alleen significant te zijn voor WerkLoont. Bij de verschillen in significantie moet worden aangetekend dat bij het Rotterdamse experiment het aantal waarnemingen aanzienlijk groter was dan bij het Nijmeegse experiment. 56 Tijdschrift voor Arbeidsvraagstukken 2016 (32) 1
Experimenteren in het re-integratiedomein Tabel 2 Helmond Sociale Activering Experimentgroep Controlegroep Nettoeffect Effect op de baankans binnen vijf respectievelijk twaalf maanden (alleen personen die in eerste instantie in een uitkering kwamen), in procenten van totaal Enschede Diagnose Nijmegen Sollicitatietraining Nijmegen Inspanningsplan Rotterdam Werk Loont Rotterdam Screening 5 12 5 12 5 12 5 12 5 12 5 12 mnd mnd mnd mnd mnd mnd mnd mnd mnd mnd mnd mnd 0,5 0,5 0,8 1,7 0,0 0,5 15,7 21,6 18,6 33,7 1,4 2,5 0,5 0,5 0,4 1,2 0,0 1,4 9,6 16,7 14,6 27,7 1,2 2,8 0,0 0,0 0,4 0,5 0,0-0,9 6,1 * 4,9 3,9 5,9 0,2-0,3 * Significant bij 10%-niveau. Significant bij 5%-niveau. We kunnen ook de hele periode sinds het begin van het experiment bekijken en berekenen welk deel van deze periode men een uitkering had, werk had of iets anders deed. Dan zien we dat alleen bij de WerkLoont-maatregel het percentage van de tijd dat men in een uitkering zat bij de experimentgroep significant lager was en het percentage van de tijd in een baan significant hoger dan bij de controlegroep. Bij geen van de maatregelen vinden we significante effecten op de duurzaamheid en de kwaliteit van de gevonden baan. Ook bij de experimenten Inspanningsverplichting en WerkLoont, waarbij we zoals eerder aangegeven een significant effect op de herintredingskans vinden, is dit het geval. Alleen bij WerkLoont Rotterdam en (in mindere mate) Inspanningsplan Nijmegen vinden we dus significante effecten. Bij de overige experimenten zijn de gevonden effecten bovendien erg klein. Achteraf is dat voor een deel verklaarbaar. Bij het Rotterdamse experiment Screening heeft in de praktijk maar een deel van de experimentele groep de volledige interventie gehad. Slechts een beperkt deel van deze groep werd na de screening namelijk doorverwezen naar sectorteams en daarvan werd maar een deel verwezen naar vacatures. Bij het Nijmeegse experiment Sollicitatietraining kreeg maar een deel feitelijk de training. Bij de experimenten in Enschede en Helmond ging het om personen met een zeer grote afstand tot de arbeidsmarkt. Het gaat daarbij om maatregelen die eerder gericht zijn op lange- dan op korte-termijneffecten. Conclusies en aanbevelingen voor verder experimenteel onderzoek Vooral de Rotterdamse experimenten tonen de waarde van experimenten aan. Zij zijn van een zodanige omvang dat ook relatief kleine effecten significant gemeten kunnen worden. Door de experimentele opzet zijn de uitkomsten betrouwbaar en zijn ze geen onderwerp van discussie. Bij de ene maatregel, WerkLoont, vinden we zowel een preventief als een uitstroom-bevorderend effect. Voor de gemeente Rotterdam is dit reden om door te gaan met deze maatregel. Tijdschrift voor Arbeidsvraagstukken 2016 (32) 1 57
Jaap de Koning, Luuk Mallee, Paul de Hek & Maikel Groenewoud Bij de andere maatregel, screening en doorverwijzing van werklozen, vinden we geen effect. De gemeente is daarom gestopt met de maatregel in deze vorm. Op deze wijze dragen de experimenten dus bij aan een effectiever beleid in Rotterdam. Inmiddels is er een bestuurlijk draagvlak voor experimenten in deze gemeente. Men ziet de waarde ervan in, ook voor de toekomst. Naast Rotterdam zijn er nog maar weinig gemeenten die de waarde van experimenten inzien. 5 Hoe kan worden bevorderd dat in de toekomst meer experimenten succesvol kunnen worden uitgevoerd? Wat is daarvoor nodig? In de eerste plaats is een verandering in houding en kennis nodig bij de betrokken partijen binnen een gemeente: bestuur, management en uitvoerenden. Dat het allerminst evident is dat re-integratie effectief is, en dat het daarom van belang is kennis te ontwikkelen, is bij velen niet bekend. In de uitvoering wil men vooral iets doen voor cliënten. Men is minder bezig met de vraag of de effectiviteit van wat men doet bewezen is. Daarom is een verdere professionalisering in de beroepsgroep nodig, die moet leiden tot een gerichtheid op effectieve dienstverlening en een positieve houding ten opzichte van evaluatie in het algemeen en experimenten in het bijzonder. Dit kan onder meer door in de opleiding eventueel een door de werkgever georganiseerde training hieraan aandacht te besteden. Van belang is dat hierdoor niet alleen meer experimenten worden uitgevoerd, maar dat deze ook beter kunnen worden uitgevoerd. De overheid heeft inmiddels een onderzoeksprogramma opgezet voor verdere professionalisering van de re-integratie waarin experimenten een belangrijke rol zullen spelen. 6 Voor een goede uitvoering van een experiment is het noodzakelijk dat bestuur en management intern duidelijk aangeven dat het experiment voor hen prioriteit heeft, dat ze toezicht houden op het experiment en dat ze als projectleider iemand aanstellen met voldoende bevoegdheden om te bewerkstelligen dat het experiment op de juiste wijze wordt uitgevoerd. Een goede uitleg aan de uitvoerenden is evenzeer van belang. Verder komt het de uitvoering ten goede als een goede monitoring van het experiment plaatsvindt aan de hand van indicatoren die uitwijzen of de toewijzing aan experimentele groep en controlegroep op de juiste wijze gebeurt en of de dienstverlening aan beide groepen conform de vereisten van het experiment is. Verder kan garantstelling voor de financiële risico s ervoor zorgen dat gemeenten eerder bereid zijn om experimenten te starten met re-integratie-instrumenten waarvan vooraf wordt gedacht dat het effect aanzienlijk is. Naarmate er meer ervaring met experimenten is en het draagvlak ervoor groter is, kunnen ook complexere experimenten worden uitgevoerd. Te denken valt aan experimenten waarin verschillende varianten van maatregelen op effectiviteit worden vergeleken. Dat zal het nut van experimenten voor de beleidsontwikkeling verder vergroten. Een experiment is gemakkelijker uit te voeren als het een nieuw instrument betreft dan een reeds bestaand instrument. Dan doorkruist het experiment de dagelijkse gang van zaken bij de uitvoering van re-integratie zo weinig mogelijk. Bovendien wordt voorkomen dat ineffectieve maatregelen in het mainstream beleid terechtkomen. De belangrijkste beperking voor experimenten is de benodigde omvang. Bij kleinere gemeenten zullen de aantallen te klein zijn om harde conclusies te kunnen trekken uit experimenten. Denkbaar is wel dat kleinere gemeenten 58 Tijdschrift voor Arbeidsvraagstukken 2016 (32) 1
Experimenteren in het re-integratiedomein samenwerken in een experiment en zo de vereiste aantallen halen. Daarvoor is dan wel een zekere homogeniteit van het beleid in de verschillende gemeenten vereist. Noten 1 Er zijn ook enkele experimenten bij het UWV uitgevoerd. De problemen bij de uitvoering van deze experimenten waren vergelijkbaar met de problemen die optraden bij de gemeentelijke experimenten. Zie De Koning et al. (2014). 2 Een van de weinige voorbeelden is Bolhaar, Ketel & Van der Klaauw (2014). 3 Deze aantallen zijn al erg laag om significante effecten vast te stellen. Vaak worden in evaluaties van re-integratiemaatregelen kleine effecten gevonden. Het significant meten van kleine effecten vereist grotere aantallen. 4 Ons onderzoek is zeker niet uniek in het optreden van dergelijke problemen: zie List & Rasul (2011). 5 Bij het UWV bestaat dit draagvlak ook. Daar is inmiddels ook al een aantal experimenten uitgevoerd, die overigens ook gepaard zijn gegaan met aanloopproblemen. 6 Dit is het programma Vakkundig aan het werk. Voor verdere informatie zie de website van ZonMw: www.zonmw.nl/uploads/tx_vipublicaties/programmatekst_vakkundig_aan_het_werk.pdf. Literatuur Abbring, J.H. & Berg G.J. van den (2003). The nonparametric identification of treatment effects in duration models. Econometrica, 71, 1491-1517. Bolhaar, J., Ketel, N. & Klaauw, B. van der (2014). Onderzoek naar effectiviteit inzet reintegratie-instrumenten van Dienst Werk en Inkomen Amsterdam. Amsterdam: Vrije Universiteit. Card, D., Kluve, J. & Weber, A. (2010). Active labor market policy evaluations: a metaanalysis. NBER Working Paper No. 16173. Cambridge, MA: National Bureau of Economic Research. Kluve, J. (2006). The effectiveness of European active labour market policy. Discussion Paper No. 2018. Bonn: IZA Institute for the Study of Labor. Koning, J. de & Peers Y. (2007). Evaluating active labour market policies evaluations. Discussion paper I 2007-112. Berlin: Wissenschaftszentrum. Koning, J. de, Hek, P. de, Mallee, L., Rosing, F. & Groenewoud, M. (2014). Uitkomsten en ervaringen experimenten netto-effectiviteit re-integratie. Rotterdam/Amsterdam: SEOR/ Regioplan. List, J.A. & Rasul, I. (2011). Field experiments in labor economics. In O. Ashenfelter & D. Card (eds.), Handbook of Labor Economics, Volume 4, Part A. Tijdschrift voor Arbeidsvraagstukken 2016 (32) 1 59