Vormgeving van bewezen effectieve beleidsinterventies Parallelsessie 13:45 15:15 20 juni 2019, Den Haag Structurele Evaluatie Voorzitter: Jedid-Jah Jonker Spreker: Julien Spliet Spreker: Mark Vermeer #KBC19
Vormgeving van bewezen effectieve beleidsinterventies Voorzitter 20 juni 2019, Den Haag Jedid-Jah Jonker Expert methoden en technieken Algemene Rekenkamer #KBC19
Vormgeving van bewezen effectieve beleidsinterventies Spreker 20 juni 2019, Den Haag Julien Spliet Programmadirecteur Inzicht in Kwaliteit Ministerie van Financiën #KBC19
Operatie Inzicht in Kwaliteit Kennis & Beleid Congres Juni 2019
[Beleid] waarvan je weet dat het werkt, moet je doen. Als je weet dat het niet werkt, moet je het niet doen. En als je niet weet óf het werkt, moet je dat uitzoeken
De operatie Inzicht in Kwaliteit in vogelvlucht Vele vaders en moeders; overgenomen als prioriteit in regeerakkoord Méér inzicht in toegevoegde waarde van beleid en dit inzicht beter benutten Het huis staat niet in brand, maar niemand is echt blij met de inrichting Twee hardnekkige dilemma s: hoe goed meten en hoe de juiste prikkels geven? Tweesporenbeleid om ook in de praktijk inzichten en ervaring op te doen
Spoor 1: 18 initiatieven met lessen voor beleid en het stelsel Handelsagenda (BuZa) Cyberveiligheid (DEF) Circulaire economie (IenW) Verdere integratie arbeidsmarkt (SZW) Conflictpreventie (BuZa) Financiering staatsschuld (FIN) Waterveiligheid (IenW) Dienstverlening UWV (SZW) Aardgasvrije wijken (BZK) Fiscale evaluaties (FIN) Recidivebestrijding (JenV) Lerend Evalueren (VWS) Digitalisering (EZK) Klantcontact Belastingdienst (FIN) Effectiviteit politie (JenV) Klimaatbeleid (EZK e.a.) Strategie hoger onderwijs (OCW) Garantstelling landbouw (LNV)
Spoor 1: 18 initiatieven met lessen voor beleid en het stelsel Handelsagenda (BuZa) Cyberveiligheid (DEF) Circulaire economie (IenW) Verdere integratie arbeidsmarkt (SZW) Conflictpreventie (BuZa) Financiering staatsschuld (FIN) Waterveiligheid (IenW) Dienstverlening UWV (SZW) Aardgasvrije wijken (BZK) Fiscale evaluaties (FIN) Recidivebestrijding (JenV) Lerend Evalueren (VWS) Digitalisering (EZK) Klantcontact Belastingdienst (FIN) Effectiviteit politie (JenV) Klimaatbeleid (EZK e.a.) Strategie hoger onderwijs (OCW) Garantstelling landbouw (LNV)
Spoor 1: 18 initiatieven met lessen voor beleid en het stelsel Ex-ante beleidsexperimenten Ex-durante monitoren en bijsturen Recidivebestrijding (JenV) Cyberveiligheid (DEF) Digitalisering (EZK) Aardgasvrije wijken (BZK) Klantcontact Belastingdienst (FIN) Handelsagenda (BuZa) Circulaire economie (IenW) Klimaatbeleid (EZK e.a.) Verdere integratie arbeidsmarkt (SZW) Financiering staatsschuld (FIN) Fiscale evaluaties (FIN) Lerend Evalueren (VWS) Beter benutten grote datasets Garantstelling landbouw (LNV) Conflictpreventie (BuZa) Strategie hoger onderwijs (OCW) Effectiviteit politie (JenV) Waterveiligheid (IenW) Dienstverlening UWV (SZW) Nieuwe inzet huidig instrumentarium Inzicht in taaie sturingsvraagstukken
Spoor 2: voorlopige ontwikkellijnen voor ons evaluatiestelsel Versterk de voorkant van de beleidscyclus CW3.1, Motie Sneller... Focus niet alleen op uitkomst, maar ook op werkwijze Public Value Reviews, strategische agenda s,... Verbeter ontsluiting bestaande inzichten en koppeling tussen beleid, wetenschap en praktijk Productiviteitsdata, interventiedatabases, digitale begroting,... Zet vol in op houding, gedrag en vaardigheden Kennisdeling, gedragssessies, departementale trajecten,...
Voorbeeld 1: CW3.1 als bouwsteen om de voorkant van de beleidscyclus te versterken CW 3.1 (onderbouwing van beleidskeuzes) en de motie Van Weyenberg/ Dijkgraaf (evaluatieparagraaf) kunnen belangrijke bouwstenen zijn om verantwoording en evalueerbaarheid aan de voorkant te verbeteren. Naleving nog niet op niveau. Om dit te verbeteren zetten we in op extra monitoring, handreikingen en kennisdeling. Kamerbrief volgt volgende maand. Dilemma is hoe we de lat leggen zodat deze niet betekenisloos hoog of laag is. Onze inzet is op maatwerk, met evalueerbaarheid als eerste stap. Dit zal een leerproces zijn voor alle betrokkenen.
Voorbeeld 2: Public value reviews als alternatieve vorm van doorlichting om toegevoegde waarde en lerend vermogen te stimuleren Initiatief van UK Treasury voor ander type gesprek. Vraag is niet: kunnen jullie bewijzen dat het beleid toegevoegde waarde heeft gehad? ; maar: wat doen jullie om de kans op toegevoegde waarde zo groot mogelijk te maken? Beleidsterrein gestructureerd doorlichten op groot aantal factoren waarvan we weten dat ze bevorderlijk zijn voor goed beleid. Maakt het mogelijk om breder te kijken dan een klassieke beleidsdoorlichting: niet alleen input en output/outcome, maar ook bijv. interactie met uitvoeringsketen en eindgebruikers. Nu korte ontwerpfase, met intentie om in najaar te starten met een aantal pilots om methodiek in de praktijk uit te testen en te verfijnen.
Vormgeving van bewezen effectieve beleidsinterventies Spreker 20 juni 2019, Den Haag Mark Vermeer Directeur innovatie en informatievoorziening Gemeente Rotterdam #KBC19
Structureel evalueren = structureel in verbinding staan
Leidend principe Kennisinfrastructuur Rotterdam: Er is heel veel kennis. Dat gebruiken verhoogt de kwaliteit van het werk en is eigenlijk voorwaardelijk aan goed vakmanschap. Kennisgedreven werken is het nieuwe normaal.
Kernbegrippen R damse Kennisinfrastructuur Kennis over wie wat wil Publieke waarde Ambtelijk vakmanschap Kennis maken doe je samen Kennis over wat men kan en hoe dan Kennis over wat moet, de opgave.
Faciliteren en stimuleren van het goede gesprek tussen onderzoekers en beleidsmakers - CPB-studie: de regionale impact van universiteiten - Valorisatie van kennisinstellingen vooral regionaal: door frequent fysiek contact: kennis-spillovers vooral lokaal - WRR-rapport: naar een lerende economie - Goed innovatiebeleid is dan ook primair: de sterkte van het innovatie-ecosysteem vergroten. En dat betekent kennisontwikkeling en circulatie stimuleren, verbindingen tussen actoren verbeteren, ondersteunen waar zinvol en uitdagen waar mogelijk.
Onderzoek en Business Intelligence Basisinformatievoorziening Onderzoek op thema s Kennisinfra/ Kenniswerk plaatsen BI clusterteams Data Science Clusters
Waarom evaluatieonderzoek? Transparantie en verantwoording Voor opdrachtgevers/financiers van beleid ( de belastingbetaler ): is het geld goed besteed? Leren en verbeteren Voor professionals/uitvoerders van beleid: doen we het goed? Kan het beter? Gewenste effect? Voor clienten/gebruikers: krijg ik optimale zorg of voorzieningen? Bron: Erik snel, Pres KWP leefbare wijken
Evaluatie in een notendop Moment / type Planevaluatie Procesvaluatie Effectevaluatie Ex-ante Ex-durante Ex-post Concernauditing OBI Rekenkamer Meer ruimte om te leren, meer ruimte voor kennis: voorkomen van kosten Kosten al gemaakt, verwachtingen gewekt. Minder ruimte om te leren
Leren of afrekenen? De deelconclusie moet uit de beleidssamenvatting! Dat is het weglaten van onwelgevallige informatie! Het wordt niet weggelaten, alleen anders geformuleerd Toch doe ik het niet Zo kunnen we er niet van leren Het beleid werkt niet, je moet er mee stoppen 24-6-2019 22
Evaluatie ex-post, casus voor mekaar Actieprogramma gericht op het bestrijden van eenzaamheid bij ouderen Onze ouderen krijgen de aandacht 75-plus huisbezoeken die ze verdienen. Voor eenzaamheid mag in onze stad geen plaats Publiekscampagne zijn 65-plus magazine Collegetarget 2014-2018: afname Coalitie van Erbij: sociaal Zomercampagne, isolement in Accentwijken bijeenkomsten van 29% naar 24% (wijkprofiel) Eenzaamheid de deur uit, Week van de Eenzaamheid Lief en Leed Digitaal signaleringssysteem Dialoogtafels Wijknetwerkbijeenkomsten
Ontwikkeling eenzaamheid 75+ Eenzaamheid is over de hele linie gedaald met 5% (71% 66%) 24-6-2019 Onderzoek & Business Intelligence 24
Conclusies evaluatie-onderzoek Hoewel eenzaamheid onder 75-plussers gedaald is in de accentwijken kan géén oorzakelijk verband tussen de daling in eenzaamheid en de interventie vastgesteld worden Sociaal isolement onder 75-plussers is gelijk gebleven Onder 65-74 jarigen is het aantal mensen dat eenzaam is of in een sociaal isolement verkeerd onveranderd En Nu? 24-6-2019 Onderzoek & Business Intelligence 25
Kwantitatieve evaluatie, casus taaltrajecten Taalniveau? Arbeidsproductiviteit Gezondheidswinst Sociale participatie Voorkomen kosten gezondheidszorg Wat kosten taaltrajecten? Wat leveren taaltrajecten op? gemeten berekend % niveauverhoging Kosten Baten Ratio 21%-bruto 2.761 22.942 8,30 9,2%-netto 2.761 11.018 3,99
Samen leren, casus Maatwerkbudget Aanleiding Behoefte mogelijkheden cliënten in financiële noodsituaties ondersteunen. Uitgangspunt Snelle door gemeente gefinancierde interventie op korte termijn voorkomt hogere (maatschappelijke) kosten later
Resultaten Waarvoor ingezet (doelen)? 1. Voorkomen acute huisuitzetting of afsluiting nutsvoorzieningen (betaling (achterstallige) rekeningen) 2. Voorkomen uithuisplaatsing kind(eren) (o.a. betalen vervoer naar opvang/ bijzonder onderwijs) 3. Zorgen voor (voortgang) dienstverlening, zoals schuldhulpverlening (bijv. betaling nieuwe schuld) 4. Voorkomen (escalatie) gezondheidsproblemen, bijvoorbeeld door betaling therapie) 5. Voorkomen bijstandsuitkering (betaling diploma aanvraag DUO zodat arbeidsbetrekking kon doorgaan) 6. Voorkomen toekomstige risico s (betaling WA verzekering) 24-6-2019 Onderzoek & Business Intelligence 28
Conclusie methode Een klein budget per wijkteam geeft ruimte om flexibel te opereren in weerbarstige praktijk Gemaakte beperkte kosten voorkomen toekomstige veel hogere kosten Vooral: middel om te leren, feedback op de eigen organisatie structureel ontvangen en vervolgens verbeteren.
Werken op thema s Beleid en uitvoering Kennis Strategie Dynamische agendering van kennis Arbeid en participatie Armoede, schulddienstverlening R dams talent Economie De stad Onderzoek & informatie Gezondheid en sport WMO Jeugd
Lerend evalueren, samen ontwerpen en ontdekken Casus Housing First De hoofdvraag van dit onderzoek luidt als volgt: Hoe kan de gemeente Rotterdam de methodiek van Housing First implementeren zodat deze aansluit op de Rotterdamse context en haar gebruikers? Hier zijn alle kennisdomeinen aan de orde Onderzoek doen vanuit lerend evalueren Een kenmerk van lerend evalueren is dat er door verschillende stakeholders (beleid, onderzoek en maatschappelijke organisaties) gezamenlijke betekenis wordt gegeven aan de evaluatie van de pilot (Verwest & Kunseler, 2019). De evaluatie in het onderzoek zal worden afgestemd op de behoeften van de verschillende beleidsbetrokkenen. De input van de verschillende stakeholders kan worden gebruikt om aanpassingen te doen in de handelingspraktijk van de pilot Housing First. Als onderzoekers koppelen wij op verschillende momenten in het onderzoek onze bevindingen terug aan de stakeholders.
Rol onderzoekers Vanuit bestaande kennis en ervaringen (effectonderzoek) voorstellen voor specifieke interventie in Rotterdam helpen maken Deze voorstellen afstemmen en aanscherpen in gesprek met de stakeholders Meelopen bij implementatie en aanwezigheid bij stakeholdergesprekken On the job voorstellen voor verbetering doen Periodiek aan klankbord observaties delen Meten van benodigde data Analyseren van de data Rapportage van gehele proces (meer reisbeschrijving dan effectonderzoek)
Bijlage Mogelijk om de kennisrol en de beleidsrol te duiden en te verbinden Bijv. bij sheet 9 of sheet 12
Hoe wordt evaluatie gebruikt? Stadhuis Weten + Willen = Beleid O+S Beleidsdienst/cluster Bron: Wim Derksen onderzoek in een politiek-bestuurlijke context 34
Vormgeving van bewezen effectieve beleidsinterventies Aanbeveling Structurele Evaluatie Onder voorzitterschap van: Jedid-Jah Jonker Aanbevelingen: 1. Beleid moet eigenaarschap voelen voor evaluaties om leren te bevorderen 2. Ambitieniveau wordt (mede) gestuurd door externe druk en tone at the top 3. Meer kans op evidence informed beleid door inzichten eerder in het process te gebruiken (ex ante en ex durante) 20 juni 2019, Den Haag #KBC19
15:15 15:45 Koffie/Thee pauze Vormgeving van bewezen effectieve beleidsinterventies Vervolg van het programma 20 juni 2019, Den Haag 15:45 17:15 Plenaire afsluiting #KBC19