Voorstelling onderzoeksplatform Cultuur Joris Janssens 1 Voorstelling Repertorium Cultuur Filip Libin Vlaams minister van Cultuur Joke Schauvliege nam het initiatief om het cultuuronderzoek van de voorbije jaren te ontsluiten en ter beschikking te stellen van het veld. Hieronder vindt u het repertorium cultuur van het lopende en bestaande onderzoek over cultuurbeleid, culturele organisaties, cultuur en industrie... U vindt het Repertorium onderzoek Cultuur op : www.cjsm.vlaanderen.be/cultuur/wsopublicaties/repertorium.html 1
Cultuurforum Kortrijk, 27 mei 2013 Kennis gebaseerd beleid en de praktijk Uw prestaties in de weegschaal: over efficiëntie en effectiviteit in het streven naar een kennis gebaseerd beleid. Opbouw Inleiding Kennis gebaseerd beleid: wat, hoe en waarom toch zo moeilijk? Toepassing: effiëntie en effectiviteit van het overheidsoptreden Uitleiding Insteek voor de groepsdiscussie Dries Verlet Studiedienst van de Vlaamse Regering 8 Studiedienst van de Vlaamse Regering 2
Inleiding Positionering van de overheid Uitgangspunt: overheidsoptreden moet efficiënt en effectief zijn Voortdurende behoefte om de toestand van de overheid en haar beleid te meten om (vooropgesteld, huidig of vorig) beleid te evalueren De wetenschap: een stevige sokkel ter staving van de evaluatie? Een evident, maar moeilijk verhaal De overheid als een glazen huis in een veranderende samenleving Meten en signaleren van maatschappelijke ontwikkelingen: niet enkel door de overheid Sociale media en hun rol in beleid en het onderzoek terzake Wisdom of the crowds Indicatoren in bits en bytes: pompen of verzuipen? 9 Studiedienst van de Vlaamse Regering 10 Studiedienst van de Vlaamse Regering Cultuurforum Kortrijk, 27 mei 2013 Kennisgebaseerd beleid Kennis gebaseerd beleid Is in theorie alvast een logisch en evident samenspel tussen kennis en beleid : Wetenschappers produceren kennis die beleidsmakers dan gebruiken voor hun beslissingen Het beleid verleent op zijn beurt randvoorwaarden die onderzoek mogelijk maakt (bijvoorbeeld administratieve data en middelen die de wetenschap moeten toelaten om onderzoek uit te voeren) 12 3
De link tussen het beleidsproces en het veld Wat is kennis gebaseerd beleid? Evidence-based policy means integrating experience, expertise and judgement with the best available external evidence from systematic research. Evidence-based policy helps people make wellinformed decisions about policies, programmes and projects by putting the best available evidence from research at the heart of policy development and implementation (Brennin, 2007) (Davies, P.T., 1999) Uit de boekjes: beleidsvorming en het gebruik van onderzoek als proces Identificatie van een probleem Onderzoek laten uitvoeren Analyse van de resultaten De beste optie kiezen Beleid bepalen Beleid implementeren Evaluatie Donoren Middenveld Private sector Het beleidsproces Agenda Setting Monitoring en evaluatie Formuleren van beleid Besluitvorming Implementatie Kabinetten Parlement Administratie (cf. Young, 2007) 4
Enkele factoren die beleidsvoering beïnvloeden Welke factoren spelen een rol? Toevallige gebeurten issen Lobby- en drukkingsgroepen Gewoon -ten en tradities Ervaring en expertise Kennis Waarden Opinies Middelen (cf. Davies, 2005) Externe invloeden: socio-economische context, culturele invloeden, gebeurtenissen, Politieke context: structuren en processen, cultuur, institutionele elementen, Wetenschappelijke wereld: beschikbaarheid data, kennisopbouw, Onderlinge verhoudingen tussen diverse maatschappelijke actoren en de veranderende rol van de overheid Wetenschap en beleid: soms een moeilijk huwelijk Wat verstaat men onder kennis of bewijs Onderbenutting van informatie: Redenen: 1. Minder goed match tussen beleid en wetenschap 2. Organisatiestructuren die integratie in de weg staan 3. Onvoldoende politieke incentives Twee verschillende werelden? Divergentie in de notie van wat kennis / bewijs is Divergentie in belangen Wetenschappelijk (los van de context) Empirisch getoetst. Kennis voor onderzoekers Vanuit theoretische noden Voldoende tijd nodig Genuanceerde boodschap Contextueel. Kennis voor beleidsmakers Getoetst aan wat redelijk/aannemelijk lijkt Beleidsrelevantie Snel Duidelijke boodschap (Davies, 2005) 5
Opinion-based versus evidence-based policy Enkele problemen met sociaal-wetenschappelijke kennis Opinion-Based Policy Evidence-Based Policy Enorme hoeveelheid aan kennis: een paradoxaal gegeven Kwaliteit is vaak divers: onduidelijke doelstellingen, zwak design, methologisch troebel, selectief gebruik van data, gebrekkige rapportering, Onzekerheden eigen aan wetenschappelijke kennis Increasing Pressure (Time) (cf. Muir Gray, 1997) Enkele vereisten om te komen tot een meer kennisgebaseerd beleid Cf. Nutley e.a. (2007) ogv ervaring in UK: 1. Overeenstemming over wat als bewijs kan dienen en in welke omstandigheden 2. Aangeven hoe men zal komen tot kennisopbouw voor prioritaire aspecten van het beleid, cf. een systematische inzet om kennis te bundelen/ accumuleren 3. Goede doorstroming van kennis en laagdrempelige toegang tot deze kennis 4. Initiatieven nemen om er voor te zorgen dat de kennis ook wordt geïntegreerd in het beleid en het gebruik van kennis in de praktijk blijvend stimuleren Enkele beschouwingen bij kennisgebaseerd beleid Er zijn vele types van kennis en onderzoek die een rol spelen in het beleidsproces Kennis gebaseerd beleid, gaat over het gebruik van onderzoek Constante aandacht voor de kwaliteit van onderzoek en data is een absolute must, cf. de aandacht voor kennisverzameling en -deling In het beleidsproces spelen tal van andere overwegingen eveneens een belangrijke rol 6
Cultuurforum Kortrijk, 27 mei 2013 In de praktijk: efficiëntie meten Inleiding De context van de groeiende aandacht voor good governance in Vlaanderen Vanzelfsprekend en niet nieuw Wel een nieuwe context: De overheid onder druk: luide roep naar afslanking (Post-) New public management: Vlaanderen mee op algemene stroming, internationaal vinden hervormingen plaats Efficiëntie en effectiviteit boven: relatie met financiële beperkingen Normatieve geladenheid van de thematiek: welke overheid wil men? 26 Good governance als nobel streven Een diversiteit aan verwachtingen, stakeholders en criteria omtrent het wezen van good governance Van een corporate governance naar een government governance? Het goede en de governance samen gebracht in drie dimensies Structurele Procesmatige Culturele Performante overheid: op naar good governance. Een overheid moet meer dan enkel efficiënt en effectief zijn Andere criteria voor het goede functioneren: accountability (intern/extern) transparantie/openheid; rekenschap stakeholders/shareholders, Invulling normatief geladen Voornaamste uitdaging: integratie van verschillende waarden en normen die het goede aan good governance omvatten Good governance: culturele, structurele en procesmatige dimensie 27 7
Op naar een (nog meer) slagkrachtige overheid? Efficiëntie en effectiviteit van de overheid: waarover gaat dat eigenlijk? Vooreerst: wat bedoelen we met de overheid: Hoe omlijnen we de overheid? Welke overheid willen we? De begrippen van naderbij bekeken: Efficiëntie: verhouding tussen inputs en outputs Effectiviteit: in welke mate draagt de output van de overheid bij tot gewenste maatschappelijke veranderingen? Enkele knelpunten in het streven naar een efficiënt en effectief overheidsoptreden: Kostenbesparing efficiëntiewinsten Gegevens nodig over het overheidsfunctioneren Efficiëntie is relatief Per definitie zijn efficiëntie-indicatoren een ratio tussen input en output Input: personeel, materiële en financiële middelen Output: over prestaties, met name fysieke producten of dienstverlening, in termen van volumes, bereik en kwaliteit Zelfde onderzoekseenheden als voorwerp Waar informatie te vinden? Management Informatie Systeem (bv. analytische boekhouding, prestatiegerichte begroting, ) Monitoring Evaluatie Dataverzameling: primair of secundair 29 30 MAPE als kader Evaluatiecriteria Beleidsniveau Maatschappelijke problemen en noden Beleid Omgevingsfactoren Beleidsrelevantie: mate waarin doelstellingen tegemoet komen aan de maatschappelijke noden en behoeften Interne coherentie: mate waarin strategische en operationele doelstellingen binnen een organisatie of beleidsveld een samenhangend geheel vormen Organisatieniveau Doelstellingen input input Structuren, institutioneel en manageme nt Activiteiten en processen Outputs Outcomes op korte en ml termijn Outcomes op langere termijn Externe consistentie: mate waarin de doelstellingen compatibel zijn met de doelstellingen binnen andere beleidsvelden of andere diensten Efficiëntie: relatie tussen de ingezette middelen (input) en de afgeleverde producten of dienstverlening Context Productiviteit : een maatstaf voor de hoeveelheid output die men kan realiseren per eenheid input 8
Evaluatiecriteria Effectiviteit: mate waarin de geobserveerde effecten of veranderingen toe te schrijven zijn de beleidsoutput. Kosteneffectiviteit: verhouding tussen input en effect of outcome Duurzaamheid van effecten: mate waarin de effecten of veranderingen blijven bestaan na de beëindiging van het beleid. Adequaatheid van de effecten: mate waarin de effecten of veranderingen tegemoet komen aan de maatschappelijke noden en behoeften. Ervaringen bij de meting van efficiëntie Sterke nadruk op de hulpmiddelen Men ziet nog onvoldoende het globale proces van input tot output Probleem om input EN output aan elkaar te koppelen De databronnen zijn momenteel fragmentair, moeilijk te koppelen. Ze moeten verrijkt en op elkaar afgestemd worden. Vrees voor verlies van middelen Aangeven waarvoor men vrijgekomen middelen wel of anders zal inzetten Selectie van huidige indicatoren op ad hoc basis Metingen inbedden in good governance-strategie 34 Ervaringen bij de meting van efficiëntie Moeilijk om streefwaarden te bepalen. Nulmeting voorzien aan begin van het traject Klachten over vele werk en gebrekkig eigenaarschap Organisatie moet zelf het nut inzien en gebruik maken van de informatie: draagvlakcreatie is onontbeerlijk Verdere stappen Afstemming tussen diensten met gelijkaardige processen, producten vereist grondige voorbereiding: Hoe en wat meten (definities) Uitwisseling van goede praktijkvoorbeelden Communicatie over efficiëntie met duidelijke boodschap: De Vlaamse administratie wil een efficiëntere werking en kan aantonen dat ze het ook doet Vertel waarom we verandering willen, vertel welke baten de stakeholders hierbij hebben: snellere dienstverlening, meer transparantie over verloop van dossier, 35 Studiedienst van de Vlaamse Regering 36 van 9
Uitleiding Het in kaart brengen van de efficiëntie van het functioneren van de Vlaamse administratie: geen evidentie, maar daarom niet minder belangrijk Nodig om te komen tot een waarachtige meting van de efficiëntie: Instrumentarium gericht op het meten van dienstverlening Ruim overleg onder betrokken actoren Politieke en ambtelijke gedragenheid Draagvlak binnen de organisatie en bij de stakeholders Dataverzameling Start bij de bron met het goed opzetten van registraties en enquêtes Constructie van prestatiemeetsystemen die organisatiedoelstellingen koppelen aan middelen, prestaties en effecten Harmonisatie van definities Systematiek brengen in het registreren om op die manier te komen tot een meer kennis gebaseerd beleid Studiedienst van de Vlaamse Regering 37 van 1. Verkenning (10 min) Korte introductie naar gesprekstafels Fred Dhont Hoe kijken we als cultureel veld naar de evolutie richting meer kennisgebaseerd beleid? Hoe verhouden we er ons toe? 2. Over onderzoek/kennis en beleid (25 min) De cultuursectoren leveren een bijzondere bijdrage aan de samenleving. Hoe kan je hun meerwaarde zichtbaar maken? 3. Over onderzoek/kennis en praktijk (25 min) Watdoenwealswerkveldzelfmetdekennisendata dieons wordt aangereikt door onderzoekers of die we zelf verzamelen? Wat hebben wij als culturele sector nodig om de bestaande kennis beter te benutten? Indeling in 4 gespreksgroepen. De 4 verslagen worden verwerkt tot één synthesenota. 10