Wat evalueren en wanneer? Wat is de bedoeling van de tussentijdse evaluatie? Welke gegevens en hoe zijn die te verkrijgen?

Transcriptie

1 Matchingsregeling Cultuureducatie met kwaliteit in het primair onderwijs Monitoring en evaluatie van activiteiten door aanvragers: een korte handreiking Vragen over het plan van aanpak voor de monitoring en evaluatie Bij het Fonds voor Cultuurparticipatie komen nogal wat vragen binnen over de monitoring en evaluatie door aanvragers van hun eigen activiteiten in het kader van de matchingsregeling. De aanvraag moet een plan van aanpak daarvoor bevatten. Het Fonds hecht veel belang aan monitoring en evaluatie van beleid en activiteiten gericht op het borgen van de kwaliteit van cultuureducatie in het primair onderwijs. Goed zicht te houden op de uitvoering en resultaten van beleid en activiteiten (monitoren) en zoveel mogelijk op basis van feiten beoordelen of beleid en activiteiten goed worden uitgevoerd en voldoende opleveren (evalueren), zijn belangrijk om te kunnen leren van ervaringen en om beleid en activiteiten te kunnen verbeteren. Monitoren en evalueren om te leren en te verbeteren is echt iets anders dan verantwoorden waar het subsidiegeld aan besteed is. Deze korte handreiking biedt een paar overwegingen en tips voor het plan van aanpak van de eigen moneva, zoals we monitoring en evaluatie in het volgende kortheidshalve aanduiden. Naast de moneva van uw eigen activiteiten komt er een traject voor de landelijke monitoring en evaluatie van de regeling door het fonds. We besteden ook aandacht aan (mogelijke) links tussen de decentrale en de landelijke moneva. Probleemanalyse en projectontwerp Monitoren en evalueren maken deel uit van het projectontwerp. Dat ontwerp komt als het goed is voort uit een probleemanalyse. Wat is het probleem waar het project zich op richt? Waarom is het een probleem? Moeten en kunnen we er iets aan doen? Hoe zit het in elkaar en wat zijn aangrijpingspunten om er iets aan te kunnen doen? Het ontwerp bestaat uit specifieke doelstellingen en passende middelen. Wat willen we realiseren en bereiken, op welke termijn? En wat is de beste aanpak onder de gegeven omstandigheden? Monitoren en evalueren zijn niet los te zien van de keuze van doelstellingen en de aanpak van het project. Hoe gaan we tijdens de rit zicht houden op de uitvoering, voortgang en resultaten? Hoe komen we tot een weloverwogen oordeel over de uitvoering en opbrengsten van het project, zodat we van ervaringen kunnen leren en onze aanpak verder kunnen verbeteren? Willen we dat anderen er ook iets van kunnen leren? Wat verstaan we onder monitoren? Monitoren betekent volgens de letter van de matchingsregeling: het door middel van periodieke peilingen zicht houden op zowel de uitvoering als op tussentijdse resultaten van de regeling. Monitoring kan aanleiding geven tot bijstellen en bijsturen. Monitoren is niks anders dan zicht houden op iets. Dat kan iets zijn wat je doet of waaraan je iets doet. Bijvoorbeeld uw interventies om kwaliteit van cultuureducatie in het primair onderwijs te bevorderen, of hoe het los van uw interventies gesteld is met de kwaliteit van cultuureducatie in het primair onderwijs. Iedere aanvrager zal hoe dan ook op de een of andere manier wel zicht houden op de uitvoering, voortgang en resultaten van zijn activiteiten. Net als iedereen in het dagelijks leven zicht houdt op allerlei dingen: de voorraad in de koelkast, hoeveel benzine er nog in de tank zit, de schoolprestaties van kinderen, et cetera. In veel gevallen gebeurt dat impliciet, al doende en niet stelselmatig. Het kan ook expliciet, doelgericht en stelselmatig gebeuren. Hoe belangrijker het is om op de hoogte te blijven van de feitelijke stand of gang van zaken, des te meer reden om ervoor te zorgen dat die informatie up-to-date is en betrouwbaar. Wat verstaan we onder evalueren? Evalueren betekent volgens de regeling: het door middel van wetenschappelijk verantwoord onderzoek of door raadpleging van betrokkenen en deskundigen, al dan niet met gebruikmaking van monitorgegevens, tot een weloverwogen oordeel komen over de doeltreffendheid van de activiteiten die in het kader van deze regeling worden gesubsidieerd. Centrale vraag is dus of beleid en activiteiten voldoende (gunstige) effecten opleveren. De evaluatie kan echter tevens betrekking hebben op de doelmatigheid (en dus de uitvoering) van beleid en activiteiten. Evalueren houdt in dat je ergens een waarde aan toekent: iets is of gaat goed of niet goed, gaat in de juiste of een verkeerde richting, snel genoeg of te langzaam, is mooi of lelijk of iets er tussenin, et cetera. Evalueren maakt net als monitoren deel uit van het dagelijks leven van iedereen: dit of dat paar schoenen in 1

2 een winkel vergelijken, de voordelen van een woning huren afwegen tegen een huis kopen, je relatie evalueren, et cetera. Criteria spelen hier altijd een rol bij: impliciet of expliciet, min of meer onbewust of van tevoren opgesteld. Ook hier geldt: hoe groter het belang van een activiteit of beslissing, des te meer gewicht krijgt een goede evaluatie. Een verkeerd oordeel over een auto, een huis of je relatie kan je veel kosten. Een aanvrager die in vier jaar tijd een miljoen euro uitgeeft aan deskundigheidbevordering van leerkrachten of samen met scholen aan het ontwikkelen van een goed leerplan voor kunstzinnige oriëntatie, wil na verloop van tijd (tussentijds en achteraf) natuurlijk kunnen beoordelen of dat goed is aangepakt (procesevaluatie) en voldoende heeft opgeleverd (effectevaluatie). Of van tevoren in een planevaluatie de verwachte voor- en nadelen van deze of gene aanpak goed tegen elkaar afwegen. Moet er onderzoek gedaan worden? In het dagelijks leven en ook in de praktijk van culturele instellingen, scholen en overheden is het vaak goed mogelijk om zicht te houden op de uitvoering en voortgang van activiteiten en beleid zonder daar onderzoek voor te (laten) doen. Je hebt zelf de nodige informatie en kennis om de waarde van iets te beoordelen, of je hebt gemakkelijk toegang tot informatie die elders beschikbaar is. De keuze om nieuw onderzoek te (laten) doen komt aan de orde als de vraag hoe weet je dat? of hoe zit het eigenlijk in elkaar? dringend wordt maar op basis van beschikbare informatie en kennis niet afdoend te beantwoorden is. Bijvoorbeeld omdat je anders niet weet of leerkrachten echt iets hebben geleerd van een training. Of omdat de gemeenteraad geen genoegen neemt met een positieve evaluatie die alleen berust op een paar gesprekken met belanghebbenden. Of omdat het financiële of politieke risico van een onjuiste beoordeling (evaluatie) hoog is. Wat onderzoek doen inhoudt, is overigens niet zo duidelijk. Het kan uiteenlopen van het bij elkaar halen en ordenen van informatie tot wetenschappelijk verantwoord onderzoek. Hoe hoger de eisen die aan de kwaliteit van moneva gesteld worden, des te groter het belang van goed, wetenschappelijk verantwoord onderzoek. Goed onderzoek kost echter ook geld. Kosten en baten van goed onderzoek voor de moneva van activiteiten zijn dus tegen elkaar af te wegen. Slecht onderzoek is geldverspilling. Waarom tenminste 2% besteden aan monitoren en evalueren? Mag het meer zijn? De matchingsregeling verplicht u als aanvrager om tenminste 2% van de activiteitenlasten aan de moneva te besteden. Dat is iets anders dan de jaarlijkse verantwoording. Of u (en de provincie of gemeente) er meer geld voor uittrekt, hangt mede af van het belang dat u er zélf in ziet met het oog op de kwaliteit van de uitvoering en de resultaten van het project. Als dat belang vraagt om meer middelen voor moneva, kan daar het activiteitenbudget voor worden aangesproken en/of worden gezocht naar andere bronnen. Naarmate het budget hoger is, zijn er natuurlijk meer mogelijkheden en is ook de noodzaak groter om het project stelselmatig te monitoren en te evalueren, en daar eventueel ook gedegen onderzoek voor te (laten) doen. Aanvragers in kleinere gemeenten of regio s hebben niet zo n groot activiteitenbudget: 2% van bijvoorbeeld per jaar is maar 2.000, of over de hele subsidieperiode. Daar doe je niet veel mee. Voor deze aanvragers kan het interessant zijn om met andere gemeenten en/of de provincie te zoeken naar een gezamenlijke aanpak. Of mee te liften met onderdelen van het landelijke monitor- en evaluatietraject. Dat kan voor aanvragers met een betrekkelijk groot budget overigens ook interessant zijn, om financiële of inhoudelijke redenen. Welke vragen, ijkpunten en criteria? Welke opbrengsten verwachten we in de loop van de tijd? Waaraan kunnen we dat afmeten: wat zijn de ijkpunten? Hoe en op grond waarvan kunnen we tussentijds en na afloop beoordelen wat de opbrengsten van het project zijn? En of dat overeenkomt met wat we ons ervan voorstelden? Deze vragen, die voor iedere doelbewuste activiteit gelden, zijn concreter te maken al naar gelang de specifieke doelstellingen en aanpak van een project. Als een project gericht is op het bevorderen van de deskundigheid van leerkrachten, is het verstandig om van tevoren af te spreken waaraan die deskundigheid kan worden afgemeten. Bijvoorbeeld aan wat leerkrachten er zelf van vinden, wat hun directeur ervan vindt of wat de leerlingen ervan vinden. Als het project moet leiden tot een goed of beter leerplan voor kunstzinnige oriëntatie, dan is het raadzaam om tenminste te benoemen op welke aspecten of onderdelen u de kwaliteit van dat leerplan gaat (of laat) beoordelen. Een project dat zich richt op het versterken van de relatie tussen een school en haar sociale en 2

3 culturele omgeving vraagt tenminste om een analyse vooraf van de bestaande situatie. Dat levert dan meteen een aantal ijkpunten op waar de resultaten van het project aan te toetsen zijn. Wat evalueren en wanneer? Hierboven werd al even onderscheid gemaakt tussen planevaluatie, procesevaluatie en effectevaluatie. Een planevaluatie is natuurlijk nuttig voor aanvang van het project, om voor- en nadelen van verschillende varianten of opties tegen elkaar af te wegen om vervolgens te kiezen voor de variant die het best uit de bus komt. Het projectplan is echter ook achteraf te evalueren. Als het project succesvol was of juist niet goed is geslaagd, lag dat dan aan het plan (het ontwerp) of aan de uitvoering, of aan onvoorziene omstandigheden? Een procesevaluatie richt zich vooral op de uitvoering van het project: gaat of ging dat volgens plan of is ervan afgeweken, en zo ja, waarom en met welk gevolg? Bij een effectevaluatie bedoelen we meestal een evaluatie achteraf (ex post), als het project op z n eind loopt of is afgerond. Een effectevaluatie kan echter ook vooraf (ex ante) worden uitgevoerd, al dan niet als onderdeel van een planevaluatie vooraf. Bij de evaluatie van effecten van het project is het belangrijk om te bedenken liefst voor aanvang van het project wat het effect ervan kán zijn, gegeven de beschikbare middelen en de invloed die het project redelijkerwijs zou kunnen hebben binnen een bepaalde termijn. Met een polsstok van anderhalve meter springt je niet over een sloot die een meter diep en twee meter breed is. Als u een harde evaluatie van effecten van het project nodig heeft of zelfs bewijzen voor de effectiviteit (netto effect) van het project, is het verstandig om deskundige evaluatieonderzoekers in te schakelen. Zij zouden dan eerst overigens moeten beoordelen of uw project op dat punt eigenlijk wel evalueerbaar is. Het is natuurlijk het best als u er van tevoren bij het ontwerpen van het project voor zorgt dat het evalueerbaar is. Wat is de bedoeling van de tussentijdse evaluatie? Kwaliteit van cultuureducatie borgen is een mooie maar ook tijdloze doelstelling. Deze doelstelling is al nader uitgewerkt in de doelen van de vier soorten subsidiabele activiteiten. Ook die hebben echter een onbestemde termijn, terwijl het project voor vier jaar gesubsidieerd wordt. Het is daarom raadzaam om in de aanvraag niet alleen aan te geven welke opbrengsten na vier jaar verwacht worden, maar ook wat tussentijdse ijkmomenten zijn. Hoe vaak de voortgang van een project te beoordelen is, hangt af van de aard en fasering van dat project. Dat is dus niet in het algemeen te zeggen. De regeling verplicht u als aanvrager wel om eind 2014 een tussentijdse evaluatie van uw activiteiten bij het fonds in te dienen. Dat is geen verantwoording bovenop de jaarlijkse verantwoording. Het is een moment van bezinning dat kan leiden tot aanpassing of bijstelling van uw activiteiten. Vragen voor de tussentijdse evaluatie zijn bijvoorbeeld: - gaat het de goede kant op met het project, klopt de richting? - is er voldoende voortgang geboekt en zijn extra inspanningen nodig? - welke kansen en bedreigingen zijn er voor een succesvolle voortzetting van het project? - welke aanpassingen of extra inspanningen zijn nodig om voortgang te bevorderen, succes te waarborgen en/of risico s het hoofd te bieden? In de aanvraag moet u tenminste vermelden en toelichten hoe u ervoor gaat zorgen dat uw tussentijdse evaluatie eind 2014 beschikbaar is. Welke gegevens en hoe zijn die te verkrijgen? De informatie die nodig is om monitor- en evaluatievragen te beantwoorden varieert al naar gelang de ijkpunten en de evaluatiecriteria die u van tevoren hebt vastgesteld of die zich tijdens de rit uitkristalliseren. Het is raadzaam om te bedenken welke soort van informatie nodig is en uit welke bron die te halen is meteen als u vragen opstelt voor de moneva. Sommige informatie is misschien makkelijk te vinden en ook makkelijk toegankelijk. Andere informatie is daarentegen lastig te verkrijgen. Soms moet u zich misschien behelpen met onvolledige informatie of met gegevens die alleen bij benadering iets zeggen over wat u wilt weten. Verder zijn niet alle bronnen even objectief en nauwkeurig. Hoe meer gewicht u hecht aan de betrouwbaarheid van uitspraken over de voortgang en resultaten van het project, over de situatie waar het project zich op richt en over effecten van het project, des te belangrijker is de kwaliteit van de informatie. Het ligt voor de hand dat een projectleider of wethouder geneigd is om zijn project of beleid hoe dan ook geslaagd te noemen, zeker als hij of zij het ook zelf heeft ontworpen. Er zijn twee manieren om dit te toetsen: ofwel op grond van feitelijke gegevens; ofwel door verschillende belanghebbenden naar hun ervaringen en hun mening te vragen. Beide is 3

4 nog beter. Ten slotte: sommige belangrijke vragen zijn misschien niet goed te beantwoorden op basis van beschikbare gegevens en onderzoek, en zelfs niet door diverse betrokkenen naar hun mening te vragen. Of onderzoek dat deze vragen wel zou kunnen beantwoorden is niet haalbaar of niet betaalbaar. Het is beter zulke vragen onbeantwoord te laten staan dan ze buiten het evaluatieverslag te houden. Dan zetten ze tenminste nog aan tot nadenken. Wie voert monitoring en evaluatie uit? U bent als aanvrager zelf verantwoordelijk voor het monitoren en evalueren van uw activiteiten. U bent immers ook bij uitstek degene die vervolgens iets kan doen met de informatie, kennis en inzichten die dat oplevert? U kunt besluiten om informatie ten behoeve van de moneva te laten verzamelen door een derde partij, bijvoorbeeld een onderzoeksbureau. Het is ook mogelijk om de beoordeling van de uitvoering en opbrengsten van het project geheel in handen te leggen van een onafhankelijke externe instantie: denk bijvoorbeeld aan een visitatie. Ook dan gaat het er echter om dat u zelf iets moet kunnen leren van die evaluatie en er iets mee moet kunnen doen. Leren en verbeteren is dus steeds het doel, niet verantwoorden en afrekenen. Monitoren en evalueren is geen last die u als aanvrager door het fonds wordt opgelegd en die u daarom snel aan anderen doorgeeft. Het is een manier om bij te dragen aan de kwaliteit van de uitvoering en opbrengsten van uw activiteiten. Wie zijn verder betrokken bij monitoring en evaluatie? Gesubsidieerde activiteiten in het kader van Cultuureducatie met kwaliteit zijn gericht op leerkrachten in het primair onderwijs en educatief medewerkers van culturele instellingen (deskundigheidsbevordering) en op basisscholen (leerplanontwikkeling, leerlijnen). Activiteiten komen als het goed is tot stand in nauw overleg met scholen maar ook met de provincie of gemeente die samen met het Fonds voor Cultuurparticipatie zorgt voor de nodige financiële middelen. Monitoren en evalueren zijn als het goed is onderdeel van het projectplan. Het is daarom verstandig om scholen, de provincie of gemeente en andere partners al bij het opstellen van de aanvraag (het projectplan) ook te laten meedenken over de moneva. Waar willen we met elkaar zicht op houden tijdens de rit? Hoe gaan we dat doen? Hoe komen we met elkaar tot goede evaluatievragen en evaluatiecriteria, en wanneer stellen we die vast? Hoe zorgen we met elkaar voor een goede aanpak van de tussentijdse evaluatie? Wat wordt opgeschreven en gedeeld? Als monitoren en evalueren tussen de bedrijven door en niet stelselmatig gebeurt, wordt meestal ook niet opgeschreven welke punten erbij aan de orde komen, wat de conclusies zijn en welke acties er op volgen. Dat is jammer, want zo blijven ervaringen en inzichten beperkt tot degenen die er zelf bij waren. Voor de overdracht van informatie, kennis en inzichten is het wel handig om de belangrijkste punten vast te leggen. Dat kan bijvoorbeeld in een gezamenlijk digitaal logboek dat tevens te lezen is door collega s of partners in het project. Datzelfde logboek kan dan weer de basis vormen voor een eenvoudige rapportage die ook toegankelijk is voor een ruimere kring van belangstellenden en belanghebbenden. Leidraad voor het opschrijven van ervaringen en conclusies zou de vraag wat kunnen wijzelf en anderen hier van leren? kunnen zijn. Wil dit werken, dan is het wel raadzaam dat iemand in het team verantwoordelijk is voor het logboek. Als moneva stelselmatig worden aangepakt en als daarvoor ook onderzoek wordt uitgevoerd, worden rapportages vaak wel gepubliceerd. Of ze daarmee ook toegankelijk zijn voor een groter publiek, is vers twee. Een mailtje aan de redactie van de online bibliografie van het kennisinstituut is voldoende om uw rapportages in ruimere kring toegankelijk te maken. Het is desgewenst ook mogelijk om rapportages alleen te delen met het netwerk van aanvragers en provincies en gemeenten. Wat wordt er landelijk gedaan aan monitoring en evaluatie? Het Fonds ontwerpt in samenwerking met Cultuurnetwerk Nederland een landelijk traject voor de monitoring en evaluatie van de regeling. Het traject begint met een vergelijkende analyse van de aanvragen, om te kijken waar overeenkomsten en verschillen zitten in doelen, aanpak, samenwerkingspartners en dergelijke. Uit deze analyse kunnen ook thema s voortkomen die zich wellicht lenen voor een gezamenlijke aanpak van bepaalde onderdelen van de decentrale moneva, in samenhang met het landelijke traject. In overleg met het Landelijk Kennisinstituut Cultuureducatie en Amateurkunst (LKCA), dat in de plaats komt van Cultuurnetwerk Nederland 4

5 en Kunstfactor, zal het Fonds verbindingen leggen tussen aanvragers die daar mogelijk belang bij hebben. Tijdens de rit zal het Fonds geregeld met u en met uw gemeente of provincie bespreken hoe het gaat. Uw eigen tussentijdse evaluaties, eind 2014, zijn als bron te gebruiken voor de tussentijdse landelijke evaluatie van voorlopige opbrengsten van de regeling begin Voor de tussentijdse landelijke evaluatie en voor de eindevaluatie van de regeling wordt een inhoudelijk referentiekader ontwikkeld met evaluatiecriteria en waar mogelijk indicatoren. U kunt daar voor uw eigen moneva bij aanhaken als u dat wilt. Hoofdpunten van het landelijke monitor- en evaluatietraject zijn binnenkort op de site van het Fonds te vinden. Aanvragers, provincies en gemeenten worden in de gelegenheid gesteld om er vragen over te stellen. Het landelijke traject wordt daarna door het Fonds vastgesteld in overleg met Cultuurnetwerk Nederland. Wat gebeurt er landelijk nog meer? Het LKCA zal in overleg met het fonds verschillende kennisactiviteiten ontwikkelen en organiseren ter ondersteuning van het programma Cultuureducatie met kwaliteit. Het betreft bijvoorbeeld verkenningen en analyses van trends en vraagstukken in verband met cultuureducatie in het primair onderwijs, maar ook conferenties, expertmeetings en kennisateliers over specifieke onderwerpen. Onderwerpen en aanpak van kennisactiviteiten worden telkens voor een half jaar vastgelegd, mede op basis van een peiling onder aanvragers, provincies en gemeenten en andere betrokken partijen. Het kennisinstituut kan aanvragers ook van kort advies dienen over de aanpak van hun eigen moneva, over het opstellen van een offerteverzoek aan onderzoeksbureaus, en onderzoek begeleiden dat in opdracht van aanvragers wordt uitgevoerd. Het kennisinstituut zal zelf geen onderzoek in opdracht van aanvragers of van betrokken gemeenten en provincies uitvoeren. Cultuurnetwerk Nederland, 18 oktober 2012 (tij) 5