Het kader voor de evaluatie van de regeling Cultuureducatie met Kwaliteit

Transcriptie

1 Het kader voor de evaluatie van de regeling Cultuureducatie met Kwaliteit 1. Aanleiding voor het evaluatiekader Zoals overeengekomen in de bestuurlijke afspraak die ten grondslag ligt aan de regeling Cultuureducatie met Kwaliteit en zoals aangekondigd in het plan van aanpak voor de monitoring en evaluatie (moneva) van deze matchingsregeling d.d. april 2013, wordt de regeling op twee momenten tijdens de looptijd geëvalueerd: eind begin 2015 (de tussentijdse evaluatie) en aan het einde van deze beleidsperiode (de eindevaluatie). Hiervoor heeft het LKCA op verzoek van en in overleg met het FCP een kader ontwikkeld dat richting, structuur en inhoud geeft aan de evaluatie van de matchingsregeling door het Fonds en zijn bestuurlijke partners (OCW, provincies en gemeenten). Daarnaast kan het evaluatiekader nuttig zijn voor aanvragers bij de monitoring en evaluatie van hun eigen lokale en regionale activiteiten. Het FCP heeft aanvragers verzocht om een tussentijdse evaluatie van hun activiteiten eind Aanvragers zijn hier zelf verantwoordelijk voor en maken zelf uit of en zo ja hoe ze gebruik maken van dit landelijke evaluatiekader voor hun eigen evaluatie. 2. Doel van de evaluatie Het FCP en de decentrale overheden zijn subsidieverstrekker alsmede verantwoordelijk voor de uitvoering, resultaten en effecten van de regeling. Het LKCA ondersteunt de uitvoering van het programma CeK en de matchingsregeling en is dus mede verantwoordelijk. Met de regeling willen het FCP en zijn partners stimuleren dat culturele instellingen activiteiten ondernemen die de doelen van de regeling dienen. Resultaten en effecten van de regeling worden zichtbaar in het gedrag van gesubsidieerde instellingen: de keuzes die ze maken, wat ze doen (of niet doen) en hoe ze dat doen. Activiteiten van culturele instellingen (aanvragers) zijn mede als opbrengst van de regeling en dus van het handelen van het FCP en decentrale overheden te beschouwen. Met andere woorden: gesubsidieerde activiteiten en de resultaten en effecten daarvan worden bij elkaar genomen als resultaten en effecten van de matchingsregeling beschouwd. Evaluatieve uitspraken daarover voldoende, onvoldoende, goed of niet goed hebben dus betrekking op opbrengsten van de regeling, niet op afzonderlijke aanvragen en aanvragers. 1

2 3. Wat en hoe er geëvalueerd wordt Het algemene doel van de regeling is het borgen van kwaliteit van cultuuronderwijs op basisscholen. Dat doel wordt volgens de probleemanalyse die aan de regeling ten grondslag ligt gediend door: a) de ontwikkeling, verdieping en vernieuwing van goede curricula (leerlijnen, leerplannen) door scholen die zich daarmee willen onderscheiden; b) meer vakinhoudelijke en pedagogisch-didactische deskundigheid bij groepsleerkrachten en cultuureducatoren; c) duurzame samenwerking tussen scholen en hun culturele omgeving; en d) de ontwikkeling van bruikbare beoordelingsinstrumenten voor het leergebied kunstzinnige oriëntatie. De regeling is dus een succes als er voldoende resultaten worden geboekt met betrekking tot die vier specifieke doelen van de regeling. De evaluatie valt uiteen in een tussentijdse evaluatie en een eindevaluatie. Tussentijdse evaluatie: wat De tussentijdse evaluatie van de regeling dient in het perspectief te staan van de eindevaluatie: evaluatievragen over uitvoering en effecten van het programma die aan het eind van het programma gesteld worden, zijn ook leidend voor de tussenevaluatie. Je kunt ook zeggen dat vragen voor de tussenevaluatie in de richting moeten wijzen van vragen die in de eindevaluatie gesteld zullen worden: wat levert het programma op, is dat wat we ervan verwachten, is het programma goed, doelmatig uitgevoerd? De volgende vijf vragen staan centraal: 1. Gaat het de goede kant op met de uitvoering van de regeling, klopt de richting? 2. Wat zijn opbrengsten (resultaten en effecten) van de regeling tot en met 2014, wordt er voldoende voortgang geboekt? 3. Wat hebben het FCP en deelnemende provincies en gemeenten er tot en met 2014 aan gedaan om de regeling tot een succes te maken? 4. Welke kansen en bedreigingen voor de borging van positieve effecten tekenen zich af 2

3 voor de periode na 2016? 5. Zijn er aanpassingen en/of extra inspanningen op landelijk niveau nodig om de regeling op koers te houden, een succes te maken en effecten te verduurzamen na 2016? Een selectie van een aantal goede voorbeelden maakt eveneens deel uit van de tussentijdse evaluatie. Tussentijdse evaluatie: hoe Het Fonds zal in de loop van 2014 een evaluatiecommissie samenstellen, die de tussentijdse evaluatie zal uitvoeren. Met deze commissie zal het Fonds afspraken maken over de wijze van uitvoeren en de planning. De aanvragers en de bestuurlijke partners zullen hierover te zijner tijd nader worden geïnformeerd. Input voor de commissie bestaat met name uit: de verslagen van de voortgangsgesprekken die het Fonds met de aanvragers en gemeenten en provincies voert in het najaar van 2013 en het voorjaar van 2014; de plananalyse die het LKCA gemaakt heeft van de aanvragen in de eerste ronde; de voortgangsrapportage van de verantwoordingen van juni 2014; en de monitoring en evaluatie van de aanvragers zelf. Met betrekking tot dit laatste is in de aanvragen een plan van aanpak opgenomen, waarin aandacht besteed wordt aan de tussentijdse evaluatie van de eigen activiteiten. Het moet gezien worden als een moment van bezinning, dat kan leiden tot aanpassing of bijstelling van de activiteiten. Vragen voor de eigen tussentijdse evaluatie zijn bijvoorbeeld: - Gaat het de goede kant op met de activiteiten, klopt de richting? - Is er voldoende voortgang geboekt? Welke knelpunten en welke leermomenten zijn er? - Welke kansen en bedreigingen zijn er voor een succesvolle voortzetting van de activiteiten in 2015 en 2016? - Welke aanpassingen of extra inspanningen zijn nodig om voortgang te bevorderen, succes waarborgen en/of risico s het hoofd bieden Eindevaluatie: wat De vraag die centraal staat bij de eindevaluatie van effecten van de regeling is: wat voor effect hebben de regeling en de uitvoering daarvan door het FCP en de decentrale overheden op de kwaliteit van cultuuronderwijs op basisscholen, voor zover die wordt bevorderd door de vier doelstellingen van de regeling (curriculum, deskundigheid, samenwerking en beoordeling)? Eindevaluatie: hoe De werkwijze rond de eindevaluatie zal naar aanleiding van de ervaringen met de tussentijdse evaluatie worden vastgesteld. 4. Het evaluatiekader Zoals gezegd is het kader een hulpmiddel voor het Fonds en de bestuurlijke partners om richting, structuur en inhoud te geven aan de monitoring en evaluatie van de regeling. Het kader kan de aanvragers binnen de regeling helpen inhoud te geven aan de monitoring en 3

4 evaluatie van hun eigen, lokale of regionale activiteiten. In de bijlage is het kader voor de evaluatie opgenomen, bestaande uit vijf kolommen. In kolom 1 staan de doelen, in kolom 2 de vorm waarin concrete resultaten zich voordoen (documenten, websites, bijeenkomsten, overleggen, medewerkers), in kolom 3 de verwachte opbrengsten met betrekking tot de vier doelen (oriëntatie en keuzes van de aanvragers, soorten activiteiten), in kolom 4 de evaluatievragen en in kolom 5 de evaluatiecriteria van het FCP. 4

5 Bijlage: Evaluatiekader Doelen Realistische omschrijving van de vorm waarin resultaten zich voordoen in de loop van 2013 en Verwachte opbrengsten [nog faseren: bij tussenevaluatie en eindevaluatie] Evaluatievragen van het FCP Evaluatiecriteria van het FCP 2014 Oriëntatie en keuzes van aanvragers De ingediende plannen en de daarin aangekondigde activiteiten. Discussie bij aanvragende instellingen over doel en aanpak van CeK. Teksten (op papier en digitaal) waarin aanvragers zich uitspreken over CeK en hoe ze daaraan willen bijdragen. 1. Aanvragers kennen de regeling en het programma CeK en weten wat daarmee wordt beoogd. 2. Aanvragers onderschrijven de doelen en aanpak van de regeling. 3. Aanvragers realiseren zich dat ze hun activiteiten moeten vormgeven in nauw overleg met basisscholen. 1. Kennen aanvragers de regeling en het programma CeK en weten ze wat daarmee wordt beoogd? 2. Onderschrijven aanvragers de doelen en aanpak van de regeling? 3. Realiseren aanvragers zich dat ze hun activiteiten moeten vormgeven in nauw overleg met basisscholen. 4. Ontwikkelen aanvragers een (nieuwe) werkwijze en maken keuzes Draagvlak Probleembewustzijn Gedrag/keuzes Praktijk Monitoring 4. Aanvragers ontwikkelen een (nieuwe) werkwijze en maken keuzes (personeel, organisatie, financiën, samenwerking) met het oog op de doelen en aanpak van de regeling. 5. Aanvragers passen deze werkwijze in de praktijk to. 6. Aanvragers monitoren de voortgang en resultaten ervan en passen hun praktijk aan (personeel, organisatie, financiën, samenwerking) met het oog op de doelen en aanpak van de regeling. 5. Passen aanvragers deze werkwijze in de praktijk toe? 6. Monitoren aanvragers de voortgang en resultaten ervan en passen hun praktijk aan waar dat nodig is met het oog op de doelen van de regeling? 7. Evalueren aanvragers hun eigen aanpak en de resultaten van hun Evaluatie waar dat nodig is met het oog op de doelen van de regeling. 7. Aanvragers evalueren hun eigen aanpak en de resultaten van hun activiteiten, stellen vast wat er goed is/ging en wat minder goed en waar dat aan ligt. 8. Aanvragers trekken na verloop van tijd conclusies over effecten van de regeling op hun activiteiten en werkwijze, over hun bijdrage aan het borgen van de kwaliteit van activiteiten, stellen ze vast wat er goed is/ging en wat minder goed en waar dat aan ligt? 8. Trekken aanvragers na verloop van tijd conclusies over effecten van de regeling op hun activiteiten en werkwijze, over hun bijdrage aan het borgen van de kwaliteit van cultuureducatie op basisscholen en over de voortzetting van hun werk na 2016? cultuureducatie op basisscholen en over de voortzetting van hun werk na Ontwikkeling, verdieping of vernieuwing van curricula stimuleren op scholen die zich daarmee willen onderscheiden Een grote variatie van documenten (op papier en digitaal) waarin allerlei leerlijnen worden beschreven die (mede) dankzij activiteiten van de aanvragers zijn ontwikkeld, worden aangeboden aan scholen of die (ook) door scholen in praktijk worden gebracht. Diverse openbare en besloten bijeenkomsten waar leerlijnen worden gepresenteerd en besproken. Websites of webpagina s waarop leerlijnen 1. Er zijn X leerplannen ontwikkeld. 2. Er zijn X leerplannen gedocumenteerd. 3. Die leerplannen zijn bekend bij scholen. 4. Scholen willen leerplan invoeren. 5. Scholen zijn begonnen met het invoeren van leerplan. 6. Scholen ervaren leerplannen als werkelijke bijdrage aan de kwaliteit van hun cultuuronderwijs. 7. Scholen gebruiken leerplan om zich naar buiten te profileren. 1. Zijn er voldoende leerplannen van goede kwaliteit ontwikkeld? 2. Zijn deze leerplannen goed gedocumenteerd? 3. Zijn deze leerplannen bekend bij voldoende scholen? 4. Zijn er voldoende scholen die deze leerplannen willen invoeren? 5. Zijn er voldoende scholen begonnen met het invoeren van deze leerplannen? 6. Ervaren scholen deze leerplannen als werkelijke bijdrage aan de kwaliteit van hun cultuuronderwijs? 7. Maken scholen deze leerplannen onderdeel van op in hun PR? Productiviteit Kwaliteit Bereidheid Gebruik Oordeel scholen interactief te raadplegen of ook in te vullen en uit te werken zijn. [Te verdelen in ontwikkeltrajecten en implementatietrajecten en in vakgerichte en vakoverstijgende leerlijnen.] 5

6 Doelen Realistische omschrijving van de vorm waarin resultaten zich voordoen in de loop van 2013 en Verwachte opbrengsten [nog faseren: bij tussenevaluatie en eindevaluatie] Evaluatievragen van het FCP Evaluatiecriteria van het FCP 2014 Vakinhoudelijke en Een grote variatie van documenten en activiteiten 1. Er is nieuw aanbod gerealiseerd voor training, bijscholing en vorming van leerkrachten 1. Is er voldoende nieuw aanbod van goede kwaliteit gerealiseerd voor training, pedagogisch-didactische deskundigheid van leerkrachten en educatief die zijn ontworpen om de deskundigheid van leerkrachten en educatief medewerkers te bevorderen, die worden aangeboden of (ook) in en educatoren. 2. Dit aanbod is onder de aandacht gebracht van de doelgroepen. 3. Leerkrachten en educatoren nemen deel aan professionaliseringsactiviteiten. bijscholing en vorming van leerkrachten en educatoren? (Of is zulk aanbod nog in de maak?) 2. Is dit aanbod bekend gemaakt bij de doelgroepen? Productiviteit Kwaliteit medewerkers bevorderen praktijk gebracht worden. 4. Leerkrachten en educatoren hebben een positief oordeel over aanpak en inhoud van deze activiteiten. 5. Leerkrachten en educatoren hebben naar eigen zeggen baat hij deze activiteiten. 3. Bestaat er voldoende belangstelling bij leerkrachten en educatoren om aan deskundigheidsbevorderende activiteiten deel te nemen?. 4. Hoe beoordelen deelnemers (leerkrachten en educatoren) de aanpak en Bereik Oordeel deelnemers Effectiviteit 6. Leerkrachten en educatoren hebben aantoonbaar geleerd van deze activiteiten. inhoud van deze activiteiten? 5. Worden deelnemers naar eigen zeggen beter van deze activiteiten? 6. Hebben deelnemers aantoonbaar geleerd van deze activiteiten? Duurzame samenwerking tussen scholen en culturele instellingen bevorderen, gericht op Relaties van uiteenlopende intensiteit (frequentie, duur), inhoud (onderwerpen) en status (van uitwisseling tot werkafspraken) tussen aanvragers en hun culturele partners enerzijds en lokale en regionale basisscholen anderzijds. Eventueel ook 1. Scholen werken naar eigen zeggen samen met een of meer culturele instellingen met het doel de kwaliteit van hun cultuuronderwijs te borgen of te versterken. 2. De door scholen genoemde culturele instellingen werken naar eigen zeggen samen met deze scholen met het doel de kwaliteit van het cultuuronderwijs te borgen of te versterken. 1. Zijn er voldoende scholen die naar eigen zeggen samenwerken met een of meer culturele instellingen met het doel de kwaliteit van hun cultuuronderwijs te borgen of te versterken? 2. Zijn er voldoende (door scholen genoemde) culturele instellingen die naar eigen zeggen inderdaad samenwerken met deze scholen met het doel de kwaliteit van het cultuuronderwijs te borgen of te versterken? Bereik Duurzaamheid Effectiviteit Doelmatigheid relaties met andere sectoren. 3. Betrokken scholen en culturele instellingen beschouwen deze samenwerking als duurzaam. 4. Deze samenwerking is duurzaam, hetgeen blijkt uit schriftelijk vastgelegde meerjarige afspraken over de aanpak, uitvoering en bekostiging van gezamenlijke activiteiten gericht op het borgen/versterken van de kwaliteit van het cultuuronderwijs. 3. Beschouwen betrokken scholen en culturele instellingen deze samenwerking als duurzaam? 4. Blijkt dat er sprake is van duurzame samenwerking uit schriftelijk vastgelegde meerjarige afspraken over de aanpak, uitvoering en bekostiging van gezamenlijke activiteiten gericht op het borgen/versterken van de kwaliteit van het cultuuronderwijs? 5. Betrokken scholen en culturele instellingen ervaren deze samenwerking als een effectieve en doelmatige bijdrage aan de borging/versterking van de kwaliteit van het cultuuronderwijs. 5. Ervaren betrokken scholen en culturele instellingen deze samenwerking als een effectieve en doelmatige bijdrage aan de borging/versterking van de kwaliteit van het cultuuronderwijs? Totstandkoming van instrumenten voor het beoordelen van de culturele ontwikkeling van leerlingen bevorderen Een beperkt aantal instrumenten (in documenten beschreven) en activiteiten die zijn ontworpen om de culturele ontwikkeling van leerlingen te beoordelen. Eventueel ook ervaringen (beschreven, geëvalueerd) met de toepassing van deze instrumenten. 1. Er zijn X beoordelingsinstrumenten ontwikkeld. 2. Er zijn X beoordelingsinstrumenten gepubliceerd. 3. Deze instrumenten zijn bekend bij scholen. 4. Scholen zeggen dat ze deze instrumenten gaan gebruiken. 5. Scholen gebruiken deze instrumenten daadwerkelijk. 6. Scholen vinden deze instrumenten goed bruikbaar en nuttig voor het beoordelen van de culturele ontwikkeling van leerlingen. 1. Zijn er voldoende beoordelingsinstrumenten van goede kwaliteit ontwikkeld? 2. Zijn er voldoende beoordelingsinstrumenten van goede kwaliteit gepubliceerd? 3. Zijn deze instrumenten bekend gemaakt bij voldoende scholen? 4. Zijn er voldoende scholen die zeggen dat ze deze instrumenten gaan gebruiken? 5. Zijn er voldoende scholen die deze instrumenten daadwerkelijk gebruiken? 6. Vinden deze scholen die instrumenten goed bruikbaar en nuttig voor het beoordelen van de culturele ontwikkeling van leerlingen? Productiviteit Kwaliteit Bereidheid Gebruik Oordeel scholen 6

7 Doelen Realistische omschrijving van de vorm waarin resultaten zich voordoen in de loop van 2013 en Verwachte opbrengsten [nog faseren: bij tussenevaluatie en eindevaluatie] Evaluatievragen van het FCP Evaluatiecriteria van het FCP 2014 Mogelijke 1. Welke onvoorziene neveneffecten heeft de regeling volgens scholen, Saldo van positieve neveneffecten culturele instellingen en andere betrokkenen? 2. Welke neveneffecten worden als positief beschouwd? 3. Welke neveneffecten doen afbreuk aan het succes van de regeling? en negatieve neveneffecten 4. Is het saldo van neveneffecten positief of negatief? 7