Plan van aanpak Monitoring en Evaluatie De MuziekRoute (augustus 2011)

Transcriptie

1 Plan van aanpak Monitoring en Evaluatie De MuziekRoute (augustus 2011) Vooraf Het plan voor De Muziekroute wordt op een aantal punten enigszins - aangepast. De volgende factoren hebben bij deze heroverweging gericht op de voorbereiding van een GO beslissing een rol gespeeld; het groot aantal scholen in Overvecht dat aan het project mee zou willen doen, de wenselijkheid van een constructief vervolg na de projectperiode (na juni 2013) en het ontoereikend dekkingsplan (peildatum 22 april). Er worden 4 scholen geselecteerd (aan de hand van opgestelde criteria) en in rangorde van 1 t/m 4 geplaatst. Met drie scholen wordt in ieder geval in de periode het volledige programma lessen, combinatie zang + instrumentaal, ensembles, presentaties, uitgevoerd. Zodra de financiële middelen dit toelaten wordt ook op de 4 de school het volledige programma uitgevoerd. Op maximaal 4 scholen vindt ALLEEN zang, met deelname aan presentaties e.d. plaats. Hiermee wordt gedeeltelijk tegemoet gekomen aan de grote belangstelling van scholen en wordt gewerkt aan draagvlak voor vervolg. Kanttekeningen bij mogelijk vervolg na juli 2013; intentie zang structureel in curriculum in te bedden, doorstroom naar DoeMeeCentrum, er zal geen financiële basis voor instrumentaal onderwijs (investering instrumenten) zijn. Het aantal lesweken wordt ten opzichte van oorspronkelijke plan - verminderd. Eerste jaar: 22 weken start na de herfstvakantie Twee jaar: 34 weken De intensiteit van het zangonderwijs wordt verminderd (grotere groepen / minder docenten) Gevolgen van de doorgevoerde aanpassingen: - het project blijft inhoudelijk intact. - vermindering van de totale projectbegroting (vermindering van vereist dekkingsplan), - meer ruimte voor beperkte deelname van meer dan drie scholen (en meer leerlingen), - kosten per deelnemende leerling gaat omlaag. - meer tijd voor het regelen van aanvullende financiering zodat tijdens de uitvoering van het project een groeimodel kan worden toegepast indien inderdaad meer financiële middelen alsnog beschikbaar komen. Het Fonds voor Cultuurparticipatie heeft bij de toekenning van de financiele bijdrage ten behoeve van het project De MuziekRoute (beschikking), naast de algemene voorwaarden, nog tweetal aanvullende voorwaarden, te weten 1. Doelstellingen dienen meetbaar geformuleerd te zijn (SMART) 2. Monitoring en evaluatie die mede gericht te zijn op overdraagbaarheid van de ontwikkelde methode aan externe partijen In deze notitie wordt het plan van aanpak Monitoring en Evaluatie geschetst en aangeven hoe aan de gestelde voorwaarden voldaan zal worden. Her project wordt in de periode oktober 2011 juni 2013 in de wijk Overvecht uitgevoerd waarbij tussen de 6 en 8 scholen betrokken zullen zijn. Dat zijn dus meer scholen dan oorspronkelijk de bedoeling was. 1. SMART doelstellingen, activiteiten en beoogde resultaten Bij de monitoring en evaluatie van het project De MuziekRoute worden de doelen en te behalen resultaten van het project als vertrekpunt genomen (zie bijlage). We kijken steeds naar wat we willen bereiken (doelen), we geven aan wat we doen(activiteiten/ monitoring) en wat we vinden van de behaalde resultaten en de manier waarop we daaraan gewerkt hebben (evaluatie). Door deze reeks gedurende het project steeds toe te passen kunnen we leren van wat we gedaan hebben en verbeteringen doorvoeren SMART formuleringen In de volgende paragraaf zullen de doeltellingen zo goed mogelijk SMART geformuleerd worden, waarbij de nadruk ligt op het inzichtelijk maken de Meetbaarheid. De andere aspecten, Specifiek, Acceptabel, Realistisch en Tijdgebonden zijn ons inziens al in voldoende mate in ons projectplan aangegeven. Bij de onderscheiden doelen ligt het zwaartepunt bij de methodiekontwikkeling. De andere doelstellingen, zoals het versterken van (bestaande) samenwerkingsverbanden zijn ondergeschikt en dienstbaar aan de primaire doelstelling. 1

2 De gewenste SMART formuleringen worden gekoppeld aan de door het FCP onderscheiden doelbereikingscriteria. Verlagen van drempels voor actieve muziekbeoefening Meetbaarheid aan de hand van de volgende subdoelstellingen: 1. Aantal bereikte kinderen in de wijk Overvecht: Eerste jaar: Minimaal 300 kinderen, 400 ouders, 1000 personen uit familiekring, vriendenkring kinderen etc. en professioneel betrokkenen zoals groepsleerkrachten, directies scholen. Tweede jaar: Minimaal 600 kinderen, 600 ouders, 2000 personen uit familiekring, vriendenkring kinderen etc. en professioneel betrokkenen zoals groepsleerkrachten, directies scholen. 2. Het project wordt zo uitgevoerd dat 6 á 8 scholen direct bij de uitvoering van het project betrokken zijn. Daarbij bereiken we dus de kinderen onder schooltijd en ook na schooltijd, groepsleerkrachten etc. 3. Betrokkenheid ouders ( zie onder 1) 4. Drempels worden verlaagd door het beschikbaar stellen van instrumenten ten behoeve van de instrumentale lessen (aantallen; minimaal ¾ van totaal aantal leerlingen) Muziekeducatief materiaal ontwikkelen/ methodiekontwikkeling In De MuziekRoute ligt het zwaartepunt bij methodiekontwikkeling. De doelmatigheid van de methode (creatief leren/ methode Vreedzame school) wordt vastgesteld. Belang van rolmodellen zal worden aangetoond. Ook de trainingen van muziekvakdocenten en deskundigheidsbevordering van de groepsleerkrachten van de deelnemende scholen worden bij de monitoring & evaluatie betrokken. Bij de monitoring & evaluatie van de primaire doelstelling methodiekontwikkeling ligt de nadruk op het vaststellen van de ontwikkeling Meetbaarheid aan de hand van de volgende subdoelstellingen: 1. Bij 60% - 80% van deelnemende kinderen draagt DMR bij aan hun muzikale ontwikkeling.(techniek, muzikaliteit). Dit wordt vastgesteld aan de hand van parameters voor muzikale ontwikkeling (klanksterkte, toonhoogte, klankkleur, ritme, melodie etc.) 2. Bij 60% - 80% van deelnemende kinderen is een persoonlijke ontwikkeling vast te stellen de op het gebied van het verkrijgen van inzicht in en het kunnen toepassen van elementen van het concept creatief leren/ Vreedzame school. Dit zal meetbaar worden gemaakt aan de hand van:observaties van muziekvakdocenten en groepsleerkrachten, het bevragend van kinderen, aantekeningen via het LVS (Opmerking: Bij de monitoring & evaluatie van bovengenoemde punten 1 en 2, ligt de nadruk op het vaststellen van ontwikkeling, en niet op het vaststellen van exacte waarden ) 3. Het belang pedagogische didactische belang van rolmodellen voor het beoogde creatieve proces zal meetbaar worden gemaakt aan de hand van:observaties van muziekvakdocenten en groepsleerkrachten, het bevragend van kinderen, aantekeningen via het LVS. 4. Trainingen muziekvakdocenten en deskundigheidsbevordering van de groepsleerkrachten van de deelnemende scholen. Bij aanvang van en gedurende de projectperiode vindt, gedacht vanuit het projectconcept gerichte scholing plaats. Evaluatie daarvan vindt plaats op basis van de geformuleerde scholingsdoelstelling (en). Daarnaast kan op eenvoudige wijze cijfermatig worden vastgesteld of het aantal specifiek geschoolde deskundigen, d.w.z. dragers van het concept van De MuziekRoute, toeneemt. (zie Werkwijze, formats en planning.) Samenwerking ontwikkelen en verdiepen De MuziekRoute is gebaseerd op reeds bestaande samenwerkingverbanden met verschillende partijen. Bij samenwerking spelen een aantal zaken een cruciale rol (zoals ook tijdens de bijeenkomst van 21 bijeenkomst, initiatief van het FCP) naar voren kwam, te weten: gedeelde visie ( door F. Konings, gedeeld referentiekader genoemd) gezamenlijk doel gezamenlijk handelen formaliseren (afspraken) Gedurende de voorbereiding en uitvoering van het project zal aan de diverse aspecten van samenwerking bij de Monitoring & Evaluatie momenten (zie planning) aandacht worden besteed. Aanpak overdraagbaar maken. De overdraagbaarheid van de projectresultaten is een doelstelling van een ander orde. Op verschillende manieren wordt tijdens en bij de afronding van het project aan de gewenste overdraagbaarheid gewerkt; zoals het opstellen van het projectplan, via samenwerking, via scholing van muziekdocenten en groepsleerkrachten, de vele momenten voor Monitoring& Evaluatie, de evaluatieverslagen, projectrapportage, betrokkenheid externe deskundige t.b.v de Monitoring & Evaluatie. 2

3 Op basis van het totale plan voor Monitoring & Evaluatie kan zeker voldaan worden aan de eis dat de ontwikkelde methode overdraagbaar moet zijn aan externe partijen. 2. Werkwijze, formats en globale agenda De bewaking van de procesvoortgang in algemene zin heeft vooral betrekking op het managen van het gehele project (inhoudelijk, organisatorisch, budgettair etc.). Dit is de taak van de projectleider. Bij de uitvoering van het project zijn verschillende partners betrokken. Het is o.i. logisch dat deze partners ook bij de Monitoring& Evaluatie een rol spelen. Onderstaand schema geeft aan wie, wat op welke moment doet en welk resultaat dit moet opleveren. Structurele overleggen (op jaarbasis) wie Doel frequentie resultaat Muziekvakdocenten Feedback geven en krijgen 1 x 14 dagen Monitoring + evaluatieve kanttekeningen Evaluatie 3 x per jaar (dwz. 1 evaluatieverslag Groepsleerkrachten Samenwerkingspartners (scholen, MCO, Rosa Ensemble, Vredenburg, UCK) Medewerker belast met aansturing Monitoring en Evaluatie traject Uitwisselen informatie en ervaring maal per lessenserie) (3x/jaar) 1 x maand Monitoring + evaluatieve kanttekeningen Evaluatie 3 x per jaar (dwz. 1 maal per lessenserie) Voortgangbewaking, evt. bijsturen evaluatieverslag (3x/jaar) 1 x maand Monitoring + evaluatieve kanttekeningen Evaluatie 1 x per half jaar evaluatieverslag (1x/jaar) Helicopter view Feedback plan M&E kritische toetsing Feedback onderdelen evaluatieverslagen Zoals in het voorafgaande (hopelijk) duidelijk is geworden bestaat het monitoring &evaluatie traject uit verschillende onderdelen. Ten behoeve van de Monitoring & Evaluatie worden verschillende formats opgesteld. Overzicht formats Formats Wat Toepassing Format 1:nul meting startsituatie per school, per groep, per kind muziekonderwijs tot dan toe, speerpunten beleid vd school, ontwikkelingsniveau kind etc. Format 2: muzikaliteit Ontwikkeling kind muzikale Monitoring/ evaluatie 1 x Per lessenserie / door vaardigheden/muzikaliteit vakdocenten Format 3: methode Ontwikkeling kind aspecten creatief leren/ vreedzame school Per lessenserie / door groepsleerkrachten + vakdocenten (?) Format: 4 schoolensemble Ontwikkeling kind nadruk op aspecten creatief leren/ vreedzame school Vanaf januari 2012 / groepsleerkrachten + vakdocenten/ musici Rosa e.a. (?) Format 5: alleen zang zangonderwijs Scholen alleen zang, en presentaties Format 6: presentaties Evaluatie van voorbereiding en realisatie presentatie groepsleerkrachten + vakdocenten/ musici Rosa e.a. (?) Format 7: samenwerking Aspecten van samenwerking (doel/handelen) 2 x /jaar alle samenwerkingspartners Format 8: feedback leerlingen & ouders Beperkte vorm van feedback van ouders Via deelnemende kinderen/scholen 3

4 Zie voor de uitwerking van de verschillende formats (eerste concepten) die bijlagen. Een en ander wordt in nauwe samenspraak met de betrokken scholen nader ingevuld. 3. Toelichting Monitoring en evaluatie Monitoring; wat doen we daadwerkelijk (activiteiten) om onze doelen te bereiken? Op basis van deze vraag krijgen we in beeld hoe het met de projectvoortgang gesteld is. Evaluatie; wat we vinden van de behaalde resultaten en de manier waarop we daaraan gewerkt hebben (evaluatie). Dit biedt ons mogelijkheden voor het tussentijds doorvoeren van verbeteringen. Bij de start van het project oktober zal per school, per groep, per kind de beginsituatie worden geschetst (0-meting). Vervolgens zal gedurende de looptijd van het project op systematische wijze worden vastgesteld welke resultaten er ten opzichte van de 0-meting geboekt zijn. Daarvoor worden verschillende formats gebruikt. Monitoring en periodieke evaluaties Het schooljaar is onderverdeeld in 3 periodes (blokken). Per lesperiode worden lessen gegeven, op basis van concrete lesbeschrijvingen. Per les worden de te bereiken lesdoelen geven en de bereikte resultaten in kaart gebracht. Eens in de 14 dagen worden de lessen en de resultaten besproken. Eerst door de betrokken muziekvakdocenten, en daarop aansluitend met de groepsleerkrachten. Juist in de bespreking met de groepsleerkrachten kan op het niveau van de leerling een koppeling gemaakt worden tussen de resultaten de (leer-) potentie per leerling. Een vergelijkbare werkwijze wordt bij de ensembles, presentaties toegepast. Periodieke evaluaties Er is per schooljaar sprake van een aantal expliciete evaluatiemomenten. Dat betekent dat de betrokkenen (zie overzicht structurele overleggen, overzicht formats) gezamenlijk terugkijken een lessenserie, uitvoeringen etc. Informatie: Lesbeschrijvingen Notulen overleggen Geregistreerde resultaten (wijze waarop, zie ook onder registratie )) Wie Muziekvakdocenten, Groepsleerkrachten Wat Verslaglegging Bespreking wat gedaan, bereikte resultaten - t.o.v. nulmeting. Van evaluatiebijeenkomst wordt een verslag gemaakt (IJkpunt voor volgende evaluatiemoment) De belangrijkste vraag die hierbij centraal staat luidt: in welke mate hebben we bij de MuziekRoute activiteiten de methode creatief leren in combinatie met uitgangspunten van de Vreedzame School, weten te benutten? Deze vraag zal binnen het format. in deelvragen uiteen worden gelegd. Daarbij zal in ieder geval worden stilgestaan bij vragen als: - Hebben kinderen inzicht verkregen in het creatief proces? Waaruit blijkt dat? - Fungeert een docent als rolmodel? Waaruit blijkt dit? Wat is de uitwerking daarvan op het creatieve proces? Bij de andere vormen van monitoring & evaluatie (zie overzicht formats) komen andere aspecten van het project aan de orde. Zie dienen echter hetzelfde doel, namelijk vinger aan de pols houden en kijken hoe, tijdens het project zaken nog verbeterd kunnen worden. Monitoring en evaluatie samenwerkingspartners De samenwerkingspartners komen eens per maand bijeen. De nadruk op de onderwerpen zal meer dan voor de docenten en groepsleerkrachten het geval is liggen op de meer algemene projectvoortgang. In het gezamenlijk overleg van de samenwerkingspartners worden de opgestelde tussenrapportages, in aanwezigheid van een externe deskundige besproken (zie ook 6.) Ervaringen met en oordeel van leerlingen en ouders We gaan op verschillende manieren betrokken leerlingen en ouders uitnodigen hun ervaringen met De MuziekRoute met ons te delen. We denken aan het interviewen van een aantal leerlingen ( 5 per klas bijvoorbeeld 40 in het totaal) Op verschillende momenten zullen ook ouders voor feedback worden benaderd. 4. Registratie Het gaat om een muziekproject, waarbij de focus op de methodiekontwikkeling ligt. Kinderen zingen, bespelen instrumenten, professionele musici fungeren daarbij als rolmodel. Er zullen verschillende vormen van registratie van het project plaatsvinden. 4

5 Audiovisuele impressies van alle instrumentale en vocale groepen (2 keer per jaar) Reflectie momenten (kinderen); het reflecteren als onderdeel van het gezamenlijke creatieve proces (aantal keren per lesperiode gedurende 10 minuten) Integrale registratie van presentaties Interviews, gesprekken met kinderen De mate waarin, de intensiteit waarmee deze vormen van registratie daadwerkelijk zullen plaatsvinden, hangt af van de kosten ervan. Het projectbudget is beperkt, en bovendien willen we ook de betrokkenheid van een extern bureau vorm geven (zie 5 en 6). 5. Procesvoortgang en rapportages Eens in het half jaar zal de projectleider (of eventueel aan te stellen medewerker) op basis van hetgeen in de structurele overleggen naar voren is gekomen een tussenrapportage opstellen. Een dergelijke tussenrapportage omvat: - Beschrijving van voortgang a.h.v. specifieke planning voor desbetreffende periode - Overzicht van evaluatiegegevens a.h.v. verslaglegging van de overleggen - Overzicht van doelen/ resultaten betreffende periode - Vergelijk van overzicht doelen/resultaten periode versus doelen te behalen resultaten project - Voorstel voor doelen/te behalen resultaten komende periode De tussenrapportage wordt voorgelegd aan een externe deskundige. De deskundige levert schriftelijk commentaar op de tussenrapportage (s). Zie volgend punt. 6. Kritische blik - distantie Bij de periodieke evaluaties is het van belang dat er met enige distantie naar het project wordt gekeken en de doelstellingen, de feitelijke activiteiten die ondernomen zijn en de geboekte resultaten, op een nuchtere wijze naast elkaar worden gelegd. We zijn voornemens iemand met de voorbereiding, uitvoering en verslaglegging van de evaluaties te belasten die in staat is deze taken op een kritische wijze uit te voeren. Ons staat daarbij voor ogen dat een inhoudelijke vergelijking (doelen en behaalde resultaten) plaatsvindt, er op objectieve wijze conclusies worden getrokken en verbeterpunten worden aangegeven. Dit kan plaatsvinden naar aanleiding van de geleverde evaluatieverslagen en genoemde tussenrapportages. 7. Verslaglegging Alle conclusies en aanbevelingen die in het kader van het project naar voren komen zullen op de eerste plaats met alle betrokkenen worden gedeeld. Op basis van zorgvuldige verslaglegging zullen de bevindingen echter ook in bredere kring overdraagbaar zijn en aan de door ons beoogde kenniscirculatie bijdragen. Op deze manier wordt ook het doel van overdraagbaarheid van projectresultaten behaald. 8. Indicatie van kosten In de algemene projectbegroting is voor de Monitoring en Evaluatie een bedrag van ongeveer euro op jaarbasis gereserveerd. 5

6 Doelen Te behalen resultaten Monitoring (wat doen we/hoe gaat het?) Bevordering actieve muziekbeoefening in kwantitatieve en kwalitatieve zin Meer kinderen maken samen muziek Door De MuziekRoute is de belevingswereld van het kind vergroot (inhoudelijke verrijking) Kinderen hebben beter inzicht in het (gezamenlijke) proces van musiceren Inbedding van muziekeducatie in regulier curriculum Muziekbeleving niet alleen tijdens de lessen op school maar ook op straat/wijk, thuis. Presentaties van uitstekend artistieke kwaliteit, die goedbezocht worden, tijdens en ter afronding van De MuziekRoute Evaluatie (beoordelen/ wat vinden we ervan?) Dwarsverbindingen belevingswereld kinderen (thuis,straat/wijk, school) (subdoel) Vaststellen doelmatigheid methode (en) Aantonen van het belang van rolmodellen Versterken van lokale infrastructuur Overdraagbaarheid projectresultaten Activiteiten, presentaties ook buiten de school Vergrote betrokkenheid ouders Kinderen hebben (ook) thuis kunnen oefenen Creatief Leren wordt toegepast in aansluiting op de bestaande methode van Vreedzame school. De pedagogisch didactische betekenis van rolmodellen wordt beschreven, geëvalueerd en op waarde vastgesteld. Samenwerking met relevante partners is tijdens het project geïntensiveerd en/of ontwikkeld. Samenwerking is op doelmatigheid en efficiency getoetst (overdraagbaarheid). Kenniscirculatie en verankering 6