Verder met de Voortgangsrapportage 3 e Kustnota: evaluatie en advies juli 2002
Verder met de Voortgangsrapportage 3 e Kustnota: evaluatie en advies juli 2002 Resource Analysis Zuiderstraat 110 2611 SJ Delft Nederland Tel. +31 15 2191519 Fax +31 15 2124892 E-mail RA@resource.nl www.resource.nl
document versie auteur(s) paraaf Verder met de Voortgangsrapportage 3 e Kustnota: evaluatie en advies definitief Harm Albert Zanting, Maartje Donkers, Jill Slinger, Joop de Schutter, Frank Robijn bestand \\SERVER\PROJECTS\Projecten\EVAL3KUST\5 Output\51 Rapporten\definitief\02-554 EVAL3KUST definitief 020731.doc pagina s datum juli 2002 screener paraaf Marja Menke datum juni 2002
Voorwoord In februari 2002 is de eerste voortgangsrapportage over de actiepunten uit de 3 e Kustnota verschenen onder de titel: Traditie, Trends en Toekomst: het vervolg. In dat voortgangsrapport wordt de voortgang van kustbeleid vastgelegd en gerapporteerd aan de Staatssecretaris van Verkeer en Waterstaat. Het rapport dat nu voor u ligt, beschrijft de evaluatie van (de totstandkoming van) het eerste rapport. Bovendien wordt in dit document een advies gegeven over de volgende voortgangsrapportages. De evaluatie en het advies zijn uitgevoerd door Resource Analysis in opdracht van het RIKZ en begeleid door Marinka Kiezebrink, projectleider Kustacties bij RIKZ. De evaluatie is uitgevoerd aan de hand van een elektronische enquête en een drietal verdiepingsgesprekken. In een workshop op 8 juli 2002 is met ervaringsdeskundigen van gedachten gewisseld over de conclusies van dit rapport en over de plannen voor het verbeteren van de voortgangsrapportage. Via deze weg willen wij de respondenten van de enquêtes, de geïnterviewden en de deelnemers van de workshop hartelijk danken voor hun bijdrage aan deze evaluatie. Resource Analysis, Delft, juli 2002 i
Samenvatting Inleiding Volgens de 3 e Kustnota moet het Rijk jaarlijks een voortgangsrapportage uitbrengen. Deze vormt de basis voor het jaarlijks overleg tussen de Staatssecretaris van Verkeer en Waterstaat en de voorzitters van de Provinciale Overlegorganen Kust (POK s). Het eerste voortgangsrapport is in 2002 door RIKZ uitgebracht. In de voorliggende studie is de inhoud en het totstandkomingsproces van dit voortgangsrapportage is geëvalueerd. Mede op grond van de evaluatie wordt ook een advies geformuleerd over verbeteringen van inhoud en proces. Daarbij zijn steeds drie onderwerpen aan de orde: 1. het doel (de doelstelling en doelgroepen) van de voortgangsrapportage, 2. de vorm waarin de voortgangsrapportage wordt gepresenteerd en verspreid en 3. het proces waarmee de voortgangsrapportage tot stand komt. De evaluatie bestond uit een elektronische enquête en drie verdiepingsgesprekken. Gedeeltelijk parallel lopend aan de enquêtes en de gesprekken hebben specialisten van Resource Analysis twee analyses uitgevoerd: (1) internationale ervaring met evaluatie van integraal kustzonebeleid en (2) een visie op elektronische ondersteuning van beleidsmonitoring. Het resultaat van de studie is in een workshop voorgelegd aan een groep betrokkenen. Het geheel resulteert in aanbevelingen voor het Plan van Aanpak voor het vervolg. Beleidsmonitoring Beleidsmonitoring is het gedurende de implementatie van (nieuw) beleid periodiek en op een systematische manier volgen van de ontwikkelingen. Beleidsmonitoring onderscheid zich van beleidsevaluatie. Beleidsevaluatie is het na een afgesproken periode op een systematische manier terugkijken en beoordelen of het ingezette beleid is uitgevoerd en of en in hoeverre vooraf gestelde doelen daadwerkelijk zijn bereikt. Monitoring en evaluatie zijn onlosmakelijk verbonden met de beleidscyclus (formulering, ontwerp, uitvoering en evaluatie) van het integraal kustbeheer proces. Het gaat erom de doeltreffendheid (effectiviteit) van het beleid te onderzoeken en op grond daarvan te sturen. Daarmee wordt meer inzicht verkregen in de doelmatigheid van de inzet van mensen en middelen om de beoogde doelen (effecten) te bereiken. Daarnaast kan daarmee de aandacht voor de effecten van het beleid groter worden. In de 3 e Kustnota staat een strategische doelstelling, uitgewerkt in vier operationele doelen en een actieprogramma. Met name de doelen, maar ook de activiteiten, zijn niet uitgewerkt in concrete, verifieerbare indicatoren. Voor een goede beleidsmonitoring zouden deze procesindicatoren en toestandsindicatoren alsnog moeten worden vastgesteld. Dit zou via de zogenaamde Logical Framework Approach kunnen worden aangepakt. Doelen De doelstelling van de voortgangsrapportage zou moeten worden verbreed naar het complete (integrale) kustbeleid. Als er gedurende de looptijd van de 3 e Kustnota nieuw (aanvullend) beleid wordt vastgesteld, dan zal ook de monitoring moeten worden aangepast. Ook zou naast rapportage over de uitvoering van activiteiten - gerapporteerd moeten worden over de veranderingen in het kustsysteem (toestandsindicatoren). De genoemde primaire doelgroep (Staatssecretaris en voorzitters POK's) van de voortgangsrapportage blijft bestaan. De resultaten van deze bespreking zullen wel expliciet aan de belanghebbenden moeten worden teruggemeld. Naast bovengenoemde doelgroep zou het voortgangsrapport ook jaarlijkse besproken moeten worden tussen bestuurders en uitvoeringsdiensten op regionaal niveau (in de POK's zelf). Overige organisaties als kennisinstituten, diensten, belangenorganisaties etc. worden op de hoogte worden gebracht van de beschikbaarheid van de documenten. Burgers zijn in het algemeen geen doelgroep van de voortgangsrapportage, maar kunnen op verzoek wel een exemplaar ontvangen. iii
Het rapport zou geen extra beleidsdocument moeten worden. Het is niet gewenst dat de voortgangsrapportage wordt opgenomen in andere rapportages zoals Water In Beeld. Vorm Een gedrukte vorm van de rapportage zal jaarlijks moeten blijven verschijnen. Er is belangstelling voor een rapportage op internet. De internetversie kan de informatie doelgerichter ontsluiten en presenteren. De website zou naast de rapportage ook een rol moeten spelen in het proces van gegevensinwinning. Opzetten van een goede indicatorenstructuur geeft dan mogelijkheden om - via de software achter de website - de ingevoerde informatie regelmatig te verwerken tot bruikbare overzichten. Door toevoeging van tweeweg interactie zal de website ook bijdragen aan het ontstaan van informele netwerken tussen betrokkenen, zodat de leden van elkaar kunnen leren. Proces Het tot stand komen van de eerste voortgangsrapportage had het karakter van een zoektocht naar vorm en inhoud. Het ligt voor de hand om de regio's een centrale rol te geven in het opstellen van de rapportage. De regionale directies van Rijkswaterstaat kunnen daarbij een grotere verantwoordelijkheid krijgen. Ook voor de totstandkoming van het rapport kan het internet worden benut. Een projectspecifieke internetsite kan de huidige manier van rapporteren ondersteunen. Plan van aanpak en vervolg Belangrijkste opgaven voor het vervolg zijn: Heldere, verifieerbare indicatoren opstellen. Ontwerpen, bouwen en gebruiken van ondersteunende internet-faciliteit en een internetrapportage. Gegevensinwinning organiseren; duidelijke rollen en verantwoordelijkheden. Analyseren van de ingewonnen gegevens. Ontwikkelen van procedures en agenda's voor de behandeling van voortgangsrapportage. Organisatiestructuur voor de uitvoering van het Plan van Aanpak Deze opgaven zullen in het Plan van Aanpak moeten worden omgezet in activiteiten. Het overleg van POK-secretarissen - onder leiding van bijvoorbeeld een RIKZ-projectleider - kan als centrale sturende projectgroep fungeren. De "ambtelijke POK's" kunnen de rol van vier regionale taakgroepen op zich nemen. Een werkgroep voor gegevensinwinning en analyse zal op het centrale niveau het meeste werk doen. Aparte werkgroepen voor internet en indicatoren zullen nodig zijn om specifieke taken op te zetten en uit te voeren. iv
Inhoud 1 Inleiding...1 1.1 Voortgangsrapportage 3 e Kustnota...1 1.2 Doel, vorm en proces...1 1.3 Opzet van de studie...2 1.4 Leeswijzer...3 2 Beleidsmonitoring...5 2.1 Beleidscyclus...5 2.2 Integraal Kustbeheer...7 2.3 Raamwerk voor beleidsmonitoring en evaluatie...8 3 Doelen...11 3.1 Doelstelling...11 3.1.1 Enquête...11 3.1.2 Verdiepingsgesprekken...12 3.1.3 Analyse en advies...12 3.2 Doelgroepen...13 3.2.1 Enquête...13 3.2.2 Verdiepingsgesprekken...14 3.2.3 Analyse en advies...14 3.3 Thema s...15 3.3.1 Enquête...15 3.3.2 Verdiepingsgesprekken...17 3.3.3 Analyse en advies...17 4 Vorm...19 4.1 Fysieke vorm drukwerk en internet...19 4.1.1 Enquête...19 4.1.2 Verdiepingsgesprekken...19 4.1.3 Analyse en advies...20 4.2 Frequentie...21 4.2.1 Enquête...21 4.2.2 Verdiepingsgesprekken...22 4.2.3 Analyse en advies...23 4.3 Inhoudelijke focus...23 4.3.1 Enquête...23 4.3.2 Verdiepingsgesprekken...24 4.3.3 Analyse en advies...24 5 Proces...25 5.1 Informatiebronnen...25 5.1.1 Enquête...25 5.1.2 Verdiepingsgesprekken...26 5.1.3 Analyse en advies...26 5.2 Opstellen voortgangsrapportage...27 5.2.1 Enquête...27 5.2.2 Verdiepingsgesprekken...28 5.2.3 Analyse en advies...28 6 Conclusies en aanbevelingen...31 7 Plan van Aanpak en 2 e voortgangsrapportage...33 v
Bijlagen A) Geraadpleegde literatuur B) Enquête C) Respondenten enquête D) Geraadpleegde personen in verdiepingsgesprekken E) Deelnemers workshop F) Logical Framework voorbeeld Lijst van figuren Figuur 1-1: respondenten enquête...2 Figuur 2-1: de beleidscyclus...6 Figuur 3-1: doelstelling...11 Figuur 3-2: doelgroepen...13 Figuur 3-3: focus op actiepunten...16 Figuur 3-4: detailniveau...17 Figuur 4-1: fysieke vorm...19 Figuur 4-2: frequentie informeren over actiepunten...22 Figuur 4-3: frequentie informeren over ontwikkelingen Kustbeleid...22 Figuur 4-4: integreren in kustactiviteiten...23 Figuur 5-1: betrokkenen...25 Figuur 5-2: communicatie...27 Lijst van tabellen Tabel 2-1: sterkten en zwakten van de logisch raamwerk benadering...9 vi
1 Inleiding 1.1 Voortgangsrapportage 3 e Kustnota In de 3 e Kustnota staat geschreven dat het Rijk zich verplicht om jaarlijks een voortgangsrapportage uit te brengen. In deze rapportage worden ten minste opgenomen: voortgang actiepunten uit de Kustnota; zandsuppleties: hoeveelheden, locatie en budget; aantal en aard (tijdelijk, structureel) overschrijdingen van de Basiskustlijn; regionale ontwikkelingen (inclusief juridisch instrumentarium en regelgeving); ontwikkelingen op rijksniveau. Deze voortgangsrapportage vormt de basis voor het jaarlijks overleg tussen de Staatssecretaris van Verkeer en Waterstaat en de voorzitters van de Provinciale Overlegorganen Kust (POK s). Mede op basis van deze rapportage worden onderwerpen geselecteerd waarover nadere afstemming tussen het Rijk en de regio nodig is. Het Rijksinstituut voor Kust en Zee (RIKZ) heeft de verantwoordelijkheid gekregen voor het opstellen van deze rapportages. Begin 2002 is de eerste voortgangsrapportage verschenen. Daarmee is in het eerste jaar aan de aangegane verplichting voldaan. Naar aanleiding van deze eerste ervaring heeft het RIKZ besloten tot een evaluatie van het rapport en vooral het proces waarmee het rapport tot stand is gekomen. Op grond daarvan zal een Plan van Aanpak worden gemaakt voor de volgende voortgangsrapportage. RIKZ wil zich in dat proces bezinnen op verbetering van de voortgangsrapportage zelf en van de manier waarop de benodigde informatie wordt ingewonnen. Ook wordt goed gekeken naar het gebruik van de voortgangsrapportage. Speciale aandacht wordt gevraagd voor de mogelijkheden die het internet zou kunnen bieden voor verbetering. 1.2 Doel, vorm en proces Bij de evaluatie van en het advies over de voortgangsrapportage zijn steeds drie onderwerpen aan de orde: (1) het doel (de doelstelling en doelgroepen) van de voortgangsrapportage, (2) de vorm waarin de voortgangsrapportage wordt gepresenteerd en verspreid en (3) het proces waarmee de voortgangsrapportage tot stand komt. Deze drie onderwerpen zijn uitgewerkt in onderstaande vragen. Doel Wat is de juiste doelstelling van de voortgangsrapportage? Was die in de eerste versie helder (voor iedereen) en was zij achteraf bezien juist? Wat is/zijn de doelgroep(en) van de voortgangsrapportage? Wat is hun informatiebehoefte? Was/waren de doelgroepen bij de eerste versie goed (compleet) bekend en waren zij achteraf bezien juist? Vorm Welke vorm(en) moet de voortgangsrapportage in het licht van doelstelling en doelgroep(en) krijgen? Zijn er meerdere formats, of is een vorm te bedenken die voor alle doelen en doelgroepen voldoet? Wat is de optimale frequentie van informeren van de (verschillende) doelgroep(en); jaarlijks, maandelijks, continu, bij meldenswaardige feiten? 1 definitief
Wat is de juiste inhoudelijke focus van de rapportage? Is deze vast, of is deze flexibel; welk deel is vast, welk deel is flexibel? Heeft de focus vooral betrekking op de vorm (wat staat in de samenvatting en de "gekleurde pagina's") of ook op de feitelijk te verzamelen informatie? Proces Welke groepen moeten worden betrokken bij de totstandkoming van de rapportage? Zal hun bijdrage effectief zijn en is het de inspanning waard? In welke rol zullen of kunnen ze bijdragen (actief of toetsend)? Op welke manier kunnen deze groepen zelf voordeel ondervinden door hun bijdrage aan de rapportage? Welk proces sluit het beste aan bij de antwoorden op bovenstaande vragen? Wie dragen verantwoordelijkheden daarin? Welke organisatie is daarvoor nodig? Welke middelen bevorderen een effectieve en efficiënte uitvoering van de voortgangsrapportage? Welke middelen ondersteunen het informatie inwinnen, en welke de disseminatie (communicatie)? 1.3 Opzet van de studie De studie heeft langs twee hoofdstromen vorm gekregen. 1. Evaluatie: het "navragen" van de ervaringen opgedaan bij de eerste voortgangsrapportage. 2. Analyse: enerzijds een korte verkenning van (internationale) kennis en ervaringen met beleidsevaluatie en monitoring (van kustzonebeleid) en anderzijds een analyse van het proces van informatiemanagement en de bijbehorende ICT-instrumenten. Een groep informanten is per elektronische enquête bevraagd. De enquête is te vinden in Error! Reference source not found.. De enquêtes zijn verzonden naar vertegenwoordigers van: betrokkenen bij het opstellen van de eerste voortgangsrapportage; (ervarings)deskundigen bij het opstellen van beleidsevaluaties en beleidsmonitoring; extern: regionale directies, provincies, waterschappen, gemeenten en belangenorganisaties; opdrachtgever (DG Water en eventueel andere ministeries). Figuur 1-1: respondenten enquête 2 definitief
De namen van de respondenten op de enquête zijn te vinden in Bijlage C. Er zijn 60 enquêtes verzonden en er zijn uiteindelijk 25 enquêtes ingevuld terugontvangen. In Figuur 1-1 is de verdeling van de respondenten over de verschillende organisaties te zien. Vanuit RIKZ zijn acht enquêtes ingevuld geretourneerd, drie medewerkers van DG-Water hebben meegewerkt aan de enquête, vier van zowel de regionale directies, provincies en gemeenten en nog twee enquêtes van waterschappen. De enquêteresultaten zijn de basis geweest voor drie verdiepingsgesprekken met opiniemakers uit de verschillende doelgroepen. Er is een gesprek gevoerd met vertegenwoordigers van de beheerders (waterschappen en regionale directies van Rijkswaterstaat), het tweede gesprek is gehouden met vertegenwoordigers van de andere overheden (provincies en gemeenten) en tot slot is er een gesprek gevoerd met vertegenwoordigers van het DG Water van het Ministerie van Verkeer en Waterstaat. In de verdiepingsgesprekken zijn de enquêteresultaten geïnterpreteerd en vertaald naar visies op het vervolg. De lijst met geïnterviewden is te vinden in Bijlage D. De interviewverslagen zijn niet op zichzelf staand opgenomen in dit rapport, maar verwerkt in de hoofdstukken 3 tot en met 5 over de evaluatie. Gedeeltelijk parallel lopend aan de enquêtes en gesprekken hebben specialisten van Resource Analysis twee analyses uitgevoerd. De eerste is een analyse naar internationale ervaring met evaluatie en monitoring van integraal kustzonebeleid. De tweede analyse mondt uit in een visie op elektronische ondersteuning van beleidsmonitoring. Dit rapport gaat verder dan een evaluatie. Resource Analysis geeft aan de hand van de evaluatieresultaten een advies over het voortgangsrapport, zowel gericht op de inhoud als op het proces. Dit advies is ter toetsing voorgelegd aan een groep betrokkenen in een workshop. Tijdens deze workshop hebben de aanwezigen gediscussieerd over verschillende aspecten met betrekking tot het vervolg van de voortgangsrapportage 3 e Kustnota. In Bijlage E is een lijst opgenomen met de deelnemers aan deze workshop. De resultaten van de workshop zijn gebruikt bij het schrijven van hoofdstuk 7, het advies voor de vervolgaanpak. 1.4 Leeswijzer Na deze inleiding volgt eerst een hoofdstuk over beleidsmonitoring in het algemeen. In dit hoofdstuk (hoofdstuk 2) zijn de resultaten van een beperkte analyse van (internationale) literatuur over dit onderwerp verwerkt. De evaluatie en de adviezen in de hoofdstukken daarna staan mede in het licht van deze algemene inzichten. De drie hoofdonderwerpen uit de enquête en gesprekken (doel, vorm, proces) komen terug in de hoofdstukken 3 t/m 5 van dit rapport. De paragrafen zijn als volgt opgebouwd. Eerst komen per onderwerp de resultaten zoals die naar voren zijn gekomen uit de enquêtes en de verdiepingsgesprekken aan de orde. Daarna volgt in steeds de paragraaf Analyse en advies. Hierin staat de visie en het advies van Resource Analysis. In hoofdstuk 6 zijn de conclusies en aanbevelingen op een rijtje gezet en in hoofdstuk 7 wordt een advies voor de vervolgaanpak gegeven. In dat laatste hoofdstuk zijn de resultaten van de workshop van 9 juli 2002 verwerkt. 3 definitief
2 Beleidsmonitoring 2.1 Beleidscyclus De voortgangsrapportage over de actiepunten uit de 3 e Kustnota is een voorbeeld van beleidsmonitoring. Beleidsmonitoring Het gedurende de implementatie van (nieuw) beleid periodiek en op een systematische manier volgen van de ontwikkelingen. Populair gezegd is beleidsmonitoring: "De vinger aan de pols houden". Daarbij is het belangrijk om twee zaken goed in de gaten te houden. 1. Ten eerste of de afgesproken activiteiten ook daadwerkelijk, tijdig en effectief worden uitgevoerd. 2. Ten tweede of het bereiken van de beoogde resultaten dichterbij begint te komen. Door gedurende de implementatiefase de voortgang te meten mag verwacht worden dat betrokkenen "beter bij de les blijven". Daarnaast kunnen problemen in de implementatie van het beleid vroegtijdig worden gesignaleerd, waarmee de beleidsmakers in staat gesteld worden om zo zij dit wensen tussentijds bij te sturen. Beleidsmonitoring kan gemakkelijk worden verward met beleidsevaluatie. Toch is dat niet hetzelfde. Beleidsevaluatie Na een afgesproken periode op een systematische manier terugkijken en beoordelen of het ingezette beleid is uitgevoerd en of en in hoeverre vooraf gestelde doelen daadwerkelijk zijn bereikt. Met andere woorden: "Is het beleid effectief geweest, bezien over de gehele evaluatieperiode". Met beleidsevaluaties bestaat meer ervaring dan met ebleidsmonitoring. Het wordt meestal uitgevoerd bij de start van het ontwikkelen van nieuw beleid. In Figuur 2-1 is de complete beleidscyclus geschetst met daarin de plaats van beleidsmonitoring en beleidsevaluatie aangegeven. Monitoring en evaluatie zijn, ook in internationale projecten, onlosmakelijk verbonden met de beleidscyclus (formulering, ontwerp, uitvoering en evaluatie) van het integraal kustbeheer proces. Globaal hebben zij betrekking op controle en rapportage van de voortgang van het proces in vergelijking met de oorspronkelijk gestelde doelen. De aanpak is feitelijk afgeleid van Amerikaans / Europese tradities in beleidsontwikkeling en -uitvoering: management by objectives (doelgerelateerd management). Hoewel de methode vooral vanuit bedrijven en organisaties is ontwikkeld, leent ook het terrein van het overheidsbeleid zich voor het gebruik ervan. 5 definitief
beleidsvoorbereiding beleidsbepaling beleidsevaluatie beleidsuitvoering + beleidsmonitoring Figuur 2-1: de beleidscyclus Het gaat erom de doeltreffendheid (effectiviteit) van het beleid te onderzoeken en op grond daarvan te sturen. Voor de monitoring gaat het dan om (bij)sturing van de beleidsuitvoering. Voor de beleidsevaluatie gaat het om het zonodig bijstellen of verder ontwikkelen van het beleid zelf. Deze manier van werken is gericht op een tweetal strategische doelen. Bevorderen van inzicht in de doelmatigheid van de inzet van mensen en middelen om de beoogde doelen (effecten) te bereiken. Vergroten van de aandacht in het algemeen voor de effecten van beleid. Wie en wat bereiken we met onze inspanningen. Om deze doelen te kunnen bereiken zal een samenhangende strategie moeten worden gevolgd. Belangrijke elementen daarin zijn: Inhoud: Afspreken wat en hoe gemonitord en geëvalueerd wordt; op grond van heldere doelstellingen en resultaten. Daarmee moeten begroting, planning en uitvoering van activiteiten in het beleid steeds beter op elkaar gaan aansluiten. Proces: De monitoring integreren in de cyclus van begroting en jaarverslag (effecten, prestaties, nieuwe vragen) van de overheid op alle niveaus. 6 definitief
Bijvoorbeeld (hypothetisch) : In het beleid is het garanderen van het (mede)gebruik van (delen) van de kust voor recreatie één van de doelstellingen. De waterkwaliteit is daarbij van belang en "het aantal dagen per zomerseizoen dat ongewenst algenbloei optreedt boven een afgesproken normwaarde" zou daarvoor een indicator kunnen zijn. Om de normwaarde te bereiken zouden maatregelen gepland kunnen zijn, zoals reductie van de ongezuiverde lozing van stedelijk afvalwater, uit te drukken in een indicator zoals "reductie van geloosde vuilvracht". De combinatie van een inhoudelijke en een procesindicator maakt het mogelijk om jaarlijks een idee te krijgen of het beleid wordt uitgevoerd en of dit beleid het gewenst effect heeft. De maatregel veronderstelt kennis van de oorzaak-gevolg-relatie tussen ongezuiverde lozing en waterkwaliteit. Over de aard en intensiteit van dergelijke relaties is meestal slechts beperkte kennis en ervaring beschikbaar. Juist omdat het vaak onzeker is of maatregelen ook de gewenst effecten zullen sorteren is monitoring belangrijk. Als de maatregel wel wordt uitgevoerd (gemeten via de procesindicator), maar de waterkwaliteit verbetert niet (gemeten via de toestandindicator), dan geeft dat te denken over de effectiviteit van het beleid. Mogelijk is de veronderstelde relatie niet geheel juist, of zijn er meer factoren die de waterkwaliteit beïnvloeden. Via monitoring kan dus geleidelijk kennis en ervaring worden opgebouwd over de veronderstelde relaties tussen doelen en maatregelen. Het voert te ver om te veronderstellen dat uit de resultaten van de monitoring op een eenvoudige manier consequenties voor de implementatie van het beleid zouden kunnen worden afgeleid. Het vestigt echter wel de aandacht op onverwachte gevolgen en daagt uit tot doelgericht nadere analyse van de oorzaak-gevolg-relaties en effectieve maatregelen. 2.2 Integraal Kustbeheer Het Nederlandse water- en kustbeleid, verwoord in onder meer de Vierde Nota waterhuishouding en de 3 e Kustnota, gaat uit van integraal beleid en beheer. De beleidsmonitoring zou daarvan een belangrijk onderdeel moeten zijn en staat daarom niet los van de algemene principes die voor effectief integraal beleid en beheer gelden. Integraal kustbeleid moet een raamwerk bieden voor een proces naar duurzame ontwikkeling van de kustzone. Wereldwijd zijn integraal kustbeheer processen veelal ontwikkeld op grond van zogenaamde best practices voor formulering, ontwerp, uitvoering en evaluatie, zoals onder andere verwoord in een uitgebreid onderzoek en bespreking van integraal kustbeheer initiatieven in de zeeën van Zuidoost Azië (GEF/UNDP/IMO, 1996). Onderstaand zijn belangrijke kernelementen van deze benadering zo goed mogelijk vertaald naar de Nederlandse praktijk van 2002 geformuleerd (linker kolom). In de rechter kolom is het belang van beleidsmonitoring voor de effectieve toepassing van deze kernelementen aangeduid. 7 definitief
Gebruik een systematische en incrementele benadering: werk stap voor stap via verschillende activiteiten op verschillende fronten (pilots). Betrek het publiek bij het proces (participatieve en open procesbenadering met goede communicatie en voorlichting). Integreer milieu, economie en socioculturele argumenten vanaf het begin in het proces (voorzie een integraal afwegings- en beoordelingskader). Ontwikkel (institutionele en management) mechanismen voor integratie en coördinatie: breng overleg en afstemming in planning, bestuur en beheer op alle niveaus. Ontwikkel mechanismen voor een duurzame financiering: koppel beleidsdoelstellingen aan de begrotingspraktijk. Ontwikkel kennis en capaciteit op alle (bestuurlijke en beheers) niveaus. Monitor de effectiviteit van de projecten en de programma s en regel de terugkoppeling van de monitoring naar het bijstellen van de beleidsuitvoering en waar nodig het beleid zelf. Voortgang wordt via monitoring "gemeten". Incrementele stappen laten zich beter vertalen in concrete indicatoren dan grote vergaande doelstellingen. Openheid wordt bevorderd door concreet de resultaten en de voortgang duidelijk te maken. De indicatoren in de monitoring hebben niet alleen betrekking op technische zaken, maar beslaan het integrale veld. Ze komen overeen met het integrale beoordelingskader. De resultaten van de monitoring is input in het bedoelde overleg. Het inbrengen van de voortgangsrapportage in het overleg tussen bewindspersoon en POKvoorzitters is daarvan een voorbeeld. Monitoring kan argumenten opleveren om uitgaven te handhaven, vergroten of verminderen. Ook voor serieuze monitoring en analyse van de resultaten zal capaciteit moeten worden ontwikkeld. Zeer uitgebreide informatie over evaluaties van ICM (Integrated Coastal Management) programma s, in uitvoering in de Verenigde Staten en Canada, is te vinden op de website van het Ocean Conservation Institute op http://www.dfo-mpo.gc.ca. In het werk van o.a. Chua Thia-Eng (1999), Olsen (1999) en diverse andere internationale instituten die werkzaam zijn in tropische landen worden voorbeelden ontwikkeld van indicatoren voor monitoring en evaluatie van ICZM-processen. Deze indicatoren en de daarbij behorende structuren bieden goede aanknopingspunten voor een vergelijking van de prestaties van ICZM programma s in deze landen (Chua 1999), maar ze zijn in het algemeen onvoldoende toegesneden op de West- Europese situatie om hier als uitgangspunt voor beleidsmonitoring te kunnen worden gebruikt. 2.3 Raamwerk voor beleidsmonitoring en evaluatie De uitvoering van de 3 e Kustnota is van start gegaan met een strategische doelstelling (duurzaam kustbeheer) met daaraan gekoppeld vier operationele (hoewel de facto ook strategische) doelen en een actieprogramma. Wat nog ontbreekt is de uitwerking van de doelen naar verifieerbare indicatoren voor zowel de voortgang van het ICZM proces (proces indicatoren) alsook de verandering in status van een aantal elementen van de kustzone (status indicatoren). Een dergelijke structuur is nodig om monitoring en evaluatie te structureren. Een bekende en veelgebruikte vorm van beleidsevaluatie voor een beleidsprogramma is een reconstructie van het opstellen van het programma vanuit de beleidstheorie (uitgangspunten). 8 definitief
Dit kan vooraf (a-priori) en achteraf (a-posteriori) waardoor de methode ook bruikbaar is voor het reeds lopende kustbeleid zoals in het geval van de 3 e Kustnota. De bedoelde methode betreft de benadering met een zogenaamd logisch raamwerk (Logical Framework Approach of LFA), zoals bijvoorbeeld omschreven in Leeuw, 1999,van Mierlo, 2002 en AUSGUIDE (laatste herziene versie), 2002. Ook de Wereld Bank gebruik de LFA als de centrale methodologie voor planning, supervisie, uitvoering en evaluatie van haar activiteiten (http://www.worldbank.org/oed). De analyse betreft in principe vier stappen:. 1. Probleemanalyse en ontwikkeling van een probleemboom. 2. Doelstellingenanalyse (de probleemboom wordt een doelstellingenboom). 3. Toetsing van de logica van de probleemboom (in verschillende stappen waaronder bijvoorbeeld een analyse van de intentie structuur doel en middelen diagram-, krachtenveld analyse en een SWOT analyse). 4. Assumptieanalyse (specificatie van aannames en risico s). Het logisch raamwerk moet niet technisch benaderd worden, maar de nadruk moet liggen op de oefening in het doorgronden van beleid (project) in termen van doelen, indicatoren, uitgangspunten en risico s. De benadering omvat probleemanalyse, stakeholder-analyse en een ontwikkeling van een hiërarchie in doelstellingen, zodanig dat een uitvoeringsstrategie resulteert. Het product is een matrix (logisch raamwerk logical framework-) dat een samenvatting geeft van wat het beleid (project) moet doen en hoe dat moet, wat de belangrijkste aannames zijn geweest voor de formulering van het beleid (project) en hoe de resultaten zullen worden gemonitord en geëvalueerd. In termen van de doelenboom voor het kustbeleid (figuur 1 uit de voortgangsrapportage) zou een logisch raamwerk kunnen worden ontwikkeld. In Bijlage F is een voorbeeld opgenomen hoe zo'n raamwerk er in eerste aanleg uit zou kunnen zien. Hoewel het logisch raamwerk een robuuste structuur verschaft voor planning, monitoring en evaluatie van beleid, kleven er aan het gebruik ervan ook nadelen. Deze betreffen met name de vereenvoudigingen die noodzakelijk zijn om een ingewikkeld beleidsproces of een project op een compacte wijze weer te geven. Daardoor is het moeilijk de relatie tussen doelen en middelen (de verticale logica) en de relatie tussen activiteiten, prestatie indicatoren en aannames (de horizontale logica) zorgvuldig en goed zichtbaar te houden. Ook heeft het framework de potentie een (te) eenvoudige controlelijst te worden waarop men kan worden afgerekend. In de matrix van Error! Reference source not found. worden de sterkten en de zwakten van de logisch raamwerk benadering naast elkaar gezet. Deze punten verdienen aandacht als een logical framework approach zou worden toegepast. Tabel 2-1: sterkten en zwakten van de logisch raamwerk benadering Potentiële sterkte Veel voorkomende Mogelijke gevaren problemen Verticale logica Doelen te simpel voorgesteld. Horizontale logica Geeft een verbinding tussen middelen en resultaten.zet een activiteit in een breder beleidsperspectief. Nodigt uit tot onderzoek naar risico s. Vereist analyse van de meetbaarheid van doelstellingen. Draagt bij aan de ontwikkeling van het monitoring en evaluatie raamwerk. Geen overeenstemming over doelen. Geeft doelen te simpel weer met onbruikbaar detail niveau (te veel of te weinig). Moeilijk meetbare doelen te vinden op een hoog abstractieniveau. Neiging doelen onrealistisch in te schatten. Onbedoelde effecten worden over het hoofd gezien. Conflicten zijn niet zichtbaar. Onderschatting van het belang van kwalitatieve doelen. Overdosis aan informatie. Te rigide doelen. 9 definitief
Formaat en toepassing Potentiële sterkte Koppelt probleemanalyse aan ontwikkeling van doelen. Is visueel goed toegankelijk (relatief goed inzichtelijk). Kan in participatie worden ontwikkeld. Veel voorkomende problemen Raamwerk wordt aangepast aan reeds gevorderde ontwikkeling van het project idee. De risico s worden gemarginaliseerd. Vereist veel inzicht en ervaring van gebruikers. Mogelijke gevaren Formaat niet bruikbaar voor veranderende toepassing. Raamwerk wordt een controle middel van de hogere rangen. Een algemene conclusie is dat een al te rigide toepassing van het logisch raamwerk het zicht op de koppeling tussen doelen en prestaties versluiert in plaats van versterkt. Het wordt dan een te technisch communicatiemiddel op uitvoerend niveau. Dit wordt deels ondervangen door bijvoorbeeld bij de ontwikkeling van het raamwerk hieraan extra aandacht te geven. Bijvoorbeeld door het inzetten van kwalitatieve analyses in het beginstadium van de beleidsontwikkeling. Er zijn een aantal voorbeelden van instrumenten die hiervoor gebruikt kunnen worden, onder andere het Rapid Assessment Programme (RAP) van Resource Analysis. Het is ook van belang om het detailniveau aan te passen aan de gebruiks- en rapportagevereisten. Dit laatste element betreft in feite het probleem van verificatie (methoden en kosten) van beleidsdoelen en prestaties in algemene zin. Als het duidelijk is welke informatie de managers en bestuurders nodig hebben (de sleutelindicatoren ) is het nodig onder andere de onderstaande vragen nader te overwegen. Hoe moet informatie worden verzameld (surveys, statistieken, rapporten, observaties)? Welke bronnen zijn bruikbaar (wie moet worden geïnterviewd, zijn de bronnen betrouwbaar)? Wie moet informatie verzamelen (speciale diensten, personen, organen)? Wanneer en met welke frequentie (maand, jaar, week) moet informatie worden verzameld en geanalyseerd? Welke formaten (afhankelijk van waarvoor gebruikt) moeten worden gebruikt voor data en rapportages? 10 definitief