Klimaat voor Ruimte Climate changes Spatial Planning Template en beoordelingsprocedure syntheserapporten Januari 2011 1
2
BSIK 1 Programma Klimaat voor Ruimte Internet E-mail : www.klimaatvoorruimte.nl : office@klimaatvoorruimte.nl Colofon Technische realisatie : Programmabureau Klimaat voor Ruimte Coördinatie : Wetenschappelijk directeur: Prof. dr. P. Kabat Directeur Programmabureau: Drs. C. Dorland Redactie : Ottelien van Steenis, Kaj van de Sandt, Berend van Zeggeren BSIK Administratie nr: : 03068 Titel : Beoordelingsprocedure eindrapporten Datum : 10 januari 2011 Stichting Klimaat voor Ruimte Voorzitter bestuur: prof. dr. W. van Vierssen, p/a KWR Watercycle Research Institute, postbus 1072, 3430 BB Nieuwegein, T: 030 606 9678, F: 030 606 9606, E: wim.van.vierssen@kwrwater.nl Vice-voorzitter/secretaris bestuur: prof. dr. ir. P. Vellinga, Vrije Universiteit Amsterdam, FALW, De Boelelaan 1085, 1081 HV, Amsterdam, T: 020 598 9515, F: 020 598 2862. E: pier.vellinga@falw.vu.nl Programmaraad Klimaat voor Ruimte Voorzitter/wetenschappelijk directeur Klimaat voor Ruimte: prof. dr. P. Kabat, p.a Wetenschappelijk bureau Klimaat voor Ruimte, Wageningen UR, CCB, postbus 47, 6700 AA Wageningen, T: 0317 486 458, F: 0317 426 101, E: pavel.kabat@wur.nl Programmabureau Klimaat voor Ruimte Directeur: drs. C. Dorland, p.a. FALW, Vrije Universiteit Amsterdam, De Boelelaan 1085, 1081 HV, Amsterdam, T: 020 598 7318, F: 020 598 2862, E: k.dorland@programmabureauklimaat.nl 1 BSIK staat voor Besluit Subsidies Investeringen Kennisinfrastructuur 3
4
Inhoudsopgave INHOUDSOPGAVE... 5 INLEIDING... 7 1 PROCEDURES... 9 1.1 BEOORDELINGSPROCEDURE WETENSCHAPPELIJKE PROJECTEN... 9 1.2 BEOORDELINGSPROCEDURE TOEGEPASTE PROJECTEN... 9 1.3 TOELICHTING EN NADERE UITWERKING PROCEDURE EN BEOORDELING... 9 2 CRITERIA... 11 2.1 BEOORDELINGSCRITERIA WETENSCHAPPELIJKE PROJECTEN...11 2.2 BEOORDELINGSCRITERIA TOEGEPASTE PROJECTEN...12 ANNEX I - REVIEWFORMULIEREN... 13 5
6
Inleiding Ieder BSIK-KvR project levert aan het eind van de looptijd een eindrapport aan bij het programmabureau. Daarbij maken we onderscheid tussen de wetenschappelijke en de toegepaste projecten. De wetenschappelijke projecten leveren een inhoudelijk syntheserapport aan volgens het sjabloon eindrapporten KvR 2. De toegepaste projecten kunnen in overleg met het programmabureau ook voor een uitgebreider of andere vorm eindproduct kiezen. Het syntheserapport bestaat uit ongeveer 20-25 pagina s (inclusief figuren en foto materiaal). In dit rapport wordt een synthese van de resultaten van het project gegeven. Het is uitdrukkelijk niet de bedoeling volledige artikelen in dit rapport op te nemen. Het syntheserapport wordt gepubliceerd in de KvR-rapportenreeks 3. Het syntheserapport is de basis voor de inhoudelijke afronding van het project. In het synthese rapport staan de volgende zaken centraal: a. Wat was het oorspronkelijke projectdoel? Wordt de hypothese aangenomen of verworpen naar aanleiding van de projectresultaten? b. Hoe dragen de projectresultaten bij aan de belangrijkste onderzoeksvragen en doelen op KvR programma en thema niveau (zie website). c. In het syntheserapport wordt verwezen naar alle relevante publicaties en producten die in het project zijn gerealiseerd. Naast wetenschappelijke publicaties leveren projecten soms ook modellen, tools, scans en filmpjes. Het KvR programma wordt in 2011 afgerond met een wetenschappelijk boek, een praktijkboek en enkele special issues. De syntheserapporten zijn vanuit de projecten de bijdrage richting de editors van deze programmabrede publicaties (Pavel Kabat, Florrie de Pater, themacoördinatoren en anderen). Het syntheserapport is dus meer een uitgebreid paper of (een zelfstandig leesbaar) hoofdstuk van een boek dan een traditioneel eindrapport. Daarmee wordt ook rekening gehouden in de lay-out van het syntheserapport. Voor alle syntheserapporten is er de volgende grove opzet: Abstract; Context; Doelen (themaniveau, projectniveau); Aanpak; Synthese (resultaten confronteren met doelen); Conclusies en aanbevelingen; Bronverwijzing. Procedure Binnen BSIK-KvR wordt een breed scala aan projecten uitgevoerd van wetenschappelijk tot zeer toegepast onderzoek. Er wordt bij het beoordelen van het syntheserapport onderscheid gemaakt tussen (a) wetenschappelijk project (fundamenteel en toegepast) en (b) toegepaste projecten (communicatie, hotspot, definitiestudies). Wetenschappelijke projecten rapporteren standaard in het Engels, toegepaste projecten mogen hun syntheserapport in het Nederlands schrijven. Er zijn twee evaluatieprocedures: 1. Procedure voor wetenschappelijke projecten 2. Procedure voor toegepaste projecten Onder wetenschappelijke projecten vallen in principe de projecten binnen de thema s Klimaatscenario s (CS), Adaptatie (A), Mitigatie (ME) en Integratie (IC). Onder de toegepaste 2 Dit sjabloon is hier te downloaden. 3 Het rappport krijgt een KvR rapportnummer en een ISBN nummer. 7
projecten vallen in principe de projecten binnen het thema Communicatie (COM), defenitiestudies en Hotspotprojecten. Per project wordt voorafgaand aan de evaluatieprocedure door de voorzitter van de Programmaraad vastgesteld welke procedure doorlopen zal worden. In hoofdstuk 1 worden beide evaluatieprocedures toegelicht. De reviewcriteria zijn te vinden in hoofdstuk 2. In annex I zijn de beoordelingsformulieren voor beide procedures opgenomen. Review Voordat de definitieve versie van het syntheserapport wordt gepubliceerd worden het syntheserapport en de resultaten van het project gereviewed. Deze review wordt uitgevoerd door de programmaraad. Voor de beoordelingsprocedure die door het programmabureau wordt gecoördineerd geldt een termijn van 3 maanden. Publicatie Binnen KvR is budget beschikbaar gemaakt om de syntheserapporten in KvR rapportenreeks te drukken. Er worden in principe 100 exemplaren gedrukt, waarvan 60 exemplaren voor KvR en 40 voor de projectleider. Indien een project voor een andere vorm eindproduct kiest, is er binnen KvR budget om tegemoet te komen in de kosten (maximaal 1250 Euro incl. BTW). In ruil hiervoor ontvangt het programmabureau KvR 60 exemplaren van het eindproduct. 8
1 Procedures Bij de evaluatie van de syntheserapporten houden we rekening met het feit dat de onderzoeksvoorstellen al een externe reviewprocedure hebben doorlopen. Bovendien hebben veel projectpublicaties reviewprocedures doorlopen voor publicatie in peer-reviewed tijdschriften. Daarnaast is de voortgang/wetenschappelijke kwaliteit van de projecten extern beoordeeld tijdens de mid-term evaluatie van het programma in 2007 en intern via de halfjaarlijkse voortgangsrapportages. Naast de themacoördinator wordt aan leden van de programmaraad gevraagd de projectresultaten te evalueren. Wanneer er geen programmaraadlid met de juiste achtergrond kan worden gevonden zal naar expertise van buiten worden gezocht. Indien de projectpartijen een traditioneel eindrapport hebben ingediend, zal de reviewprocedure worden uitgevoerd aan de hand van dit document. 1.1 Beoordelingsprocedure wetenschappelijke projecten Voor de beoordelingsprocedure van eindrapporten van wetenschappelijke projecten staat een termijn van 3 maanden. De review wordt uitgevoerd door leden van de programmaraad: Twee leden van de programmaraad, waar nodig externe experts; De themacoördinator van het betreffende thema. De reviewers krijgen het projectplan (Annex I en Annex II) en het syntheserapport toegestuurd. Zij evalueren het project aan de hand van het syntheserapport met behulp van de criteria zoals beschreven in paragraaf 2.1. Aanvullende rapporten en publicaties van het project zijn op te vragen bij het programmabureau. 1.2 Beoordelingsprocedure toegepaste projecten Voor de beoordelingsprocedure van eindrapporten van toegepaste onderzoeken staat, net als voor de beoordelingsprocedure van wetenschappelijke onderzoeken, een termijn van drie maanden. De review wordt uitgevoerd door: Twee leden van de programmaraad, waar nodig externe experts; De themacoördinator van het betreffende thema. De reviewers krijgen het projectplan (Annex I en Annex II) en het syntheserapport toegestuurd. Zij evalueren het project aan de hand van het syntheserapport met behulp van de criteria zoals beschreven in paragraaf 2.2. Aanvullende rapporten en publicaties van het project zijn op te vragen bij het programmabureau. 1.3 Toelichting en nadere uitwerking procedure en beoordeling De beoordeling wordt volgens de volgende procedure uitgevoerd: 1. Het rapport wordt door twee beoordelaars en de themacoördinator gereviewd. 2. De beoordelingsresultaten worden anoniem teruggekoppeld aan de projectleider en de voorzitter van de Programmaraad/wetenschappelijk directeur KvR. 3. Het advies van de programmaraad aan het bestuur op basis van de beoordelingsresultaten kan bestaan uit: Positief zonder aanpassingen Positief met kleine aanpassingen Negatief met grote aanpassingen Negatief met volledige afwijzing 4. De resultaten kunnen leiden tot een aantal vervolgmogelijkheden: 9
a. Bij drie positieve beoordelingen zonder aanpassingen of met kleine aanpassingen is het rapport goedgekeurd. De projectpartijen dienen de eventuele aanpassingen voortkomende uit de review binnen vier weken na ontvangst van de reviewrapporten in het eindrapport te verwerken waarna het rapport wordt uitgegeven in de KvR-rapportenreeks. b. Bij één of meerdere negatieve beoordelingen met grote aanpasingen krijgt de projectleider de kans om binnen vier weken schriftelijk op de reviewrapporten te reageren middels een repliek. Deze reactie wordt (inclusief beide beoordelingen) voorgelegd aan de betreffende themacoördinator. Indien: I. De themacoördinator op basis van de repliek de beoordeling omzet in een positieve beoordeling worden de projectpartijen verzocht de aanpassingen binnen vier weken te verwerken in een aangepaste eindrapportage. Deze aangepaste eindrapportage wordt aan de betrokken themacoördinator voorgelegd ter goedkeuring binnen vier weken na ontvangst van de aangepaste rapportage. Bij goedkeuring wordt de eindrapportage opgenomen in de KvR-rapportenreeks. Bij afkeuring zal de voorzitter programmaraad/wetenschappelijk directeur binnen vier weken een eindoordeel geven. Bij een positief eindoordeel wordt de eindrapportage opgenomen in de KvR-rapportenreeks. Bij een negatief eindoordeel zal de programmaraad om advies gevraagd worden en zullen eventuele sancties voor het project in het bestuur KvR worden besproken. II. Indien de themacoördinator bij een negatieve beoordeling met grote aanpassingen blijft, worden de beoordelingsresultaten en de repliek voorgelegd aan de voorzitter programmaraad/wetenschappelijk directeur KvR. Hij/zij dient binnen vier weken een eindoordeel te geven. Bij een positief eindoordeel wordt de eindrapportage opgenomen in de KvR-rapportenreeks. Indien dit eindoordeel negatief is, krijgt de projectleider een brief van het Programmabureau met de onderbouwing van de negatieve beoordeling, waarbij hij/zij wordt verzocht binnen vier weken het eindrapport bij te stellen op basis van de geleverde kritiek waarna de voorzitter programmaraad/wetenschappelijk directeur KvR binnen vier weken de eindrappportage al dan niet definitief goedkeurt. Daarna wordt, bij een positief oordeel, het bijgestelde eindrapport uitgegeven in de KvR-rapportenreeks. Bij een tweede negatief oordeel van de voorzitter programmaraad/wetenschappelijk directeur wordt het rapport niet in de KvR reeks uitgegegeven en zullen eventuele sancties voor het project in het bestuur KvR worden besproken. c. Bij één of meerdere negatieve beoordelingen volledige afwijzing zal de programmaraad om advies gevraagd worden en zullen eventuele sancties voor het project in het bestuur KvR worden besproken. 10
2 Criteria Voor de beoordeling van eindrapporten van wetenschappelijke en toegepaste projecten zijn twee vragenlijsten met criteria opgesteld. 2.1 Beoordelingscriteria wetenschappelijke projecten Beoordelingscriteria voor de beoordelaar 1. Beoordeling prestatie. Voldoet het rapport naar uw mening aan de in de projectinformatie beschreven prestatie (is het volledig) en beantwoordt het daarmee de in het onderzoeksvoorstel beschreven doelstellingen? 2. Beoordeling wetenschappelijke kwaliteit van het onderzoek, verslaglegging en mate van innovatie. Wat vindt U van de wetenschappelijke kwaliteit van het onderzoek? methodologie werkwijze en uitvoering resultaten en interpretatie hiervan verslaglegging innovatief karakter 3. Beoordeling belang onderzoek en resultaten voor vakgebied en Nederlandse rol in internationaal onderzoek. Is aan te geven wat het belang is van de resultaten voor het vakgebied en de Nederlandse rol in de internationale onderzoeksinspanning? 4. Mate van valorisatie*. In hoeverre heeft het project bijgedragen aan valorisatie van kennis en producten? Versterking kennisinfrastructuur: in hoeverre heeft samenwerking binnen KvR en samenwerking met stakeholders geleid tot het gebruik van binnen het project ontwikkelde kennis en/of resultaten door eindgebruikers (ook na afloop van het project)? Vermarkting eindproducten: Hebben de binnen het project ontwikkelde kennis en/of eindresultaten geleid tot (concept) vermarkte eindproducten? 5. overige opmerkingen en eventuele aanbevelingen. * De weging van het onderdeel valorisatie wordt mede op basis van de oorspronkelijke doelstellingen van het betreffende project bepaald. 11
2.2 Beoordelingscriteria toegepaste projecten Voor de beoordeling van eindrapporten van toegepaste projecten gelden de volgende criteria: Beoordelingscriteria voor de beoordelaar 1. Beoordeling prestatie. Voldoet het rapport naar uw mening aan de in de projectinformatie beschreven prestatie (is het volledig) en beantwoordt het daarmee de in het onderzoeksvoorstel beschreven doelstellingen? 2. Beoordeling van kwaliteit verslaglegging en maatschappelijke relevantie van resultaten op beschrijving: methodologie werkwijze en uitvoering resultaten 3. Mate van valorisatie*. In hoeverre heeft het project bijgedragen aan valorisatie van kennis en producten? Versterking kennisinfrastructuur: in hoeverre heeft samenwerking binnen KvR en samenwerking met stakeholders geleid tot het gebruik van binnen het project ontwikkelde kennis en/of resultaten door eindgebruikers (ook na afloop van het project)? Vermarkting eindproducten: Hebben de binnen het project ontwikkelde kennis en/of eindresultaten geleid tot (concept) vermarkte eindproducten? 4. Overige opmerkingen en eventuele aanbevelingen. * De weging van het onderdeel valorisatie wordt mede op basis van de oorspronkelijke doelstellingen van het betreffende project bepaald. 12
Annex I - Reviewformulieren Reviewformulier wetenschappelijke projecten 1. Beoordeling prestatie. Voldoet het rapport naar uw mening aan de in de projectinformatie beschreven prestatie (is het volledig) en beantwoordt het daarmee de in het onderzoeksvoorstel beschreven doelstellingen? 2. Beoordeling wetenschappelijke kwaliteit van het onderzoek, verslaglegging en mate van innovatie. Wat vindt U van de wetenschappelijke kwaliteit van het onderzoek? methodologie werkwijze en uitvoering interpretatie van de resultaten verslaglegging innovatief karakter 3. Beoordeling belang onderzoek en resultaten voor vakgebied en Nederlandse rol in internationaal onderzoek. Is aan te geven wat het belang is van de resultaten voor het vakgebied en de Nederlandse rol in de internationale onderzoeksinspanning? 4. In hoeverre heeft het project bijgedragen aan valorisatie van kennis en producten? * Versterking kennisinfrastructuur: in hoeverre heeft samenwerking binnen KvR en samenwerking met stakeholders geleid tot het gebruik van binnen het project ontwikkelde kennis en/of resultaten door eindgebruikers (ook na afloop van het project)? Vermarkting eindproducten: Hebben de binnen het project ontwikkelde kennis en/of eindresultaten geleid tot (concept) vermarkte eindproducten? 5. Overige opmerkingen en eventuele aanbevelingen. * De weging van het onderdeel valorisatie wordt mede op basis van de oorspronkelijke doelstellingen van het betreffende project bepaald. 13
Reviewformulier toegepaste projecten 1. Beoordeling prestatie. Voldoet het rapport naar uw mening aan de in de projectinformatie beschreven prestatie (is het volledig) en beantwoordt het daarmee de in het onderzoeksvoorstel beschreven doelstellingen? 2. Beoordeling van kwaliteit verslaglegging en maatschappelijke relevantie van resultaten op beschrijving: methodologie werkwijze en uitvoering resultaten 3. Mate van valorisatie.* In hoeverre heeft het project bijgedragen aan valorisatie van kennis en producten? Versterking kennisinfrastructuur: in hoeverre heeft samenwerking binnen KvR en samenwerking met stakeholders geleid tot het gebruik van binnen het project ontwikkelde kennis en/of resultaten door eindgebruikers (ook na afloop van het project)? Vermarkting eindproducten: Hebben de binnen het project ontwikkelde kennis en/of eindresultaten geleid tot (concept) vermarkte eindproducten? 4. Overige opmerkingen en eventuele aanbevelingen. * De weging van het onderdeel valorisatie wordt mede op basis van de oorspronkelijke doelstellingen van het betreffende project bepaald. 14