Op zoek naar de effecten

Transcriptie

1 Op zoek naar de effecten Een gids voor de meting van de effecten van Competentiepolen en projecten TETRA en Collectief onderzoek Eindrapport (september 2010) Op verzoek van: IWT Bischoffsheimlaan Brussel Door: IDEA Consult ( IDEA Consult nv Tel: (+32) Kunstlaan 1-2, bus 16 Fax: (+32) B 1210 Brussel

2 Gids voor de meting van effecten INHOUDSOPGAVE p. DEEL 1: ACHTERGROND 4 1 Over deze studie Situering en doelstelling Aanpak Leeswijzer Het belang van effectmetingen De rol van de overheid bij O&O en innovatie De nood tot verantwoording Onderliggende principes en bouwstenen Algemene principes meetkader Effecten en het Logic Model Effecten nader beschouwd Verschillende niveaus waarop effecten zich kunnen voordoen Verschillende soorten effecten Tijdsdimensie waarop effecten zich voordoen Een geïntegreerde aanpak DEEL 2: HET MEETKADER EN HET GEBRUIK ERVAN IN DE PRAKTIJK 17 1 Het meetproces: de te stellen vragen 18 2 Welke doelstellingen staan centraal? 19 3 Welke effecten worden er verwacht? 23 4 Welke indicatoren zijn geschikt om te meten? Meting van effecten bij de ontvangers Indicatorfiches Input Indicatorfiches Netwerking en samenwerking Indicatorfiches Schaal en reikwijdte Indicatorfiches Competentie- en expertiseopbouw Indicatorfiches Versnelling Indicatorfiches Risico Indicatorfiches Strategie Indicatorfiches Output Meting van effecten aan de kant van de uitvoerders Indicatorfiches Competentie- en expertiseopbouw Indicatorfiches Output Hoe kan de meting worden aangepakt? 53 6 Referenties 57 Lijst van tabellen 59 Lijst van figuren 59 2

3 Gids voor de meting van effecten Annex 1: Beknopt overzicht programma: Competentiepolen 60 Annex 2: Beknopt overzicht programma: Collectief Onderzoek _ 64 Annex 3: Beknopt overzicht programma: Technologietransfer 68 Annex 4: Invulformulier doelstellingen 71 Annex 5: Lijst van overige relevante indicatoren 72 p. 3

4 Gids voor de meting van effecten Deel 1: ACHTERGROND p. 4

5 Gids voor de meting van effecten 1 OVER DEZE STUDIE 1.1 Situering en doelstelling Als Instituut voor Innovatie door Wetenschap en Technologie (IWT) beschikt het IWT over verschillende financieringsinstrumenten waarmee het steun verleent aan bedrijven die wensen te innoveren, aan kennisinstellingen die aan gerichte kennisopbouw doen ten gunste van de bedrijven, alsook aan actoren die acties ondernemen rond innovatiestimulering van bedrijven. Om verantwoording te kunnen afleggen ten aanzien van gemaakte keuzes, maar ook in het kader van de verdere rationalisering van het beleid rond innovatie, dat momenteel ook in Europa gaande is, lijkt het aangewezen en zelfs noodzakelijk om nader inzicht te krijgen in de resultaten en de effecten van lopende steunmaatregelen. Het IWT wenst via de ontwikkeling van een resultaat- en effectmetingmethode een methodiek te ontwikkelen en te testen die toelaat om de resultaten en effecten van de werking van het programma Competentiepolen (CP), Technologietransfer (TETRA) en Collectief Onderzoek (CO) te meten en op te volgen. In eerste instantie voor de programma-uitvoerders zelf om hun werking beter te kunnen opvolgen (monitoring), maar in tweede instantie ook voor het IWT zelf om de meerwaarde van zijn programma s te kunnen beoordelen en bij te sturen waar en wanneer nodig. Dit rapport verschaft dus zowel de theoretische onderbouw voor het IWT om een methodiek toe te passen als een praktisch hanteerbaar hulpmiddel voor de aanvragers om hun programma s te structureren. Deze studie heeft dan ook tot doel een om een generieke set van parameters te ontwikkelen (een gids) om de relevante resultaten en effecten van de verschillende types van de eerdergenoemde programma s te registreren. In eerste instantie ligt hierbij de focus op het programma CP, maar er wordt ook voldoende aandacht besteed aan de programma s TETRA en CO. De nadruk bij de methodiekontwikkeling ligt op het structureren van het proces en de ondersteuning ervan. Tenslotte, deze studie kadert in een groter geheel van studies en initiatieven gericht op het systematisch monitoren en evalueren van IWT steunprogramma s (zie ook tekstkader hieronder). Selectie van gerelateerde IWT studies (zie Studie 48: Making the Difference: The Evaluation of "Behavioral Additionality" of R&D Subsidies Studie 56: 'What difference do IWT R&D grants make for their clients' Studie 59: 'De effectiviteit van het Vlaamse Innovatiesamenwerkingsverband (VIS)' Studie 61: 'Werking en effecten van Collectief Onderzoek' Studie 62: 'Zelfevaluatie van competentiepolen' p. 5

6 Gids voor de meting van effecten 1.2 Aanpak De ontwikkelde aanpak voor deze studie is ontwikkeld in samenspraak en wisselwerking met de projectuitvoerders ( het veld ). We hebben voor deze aanpak gekozen aangezien het meetkader in eerste instantie bedoeld is voor zelfevaluatie en monitoring van de eigen activiteiten. Naast een serie van cases studies (in de vorm van kleine focusgroepen) zijn er diverse vergaderingen georganiseerd met projectuitvoerders en coördinatoren van de diverse programma s. Hieronder presenteren we de verschillende uitgevoerde fases en activiteiten. Figuur 1: Overzicht fasering F1: Inceptiefase F2: Gezamenlijke ontwikkeling meetmethodiek F3: Empirische toepassing F4: Optimalisatie meetmethode F5: Eindrapportage en valorisatie Bron: IDEA Consult Zoals uit de bovenstaande figuur blijkt, is deze studie uitgevoerd in vijf verschillende fasen. In fase 1 heeft er een verdere concretisering van de aanpak plaatsgevonden. In fase 2 werden de eerste principes vastgelegd van het te volgen meetkader op basis van een workshop met vertegenwoordigers van CP, en projecten TETRA en CO. In fase 3 is er een toetsing uitgevoerd van het meetkader door middel van een zevental case studies 1. Centraal in deze gesprekken stond de interpretatie en het werkelijke gebruik van het meetkader. In fase 4 werden de resultaten uit de testmeting nader geanalyseerd ter optimalisatie van het meetkader. De laatste fase, fase 5, hield de eindrapportage en de verdere verspreiding van de ontwikkelde aanpak in. 1 Het betreft in het bijzonder de competentiepolen Flanders FOOD, Flanders Mechatronics Technology Centre (FMTC), en het Vlaams Instituut voor de Logistiek (VIL); een serie individuele TETRA en CO projecten bij het Belgisch Instituut voor de Lastechniek (BIL), de Hogeschool Gent, de KHK Kempen en het Wetenschappelijk en Technisch Centrum voor het Bouwbedrijf (WTCB). p. 6

7 Gids voor de meting van effecten 1.3 Leeswijzer Dit rapport bestaat uit 2 delen. In deel 1, de algemene achtergrond, bevinden zich een drietal hoofdstukken. Naast hoofdstuk 1, de algemene introductie tot de studie en de aanpak, wordt er in hoofdstuk 2 stilgestaan bij het belang van effectmetingen door een schets van de overkoepelende nationale en internationale beleidsontwikkelingen. Hoofdstuk 3 verschaft een overzicht van de belangrijkste methodologische principes onderliggend aan het meetkader. Deel 2, het meetkader en het gebruik ervan in de praktijk, bestaat uit een vijftal hoofdstukken. Het eerste hoofdstuk geeft een overkoepelend overzicht van het meetkader en het te volgen meetproces. Hoofdstukken 2 tot en met 5 gaan dieper in op elke stap uit het meetkader. Elk hoofdstuk bevat uitleg, tips en verwijzingen naar verder achtergrondmateriaal. Onderliggende handleiding dient bekeken te worden in samenhang met de handleiding voor Zelfevaluatie van Competentiepolen 2. Voor wie is deze gids bedoeld? Deze gids is in eerste instantie bedoeld voor de huidige en toekomstige projectuitvoerders. Voor de eerste groep, zal deze gids ondersteuning kunnen bieden bij het in kaart brengen en monitoren van de nagestreefde effecten, maar zal eveneens een reflectie toelaten op de relevantie van de activiteiten die tot op heden worden uitgevoerd. Voor de tweede groep, kan deze gids een handleiding zijn bij het ontwikkelen van toekomstige projectaanvragen en het scherpstellen van de na te streven effecten. In tweede instantie is deze gids bedoeld voor het IWT dat hiermee een kader krijgt aangereikt om projecten te helpen richten op de gewenste effecten en deze ook systematisch te monitoren. 2 Zie: p. 7

8 Gids voor de meting van effecten 2 HET BELANG VAN EFFECTMETINGEN 2.1 De rol van de overheid bij O&O en innovatie Hoewel we ons in deze studie richten op de ontwikkeling van een meetkader voor de meting van effecten van specifieke programma s (CP, TETRA en CO), is inzicht in de overkoepelende beleidsontwikkelingen en -relevantie belangrijk. Op het Europese vlak hebben we te maken met de Lissabon strategie 3 en de hernieuwde Europa 2020 strategie 4, waarin belang wordt gehecht aan de zogenaamde kennisdriehoek, bestaande uit onderzoek, onderwijs en innovatie. Vlaanderen heeft met zijn eigen Vlaanderen in Actie strategie 5, en de Staten- Generaal voor de Industrie zich daarnaast nog gericht op transformatie van het industriële landschap van arbeidsintensief naar meer kennisintensief, en heeft zijn eigen accenten gelegd. De focus van deze strategieën (en andere) is erop gericht om de competitiviteit van sectoren te behouden en te verbeteren, met als doel om onze levensstandaard naar de toekomst toe te vrijwaren. Beleidsmaatregelen die deze doelstelling helpen realiseren zijn dan ook onmisbaar. Er is veel theoretisch en empirisch onderzoek verricht rond het belang van technologische ontwikkeling en innovatie voor economische groei, voldoende om duidelijk aan te kunnen tonen wat het belang is van investeringen in O&O en innovatie voor onze economische groei. Schattingen van rendementen als gevolg van eigen O&O investeringen lopen uiteen, maar er is in toenemende mate consensus aan het ontstaan dat deze bruto rendementen tussen de 20-30% fluctueren (op basis van studies op bedrijfsniveau). Kennisverspreiding (bewust en onbewust) in relatie tot O&O is eveneens van groot belang hierbij. Wanneer we daarmee rekening houden, kunnen bruto rendementen voor bedrijven zelfs oplopen tot 40%. Waarom gaan alle bedrijven dan niet over tot investeringen in O&O? In de eerste plaats omdat er sprake is van een imperfecte marktwerking waardoor de private sector minder investeert in O&O dan maatschappelijk gewenst. De redenen hiervoor zijn: Onzekerheid: bij de aanvang van onderzoeksprojecten is het niet zeker dat het project ook werkelijk zal leiden tot nieuwe kennis en innovatie (als gevolg van technische complexiteit, tijdsbeperkingen, en investeringsvereisten). Toe-eigening: als een project succesvol zal verlopen, is het nog maar de vraag of het betreffende bedrijf erin zal slagen om zich de meerwaarde volledig toe te eigenen (in het licht van kennisverspreiding). Dit weerhoudt bedrijven dan ook vaak van het investeren in specifieke O&O projecten. Destructie: waarom zou een bedrijf investeren in nieuwe kennis en innovatie wanneer men het risico zou verhogen dat huidige producten en p. 8

9 Gids voor de meting van effecten diensten die vandaag goed lopen en veel omzet genereren morgen ineens ingehaald worden door de nieuw ontwikkelde producten en diensten? Overheden richten zich op het neutraliseren van deze factoren (het marktfalen) door het introduceren van steuninstrumenten gericht op de stimulering van O&O en innovatie (zo ook dus de programma s CP, TETRA en CO) en op de versterking van menselijk kapitaal en netwerken. 2.2 De nood tot verantwoording Het mag duidelijk zijn dat overheidsinterventie het marktfalen maar voor een deel kan opheffen. Het is echter ook mogelijk dat de overheidsinterventie niet voldoende resultaat oplevert en dat bijsturing/afschaffing noodzakelijk is. Immers, als de maatschappelijke kosten hoger zijn dan de opbrengsten is rechtvaardiging van de maatregel niet langer mogelijk. Ten tijden van economisch tegenvallende resultaten, waarbij de middelen onder druk komen te staan, neemt de noodzaak toe om (de juiste) keuzes te maken. Dit betekent dat bestaande instrumenten beoordeeld moeten kunnen worden op hun meerwaarde. De overheid kan beschikken over een brede waaier aan instrumenten 6 die ingezet kunnen worden om hetzelfde resultaat na te streven. Maar om de juiste keuze te maken uit deze veelheid, dan moet de overheid beschikken over een solide en goed uitgebouwde evidence base 7. Gedurende alle fases van de beleidscyclus is het dus essentieel dat overheden de juiste analyse kunnen maken. Dit geldt ook voor de betrokken actoren zelf, zoals programmacoördinatoren en uitvoerders van CP, TETRA en CO projecten. 6 De Innovation Policy Trend Chart databank, die een inventarisatie is van steunmaatregelen binnen Europa, bevat momenteel steunmaatregelen uit 28 landen (zie: 7 Op Europees niveau loopt momenteel een grootschalige studie Common Impact Assessment for Optimising the Policy mix naar de harmonisatie van impact assessment praktijken binnen de lidstaten. Op de website is veel relevant achtergrondmateriaal in relatie tot impact/effectmetingen. p. 9

10 Gids voor de meting van effecten 3 ONDERLIGGENDE PRINCIPES EN BOUWSTENEN 3.1 Algemene principes meetkader Het hier ontwikkelde meetkader biedt een basis voor de meting van effecten met betrekking tot de werking van CP, en van projecten TETRA en CO. Het gaat hierbij vooral om een ondersteunend en niet om een voorschrijvend meetkader. Het meetkader is zo opgebouwd dat de benodigde kapstokken worden aanreikt aan de projectuitvoerders om samen met het IWT te komen tot de best mogelijke selectie van relevante effecten en hun meetwijze. Overige uitgangspunten bij onderliggend meetkader zijn de volgende: Het meetkader richt zich op gerealiseerde effecten. De centrale vraag is dan ook welke meerwaarde werd er werkelijk gecreëerd?. Het meetkader richt zich hoofdzakelijk op het opvolgen en meten van meerwaardecreatie bij de ontvangers (de bedrijven) en in mindere mate op de meerwaardecreatie bij de aanbieders (bijv. de hogescholen). Het meetkader laat een bottom-up aanpak toe, waardoor de eigenheden van de diverse projecten uit verschillend sectoren volledig in rekening kunnen worden gebracht. Het meetkader reikt een serie blauwdrukken 8 aan waarmee verder aan de slag kan worden gegaan door de projectuitvoerders. Het meetkader reikt een beperkte set van indicatoren aan waarmee geselecteerde effecten gemeten kunnen worden (een pick list ). Het meetkader bevat suggesties over hoe de geselecteerde effecten in de praktijk gemeten kunnen worden en hoe deze gerapporteerd kunnen worden. Het meetkader houdt rekening, in de mate van het mogelijke, met bestaande en al ingeburgerde meetmethodieken (RAP, TIS/TD etc.) waardoor de bijkomende administratieve lasten beperkt kunnen worden. 8 Een blauwdruk betekent letterlijk een ontwerp of een plan dat nog niet is uitgevoerd in de realiteit. Hier wordt de term echter gebruikt om te verwijzen naar de programmadoelstellingen (van competentiepolen, TETRA en VIS-CO projecten) zoals deze in de ontwerpfase zijn gedefinieerd. p. 10

11 Gids voor de meting van effecten 3.2 Effecten en het Logic Model Onafhankelijk van de aard van een overheidsmaatregel, kan deze altijd beschouwd en geanalyseerd worden als financieel en menselijk kapitaal dat gemobiliseerd wordt om een bepaalde doelstelling na te streven. Het concept waarmee op een systematische wijze gekeken kan worden naar het ontwerp van een maatregel noemen we Logic Model of Logical Analysis 9. Het logic model is een logische en consistente beschrijving van het ontwerp van een programma en zijn resultaten en effecten (zie ook IWT studie 62). Hieronder presenteren we het model dat we in deze studie centraal zullen stellen wanneer het gaat over het stroomlijnen van het denken rond programmaontwerp en - analyse. Dit model sluit goed aan bij de werking van CP en de projecten in het kader van TETRA en CO. Wist u dat U dit model kunt gebruiken bij het ontwikkelen van een nieuwe projectaanvraag of het herbekijken van uw huidige strategie? Het model bestaat uit vijf belangrijk componenten. We bespreken ze in het kort hieronder. 1. Input (bij het programma): dat zijn de materiële en immateriële middelen die gemobiliseerd worden/zijn om een programma en de daaronder vallende acties te implementeren (uit te voeren). 2. Output (van het programma): het gaat hierbij over activiteiten, diensten en evenementen die gericht zijn op de doelgroep (bedrijven). Bijvoorbeeld, in het kader van CP kan het gaan over de organisatie en uitvoering van onderzoeksprojecten of de organisatie van events. Het gaat met andere woorden over de output van het programma/het project. 3. Effecten (bij de doelgroep): hier gaat het over de veranderingen bij de doelgroep (bedrijven) als gevolg van de werking van het programma (in lijn met de gestelde doelstellingen). Effecten zijn tijdsafhankelijk (korte, middellange en lange termijn). Langere termijn effecten worden ook wel impact genoemd. Het hier ontwikkelde meetkader richt zich op de effecten op korte termijn (en waar mogelijk op middellange termijn). 4. Assumpties/verwachtingen (bij betrokken actoren): hierbij gaat over de verwachtingen die men heeft ten aanzien van de resultaten van een programma, de mensen die betrokken zijn, en de context waarbinnen het programma zal opereren. Deze factoren zorgen ervoor dat de werking van een programma enkel in zijn context goed geanalyseerd kan worden. 9 Zie SMART INNOVATION, p. 76, European Court of Auditors (sd), p. 16., European Court of Auditors (sd), European Commission (2004), p en OECD (2002) voor meer achtergrond/wettelijke basis. p. 11

12 Figuur 2: Programmaontwikkeling/-actie (Logic Model) Programma-ontwikkeling Logic Model Terugkoppeling Inputs Output Uitkomst Impact Aanbiederskant Activiteiten Deelname Korte termijn (KT) Middellange termijn (MT) Lange termijn (LT) Bestaande noden Prioriteiten Rekening houdend met: Missie Visie Mandaten Bronnen Lokale dynamica Medewerkers Concurrenten Beoogd resultaat Personeel Vrijwilligers Tijd Geld Materiaal Uitrusting Technologie Partners... Wat we investeren Organiseren workshops en meetings Helpen ontwikkelen van producten en diensten Training Advisering Beoordeling Bieden van testfaciliteiten Partners zoeken... Wat we doen Bedrijven Beleidsmakers en overheden... Wie we bereiken Deelname Kennisopbouw Onderzoeksbasis Kennisinstellingen Probleemoplossing Meer O&O&I activiteiten... Resultaten op KT Meer innovaties Strategie rond O&O&I Actief bezig met O&O&I Samenwerking... Resultaten op MT Resultaten op LT / impact Sociaal Economisch Maatschappelijk Ecologisch/ milieu Assumpties Externe factoren Bron: IDEA Consult (op basis van PDE Wisconsin University) * De rode stippellijn geeft de focus van onderliggend meetkader weer p. 12

13 5. Externe factoren (uit de omgeving): deze verwijzen naar de bredere context waarbinnen het programma opereert en de externe factoren die de acties van een bepaald programma specifiek beïnvloeden. Een voorbeeld hiervan kan de heersende cultuur binnen een bepaalde sector zijn, zoals de openheid/geslotenheid ten opzicht van externe samenwerking. 3.3 Effecten nader beschouwd Verschillende niveaus waarop effecten zich kunnen voordoen Nu dat we de positie van effecten in de gehele cyclus van programmaontwikkeling, uitvoering en resultaten hebben bekeken, kunnen we nader ingaan op de effecten zelf. We hebben effecten gedefinieerd als veranderingen bij de doelgroep waarop een programma zich richt. Strikt genomen echter betekent effect een gebeurtenis die optreedt als een resultaat van feiten en/of gebeurtenissen en waarbij er dus (meestal) sprake is van een causale relatie tussen oorzaak en gevolg. Wanneer een bedrijf deelneemt aan een project, dan leidt dat tot bepaalde gewenste en soms ook ongewenst resultaten. Bijvoorbeeld, het bedrijf slaagt erin om nieuwe kennis op te doen of om zijn netwerk uit te breiden, of om een nieuw product of dienst te ontwikkelen. Dit zijn allemaal veranderingen bij het bedrijf die (deels of volledig) toe te schrijven zijn aan participatie aan het betreffende project. Een project (of programma) kan echter ook effecten hebben op het niveau van de uitvoerders. Bijvoorbeeld, in het kader van een TETRA project, vloeit de ontwikkelde kennis terug naar de hogescholen en kan daar leiden tot een nieuw of vernieuwd cursusaanbod of de ontwikkeling van nieuwe onderzoekslijnen. Hetzelfde kan gelden voor de werking van competentiepolen, waarbij het gefinancierde collectief onderzoek de deelnemende universiteiten aanzet om hun onderzoeksdomeinen verder uit te breiden of te verdiepen. Samengevat, effecten kunnen zich dus voordoen op diverse niveaus, waarbij we in onderliggend meetkader ons vooral zullen richten op: 1. Het niveau van de ontvangers (de bedrijven, die aan de kant van de zogenaamde beneficiaries staan). 2. Het niveau van de uitvoerders (de kennisinstellingen die aan de kant van de projectuitvoering staan). p. 13

14 Gids voor de meting van effecten Verschillende soorten effecten Er bestaan verschillende soorten effecten. Om hierin enige systematiek aan te brengen beroepen we ons op de theorie ontwikkeld rond gedragsadditionaliteit 10. Simplistisch gezegd, richt deze analytische stroming zich op het identificeren van effecten die additioneel zijn, en die zonder de betreffende steunmaatregel niet zouden zijn ontstaan. In het klassieke denken rond additionaliteit wordt er een onderscheid gemaakt tussen effecten aan de inputkant en aan de outputkant. Er is echter meer. Tussen de klassieke input en output kunnen zich diverse effecten voordoen die belangrijk zijn voor het toekomstig presteren van bedrijven en kennisinstellingen. Het zijn deze effecten die we in onderliggend meetkader naar voren schuiven als typologie. Hieronder bespreken we deze soorten van effecten in meer detail. Wist u dat Een verhoging van de subsidies met 1 Euro leidt tot een toename van de bedrijfsuitgaven voor O&O met een bedrag van 0,85 tot 1,34 Euro (Bron: IWT studie nr. 54). Figuur 3: Soorten van effecten en hun betekenis Input Bijkomende O&O investeringen/inspanningen door bedrijven als gevolg van deelname aan het project/programma. Netwerking en samenwerking Effecten rond uitbreiding/verbreding van netwerken en intensivering van samenwerking. Schaal en reikwijdte Effecten in relatie tot de grootte en reikwijdte van een project en zijn uitkomsten. Competentie- en expertiseopbouw Effecten in relatie tot opbouw, uitbreiding en verdieping van kennis, ervaring en competenties. Versnelling Effecten in relatie tot het sneller toegang krijgen tot competenties en expertise, en dus het sneller kunnen realiseren van output. Risico Effecten in relatie tot het kunnen nemen van meer risico in een bepaald project. Strategievorming Effecten rond verbetering van managementroutines, erkenning innovatie als strategisch belangrijk en/of uitwerking innovatieplan. Output Tastbare resultaten die het gevolg zijn van deelname aan het betreffende project/programma (bijv. nieuw product of proces). Bron: IDEA Consult 10 Zie: of een studie naar de gedragsadditionaliteit van KP6 subsidies: vioural_additionality_of_the_sixth_framework_programme.pdf p. 14

15 Gids voor de meting van effecten De verschillende soorten effecten die hier zijn opgesomd staan in het ontwikkelde meetkader centraal. De bedoeling is dat projectuitvoerders op een systematische basis (en in teamverband) nagaan welke effecten waarschijnlijk zijn als resultaat van hun project, en op welke termijn Tijdsdimensie waarop effecten zich voordoen Op de vraag wanneer er bepaalde effecten verwacht mogen worden, dienen we allereerst het concept van toewijsbaarheid of attribueerbaarheid te introduceren. Attribueerbaarheid (in het Engels attribution ) wordt vaak als een probleem van causaliteit gezien. De effecten van een bepaald project/programma worden beïnvloedt door diverse factoren (zie ook Figuur 2), onder ander de tijdsspanne die verstrijkt tussen de uitvoering van een project/programma en de (perceptie van) realisatie van een of meerdere effecten. Het probleem van attribueerbaarheid kan onder andere aangepakt worden door het raadplegen van experts die ervoor moeten waken dat de effecten die toegeschreven worden aan een bepaald project of programma, in alle waarschijnlijkheid ook het resultaat daarvan zijn. Deze toets is ook meestal ingebouwd in het zogenaamde programmaontwerp, waarin systematisch nagegaan wordt welke effecten van een bepaalde project/programma verwacht worden en op welke manier deze kunnen worden bereikt (de activiteiten). De grote verscheidenheid aan factoren die een rol spelen bij het zich al dan niet voordoen van specifieke effecten kunnen onmogelijk allemaal in rekening worden genomen. Een uitzondering hierop is de factor tijd. Zoals in ons logic model wordt weergegeven, kunnen effecten zich voordoen op korte termijn (KT), middellange termijn (MT) en lange termijn (LT). In het laatste geval wordt dikwijls gesproken over impact, en niet langer meer over effecten. Kijkend naar de programma s in kwestie (CP, TETRA en CO), dan kunnen we deze tijdsintervallen bij wijze van indicatie als volgt concretiseren. Korte termijn (KT): Effecten die zich voordoen tijdens of net na de uitvoering van een project (< 1 jaar na afloop van een project), waarbij eventueel een verlengde looptijd mee in rekening kan worden genomen. Middellange termijn (MT): Effecten die zich voordoen na de uitvoering van een project (>1 en <3 jaar na afloop), waarbij eventueel een verlengde looptijd mee in rekening kan worden genomen. Lange termijn (LT): Effecten die zich voordoen ruim na afloop van een project (> 3 jaar) en waarbij de attribueerbaarheid onder druk komt te staan. Zoals al aangegeven, gaat hier over impact die zich pas op langere termijn voordoet en die vaak niet het resultaat is van individuele projecten. Het is aan de projectaanvragers en het IWT om deze termijnen zorgvuldig te bepalen en nader in te vullen voor specifieke projecten. p. 15

16 Gids voor de meting van effecten Een geïntegreerde aanpak Samengevat, een effectmeting voor een bepaald project (zoals CP of TETRA/CO) zal een evenwichtsoefening inhouden tussen de volgende drie dimensies: 1. Niveau waarop de effecten zich kunnen voordoen (niveau van de ontvangers/doelgroep versus andere niveaus zoals uitvoerders en/of andere actoren in de bredere omgeving). 2. Soorten effecten waarop een project gericht is (gaande van input tot output en de mogelijke tussenliggende soorten effecten). 3. De tijdsdimensie waarop deze effecten te verwachten zijn en waarbij zeker realisme geboden is (KT, MT, of zelfs LT). Deze dimensies maken deel uit van het voorgestelde meetkader (zie volgende hoofdstukken). p. 16

17 Gids voor de meting van effecten Deel 2: HET MEETKADER EN HET GEBRUIK ERVAN IN DE PRAKTIJK p. 17

18 Gids voor de meting van effecten 1 HET MEETPROCES: DE TE STELLEN VRAGEN In de voorgaande hoofdstukken hebben we de belangrijkste bouwblokken van het meetkader weergegeven. In de volgende hoofdstukken zullen we nader ingaan op het gebruik van het kader in de praktijk. De voorgestelde aanpak om te komen tot een systematische identificatie en vervolgens tot een meting van de relevante effecten, wordt procesmatig gestuurd door een serie vragen. We geven deze vragen hieronder weer. Vraag 1: Welke doelstellingen stellen wij (als projectaanvragers) centraal? Hulpvragen: 1 Welke doelstellingen staan centraal in het betreffende IWT programma (resp. CP/TETRA/CO)? 2 Welke klemtonen willen wij leggen in ons project en kan/mag dit? 3 Kunnen en mogen we (van het IWT) de nodige activiteiten uitvoeren om deze doelstellingen te bereiken? Vraag 2: Welke effecten willen we vervolgens bereiken? Hulpvragen: 1 In functie van de gelegde klemtonen bij de beantwoording van de vorige vragen, welke effecten zullen zich voordoen, of welke effecten wilt u realiseren? 2 Houd hierbij rekening met de soort effecten, het niveau waarop de effecten zich kunnen voordoen, en de termijn waarbinnen de effecten te verwachten zijn (IWT regels). Vraag 3: Welke indicatoren zijn het meest geschikt om de effecten te meten en dus te monitoren? Hulpvragen: 1 Effecten zijn op verschillende manieren te meten; welke indicatoren zijn het meest geschikt om de vooropgestelde effecten te meten? 2 Zorg hierbij voor voldoende variëteit in uw indicatorenmand! Kwantitatieve en kwalitatieve indicatoren dienen zich af te wisselen. Vraag 4: Welke meetaanpak is hierbij geschikt? Hulpvragen: 1 Ligt de gegevensverzameling binnen uw bereik of bent u tevens afhankelijk van aanlevering door anderen? Wie moet wat doen? Maak hierover afspraken! 2 Maakt de meetaanpak integraal deel uit van het management van uw project(en)? Voorzie voldoende tijd en middelen om de indicatoren op te volgen. Hulpmiddelen: blauwdruk van mogelijke effecten op diverse niveaus op basis van programma ontwerp en de grid om de verwachte effecten nader te detailleren en te selecteren. p. 18 Vraag 3 (= stap 3): Welke indicatoren kiezen wij als uitvoerder om de verwachte en geselecteerde effecten te meten?

19 Gids voor de meting van effecten 2 WELKE DOELSTELLINGEN STAAN CENTRAAL? Gewenst resultaat van deze stap 1 Een helder overzicht van de doelstellingen die u als projectaanvrager/-uitvoerder met uw project nastreeft. Mogelijke hulpmiddelen 1 De IWT handleidingen die in detail aangeven welke activiteiten, en dus doelstellingen, gefinancierd kunnen worden. 2 De blauwdruk van doelstellingen voor CP, TETRA en CO die te vinden zijn in bijlagen 1, 2 en 3 (deze handleiding) waardoor u zich kunt laten inspireren. 3 Het Logic Model principe zoals uiteengezet in Figuur 2. Het vertrekpunt van een evaluatie (van effecten) is de analyse van de vooropgestelde doelstellingen. Om dit te bewerkstellingen reiken we serie blauwdrukken aan (zie bijlagen). We spreken van een blauwdruk omdat het gaat over typische verwachtingen ten aanzien van de doelstellingen van een gemiddeld project in de bestudeerde programma s. Een eerste belangrijk hulpmiddel is aldus een blauwdruk van de doelstellingen van CP, TETRA en CO projecten. Deze blauwdruk zal de uitvoerders (of projectaanvragers) helpen om op voorhand na te gaan welke doelstellingen normaliter centraal staan voor hun project. Afwijken van de blauwdruk is wenselijk, zelfs noodzakelijk, om de specificiteit van een project tot zijn recht te laten komen. Ook de Tip Stel uzelf eens de vraag: welk probleem of uitdaging waar de sector mee kampt, willen wij aanpakken? blauwdrukken zelf kunnen evolueren naar gelang het ontwerp van het programma verder evolueert (hier is tevens een rol weggelegd voor het IWT). Voor nieuwe aanvragers ligt het voor de hand dat men vertrekt van de IWThandleiding met instructies over het aanvragen van nieuwe projecten. Deze handleidingen geven in detail aan welke doelstellingen nagestreefd kunnen/moeten worden en welke activiteiten in dat verband gehonoreerd kunnen worden. Dat is een ander hulpmiddel dat ook relevant kan zijn voor het aftoetsen van doelstellingen en activiteiten van lopende projecten. Een derde hulpmiddel om de contouren van een project (in wording) scherp te stellen, is het Logic Model (zie Figuur 2). Het Logic Model bevat specifieke elementen die kunnen helpen om een project vorm te geven. Het model vertrekt van een zogenaamde diagnose, de huidige situatie, en stelt impliciet vragen over de prioriteiten en de middelen die ter beschikking staan (zowel aan de kant van de overheid, maar ook aan de kant van de projectaanvrager en zelfs de deelnemende bedrijven) om het project in kwestie te financieren en uit te voeren. Een andere mogelijkheid is te vertrekken van het gewenste resultaat om zo via backward engineering na te gaan hoe een resultaat bereikt kan worden en welke inspanningen daarvoor nodig zijn. Dit kan zeker ook een goede toetssteen zijn voor lopende projecten. p. 19

20 Gids voor de meting van effecten Ter illustratie, stel dat in een bepaalde subsector de samenwerkingsbereidheid laag is, waardoor er kansen op het vlak van kennisdeling verloren gaan, dan is het mogelijk om op basis van deze vaststelling als doelstelling van een project naar voren te schuiven: het vergroten van de samenwerking binnen subsector X. Als dit het gewenste eindresultaat is, dan dienen alle activiteiten en acties aan deze doelstelling bij te dragen (bijvoorbeeld, workshops die het belang van samenwerking aantonen, platformen aanreiken waardoor samenwerking gemakkelijk kan worden gemaakt). Hoe gaat u te werk? Op basis van de eerder aangehaalde hulpmiddelen wordt op een systematische wijze nagegaan welke doelstellingen u centraal wenst te stellen (deels centraal moet stellen). Het Logic Model, de blauwdrukken maar ook de handleidingen van het IWT helpen u hierbij en bieden u concrete aanknopingspunten. Het is belangrijk dat u in teamverband de doelstellingen inventariseert en scherp formuleert. Daarnaast is het essentieel dat de doelstellingen afgetoetst worden met de stakeholders, zijnde de bedrijven ( ontvangers ), het IWT (als uitvoerende overheid) en andere direct/indirect belanghebbenden (zoals een hogeschool die enerzijds uitvoerder is maar anderzijds ook zelf sterk kan profiteren van de kennisopbouw). Het betrekken van uw doelgroep in een vroeg stadium (het ontwerp) zal voor de nodige buy Tip Vertrek eens van het verschil (belangrijkste effect) dat u met uw project wil maken. Doet u vandaag dan de juiste dingen? in zorgen en zal het gemakkelijker maken om de wederzijdse verwachtingen scherp te stellen en te harmoniseren, en om het engagement te verkrijgen voor het monitoren en aanleveren van data over bereikte effecten (zie ook verderop). Als hulpmiddel bij het inventariseren van de relevante doelstellingen kan gebruik worden gemaakt van het invulformulier (zie tabel hieronder). Een leeg formulier kan worden gevonden in bijlage. Het invulformulier bevat een aantal instructies en vragen die de projectaanvragers op weg zullen helpen. Zoals gezegd, is het aanbevolen om de invulling in teamverband te doen (bijvoorbeeld, de direct belanghebbenden). Het startpunt voor de invulling kan zijn: 1) De activiteiten die gefinancierd kunnen worden vanuit het programma (conform de handleiding van het IWT of de blauwdrukken). 2) Het eindresultaat (het effect) dat men wil bereiken met het project in kwestie ( backward engineering ). Afhankelijk van de insteek kunt u telkens een niveau naar beneden of een niveau hoger gaan met de invulling. Het zijn vooral de intermediaire doelstellingen waar u als projectuitvoerder op moet letten. Dit zijn de doelstellingen die een resultaat ofwel een effect reflecteren bij de onmiddellijke doelgroep (de zogenaamde beneficiaries ), veelal de bedrijven. Tegelijk dient ook nagedacht te worden over de strategische doelstellingen waaraan uw project bijdraagt. Immers, de individuele projecten binnen een bepaald programma dienen op hun beurt bij te dragen tot de realisatie van de strategische doelstellingen van het programma. p. 20

21 Gids voor de meting van effecten Bijvoorbeeld, bij een van de competentiepolen waar een testcase is uitgevoerd, is men na het doorlopen van de vorige stappen gekomen tot de identificatie van volgende intermediaire doelstellingen: ID1. ID2. ID3. ID4. ID5. ID6. ID7. ID8. Verhogen van kennis en expertise bij bedrijven Verhogen/versnellen van innovatie m.b.t. de ontwikkeling van verbeterde producten, processen en diensten Verhogen/verbeteren van samenwerking tussen bedrijven en / of kennisinstellingen Vervullen van doorverwijsfunctie m.b.t. to innovatief verbeteren van advies/bijstand Vergroten van (nat. / int.) netwerk van de bedrijven Verbeteren van advies/bijstand m.b.t. innovatie Verbeteren/versterken van de coördinatie binnen de voedselketen Inspelen op noden/behoeften van de bedrijven (op basis van deze noden kunnen projecten worden opgestart) Deze doelstellingen dragen vervolgens bij tot de langere termijn ambities en doelstellingen, zijnde: SD1. SD2. Stimuleren van (wetenschappelijke/technologische) innovatie via collectieve acties Verhogen van de zichtbaarheid van de [sector] (nat./int.) p. 21

22 Tabel 1: Invulformulier doelstellingenhiërarchie Activiteiten Intermediaire Doelstellingen Strategische Doelstellingen Impact Hier neemt u de dagdagelijkse activiteiten op die u wilt uitvoeren om uw doelstellingen te behalen. Dit zijn de activiteiten die eveneens gefinancierd kunnen worden (zie IWT handleidingen). Hier geeft u de doelstellingen weer die een resultaat reflecteren bij de onmiddellijke doelgroep, vaak de bedrijven (de zogenaamde beneficiaries ). Hier geeft u de doelstellingen weer die overeenkomen met de verwachte strategische effecten (zelfs impact) van het gefinancierde project of gefinancierde projecten. Hier geeft u de ambitie weer die samenhangt met de globale impact van de interventie (lees: het steunprogramma in zijn geheel) Impactstudies zijn zeer specifiek van aard. Voorbeelden: Voorbeelden: Voorbeelden: Voorbeelden: Nummering maakt discussie makkelijker. A1. Uitvoeren van contractonderzoek, coöperatief onderzoek en collectief onderzoek A2. Maken van publicaties (vakinhoudelijk en nietvakinhoudelijk) A3. Organisatie van evenementen (workshops, conferenties, ) ID1. Verhogen van het aantal innovaties bij bedrijven ID2. Verhogen van kennis en competenties bij bedrijven ID3. Verbeteren van afstemming, samenwerking en coördinatie binnen en rond de sector SD1. Vergroten van het innovatievermogen van bedrijven in de sector SD2. Verhogen van de internationale zichtbaarheid van de bedrijven en de sector I1. Versterken van de concurrentiepositie van de sector en verhogen van de werkgelegenheid Tijd Realisatie is altijd een functie van tijd. Het een draagt ook bij tot het ander. p. 22

23 3 WELKE EFFECTEN WORDEN ER VERWACHT? Gewenst resultaat van deze stap 1 Een helder overzicht van de effecten die u via uw project wenst te bereiken en waarover u als projectuitvoerder verantwoordelijkheid draagt. Mogelijke hulpmiddelen 1 De IWT handleidingen die in detail aangeven welke doelstellingen en resultaten worden verwacht van een soortgelijk project. 2 De grid die wij voor u hebben ontwikkeld in het kader van deze handleiding. 3 Het Logic Model principe zoals uiteengezet in Figuur 2. 4 De door u vooropstelde intermediaire doelstellingen die feitelijk uw uitgangspunt moeten zijn. Nadat de doelstellingen op een gestructureerde manier in kaart zijn gebracht dienen deze vertaald te worden in (mogelijke) effecten. Zoals we hierboven hebben uiteengezet, is een effect een heterogeen concept/begrip, en dit zowel naar soort, tijd, en naar niveau waarop het zich kan voordoen. Zoals we in de Logic Model (zie Figuur 2) hebben weergegeven, zijn de assumpties die onderliggend zijn aan een bepaald type project/programma van groot belang. Het zijn deze assumpties die voor een deel zullen bepalen welke effecten verwacht worden, op welk niveau en tegen wanneer. Als gevolg hiervan is het belangrijk om ook de assumpties onderliggend aan de voorziene effecten tegen het licht te houden en af te stemmen met de stakeholders rond uw project (zoals bij de doelstellingen). Deze afstemming zal ook hier helpen om de na te streven effecten realistisch en binnen de verwachtingen te houden (het zogenaamde management of expectations ). Tip Bekijk eens samen met uw bedrijven welke effecten waarschijnlijk zijn en tegen wanneer Als ondersteuning bij de vorige stap van het meetkader staan blauwdrukken van doelstellingen ter beschikking. Dit zijn doelstellingen die een gemiddeld project op basis van het algemeen ontwerp van de respectievelijke CP, TETRA, en CO programma s zou kunnen nastreven. Bij de identificatie van de relevante effecten, echter, stellen we een meer open benadering voor waarbij we enkel een instrument aanreiken om het proces te faciliteren. Op basis van de systematische analyse van de CP, TETRA en CO programma s en projecten (en de testcases) is wel gebleken dat de effecten zich hoofdzakelijk situeren rond de soorten die we eerder hebben geïntroduceerd (zie Figuur 3). De verwachting is dan ook dat deze soorten effecten voldoende richtinggevend zullen zijn, maar dat tegelijk een zekere verfijning en scherpstelling mogelijk/nodig zal zijn afhankelijk van type programma en project. p. 23

24 Gids voor de meting van effecten Hoe gaat u te werk? Net zoals bij de vorige stap, is ook hier een bespreking en benadering in teamverband wenselijk. Hieronder presenteren we een tweede invulformulier de grid om de effecten op een systematische wijze in kaart te brengen. Vertrekkend van de centraal gestelde intermediaire doelstellingen (resultaat uit vorige stap) dient nagegaan te worden welke soorten effecten nagestreefd worden (de toelichting bij de mogelijke soorten effect wordt gegeven in Figuur 3 en in het invulformulier hieronder). De grid combineert de drie dimensies van effecten: 1) het soort effect, 2) het niveau waarop het effect zich zal voordoen, en 3) de termijn waarbinnen het effect gerealiseerd zal zijn. Volgend op onderstaande tabel geven we, ter inspiratie, een beschrijving van veelvoorkomende effecten. p. 24

25 Tabel 2: Invulformulier inventarisatie relevante effecten (de grid ) Definities/betekenis wordt gegeven in Figuur 4. Naam project: [titel van het project] Type project: [onder welk programma past het project?] Datum invulling: [datum/versie invulling] Soorten effecten Niveau en termijn waarop effecten te verwachten zijn Ontvangers (bedrijven) Uitvoerders (kennisinstellingen) Invulling voordat project wordt aangevraagd (evt. in collectief verband). Input Gaan er bijkomende investeringen/inspanning en zijn? KT: [invulling] MT: KT: [invulling] MT: Netwerking en samenwerking Zullen er effecten zijn rond netwerking en samenwerking? KT: MT: KT: MT: KT is tijdens de looptijd van het project of < 1 jaar na afloop (afhankelijk van verlenging). Let op: de manier van vraagstellen reflecteert een ex ante (vooraf) insteek. Schaal en reikwijdte Laat het project toe om bedrijven deel te laten nemen aan onderzoek op grotere schaal? Competentie- en expertiseopbouw Zal het project leiden tot competentie- en expertiseopbouw? KT: MT: KT: MT: KT: MT: KT: MT: MT is tussen 1 en 3 jaar na afloop (afhankelijk van verlenging). Versnelling Zal het project de snelheid van O&O verhogen dan anders het geval zou zijn? KT: MT: KT: MT: Risico Leidt het project tot risico verkleining (in relatie tot onzekerheid van onderzoek?) KT: MT: KT: MT: Strategievorming Zal het project de strategie van het bedrijf rond O&O veranderen? KT: MT: KT: MT: Output Zullen er nieuwe producten of processen ontwikkeld worden? Of sterke optimalisaties? KT: MT: KT: MT: Bron: IDEA Consult p. 25

26 Gids voor de meting van effecten Enkele voorbeelden van effecten Meer innovaties bij deelnemende bedrijven. Ten gevolge van de activiteiten is het de verwachting dat het aantal innovaties bij deelnemende bedrijven is gestegen. Innovaties kunnen worden gekenmerkt als vernieuwingen of substantiële verbeteringen in een product, proces of software. Het is tevens mogelijk dat innovatie het introduceren van licht aangepaste producten (of diensten) op nieuwe markten inhoudt. [Output] Meer en betere afstemming, samenwerking en coördinatie binnen en rond de sector. Als gevolg van de activiteiten is er meer en betere afstemming, samenwerking en coördinatie tussen bedrijven onderling, en/of tussen bedrijven en kennisinstellingen. Neveneffecten kunnen zijn: een positieve invloed op het aantal kruisbestuivingen tussen deelnemende organisaties, een toename in de beschikbare kennis en een efficiënter inzet van middelen. Tevens is het de verwachting dat bedrijven meer en sneller kennis en competenties opbouwen door spillover effecten. Ook op het vlak van IPR, en delen van expertise en apparatuur is meer samenwerking van groot belang. [Netwerking en samenwerking en Competentie- en expertiseopbouw]. Meer kennis en competenties bij bedrijven. De activiteiten leiden tot uitbreiding van kennis en competenties waardoor het innovatiepotentieel van bedrijven toeneemt. Impliciet kunnen externe kennisbronnen beter benut worden omdat een toename in kennis en competenties ook leidt tot een vergroot absorptievermogen bij bedrijven. De bedrijven zijn beter op de hoogte van de nationale en international O&O&I ontwikkelingen waardoor ze beter kunnen inspelen op de trends. [Competentie- en expertiseopbouw] Oprichten van nieuwe collectieve verbanden. Het hoofdeffect is een toename in het aantal collectieve verbanden, als gevolg waarvan meer bedrijven gestimuleerd worden om (meer) te gaan investeren in O&O. Tegelijk neemt de organisatiegraad van de sector/subsector toe waardoor de kans op kennisspillovers en synergieën toeneemt. Als neveneffect heeft het een positieve invloed op het aantrekken van cofinanciering (vanwege de eis vanuit het programma) en op de stabiliteit van het programma. [Input] Nieuwe leden die aangetrokken zijn. De activiteiten in het kader van Collectief Onderzoek hebben geresulteerd in het aantrekken van nieuwe leden en dus in een groter aantal bedrijven dat actief aan O&O doet. Dit heeft als neveneffect een positieve invloed op het aantrekken van cofinanciering. [Input] Meer/sterkere innovatiecompetenties van onderzoekers. Als hoofdeffect is gebleken dat TETRA-projecten leiden tot een versterking van de innovatiecompetenties van onderzoekers in het hoger onderwijs. Hieronder vallen zowel een toename in kennis en competenties als een toename in multidisciplinair kunnen handelen. [Competentie- en expertiseopbouw] Nieuwe opleiding/cursussen. Een effect van een collectief traject kan het aanbieden zijn van nieuwe dienstverlening. Bijvoorbeeld op het vlak van nieuwe/aangepaste cursussen/opleidingen. [Competentie- en expertiseopbouw] p. 26

27 Gids voor de meting van effecten 4 WELKE INDICATOREN ZIJN GESCHIKT OM TE METEN? Gewenst resultaat van deze stap 1 Een selectie van indicatoren die toelaten om op periodieke basis de vooropgestelde effecten te meten en dus het succes van de eigen werking te kunnen aantonen. Mogelijke hulpmiddelen 1 De IWT handleidingen die in detail aangeven welke indicatoren (vooral activiteiten) periodiek gerapporteerd moeten worden. 2 De in deze studie ontwikkelde lijst met type indicatoren per soort effect (toegespitst naar niveau en tijdsdimensie). Het kiezen van de juiste indicator(en) om een bepaald effect te meten is geen gemakkelijke oefening, ten eerste gezien de verscheidenheid aan opties, en ten tweede gezien de moeilijkheden die vaak gepaard gaan met de meting zelf. Het gevolg is dat er vaak meerdere indicatoren nodig/mogelijk zijn om een en hetzelfde effect te meten. We spreken in dit geval ook wel over proxies ofwel benaderende indicatoren, zijnde indicatoren die het te meten effect zo goed mogelijk benaderen. In dit hoofdstuk presenteren we een selectie van type indicatoren die verder verfijnd kunnen worden in de context van een specifiek project/programma maar die tegelijk wel de belangrijkste (verwachte) effecten van de werking van CP, TETRA en CO projecten meten. Wat is echter een goede indicator? Hieronder presenteren we een aantal kenmerken van goede indicatoren. Relevantie: er behoort een duidelijke (intuïtieve) link te zijn tussen de indicator en het te meten effect. Stakeholders (programma-/projectcoördinatoren, het IWT, bedrijven en overig) krijgen een beter beeld van de prestaties van een programma/project naar gelang de gevolgde indicatoren relevant zijn. Afbakening: de informatie geleverd door de gekozen indicatoren dient gefocust te zijn en dus tegelijk beperkt in aantal. Met andere woorden de set van geselecteerde indicatoren behoort alle belangrijke aspecten van de relevante effecten van het programma/project te omvatten. Acceptatie: de gekozen indicatoren behoren bediscussieerd te worden met alle stakeholders en belanghebbende partijen om er zeker van te zijn dat er overeenkomst is bereikt over de interpretatie en acceptatie van de indicatoren. Zoals al eerder aangegeven, is het van belang om bij aanvang van een specifiek project overeenstemming te bereiken over de set van bij te houden indicatoren. Geloofwaardigheid: zijn indicatoren eenvoudig te interpreteren? Zijn ze geloofwaardig om te gebruiken in rapporteringen? Zijn ze eenduidig te interpreteren door de diverse stakeholders? Dit zijn eisen die gesteld moeten worden aan de te kiezen indicatoren. Eenvoudig: is de data toegankelijk en eenvoudig te verkrijgen. Kan de data eenvoudig gemeten worden, zonder excessieve of disproportionele inspanningen (d.w.z. rechtvaardigt de waarde van de informatie de inspanningen om deze te verkrijgen?). In het beste geval zouden indicatoren eenvoudig en efficiënt verkregen moeten kunnen worden gedurende de looptijd van het project/programma, en niet uitsluitend achteraf (ex post). p. 27

28 Gids voor de meting van effecten Betrouwbaarheid en robuustheid: de informatie moet voldoende accuraat en betrouwbaar zijn ten opzichte van de doeleinden waarvoor deze verzameld wordt. Zijn de indicatoren bestendig tegen manipulatie door degenen die ze produceren? Kan de keuze van indicatoren leiden tot een ongewenste verandering in het gedrag van de betreffende actoren ( what you measure is what you get )? Vanzelfsprekend moeten de nodige periodieke externe controles uitgevoerd worden om deze vereisten af te toetsen. Consistentie en vergelijkbaarheid: idealiter zouden indicatoren consistent zijn van jaar tot jaar. Desondanks moeten ze wanneer noodzakelijk wel aangepast en verfijnd kunnen worden om belangrijke contextuele verandering weer te geven (bijvoorbeeld, bij de verlenging van een project moet het mogelijk zijn om de indicatoren aan te passen en te verfijnen waar nodig/wenselijk). Waar mogelijk zouden indicatoren ook vergelijkbaar moeten zijn zodat ze vergeleken kunnen worden binnen of tussen programma s. Hieronder stellen we een aantal indicatoren voor die aan deze principes/vereisten voldoen. De indicatoren worden gekoppeld aan de soorten effecten zoals we die hierboven hebben onderscheiden. Hoe gaat u te werk? Op basis van de grid is er een systematisch overzicht gemaakt van de soorten effecten, de termijn waarbinnen en het niveau waarop de effecten zich zullen voordoen (op basis van de verwachtingen). Indien de nadruk van het project ligt bij het bereiken van effecten rond netwerking en samenwerking, dan gaat u in de tabel hieronder na welke indicatoren relevant zijn om de betreffende effecten te meten. U kiest dan een zogenaamde type indicator die u verder kunt verfijnen naar gelang de focus. Elke type indicator heeft een eigen fiche waarin de beschrijving van de indicator is opgenomen, evenals de mogelijke subindicatoren/varianten. Tip Verfijn de indicatorfiches voor uw project en neem deze op als bijlage in uw projectaanvraag. Toets deze ook eerst af met uw bedrijven zodat het duidelijk wordt welke informatie van hen moet komen. Er zijn zeker combinaties mogelijk tussen indicatoren in een bepaalde categorie en andere soorten effecten. De termijn waarop een effect zich zal voordoen (KT, MT, LT) zal van invloed zijn op de periodiciteit waarop de indicator/meting zal plaatsvinden. Bijvoorbeeld, indien op langere termijn verwacht wordt dat het project zal leiden tot nieuwe prototypes, dan zal het aantal nieuwe prototypes maar gemeten kunnen worden na afloop van project. De indicatorfiche voor een bepaald project zal verder gepreciseerd moeten worden in functie van de meetfrequentie en dus de termijn waarop het effect verwacht wordt. De indicatoren moeten contextspecifiek gemeten worden. Het is dus niet mogelijk om algemene streefwaardes te stellen die voor verschillende projecten gelden. Ter illustratie, het wegtrekken van onderzoekers naar de industrie is op zich een positief resultaat van een TETRA-project, omdat het aangeeft dat deze onderzoeker veel geleerd heeft. Voor een Collectief Onderzoeksproject zal een zelfde vertrek eerder afbreuk doen aan de interne kennisopbouw. Het evenwicht, de interpretatie, zal project per project bekeken moeten worden. p. 28