Op zoek naar de Effecten. Een gids voor de meting van de effecten van Competentiepolen, TETRA en Collectief en landbouwonderzoek

Transcriptie

1 agentschap voor Innovatie door Wetenschap en Technologie Op zoek naar de Effecten Een gids voor de meting van de effecten van Competentiepolen, TETRA en Collectief en landbouwonderzoek Arnold Verbeek, Idea Consult 68April 2011

2 Colofon Wilt u meer weten? IWT-studies worden uitgegeven door het agentschap voor Innovatie door Wetenschap en Technologie in het kader van het werkprogramma van de Unit Monitoring en Analyse (M&A). De auteurs zijn verantwoordelijk voor de eigen standpunten die worden ingenomen bij de uitwerking van de studies. Redactie Joeri De Vos (Lay-out) De studie is ook terug te vinden op: Contacteer de auteurs: IDEA Consult Kunstlaan 1-2, bus 16 B-1210 Brussel Tel.: +32 (0) Fax: +32 (0) info@ideaconsult.be Eric Sleeckx (Eindredactie) Publicatiedatum: April 2011 Depotnummer: D/2011/7037/4 Copyright: Overname wordt toegestaan, behalve voor handelsdoeleinden, mits bronvermelding

3 Inhoudsopgave Inhoudsopgave 5 DEEL 1: ACHTERGROND 7 1 Over deze studie Situering en doelstelling Aanpak Leeswijzer 8 2 Het belang van effectmetingen De rol van de overheid bij O&O en innovatie De nood tot verantwoording 9 3 Onderliggende principes en bouwstenen Algemene principes meetkader Effecten en het Logic Model Effecten nader beschouwd Verschillende niveaus waarop effecten zich kunnen voordoen Verschillende soorten effecten Tijdsdimensie waarop effecten zich voordoen Een geïntegreerde aanpak 14 DEEL 2: HET MEETKADER EN HET GEBRUIK ERVAN IN DE PRAKTIJK 15 1 Het meetproces: de te stellen vragen 17 2 Welke doelstellingen staan centraal? 19 3 Welke effecten worden er verwacht? 23 4 Welke indicatoren zijn geschikt om te meten? Meting van effecten bij de ontvangers Indicatorfiches Input Indicatorfiches Netwerking en samenwerking Indicatorfiches Schaal en reikwijdte Indicatorfiches Competentie- en expertiseopbouw Indicatorfiches Versnelling Indicatorfiches Risico Indicatorfiches Strategie 42 Inhoudsopgave 3

4 4.1.8 Indicatorfiches Output Meting van effecten aan de kant van de uitvoerders Indicatorfiches Competentie- en expertiseopbouw Indicatorfiches Output 51 5 Hoe kan de meting worden aangepakt? 53 6 Referenties 57 Annex 1: Beknopt overzicht programma: Competentiepolen 59 Annex 2: Beknopt overzicht programma: Collectief onderzoek 63 Annex 3: Beknopt overzicht programma: TETRA 67 Annex 4: Invulformulier doelstellingen 71 Annex 5: Lijst van overige relevante indicatoren 73 4 Inhoudsopgave

5 1 deel 1: Achtergrond inzicht krijgen in de resultaten en effecten. in eerste instantie voor de projectuitvoerders zelf. deze gids biedt ondersteuning bij het in kaart brengen van effecten. ook te gebruiken bij het uitwerken van een nieuwe projectaanvraag. Deel 1: Achtergrond 5

6 6 Deel 1: Achtergrond

7 1 over deze studie 1.1 Situering en doelstelling Als Innovatieagentschap (IWT) beschikt het IWT over verschillende financieringsinstrumenten waarmee het steun verleent aan bedrijven die wensen te innoveren, aan kennisinstellingen die aan gerichte kennisopbouw doen ten gunste van de bedrijven, alsook aan actoren die acties ondernemen rond innovatiestimulering van bedrijven. Om verantwoording te kunnen afleggen ten aanzien van gemaakte keuzes, maar ook in het kader van de verdere rationalisering van het beleid rond innovatie, dat momenteel ook in Europa gaande is, lijkt het aangewezen en zelfs noodzakelijk om nader inzicht te krijgen in de resultaten en de effecten van lopende steunmaatregelen. Het IWT wenst via de ontwikkeling van een resultaaten effectmetingmethode een methodiek te ontwikkelen en te testen die toelaat om de resultaten en effecten van de werking van het programma Competentiepolen (CP), Technologietransfer (TETRA) en Collectief Onderzoek (CO)*, te meten en op te volgen. In eerste instantie voor de projectuitvoerders zelf om hun werking beter te kunnen opvolgen (monitoring), maar in tweede instantie ook voor het IWT zelf om de meerwaarde van zijn programma s te kunnen beoordelen en bij te sturen waar en wanneer nodig. Dit rapport verschaft dus zowel de theoretische onderbouw voor het IWT om een methodiek toe te passen als een prak- Selectie van gerelateerde IWT studies (zie Studie 48: Making the Difference: The Evaluation of Behavioral Additionality of R&D Subsidies Studie 56: What difference do IWT R&D grants make for their clients Studie 59: De effectiviteit van het Vlaamse Innovatiesamenwerkingsverband (VIS) Studie 61: Werking en effecten van Collectief Onderzoek Studie 62: Zelfevaluatie van competentiepolen * inclusief Landbouwonderzoek tisch hanteerbaar hulpmiddel voor de aanvragers om hun programma s te structureren. Deze studie heeft dan ook tot doel een om een generieke set van parameters te ontwikkelen (een gids) om de relevante resultaten en effecten van de verschillende types van de eerdergenoemde programma s te registreren. In eerste instantie ligt hierbij de focus op het programma CP, maar er wordt ook voldoende aandacht besteed aan de programma s TETRA en CO. De nadruk bij de methodiekontwikkeling ligt op het structureren van het proces en de ondersteuning ervan. Tenslotte, deze studie kadert in een groter geheel van studies en initiatieven gericht op het systematisch monitoren en evalueren van IWT steunprogramma s (zie ook tekstkader). 1.2 Aanpak De ontwikkelde aanpak voor deze studie is ontwikkeld in samenspraak en wisselwerking met de projectuitvoerders ( het veld ). We hebben voor deze aanpak gekozen aangezien het meetkader in eerste instantie bedoeld is voor zelfevaluatie en monitoring van de eigen activiteiten. Naast een serie van cases studies (in de vorm van kleine focusgroepen) zijn er diverse vergaderingen georganiseerd met projectuitvoerders en coördinatoren van de diverse programma s. Hieronder presenteren we de verschillende uitgevoerde fases en activiteiten. Figuur 1. Overzicht fasering Bron: Idea Consult F1: Inceptiefase F2: Gezamenlijke ontwikkeling meetmethodiek F3: Empirische toepassing F4: Optimalisatie meetmethode F5: Eindrapportage en valorisatie Over deze studie 7

8 Zoals uit de voorgaande figuur blijkt, is deze studie uitgevoerd in vijf verschillende fasen. In fase 1 heeft er een verdere concretisering van de aanpak plaatsgevonden. In fase 2 werden de eerste principes vastgelegd van het te volgen meetkader op basis van een workshop met vertegenwoordigers van CP, en projecten TETRA en CO. In fase 3 is er een toetsing uitgevoerd van het meetkader door middel van een zevental case studies 1. Centraal in deze gesprekken stond de interpretatie en het werkelijke gebruik van het meetkader. In fase 4 werden de resultaten uit de testmeting nader geanalyseerd ter optimalisatie van het meetkader. De laatste fase, fase 5, hield de eindrapportage en de verdere verspreiding van de ontwikkelde aanpak in. Deel 2, het meetkader en het gebruik ervan in de praktijk, bestaat uit een vijftal hoofdstukken. Het eerste hoofdstuk geeft een overkoepelend overzicht van het meetkader en het te volgen meetproces. Hoofdstukken 2 tot en met 5 gaan dieper in op elke stap uit het meetkader. Elk hoofdstuk bevat uitleg, tips en verwijzingen naar verder achtergrondmateriaal. Onderliggende handleiding dient bekeken te worden in samenhang met de handleiding voor Zelfevaluatie van Competentiepolen Leeswijzer Dit rapport bestaat uit 2 delen. In deel 1, de algemene achtergrond, bevinden zich een drietal hoofdstukken. Naast hoofdstuk 1, de algemene introductie tot de studie en de aanpak, wordt er in hoofdstuk 2 stilgestaan bij het belang van effectmetingen door een schets van de overkoepelende nationale en internationale beleidsontwikkelingen. Hoofdstuk 3 verschaft een overzicht van de belangrijkste methodologische principes onderliggend aan het meetkader. Voor wie is deze gids bedoeld? Deze gids is in eerste instantie bedoeld voor de huidige en toekomstige projectuitvoerders. Voor de eerste groep, zal deze gids ondersteuning kunnen bieden bij het in kaart brengen en monitoren van de nagestreefde effecten, maar zal eveneens een reflectie toelaten op de relevantie van de activiteiten die tot op heden worden uitgevoerd. Voor de tweede groep, kan deze gids een handleiding zijn bij het ontwikkelen van toekomstige projectaanvragen en het scherpstellen van de na te streven effecten. In tweede instantie is deze gids bedoeld voor het IWT dat hiermee een kader krijgt aangereikt om projecten te helpen richten op de gewenste effecten en deze ook systematisch te monitoren. 1 Het betreft in het bijzonder de competentiepolen Flanders FOOD, Flanders Mechatronics Technology Centre (FMTC), en het Vlaams Instituut voor de Logistiek (VIL); een serie individuele TETRA en CO projecten bij het Belgisch Instituut voor de Lastechniek (BIL), de Hogeschool Gent, de KHK Kempen en het Wetenschappelijk en Technisch Centrum voor het Bouwbedrijf (WTCB). 2 Zie: 8 Over deze studie

9 2 het belang van effectmetingen 2.1 De rol van de overheid bij O&O en innovatie Hoewel we ons in deze studie richten op de ontwikkeling van een meetkader voor de meting van effecten van specifieke programma s (CP, TETRA en CO), is inzicht in de overkoepelende beleidsontwikkelingen en -relevantie belangrijk. Op het Europese vlak hebben we te maken met de Lissabon strategie 3 en de hernieuwde Europa 2020 strategie 4, waarin belang wordt gehecht aan de zogenaamde kennisdriehoek, bestaande uit onderzoek, onderwijs en innovatie. Vlaanderen heeft met zijn eigen Vlaanderen in Actie strategie 5, en de Staten- Generaal voor de Industrie zich daarnaast nog gericht op transformatie van het industriële landschap van arbeidsintensief naar meer kennisintensief, en heeft zijn eigen accenten gelegd. De focus van deze strategieën (en andere) is erop gericht om de competitiviteit van sectoren te behouden en te verbeteren, met als doel om onze levensstandaard naar de toekomst toe te vrijwaren. Beleidsmaatregelen die deze doelstelling helpen realiseren zijn dan ook onmisbaar. Er is veel theoretisch en empirisch onderzoek verricht rond het belang van technologische ontwikkeling en innovatie voor economische groei, voldoende om duidelijk aan te kunnen tonen wat het belang is van investeringen in O&O en innovatie voor onze economische groei. Schattingen van rendementen als gevolg van eigen O&O investeringen lopen uiteen, maar er is in toenemende mate consensus aan het ontstaan dat deze bruto rendementen tussen de 20-30% fluctueren (op basis van studies op bedrijfsniveau). Kennisverspreiding (bewust en onbewust) in relatie tot O&O is eveneens van groot belang hierbij. Wanneer we daarmee rekening houden, kunnen bruto rendementen voor bedrijven zelfs oplopen tot 40%. Waarom gaan alle bedrijven dan niet over tot investeringen in O&O? In de eerste plaats omdat er sprake is van een imperfecte marktwerking waardoor de private sector minder investeert in O&O dan maatschappelijk gewenst. De redenen hiervoor zijn: Onzekerheid: bij de aanvang van onderzoeksprojecten is het niet zeker dat het project ook werkelijk zal leiden tot nieuwe kennis en innovatie (als gevolg van technische complexiteit, tijdsbeperkingen, en investeringsvereisten). Toe-eigening: als een project succesvol zal verlopen, is het nog maar de vraag of het betreffende bedrijf erin zal slagen om zich de meerwaarde volledig toe te eigenen (in het licht van kennisverspreiding). Dit weerhoudt bedrijven dan ook vaak van het investeren in specifieke O&O projecten. Destructie: waarom zou een bedrijf investeren in nieuwe kennis en innovatie wanneer men het risico zou verhogen dat huidige producten en diensten die vandaag goed lopen en veel omzet genereren morgen ineens ingehaald worden door de nieuw ontwikkelde producten en diensten? Overheden richten zich op het neutraliseren van deze factoren (het marktfalen) door het introduceren van steuninstrumenten gericht op de stimulering van O&O en innovatie (zo ook dus de programma s CP, TETRA en CO) en op de versterking van menselijk kapitaal en netwerken. 2.2 De nood tot verantwoording Het mag duidelijk zijn dat overheidsinterventie het marktfalen maar voor een deel kan opheffen. Het is echter ook mogelijk dat de overheidsinterventie niet voldoende resultaat oplevert en dat bijsturing/afschaffing noodzakelijk is. Immers, als de maatschappelijke kosten hoger zijn dan de opbrengsten is rechtvaardiging van de maatregel niet langer mogelijk. Ten tijden van economisch tegenvallende resultaten, waarbij de middelen onder druk komen te staan, neemt de noodzaak toe om (de juiste) keuzes te maken. Dit betekent dat bestaande instrumenten beoordeeld moeten kunnen worden op hun meerwaarde. De overheid kan beschikken over een brede waaier aan instrumenten 6 die ingezet kunnen worden om hetzelfde resultaat na te streven. Maar om de juiste keuze te maken uit deze veelheid, dan moet de over- 6 De Innovation Policy Trend Chart databank, die een inventarisatie is van steunmaatregelen binnen Europa, bevat momenteel steunmaatregelen uit 28 landen (zie: Het belang van effectmetingen 9

10 heid beschikken over een solide en goed uitgebouwde evidence base 7. Gedurende alle fases van de beleidscyclus is het dus essentieel dat overheden de juiste analyse kunnen maken. Dit geldt ook voor de betrokken actoren zelf, zoals programmacoördinatoren en uitvoerders van CP, TETRA en CO projecten. 7 Op Europees niveau loopt momenteel een grootschalige studie Common Impact Assessment for Optimising the Policy mix naar de harmonisatie van impact assessment praktijken binnen de lidstaten. Op de website is veel relevant achtergrondmateriaal in relatie tot impact/effectmetingen. 10 Het belang van effectmetingen

11 3 onderliggende principes en bouwstenen 3.1 Algemene principes meetkader Het hier ontwikkelde meetkader biedt een basis voor de meting van effecten met betrekking tot de werking van CP, en van projecten TETRA en CO. Het gaat hierbij vooral om een ondersteunend en niet om een voorschrijvend meetkader. Het meetkader is zo opgebouwd dat de benodigde kapstokken worden aanreikt aan de projectuitvoerders om samen met het IWT te komen tot de best mogelijke selectie van relevante effecten en hun meetwijze. Overige uitgangspunten bij onderliggend meetkader zijn de volgende: Het meetkader richt zich op gerealiseerde effecten. De centrale vraag is dan ook welke meerwaarde werd er werkelijk gecreëerd?. Het meetkader richt zich hoofdzakelijk op het opvolgen en meten van meerwaardecreatie bij de ontvangers (de bedrijven) en in mindere mate op de meerwaardecreatie bij de aanbieders (bijv. de hogescholen). Het meetkader laat een bottom-up aanpak toe, waardoor de eigenheden van de diverse projecten uit verschillend sectoren volledig in rekening kunnen worden gebracht. Het meetkader reikt een serie blauwdrukken 8 aan waarmee verder aan de slag kan worden gegaan door de projectuitvoerders. Het meetkader reikt een beperkte set van indicatoren aan waarmee geselecteerde effecten gemeten kunnen worden (een pick list ). Het meetkader bevat suggesties over hoe de geselecteerde effecten in de praktijk gemeten kunnen worden en hoe deze gerapporteerd kunnen worden. Het meetkader houdt rekening, in de mate van het mogelijke, met bestaande en al ingeburgerde meetmethodieken (RAP, TIS/TD etc.) waardoor de bijkomende administratieve lasten beperkt kunnen worden. 8 Een blauwdruk betekent letterlijk een ontwerp of een plan dat nog niet is uitgevoerd in de realiteit. Hier wordt de term echter gebruikt om te verwijzen naar de programmadoelstellingen (van competentiepolen, TETRA en VIS-CO projecten) zoals deze in de ontwerpfase zijn gedefinieerd. 3.2 Effecten en het Logic Model Onafhankelijk van de aard van een overheidsmaatregel, kan deze altijd beschouwd en geanalyseerd worden als financieel en menselijk kapitaal dat gemobiliseerd wordt om een bepaalde doelstelling na te streven. Het concept waarmee op een systematische wijze gekeken kan worden naar het ontwerp van een maatregel noemen we Logic Model of Logical Analysis 9. Het logic model is een logische en consistente beschrijving van het ontwerp van een programma en zijn resultaten en effecten (zie ook IWT studie 62). Hieronder presenteren we het model dat we in deze studie centraal zullen stellen wanneer het gaat over het stroomlijnen van het denken rond programmaontwerp en -analyse. Dit model sluit goed aan bij de werking van CP en de projecten in het kader van TETRA en CO. Het model bestaat uit vijf belangrijk componenten. We bespreken ze in het kort hieronder. 1. Input (bij het programma): dat zijn de materiële en immateriële middelen die gemobiliseerd worden/zijn om een programma en Wist u dat... U dit model kunt gebruiken bij het ontwikkelen van een nieuwe projectaanvraag of het herbekijken van uw huidige strategie? de daaronder vallende acties te implementeren (uit te voeren). 2. Output (van het programma): het gaat hierbij over activiteiten, diensten en evenementen die gericht zijn op de doelgroep (bedrijven). Bijvoorbeeld, in het kader van CP kan het gaan over de organisatie en uitvoering van onderzoeksprojecten of de organisatie van events. Het gaat met andere woorden over de output van het programma/het project. 3. Effecten (bij de doelgroep): hier gaat het over de veranderingen bij de doelgroep (bedrijven) als gevolg van de werking van het programma (in lijn met de gestelde doelstellingen). Effecten zijn tijdsafhankelijk (korte, middellange en lange termijn). Langere termijn effecten worden ook wel impact 9 Zie SMART INNOVATION, p. 76, European Court of Auditors (sd), p. 16., European Court of Auditors (sd), European Commission (2004), p en OECD (2002) voor meer achtergrond/wettelijke basis. Onderliggende principes en bouwstenen 11

12 genoemd. Het hier ontwikkelde meetkader richt zich op de effecten op korte termijn (en waar mogelijk op middellange termijn). 4. Assumpties/verwachtingen (bij betrokken actoren): hierbij gaat over de verwachtingen die men heeft ten aanzien van de resultaten van een programma, de mensen die betrokken zijn, en de context waarbinnen het programma zal opereren. Deze factoren zorgen ervoor dat de werking van een programma enkel in zijn context goed geanalyseerd kan worden. 5. Externe factoren (uit de omgeving): deze verwijzen naar de bredere context waarbinnen het programma opereert en de externe factoren die de acties van een bepaald programma specifiek beïnvloeden. Een voorbeeld hiervan kan de heersende cultuur binnen een bepaalde sector zijn, zoals de openheid/geslotenheid ten opzicht van externe samenwerking. 3.3 Effecten nader beschouwd Verschillende niveaus waarop effecten zich kunnen voordoen Nu dat we de positie van effecten in de gehele cyclus van programmaontwikkeling, uitvoering en resultaten hebben bekeken, kunnen we nader ingaan op de effecten zelf. We hebben effecten gedefinieerd als veranderingen bij de doelgroep waarop een programma zich richt. Strikt genomen echter betekent effect een gebeurtenis die optreedt als een resultaat van feiten en/of gebeurtenissen en waarbij er dus (meestal) sprake is van een causale relatie tussen oorzaak en gevolg. Wanneer een bedrijf deelneemt aan een project, dan leidt dat tot bepaalde gewenste en soms ook ongewenst resultaten. Bijvoorbeeld, het bedrijf slaagt erin om nieuwe kennis op te doen of om zijn netwerk uit te breiden, of om een nieuw product of dienst te ontwikkelen. Dit zijn allemaal veranderingen bij het bedrijf die (deels of volledig) toe te schrijven zijn aan participatie aan het betreffende project. Een project (of programma) kan echter ook effecten hebben op het niveau van de uitvoerders. Bijvoorbeeld, in het kader van een TETRA project, vloeit de ontwikkelde kennis terug naar de hogescholen en kan daar leiden tot een nieuw of vernieuwd cursusaanbod of de ontwikkeling van nieuwe onderzoekslijnen. Hetzelfde kan gelden voor de werking van competentiepolen, waarbij het gefinancierde collectief onderzoek de deelnemende universiteiten aanzet om hun onderzoeksdomeinen verder uit te breiden of te verdiepen. Samengevat, effecten kunnen zich dus voordoen op diverse niveaus, waarbij we in onderliggend meetkader ons vooral zullen richten op: 1. Het niveau van de ontvangers (de bedrijven, die aan de kant van de zogenaamde beneficiaries staan). 2. Het niveau van de uitvoerders (de kennisinstellingen die aan de kant van de projectuitvoering staan). Figuur 2. Programmaontwikkeling/-actie (Logic model) Terugkoppeling Inputs Aanbiederskant Activiteiten Output Deelname Korte termijn (KT) Uitkomst - Impact Midellange termijn (MT) Lange termijn (LT) Bestaande noden Prioriteiten Rekening houdend met: Missie Visie Mandaten Bronnen Lokale dynamica Medewerkers Concurrenten Beoogd resultaat Wat we investeren Personeel Vrijwilligers Tijd Geld Onderzoeksbasis Materiaal Uitrusting Technologie Partners... Wat we doen Organiseren workshops en meetings Helpen ontwikkelen van producten en diensten Training Advisering Beoordeling Bieden van testfaciliteiten Partners zoeken... Wie we bereiken Bedrijven Kennisinstellingen Beleidsmakers en overheden... Resultaten op KT Deelname Kennisopbouw Probleemoplossing Meer O&O&I Samenwerking... Reultaten op MT Meer innovaties Strategie rond O&O&I Actief bezig met O&O&I Samenwerking... Resultaten op LT / impact Sociaal Economisch Maatschappelijk Ecologisch/ milieu Assumpties Externe factoren Bron: IDEA Consult (op basis van PDE - Wisconsin University) * De rode stippellijn geeft de focus van onderliggend meetkader weer 12 Onderliggende principes en bouwstenen

13 3.3.2 Verschillende soorten effecten Er bestaan verschillende soorten effecten. Om hierin enige systematiek aan te brengen beroepen we ons op de theorie ontwikkeld rond gedragsadditionaliteit 10. Simplistisch gezegd, richt deze analytische stroming zich op het identificeren van effecten die additioneel zijn, en die zonder de betreffende steunmaatregel niet zouden zijn ontstaan. In het klassieke denken rond additionaliteit wordt er een onderscheid gemaakt tussen effecten aan de inputkant en aan de outputkant. Er is echter meer. Tussen de klassieke input en output kunnen zich diverse effecten voordoen die belangrijk zijn voor het toekomstig presteren van bedrijven en kennisinstellingen. Het zijn deze effecten die we in onderliggend meetkader naar voren schuiven als typologie. Hieronder bespreken we deze soorten van effecten in meer detail. Figuur 3. Soorten van effecten en hun betekenis Input Netwerking en samenwerking Schaal en reikwijdte Competentie- en expertiseopbouw Versnelling Risico Strategievorming Output Bron: IDEA Consult Wist u dat... Een verhoging van de subsidies met 1 Euro leidt tot een toename van de bedrijfsuitgaven vor O&O met een bedrag van 0,85 tot 1,34 Euro (Bron: IWT studie nr. 54). Bijkomende O&O investeringen/inspanningen door bedrijven als gevolg van deelname aan het project/programma. Effecten rond uitbreiding/verbreding van netwerken en intensivering van samenwerking. Effecten in relatie tot de grootte en reikwijdte van een project en zijn uitkomsten. Effecten in relatie tot opbouw, uitbreiding en verdieping van kennis, ervaring en competenties. Effecten in relatie tot het sneller toegang krijgen tot competenties en expertise, en dus het sneller kunnen realiseren van output. Effecten in relatie tot het kunnen nemen van meer risico in een bepaald project. Effecten rond verbetering van managementroutines, erkenning innovatie als strategisch belangrijk en/of uitwerking innovatieplan. Tastbare resultaten die het gevolg zijn van deelname aan het betreffende project/ programma (bijv. nieuw product of proces). 10 Zie: of een studie naar de gedragsadditionaliteit van KP6 subsidies: evaluations/pdf/archive/fp6-evidence-base/evaluation_studies_and_reports/evaluation_studies_and_reports_2009/assessing_the_behavioural_additionality_of_the_sixth_framework_ programme.pdf De verschillende soorten effecten die hier zijn opgesomd staan in het ontwikkelde meetkader centraal. De bedoeling is dat projectuitvoerders op een systematische basis (en in teamverband) nagaan welke effecten waarschijnlijk zijn als resultaat van hun project, en op welke termijn Tijdsdimensie waarop effecten zich voordoen Op de vraag wanneer er bepaalde effecten verwacht mogen worden, dienen we allereerst het concept van toewijsbaarheid of attribueerbaarheid te introduceren. Attribueerbaarheid (in het Engels attribution ) wordt vaak als een probleem van causaliteit gezien. De effecten van een bepaald project/programma worden beïnvloedt door diverse factoren (zie ook Figuur 2), onder ander de tijdsspanne die verstrijkt tussen de uitvoering van een project/programma en de (perceptie van) realisatie van een of meerdere effecten. Het probleem van attribueerbaarheid kan onder andere aangepakt worden door het raadplegen van experts die ervoor moeten waken dat de effecten die toegeschreven worden aan een bepaald project of programma, in alle waarschijnlijkheid ook het resultaat daarvan zijn. Deze toets is ook meestal ingebouwd in het zogenaamde programmaontwerp, waarin systematisch nagegaan wordt welke effecten van een bepaalde project/programma verwacht worden en op welke manier deze kunnen worden bereikt (de activiteiten). De grote verscheidenheid aan factoren die een rol spelen bij het zich al dan niet voordoen van specifieke effecten kunnen onmogelijk allemaal in rekening worden genomen. Een uitzondering hierop is de factor tijd. Zoals in ons logic model wordt weergegeven, kunnen effecten zich voordoen op korte termijn (KT), middellange termijn (MT) en lange termijn (LT). In het laatste geval wordt dikwijls gesproken over impact, en niet langer meer over effecten. Kijkend naar de programma s in kwestie (CP, TETRA en CO), dan kunnen we deze tijdsintervallen bij wijze van indicatie als volgt concretiseren. Korte termijn (KT): Effecten die zich voordoen tijdens of net na de uitvoering van een project (< 1 jaar na afloop van een project), waarbij eventueel een verlengde looptijd mee in rekening kan worden genomen. Middellange termijn (MT): Effecten die zich voordoen na de uitvoering van een project (>1 en <3 jaar na afloop), waarbij eventueel een verlengde looptijd mee Onderliggende principes en bouwstenen 13

14 in rekening kan worden genomen. Lange termijn (LT): Effecten die zich voordoen ruim na afloop van een project (> 3 jaar) en waarbij de attribueerbaarheid onder druk komt te staan. Zoals al aangegeven, gaat hier over impact die zich pas op langere termijn voordoet en die vaak niet het resultaat is van individuele projecten. Het is aan de projectaanvragers en het IWT om deze termijnen zorgvuldig te bepalen en nader in te vullen voor specifieke projecten Een geïntegreerde aanpak Samengevat, een effectmeting voor een bepaald project (zoals CP of TETRA/CO) zal een evenwichtsoefening inhouden tussen de volgende drie dimensies: 1. Niveau waarop de effecten zich kunnen voordoen (niveau van de ontvangers/doelgroep versus andere niveaus zoals uitvoerders en/of andere actoren in de bredere omgeving). 2. Soorten effecten waarop een project gericht is (gaande van input tot output en de mogelijke tussenliggende soorten effecten). 3. De tijdsdimensie waarop deze effecten te verwachten zijn en waarbij zeker realisme geboden is (KT, MT, of zelfs LT). Deze dimensies maken deel uit van het voorgestelde meetkader (zie volgende hoofdstukken). 14 Onderliggende principes en bouwstenen

15 deel 2: Het meetkader en het gebruik ervan in de praktijk een aanpak voor systematische identificatie en meting van relevante effecten. streven naar heldere doelstellingen. de gewenste effecten waarvoor u als projectuitvoerder verantwoordelijk bent. selectie van indicatoren om de vooropgestelde effecten te meten. Deel 2: Het meetkader en het gebruik ervan in de praktijk 15

16 16 Deel 2: Het meetkader en het gebruik ervan in de praktijk

17 1 het meetproces: de te stellen vragen In de voorgaande hoofdstukken hebben we de belangrijkste bouwblokken van het meetkader weergegeven. In de volgende hoofdstukken zullen we nader ingaan op het gebruik van het kader in de praktijk. De voorgestelde aanpak om te komen tot een systematische identificatie en vervolgens tot een meting van de relevante effecten, wordt procesmatig gestuurd door een serie vragen. We geven deze vragen hieronder weer. Vraag 1: Welke doelstellingen stellen wij (als projectaanvragers) centraal? Hulpvragen: 1 Welke doelstellingen staan centraal in het betreffende IWT programma (resp. CP/TETRA/CO)? 2 Welke klemtonen willen wij leggen in ons project en kan/mag dit? 3 Kunnen en mogen we (van het IWT) de nodige activiteiten uitvoeren om deze doelstellingen te bereiken? Vraag 2: Welke effecten willen we vervolgens bereiken? Hulpvragen: 1 In functie van de gelegde klemtonen bij de beantwoording van de vorige vragen, welke effecten zullen zich voordoen, of welke effecten wilt u realiseren? 2 Houd hierbij rekening met de soort effecten, het niveau waarop de effecten zich kunnen voordoen, en de termijn waarbinnen de effecten te verwachten zijn (IWT regels). Vraag 3: Welke indicatoren zijn het meest geschikt om de effecten te meten en dus te monitoren? Hulpvragen: 1 Effecten zijn op verschillende manieren te meten; welke indicatoren zijn het meest geschikt om de vooropgestelde effecten te meten? 2 Zorg hierbij voor voldoende variëteit in uw indicatorenmand! Kwantitatieve en kwalitatieve indicatoren dienen zich af te wisselen. Vraag 4: Welke meetaanpak is hierbij geschikt? Hulpvragen: 1 Ligt de gegevensverzameling binnen uw bereik of bent u tevens afhankelijk van aanlevering door anderen? Wie moet wat doen? Maak hierover afspraken! 2 Maakt de meetaanpak integraal deel uit van het management van uw project(en)? Voorzie voldoende tijd en middelen om de indicatoren op te volgen. Het meetproces: de te stellen vragen 17

18 18 Het meetproces: de te stellen vragen

19 2 welke doelstellingen staan centraal? Gewenst resultaat van deze stap 1 Een helder overzicht van de doelstellingen die u als projectaanvrager/-uitvoerder met uw project nastreeft. Mogelijke hulpmiddelen 1 De IWT handleidingen die in detail aangeven welke activiteiten, en dus doelstellingen, gefinancierd kunnen worden. 2 De blauwdruk van doelstellingen voor CP, TETRA en CO die te vinden zijn in bijlagen 1, 2 en 3 (deze handleiding) waardoor u zich kunt laten inspireren. 3 Het Logic Model principe zoals uiteengezet in Figuur 2. Het vertrekpunt van een evaluatie (van effecten) is de analyse van de vooropgestelde doelstellingen. Om dit te bewerkstellingen reiken we serie blauwdrukken aan (zie bijlagen). We spreken van een blauwdruk omdat het gaat over typische verwachtingen ten aanzien van de doelstellingen van een gemiddeld project in de bestudeerde programma s. Een eerste belangrijk hulpmiddel is aldus een blauwdruk van de doelstellingen van CP, TETRA en CO projecten. Deze blauwdruk zal de uitvoerders (of projectaanvragers) helpen om Tip... Stel uzelf eens de vraag: welk probleem of uitdaging waar de sector mee kampt, willen wij aanpakken? op voorhand na te gaan welke doelstellingen normaliter centraal staan voor hun project. Afwijken van de blauwdruk is wenselijk, zelfs noodzakelijk, om de specificiteit van een project tot zijn recht te laten komen. Ook de blauwdrukken zelf kunnen evolueren naar gelang het ontwerp van het programma verder evolueert (hier is tevens een rol weggelegd voor het IWT). Voor nieuwe aanvragers ligt het voor de hand dat men vertrekt van de IWT-handleiding met instructies over het aanvragen van nieuwe projecten. Deze handleidingen geven in detail aan welke doelstellingen nagestreefd kunnen/moeten worden en welke activiteiten in dat verband gehonoreerd kunnen worden. Dat is een ander hulpmiddel dat ook relevant kan zijn voor het aftoetsen van doelstellingen en activiteiten van lopende projecten. Een derde hulpmiddel om de contouren van een pro- ject (in wording) scherp te stellen, is het Logic Model (zie Figuur 2). Het Logic Model bevat specifieke elementen die kunnen helpen om een project vorm te geven. Het model vertrekt van een zogenaamde diagnose, de huidige situatie, en stelt impliciet vragen over de prioriteiten en de middelen die ter beschikking staan (zowel aan de kant van de overheid, maar ook aan de kant van de projectaanvrager en zelfs de deelnemende bedrijven) om het project in kwestie te financieren en uit te voeren. Een andere mogelijkheid is te vertrekken van het gewenste resultaat om zo via backward engineering na te gaan hoe een resultaat bereikt kan worden en welke inspanningen daarvoor nodig zijn. Dit kan zeker ook een goede toetssteen zijn voor lopende projecten. Ter illustratie, stel dat in een bepaalde subsector de samenwerkingsbereidheid laag is, waardoor er kansen op het vlak van kennisdeling verloren gaan, dan is het mogelijk om op basis van deze vaststelling als doelstelling van een project naar voren te schuiven: het vergroten van de samenwerking binnen subsector X. Als dit het gewenste eindresultaat is, dan dienen alle activiteiten en acties aan deze doelstelling bij te dragen (bijvoorbeeld, workshops die het belang van samenwerking aantonen, platformen aanreiken waardoor samenwerking gemakkelijk kan worden gemaakt). Hoe gaat u te werk? Op basis van de eerder aangehaalde hulpmiddelen wordt op een systematische wijze nagegaan welke doelstellingen u centraal wenst te stellen (deels centraal moet stellen). Het Logic Model, de blauwdruk- Welke doelstellingen staan centraal? 19

20 ken maar ook de handleidingen van het IWT helpen u hierbij en bieden u concrete aanknopingspunten. Het is belangrijk dat u in teamverband de doelstellingen inventariseert en scherp formuleert. Tip... Vertrek eens van het verschil (belangrijkste effect) dat u met uw project wil maken. Doet u vandaag dan de juiste dingen? Daarnaast is het essentieel dat de doelstellingen afgetoetst worden met de stakeholders, zijnde de bedrijven ( ontvangers ), het IWT (als uitvoerende overheid) en andere direct/ indirect belanghebbenden (zoals een hogeschool die enerzijds uitvoerder is maar anderzijds ook zelf sterk kan profiteren van de kennisopbouw). Het betrekken van uw doelgroep in een vroeg stadium (het ontwerp) zal voor de nodige buy in zorgen en zal het gemakkelijker maken om de wederzijdse verwachtingen scherp te stellen en te harmoniseren, en om het engagement te verkrijgen voor het monitoren en aanleveren van data over bereikte effecten (zie ook verderop). Als hulpmiddel bij het inventariseren van de relevante doelstellingen kan gebruik worden gemaakt van het invulformulier (zie tabel hieronder). Een leeg formulier kan worden gevonden in bijlage. Het invulformulier bevat een aantal instructies en vragen die de projectaanvragers op weg zullen helpen. Zoals gezegd, is het aanbevolen om de invulling in teamverband te doen (bijvoorbeeld, de direct belanghebbenden). Het startpunt voor de invulling kan zijn: strategische doelstellingen van het programma. Bijvoorbeeld, bij een van de competentiepolen waar een testcase is uitgevoerd, is men na het doorlopen van de vorige stappen gekomen tot de identificatie van volgende intermediaire doelstellingen: ID1. Verhogen van kennis en expertise bij bedrijven ID2. Verhogen/versnellen van innovatie m.b.t. de ontwikkeling van verbeterde producten, processen en diensten ID3. Verhogen/verbeteren van samenwerking tussen bedrijven en / of kennisinstellingen ID4. Vervullen van doorverwijsfunctie m.b.t. to innovatief verbeteren van advies/bijstand ID5. Vergroten van (nat. / int.) netwerk van de bedrijven ID6. Verbeteren van advies/bijstand m.b.t. innovatie ID7. Verbeteren/versterken van de coördinatie binnen de voedselketen ID8. Inspelen op noden/behoeften van de bedrijven (op basis van deze noden kunnen projecten worden opgestart) Deze doelstellingen dragen vervolgens bij tot de langere termijn ambities en doelstellingen, zijnde: SD1. Stimuleren van (wetenschappelijke/technologische) innovatie via collectieve acties SD2. Verhogen van de zichtbaarheid van de [sector] (nat./int.) 1) De activiteiten die gefinancierd kunnen worden vanuit het programma (conform de handleiding van het IWT of de blauwdrukken). 2) Het eindresultaat (het effect) dat men wil bereiken met het project in kwestie ( backward engineering ). Afhankelijk van de insteek kunt u telkens een niveau naar beneden of een niveau hoger gaan met de invulling. Het zijn vooral de intermediaire doelstellingen waar u als projectuitvoerder op moet letten. Dit zijn de doelstellingen die een resultaat ofwel een effect reflecteren bij de onmiddellijke doelgroep (de zogenaamde beneficiaries ), veelal de bedrijven. Tegelijk dient ook nagedacht te worden over de strategische doelstellingen waaraan uw project bijdraagt. Immers, de individuele projecten binnen een bepaald programma dienen op hun beurt bij te dragen tot de realisatie van de 20 Welke doelstellingen staan centraal?

21 Tabel 1. Invulformulier doelstellingenhiërarchie Nummering maakt discussie makkelijker Activiteiten Intermediaire Doelstellingen Strategische Doelstellingen Impact Hier neemt u de dagdagelijkse activiteiten op die u wilt uitvoeren om uw doelstellingen te behalen. Dit zijn de activiteiten die eveneens gefinanancier kunnen worden (zie IWT handleidingen). Hier geeft u de doelstellingen weer die een resultaat reflecteren bij de onmiddellijke doelgroep, vaak de bedrijven (de zogenaamde beneficiaries ). Hier geeft u de doelstellingen weer die overeenkomen met de verwachte strategische effecten (zelfs impact) van het gefinancierde project of gefinancierde projecten. Hier geeft u de ambitie weer die samenhangt met de globale impact van de interventie (lees: het steunprogramma in zijn geheel) Voorbeelden: Voorbeelden: Voorbeelden: Voorbeelden: A1. Uitvoeren van contractonderzoek, coöperatief onderzoek en collectief onderzoek A2. Maken van publicaties (vakinhoudelijk en niet-vakinhoudelijk) A3. Organisatie van evenementen (workshops, conferenties,...) ID1. Verhogen van het aantal innovaties bij bedrijven ID2. Verhogen van kennis en competenties bij bedrijven ID3. Verbeteren van afstemming, samen werking en coördinatie binnen en rond de sector SD1. Vergroten van het innovatievermogen van bedrijven in de sector SD2. Verhogen van de internationale zichtbaarheid van de bedrijven en de sector... I1. Versterken van de concurrentiepositie van de sector en verhogen van de werkgelegenheid Tijd Impactstudies zijn zeer specifiek van aard. Realisatie is altijd een functie van tijd. Het een draagt ook bij tot het ander. Welke doelstellingen staan centraal? 21

22 22 Welke doelstellingen staan centraal?

23 3 welke effecten worden er verwacht? Gewenst resultaat van deze stap 1 Een helder overzicht van de effecten die u via uw project wenst te bereiken en waarover u als projectuitvoerder verantwoordelijkheid draagt. Mogelijke hulpmiddelen 1 De IWT handleidingen die in detail aangeven welke doelstellingen en resultaten worden verwacht van een soortgelijk project. 2 De grid die wij voor u hebben ontwikkeld in het kader van deze handleiding. 3 Het Logic Model principe zoals uiteengezet in Figuur 2. 4 De door u vooropstelde intermediaire doelstellingen die feitelijk uw uitgangspunt moeten zijn. Nadat de doelstellingen op een gestructureerde manier in kaart zijn gebracht dienen deze vertaald te worden in (mogelijke) effecten. Zoals we hierboven hebben uiteengezet, is een effect een heterogeen concept/begrip, en dit zowel naar soort, tijd, en naar niveau waarop het zich kan voordoen. Zoals we in de Logic Model (zie Figuur 2) hebben weergegeven, zijn de assumpties die onderliggend zijn aan een bepaald type project/programma van groot belang. Het zijn deze assumpties die voor een deel zullen bepalen welke effecten verwacht worden, op welk niveau en tegen wanneer. Tip... Bekijk eens samen met uw bedrijven welke effecten waarschijnlijk zijn en tegen wanneer... Als gevolg hiervan is het belangrijk om ook de assumpties onderliggend aan de voorziene effecten tegen het licht te houden en af te stemmen met de stakeholders rond uw project (zoals bij de doelstellingen). Deze afstemming zal ook hier helpen om de na te streven effecten realistisch en binnen de verwachtingen te houden (het zogenaamde management of expectations ). Als ondersteuning bij de vorige stap van het meetkader staan blauwdrukken van doelstellingen ter beschikking. Dit zijn doelstellingen die een gemiddeld project op basis van het algemeen ontwerp van de respectievelijke CP, TETRA, en CO programma s zou kunnen nastreven. Bij de identificatie van de relevante effecten, echter, stellen we een meer open benadering voor waarbij we enkel een instrument aanreiken om het proces te faciliteren. Op basis van de systematische analyse van de CP, TETRA en CO programma s en projecten (en de testcases) is wel gebleken dat de effecten zich hoofdzakelijk situeren rond de soorten die we eerder hebben geïntroduceerd (zie Figuur 3). De verwachting is dan ook dat deze soorten effecten voldoende richtinggevend zullen zijn, maar dat tegelijk een zekere verfijning en scherpstelling mogelijk/nodig zal zijn afhankelijk van type programma en project. Hoe gaat u te werk? Net zoals bij de vorige stap, is ook hier een bespreking en benadering in teamverband wenselijk. Hieronder presenteren we een tweede invulformulier de grid om de effecten op een systematische wijze in kaart te brengen. Vertrekkend van de centraal gestelde intermediaire doelstellingen (resultaat uit vorige stap) dient nagegaan te worden welke soorten effecten nagestreefd worden (de toelichting bij de mogelijke soorten effect wordt gegeven in Figuur 3 en in het invulformulier hieronder). De grid combineert de drie dimensies van effecten: 1) het soort effect, 2) het niveau waarop het effect zich zal voordoen, en 3) de termijn waarbinnen het effect gerealiseerd zal zijn. Volgend op onderstaande tabel geven we, ter inspiratie, een beschrijving van veelvoorkomende effecten. Welke effecten worden er verwacht? 23

24 Tabel 2. Invulformulier inventarisatie relevante effecten (de grid ) Naam project: [titel van het project] Type project: [onder welk programma past het project?] Datum invulling: [datum/versie invulling] Soorten effecten Niveau en termijn waarop effecten te verwachten zijn Ontvangers (bedrijven) Uitvoerders (kennisinstellingen) Input Gaan er bijkomende investeringen/inspanningen zijn? netwerking en samenwerking Zullen er effecten zijn rond netwerking en samenwerking? schaal en reikwijdte Laat het project toe om bedrijven deel te laten nemen aan onderzoek op grotere schaal? competentie- en expertiseopbouw Zal het project leiden tot competentie- en expertiseopbouw? versnelling Zal het project de snelheid van O&O verhogen dan anders het geval zou zijn? risico Leidt het project tot risico verkleining (in relatie tot onzekerheid van onderzoek?) strategievorming Zal het project de strategie van het bedrijf rond O&O veranderen? Output Zullen er nieuwe producten of processen ontwikkeld worden? Of sterke optimalisaties? Bron: IDEA Consult KT: [invulling] MT: KT: MT: KT: MT: KT: MT: KT: MT: KT: MT: KT: MT: KT: MT: KT: [invulling] MT: KT: MT: KT: MT: KT: MT: KT: MT: KT: MT: KT: MT: KT: MT: Enkele voorbeelden van effecten Meer innovaties bij deelnemende bedrijven. Ten gevolge van de activiteiten is het de verwachting dat het aantal innovaties bij deelnemende bedrijven is gestegen. Innovaties kunnen worden gekenmerkt als vernieuwingen of substantiële verbeteringen in een product, proces of software. Het is tevens mogelijk dat innovatie het introduceren van licht aangepaste producten (of diensten) op nieuwe markten inhoudt. [Output] Meer en betere afstemming, samenwerking en coördinatie binnen en rond de sector. Als gevolg van de activiteiten is er meer en betere afstemming, samenwerking en coördinatie tussen bedrijven onderling, en/of tussen bedrijven en kennisinstellingen. Neveneffecten kunnen zijn: een positieve invloed op het aantal kruisbestuivingen tussen deelnemende organisaties, een toename in de beschikbare kennis en een efficiënter inzet van middelen. Tevens is het de verwachting dat bedrijven meer en sneller kennis en competenties opbouwen door spillover effecten. Ook op het vlak van IPR, en delen van expertise en apparatuur is meer samenwerking van groot belang. [Netwerking en samenwerking en Competentie- en expertiseopbouw]. Meer kennis en competenties bij bedrijven. De activiteiten leiden tot uitbreiding van kennis en competenties waardoor het innovatiepotentieel van 24 Welke effecten worden er verwacht?

25 bedrijven toeneemt. Impliciet kunnen externe kennisbronnen beter benut worden omdat een toename in kennis en competenties ook leidt tot een vergroot absorptievermogen bij bedrijven. De bedrijven zijn beter op de hoogte van de nationale en international O&O&I ontwikkelingen waardoor ze beter kunnen inspelen op de trends. [Competentie- en expertiseopbouw] Oprichten van nieuwe collectieve verbanden. Het hoofdeffect is een toename in het aantal collectieve verbanden, als gevolg waarvan meer bedrijven gestimuleerd worden om (meer) te gaan investeren in O&O. Tegelijk neemt de organisatiegraad van de sector/subsector toe waardoor de kans op kennisspillovers en synergieën toeneemt. Als neveneffect heeft het een positieve invloed op het aantrekken van cofinanciering (vanwege de eis vanuit het programma) en op de stabiliteit van het programma. [Input] Nieuwe leden die aangetrokken zijn. De activiteiten in het kader van Collectief Onderzoek hebben geresulteerd in het aantrekken van nieuwe leden en dus in een groter aantal bedrijven dat actief aan O&O doet. Dit heeft als neveneffect een positieve invloed op het aantrekken van cofinanciering. [Input] Meer/sterkere innovatiecompetenties van onderzoekers. Als hoofdeffect is gebleken dat TETRA-projecten leiden tot een versterking van de innovatiecompetenties van onderzoekers in het hoger onderwijs. Hieronder vallen zowel een toename in kennis en competenties als een toename in multidisciplinair kunnen handelen. [Competentie- en expertiseopbouw] Nieuwe opleiding/cursussen. Een effect van een collectief traject kan het aanbieden zijn van nieuwe dienstverlening. Bijvoorbeeld op het vlak van nieuwe/aangepaste cursussen/opleidingen. [Competentie- en expertiseopbouw] Welke effecten worden er verwacht? 25

26 26 Welke effecten worden er verwacht?

27 4 welke indicatoren zijn geschikt om te meten? Gewenst resultaat van deze stap 1 Een selectie van indicatoren die toelaten om op periodieke basis de vooropgestelde effecten te meten en dus het succes van de eigen werking te kunnen aantonen. Mogelijke hulpmiddelen 1 De IWT handleidingen die in detail aangeven welke indicatoren (vooral activiteiten) periodiek gerapporteerd moeten worden. 2 De in deze studie ontwikkelde lijst met type indicatoren per soort effect (toegespitst naar niveau en tijdsdimensie). Het kiezen van de juiste indicator(en) om een bepaald effect te meten is geen gemakkelijke oefening, ten eerste gezien de verscheidenheid aan opties, en ten tweede gezien de moeilijkheden die vaak gepaard gaan met de meting zelf. Het gevolg is dat er vaak meerdere indicatoren nodig/mogelijk zijn om een en hetzelfde effect te meten. We spreken in dit geval ook wel over proxies ofwel benaderende indicatoren, zijnde indicatoren die het te meten effect zo goed mogelijk benaderen. In dit hoofdstuk presenteren we een selectie van type indicatoren die verder verfijnd kunnen worden in de context van een specifiek project/ programma maar die tegelijk wel de belangrijkste (verwachte) effecten van de werking van CP, TETRA en CO projecten meten. Wat is echter een goede indicator? Hieronder presenteren we een aantal kenmerken van goede indicatoren. Relevantie: er behoort een duidelijke (intuïtieve) link te zijn tussen de indicator en het te meten effect. Stakeholders (programma-/projectcoördinatoren, het IWT, bedrijven en overig) krijgen een beter beeld van de prestaties van een programma/project naar gelang de gevolgde indicatoren relevant zijn. Afbakening: de informatie geleverd door de gekozen indicatoren dient gefocust te zijn en dus tegelijk beperkt in aantal. Met andere woorden de set van geselecteerde indicatoren behoort alle belangrijke aspecten van de relevante effecten van het programma/project te omvatten. Acceptatie: de gekozen indicatoren behoren bediscussieerd te worden met alle stakeholders en belanghebbende partijen om er zeker van te zijn dat er overeenkomst is bereikt over de interpretatie en acceptatie van de indicatoren. Zoals al eerder aangegeven, is het van belang om bij aanvang van een specifiek project overeenstemming te bereiken over de set van bij te houden indicatoren. Geloofwaardigheid: zijn indicatoren eenvoudig te interpreteren? Zijn ze geloofwaardig om te gebruiken in rapporteringen? Zijn ze eenduidig te interpreteren door de diverse stakeholders? Dit zijn eisen die gesteld moeten worden aan de te kiezen indicatoren. Eenvoudig: is de data toegankelijk en eenvoudig te verkrijgen. Kan de data eenvoudig gemeten worden, zonder excessieve of disproportionele inspanningen (d.w.z. rechtvaardigt de waarde van de informatie de inspanningen om deze te verkrijgen?). In het beste geval zouden indicatoren eenvoudig en efficiënt verkregen moeten kunnen worden gedurende de looptijd van het project/programma, en niet uitsluitend achteraf (ex post). Betrouwbaarheid en robuustheid: de informatie moet voldoende accuraat en betrouwbaar zijn ten opzichte van de doeleinden waarvoor deze verzameld wordt. Zijn de indicatoren bestendig tegen manipulatie door degenen die ze produceren? Kan de keuze van indicatoren leiden tot een ongewenste verandering in het gedrag van de betreffende actoren ( what you measure is what you get )? Vanzelfsprekend moeten de nodige periodieke externe controles uitgevoerd worden om deze vereisten af te toetsen. Welke indicatoren zijn geschikt om te meten? 27

28 Consistentie en vergelijkbaarheid: idealiter zouden indicatoren consistent zijn van jaar tot jaar. Desondanks moeten ze wanneer noodzakelijk wel aangepast en verfijnd kunnen worden om belangrijke contextuele verandering weer te geven (bijvoorbeeld, bij de verlenging van een project moet het mogelijk zijn om de indicatoren aan te passen en te verfijnen waar nodig/wenselijk). Waar mogelijk zouden indicatoren ook vergelijkbaar moeten zijn zodat ze vergeleken kunnen worden binnen of tussen programma s. Hieronder stellen we een aantal indicatoren voor die aan deze principes/vereisten voldoen. De indicatoren worden gekoppeld aan de soorten effecten zoals we die hierboven hebben onderscheiden. Hoe gaat u te werk? Op basis van de grid is er een systematisch overzicht gemaakt van de soorten effecten, de termijn waarbinnen en het niveau waarop de effecten zich zullen voordoen (op basis van de verwachtingen). Tip... Verfijn de indicatorfiches voor uw project en neem deze op als bijlage in uw projectaanvraag. Toets deze ook eerst af met uw bedrijven zodat het duidelijk wordt welke informatie van hen moet komen. Indien de nadruk van het project ligt bij het bereiken van effecten rond netwerking en samenwerking, dan gaat u in de tabel hieronder na welke indicatoren relevant zijn om de betreffende effecten te meten. U kiest dan een zogenaamde type indicator die u verder kunt verfijnen naar gelang de focus. Elke type indicator heeft een eigen fiche waarin de beschrijving van de indicator is opgenomen, evenals de mogelijke subindicatoren/ varianten. Er zijn zeker combinaties mogelijk tussen indicatoren in een bepaalde categorie en andere soorten effecten. De termijn waarop een effect zich zal voordoen (KT, MT, LT) zal van invloed zijn op de periodiciteit waarop de indicator/meting zal plaatsvinden. Bijvoorbeeld, indien op langere termijn verwacht wordt dat het project zal leiden tot nieuwe prototypes, dan zal het aantal nieuwe prototypes maar gemeten kunnen worden na afloop van project. De indicatorfiche voor een bepaald project zal verder gepreciseerd moeten worden in functie van de meetfrequentie en dus de termijn waarop het effect verwacht wordt. De indicatoren moeten contextspecifiek gemeten worden. Het is dus niet mogelijk om algemene streefwaardes te stellen die voor verschillende projecten gelden. Ter illustratie, het wegtrekken van onderzoekers naar de industrie is op zich een positief resultaat van een TETRA-project, omdat het aangeeft dat deze onderzoeker veel geleerd heeft. Voor een Collectief Onderzoeksproject zal een zelfde vertrek eerder afbreuk doen aan de interne kennisopbouw. Het evenwicht, de interpretatie, zal project per project bekeken moeten worden. Uiteindelijk is het aangewezen om voor een specifiek project ongeveer een vijftal indicatoren te selecteren zodat het mogelijk is om op deze aspecten te focussen en de activiteiten ernaar te sturen. De termijn waarbinnen de indicatoren gemeten worden en de periodiciteit van de bevraging dienen opnieuw contextgericht uitgevoerd te worden. Hierbij is het tevens noodzakelijk om een onderscheid te maken tussen tussentijdse en expost evaluaties. Als voorbeeld, het is tamelijk zinloos om een output indicator tussentijds te gaan meten omdat de output van een innovatietraject normaliter pas na afloop van het einde van het traject zichtbaar wordt. De tabel met indicatoren hieronder is het resultaat van een systematische inventarisatie van meer dan 150 indicatoren die tijdens de workshops en de testcases de revue zijn gepasseerd. De geselecteerde indicatoren zijn het resultaat van een toetsing aan de hierboven genoemde principes, en zijn tegelijk ook het meeste gekozen door de organisaties die hebben deelgenomen aan de testcases. Daarnaast sluiten deze indicatoren aan bij de programma s/projecten (CP, TETRA, en CO) en meten zij effecten en geen activiteiten en/ of impact (waar we in de onderliggende studie geen aandacht aan besteden). Hieronder presenteren we eerst het menu van opgestelde indicatoren, waarbij opgemerkt dient te worden dat de indeling niet dwingend is (d.w.z. dat dezelfde indicatoren ook gebruikt kunnen worden om meerdere effecten zowel bij de ontvangers als ook bij de uitvoerders te meten). 28 Welke indicatoren zijn geschikt om te meten?

29 Tabel 3. Menu van relevante type indicatoren Input Gaan er (bijkomende) investeringen/inspanningen zijn? netwerking en samenwerking Zullen er effecten zijn rond netwerking en samenwerking? schaal en reikwijdte Laat het project toe om bedrijven deel te laten nemen aan onderzoek op grotere schaal? competentie- en expertiseopbouw Zal het project leiden tot competentie- en expertiseopbouw? versnelling Zal het project de snelheid van O&O verhogen dan anders het geval zou zijn? risico Leidt het project tot risico verkleining (in relatie tot onzekerheid van en bij onderzoek?) strategie Zal het project de strategie van het bedrijf rond O&O veranderen? Output Zullen er nieuwe producten of processen ontwikkeld worden? Of sterke optimalisaties? Menu van type indicatoren (zie indicatorfiches voor nadere duiding) Indicatoren die effecten meten bij de ontvangers, zijnde veelal de bedrijven (Focus bij CP, TETRA en CO) 1. Co-investering (directe financiële en niet-financiële projectinbreng) 2. Bedrag aan vervolginvesteringen (materieel en immaterieel) 3. Aantal bedrijven dat zijn relevante netwerk heeft kunnen uitbreiden 4. Aantal bedrijven dat een geformaliseerde vervolgsamenwerking aangaat (naar type samenwerking) 5. Aantal succesvol doorverwezen bedrijven 6. Aantal en evolutie in het betalende ledenaantal (CP) 7. Aantal bedrijven dat deelneemt aan de projecten (en karakteristieken van deze bedrijven) 8. Aantal bedrijven dat zonder dit project het uitgevoerde onderzoek niet zelfstandig zou (kunnen) uitvoeren 9. Aantal bedrijven dat zijn competentie en expertise verder heeft ontwikkeld 10. Aantal bedrijven dat voor het eerst een projectaanvraag indient voor publieke financiering 15. Aantal bedrijven dat erin geslaagd is om sneller tot ontwikkeling over te gaan 16. Aantal bedrijven dat het projectrisico niet alleen zou kunnen of willen dragen (hefboomeffect) 17. Aantal bedrijven dat een onderzoek- en/of innovatiestrategie heeft ontwikkeld 18. Aantal bedrijven dat zijn O&O projectmanagementvaardigheden heeft vergroot 19. Aantal ontwikkelde prototypes (en/of testopstellingen) 20. Aantal nieuwe (of vernieuwde) producten en/of diensten 21. Aantal procesoptimalisaties/-vernieuwingen Indicatoren die effecten meten bij de uitvoerders, zijnde veelal de kennisinstellingen (Expliciet bij TETRA en CO projecten) 11. Toename in onderzoekscapaciteit 12. Aantal publicaties 13. Aantal afgeleverde thesissen/doctoraten 14. Aantal nieuwe onderzoeksthema s en/of onderzoekslijnen 14. Aantal nieuwe onderzoeksthema s en/ of onderzoekslijnen 19. Aantal ontwikkelde prototypes (en/of testopstellingen) Welke indicatoren zijn geschikt om te meten? 29

30 4.1 Meting van effecten bij de ontvangers Indicatorfiches Input 1 Co-investering (directe financiële en niet-financiële projectinbreng) Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Deze indicator meet de co-investering die een bedrijf doet in de context van een specifiek project. Het kan hierbij gaan om de financiële inbreng (die wettelijk is vastgelegd) maar ook de niet financiële inbreng zoals het gedeeltelijk vrijstellen van een personeelslid om deel te nemen aan een project en de resultaten op te volgen. Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie / Deze indicator kan diverse varianten hebben. Voorbeeld is de verhouding geïnvesteerde middelen tot het totaal aan O&O budget van het bedrijf. 1. Financiële inbreng in project 2. Niet-financiële inbreng project (% VTE besteding aan opvolging) 3. Totale inspanningen in O&O 1. % van VTE inbreng in project ten opzichte van totaal aan VTE met O&O relevante activiteiten Bedrijf Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) [Te bepalen in overleg met het IWT] Via bevraging/feitelijke data bedrijf 30 Welke indicatoren zijn geschikt om te meten?

31 2 Bedrag aan vervolginvesteringen (materieel en/of personeel) Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie / Deze indicator meet vervolginvestering (materieel en of immaterieel) die gedaan worden om de resultaten/uitkomsten van het project verder te ontwikkelen en/of te exploiteren. Hierbij kan het gaan om een fysieke investering (bijvoorbeeld een machine) al dan niet in combinatie met het aanwerven van nieuwe werknemers. De investering moet tijdens of kort na afloop van het project plaatsvinden. 1. Bedrag aan investeringen in machines 2. Loonmassa gekoppeld aan nieuwe aanwervingen (en/of VTE besteding aan exploitatie) 1. Gedane investering als % van gemiddelde jaarlijkse investeringen Bedrijf Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) [Te bepalen in overleg met het IWT] Via bevraging/feitelijke data bedrijf Welke indicatoren zijn geschikt om te meten? 31

32 4.1.2 Indicatorfiches Netwerking en samenwerking 3 Aantal bedrijven dat zijn relevante netwerk heeft kunnen uitbreiden Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Deze indicator meet het aantal bedrijven (evt. uit gebruikersgroep) dat door deelname aan een project zijn netwerk heeft kunnen uitbreiden. Netwerking is van groot belang in het kader van kennisdeling en dus openheid tot en mogelijkheden tot samenwerking en innovatie. Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie / Het moet hierbij gaan om een uitbreiding die direct aan het project kan worden gerelateerd en wel met actoren die relevant zijn (zoals collega bedrijven, kennisinstellingen, etc.). 1. Aantal bedrijven dat zijn relevante netwerk heeft uitgebreid met bedrijven 2. Aantal bedrijven dat zijn relevante netwerk heeft uitgebreid met kennisinstellingen 3. Aantal bedrijven dat zijn relevante netwerk heeft uitgebreid met [OVERIG] 1. Uitbreiding met bedrijven gevestigd in Vlaanderen 2. Uitbreiding met bedrijven buiten Vlaanderen 3. Idem voor kennisinstellingen Bedrijf Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) [Te bepalen in overleg met het IWT] Via bevraging/feitelijke data bedrijf 32 Welke indicatoren zijn geschikt om te meten?

33 4 Aantal bedrijven dat een geformaliseerde vervolgsamenwerking aangaat (naar type samenwerking) Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Deze indicator meet het aantal bedrijven (evt. uit gebruikersgroep) dat in het verlengde van een project een geformaliseerde samenwerking is aangegaan met een ander bedrijf of kennisinstelling. Het moet hierbij gaan om een samenwerking met een partner die aan het project kan worden gerelateerd en wel met actoren die relevant zijn (zoals collega bedrijven, kennisinstellingen, etc.). Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie / Publieke financiering (en zeker in de context van CP, TETRA en CO) heeft eveneens als doel om samenwerking te stimuleren, zeker bij die bedrijven die nog onvoldoende samenwerken in O&O en innovatie. Het is dan ook relevant te kijken naar de mate waarin betrokken bedrijven doorgaan met samen te werken in O&O maar ook innovatie. 1. Aantal bedrijven dat een geformaliseerde vervolgsamenwerking is aangegaan met een ander bedrijf 2. Aantal bedrijven dat een geformaliseerde vervolgsamenwerking is aangegaan met een kennisinstelling 3. Aantal bedrijven dat een geformaliseerde vervolgsamenwerking is aangegaan met een [OVERIG] 1. Onderscheid vervolgsamenwerking in functie tot financiële ondersteuning (IWT, EU, overig, en/of door private middelen) 2. Vervolgsamenwerking met nationale organisaties (bedrijven en/of kennisinstellingen) 3. Vervolgsamenwerking met internationale organisaties (bedrijven en/of kennisinstellingen) 4. % bedrijven dat een vervolgsamenwerking aangaat ten opzichte van het totaal aantal betrokken bedrijven Bedrijf Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) [Te bepalen in overleg met het IWT] Via bevraging/feitelijke data bedrijf Welke indicatoren zijn geschikt om te meten? 33

34 5 Aantal succesvol doorverwezen bedrijven Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie Doorverwijzing betekent dat een bedrijf wordt verwezen naar een partner die zijn probleem/vraag kan beantwoorden. Een succesvolle doorverwijzing refereert naar de kwaliteit van het netwerk van de uitvoerder maar ook naar de openheid ervan. Een juiste doorverwijzing kan een bedrijf ook helpen om sneller toegang te krijgen tot essentiële informatie. Het moet hierbij gaan om doorverwijzingen binnen het project (bijvoorbeeld in het geval van de CP). 1. Aantal bedrijven dat succesvol is doorverwezen en dus tevreden is met de doorverwijzing 1. Aantal bedrijven dat succesvol is doorverwezen en dus tevreden is met de doorverwijzing Bedrijf en uitvoerder [Te bepalen in overleg met het IWT] Via interne administratie uitvoerder en bevraging/ opinies bedrijven 1. Het aantal bedrijven dat succesvol is doorverwezen geeft een indicatie van de grootte van het netwerk van de uitvoerder. De tevredenheid met de doorverwijzing geeft een indicatie van de relevantie van het netwerk en de openheid ervan. 2. Een succesvolle doorverwijzing kan ook een indicatie zijn tot een versnelling van het innovatieproces. Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) 34 Welke indicatoren zijn geschikt om te meten?

35 6 Aantal en evolutie in het betalende ledenaantal (CP) Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Deze indicator meet het aantal bedrijven dat (betalend) lid is van een competentiepool. Een hoger aantal leden geeft meer mogelijkheden met betrekking tot netwerking en samenwerking en is tevens een indicatie van de waarde die door de sector aan de activiteiten van een competentiepool wordt toegekend, zeker indien er lidmaatschapsgelden betaald moeten worden. Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie / Tevens, betekent een toename in het ledenaantal dat het uitgevoerde werk aansluit bij de node van de bedrijven, maar ook dat de georganiseerdheid van de sector (subsector) toeneemt waardoor ook het potentieel voor kennisverspreiding verder toeneemt. 1. Aantal (betalende) leden (versus aantal niet betalende) 2. Δ in het aantal (betalende) leden over tijd 1. Aantal (betalende) leden en de mate waarin ze de sector vertegenwoordigen (% O&O, % innovatieve bedrijven) Bedrijf/leden Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) [Te bepalen in overleg met het IWT] Via interne administratie uitvoerder Welke indicatoren zijn geschikt om te meten? 35

36 4.1.3 Indicatorfiches Schaal en reikwijdte 7 Aantal bedrijven dat deelneemt aan de projecten (en de karakteristieken van deze bedrijven) Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie Deze indicator meet het aantal bedrijven dat deelneemt aan de projecten en daarmee ook de reikwijdte van een project. Het geeft een indicatie van de grootte van het belang van een projecten en dus ook van de Scope en reikwijdte van het programma. Hierbij moet het gaan om het aantal bedrijven dat deelneemt gedurende de loop van een project. 1. Aantal bedrijven dat deelneemt aan collectieve onderzoeksprojecten en hun karakteristieken (qua grootte, sector etc.) 1. Aantal bedrijven naar grootte (KMO, GO, etc.) en sector Bedrijf [Te bepalen in overleg met het IWT] Via interne administratie uitvoerder Eenzelfde indicator, met dezelfde insteek, kan eveneens opgesteld worden voor netwerkevents, trainingen en opleidingen etc. Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) 36 Welke indicatoren zijn geschikt om te meten?

37 8 Aantal bedrijven dat zonder dit project het uitgevoerde onderzoek niet zelfstandig zou (kunnen) uitvoeren Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Deze indicator meet de mogelijkheid die deelname aan een project biedt om O&O (gezamenlijk) uit te voeren die zelfstandig niet zou (kunnen) worden uitgevoerd. Collectieve O&O projecten vereisen een lagere investering per deelnemer en geven/hebben toegang tot de kennis van een groter aantal organisaties. Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie / Hierbij moet wel rekening gehouden worden met het feit dat het uitgevoerde onderzoek additioneel moet zijn aan eigen onderzoek. Dat wil zeggen dat collectieve activiteiten die ten koste gaan van normaliter uitgevoerd individueel onderzoek niet worden meegenomen binnen deze indicator. Verder betreft deze indicator specifiek deelname gedurende de looptijd van het project. 1. Aantal deelnemende bedrijven dat zonder dit project het uitgevoerde onderzoek niet zelfstandig zou (kunnen) uitvoeren 1. % deelnemende bedrijven dat zonder dit project het uitgevoerde onderzoek niet zelfstandig zou (kunnen) uitvoeren Bedrijf Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) [Te bepalen in overleg met het IWT] Via bevraging/opinies van bedrijven Welke indicatoren zijn geschikt om te meten? 37

38 4.1.4 Indicatorfiches Competentie- en expertiseopbouw 9 Aantal bedrijven dat zijn competentie en expertise verder heeft ontwikkeld Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie Deze indicator meet het aantal bedrijven dat als gevolg van deelname aan een project zijn competentie en expertise verder hebben ontwikkelt. Hierbij kan er onderscheid gemaakt worden tussen verbreding en verdieping van competentie en expertise. Het moet hierbij gaan om kennisopbouw die tijdens of kort na afloop van een project heeft plaatsgevonden. 1. Aantal bedrijven dat zijn competentie en expertise heeft kunnen verbreden 2. Aantal bedrijven dat zijn competentie en expertise heeft kunnen verdiepen 1. % deelnemende bedrijven dat zijn competentie en expertise verder heeft kunnen verbreden 2. % deelnemende bedrijven dat zijn competentie en expertise heeft kunnen verdiepen Bedrijf [Te bepalen in overleg met het IWT] Via bevraging/opinie bedrijven Verbreding betreft gebieden waarop een bedrijf nog geen competentie en expertise heeft maar dankzij het project een eerste stap in heeft kunnen zetten. Verdieping betreft het verder ontwikkelen van specifieke bestaande competenties en expertises. Competentie verwijst naar kennis, vaardigheden en houding. Expertise verwijst naar kennis en ervaring. Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) 38 Welke indicatoren zijn geschikt om te meten?

39 10 Aantal bedrijven dat voor het eerst in het beoogd kennisdomein een projectaanvraag indient voor publieke financiering Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie Deze indicator meet de mate waarin bedrijven die nog niet eerder aan collectieve O&O projecten hebben deelgenomen hier een eerste stap in zetten. De samenwerking die hiervoor noodzakelijk is kan de kennisbasis van een bedrijf zowel verbreden als verdiepen omdat er contacten worden gelegd met bedrijven die andere of betere competenties en expertises bezitten. 1. Aantal bedrijven dat voor het eerst een projectaanvraag indient voor publieke financiering en hun kenmerken 1. % deelnemende bedrijven binnen een project/programma s dat voor het eerst een projectaanvraag indient voor publieke ondersteuning 2. Aantal bedrijven dat voor het eerst een projectaanvraag voor publieke financiering heeft ingediend dat is goedgekeurd door de uitvoerder Bedrijf [Te bepalen in overleg met het IWT] Bedrijf/via interne administratie uitvoerder Het aantal bedrijven dat voor het eerst een projectaanvraag indient kan ook worden gebruikt als indicatie van een gedragsverandering met betrekking tot de O&O strategie. Bedrijven zullen namelijk eerst intern een strategische visie moeten ontwikkelen dat voor samenwerking in collectieve innovatietrajecten stimuleert/als positief ervaart voordat ze hier een projectaanvraag voor zullen indienen. Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) Welke indicatoren zijn geschikt om te meten? 39

40 4.1.5 Indicatorfiches Versnelling 15 Aantal bedrijven dat erin geslaagd is om sneller tot ontwikkeling over te gaan Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie Deze indicator meet de mate waarin een bedrijf sneller tot ontwikkeling van een product/proces/dienst gaat als gevolg van deelname aan een project. Hierbij kan er onderscheid gemaakt worden tussen nieuwe of gewijzigd producten, diensten, of processen. Het moet hierbij gaan om een versnelling die aan het project gerelateerd, en wel als gevolg van toename in kennis en expertise (tijdens of kort na afloop van het project). 1. Aantal bedrijven dat er in geslaagd is om sneller tot ontwikkeling van een nieuw/ vernieuwd product over te gaan 2. Aantal bedrijven dat er in geslaagd is om sneller tot ontwikkeling van een nieuwe/ vernieuwde dienst over te gaan 3. Aantal bedrijven dat er in geslaagd is om sneller tot ontwikkeling van een nieuw/ vernieuwd proces over te gaan / Bedrijf [Te bepalen in overleg met het IWT] Via bevraging/opinies van bedrijven Het ontwikkelen van een bepaald product kan ook worden doorgetrokken naar het sneller op de markt brengen van een bepaalde innovatie. De indicatoren kunnen dan ook in die richting worden aangepast. Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) 40 Welke indicatoren zijn geschikt om te meten?

41 4.1.6 Indicatorfiches Risico 16 Aantal bedrijven dat het projectrisico niet alleen zou kunnen of willen dragen Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Deze indicator meet de deelname van bedrijven aan riskantere O&O projecten dan dat ze alleen zouden doen bij het ontbreken van een collectief karakter (omdat de bedrijven minder risico lopen). Het kleinere risico wordt veroorzaakt door twee aspecten. Ten eerste vergroot de deelname van meerdere organisaties de competentie en expertise die voorhanden is, wat de kans op mislukking kleiner kan maken. Ten tweede zorgt een gedeeld risico dat de schade bij mislukking kleiner is. Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie Deze indicator dient gemeten te worden gedurende of na afsluiting van het project. 1. Aantal bedrijven dat aangeeft te hebben deelgenomen aan een project met een risico dat ze niet alleen zouden kunnen of willen dragen 1. % bedrijven binnen een project dat het projectrisico niet alleen zou kunnen of willen dragen Bedrijf [Te bepalen in overleg met het IWT] Via bevraging/opinies van bedrijven Het aantal bedrijven dat een projectrisico niet alleen zou kunnen of willen dragen is ook een indicator voor de mate waarin collectieve projecten leiden tot onderzoek dat anders niet zou worden uitgevoerd. Het geeft dus een waarde-indicatie aan het collectief uitvoeren van een project. Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) Welke indicatoren zijn geschikt om te meten? 41

42 4.1.7 Indicatorfiches Strategie 17 Aantal bedrijven dat een onderzoek- en/of innovatiestrategie heeft ontwikkeld Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Deze indicator meet het aantal bedrijven (evt. uit gebruikersgroep) dat in het verlengde van een project een langere termijn onderzoeks-/innovatiestrategie met concrete bedrijfsspecifieke doelstellingen heeft ontwikkeld of geactualiseerd. Het moet hierbij gaan om een strategie met een tijdshorizon van 3-5 jaar. Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie / Waar het hier om gaat is dat de kennis die men heeft opgebouwd gebruikt wordt om de competitieve positie, en de rol van O&O en innovatie, hierin te versterken op een strategische wijze. 1. Aantal bedrijven dan een (langere termijn) innovatiestrategie heeft ontwikkeld 2. Aantal bedrijven dan een (langere termijn) innovatiestrategie heeft geïmplementeerd 1. Aantal bedrijven dan zijn (langere termijn) innovatiestrategie heeft geactualiseerd Bedrijf Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) [Te bepalen in overleg met het IWT] Via bevraging/feitelijke data bedrijf 42 Welke indicatoren zijn geschikt om te meten?

43 18 Aantal bedrijven dat zijn O&O projectmanagementvaardigheden heeft vergroot Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Deze indicator meet het aantal bedrijven (evt. uit gebruikersgroep) dat dankzij deelname aan een project zijn projectmanagementvaardigheden heeft vergroot. Het betreft hier meestal bedrijven voor welke collectieve projecten relatief nieuw zijn voor wie niet alleen de uitkomst telt maar ook het opdoen van O&O projectgerelateerde vaardigheden. Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie / Door het meedraaien in een project ontwikkelen bedrijven projectvaardigheden die later in andere settings gebruikt kunnen worden. Ze doen ervaring op in onderhandelen met partners en IWT, het faseren van langdurige projecten, etc. Deze vaardigheden zijn complementair aan de directe uitkomst van het project en kunnen gebruikt worden bij toekomstige strategische beslissingen. 1. Aantal bedrijven dat zijn O&O projectmanagementvaardigheden heeft vergroot (en of verdiept) 1. % bedrijven dat zijn O&O projectmanagementvaardigheden heeft vergroot Bedrijf Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) [Te bepalen in overleg met het IWT] Via bevraging/opinies van bedrijven Welke indicatoren zijn geschikt om te meten? 43

44 4.1.8 Indicatorfiches Output 19 Aantal ontwikkelde prototpes (en/of testopstellingen) Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie / Deze indicator meet het aantal prototypes (en/of testopstellingen) dat tijdens een project zijn ontwikkeld door de uitvoerder of door de bedrijven. De ontwikkeling van de prototypes moet plaatsvinden tijdens of kort na afloop van het project. 1. Aantal ontwikkelde prototypes (en/of testopstellingen) / Bedrijf en uitvoerder Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) [Te bepalen in overleg met het IWT] Via interne administratie uitvoerder of bevraging feitelijke data bedrijven 44 Welke indicatoren zijn geschikt om te meten?

45 20 Aantal nieuwe (of vernieuwde) producten en/of diensten Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie / Deze indicator meet het aantal nieuwe producten/diensten dat door een bedrijf wordt ontwikkeld als gevolg van een gezamenlijk project. Het betreft hier marktintroducties die tijdens of kort na afloop van het project worden uitgevoerd. 1. Aantal bestaande producten of diensten dat op een nieuwe markt wordt geïntroduceerd (marktdifferentiatie) 2. Aantal nieuwe producten of diensten dat op een bestaande markt wordt geïntroduceerd (productdifferentiatie) 3. Aantal nieuwe producten of diensten dat op een nieuwe markt wordt geïntroduceerd (diversificatie) / Bedrijf Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) [Te bepalen in overleg met het IWT] Via bevraging/feitelijke data bedrijf Welke indicatoren zijn geschikt om te meten? 45

46 21 Aantal procesoptimalisaties/-vernieuwingen Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Deze indicator meet het aantal nieuwe of verbeterde processen die in een bedrijf zijn ingevoerd als gevolg van een project. Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie / Het betreft hier procesaanpassingen die tijdens of kort na afloop van een project zijn doorgevoerd en die niet noodzakelijk leiden tot een nieuw product of diensten maar eerder tot doorlooptijdverkorting, time-to-market reductie en een hogere efficiëntie. 1. Aantal verbeterde processen 2. Aantal nieuwe processen 1. Time-to-market reductie in tijdseenheid 2. Doorlooptijdverkorting in tijdseenheid 3. Efficiëntiewinsten uitgedrukt in % besparingen 4. Reductie in afval/uitval of zelfs milieubelasting Bedrijf Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) [Te bepalen in overleg met het IWT] Via bevraging/feitelijke informatie bedrijven 46 Welke indicatoren zijn geschikt om te meten?

47 4.2 Meting van effecten aan de kant van de uitvoerders Indicatorfiches Competentie- en expertiseopbouw 11 Toename in onderzoekscapaciteit Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie Deze indicator meet de toename in onderzoekscapaciteiten als gevolg van het uitvoeren van een specifiek project. De toename betreft een blijvend effect na afloop van een project; een vorm van spillover als gevolg van het project. Deze toename kan diverse vormen aannemen, zoals een toename in onderzoekers of apparatuur, of het ontwikkelen van nieuwe methodes. Het moet hierbij gaan om een effect dat gedurende of direct na afloop van een project plaatsvindt. Gezien het ontwerp van het TETRA programma, zijn deze effecten te verwachten bij de hogescholen. 1. Toename in onderzoekscapaciteit door een toename in het aantal onderzoekers (VTEs) als gevolg van een specifiek project 2. Toename in onderzoekscapaciteit door een vernieuwing of uitbreiding van de apparatuur als gevolg van een specifiek project 3. Toename in onderzoekscapaciteit door het ontwikkelen van een nieuwe methode als gevolg van een specifiek project / Uitvoerder [Te bepalen in overleg met het IWT] Via interne administratie uitvoerder Indicator laat ruimte voor subindicatoren die een onderdeel beschrijven van onderzoekscapaciteit die niet in dit fiche vermeldt staat. Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) Welke indicatoren zijn geschikt om te meten? 47

48 12 Aantal publicaties Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie Deze indicator meet de hoeveelheid publicaties over een specifiek project dat door de uitvoerder (of ontvanger) is behaald. De voornaamste type publicaties worden gepubliceerd in wetenschappelijke tijdschriften, vaktijdschriften, of als bijdragen in boeken. Deze publicaties moeten tijdens of kort na afloop van het project zijn uitgebracht. 1. Aantal wetenschappelijke (peer reviewed) publicaties gerelateerd aan een specifiek project 2. Aantal bijdragen in boeken gerelateerd aan een specifiek project 3. Aantal bijdragen in (technische) tijdschriften gerelateerd aan een specifiek project 1. Aantal presentaties (bijdragen) op conferenties gerelateerd aan een specifiek project 2. Aantal publicaties dat in samenwerking is ontstaan (co-publicaties) Uitvoerder/bedrijf [Te bepalen in overleg met het IWT] Via interne administratie uitvoerder/bedrijf Bijdrage aan een conferentie is een voorbeeld van ander type publicatie (via een zogenaamde poster ). Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) 48 Welke indicatoren zijn geschikt om te meten?

49 13 Aantal afgeleverde thesissen/doctoraten Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Deze indicator meet het aantal Master of PhD. thesissen dat wordt begeleid en afgerond in directe relatie tot een specifiek project. Het moet hierbij gaan om thesissen die tijdens of op korte termijn na afloop van het project zijn afgerond en waarbij een substantieel deel van het onderzoek is betrokken. Het begeleiden van de thesissen vergroot de competentie en expertise van de begeleider en student, daarbij wordt er ook nieuw onderzoek uitgevoerd welke kennis voorhanden komt. Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie / In dit type projecten verandert ook de houding van studenten en docenten ten opzichte van innovatie, iets wat op termijn een positieve verandering met zich meebrengt. 1. Aantal Master thesissen afgeleverd in directe relatie tot een specifiek project 2. Aantal PhD. thesissen afgeleverd in directe relatie tot een specifiek project / Uitvoerder Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) [Te bepalen in overleg met het IWT] Via interne administratie uitvoerder Welke indicatoren zijn geschikt om te meten? 49

50 14 Aantal nieuwe onderzoeksthema s of onderzoekslijnen Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie / Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) Deze indicator meet het aantal nieuwe onderzoeksthema s of onderzoekslijnen dat als gevolg van een project door de uitvoerder is opgestart. Het moet hierbij gaan om onderzoeksthema s of onderzoekslijnen waar onderzoek die tijdens of kort na afloop van een project is begonnen. 1. Aantal nieuwe onderzoeksthema s dat als gevolg van een project is opgestart 2. Aantal nieuwe onderzoekslijnen dat als gevolg van een project is opgestart (preciezer dan een onderzoeksthema) 1. Aantal onderzoeksthema s of onderzoekslijnen dat als gevolg van een project verder wordt ontwikkeld Uitvoerder/hogescholen/kennisinstellingen [Te bepalen in overleg met het IWT] Via interne administratie uitvoerder 50 Welke indicatoren zijn geschikt om te meten?

51 4.2.2 Indicatorfiches Output Zie ook indicator Aantal ontwikkelde prototypes (en/of testopstellingen) Meetniveau ONTVANGER UITVOERDER OVERIG Tijdsdimensie KT (tijdens of <1jr na afloop) MT (ussen 1-3 jaar na afloop) Type effect INP N&S S&R C&E VER RIS STR OUT Beschrijving Nodige variabelen Mogelijke subindicatoren Niveau indicator Periodiciteit Meetmethode Bijkomende informatie Deze indicator meet het aantal prototypes (en/of testopstellingen) dat tijdens een project zijn ontwikkeld door de uitvoerder of door de bedrijven. De ontwikkeling van de prototypes moet plaatsvinden tijdens of kort na afloop van het project. 1. Aantal ontwikkelde prototypes (en/of testopstellingen) / Bedrijf en uitvoerder [Te bepalen in overleg met het IWT] Via interne administratie uitvoerder of bevraging feitelijke data bedrijven Een prototype is een eerste model van een product, handgemaakt of via bijv. rapid prototyping, waarmee optredende krachten, de werking of passing van onderdelen wordt getest en de productie wordt voorbereid. Input (INP) Netwerking en Samenwerking (N&S) Schaal en Reikwijdte (S&R) Competentie- en Expertiseopbouw (C&E) Versnelling (VER) Risico (RIS) Strategie (STR) Output (OUT) Welke indicatoren zijn geschikt om te meten? 51

52 52 Welke indicatoren zijn geschikt om te meten?

53 5 hoe kan de meting worden aangepakt? Gewenst resultaat van deze stap 1 Een dataverzamelingsplan dat is doorgesproken met alle relevante partijen. Mogelijke hulpmiddelen 1 De in deze handleiding voorgestelde aanpak en vragenlijst ter bevraging van de doelgroep. 2 De voorgestelde methodiek in de studie Zelfevaluatie Competentiepolen (IWT studie 62). Het meten van effecten zal bijna per definitie moeten gebeuren bij de doelgroep/ontvangers (daar waar de effecten zich voordoen). Het geheim van een goede monitoring ligt in de afspraken die gemaakt worden met alle interne en externe betrokkenen (en stakeholders) over wie, welke data zal aanleveren en tegen wanneer. Deze afspraken dienen ex-ante gemaakt te worden. Concreet, bij het definiëren van doelstellingen en effecten, en de diverse relevante indicatoren, dient al samen met de doelgroep nagedacht te worden over de wijze waarop de indicatoren gemeten zullen worden. Zo kunnen er afspraken worden gemaakt met bedrijven over de informatie die zij dienen aan te leveren en de frequentie. Het is immers in het belang van de bedrijven dat overheidssteun blijft bestaan doordat de meerwaarde en dus de effecten op een duidelijke manier worden aangetoond. Er zijn verschillende manieren om deze afspraken het nodige gewicht te geven, gaande van gentlemen s agreements tot gedragscodes en zelfs contractuele bepalingen. Van belang is hier de afweging tussen de meerwaarde van de informatieverzameling versus het potentieel afschrikwekkend effect van de eis tot medewerking. Een open benadering en bespreking met de doelgroepen is aldus noodzakelijk om negatieve reacties te voorkomen. Bij effectmetingen is de veel gebruikte dataverzamelingsmethode de bevraging (zie IWT-studie 62 voor meer informatie over bevragingen) al dan niet in combinatie met de meer tijdrovende en duurdere technieken Tip... Tijdens de laatste meeting van uw gebruikersgroep kunt u een formulier uitdelen met vragen rond effecten (uiteraard anoniem!). zoals interviews en workshops/focusgroepen. Tegelijk is het zo dat we vandaag de dag te maken hebben met overbevraging en zelfs bevragingsmoeheid. Selectiviteit zal dus van groot belang zijn. Eens deze afspraken zijn gemaakt, dient er een monitoringsysteem te worden ontwikkeld waarbij eenvoud de regel moet zijn. Nauwe aansluiting bij bestaande (interne en/of externe) monitoringsystemen (zoals in het kader van RAP rapportage en/of TIS/TD/RIS) is hierbij dan ook aangewezen. Wat betreft de rapportage van de resultaten, ook hier dient aansluiting gezocht te worden bij bestaande systemen en rapportages. Zo is het bijvoorbeeld mogelijk om periodieke voortgangsrapporten aan te vullen met de gerealiseerde effecten (naast rapportage over activiteiten en acties). Het vertrouwen in de resultaten van een effectmeting kan toenemen door middel van zogenaamde triangulatie. Dit betekent dat informatie uit diverse bronnen aan bod dient te komen om zo de validiteit te verhogen. Resultaten uit diverse analyses dienen met elkaar geconfronteerd te worden. Het is bijvoorbeeld belangrijk om tijdens een effectmeting aandacht te hebben voor succes maar ook voor falen, voor kwantitatieve maar ook voor kwalitatieve informatie. Tevens is het belangrijk dat bevindingen op het projectniveau systematisch afgetoetst worden aan de resultaten van effectmetingen op programma- en zelf op regionaal niveau. Hier ligt zeker ook een rol voor het IWT weggelegd die grootschaliger effectmetingen (op programmaniveau) periodiek dient te laten uitvoeren. Hoe gaat u te werk? Zoals hierboven al aangegeven, dienen de afspraken over het meten van de effecten en het bijhouden van de noodzakelijke data op voorhand te gebeuren (dat wil zeggen voor de aanvang van een project). Indien de gemaakte afspraken ertoe hebben geleid dat de bedrijven zelf bepaalde informatie bijhouden, dan komt Hoe kan de meting worden aangepakt? 53

54 het neer op het opvragen van deze informatie. Indien het gaat over de bereidheid tot medewerking van een bevraging, dan zal de bevraging zelf gelanceerd moeten worden. Er zijn verschillende mogelijkheden om een bevraging te doen (schriftelijk, via of via een internetbe- vraging). De goedkoopste en meest efficiënte manier is deze via of internet (er zijn diverse internetbevragingstools beschikbaar). Hieronder presenteren we een overzicht van mogelijke vragen die gesteld kunnen worden om een selectie van belangrijke effecten te meten. Tabel 4. Voorbeelden van vragen (voor de bevraing naar effecten) Mogelijke vragen voor de bevraging Om deel te nemen aan [project X] heeft u de volgende investeringen gedaan Euro s aan cofinanciering dagen actieve bijdrage tot het project dagen opvolging (gebruikersgroepen) Hoe significant is deze totale investering voor uw bedrijf? Bijv. (Niet significant, significant, Zeer significant, Geen mening) Als gevolg van deelname aan [project X] heeft u bijkomende investeringen moeten doen om de resultaten/uitkomsten van het project verder te ontwikkelen en/of te exploiteren. Bijv. Helemaal oneens, Oneens, Oneens noch eens, Eens, Helemaal mee eens, N.V.T., Geen mening U hebt de volgende investeringen gedaan investering in Euro s ten gevolge van de aankoop van investering in Euro s ten gevolge van aanwerving van personeel... Door deelname aan [project X] heeft u uw relevante netwerk (bedrijven, kennisinstellingen etc.) kunnen uitbreiden. Bijv. Helemaal oneens, Oneens, Oneens noch eens, Eens, Helemaal mee eens, N.V.T., Geen mening Door deelname aan [project X] heeft u uw relevante netwerk kunnen uitbreiden met bedrijven kennisinstellingen overig Als gevolg van deelname aan [project X] werkt u meer samen op het vlak van O&O en innovatie. Bijv. Helemaal oneens, Oneens, Oneens noch eens, Eens, Helemaal mee eens, N.V.T., Geen mening Als gevolg van deelname aan [project X] bent u een formele vervolgsamenwerking aangegaan met bedrijven kennisinstellingen overig Globaal genomen, hoe tevreden bent u met de kwaliteit van de doorverwijzing en de organisatie naar welke u bent doorverwezen. Bijv. Helemaal niet tevreden, Niet tevreden, Tevreden, Zeer tevreden, Helemaal tevreden, N.V.T., Geen mening Zonder deelname aan [project X] zou u het uitgevoerde onderzoek NIET zelfstandig kunnen uitvoeren. Bijv. Helemaal oneens, Oneens, Oneens noch eens, Eens, Helemaal mee eens, N.V.T., Geen mening In relatie tot indicator Hoe kan de meting worden aangepakt?

55 Mogelijke vragen voor de bevraging Deelname aan [project X] heeft ertoe geleid dat u uw competenties en expertise verder heeft kunnen ontwikkelen/uitbreiden. Bijv. Helemaal oneens, Oneens, Oneens noch eens, Eens, Helemaal mee eens, N.V.T., Geen mening Als gevolg van deelname aan [project X] heeft u uw competenties verder verbreed competenties verder verdiept expertise verder verbreed expertise verder verdiept Als gevolg van deelname aan [project X] is uw onderzoekscapaciteit vergroot dankzij een toename (in kwaliteit) van aantal onderzoekers aanwezige apparatuur ontwikkelde methodes Globaal genomen, dankzij deelname aan [project X] ben u erin geslaagd om uw ontwikkelingsproces te versnellen. Bijv. Helemaal oneens, Oneens, Oneens noch eens, Eens, Helemaal mee eens, N.V.T., Geen mening Als gevolg van deelname aan [project X] bent u sneller tot ontwikkeling kunnen overgegaan van een nieuw product een verbeterd product een nieuwe dienst een verbeterde dienst een nieuw proces een verbeterd proces [project X] heeft u in staat gesteld om deel te nemen aan een riskanter onderzoekstraject dan anders mogelijk zou zijn. Bijv. Helemaal oneens, Oneens, Oneens noch eens, Eens, Helemaal mee eens, N.V.T., Geen mening Dankzij [project X] heeft u een (langere termijn) innovatiestrategie geïntroduceerd geüpdate (als u al een innovatiestrategie had) Als gevolg van deelname aan [project X] heeft u uw O&O projectmanagementvaardigheden vergroot Bijv. Helemaal oneens, Oneens, Oneens noch eens, Eens, Helemaal mee eens, N.V.T., Geen mening Als gevolg van deelname aan [project X] heeft u een of meerdere prototypes ontwikkeld een testopstelling ontwikkeld (en of gebruikt van gemaakt) Als gevolg van deelname aan [project X] heeft u een bestaand product op een nieuwe markt kunnen brengen een nieuw product op een bestaande markt kunnen brengen een nieuw product op een nieuwe markt kunnen brengen Als gevolg van deelname aan [project X] heeft u een nieuw proces geïmplementeerd in uw bedrijf Een verbeterd proces geïntroduceerd in uw bedrijf In relatie tot indicator Hoe kan de meting worden aangepakt? 55

56 56 Hoe kan de meting worden aangepakt?

57 6 referenties Aerts, K & Czarnitzki, D. (2006). The Impact of Public R&D Funding in Flanders. IWT Studie 54. Arnold, E. (2009), Brussels, The Making of the FP6 Expost Evaluation Report, views presented at: Taking stock and moving forward, Conference organized by European Commission, Research, Brussels June 18, Bodewes, H.; Nagle, M.; Van der Veen, G.; Zuijdam, F. (2009). : Zelfevaluatie van competentiepolen. IWT Studie 62. Bongers, F.; Kaashoek, B.; Ongena, G.; Verweijen. (2008). Werking en effecten van Collectief Onderzoek. IWT Studie 61. Carlsson, J., M. Eriksson-Baaz, A.M. Fallenius and E. Lövgren (1999) Are Evaluations Useful? Cases from Swedish Development Cooperation, Sida Studies in Evaluation 99/1 (Department for Evaluation and Internal Audit). Casey, Tom, Isabelle Collins, TECHNOPOLIS (2004), The Monitoring & Impact Assessment Indicators Study: The MIPs Study, October. Cozzens, S. E. (2007), Maximising Social Impacts through Science and Technology: Carson s Quadrant, Presentation at Impacts of Science, May, Vienna. European Commission (2004), Evaluating EU Activities A Practical Guide for the Commission Services, Luxembourg: Office for Official Publications of the European Communities. European Commission. (2010). Lisbon Strategy for Growth and Jobs: Towards a green and innovative economy. European Commission (2010). Europe 2020: A strategy for smart, sustainable and inclusive growth. European Court of Auditors (sd), Performance Audit Manual, Luxembourg: Court of Auditors. Georghiou, L.; Clarysse, B.; Steurs, G.; Bilsen, V.; Larosse, J. (2004). Making the Difference: The Evaluation of Behavioral Additionality of R&D Subsidies. IWT Studie 48. Hatry, H.P. and K.E. Newcomer (2004), Pitfalls of Evaluation, in: J.S. Wholey, H.P. Hatry and K.E. Newcomer, Handbook of Practical Program Evaluation. IDEA Consult & Falk, R. (2009). Does Europe change R&D behaviour? Assessing the behavioral additionality of the Sixth Framework Programme. European Commission, DG Research. IKED/VINNOVA (2005), Public Research and Innovation Policy for the Good of Society: How to Assess the Way Forward?, Proceedings from IKED and VINNOVA Seminar, November , Stockholm, Sweden. Louis Lengrand & Associés, PREST, ANRT, Reidev Ltd. (2006), SMART INNOVATION: A Practical Guide to Evaluating Innovation Programmes, January (wordt naar gerefereerd als to as SMART INNOVATION). Muldur, U. et al. A New Deal for an Effective European Research Policy The Design and Impacts of the 7th Framework Programme, Dordrecht: Springer. OECD (2001), Evaluation Feedback for Effective Learning and Accountability, Paris: OECD. OECD (2002), Glossary of Key Terms in Evaluation and Results Based Management, Paris: OECD. OECD (2007), Assessing the Socio-Economic Impacts of Public Investment in R&D, Paris: OECD. OECD (2009), Enhancing Public Research Performance through Evaluation, Impact Assessment and Priority Setting, Paris: OECD. Papaconstantinou, George and Wolfgang Polt (1997), Policy Evaluation in Innovation and Technology: an Overview, in: Policy Evaluation in Innovation and Technology: Towards Best Practices, Paris: OECD. Sharpe, A. and J. Smith (2005), Measuring the Impacts of Research on Well-being: A Survey of Indicators of Well-being, Centre for the Study of Living Standards Centre d étude des niveaux de vie, Ottawa, Canada. Kader voor de meting van effecten Steurs, G.; Verbeek, A.; Vermeulen, H.; Clarysse, B. (2006). What difference do IWT R&D grants make for their clients. IWT Studie 56. Thoenig, Jean-Claude (2000), Evaluation as Usable Knowledge for Public Management Reforms, Evaluation, Vol. 6, No. 2, Verbeek, A.; Lykogianni, E.; Van Hoed, M. (2008). De effectiviteit van het Vlaams Innovatiesamenwerkingsverband (VIS). IWT Studie 59. Referenties 57

58 58 Referenties

59 annex 1: beknopt overzicht programma: competentiepolen Situering en doelstellingen Competentiepolen zijn gedefinieerd als initiatieven die een substantiële kennissokkel willen uitbouwen inzake innovatie ten behoeve van belangrijke bedrijfssegmenten in Vlaanderen. Individuele projecten hebben in veel gevallen onvoldoende kritische massa om structureel de innovatie in een sector of specifiek domein te verbeteren. Competentiepolen kunnen aan deze problematiek een oplossing bieden door bestaande competenties te bundelen tot een coherent en effectief geheel van acties of projecten. Het betreft hier activiteiten die technisch en wetenschappelijk tot de state of the art behoren, met vrij directe en nuttige resultaten voor innovatie bij bedrijven. In deze speelt het overbruggen van de kloof tussen wetenschappelijke en economische innovaties een belangrijke rol binnen de Competentiepolen. Doelgroep Het Competentiepolen progamma wenst een zo ruime mogelijke doelgroep van bedrijven, en in het bijzonder KMO s, te bereiken. Competentiepolen hebben een vraaggedreven, collectief en open karakter, weerspiegeld in onder andere de beheers- en beslissingsstructuren. Een aanvraag voor opstarting van een Competentiepool kan worden ingediend door: ofwel een groepering van bedrijven met al dan niet andere organisaties of instellingen, representatief voor de welomschreven doelgroep van bedrijven; ofwel een collectief centrum dat middels het VISbesluit erkend is als de facto een Vlaamse Innovatiesamenwerkingsverband; ofwel een organisatie die de facto kan optreden namens een groep van bedrijven. Het representatieve karakter komt tot uiting door de niet-commerciële en neutrale positie die wordt ingenomen ten aanzien van de betrokken partijen. Gefinancierde activiteiten De aard van activiteiten die door Competentiepolen worden ondersteund kunnen sterk verschillen. Het zijn typen activiteiten met een open en collectief karakter gericht op kenniscreatie en kennisdiffusie, inzonderheid naar KMO s binnen de doelgroep: Thematische innovatiestimulering sensibilisering netwerkvorming Technologische dienstverlening Projecten voor collectieve kennisopbouw Roadmapping/toekomstverkenning Competentiepolen zijn niet bedoeld voor: Studieactiviteiten en prototypeontwikkeling op maat van een individueel bedrijf Opstellen van businessplannen, marktstudies ten behoeve van ondernemingen, routinematige testen en berekeningen, investeringsprospecties, exportpromotie, uitvoeren van expertiseopdrachten in het kader van schadeclaims, etc. Certificatie, het invoeren van kwaliteitssystemen en aanverwante activiteiten Algemene belangenverdediging of commerciële vertegenwoordiging Bedrijfsgebouwen- en of bedrijvenpark opbouwen en exploiteren Kortingen toekennen op prestaties van derden Organisatie van algemene opleidingen Overlap met commerciële dienstverlening In geen geval mogen de middelen van het programma benut worden als een subsidiekanaal voor individuele bedrijven. Annex 1: Beknopt overzicht programma: Competentiepolen 59

60 Blauwdruk van doelstellingen Tabel 5. Blauwdruk doelstellingenhiërarchie Competentiepolen Activiteiten Intermediaire doelstellingen Strategische doelstellingen Impact A1. Uitvoeren van contractonderzoek, coöperatief onderzoek en collectief onderzoek A2. Advisering en doorverwijzing A3. Begeleiding van innovatietrajecten A4. Uitvoeren van technologieverkenningen en roadmapping A5. Maken van publicaties (vakinhoudelijk en niet-vakinhoudelijk) A6. Organisatie van evenementen en trainingen A7. Ondersteuning bij deelname aan nationaal en internationaal onderzoek A8. Uitvoeren van haalbaarheidsstudies ID1. Verhogen van het aantal innovaties bij bedrijven ID2. Efficiënte inzet van middelen ID3. Verbeteren van afstemming, samenwerking en coördinatie binnen en rond de sector ID4. Creëren van voldoende kritische massa (op het vlak van onderzoek) ID5. Verhogen van kennis en expertise bij bedrijven ID6. Vervullen intermediaire doorverwijsfunctie voor innovatie SD1. In collectief verband vergroten van innovatievermogen van bedrijven SD2. Verhogen internationale zichtbaarheid sector I1. Behoud en verhogen van de concurrentiepositie van bedrijven (sociale en economische waardecreatie) Tijd 60 Annex 1: Beknopt overzicht programma: Competentiepolen

61 Nadere toelichting per doelstelling (focus op intermediaire doelstellingen) ID1. Verhogen van het aantal innovaties bij bedrijven. De activiteiten binnen een Competentiepool hebben als doel het aantal innovaties bij deelnemende bedrijven te laten toenemen. Innovaties kunnen worden gekenmerkt als vernieuwingen of substantiële verbeteringen in een product, proces of dienst van een bedrijf. Het nieuw zijn wordt bekeken vanuit het perspectief van het bedrijf in kwestie. ID2. Efficiënte inzet van middelen. De activiteiten van een Competentiepool trachten een stijging van kennis en competenties binnen bedrijven te bewerkstelligen waardoor het innovatiepotentieel van deze bedrijven toeneemt. Dit stimuleert een betere benutting van externe kennisbronnen als gevolg van een vergroting van het absorptievermogen van bedrijven. ID6. Vervullen intermediaire doorverwijsfunctie voor innovatie. De activiteiten van een Competentiepool hebben als doel vraag en aanbod van kennis, competenties of netwerken beter te laten matchen zodat problemen makkelijker kunnen worden opgelost. Als gevolg van de activiteiten van een Competentiepool moet een bedrijf in staat worden gesteld om meer O&O activiteiten te doen, op grotere schaal en wellicht ook met minder investeringen. Innovaties kunnen ook sneller worden gerealiseerd dan dat een bedrijf alleen zou kunnen. Gezien het collectieve karakter van de acties worden de publieke middelen in het belang van een groteren groep bedrijven ingezet. ID3. Verbeteren van afstemming, samenwerking en coördinatie binnen en rond de sector. De activiteiten van een Competentiepool streven een verbetering van afstemming, samenwerking en coördinatie na tussen bedrijven onderling, of tussen bedrijven en kennisinstellingen. Deze doelstelling beoogt indirect een toename op het aantal kruisbestuivingen, afname in het aantal duplicaties van O&O in onsuccesvolle richtingen ten gevolge van verbeterde afstemming, beter samenwerking en coördinatie. ID4. Creëren van voldoende kritische massa (op het vlak van onderzoek). De doelstelling is een toename in kritische massa te bewerkstelligen, dit vergroot het aantal betrokkenen en de reikwijdte van een Competentiepool. Indirect tracht deze doelstelling het innovatiepotentieel te vergroten. Een vergroting van de massa zorgt namelijk voor een groter kennispotentieel en helpt nieuwe onderzoekslijnen te starten. Tevens kan het makkelijker worden om O&O cofinanciering aan te treken. ID5. Verhogen van kennis en competenties bij bedrijven. Annex 1: Beknopt overzicht programma: Competentiepolen 61

62 62 Annex 1: Beknopt overzicht programma: Competentiepolen

63 Annex 2: Beknopt overzicht programma: Collectief onderzoek Situering en doelstellingen De belangrijkste doelstelling van het VIS/Collectief Onderzoek programma is het verhogen van de kennis en competentie van bedrijven. De resultaten die voortvloeien uit collectieve projecten moeten op korte of lange termijn leiden tot een economische meerwaarde bij de bedrijven. Deze kan gerealiseerd worden door innovaties, nieuwe ontwikkelingen, optimalisatie van producten/processen of diensten en implementatie van de resultaten bij de doelgroepbedrijven. Daarnaast moeten collectieve onderzoeksresultaten gevaloriseerd worden voor en door een zo ruim mogelijke groep van bedrijven. Doelgroep De doelgroep die het VIS/CO programma wenst te bereiken, zijn groepen van (KMO)bedrijven uit alle industriële sectoren behalve de primaire sector. Zij kunnen een onderzoek laten uitvoeren op collectieve basis door een onderzoeksinstelling, omwille van een gezamenlijke problematiek, opportuniteit of interesse of omdat ze zelf weinig middelen hebben om onderzoek uit te voeren. Naast bestaande collectieve verbanden (bv. collectieve centra, competentiepolen), wenst het programma Collectief Onderzoek ook nieuwe collectieve verbanden aan te trekken, zoals ad-hoc consortia van bedrijven. Een project Collectief Onderzoek wordt aangevraagd door: niet-commerciële en neutrale positie die wordt ingenomen ten aanzien van de betrokken bedrijven; ofwel een collectief centrum dat via het VIS-besluit erkend is als een Vlaams innovatiesamenwerkingsverband; of een combinatie van de voorgaande. Gefinancierde activiteiten De projecten Collectief Onderzoek omvatten activiteiten waarbij zowel elders ontwikkelde geavanceerde kennis wordt verzameld, als eigen kennis wordt opgebouwd binnen het innovatiesamenwerkingsverband. Het complete spectrum van onderzoek kan aan bod komen, voor zover het zich richt tot een collectief van bedrijven. Collectief Onderzoek is niet bedoeld voor: Projecten met een louter maatschappelijke finaliteit Prenormatieve activiteiten die in bepaalde sectoren van belang zijn Specifieke taken rond kennisopbouw, gerelateerd aan het feit dat het onderzoek niet binnen de huidige competentie van het centrum ligt Losstaande economische evaluaties om een inschatting te maken van werkings-, investeringskosten en ecologische voordelen Het ontwikkelen van specifieke toepassingen op maat van een individueel bedrijf ofwel een consortium van in hoofdzaak Vlaamse bedrijven. Bij de aanvraag dienen minimaal 10 bedrijven lid te zijn van het consortium, waaronder een representatieve kmo-vertegenwoordiging. Indien het consortium bij de aanvraag niet beschikt over een juridisch statuut, duidt het een vertegenwoordiger aan die als hoofdaanvrager optreedt. Dit lid van het consortium kan een bedrijf, collectief centrum, beroepsfederatie of andere organisatie zijn; ofwel een organisatie die de facto kan optreden namens een groep van bedrijven zoals een beroepsfederatie of een specifieke belangenvereniging. Het representatief karakter komt tot uiting in de Annex 2: Beknopt overzicht programma: Collectief onderzoek 63

64 Blauwdruk van doelstellingen Tabel 6. Blauwdruk doelstellingenhiërarchie Collectief onderzoek Activiteiten Intermediaire doelstellingen Strategische doelstellingen Impact A1. Uitvoeren van collectief onderzoek, contractonderzoek, coöperatief onderzoek, ontwikkeling, ontwerp, A2. Uitvoeren van literatuur- en octrooianalyses A3. Valideren van testresultaten (testcases, demonstraties, dry runs, ) en ontwikkelen van prototypes A4. Organiseren en bijwonen van vergaderingen gebruikersgroepen A5. Organiseren van workshops, seminaries en groepssessies A6. Aanleggen van databanken A7. Maken van publicaties gericht op de doelgroep A8. Creëren van een TD-TIS dienst- en adviesverlening A9. Voorbereiding tot bedrijfsprojecten (bijv. via IWT) A10. ID1. Ontwikkelen van nieuwe producten, processen en software ID2. Verhogen van kennis en competenties bij bedrijven ID3. Verhoging van de dienstverlening van het kenniscentrum aan bedrijven ID4. Aantrekken van nieuwe collectieve verbanden ID5. Opzetten van nieuwe samenwerkingsverbanden ID6. Werven/aantrekken van nieuwe leden SD1. In collectief verband vergroten van kennis en competenties bedrijven SD2. Valoriseren van onderzoeksresultaten door/voor een zo ruim mogelijke groep van bedrijven I1. Creëren van economische meerwaarde bij (KMO) bedrijven uit alle sectoren behalve de primaire sector Tijd 64 Annex 2: Beknopt overzicht programma: Collectief onderzoek

65 Nadere toelichting per doelstelling (focus op intermediaire doelstellingen) ID1. Ontwikkelen van nieuwe producten, processen en software. De activiteiten in het kader van Collectief Onderzoek hebben als doel het aantal nieuwe producten, processen en software dat wordt ontwikkeld te laten toenemen, in eerste instantie bij de leden van de gebruikersgroep, en in tweede instantie bij de ruimere doelgroep. ID2. Verhogen van kennis en competenties bij bedrijven. kennis en het efficiëntie van O&O. De kracht van een collectief samenwerkingsverband schuilt in kennisdeling en risicoreductie voor individuele bedrijven. ID6. Werven/aantrekken van nieuwe leden. Het doel om nieuwe leden binnen Collectief Onderzoek te werven vergroot het aantal bedrijven dat actief bezig is (of start) met O&O en innovatie. Daarmee stimuleert het bedrijven om al een eerste inspanning te doen op het vlak van O&O door de vereiste cofinanciering. Nieuwe leden versterken en verrijken tevens het netwerk. De activiteiten binnen Collectief Onderzoek trachten een stijging van kennis en competenties binnen bedrijven te bewerkstelligen waardoor het innovatiepotentieel van deze bedrijven toeneemt. Dit stimuleert tevens een betere benutting van externe kennisbronnen als gevolg van een vergroting van het absorptievermogen van bedrijven. ID3. Verhoging van de dienstverlening van het kenniscentrum aan bedrijven. De activiteiten binnen Collectief Onderzoek hebben als doel de dienstverlening van het kenniscentrum aan bedrijven te verhogen. Met een verhoogde dienstverlening probeert Collectief Onderzoek de match tussen vraag en aanbod van kennis, competenties of netwerken te verbeteren zodat problemen van bedrijven makkelijker kunnen worden opgelost. Onderliggend hieraan staat de doelstelling dat er meer en effectievere kennistransfer moet zijn tussen kenniscentrum en bedrijf. ID4. Aantrekken van nieuwe collectieve verbanden. De doelstelling is een toename in het aantal collectieve verbanden of de graad van georganiseerdheid van de sector/subsector. Ten gevolge hiervan beginnen meer bedrijven aan O&O, of intensiveren O&O actieve bedrijven hun investeringen, en kan men beter profiteren van expertise en aanwezige kennis. ID5. Opzetten van nieuwe samenwerkingsverbanden. Collectief Onderzoek beoogt nieuwe samenwerkingsverbanden op te zetten. Indirect streeft het zo innovatie na door een toename in het aantal kruisbestuivingen, het vergroten de beschikbare Annex 2: Beknopt overzicht programma: Collectief onderzoek 65

66 66 Annex 2: Beknopt overzicht programma: Collectief onderzoek

67 annex 3: Beknopt opverzicht programma: tetra Situering en doelstellingen Met projecten van TEchnologieTRAnsfer beoogt het IWT een dubbele doelstelling: Enerzijds beoogt men de innovatiecapaciteit van bedrijven en andere socialprofitorganisaties te vergroten door technologie en kennis te vertalen in concrete toepassingen via aangepaste informatie en demonstraties op maat. Anderzijds streeft men ernaar de kennisbasis bij hogeronderwijsinstellingen te verbeteren. TETRAprojecten zetten niet alleen het onderwijs zelf kracht bij, maar versterken ook de maatschappelijke rol van instellingen van hoger onderwijs door wisselwerking te stimuleren met technologische, economische en maatschappelijke actoren. De projecten stimuleren hogescholen ook om te netwerken met technologische, economische en maatschappelijke spelers. De onderzoeksresultaten zijn nuttig voor de onderwijsopdracht van de hogescholen. Het TETRA-fonds wil het technologisch onderzoek aan de Vlaamse instellingen van hoger onderwijs ondersteunen en hen actief laten bijdragen tot het innovatieproces in Vlaamse bedrijven, meer in het bijzonder in KMO s. Activiteiten Het TETRA-fonds steunt toepassingsgerichte projecten die een innovatief concept bestuderen, waarvan de resultaten door bedrijven in Vlaanderen kunnen gebruikt worden. Het onderzoeksonderwerp bevat minimaal een technologische component en de resultaten zijn gericht op economische valorisatie. Het TETRA-fonds is niet bedoeld voor: Projecten die zich in hun hoofdmoot richten op het ontwikkelen van kennis (of het installeren van technologie) aan de hogeschool zelf Projecten die zich exclusief richten op de noden van één of enkele ondernemingen of het verder afwerken van generische projectresultaten in bedrijfseigen toepassingen Projecten die zich louter richten op maatschappelijke finaliteit, zonder economische meerwaarde Projecten die zich louter richten op de primaire sector Doelgroep Het financieringskanaal is er voor alle Vlaamse instellingen van hoger onderwijs, met als prioritaire doelgroep de hogescholen (=mogelijke inschrijvers). Voor kennisdiffusie wordt de prioritaire doelgroep gevormd uit niet-hoogtechnologische Vlaamse KMO s en socialprofitorganisaties. Ook andere bedrijven en organisaties - grote ondernemingen, hoogtechnologische KMO s, buitenlandse bedrijven en organisaties - kunnen deelnemen, indien het project voldoet aan de doelstellingen van het programma. Van de bedrijven wordt cofinanciering van 7,5% gevraagd. Annex 3: Beknopt overzicht programma: TETRA 67

68 Blauwdruk van doelstellingen Tabel 7. Blauwdruk doelstellingenhiërarchie TETRA Activiteiten Intermediaire doelstellingen Strategische doelstellingen Impact A1. Uitvoeren van literatuur en octrooianalyses A2. Maken van publicaties (vakpers etc.) A3. Organiseren van technische workshops A4. Aanpassen technologieën en methodes op maat van de bedrijven A5. Gebruiken en testen van technologie op laboschaal A6. Opschalen van gebruikte en geteste technologieën tot op industriële schaal A7. Bouwen van testopstelling of prototype, pilootproeven, proof of principle A8. Uitvoeren van case studies bij bedrijven of social-profitorganisaties A9. Aanbieden/uitvoeren van vervolgtrajecten A10. Begeleiding van eindwerken bij bedrijven en organisaties A11. ID1. Verhogen van kennis en competenties bij bedrijven en uitvoerder ID2. Introduceren van een nieuw product, proces of dienst ID3. Verhogen van de innovatiecompetenties van HO onderzoekers ID4. Uitbreiden van de infrastructuur en kenniscentra van HO ID5. Ontwikkeling van nieuwe dienstverlening (nieuw/vernieuwde opleiding) ID6. Beter inzicht in toekomstige onderzoeksnoden ID7. Stimuleren van netwerking en samenwerking op vlak van IPR, delen van expertise en apparatuur SD1. Verbeteren van de kennisbasis bij instellingen van HO SD2. Meer O&O&I gericht onderwijs bij instellingen van HO SD3. Verhogen van de innovatiecapaciteit bij bedrijven en socialprofitorganisaties SD4. Stimuleren van open innovatie bij bedrijven en bij instellingen van HO SD5. Stimuleren van technologiegedreven kennisoverdracht tussen HO, bedrijven en socialprofitorganisaties SD6. Creëren van een positieve(re) houding van bedrijven ten opzichte van innovatie I1. Verbetering O&O&I gerichtheid van het onderwijs aan HO I2. Verhogen van de innovativiteit van bedrijven/organisaties Tijd 68 Annex 3: Beknopt overzicht programma: TETRA

69 Nadere toelichting per doelstelling (focus op intermediaire doelstellingen) ID1. Verhogen van kennis en competenties bij bedrijven. De activiteiten in het kader van een TETRA-project trachten een stijging van kennis en competenties binnen bedrijven te bewerkstelligen waardoor het innovatiepotentieel van deze bedrijven toeneemt. Dit stimuleert een betere benutting van externe kennisbronnen als gevolg van een vergroting van het absorptievermogen van bedrijven. ID2. Introduceren van een nieuw product, proces of dienst. De activiteiten gerelateerd aan een TETRA-project hebben als doel het aantal innovaties bij deelnemende bedrijven te laten stijgen. Innovaties kunnen worden gekenmerkt als vernieuwingen of substantiële verbeteringen in een product, proces of dienst van een bedrijf. ID6. Detecteren van nood aan bijkomend onderzoek. Een TETRA-project heeft als doel om de nood aan bijkomend onderzoek te detecteren. Hiermee tracht het de koppeling tussen vraag en aanbod van onderzoek te verbeteren om zo problemen sneller op te lossen. ID7. Stimuleren van netwerking en samenwerking op vlak van IPR, delen van expertise en apparatuur. In het kader van deze doelstelling probeert een TETRA-project meer netwerking en samenwerking op vlak van IPR te realiseren, zoals het delen van expertise en apparatuur. Het doel is om te komen tot meer en betere IPR bescherming van bedrijven en HO instellingen. Indirect kan deze doelstelling de kennis, competenties en het absorptievermogen van deelnemende organisaties beïnvloeden door een toename aan onderzoek. ID3. Verhogen van de innovatiecompetenties van HO onderzoekers. Het TETRA-project beoogt een stijging in de innovatiecompetenties van HO onderzoekers te bewerkstelligen. Hieronder vallen zowel een toename in kennis en competenties als een toename in multidisciplinair handelen. ID4. Uitbreiden van de infrastructuur en kenniscentra van HO. Activiteiten in het kader van een TETRA-project hebben als doel het uitbreiden van de infrastructuur en kenniscentra van HO. Hiertoe behoort ook het vergroten van kennis binnen het HO over het gebruik van de kennisinfrastructuur en tevens het streven naar een beter uitgeruste kennisinfrastructuur. ID5. Ontwikkeling van nieuwe dienstverlening (nieuw/ vernieuwde opleiding). Een doelstelling van TETRA-projecten is het ontwikkelen van nieuwe dienstverlening. In het kader van deze doelstelling beogen TETRA-projecten nieuwe of vernieuwde opleidingen op te zetten om zo een toename in kennis, competenties en absorptievermogen binnen de HO instellingen te bewerkstelligen, en op termijn binnen de bedrijven als gevolg van uitstromende studenten. Annex 3: Beknopt overzicht programma: TETRA 69

70 70 Annex 3: Beknopt overzicht programma: TETRA

71 annex 4: invulformulier doelstellingen Activiteiten Intermediaire doelstellingen Strategische doelstellingen Impact A1.... ID1.... SD1.... I1.... Tijd Annex 4: Invulformulier doelstellingen 71

72 72 Annex 4: Invulformulier doelstellingen

73 annex 5: lijst van overige relevante indicatoren Long list of other effect indicators (variants) Types of effect Input Gaan er bijkomende investeringen/inspanningen zijn? Netwerking en samenwerking Zullen er effecten zijn rond netwerking en samenwerking? Schaal en reikwijdte Laat het project toe om bedrijven deel te laten nemen aan onderzoek op grotere schaal? Competentie- en expertiseopbouw Zal het project leiden tot competentie- en expertiseopbouw? Versnelling Zal het project de snelheid van O&O verhogen dan anders het geval zou zijn? Risico Leidt het project tot risico verkleining (in relatie tot onzekerheid van onderzoek?) Indicators 1. Aantal (of %) bedrijven dat dankzij het project overgegaan is tot de introductie (of verhoging) van een eigen O&O budget. 2. Aantal (of %) bedrijven dat dankzij het project overgegaan is tot het aanwerven van O&O medewerkers of het toewijden van bestaand personeel aan O&O. 1. Aantal (of %) bedrijven/organisaties dat dankzij het project meer is gaan samenwerken op het vlak van O&O&I dan vroeger. 2. Aantal (of %) bedrijven/organisaties dat in de nabije toekomst plant om samenwerkingsverbanden aan te gaan betreffende O&O&I. 3. Aantal gezamenlijke georganiseerde events (wetenschappelijke lezingen, workshops, etc.) dat in de context van een specifiek project is georganiseerd. 4. Aantal gezamenlijke publicaties in de context van een specifiek project. 5. Beschikbaarheid van een contactendatabank en de intensiteit van raadpleging daarvan. 1. Aantal deelnemende bedrijven en kennisinstellingen die via een specifiek project verbonden zijn (netwerkdensiteit/concentratie) 2. Aantal (of %) bedrijven dat dankzij het project toegang heeft gekregen tot beschikbare technologie en kennis waar ze anders geen toegang tot zouden kunnen krijgen. 1. Aantal bedrijven dat een procedure is gestart en/of heeft afgerond ter bescherming van hun intellectuele eigendom (octrooien, merknamen, publicaties, etc.). 2. Oordeel van de bedrijven over de bruikbaarheid (aansluiting tussen aanbod en vraag) en relevantie van de opgedane kennis. 3. Aantal afgestudeerden en hun tevredenheid over de kennis verworven in de cursus (mate van overeenstemming tussen verwachtingen en resultaten). 4. Aantal vervolgprojecten (of intenties tot) waarvoor subsidie wordt verkregen (Vlaanderen, EU). 1. Aantal (of %) bedrijven dat dankzij het project erin geslaagd is om sneller toegang te krijgen toe essentiële kennis (of competenties) 1. Aantal (of %) bedrijven dat dankzij het project heeft deelgenomen aan een grootschaliger en ambitieuzer O&O project dan dat ze alleen zouden kunnen. Annex 5: Lijst van overige relevante indicatoren 73

74 Long list of other effect indicators (variants) Types of effect Strategie-vorming Zal het project de strategie van het bedrijf rond O&O veranderen? Output Zullen er nieuwe producten of processen onbtwikkeld worden? Of sterke optimalisaties? Indicators 1. Aantal (of %) bedrijven dat dankzij het project meer zal investeren in O&O&I. 2. Aantal bedrijven dat (extra) personeel heeft toegewijd aan innovatiespecifieke onderwerpen. 3. Aantal bedrijven dat zelf initiatieven heeft genomen rond het creëren van een innovatiecultuur. 1. Toename in marktaandeel als gevolg van een specifiek project. 2. Bevraging stuurgroep over het succes van de implementatie van (product, proces of diensten) innovaties (is er implementatie, wordt deze verwacht, indien niet waarom niet?). 3. Aantal spin-offs/spin-outs als gevolg van een project. 4. Aantal (of %) bedrijven dat dankzij het project hun competitiviteit heeft kunnen vergroten. 5. Aantal (of %) bedrijven dat dankzij het project hun exportpositie heeft versterkt. 6. Bevraging stuurgroep over bijdrage van het project aan verhoging naamsbekendheid.

75 IWT MISSIE Wilt u meer weten over de diensten van het IWT en of de unit M&A? Het IWT wil innovatie in Vlaanderen stimuleren: Door de verschillende spelers - in het bijzonder de kmo s - een financieel duwtje in de rug te geven en hen te begeleiden tijdens hun innovatietraject; Door enerzijds de bedrijven onderling en anderzijds ondernemingen, onderzoeksinstellingen, universtiteiten en andere innovatieactoren meer en beter te laten samenwerken; Door de Vlaamse Regering te adviseren over het te voeren innovatiebeleid. Contacteer ons op: Ellipsgebouw Koning Albert II-laan 35 bus 16 B-1030 Brussel Tel:+32(0) Fax: +32 (0) info@iwt.be of bezoek onze website: De rol van M&A bestaat erin om binnen dit kader, het IWT en zijn stakeholders te ondersteunen bij het aantonen en het verhogen van de doelmatigheid van hun innovatieopdrachten.

76 Ellipsgebouw Koning Albert II-laan 35 bus 16 B-1030 Brussel Tel:+32(0) Fax: +32 (0)