De ontwikkeling van een resultaat- en effectmetingmethode voor activiteiten die uitgevoerd worden door competentiepolen. Agenda

Transcriptie

1 De ontwikkeling van een resultaat- en effectmetingmethode voor activiteiten die uitgevoerd worden door competentiepolen Introductie conceptueel meetkader Begeleidingsgroep 24 maart 2010 Agenda Introductie Doelstellingen Principes Stand van zaken Terugblik resultaten workshop Vooruit: concept meetmethodiek Volgende stappen 2 1

2 Introductie Doelstellingen Ontwikkelen meetmethodiek (generieke set van parameters) Voor CP: om als managementtool te gebruiken en ter verantwoording van (publieke en private) middelen Voor IWT: om als tool te gebruiken om de relevante resultaten en directe/indirecte effecten te meten en de werking van het programma te kunnen evalueren 3 Introductie Principes Het meten van de effecten en niet van de activiteit In welke mate zijn de doelstellingen bereikt? Gedragsadditionaliteit Het meten van de resultaten en niet van de inspanningen Eerste orde: acties leiden tot reacties Tweede orde: duurzamere resultaten, gedragsveranderingen Aanreiken van een geïntegreerde set van type effecten en type indicatoren Zelfevaluatie, maar beperken van de administratieve last 4 2

3 Stand van zaken 5 Resultaten workshop Algemeen Goede workshop met veel input Focus ligt vaak nog op activiteiten in plaats van op effecten (wat doen we versus wat bereiken we) Attributieprobleem: koppeling van effecten aan acties (problematiek van timing) Tijdstip van de bevraging van grote invloed op uitkomsten Langere termijn impact: moeilijk zo niet onmogelijk Niveauverschillen maar ook diversiteit tussen de verschillende programma s (CP/TETRA/VIS-CO) en projecten Gevaar voor overbevraging Van belang wie bevraging afneemt 3

4 Resultaten workshop Op basis van de doelstellingenhiërarchie (LFA) Acties gericht op Verhogen van aantal innovaties bij bedrijven Efficiënte inzet van middelen Betere afstemming, samenwerking en coördinatie binnen de sector Creëren van voldoende kritische massa Verhogen van kennis en competenties bij bedrijven Vervullen intermediaire doorverwijsfunctie voor innovatie Verhogen internationale zichtbaarheid Mogelijke effecten Mogelijke indicatoren 1. Aantal nieuwe producten 2. Aantal nieuwe processen 3. Resultaten workshop Belangrijkste type effecten situeren zich rond: Input (mobilisatie/coördinatie van O&O investeringen) Kennis- en competentietoename (zowel bij bedrijven maar ook bij uitvoerders) Netwerking en samenwerking (inclusief doorverwijzing en aantrekken nieuwe netwerken) Output (nieuwe/gewijzigd producten, nieuw/gewijzigd proces, ) Grotere efficiëntie Snellere/betere probleemoplossing Schaal, snelheid, scope, 4

5 Resultaten workshop En op een wat hoger niveau: Competitiever Innovatiever Kostenefficiënter/winstmarge Maatschappelijk rendement (jobs e.d.) Resultaten workshop Met andere woorden, effecten rond Vergroten van schaal en scope van O&O Verbeterde samenwerking en vergroting netwerk in O&O Verhoging competentie en expertise bij bedrijven en uitvoerders Versnelling van innovatietrajecten Verkleining van het risico bij mislukking of spreiding van consequenties Meer vervolgtrajecten Strategisch nadenken over O&O Dus vormen van additionaliteit, het gedachtengoed waar we mee verder gaan! 5

6 Concept meetmethodiek Drie relevante vragen Vraag 1: Welke doelstellingen ambiëren we? Blauwdruk van doelstellingen op basis van de doelstellingenhiërarchie (LFA), welke zijn relevant voor ons? Vraag 2: Welke effecten mogen we verwachten? Blauwdruk van mogelijke effecten op diverse niveaus op basis van programma ontwerp, welke zijn relevant voor ons? Vraag 3: Welke indicatoren kiezen wij om de effecten te meten? Blauwdruk van mogelijke indicatoren op basis van zorgvuldige afweging en koppeling van best practice indicatoren aan mogelijke effecten Blauwdruk vraag 1 Competentiepolen type doelstellingen Activiteiten Intermediaire doelstellingen Strategische doelstellingen Langere termijn doelstellingen D1. Uitvoeren van contractonderzoek, coöperatief onderzoek en collectief onderzoek D2. Advisering en doorverwijzing D3. Begeleiding innovatietrajecten D4. Technologieverkenningen en roadmapping D5. Maken van publicaties (vakinhoudelijk en nietvakinhoudelijk) D6. Organisatie van evenementen en training D7. Ondersteuning bij deelname aan nationaal en internationaal onderzoek D9. Verhogen van het aantal innovaties bij bedrijven D10. Efficiënte inzet van middelen D11. Betere afstemming, samenwerking en coördinatie binnen en rond de sector D12. Creëren van voldoende kritische massa (op het vlak van onderzoek) D13. Verhogen van kennis en competenties bij bedrijven D14. Vervullen intermediaire doorverwijsfunctie voor innovatie D15. In collectief verband vergroten van innovatievermogen van bedrijven D16. Verhogen internationale zichtbaarheid D17. Behoud en verhogen van de concurrentiepositie van bedrijven (sociale en economische waardecreatie) D8. Uitvoeren van haalbaarheidsstudies Actie Directe effecten Indirecte effecten Impact Tijd 6

7 Blauwdruk vraag 2 Competentiepolen type -effecten Output Directe effecten Indirecte effecten Impact E1. Contractonderzoek, coöperatief onderzoek en collectief onderzoek E2. Geven van adviezen en doorverwijzen E3. Het (helpen) begeleiden van innovatietrajecten E4. Doen van technologieverkenningen en roadmapping E5. Maken van publicaties (vakinhoudelijk en nietvakinhoudelijk) E6. Organiseren van evenementen en training E7. Ondersteuning bij deelname aan nationaal en internationaal onderzoek E9. Meer innovaties bij deelnemende bedrijven E10. Grotere efficiëntie in het O&O gebeuren (meer/hogere kwaliteit O&O) E11. Meer en betere afstemming, samenwerking en coördinatie binnen en rond de sector E12. Voldoende duurzame kritische massa in O&O (financieel maar ook qua aantal onderzoekers) E13. Meer kennis en competenties bij bedrijven E14. Meer en kwalitatieve doorverwijzingen E15. Meer innovatieve bedrijven (meer innovaties) E16. Grotere internationale zichtbaarheid E17. Toename in het concurrentievermogen van de bedrijven in bepaalde sectoren (Vlaanderen) E8. Uitvoeren van haalbaarheidsstudies Tijd Zijn we er dan wat betreft effecten? Neen! We moeten nog een niveau lager gaan Afhankelijk van kenmerken/ambities van project Hiervoor hebben we een methode ontwikkeld op basis van additionaliteit 7

8 Blauwdruk vraag 2 Competentiepolen type -effecten Type effecten E9 Meer innovaties bij deelnemende bedrijven E10. Grotere efficiëntie in het O&O gebeuren E11. Meer en betere afstemming, samenwerking en coördinatie binnen en rond de sector E12. Voldoende duurzame kritische massa in O&O (financieel maar ook qua aantal onderzoekers) E13. Meer kennis en competenties bij bedrijven E14. Meer en kwalitatieve doorverwijzingen Input Additionaliteit/specifieke effecten Output Schaal en scope Netwerking en samenwerki ng Effect 1 Competentie en expertise Effect 3 Versnelling Strategie Risico Vervolg Effect 2 Blauwdruk vraag 2 Competentiepolen type -effecten Type effecten E9 Meer innovaties bij deelnemende bedrijven E10. Grotere efficiëntie in het O&O gebeuren E11. Meer en betere afstemming, samenwerking en coördinatie binnen en rond de sector E12. Voldoende duurzame kritische massa in O&O (financieel maar ook qua aantal onderzoekers) E13. Meer kennis en competenties bij bedrijven E14. Meer en kwalitatieve doorverwijzingen Input Additionaliteit/specifieke effecten Output - Aantrekken van O&O cofinanciering - Meer O&O personeel Schaal en scope - Grotere schaal minder investeringen Netwerking en samenwerki ng - Meer netwerking - Meer samenwerking - Betere matching tussen vraag en aanbod Competentie en expertise - Standaardisatie - Sneller - Groter aanwezig kennispotentieel - Meer kennis - Meer competenties - Meer absorptievermogen - Oplossing van problemen Versnelling Strategie Risico Vervolg - Bedrijven die zelf investeren in O&O&I (van 0 naar 1) - Eigen O&O&I strategie - Innovatievere projecten - Vervolgtrajecten - Nieuwe onderzoekslijne n - Vervolgprojecte n (EU, Vlaanderen) - Vervolgprojecte n/- samenwerkinge n - Productinnovatie - Procesinnovatie - Marktinnovatie 8

9 Blauwdruk vraag 3 Competentiepolen type -indicatoren Per type effect zullen er indicatoren worden ontwikkeld Een primaire indicator Enkele secundaire indicatoren Er kan dan een keuze worden gemaakt in samenspraak met Blauwdruk vraag 3 Competentiepolen type -indicatoren Type effecten E9 Meer innovaties bij deelnemende bedrijven E10. Grotere efficiëntie in het O&O gebeuren E11. Meer en betere afstemming, samenwerking en coördinatie binnen en rond de sector E12. Voldoende duurzame kritische massa in O&O (financieel maar ook qua aantal onderzoekers) Input - Aantrekken van O&O cofinanciering Schaal en scope - Grotere schaal minder investeringen Netwerking en samenwerking - Meer netwerking - Meer samenwerking Additionaliteit/specifieke effecten Competentie en expertise - Standaardisatie - Groter aanwezig kennispotentieel Appreciatie betrokkenen over de kwaliteit van de netwerking en samenwerking en of ze door het project meer netwerken en/of samenwerken Aantal bedrijven dat een eigen innovatietraject heeft opgezet, samen met een ander bedrijf of een kennisinstelling Aantal betrokken bedrijven die samenwerking hebben opgezet met een derde partij/partner Aantal collectief georganiseerd events (wetenschappelijke lezingen, workshops, etc.) Aantal gezamenlijke publicaties, copromotorschap van thesissen en/of doctoraten Aantal gemeenschappelijke octrooiaanvragen Aantal gemeenschappelijk aangevraagde en toegekende octrooien Aantal nieuwe samenwerkingsverbanden dat wordt aangetrokken en het volume hiervan tussen bedrijven onderling tussen bedrijven en kenniscentra Aantal participaties in pilootprojecten (demonstraties, proeftuinen) In welke mate zijn de bedrijven uit de gebruikersgroep betrokken bij andere projecten binnen het IWT? 9

10 Vervolgstappen Verder uitwerken van de blauwdrukken en de templates voor de zelfevaluatie (week van 5/4) Identificatie cases (nu nog maar 2!) en afspraken maken Startvergaderingen 19/20/21 april Uitvoering testmeting en rapportage door cases in de loop van mei (afronding eind mei) Ondersteuning door IDEA Contact Arnold Verbeek Manager Senior expert Innovatie & competitiviteit Sjouke Beemsterboer Analist Innovatie & competitiviteit 10