1. Situering en historiek. 2. Methodiek voor SBO-projectvoorstellen Methodiek voor de eerste selectieronde. 1/6

Transcriptie

1 Score en selectiemethodiek voor SBO-projectvoorstellen. 1. Situering en historiek. Met het oog op de consistente en coherente behandeling van alle SBO-projectvoorstellen dient een score- en selectiemethodiek te worden uitgewerkt en gehanteerd waarin zo duidelijk mogelijk geexpliciteerd en gecodificeerd wordt welke betekenis en appreciatie verbonden is aan een bepaalde scoretoekenning op een beoordelingscriterium. Dit moet het eenduidig en efficiënt differentiëren van de SBO-projectvoorstellen ondersteunen. 2. Methodiek voor SBO-projectvoorstellen Methodiek voor de eerste selectieronde. In de eerste selectieronde wordt een grondige voorselectie doorgevoerd. Dit laat toe om projectvoorstellen die op basis van het ingediende projectvoorstel kansloos worden geacht binnen de SBO-oproep, te onttrekken van het verdere selectieproces ten gronde (en eventueel door te verwijzen naar andere beter geschikte steunkanalen). De inhoudelijke analyse van de voorstellen gebeurt aan de hand van het beoordelingskader voor de voorselectie cfr. het SBO-oproepdocument. Hierin worden een aantal beoordelingsaspecten opgegeven voor elk van de twee beoordelingsassen voor de voorselectie cfr. het reglementair SBO-besluit. Tevens wordt een formele ontvankelijkheidsanalyse uitgevoerd cfr. de criteria van het SBO-oproepdocument. Dit laatste resulteert in een ja/neen oordeel. Bij de scoretabellen voor de eerste ronde wordt per beoordelingsaspect één van de volgende appreciatievakken aangekruisd ("Quasi geen informatie"; "Niet te behouden voor de tweede ronde (onaanvaardbaar)"; "Te behouden voor de verdere selectie in de tweede ronde. Behalve wanneer er geen belangrijke opmerkingen zijn, wordt een korte toelichting en motivering toegevoegd in de daarvoor bestemde ruimte van de projectfiche. Deze motivering is niet louter de letterlijke overname van de overeenkomstige tekst van de scoretabel, maar natuurlijk wel daarop gebaseerd. Bijkomende aandachtspunten kunnen onderaan de verslagfiche worden toegevoegd. Bij behouden projectvoorstellen : aandachtspunten die in de volgende selectieronde verder zullen besproken worden tijdens de voorziene bespreking op het IWT-Vlaanderen met focus op de valorisatiefacetten. Deze aandachtspunten hebben geen impact op de voorgestelde beslissing in de huidige eerste ronde. Bij niet-behouden projectvoorstellen : aandachtspunten en aanbevelingen die geen impact hebben gehad op de negatieve beslissing van de huidige oproep maar die nuttig kunnen zijn voor de indieners bijvoorbeeld naar een toekomstige oproep of/en de eventuele doorverwijzing naar een ander meer aangewezen steunkanaal. De uitgebrachte appreciaties per beoordelingsaspect dienen aansluitend te worden vertaald naar de opdeling tussen de projectvoorstellen die hetzij behouden blijven voor de tweede selectieronde hetzij onttrokken worden van het verdere selectieproces. Dit gebeurt aan de hand van de volgende beslissingselementen : - Een voorstel dat niet ontvankelijk is of dat "Quasi geen informatie" of " Niet te behouden voor de tweede ronde (onaanvaardbaar)" scoort op minstens één beoordelingsaspect wordt niet behouden voor de tweede selectieronde. - De maximale "cut-off" wordt bepaald in functie van het relatieve aanvraagvolume binnen het beschouwde finaliteitsdeel. We streven hierbij naar een portfolio van behouden projectvoorstellen die maximaal 4x groter is dan het verwachte aantal projecten dat uiteindelijk kan gesteund worden 1/6

2 met het voorhanden SBO-budget. De ratio tussen de globaal aangevraagde steun en het voorhanden (deel)budget voor het beschouwde finaliteitsdeel is hiervoor maatgevend Methodiek voor de tweede selectieronde Wetenschappelijke evaluatie. Voor de wetenschappelijke evaluatie in de tweede selectieronde worden gespecialiseerde (internationale) experten ingeschakeld om een onderbouwde schriftelijke appreciatie uit te brengen over één of meerdere projectaanvragen. De geaggregeerde expertadviezen met inbegrip van de eventuele vragen en opmerkingen van de experten worden vervolgens anoniem en onverkort overgemaakt aan de indieners voor hun schriftelijke respons. Op basis hiervan brengt de overkoepelende commissie een advies uit over de wetenschappelijke kwaliteit van de projectvoorstellen. De wetenschappelijke evaluatie van de projectvoorstellen gebeurt aan de hand van het beoordelingskader cfr. het SBO-oproepdocument. De hieruit resulterende scoretabellen voor de wetenschappelijke evaluatie worden in de expertrichtlijnen geïntegreerd. Per beoordelingscriterium worden hierbij de volgende scoremogelijkheden voorzien : "Quasi geen informatie"; "Zwak"; "Redelijk", "Positief" en "Uitmuntend". Met het oog op de door de Raad van Bestuur gewenste traceerbaarheid en transparantie van het evaluatieproces, worden er voor de criteria van de wetenschappelijke beoordelingsas scores toegekend door de gespecialiseerde experten. De afzonderlijke scoretoekenningen van deze gespecialiseerde experten dienen vervolgens te worden samengebracht en vertaald naar een "geaggregeerde score" per beoordelingscriterium. Deze "geaggregeerde scores" worden door de overkoepelende commissie uitgebracht op basis van de expertadviezen en de schriftelijke respons hierop van de indieners. Voor de goede integratie en horizontale calibratie van de projectevaluaties is inherent en onvermijdelijk een beredeneerde interpretatieruimte noodzakelijk voor de overkoepelende commissie om bij het toekennen van de geaggregeerde scores gemotiveerd en consistent te kunnen afwijken van het "gemiddelde" van de uitgebrachte individuele expertscores. Legitieme afwijkingen ten opzichte van het zuiver mechanisch gemiddelde van de expertscores kunnen hierbij ontstaan uit twee primaire basisoorzaken, namelijk 1) vanuit de schriftelijke respons van de indieners; en 2) vanuit de inherente onvolkomenheden bij de toekenning van de individuele expertscores. Dit wordt hieronder verder toegelicht en afgebakend : 1. Het omgaan met de schriftelijke respons van de indieners Via de "schriftelijke respons" kunnen indieners bepaalde door de experten vastgestelde minpunten of leemtes (of mogelijke misverstanden) remediëren of uitklaren. De "schriftelijke respons" van de indieners is hierbij bedoeld om preciseringen of verduidelijkingen aan te brengen binnen de contouren van het oorspronkelijk project (en niet om het project structureel te herformuleren) : - Een verduidelijking van het werkprogramma en een fijnstelling van de deliverables is op zich aanvaardbaar als onderdeel van een schriftelijke respons voor zover het project niet structureel gewijzigd wordt. Dit laatste zou het geval zijn wanneer een substantieel ander werkprogramma zou nodig zijn om de nader gepreciseerde deliverables te kunnen halen. - Het integreren van bijkomende nieuwe partners in het consortium is niet haalbaar zonder dat dit het project structureel zou wijzigen. - In de schriftelijke respons kan de indiener ook reageren op de expertaanbevelingen over de projectbegroting (bv. budgetreducties, de balans tussen de partners). Wanneer aldus een duidelijk en gemotiveerd voorstel tot aanpassingen (in het bijzonder reducties of inperkingen) wordt geformuleerd, kunnen deze in overweging worden genomen bij de beoordeling in de tweede selectieronde, voor zover deze aanpassingen duidelijk beoordeeld kunnen worden vanuit het oorspronkelijke projectvoorstel en deze aanpassingen het project niet structureel wijzigen. (zie ook verder) 2. Het omgaan met mogelijke onvolkomenheden bij de individuele expertadviezen/scores. 2/6

3 Het uitgangspunt is dat de gespecialiseerde experten een absolute score uitbrengen op basis van de informatie van één of hooguit enkele SBO-projectvoorstellen (en zonder een inzicht in de globale portfolio). Onverminderd hun intrinsieke kwaliteit van hun inhoudelijk expertadvies, kunnen de individuele expertscores op zich dus niet automatisch resulteren in een consistente relatieve positionering van de projectvoorstellen binnen de globale portfolio. Voor de overkoepelende commissie is het bijgevolg van belang om te waken over eenzelfde niveau van gestrengheid en consistentie over alle projectvoorstellen heen binnen het beschouwde finaliteitsluik. De OC-scores moeten ten gronde een relatieve positionering van de projecten onderling beogen. Binnen de context van SBO-voorstellen kunnen de hiernavolgende mogelijke aandachtspunten worden aangeduid : Het expertadvies bestrijkt maar een deel van de globale SBO-projectinhoud (cfr. multidisciplinaire projectvoorstellen) SBO-voorstellen kunnen een vernieuwende combinatie bevatten van uiteenlopende wetenschapsdisciplines met een sterk verschillende achtergrond. Het fair selecteren van voorstellen voor strategisch kennisplatformen blijkt in de praktijk vaak problemen op te leveren, aangezien het veel moeilijker is peers te vinden die een dergelijk voorstel op zijn integrale merites kunnen beoordelen. De oplossing die vaak gezocht wordt, namelijk een voorstel door peers van de verschillende wetenschapsdisciplines te laten beoordelen, heeft vaak het effect dat de individuele scores voor een bepaald project nogal kunnen uiteenlopen, vooral als de peers primair focussen op enkel hun eigen vakgebied in het globale SBO-voorstel. We moeten dan ook alert zijn voor het risico van een eventuele onder-evaluatie bv wanneer individuele experten terughoudend zijn om een "zeer positieve" rating toe te kennen aan een multidisciplinair project dat zich deels buiten hun rechtstreekse onderzoeksexpertise bevindt (bv. op het grensvlak tussen de microelektronica en de geneeskunde). Het advies vertoont een mismatch of inconsistentie tussen de inhoudelijke expertcommentaren en de uitgebrachte expertscores De expert wijst op belangrijke minpunten in zijn commentaar maar brengt toch een "positieve" of "uitmuntende" score uit. Het voorkomen van een mismatch tussen de expertappreciatie/score en het SBObeoordelingskader/modaliteiten Een expert brengt een bepaalde score uit. De hiervoor aangereikte argumenten stemmen echter niet overeen met de omschrijving van het beschouwde beoordelingscriterium. Een expert brengt een negatieve score uit voor de kostenefficiëntie omdat hij de 50% werkingskosten te hoog vindt. Dit is nochtans volledig conform de normale SBO-regels. Het voorkomen van zeer oppervlakkige adviezen / adviezen met een uitgesproken subjectieve of manipulatieve bias Een loutere "OK" commentaar is niet voldoende voor het onderbouwen van een expertscore "uitmuntend". Adviezen met een eenzijdige voorliefde of aversie voor een breder vakgebied, in plaats van een appreciatie van het voorliggend project. 3/6

4 Het beslissingsmodel voor de globale score en de differentiëring van de wetenschappelijke kwaliteit van de projectvoorstellen is als volgt : Projecten die "Onaanvaardbaar of "Quasi geen informatie" scoren op minstens één beoordelingsaspect komen niet in aanmerking voor steun en worden niet gerangschikt. De differentiëring gebeurt verder aan de hand van de globale deltascore per beoordelingsas. De scoretoekenning "Uitmuntend", "Positief", "Redelijk" en "Zwak" op een beoordelingscriterium wordt hierbij vertaald naar resp. +1, 0, -1, -2 punten. De globale deltascore is de som van deze punten op de beoordelingscriteria. - Een SBO-voorstel mag hierbij op geen enkel criterium "onaanvaardbaar of "quasi geen informatie" scoren. - Artikel 19 van het reglementair SBO-besluit stelt verder als minimale kwaliteitsvereisten voorop dat een projectvoorstel op élk van de hoofdcriteria W1-W4 minimaal "redelijk goed" dient te scoren. Dit impliceert dat een score zwak op minstens één van de hoofdcriteria W3, W4 (telkens zonder meerdere subcriteria) ertoe leidt dat een projectvoorstel niet langer in aanmerking komt. Voor de overige criteria W1, W2 (telkens met meerdere subcriteria) mag een projectvoorstel over de subcriteria heen globaal niet lager scoren dan "redelijk goed". Een dubbel gewicht 1 wordt toegekend aan de beoordelingscriteria W1.1 (delta ten opzichte van stateof-the-art) en W1.2. (uitdagend, risicovol en inventief karakter van het onderzoek). Beide criteria zijn immers cruciaal om projectvoorstellen positief te kunnen differentiëren conform de SBO-programmadoelstellingen. Een hoog risiconiveau is immers een belangrijke kwaliteitseis voor een SBO-project 2. De toegekende "delta score" voor de W-beoordelingsas van een projectvoorstel dient uiteindelijk te worden vertaald in een kwantitatieve score op 10, conform de vereisten van het reglementair SBO-besluit. Dit reglementair besluit bepaalt tevens dat een projectvoorstel minstens 6/10 moet behalen op elk van de beide beoordelingsassen (d.i. Wetenschappelijke en de Utilisatiebeoordelingsas) om in aanmerking te komen voor steunverlening Evaluatie van de valorisatiekwaliteit. Tijdens de tweede selectieronde verloopt de evaluatie van de valorisatiekwaliteit in parallel met de wetenschappelijke evaluatie. Een mondelinge bespreking met de indieners wordt gehouden op het IWT-Vlaanderen over het valorisatiepotentieel en de valorisatiestrategie en het projectbudget. Op basis van de schriftelijke expertcommentaren over de valorisatiefacetten en deze mondelinge bespreking op het IWT-Vlaanderen krijgen de indieners ook de mogelijkheid om hun projectformulering nader bij te stellen en te preciseren op vlak van de valorisatiefacetten en het budget. De evaluatie van de valorisatiekwaliteit gebeurt aan de hand van het beoordelingskader cfr. het SBO-oproepdocument en is verder uitgewerkt in de beschikbare scoretabellen voor het economisch en het maatschappelijk programmadeel. Per beoordelingscriterium worden hierbij de volgende scoremogelijkheden voorzien : "Quasi geen informatie"; "Zwak"; "Redelijk", "Positief" en "Uitmuntend". 1 Dit dubbel gewicht geldt voor alle scoremogelijkheden op de beschouwde criteria. Een appreciatie redelijk op W1.1. leidt dus tot een delta score van -2 in plaats van -1 etc 2 Deze werkwijze resulteert in een gelijk aantal scoremogelijkheden uitmuntend op beide beoordelingsassen W en U. De gelijkwaardigheid van beide beoordelingsassen cfr. het reglementair SBO-besluit wordt bijgevolg gehandhaafd. 4/6

5 Het beslissingsmodel voor de globale score en de differentiëring van de valorisatie kwaliteit is identiek aan dat van de wetenschappelijke beoordelingsas : Projecten die "Onaanvaardbaar of "Quasi geen informatie" scoren op minstens één beoordelingsaspect komen niet in aanmerking voor steun en worden niet gerangschikt De differentiëring gebeurt verder aan de hand van de globale deltascore per beoordelingsas. De scoretoekenning "Uitmuntend", "Positief", "Redelijk" en "Zwak" op een beoordelingscriterium wordt hierbij vertaald naar resp. +1, 0, -1, -2 punten. Aan elk van de beoordelingscriteria van de valorisatie beoordelingsas wordt eenzelfde gewicht toegekend. De globale deltascore is de som van deze punten op de beoordelingscriteria. - Een SBO-voorstel mag hierbij op geen enkel criterium "Onaanvaardbaar of "Quasi geen informatie" scoren. - Artikel 19 van het reglementair SBO-besluit stelt verder als minimale kwaliteitsvereisten voorop dat een projectvoorstel op élk van de hoofdcriteria U1-U4 minimaal "Redelijk goed" dient te scoren. Dit impliceert dat een score zwak op minstens één van de hoofdcriteria U3, U4 (telkens zonder meerdere subcriteria) ertoe leidt dat een projectvoorstel niet langer in aanmerking komt. Voor de overige criteria U1, U2 (telkens met meerdere subcriteria) mag een projectvoorstel over de subcriteria heen globaal niet lager scoren dan "redelijk goed" Globale rangschikking en formulering van een selectievoorstel. De toegekende "globale delta score" voor de W- en de U-beoordelingsas van een projectvoorstel dient uiteindelijk te worden vertaald in een kwantitatieve score op 10, conform de vereisten van het reglementair SBO-besluit. Dit reglementair besluit bepaalt tevens dat een projectvoorstel minstens 6/10 moet behalen op elk van de beide beoordelingsassen (d.i. Wetenschappelijke en de Utilisatiebeoordelingsas) om in aanmerking te komen voor steunverlening. Voor elk van de beide beoordelingsassen wordt de volgende werkwijze gehanteerd : Aan een project dat gemiddeld overal "positief" scoort op een beoordelingsas (delta score = 0) wordt 7/10 punten toegekend. Dit is een "globaal goed project" waarbij eventuele minpunt(en) gecompenseerd worden door "uitmuntend" score(s) op andere criteria. Verder wordt een half punt bijgeteld of afgetrokken voor elke eenheid "delta score" boven of beneden het nulpunt. Een project met een "delta score" = 4 verwerft dan * 0.5 = 9/10 punten. Een project met delta score = -2 (vb. met twee "redelijk goed" scores) krijgt 7-2 * 0.5 = 6/10. Een project met een "delta score" lager dan -2 op een beoordelingsas resulteert in een score lager dan 6/10. Conform het reglementair besluit komt een dergelijk voorstel niet meer in aanmerking voor steun. Artikel 19 van het SBO-besluit bepaalt de volgende modaliteiten voor de wijze waarop de rangschikking van de projectvoorstellen moet gebeuren : - Projecten die aan de minimale vereisten voldoen worden gerangschikt op basis van een gelijk gewicht aan de scores op de wetenschappelijke kwaliteit W en de utilisatieperspectieven U en van de nodige diversiteit inzake toepassingsdomeinen bij gelijkwaardige scores. - De Raad van Bestuur zal bij de nadere invulling van de indiening en de beoordeling tevens uitvoering geven aan de algemene beleidslijnen van de politieke overheid zoals beslist door de Vlaamse regering of zoals voorzien in de beheersovereenkomst met het agentschap. In verband met de beleidslijnen kan specifiek worden verwezen naar de beslissing van de Vlaamse regering van 3 mei 2002 waarin ervoor wordt geopteerd om voor de IWT-Vlaanderen financieringskanalen (met een primaire economische finaliteit) een selectieprioriteit te geven aan projecten gericht op een bijdrage tot Duurzame Ontwikkeling, op voorwaarde van een voldoende kwaliteit op de beide beoordelingsdimensies (W en U). 5/6

6 Met betrekking tot de invulling van deze beleidslijn heeft de voogdijminister in 2006 de instructie gegeven om dit te implementeren door het toekennen van een hoger gewicht voor het U4. beoordelingsaspect (bijdrage tot duurzame ontwikkeling). Dit wordt geïmplementeerd in het beslissingsmodel door aan het U4-criterium de mogelijkheidvan een een dubbel gewicht toe te kennen in het economisch finaliteitsdeel van het SBO-programma, mits het projectvoorstel beantwoordt aan de vereiste van de scoretabel. Om voor het hoger gewicht in aanmerking te komen, moet een projectvoorstel wel voorafgaand voldoen aan de minimale kwaliteitseisen van het beoordelingskader, d.i. minimaal "redelijk goed" of 6/10 op de beide beoordelingsassen. In het maatschappelijk finaliteitsdeel wordt geen hoger gewicht voor het U4-criterium toegepast 3. De rationale hiervoor is als volgt : In de hierboven aangehaalde beslissing van de Vlaamse regering ligt de focus op de milieudimensie van duurzame ontwikkeling en op de IWT-steunkanalen met een primaire economische finaliteit. Toegepast op het economisch SBO-finaliteitsdeel is het verdedigbaar om een positief selectievoordeel toe te kennen aan projecten die naast hun potentieel voor economische waarde-creatie tegelijkertijd een substantiële externaliteit naar milieuverbeteringen beogen. In het maatschappelijk finaliteitsdeel is het daarentegen problematischer om aan projecten die een aansluiting vertonen op de milieudimensie van duurzame ontwikkeling een selectievoordeel toe te kennen ten opzichte van projecten die gericht zijn op andere terreinen van overheidsbeleid of op andere facetten van sociale of maatschappelijke waarde-creatie (vb. sociale cohesie). De mogelijke alternatieve aanpak van een bredere holistische invulling van het begrip "duurzame ontwikkeling" (d.i. de integratie van economische, milieu en sociale facetten) zou in de praktijk tot weinig of alvast een minder evidente differentiëring leiden in het maatschappelijk finaliteitsdeel. 3 Het U4 beoordelingscriterium "bijdrage tot duurzame ontwikkeling" op zich blijft natuurlijk gehandhaafd in het SBObeoordelingskader conform het reglementair SBO-besluit. 6/6