Onderwerp Conclusies uit literatuur over variabele financiering van universitair onderzoek

Transcriptie

1 Aan: Werkgroep voorbereiding financieel beleid 2015 Van: Bart Keukenmeester, Bestuursstaf Financiën & Control Spui WX Amsterdam Postbus GG Amsterdam T Notitie Datum 19 maart 2014 Onderwerp Conclusies uit literatuur over variabele financiering van universitair onderzoek 1. Inleiding De financiering van universitair onderzoek staat om verschillende redenen al geruime tijd ter discussie [1-4]. Binnen de UvA staan met name de historische onderzoeksbudgetten ter discussie, die een belangrijk onderdeel (ongeveer 33% van het totale eerste geldstroom onderzoeksbudget) uitmaken van het UvA allocatiemodel onderzoek. Over het algemeen zijn de faculteiten en het College van Bestuur het er over eens dat het achterhaald is om deze budgetten jaarlijks op dezelfde manier te verdelen (na de jaarlijkse afroming van 1% ten behoeve van de zwaartepuntmiddelen), omdat het nu eenmaal ooit zo bepaald is. De meningen verschillen echter als gevraagd wordt op welke manier deze middelen herverdeeld zouden moeten worden. Zo zijn er faculteiten die vinden dat het budget volledig op basis van output (prestaties) verdeeld zou moeten worden (volledige variabilisering). 1 Andere faculteiten zijn voorstander van inputfinanciering of een mix van beide. Bij inputfinanciering is nog steeds sprake van (relatief) vaste beleidsbudgetten, maar worden deze op basis van strategische overwegingen toegekend waarbij helder omschreven is waarvoor de budgetten bedoeld zijn. 2 Herziening van het allocatiemodel onderzoek met als onderdeel daarvan het onderzoeken van verdergaande variabilisering staat op de shortlist van de werkgroep voorbereiding financieel beleid In de vergadering van de werkgroep op 21 november 2013 kwam ter sprake dat er verschillende literatuur beschikbaar is over prestatiebekostiging van universitair onderzoek. Deze notitie vat de belangrijkste conclusies uit deze literatuur samen. 2. Belangrijkste conclusies uit literatuur Zoals gezegd staat de financiering van universitair onderzoek om verschillende redenen al geruime tijd ter discussie [1-4]. Uit een analyse van het Centraal Planbureau (CPB) uit 2003 beschreven in het rapport Prikkel de Prof [1] bleek dat onderzoeksprestaties geen grote rol speelden in de interne verdeelmodellen van faculteiten. In hetzelfde rapport worden drie mogelijke voordelen van een sterkere koppeling van onderzoeksfinanciering aan onderzoeksprestaties genoemd: 1 Zie voor een korte verkenning van mogelijke outputparameters de in bijlage 1 opgenomen notitie van Rudi Rust (2012). 2 Zie voor een voorbeeld van inputfinanciering de in bijlage 2 opgenomen notitie van de FNWI waarin wordt beschreven hoe hun (historische) beleidsbudget in verschillende gespecificeerde strategische onderzoeksbudgetten verdeeld kan worden.

2 Het prestatie-effect: onderzoekers worden geprikkeld tot het leveren van meer en/of betere onderzoeksprestaties. Het allocatie-effect: een groter deel van de onderzoekstijd wordt toegekend aan goede onderzoekers. Het wervingseffect: een universiteit waar goed onderzoek wordt beloond met extra onderzoekstijd en onderzoeksbudget trekt goede onderzoekers. Uit vraaggesprekken met universitaire bestuurders bleek dat het prestatie-effect voor hen geen aanleiding is voor het invoeren van prestatieprikkels in de onderzoeksfinanciering; de onderzoeksprikkels zijn nu al heel sterk. Het allocatie-effect zou volgens de universitaire bestuurders wel een reden kunnen zijn om meer prestatieprikkels in de onderzoeksfinanciering in te voeren. Wetenschappelijk personeel waarvan de onderzoeksprestaties onder de maat zijn kan dan worden ingezet voor andere taken, of in het uiterste geval ontslagen worden. Het wervingseffect zou volgens de universitaire bestuurders in de toekomst zwaarder gaan wegen, gezien de toenemende internationale concurrentie om goede onderzoekers. De universitaire bestuurders noemden ook een aantal mogelijke nadelen van meer nadruk op prestatiefinanciering: Negatieve effecten op de onderwijskwaliteit Negatieve effecten op benutting van onderzoek Onderbenutting van dure onderzoeksfaciliteiten Rem op multidisciplinair onderzoek en onderzoek in de humaniora. Volgens de auteurs van het CPB-rapport zijn deze mogelijke nadelen in de meeste gevallen echter goed te ondervangen, bijvoorbeeld door boeken mee te tellen bij de beoordeling van onderzoeksprestaties (t.b.v. de humaniora) en door in het bekostigingsmodel meer nadruk te legen op indicatoren van onderwijskwaliteit. In 2005 heeft ook de Adviesraad voor het Wetenschaps- en Technologiebeleid (AWT) een advies uitgebracht over de financiering van universitair onderzoek [2]. In dit advies doet de AWT zes aanbevelingen (in de eerste plaats gericht aan de ministers van OCW en EZ) over de inrichting van zowel de eerste, tweede als derde geldstroom (met name de laatste vier aanbevelingen zijn in het kader van deze notitie interessant): 1. Zet de tweede geldstroom zo in dat deze focus en massa in het universitaire onderzoek sterker bevordert. De minister van OCW dient NWO (inclusief STW) de bevordering van focus en massa als duidelijke taak mee te geven en de organisatie hierop aan te spreken. Hiertoe dient de bevordering van focus en massa een prominente plaats te krijgen in de nieuwe strategienota van NWO. 2. Breng meer samenhang aan binnen het EZ-deel van de derde geldstroom zodat dit de benutting van het universitaire onderzoek beter stimuleert. Op dit moment bestaan er al tal van programma s en projecten om het universitair onderzoek beter te laten aansluiten op economische vragen: Bsik, TTI s, IOP s, het EZ-deel van de smart mix et cetera. Dit geld is al beschikbaar en kan effectiever worden ingezet door er meer regie op te zetten. Pagina 2

3 3. Vergroot het compartiment in het onderzoeksdeel van de eerste geldstroom dat afhankelijk is van het aantal uitgereikte diploma s. Op dit moment worden onderzoeksmiddelen in de eerste geldstroom al voor 15% toegekend op basis van het aantal uitgereikte diploma s. Door dit compartiment te vergroten, ontvangt de onderzoekscapaciteit in studentrijke disciplines een extra impuls. Wij denken hierbij aan een verhoging met enkele procenten. 4. Herzie de matchingssystematiek zodanig dat financiers uitgaan van de stelregel dat zij de integrale kosten dienen te betalen tenzij er sprake is van een publiek wetenschappelijk belang. De AWT roept de minister van OCW op het initiatief te nemen tot instelling van een zogeheten Financiers Forum. In dit forum moeten alle financiers en kennisinstellingen komen tot heldere afspraken en gedragsregels over de financiering van universitair onderzoek. 5. Maak de samenstelling van de strategische overwegingen component transparanter. De AWT adviseert de minister van OCW om de samenstelling van de eerste geldstroom, in het bijzonder van de strategische overwegingen component, transparanter te maken. 6. Zet géén stappen om de eerste geldstroom verder te dynamiseren. De voorgaande aanbevelingen komen bovenop de invoering van de smart mix in 2006 en bovenop een te voorziene groei van de tweede en derde geldstroom. Verder dynamiseren van de eerste geldstroom zal ertoe leiden dat de productie van kennis als vermogen onder grote druk komt te staan. Daarom adviseert de AWT de minister van OCW om géén stappen te zetten die moeten leiden tot een verdere dynamisering van de eerste geldstroom. De AWT dringt er in haar advies op aan om het instrument van financiering met mate te gebruiken. In verschillende landen is de financiering van universiteiten afhankelijk van oordelen over de academische kwaliteit en/of onderzoeksprestaties. De AWT wijst erop dat een dergelijke koppeling onder meer kan leiden tot ongewenste neveneffecten waaronder een toename van de administratieve lasten. Elk stelsel ter financiering van het universitaire onderzoek dient volgens de AWT eenvoudig en transparant te zijn. Het Center for Higher Education Policy Studies (CHEPS) heeft in 2005 modellen voor de meting van onderzoeksprestaties uit verschillende landen met elkaar vergeleken [3]. Uit de vergelijking concluderen de onderzoekers dat de meting van onderzoeksprestaties een grotendeels subjectieve onderneming is. Onderzoeksprestaties laten zich niet gemakkelijk kwantitatief meten. Vandaar dat vaak voor een mix van input, output en proces indicatoren wordt gekozen om onderzoeksprestaties te evalueren. Er is echter geen consensus welke hoe zwaar de verschillende indicatoren moeten wegen in de evaluatie. Omdat niet bekend is hoe input binnen universiteiten omgezet wordt in output, is het volgens de auteurs van het rapport niet mogelijk om te weten waar prioriteit aan gegeven dient te worden. In 2009 is Mark Pen aan de Technische Universiteit Delft gepromoveerd op het onderwerp Prestatiemeting van wetenschappelijk onderzoek [4]. Hij geeft aan dat prestatiemeting op verschillende manieren kan plaatsvinden en dat de gemeten prestaties voor verschillende doeleinden gebruikt kunnen worden: Onder prestatiemeting wordt verstaan het proces van verzamelen, consolideren, verwerken en distribueren van prestatie-informatie. Prestatiemeting in universiteiten kan zich richten op het meten van verworven onderzoeksmiddelen (bijvoorbeeld extern onderzoeksgeld), geproduceerde wetenschappelijke output (bijvoorbeeld wetenschappelijke publicaties, monografieën, vakpublicaties, proefschriften, ontwerpen of octrooien) en effecten van onderzoek (bijvoorbeeld citaties of maatschappelijke toepassingen). Prestatiemeting kan zich ook richten op het meten van de organisatie- en proceskenmerken die onderzoeksprestaties beïnvloeden (bijvoorbeeld aantal Pagina 3

4 promoties, postdoc-plaatsen, aandeel projectfinanciering). De resultaten van universitaire prestatiemeting kunnen vrijblijvend zijn, vooral bedoeld om inzicht te krijgen in de productiviteit van onderzoekers, maar prestatie-informatie kan ook de basis vormen voor strategisch beleid en de allocatie van interne middelen. Veel universitaire onderzoekers vinden echter dat onderzoeksprestaties zich niet goed kwantitatief laten meten. In de woorden van Pen: Veel universitaire onderzoekers zuchten onder de administratieve last van het kwantificeren van onderzoeksprestaties en de aanverwante bureaucratie. Zij wijzen er bijvoorbeeld op dat onderzoeksprestaties weliswaar meetbaar zijn, maar wat deze cijfers vervolgens betekenen, vormt onderwerp van discussie. Hoe kunnen outputcijfers zinvol worden geïnterpreteerd? Hoe kunnen zij op verantwoorde wijze worden vertaald naar onderzoeksbudgetten? In de praktijk blijkt dat de variëteit in onderzoeksoutput binnen universiteiten en faculteiten groot is, wat het onderling vergelijken van output lastig maakt. Bovendien, outputgeoriënteerde prestatiemeting zet aan tot perversiteiten, zoals het dupliceren van onderzoeksoutput, het vermijden van risicovol onderzoek dat niet direct tot publicaties leidt of het uitsmeren van onderzoeksresultaten over meerdere publicaties. Pen heeft in vier faculteiten van verschillende universiteiten waar onderzoeksgeld uit de eerste geldstroom al enige jaren wordt verdeeld via een prestatiemeetsysteem empirisch onderzoek gedaan. Hij vat de resultaten als volgt samen: Uit het empirisch onderzoek komt naar voren dat prestatiemeetsystemen eigenlijk niet in staat zijn de grote variëteit aan onderzoeksoutput een plek te geven. De systemen kunnen de variëteit aan onderzoeksoutput niet aan. Veel typen output worden niet meegeteld. Er is over het algemeen ook weinig ruimte om te komen tot een gezamenlijke interpretatie van prestatiecijfers; de cijfers worden gemeten en de professional krijgt geen ruimte de betekenis van die cijfers toe te lichten. De cijfers worden direct vertaald in onderzoeksbudgetten. Die bevindingen leverden een eerste observatie op: de prestatiemeetsystemen zijn schamel en rigide. Vervolgens is gekeken welke effecten de systemen hebben. De systemen blijken te leiden tot een toename van gemeten output (productietoename op prestatie-indicatoren). Maar er blijkt nauwelijks sprake van een reallocatie van onderzoeksmiddelen naar de best presterende eenheden. Dit komt doordat slechts een deel van het onderzoeksgeld via het systeem wordt verdeeld en er nog alternatieve manieren zijn om middelen uit de eerste geldstroom te verwerven. Dat er weinig reallocatie plaatsvindt is opmerkelijk, omdat prestatiebeloning impliceert dat positieve scores beter worden beloond dan minder positieve scores. Tegelijkertijd blijkt, opvallend genoeg, dat de managing professionals vrij positief oordelen over de prestatiemeetsystemen, ondanks dat de systemen schamel en rigide zijn. Over het algemeen zijn de systemen voor de managing professionals niet meer weg te denken uit de faculteiten. De systemen hebben, alle inhoudelijke beperkingen ten spijt, bijgedragen aan een zekere prestatiegerichtheid. De systemen zetten aan tot publiceren in tijdschriften die ertoe doen in het vakgebied. De hogere onderzoeksproductie wordt vooral toegeschreven aan het vervangingseffect dat na verloop van tijd optreedt: zwak presterende onderzoekers worden vervangen door beter presterende onderzoekers. Er is nog een ander opvallend punt. De literatuur voorspelt dat een directe koppeling tussen geld en prestaties tot perversiteiten leidt. Daarvan lijkt echter niet of nauwelijks sprake. Perverse effecten, zoals verwaarlozing van niet-gemeten taken, afname van innovatie, afname van samenwerking en een overmatige fixatie op prestaties die gemeten worden, lijken niet of nauwelijks voor te komen. Ter Bogt en Scapens komen in hun onderzoek uit 2012 [5] tot iets andere conclusies. In dit onderzoek bestuderen zij de gevolgen van de invoering van prestatiemeting bij twee Accounting & Pagina 4

5 Finance afdelingen, één in Nederland en één in het Verenigd Koninkrijk. Zij concluderen dat bij beide afdelingen de prestatiemeting subjectief is en dat dit de creativiteit en innovatie van het onderzoek zou kunnen bedreigen. De meeste respondenten in hun onderzoek dachten wel dat de onderzoeksoutput de laatste jaren was toegenomen, maar waren onzeker over de effecten op de kwaliteit van het onderzoek en onderwijs. Daarnaast was bij beide afdelingen de aandacht voor service buiten de universiteit afgenomen en zorgde de prestatiemeting voor meer angst en stress bij onderzoekers. Een andere belangrijke conclusie van het onderzoek van Ter Bogt en Scapens is dat de claim dat prestatiemeting transparantie en objectiviteit vergroot aanvechtbaar is. Deze laatste conclusie wordt ondersteund door onderzoek van Henrekson en Waldenström [6] waarin zij zeven gevestigde en soms algemeen gebruikte parameters van onderzoeksprestaties gebruiken om alle voltijd Zweedse professoren te ordenen op ranglijsten. De plaats van een professor op de ranglijst blijkt sterk afhankelijk te kunnen zijn van de gebruikte parameter. Daarnaast varieert ook de distributie van de waardering van de totale onderzoeksprestaties van een professor aanzienlijk afhankelijk van de gebruikte parameter. Op basis van de resultaten van zijn empirisch onderzoek, concludeert Pen [4] dat een prestatiemeetsysteem aan de volgende drie ontwerpprincipes moet voldoen om betekenisvol te kunnen zijn voor zowel managers al professionals: - Basale ontwerpprincipes. Volgens bestaande inzichten uit de literatuur behoren prestatiemeetsystemen in professionele organisaties te voldoen aan enkele basale voorwaarden. Die hebben betrekking op de legitimiteit van indicatoren, een variëteit aan indicatoren, dynamiek of aanpassingsvermogen van het systeem, controleerbaarheid van cijfers, duidelijkheid over de functies van het systeem en ruimte voor gezamenlijke betekenisgeving van prestatiecijfers door manager (beoordelaar) en professional (beoordeelde). Aan dit normatieve kader blijkt in de onderzochte praktijk maar ten dele (en soms zelfs nauwelijks) te worden voldaan. Om mogelijke negatieve gevolgen te voorkomen of te neutraliseren is ruimte gecreëerd voor demping en compenserende factoren. - Ruimte voor dempingsfactoren. In de praktijk blijkt dat prestatiemeetsystemen voor wetenschappelijk onderzoek niet alle soorten professionele output kunnen omvatten. Om effectief te zijn, kan een prestatiemeetsysteem paradoxaal genoeg slechts een beperkte doorwerking in het professionele proces hebben. Demping draagt bij aan die beperkte doorwerking en daarmee aan de fairness van het systeem. Demping kan te maken hebben met het uitsluiten van bepaalde onderzoekers, het toestaan van uitzonderingsgevallen, het creëren van een tijdsgat tussen prestatie en beloning en het vormen van een hitteschild tussen het systeem en de onderzoeker. De managing professional vormt in de praktijk vaak het hitteschild. Die filtert perverse systeemprikkels. - Ruimte voor compenserende factoren. Naast dempingsfactoren in het systeem, is het heilzaam ruimte te creëren voor alternatieve zienswijzen en beoordelingsinstrumenten. Een praktijk waarin slechts een deel van het interne onderzoeksgeld via het prestatiemeetsysteem wordt verdeeld, biedt ruimte om ook professionele producten of initiatieven te belonen die niet direct meetbaar zijn of buiten het systeem zijn gehouden. Daarnaast hoeft een facultair of universitair prestatiemeetsysteem niet op zichzelf te staan. Onderzoeksprestaties kunnen op meervoudige wijze benaderd worden. Andere research management instrumenten, beleidsgelden, interne subsidies en financiële regelingen vullen de leemten van het prestatiemeetsysteem of neutraliseren ongewenste effecten. De instrumenten kunnen de waarden uit het prestatiemeetsysteem versterken, maar ook tegenspreken. Deze meervoudigheid en redundantie past in een omgeving van wetenschappelijk onderzoek, waarin onderzoeksoutput niet altijd langs dezelfde meetlat gelegd kan worden. 3 3 Zie hoofdstuk 10 van het proefschrift van Mark Pen [4] voor een uitgebreidere beschrijving van de ontwerpprincipes voor prestatiemeetsystemen. Pagina 5

6 3. Conclusies voor de UvA Uit de behandelde literatuur blijkt dat er geen objectieve methode bestaat om onderzoeksprestaties te meten, zeker niet als men verschillende disciplines met elkaar wil vergelijken. Wel lijken de onderzoeksprestaties van een faculteit of afdeling toe te nemen nadat een systeem voor prestatiefinanciering en/of prestatiemeting is ingevoerd. De boodschap die een systeem van prestatiemeting/-financiering uitdraagt lijkt hierbij belangrijker dan de daadwerkelijke allocatie: de impact op de verdeling van de financiële middelen lijkt over het algemeen beperkt. Hoe groot (eventuele) nadelige neveneffecten van zo een systeem zijn wordt uit de literatuur niet duidelijk. Indien de UvA ervoor kiest het allocatiemodel onderzoek verder te variabiliseren, kunnen de drie ontwerpprincipes van Pen [4] hierbij worden meegenomen. 4. Literatuurlijst 1. Centraal Planbureau (2003), Prikkel de prof Een analyse van de bekostiging van universitair onderzoek. Den Haag. 2. AWT (2005), Een vermogen betalen De financiering van universitair onderzoek. Quantes, Rijswijk. 3. Jongbloed, B., Salerno, C., Huisman, J., & Vossensteyn, H. (2005). Research prestatiemeting: een internationale vergelijking. Ministerie van Onderwijs, Cultuur en Wetenschap, Den Haag 4. Pen, M. (2009), Prestatiemeting van wetenschappelijk onderoek Een empirische studie naar de doorwerking van universitaire prestatiemeetsystemen. Lemma, Utrecht.\ 5. Bogt, ter, H.J., & Scapens, R.W. (2012). Performance Management in Universities: Effects of the Transition to More Quantitative Measurement Systems, European Accounting Review, 21:3, Henrekson, M., & Waldenström, D. (2011). How should research performance be measured? A study of Swedish economists, The Manchester School, 79:6, Bijlagen 1. FNWI beleidsbudget, Basis voor beta-toponderzoek 2. Rust, R. (2012), Indicatoren voor wetenschappelijk onderzoek Pagina 6

7 Bijlage 1 NOTITIE Indicatoren voor wetenschappelijk onderzoek 1 Inleiding Er is een werkgroep ingesteld om indicatoren te ontwikkelen met betrekking tot de rijksbijdrage voor wetenschappelijk onderwijs en onderzoek. Voor het onderwijs spitst het probleem zich toe op het vinden van een goede indicator voor de prijs per student. Wat het onderzoek betreft wordt in de onderzoeksopdracht van de werkgroep gesteld dat er nu geen gezamenlijk gebruikte indicator is die de ontwikkeling laat zien in de tijd. Het is relevant om een dergelijke indicator te ontwikkelen. Gedacht kan worden aan indicatoren zoals: aantallen publicaties, graden, promoties en ontwerperscertificaten en patenten. In deze notitie wordt een eerste korte verkenning gedaan van vaak genoemde indicatoren voor wetenschappelijk onderzoek. Bij elke indicator worden tevens enkele kritiekpunten genoemd. 2 Onderzoek als producent van wetenschappelijke kennis 2.1 Publicaties Een publicatie is het meest voorkomende, tastbare product van wetenschappelijk onderzoek. Publicaties spelen een belangrijke rol in diverse beoordelingen van wetenschappelijk onderzoek, zoals de onderzoeksvisitaties, de Shanghai- ranking etc. Publicaties kunnen ook in een verhoudingsgetal worden uitgedrukt, bijvoorbeeld aantal publicaties per fte onderzoeker of per euro onderzoeksbudget. Problemen wanneer publicaties als maatstaf worden genomen: Definitieprobleem en afbakeningsprobleem. Met publicaties worden doorgaans peer reviewed tijdschriftpublicaties bedoeld. Publicatietradities verschillen sterk per discipline: tijdschriftpublicaties in beta/medisch en deel gamma- wetenschappen, monografieën en dergelijke in veel alfa- en sommige gamma- wetenschappen en proceedings zijn veelvoorkomend in bijvoorbeeld de Informatica. Het is schier onmogelijk om aan alle disciplines even veel recht te doen. Impactfactor. Is elke publicatie gelijkwaardig of wegen publicaties in het ene tijdschrift zwaarder dan in het andere? Toerekeningsprobleem. Een publicaties heeft veelal meer dan één auteur. Een auteur kan bovendien bij verschillende kennisinstellingen werkzaam zijn. Er zijn diverse regels, elk weer met voor- en nadelen, bedacht om met het toerekeningsprobleem om te gaan. Perverse prikkels die ontstaan als veel gewicht aan publicaties wordt toegekend: Kwantiteit wordt boven kwaliteit gesteld. Onderzoeksbevindingen worden opgeknipt om zoveel mogelijk publicaties binnen te halen. Grensverleggend onderzoek wordt te riskant ( gaat het wel publicaties opleveren ) en men kiest voor veilige onderwerpen. Een variant, waarbij kwaliteit centraler wordt gesteld, is om alleen toppublicaties te tellen. Dat zijn publicaties waarvan via een of andere bibliometrische methode wordt vastgesteld dat zij een wezenlijke impact hebben op het betreffende onderzoeksgebied.

8 Overigens behoort het Nederlandse wetenschappelijk onderzoek al tot de wereldtop als het om publicaties gaat. 1 Mocht het een doelstelling zijn dat een indicator ook stimuleert tot betere prestaties, dan valt te betwijfelen of de maatstaf publicaties effectief is. In Vlaanderen en ik dacht ook in Noorwegen spelen publicaties een belangrijke rol in de onderzoeksbekostiging. 2.2 Citaties (Citatiescores) Een aantal nadelen van publicatie als maatstaf kunnen weggenomen worden door niet publicaties maar citaties (per onderzoeker, per euro onderzoeksbudget) te tellen. De hoeveelheid citaties zegt iets over het relatieve belang van het onderliggende onderzoek. Citaties kunnen weer gecorrigeerd worden voor impactfactor: een citatie in Nature telt dan zwaarder dan één in, bijvoorbeeld, de European Journal of Cell Biology. Nadelen van citaties als maatstaf zijn: het is, voor het bredere publiek, minder aansprekend als publicaties, citatie- analyse is methodologisch complex en er doen zich vergelijkbare definitie- en toerekeningsproblemen voor als bij publicaties. 2.3 Visitatiescores Eens in de zes jaar worden onderzoeksvisitaties uitgevoerd volgens een landelijk vastgesteld protocol. De uitkomsten van de visitatie kunnen als indicator worden gebruikt voor de kwaliteit van onderzoek. In sommige landen, waaronder Engeland, spelen periodieke Research Assessments een rol in de bekostiging. In de huidige opzet zijn de Nederlandse visitaties daar niet voor geschikt. In Nederland wordt bovendien doorgaans bepleit om onderzoeksvisitaties uitsluitend te gebruiken vanuit het oogpunt van kwaliteitszorg. Men vreest negatieve gevolgen als een sterke koppeling wordt gelegd met financiën. Het zou onder meer kunnen leiden tot een toename van administratieve lasten, tot een afname van de benutting van kennis, tot een onderinvestering in nieuwe risicovolle onderzoeks- lijnen en tot een beperking van het spectrum waarop onderzoek wordt uitgevoerd 2 3 Onderzoek als producent van wetenschappers 3.1 Bachelor en met name masterdiploma s Een wetenschappelijke opleiding hoort haar basis te hebben in wetenschappelijk onderzoek. Vanuit dat oogpunt kunnen bachelor en met name masterdiploma s alleen tot stand komen dankzij onderzoekers en kunnen ze beschouwd worden als product, of beter gezegd bijproduct van onderzoek. Als indicator lijken BA/MA- diploma s echter weinig geschikt. Ze horen primair bij onderwijs thuis en niet bij onderzoek. 3.2 Promoties Een belangrijke taak van onderzoekers is om nieuwe onderzoekers op te leiden. Hoe productief en succesvol men daarin is kan gemeten worden. Promoties spelen al een belangrijke rol in de Nederlandse bekostiging. Dat heeft naast positieve ook negatieve effecten als het gevecht om buitenpromovendi en een (te) 1 AWT, Een vermogen betalen, De bekostiging van het universitaire onderwijs en onderzoek in Nederland, maart Ibid. 2

9 grote voorkeur voor promovendi ten opzichte van postdocs bij subsidie- aanvragen (verdringingseffect). 4 Onderzoek als probleemoplosser voor maatschappij en bedrijf (valorisatie) Van universiteiten mag of moet verlangd worden dat zij hun kennis ook direct ten dienste stellen van de maatschappij en, waar mogelijk en gepast, hun kennis economisch uitnutten. Valorisatie van kennis is benoemd als een hoofdtaak van de universiteit. Het wordt zelfs gezien als een aparte opdracht naast onderwijs en onderzoek. Zou het zo het zo strikt worden opgevat dan moeten eigenlijk aparte indicatoren opgesteld worden voor valorisatie, naast die voor onderzoek. Mogelijke indicatoren zijn: Patenten Spin- offs Vakpublicaties e.d. Omzet derde geldstroom Bij een te grote nadruk op deze indicatoren dreigt het gevaar dat de universiteit haar unieke plek in de waardeketen verliest. Niet het ongebonden fundamentele onderzoek staat dan meer centraal maar het uitdragen of verkopen van direct toepasbare kennis. De indicatoren zijn verder om verschillende redenen lastig. Patenten hebben hoofdzakelijk betrekking op de beta en medische wetenschappen. De totale omvang is beperkt en de werkelijke waarde van patenten valt veelal pas na vele jaren vast te stellen. Spin- offs zijn (te) beperkt in aantal. Voor vakpublicaties e.d. bestaat geen enkel beoordelingssysteem. Ook de omzet derdegeldstroom zou bij voorkeur beoordeeld moeten kunnen worden op basis van enkele (kwaliteits)criteria. 5 Slotopmerkingen Een complicatie bij alle indicatoren voor onderzoek is dat onderzoeksproductie niet of nauwelijks valt te scheiden naar Rijksbijdrage (eerste geldstroom) en contractonderzoek (tweede en derde geldstroom). Als de mogelijkheid van publicaties/citaties als indicator nader onderzocht wordt, dan zou het nuttig kunnen zijn nader advies in te winnen bij het CWTS (Centre for Science and Technology Studies) van de Universiteit Leiden dat gespecialiseerd is citatie- analyses. Rudi Rust 6 februari

10 Bijlage 2 "#$%&'(')*+&,*-'. "#"$%&&'$()*""#"#$%&$' ((CDE #/+ 8:7.$+ /9 *))7F-G$4/?G )6 7$ 8-9/9,))HI--H7$* +$ 950$JJ$*,))H *-+::HI$+$*950-JJ$4/?G +)J)*7$HF)$G $* 3)*7$HI/?9E #$ %&'( J4$/+ $H,))H )60$+8$4$/798:7.$+8$+$H+$7$B/*/KH$*E#-+950$J+*/$+-44$$*7:/7$4/?G0$/76--H F) I)H7+ ))G,))HG)6$* 7-+ 0$+ 8$4$/798:7.$+ 7$ 94:/+J)9+ I)H7+,-* 7$ :*/,$H9/+-/H$ )*7$HF)$G98$.H)+/*. $* 0$+ B:*7-6$*+,))H 8$+-3+)J)*7$HF)$G $*3)*7$HI/?9)*)J.$6$HG+$*)*.$I/47-B8H)GG$4+E ""#$%&'(()*&+(&,-.&((/&0(1( (*&/$+256& L$+-3)*7$HF)$G /9 )6 $$* --*+-4 H$7$*$* 7::H )*7$HF)$GE M$* 8$4$/798:7.$+ /9 )*7$H6$$H*)7/.,))HN M$*G)9+8-H$)*7$HF)$G9/*BH-9+H:5+::HE#$8-9/9)*7$HF)$G93/*BH-9+H:5+::H,-*7$%&'(7/$,))H-48$9+--+:/+4-8)H-+)H/-$*)*7$HF)$G9)*7$H9+$:*$*7 J$H9)*$$4-49-*-4/9+$*=G)9+;"O=>6/4?)$*J$H?--HE P-+$H/--43 $* -JJ-H-+::HG)9+$*E #$F$ F/?* J$H )*7$HF)$G$H --*6$HG$4/?G 0).$H7-*/*7$-4B-Q.-66-3I$+$*950-JJ$*E#$6$$HG)9+$*,))H7$%&'( 8$4)J$*;<="6/4?)$*E RH/+/$G$ 6-99-E S$.$,$* I$+$*950-JJ$4/?G$ 5)6J$+/+/$= F/?* 8/?,))H8$$47 950$/G:*7$ $* *-+::HG:*7$ -44$$* 4$,$*9,-+8--H -49 F$.$7H-.$* I)H7$* 7))H.H)+$ )*7$HF)$G54:9+$H9E #$F$ 7/95/J4/*$9 G$**$* H$4-+/$B I$/*/. 9+:7$*+$*= 6--H $$*.H)+$ )*7$HF)$GJH)7:5+/$E #/+ 8$$47 /9 */$+:*/$G,))H7$1,2=6--HF/50+8--H/*0$$4&$7$H4-*7$*M:H)J-E T).$ )*7$HF)$G9/*+$*9/+$/+E U))H /*7/,/7:$4$ )*7$HF)$G$H9 4/.+ 7$,$H0):7/*. )*7$HI/?93)*7$HF)$G 8/? 7$ *-+::HI$+$*950-JJ$* -*7$H9 7-* 8/?7$-4B-Q.-66-3I$+$*950-JJ$*E'$7$H)6=7/+/9*/$+:*/$G,))H7$1,2= 6--HG$*6$HG$*7,))H$4G$"#"$%&:*/,$H9/+$/+EV-4$*+G)6+-44$$**--H7$ 8$+-3B-5:4+$/ $* 6/*9+$.$4/?G F/?* --* 7/$,-* -*7$H$ :*/,$H9/+$/+$*E U))H 7$ %&'( 8$7H-.$* 7$ 6$$HG)9+$*,-*I$.$ 7$ 0).$H$ )*7$HF)$G9/*+$*9/+$/+ +$* 6/*9+$ ; W=X 6/4?)$*E P-+50/*.E #$ %&'(,$HI$HB+ H:/6 ; YW 6/4?)$* --* 6/77$4$*,-* $A+$H*$ #$F$,$HI-50+$* 7))H.--* $ 8-9/9/*BH-9+H:5+::H )6 */$+ 8$950/G8--H I)H7+.$9+$47 7-* I$ $ B-5:4+$/+$/.$*6/77$4$*/*8H$*.+/*0$+)*7$HF)$G9JH)?$5+E#$%&'( $$H7-*I-+F/?:/+-44)5-+/$6)7$4,$HGH/?.+ET$+,$H950/4/9;Z=[6/4?)$*E T$++)+--4,-*7$0/$H8),$*8$*)$67$G)9+$*8$7H--.+;Y\=Z6/4?)$*E #$ H$4-+/$B 0).$ G)9+$*,))H 8$+-3)*7$HF)$G I)H7$* 94$50+9,))H $$* F$$H G4$/* 7$$4.$5)6J$*9$$H7 /* 0$+ -44)5-+/$6)7$4E #$ 7$ 0).$H$ 8$G)9+/./*.9B-5+)H,))H 7/J4)6-]9/*7$1,23)*7$HF)$G98$G)9+/./*.4$,$H+$$*6$$H)J8H$*.9+)J,-*;"=Y 6/4?)$*E#-*GF/?7$0).$)*7$HF)$G9/*+$*9+/+$/+G:**$*6$$HJH)6),$*7/8$.$4$/7 I)H7$*E#$6$$H)J8H$*.9+0/$H,-*I)H7+.$950-+)J;O=W6/4?)$*EV)+94)+I)H7$* 7$ G)9+$*,-* 7$ )*7$HF)$G9/*BH-9+H:5+::H 7$$49 7))H8$4-9+ *--H "

11 5)*+H-5+)*7$HF)$G= I--H 0$+)BI$4 7))H 7$ 9:89/7/$.$,$H,$H.)$7 I)H7+ 7-* I$4 )*7$H7$$4:/+6--G+,-*7$6-+50/*.ET$+.--+)6F)]*;Y="6/4?)$*E(*+)+--44$,$H+ 0$+ -44)5-+/$6)7$4 ; >=\ 6/4?)$* )J +$H 7$GG/*.,-* 9J$5/B/$G$ 8$+-3 )*7$HF)$G9G)9+$*E #$ %&'( 0$$B+ 7$ G)9+$*,-* 0$+ )*7$HI/?9.$7$+-/44$$H7 /* ^*7$HI/?9 #-908)-H7DE #$ H$.:4/$H$ )*7$HI/?93 8$G)9+/./*.@1,23-44)5-+/$6)7$4D,)49+--+*/$+)67$G)9+$*,-*0$+8$+-3)*7$HI/?9 +$ 7$GG$*E #$ B-5:4+$/+ G$*+ 7--H)6 :/+ 0$+ 8$4$/798:7.$+ ; Z=" 6/4?)$* +)$ --* )*7$HI/?9@$A54:9/$B((C38$4$/798:7.$++$*DE T$+8$4$/798:7.$+,-*;<"=>6/4?)$*F$+7$%&'(/*)67$G)9+$*+$7$GG$*7/$ 8$+-3)*7$HF)$G $* )*7$HI/?9 6$+ F/50 6$$8H$*.$* $* */$+.$7$G+ I)H7$* /* 0$+ -44)5-+/$6)7$4E T/$H6$$ /9 +$* 6/*9+$ ; Y>=\ 6/4?)$*.$6)$/7E '-+,$H,)4.$*9 H$9+$$H+/9$$**$++)8$4$/798:7.$+,-*;<=X6/4?)$*E "#$%&'()(*+,'#+-($&./01&2344&5(6&1178& 94:;& "#$%&'()*%+%)'&*"&$,$(-'./$'# 0123 "-'##+(45+&*66$7*&+'8$-'6 "921 0:29 ")'6'+-%)5-4'&$(-'.;+<% 32: =*%&)'%6*4$,).5&$)'6'+-%)5-4'&>*?4'.$(-@ 0921 /($$%&'()(*+,'#+-($&./01& A2B (* 7$.H-B/$G )J 7$,)4.$*7$ J-./*- F/?* 0$+ 8$4$/798:7.$+ 9-6$*.$,-+E L/?4-.$ " 8$,-+ $$*.$7$+-/44$$H7 5/?B$H),$HF/50+E M$* +I$$7$.H-B/$G +))*+ 0$+,$H4))J,-* 0$+ *$++) 8$4$/798:7.$+ ),$H 7$?-H$*E 249.$,)4.,-*,$H950/44$*7$G)H+/*.$*GH/6J+7/+8:7.$+,-*;"[6/4?)$*/*Y[[X*--H 5/H5-;Y6/4?)$*/*Y["OE 7(8$3*252/53%$+(1&0#(/5*&0(*"&2/&+(&9(#+#4882/5& _)I$4 0$+ `/?G98$G)9+/./*.96)7$4-49 0$+ :*/,$H9/+-/H$ 8$G)9+/./*.96)7$4 8H$*.+ 7$8$+-3I$+$*950-JJ$*/*7$,$H7H:GG/*.E 9J$4$* $$* 8$4-*.H/?G$ H)4 /* 7$ 8$G)9+/./*.E (*,$H.$4/?G/*. 6$+ 7$-4B-Q.-66-3I$+$*950-JJ$*G$**$*7$*-+::HI$+$*950-JJ$* H$4-+/$B4-.$9+:7$*+$*--*+-44$*E#$%&'(4$.+F/50*/$+*$$H8/?7$0:/7/.$--*+-44$* $*9+H$$B+-5+/$B*--H$$*0).$H$/*9+H))6E&/$++$6/*7I/*.+7$H$-4/+$/++$F$..$* 7-+7$--*+-44$**))/+0$+-4B-Q.-66-3*/,$-:F:44$*0-4$*E #$ )*7$HF)$G98$G)9+/./*. /9,$H7$H *-:I$4/?G9,$H8)*7$* --* 9+H-+$./950$)*7$HF)$G9-.$*7-)BGI-4/+-+/$,$)*7$HF)$G9JH$9+-+/$9E S$,)4.,-*0$+8),$*9+--*7$/97-+7$*-+::HI$+$*950-JJ$*F/?*--*.$I$F$*)J $$*9:89+-*+/$$48$4$/798:7.$+E #$ %&'( J4$/+ $H,))H )6 0$+ 8$4$/798:7.$+ *-7$H +$ 7$B/*/KH$*E #/95:99/$9 ),$H 9+H-+$./950$ G$:F$*= 7$ 8$G)9+/./*. $* ),$H 8$F:/*/./*.$* G:**$* 7-* F:/,$H7$H.$,)$H7I)H7$*E aaaaaaaaaa "<?:4/Y["" Y

12 FNWI beleidsbudget: basis voor beta- onderzoek en onderwijs Netto beleidsbudget 25 M Basis voor beta- onderzoek/onderwijs Doelbestedingen beleidsbudget Dekking uit UvA- allocatiemodel Netto beleidsbudget: strategisch beleid Beleidsbudget: basis voor beta- onderzoek/onderwijs

13 FNWI netto- beleidsbudget krimpt: van M 10 in 2008 naar M 1,9 in M ,6 5,4 3,8 2 3,8 2,8 1,9 1,9 0

14 "#$%&'() "#$%&'()(*+,-.+/(01&23+(45(4+(()+&3664&7-(,0(+*3/,8+2()(3 9)&6:/(;23+(4+&563&'()(*+,-.+/(0 *+,+-./01+/ (78/00/-29-./(:(;<=% *+,+-./01+/ (745/B29-./(:(;C7D(DE8E6F3B3 (((((((((((((( GAH 7/48+0,6E-(;I7 ((((((((((()>HJK &&&&&&&&&&& AB046&C2,0(3&'(06D:6E.)0(*0 "#$%&'()*'+,*++' 6EL3M(2E33/-(/-(45/NB/:+,36EOP(5990(I(QE4B6B8F(4+383 ((((((((((( J>A)R,0/4B/1/(0ENB-O 6EL+0E-8/-(/>.>(//038/(O/ NM(B-46(S/02,6/2+T/05/E. ((((((((((( A>?KU,0/4B/1/(0ENB-O */45-+6+OB/(D/-809N ((((:(,/03+-//6M(B-46(S/02,6/2+T/05/E.M(-E(0/+ (((((()>?KA,0/4B/1/(0ENB-O ((((:(5990 ((((((((( 345E88B-O (((:(EQ3450BVTB-O/-(/-(NE8/0BEE6 (((((((((?JK 09S/(345E88B-O ((((((((((()>RUJ "D*(W/X,/08O0+/,M(3/0T/009BN8/Y ((((((((((()>KKK 09S/(345E88B-O &&&&&&&&&?F=G>G -"#.//('(*++'#0#1(*2'3((4 EQ3450M(+T/0BO/(,0BNEB0/(6E38/- Z+O/0/(NE8/0B/6/(6E38/-(M(B-(5/8(+-./01+/2M(8+T(E6QE[OENNE ((((((((((( U>)U? 2+38/-[L/8E:S,:Q8/P()G2\(E6QEP(U2> &&&&&&&&&&& <=?<H 5"#1(*,63%7 ]E845B-O(8+,+-./01+/ /-(W;<=%(/-(;C7DY ((((((((((()>KKK 345E88B-O\(8+,:+1(L/2+38BOB-O(B3(T/0O/6BV2LEE0(N/8(;^<:0/O96B/0 ]E845B-O(3/48+0,6E- _] -E./0(8/(L/0/2/-/-\(3/48+0,6E-(T++01B/8(.//63(B-(+T/05/E.2+38/- Z+O/0/(NE845B-O32+38/-(+,(8S//./[./0./(O/ N:+1 (((:(NE845B-O(`T%:E66+4E8B/N+./6 (((:(S/02/6BV2/(NE845B-O(?K)K (((()H>?)K,0/4B/1/(L/0/2/-B-O\(O/4+00BO//0.(T++0(DT:+T/05/E. ((((((((((( &&&&&&&&&&& 8"#9%:2';<2=)3%*2%)3*23* ^_(TE38P(+S:+1M(-B/8(AK:HK(NEE0(HK:AK (((:(+-./0SBV3(Q8/M(TE38(^_(a;^" (((((((((((( GK EE-8E6(Q8/(^_:TE38(B-(+-./0SBV3(a;^" (((:(+-./01+/2(Q8/(LBV(AKb(+S(:(HKb(+1 (((((((((((( HG (((:(+-./01+/2(Q8/(LBV(HKb(+S(:(AKb(+1 ((((((((()KJ S/02/6BV2P(Q8/(S,(TE38(+1(T6O3(7%_()?J(Q8/ (((:(T/0345B6 ############ " (((:(&/NB../6./(_/03+-/6/($E38(W&_$M(B-(2cYM(B-46(S/02,6>+T/05/E. ((((((((()KK 345E88B-O(W,0/4B/1/(L/0/2/-B-O(S+0.8(O/NEE28Y ((((((((((( J>RUU Z+O/(O0/-3(20B8B/2/(345EE6O0++88/M(6EO/(389./-8/-EE-8E66/- _] &&&&&&&&&&& >=K<< ((:(L/6/B.3L9.O/8(+-./0SBV3 ((((((((((( A>)JK a;^":+-./sbv32+38/-(w.90/(b-q0e\(b-8/-3b/qy(5+o/0(.e-(e66+4e8b/n+./6 &&&&&&&&&&& S+0.8(EQO/L+9S.(-EE0(4E(H>KKKM(N/./(B-(2E./0(TE-(Z/038/6,6E-(a;^" LML99N&(B046&C2,0(3&-(06 O((+,&/(+(C0&*3&6))2E60*(P2+() &&&&&&&&& <>=JF? )>(Z+O/0/(L/2+38BOB-O3QE48+0M(-B/8()MK(NEE0()MJG ((((((((((()>?)K L/80/Q8(.B,6+NET/0O+/.B-O(B-(+1:L/2+38BOB-O(WL9.O/8(?K))Y?>(d++0L/6E38B-O(6EL:N?(-EE0(+T/0BO/(O/6.380+N/- (((((:(EE-.//6(+1:90/-(O3(+T/0BO(B-(8+8EE6 URb (((((:(6EL3M(2E33/-(/-(45/NB/:+,36EOP(5990(I(QE4B6B8F(4+383 (((((( J>A)R (((((((((((?>)HA U>(]//0(,0+N+T/-.B(.E-21BV(N//0(+1:8BV. (((((:(QE48+0 ((((((((?MKK N//0(^_M(N//0(+1:8BV.\(345E88B-O (((((:(EE-8E6(L/8E:,0+N+8B/3 ((((((((()KK (((((:(O/-+0N//0.(-EE0(AKb(+S:8BV. (((((((((((( JK T/0O/6BV2LEE0(N/8(E6QE[OENNE (((((:(T/0345B6 ############ $ (((((:(,0BV3[,0+N+8B/(W2cY ((((((((((( H>JKK LML99N&6)&/(+(C0&563.*0&6))2E60*(P2+() Q9NRM&D&-(06DC2,0(3&P*3.,&+(CC*3/&.*0&6))2E60*(P2+() '()(*+,-.+/(01&-4.02&H@?? '()(*+,-.+/(0&D"ALLM &&&&&&&&&&& J=K>G &&&&&&&&& HJ=KK> &&&&&&&&& <?=J@@ &&&&&&&&&&& <=K?>