Prestatiemeting van wetenschappelijk onderzoek Een empirische studie naar de doorwerking van universitaire prestatiemeetsystemen Mark Pen Samenvatting Prestatiemeting van universitair onderzoek is de laatste jaren sterk in opkomst geraakt. Onder prestatiemeting wordt verstaan het proces van verzamelen, consolideren, verwerken en distribueren van prestatie-informatie. Prestatiemeting in universiteiten kan zich richten op het meten van verworven onderzoeksmiddelen (bijvoorbeeld extern onderzoeksgeld), geproduceerde wetenschappelijke output (bijvoorbeeld wetenschappelijke publicaties, monografieën, vakpublicaties, proefschriften, ontwerpen of octrooien) en effecten van onderzoek (bijvoorbeeld citaties of maatschappelijke toepassingen). Prestatiemeting kan zich ook richten op het meten van de organisatie- en proceskenmerken die onderzoeksprestaties beïnvloeden (bijvoorbeeld aantal promoties, postdocplaatsen, aandeel projectfinanciering). De resultaten van universitaire prestatiemeting kunnen vrijblijvend zijn, vooral bedoeld om inzicht te krijgen in de productiviteit van onderzoekers, maar prestatie-informatie kan ook de basis vormen voor strategisch beleid en de allocatie van interne middelen. Het lijkt er sterk op dat outputgeoriënteerde prestatiefinanciering steeds verder doordringt tot in de haarvaten van het universitaire onderzoek. Dat is het gevolg van de toenemende verzakelijking van de universitaire organisatie, waarin onderzoeksprestaties, -coördinatie en -verantwoording belangrijker worden. Bestuurders en onderzoeksmanagers zoeken steeds vaker naar mogelijkheden om het geld bij de best presterende groepen te krijgen (allocatiedoel) of prestatieprikkels te geven (prestatiedoel). Onderzoekers hechten over het algemeen veel belang aan onderzoekskwaliteit. In de wetenschappelijke traditie bepalen peers (vakcollega s, gelijken ) of onderzoek van voldoende kwaliteit is. Dat gebeurt onder meer bij het toekennen van onderzoekssubsidies, het plaatsen van artikelen in wetenschappelijke tijdschriften, bij prijzen, benoemingen en erkenningen. Naast dit aloude systeem van peer review, dat op tal van plekken in de wetenschappelijke professie is ingebed, staan steeds vaker prestatiemeetsystemen die niet zozeer een oordeel vellen, als wel kwantificeren. Veel universitaire onderzoekers zuchten onder de administratieve last van het kwantificeren van onderzoeksprestaties en de aanverwante bureaucratie. Zij wijzen er bijvoorbeeld op dat onderzoeksprestaties weliswaar meetbaar zijn, maar wat deze cijfers vervolgens beteke- 1
nen, vormt onderwerp van discussie. Hoe kunnen outputcijfers zinvol worden geïnterpreteerd? Hoe kunnen zij op verantwoorde wijze worden vertaald naar onderzoeksbudgetten? In de praktijk blijkt dat de variëteit in onderzoeksoutput binnen universiteiten en faculteiten groot is, wat het onderling vergelijken van output lastig maakt. Bovendien, outputgeoriënteerde prestatiemeting zet aan tot perversiteiten, zoals het dupliceren van onderzoeksoutput, het vermijden van risicovol onderzoek dat niet direct tot publicaties leidt of het uitsmeren van onderzoeksresultaten over meerdere publicaties. In dit onderzoek staat de vraag centraal welke effecten prestatiemeetsystemen hebben in de wetenschappelijke praktijk, of ze betekenisvol kunnen zijn voor zowel managers als professionals, en zo ja, onder welke voorwaarden. Voor het beantwoorden van deze vraag zijn theoretische inzichten en bestaand empirisch onderzoek bestudeerd. Daarnaast is onderzoek gedaan in vier faculteiten (technische natuurwetenschappen, geneeskunde, economische wetenschappen en sociale wetenschappen) van verschillende universiteiten waar onderzoeksgeld uit de eerste geldstroom al enige jaren wordt verdeeld via een prestatiemeetsysteem. Om inzicht te krijgen in de betekenis van die systemen voor outputfinanciering zijn facultaire documenten bestudeerd en interviews afgenomen. De focus lag op de managing professionals (afdelingshoofden, onderzoekscoördinatoren). Enerzijds hebben zij managementtaken en zijn zij verantwoordelijk voor de aansturing van het onderzoek. Anderzijds zijn zij hoogleraar en komen zij voort uit de wetenschappelijke professie. Daardoor kennen zij de drijfveren van onderzoekers en begrijpen zij de wetenschapsinhoudelijke belangen van onderzoekers, concurrentieverhoudingen met andere onderzoeksinstellingen, het nut van samenwerking met externe partijen en kansen voor interdisciplinair onderzoek. Vanuit hun professionele achtergrond weten managing professionals hoe het prestatiemeetsysteem de onderzoekspraktijk kan stimuleren of frustreren. Uit het empirisch onderzoek komt naar voren dat prestatiemeetsystemen eigenlijk niet in staat zijn de grote variëteit aan onderzoeksoutput een plek te geven. De systemen kunnen de variëteit aan onderzoeksoutput niet aan. Veel typen output worden niet meegeteld. Er is over het algemeen ook weinig ruimte om te komen tot een gezamenlijke interpretatie van prestatiecijfers; de cijfers worden gemeten en de professional krijgt geen ruimte de betekenis van die cijfers toe te lichten. De cijfers worden direct vertaald in onderzoeksbudgetten. Die bevindingen leverden een eerste observatie op: de prestatiemeetsystemen zijn schamel en rigide. Vervolgens is gekeken welke effecten de systemen hebben. De systemen blijken te leiden tot een toename van gemeten output (productietoename op prestatieindicatoren). Maar er blijkt nauwelijks sprake van een reallocatie van onderzoeksmiddelen naar de best presterende eenheden. Dit komt doordat slechts een deel van het onderzoeksgeld via het systeem wordt verdeeld en er nog alternatieve manieren zijn om middelen uit de eerste geldstroom te verwerven. Dat er weinig reallocatie plaatsvindt is 2
opmerkelijk, omdat prestatiebeloning impliceert dat positieve scores beter worden beloond dan minder positieve scores. Tegelijkertijd blijkt, opvallend genoeg, dat de managing professionals vrij positief oordelen over de prestatiemeetsystemen, ondanks dat de systemen schamel en rigide zijn. Over het algemeen zijn de systemen voor de managing professionals niet meer weg te denken uit de faculteiten. De systemen hebben, alle inhoudelijke beperkingen ten spijt, bijgedragen aan een zekere prestatiegerichtheid. De systemen zetten aan tot publiceren in tijdschriften die ertoe doen in het vakgebied. De hogere onderzoeksproductie wordt vooral toegeschreven aan het vervangingseffect dat na verloop van tijd optreedt: zwak presterende onderzoekers worden vervangen door beter presterende onderzoekers. Er is nog een ander opvallend punt. De literatuur voorspelt dat een directe koppeling tussen geld en prestaties tot perversiteiten leidt. Daarvan lijkt echter niet of nauwelijks sprake. Perverse effecten, zoals verwaarlozing van niet-gemeten taken, afname van innovatie, afname van samenwerking en een overmatige fixatie op prestaties die gemeten worden, lijken niet of nauwelijks voor te komen. Bovenstaande bevindingen leiden tot de conclusie dat de systemen weliswaar geen recht doen aan de variëteit in onderzoeksoutput en een zekere starheid hebben, maar desondanks kunnen rekenen op de goedkeuring van managing professionals. Er is een aantal verklarende factoren gevonden voor deze paradox. Ten eerste zijn er tal van dempende krachten in het prestatiemeetsysteem. Bijvoorbeeld, systemen hebben in financiële zin een beperkte betekenis, er is een aanzienlijk tijdsgat tussen prestatie en beloning en de reikwijdte van de systemen is beperkt. Deze dempende krachten zorgen er voor dat de systemen vaak geen directe prikkels afgeven, maar wel bijdragen aan een prestatiegerichte cultuur. Ten tweede vormen de managing professionals een hitteschild : een werende laag tegen te dominante prikkels van het systeem die perversiteiten uitlokken. Deze vorm van boundary spanning draagt bij aan het vertrouwen in het prestatiemeetsysteem. Ten derde is er in de faculteiten naast het prestatiemeetsysteem ruimte voor andere zienswijzen en beoordelingssystemen voor onderzoek. In de universitaire praktijk worden onderzoeksprestaties vanuit verschillende kanten gemeten. Met andere woorden: de systemen zijn ingebed in een reeks van andere systemen en processen voor onderzoeksevaluatie. Tot slot is er een groot aandeel externe financiering van universitair onderzoek met als gevolg dat het onderzoeksmanagement (en de prikkelstructuur) deels van buiten de instelling komt. Externe werfkracht kan vaak meer opleveren dan scoren in het interne prestatiemeetsysteem van de faculteit. De hoge waardering maar tegelijkertijd beperkte doorwerking van prestatiemeetsystemen, als gevolg van de dempingsfactoren, leidt tot de conclusie dat de systemen vaak vooral een symbolische waarde hebben. De systemen voorzien nauwelijks in een voor de onderzoekers voelbare koppeling tussen prestatie en beloning, maar dragen op ter- 3
mijn wel bij aan een gestage toename van productiviteit, gemeten naar de maatstaven van het systeem. Aan de symbolische waarde ontlenen de systemen paradoxaal genoeg hun effectiviteit. De systemen laten vooral zien dat de faculteit prestaties belangrijk vindt en dat ze worden beloond. Dat de doorwerking in de praktijk meevalt, lijkt er weinig toe te doen. Het voorgaande leidt tot een drietal ontwerpprincipes voor prestatiemeting van wetenschappelijk onderzoek: - Basale ontwerpprincipes. Volgens bestaande inzichten uit de literatuur behoren prestatiemeetsystemen in professionele organisaties te voldoen aan enkele basale voorwaarden. Die hebben betrekking op de legitimiteit van indicatoren, een variëteit aan indicatoren, dynamiek of aanpassingsvermogen van het systeem, controleerbaarheid van cijfers, duidelijkheid over de functies van het systeem en ruimte voor gezamenlijke betekenisgeving van prestatiecijfers door manager (beoordelaar) en professional (beoordeelde). Aan dit normatieve kader blijkt in de onderzochte praktijk maar ten dele (en soms zelfs nauwelijks) te worden voldaan. Om mogelijke negatieve gevolgen te voorkomen of te neutraliseren is ruimte gecreëerd voor demping en compenserende factoren. - Ruimte voor dempingsfactoren. In de praktijk blijkt dat prestatiemeetsystemen voor wetenschappelijk onderzoek niet alle soorten professionele output kunnen omvatten. Om effectief te zijn, kan een prestatiemeetsysteem paradoxaal genoeg slechts een beperkte doorwerking in het professionele proces hebben. Demping draagt bij aan die beperkte doorwerking en daarmee aan de fairness van het systeem. Demping kan te maken hebben met het uitsluiten van bepaalde onderzoekers, het toestaan van uitzonderingsgevallen, het creëren van een tijdsgat tussen prestatie en beloning en het vormen van een hitteschild tussen het systeem en de onderzoeker. De managing professional vormt in de praktijk vaak het hitteschild. Die filtert perverse systeemprikkels. - Ruimte voor compenserende factoren. Naast dempingsfactoren in het systeem, is het heilzaam ruimte te creëren voor alternatieve zienswijzen en beoordelingsinstrumenten. Een praktijk waarin slechts een deel van het interne onderzoeksgeld via het prestatiemeetsysteem wordt verdeeld, biedt ruimte om ook professionele producten of initiatieven te belonen die niet direct meetbaar zijn of buiten het systeem zijn gehouden. Daarnaast hoeft een facultair of universitair prestatiemeetsysteem niet op zichzelf te staan. Onderzoeksprestaties kunnen op meervoudige wijze benaderd worden. Andere research management instrumenten, beleidsgelden, interne subsidies en financiële regelingen vullen de leemten van het prestatiemeetsysteem of neutraliseren ongewenste effecten. 4
De instrumenten kunnen de waarden uit het prestatiemeetsysteem versterken, maar ook tegenspreken. Deze meervoudigheid en redundantie past in een omgeving van wetenschappelijk onderzoek, waarin onderzoeksoutput niet altijd langs dezelfde meetlat gelegd kan worden. 5