DE STAND VAN ONDERZOEK IN HET VELD VAN PUBLICATIE-CONVENTIES

Transcriptie

1 Door: Mirjam Perry Inleiding DE STAND VAN ONDERZOEK IN HET VELD VAN PUBLICATIE-CONVENTIES Dit verslag is geschreven in het kader van een onderzoek naar disciplineafhankelijke publicatietradities, uitgevoerd in opdracht van De Jonge Akademie van de KNAW. Het onderzoek heeft tot doel om in kaart te brengen wat in deze tijd de verschillende manieren zijn om met de waarde van publicaties om te gaan. De publicatietradities en de manier waarop deze gewaardeerd worden verschillen per discipline en per perspectief: het bedrijfsleven heeft andere waardecriteria dan het NWO en wat onderzoekers zelf waardevol vinden is niet altijd in lijn met de beleidsplannen van het ministerie van OC&W. De afgelopen decennia wordt vanuit de overheid en het bedrijfsleven steeds meer de nadruk gelegd op het belang van sociaal en economisch relevant wetenschappelijk onderzoek. Deze ontwikkeling brengt ook de vraag naar meetinstrumenten voor deze relevantie met zich mee. Tegelijk is de toegankelijkheid van data over wetenschap en techniek groter geworden en maken ontwikkelingen in de ICT het steeds makkelijker om de impact van wetenschappelijke resultaten te meten. 1 In de praktijk roept de toepassing van bestaande meetinstrumenten echter veel weerstand op, waardoor er op dit moment internationaal veel discussie is over de waardering van wetenschappelijk onderzoek. Het doel van dit verslag is een gedeelte van de literatuur die in de afgelopen jaren over dit onderwerp is verschenen in kaart te brengen, om zo een indruk te geven van de motieven achter onderzoeksbeoordelingen door verschillende partijen, waar iedere onderzoeker mee te maken krijgt. Omdat het hier om een oriënterend verslag gaat, blijft het noodzakelijk onvolledig. Geprobeerd is om zoveel mogelijk een samenhangend verhaal te schrijven, maar door de grote verscheidenheid aan factoren die in de discussie spelen, is dit niet overal even goed gelukt. Onderwerpen die in de ogen van de onderzoeksleiders van belang waren voor het onderzoek zijn in dit verslag opgenomen, ook waar dit voor de loop van het verhaal onlogisch leek. De bijdragen tot deze discussie bestaan voornamelijk uit rapporten van instellingen als de KNAW en het NWO en de buitenlandse en internationale varianten hiervan aan de ene kant en artikelen van onderzoekers op het gebied van de bibliometrie en scientometrie aan de andere kant. De Verenigde Staten zijn minder intensief bij de discussie en het zoeken naar alternatieve meetinstrumenten betrokken dan Europese landen. De afname van evaluatieactiviteiten door de overheid in de jaren 80 van de twintigste eeuw heeft ervoor gezorgd dat dit vraagstuk in de VS later op gang kwam dan in Europa. [ ] 2 In dit verslag ligt het accent op de situatie in Nederland. Er is vooral uitgegaan van Nederlandse rapporten, waarin ook af en toe aandacht wordt besteed aan 1 Ed J. Rinia, Measurement and evaluation of interdisciplinary research and knowledge transfer (Leiden 2007), p.1, Bennie Mols, Wetenschap is méér dan publiceren alleen, gepubliceerd op initiatief van ERiC, i.s.m. het NWO, 1. 2 S. Cozzens, U.S. Research assessment: Recent developments, Scientometrics, 34 (3) (1995), pp , aldaar: 351.

2 de situatie in andere landen, en Engelstalige artikelen. Dit leidt noodzakelijk tot een eenzijdig beeld, wat echter in het kader van het huidige onderzoek waarin de Nederlandse situatie centraal staat, geen afbreuk doet aan de doelstellingen. Veel van de rapporten en artikelen die voor dit verslag zijn gebruikt bevatten de resultaten van kwantitatief onderzoek. In detail ingaan op de concrete kwantitatieve resultaten zou de grenzen van dit beperkte verslag overschrijden, te meer aangezien iedere onderzoeker zijn eigen definities en methoden gebruikt, waardoor de resultaten niet altijd met elkaar zijn te vergelijken. Het verslag zal wel, na een korte schets van de context waarin de genoemde discussie plaatsvindt, ingaan op de problemen met de huidige meetinstrumenten die door onderzoekers ervaren worden en op mogelijke oplossingen. In de bijlagen is een literatuurlijst opgenomen met voor dit verslag niet gebruikte maar wel relevante literatuur over de aangesneden thema s, daarnaast een beknopte lijst met namen van onderzoekers die duidelijk blijk geven van een intensieve uiteenzetting met de behandelde onderwerpen en een lijst met instellingen die op dit gebied actief zijn. Context De toenemende vraag naar maatschappelijk en economisch relevant onderzoek en de steeds grotere nadruk op de evaluatie hiervan en van het bestaande onderzoek lokt op verschillende niveaus reacties uit. Ze heeft institutionele veranderingen tot gevolg die op hun beurt een werking hebben binnen de wetenschappelijke wereld, stuit op weerstand bij verschillende disciplines en leidt tot de oprichting van commissies op Europees niveau. Een blik op de achtergrond van de genoemde vraag en reacties kan verduidelijken wat er op dit moment gaande is op het gebied van onderzoeksbeoordeling. Daarom zal in dit hoofdstuk aandacht worden besteed aan de opkomst van een nieuw soort interdisciplinariteit door de vraag naar maatschappelijke relevantie, de citatieanalyse als meest gebruikt traditioneel meetinstrument voor de impact wetenschappelijk onderzoek, de algemene tekortkomingen van dit meetinstrument en over de plek die publicaties innemen in de verschillende fasen van een wetenschappelijke carrière. In dit hoofdstuk ik vaker sprake van maatschappelijke en economische relevantie in combinatie met de vraag vanuit overheid en bedrijfsleven. Dit samengaan van termen betekend niet dat de vraag vanuit de overheid altijd correspondeert met maatschappelijke en die vanuit het bedrijfsleven met economische relevantie. Vanuit de overheid is er bijvoorbeeld sprake van de behoefte aan economische relevantie als het om concurrentie met onderzoeksinstellingen in andere landen gaat, bijvoorbeeld door middel van het stimuleren van excellent onderzoek. Vragen vanuit het bedrijfsleven kunnen heel goed maatschappelijk relevant zijn, bijvoorbeeld als het gaat om duurzaamheid. De relatie tussen economische en maatschappelijke relevantie kan verwarrend worden op het moment dat de maatschappelijke relevantie van onderzoek wordt onderscheiden van de wetenschappelijke kwaliteit. In dat geval heeft de maatschappelijke relevantie betrekking op de impact van onderzoek buiten de wetenschappelijke wereld. Waar van deze regel wordt afgeweken, wordt dit vermeld. Interdisciplinariteit

3 Omdat maatschappelijk relevant onderzoek vaak om een interdisciplinaire benadering vraagt, wordt interdisciplinariteit door overheid en bedrijfsleven gestimuleerd. 3 Het proefschrift van Ed Rinia over de evaluatie van interdisciplinair onderzoek biedt een goed startpunt voor een beschrijving van het ontstaan van een nieuw soort interdisciplinariteit. Rinia beschrijft de ontwikkeling van de wetenschap als een combinatie van differentiërende en integrerende factoren. Van binnenuit is er een voortdurend proces van differentiatie en specialisatie aan de gang, terwijl specifieke wetenschappelijke en maatschappelijke problemen vragen om de combinatie van kennis van verschillende disciplines. 4 In deze tijd wordt volgens veel wetenschappers de wetenschappelijke agenda in toenemende mate bepaald door overheid en industrie, waardoor de externe roep om integratie en daarmee het stimuleren van interdisciplinariteit steeds sterker. 5 Maar het stimuleren van interdisciplinariteit heeft niet altijd meer interdisciplinair onderzoek tot gevolg, laat staan dat het onderzoek een grotere maatschappelijke en/of economische relevantie krijg. Een vaakgenoemd voorbeeld van de veelbelovende ontwikkeling die uit de wisselwerking tussen universiteit, overheid en industrie (ook wel de Triple Helix genoemd) voort is gekomen, is de samenwerking tussen nanowetenschap en nanotechnologie. Vanuit overheid en industrie kwam er veel aandacht voor deze disciplines en ging er veel geld naar gemeenschappelijke projecten. Dit had voornamelijk veranderingen van organisatiestructuren binnen universiteiten tot gevolg en een toename van het aantal publicaties met nano- in de titel, zonder dat de publicaties een meer interdisciplinair karakter hadden dan voorheen. 6 Rinia stelt vast dat de technologie en instrumenten die binnen een bepaalde discipline zijn ontwikkeld vaak doorslaggevend zijn voor interdisciplinaire ontwikkelingen omdat ze binnen verschillende disciplines toepasbaar blijken te zijn. Dit soort interdisciplinariteit komt voort uit een interne behoefte van onderzoekers. Interdisciplinariteit die voortkomt uit de nieuwsgierigheid van de onderzoeker en verbindt vaak disciplines die wat methoden en onderwerpen betreft al dicht bij elkaar liggen, in tegenstelling tot het soort interdisciplinariteit dat ontstaat door externe druk. 7 Om aan te tonen dat onderzoek al dan niet voldoet aan de verwachtingen van overheid en bedrijfsleven, zou naast de wetenschappelijke impact ook de maatschappelijke en economische impact van onderzoek gemeten moeten worden. Onder wetenschappers zelf heeft interdisciplinair onderzoek in verhouding tot onderzoek naar wetenschappelijk aantrekkelijke problemen over het algemeen geen goede reputatie. Interdisciplinair onderzoek heeft, gemeten met traditionele meetinstrumenten, een lage wetenschappelijke impact. 8 Het verslag van diepte-interviews met vijftien wetenschappers die ervaring hebben met interdisciplinair onderzoek dat Imkje de Boer schreef in opdracht van de KNAW bevat nog andere verklaringen voor de relatief slechte naam. Enkele geïnterviewden suggereerden dat het stimuleren van interdisciplinair onderzoek leidt tot ongenoegen onder disciplinaire onderzoekers die 3 Rinia, Measurement and Evaluation, Ibidem., p.3 5 Ibidem., p.4. 6 Ibidem., p Ibidem., p Vincent Larivière en Yves Gingras, On the relationship between interdisciplinarity and scientific impact, Journal of the American Society for Information Science and Technology 61(1), (2010) , aldaar: 126.

4 hierdoor onderzoeksgeld mislopen. Daarnaast wordt interdisciplinair onderzoek vaak te oppervlakkig gevonden om van wetenschappelijke waarde te zijn. Een paar van de geïnterviewde onderzoekers signaleerden dat de breedte bij interdisciplinair onderzoek soms ook werkelijk ten koste gaat van de diepte, vooral als het gaat om onderzoekers en studenten die voor interdisciplinariteit kiezen om de diepte van de eigen discipline uit de weg te gaan. 9 Naast de maatschappelijke en economische impact ligt hier dus een vraag naar een evaluatie van de wetenschappelijke kwaliteit van interdisciplinair onderzoek. Intermezzo: Citatieanalyse Een steeds terugkerend thema in de literatuur over onderzoeksevaluaties, ook met betrekking tot interdisciplinariteit, is de ontoereikendheid van de citatieanalyse. Dit veelgebruikte meetinstrument heeft een lange traditie in de natuurwetenschappen, maar wordt door andere disciplines bekritiseerd. Citatieanalyse gaat uit van bibliometrische databases of citatie-indexen waarin de citatiegegevens van artikelen uit een beperkt aantal algemeen erkende, internationale, Engelstalige tijdschriften van hoge kwaliteit en met een grote impact zijn verzameld. 10 Erkende wetenschappers bepalen in samenwerking met uitgevers, gebruikers van de databases en leden van redacties welke tijdschriften er in de databases worden opgenomen. Eén van de voorwaarden voor tijdschriften is dat een peer reviewcommittée moet beoordelen welke artikelen wel en welke niet worden geplaatst. 11 Traditioneel werd de citatieanalyse gebruikt om de impact van wetenschappelijke artikelen binnen de natuurwetenschappelijke onderzoeksgemeenschap te meten. 12 De toenemende vraag vanuit overheid en bedrijfsleven naar sociaal en economisch relevant onderzoek en de mondiale concurrentie tussen universiteiten hebben ertoe geleid dat het gebruik van de citatieanalyse als evaluatie-instrument zich uitgebreid heeft naar andere disciplines. 13 Ondertussen is duidelijk geworden dat deze methode die voor de natuurwetenschappen succesvol was niet zomaar op andere disciplines toegepast kan worden en ook niet zonder meer geëigend is voor het meten van maatschappelijke impact. Een gevolg is bijvoorbeeld dat veel onderzoekers van verschillende disciplines klagen over onduidelijkheid van evaluatie- en beoordelingscriteria. 14 De disciplineafhankelijke problemen met de huidige vorm van citatieanalyse worden behandeld in het volgende hoofdstuk. Hier komen alleen die tekortkomingen en mogelijkheden van de citatieanalyse aan de orde die zo algemeen zijn dat ze niet binnen een bepaalde discipline vallen. 9 Ymkje de Boer e.a., Building Bridges. Researchers on their experiences with interdisciplinary research in the Netherlands, (RMNO, KNAW, NWO, COS 2006) Henk Moed, W. Glänzel en U. Schmoch, Editors introduction, in: idem. [eds.] Handbook of Quantitative Science and Technology Research. The Use of Publication and Patent Statistics in Studies of S&T Systems (Dordrecht 2004) Éric Archambault e.a., Benchmarking scientific output in the social sciences and humanities: The limits of existing databases, Scientometrics, 68(3) , aldaar: Moed, Glänzel en Schmoch, Editors introduction Diana Hicks, The four literatures of social science, in: Moed, Glänzel, en Schmoch, [eds.] Handbook of Quantitative Science and Technology Research, beschikbaar via: aldaar: Onder meer Mols, in opdracht van ERiC, Wetenschap is méér dan publiceren alleen (NWO 2009) 3 en Ruut Veenhoven, Besturen worden niet geremd in het opschroeven van de prestatie-eisen, WAVOVISIE, 42(1) (2010) 8-11, aldaar: 11.

5 Wetenschappelijke impact van interdisciplinair onderzoek De evaluatie van de wetenschappelijke impact van interdisciplinaire publicaties op grond van citatie-indexen is vooral problematisch door de verschillende invullingen die gegeven worden aan het concept interdisciplinariteit. Gingras en Larivière beschrijven de meest gebruikte invullingen in hun artikel over de relatie tussen interdisciplinariteit en wetenschappelijke impact. Eén manier om de mate van interdisciplinariteit te meten, het percentage is onderzoeken dat een artikel geciteerd wordt door een artikel van een andere discipline. Een andere methode kijkt juist naar het aantal citaties van artikelen van andere disciplines dat het geëvalueerde artikel bevat. Weer een andere invulling wordt aan het concept gegeven als interdisciplinariteit wordt afgelezen aan het percentage artikelen dat een onderzoeksgroep publiceert buiten zijn hoofddiscipline. 15 Hoewel deze verschillende citatieanalyses altijd een beperkt beeld geven van de waarde van interdisciplinair onderzoek, is het toch zinvol om te kijken wat de indexanalyses ons wel kunnen vertellen met betrekking tot interdisciplinariteit. Larivière en Gingras, beide zeer actief op het gebied van scientometrie, concluderen uit bibliometrisch onderzoek dat zowel extreem disciplinair als extreem interdisciplinair onderzoek een lagere wetenschappelijke impactfactor hebben dan artikelen die daartussenin zitten. Daarbij verstaan zij onder de mate van interdisciplinariteit het percentage citaties van artikelen van andere disciplines dat wordt gebruikt in een gegeven artikel. 16 Extreem disciplinair onderzoek in deze zin maakt voor 5% of minder gebruik van artikelen van andere disciplines en extreem interdisciplinair onderzoek voor 95% of meer. Verder verschilt de relatieve wetenschappelijke impact van interdisciplinair onderzoek per discipline. Binnen de biomedische wetenschappen, aardwetenschappen (of, nauwkeuriger, Earth and Space Sciences ) en natuurkunde neemt de wetenschappelijke impact af naarmate interdisciplinariteit toeneemt, terwijl bij biologie, klinische geneeskunde, gezondheidswetenschap (als onderdeel van de sociale wetenschappen), geesteswetenschap en psychologie de wetenschappelijke impact toeneemt naarmate de interdisciplinariteit toeneemt, tot aan een percentage van 60% artikelen uit andere disciplines. 17 We kunnen hier in ieder geval uit concluderen dat onderwaardering van interdisciplinariteit in termen van het aantal referenties van artikelen uit een andere discipline niet voor iedere discipline een even groot probleem is. Ook wetenschappelijke evaluatie middels peer review blijkt problemen op te leveren in het geval van interdisciplinair onderzoek om een andere aanpak. Rinia beschrijft in zijn proefschrift dat er voor interdisciplinair onderzoek andere en meer criteria nodig zijn dan gewoonlijk en dat er een grotere hoeveelheid aan expertise gedekt moet worden. 18 Publicatiepatronen 15 Vincent Larivière en Yves Gingras, On the relationship between interdisciplinairy and scientific impact, Journal of the Americal Society for Information Science and Technology, 61(1) (2010), online toegankelijk via: 2, geraadpleegd: Ibidem Ibidem Rinia, Measurement and evaluation, 1.

6 Onderzoeksbeoordelingen vinden plaats op het niveau van individuele onderzoekers, van hun publicaties, van onderzoeksprojecten en instellingen. In dit verslag staan de publicaties centraal, en dan met name de impact van de publicaties. Individuele onderzoekers kunnen echter ook beoordeeld worden naar het aantal publicaties. De relatie tussen de productiviteit van een onderzoeker en de impact van zijn of haar publicaties aan de ene kant en het verloop van de wetenschappelijke carrière aan de andere kant is relevant voor het ontwerpen van efficiënt wetenschapsbeleid. Gingras en anderen hebben in dit kader een onderzoek gedaan dat de relatie tussen leeftijd en wetenschappelijke productiviteit en impact van professoren in Canada in beeld brengt. In dit onderzoek nemen zij de conclusies van eerdere onderzoeken op dit gebied mee en breiden ze het bereik ten opzichte van deze eerdere onderzoeken uit. Wat opviel waren twee keerpunten in de wetenschappelijke carrière: de één bij een leeftijd van 40 jaar, de tweede bij 50 jaar. Vanaf een leeftijd van ongeveer 40 jaar beginnen onderzoekers oudere literatuur te citeren en de toename van hun productiviteit neemt gemiddeld af. De productiviteit van professoren die actief blijven in het onderzoek blijft echter hoog tot aan het pensioen. De gemiddelde wetenschappelijke impact van de professoren neemt van het begin van de carrière af tot aan de leeftijd van 50 jaar en begint vervolgens weer toe te nemen. Oudere professoren publiceren vaak minder papers waarvan zij de eerste auteur zijn en schuiven langzaam naar het eind van de lijst van coauteurs. Deze conclusies kunnen, aldus Gingras, worden verklaard in het licht van de veranderende rol van onderzoekers gedurende hun wetenschappelijke carrière. Het feit dat oudere onderzoekers productiever zijn heeft waarschijnlijk te maken met hun ervaring en naamsbekendheid. Oudere onderzoekers hebben daardoor vaak een betere toegang tot onderzoeksinstrumenten. Zij worden teamleiders en krijgen daarom een andere plek in de lijst van co-auteurs. Aan de andere kant hebben jongere onderzoekers nog een frisse kijk op het vakgebied, die na verloop van tijd minder wordt. Dit zou de grotere impact van hun werk kunnen verklaren. Dat de impact met een leeftijd van 50 jaar weer toeneemt kan te maken hebben met het opbouwen van een sterk team met daarin jongere onderzoekers. De veranderende rol van onderzoekers gedurende hun carrière zorgt voor een effectieve dynamiek in de wetenschappelijke wereld waar bij het ontwerpen van wetenschapsbeleid rekening mee gehouden dient te worden. 19 Disciplineafhankelijke problemen Technische- en natuurwetenschappen In de literatuur over meetinstrumenten voor de evaluatie van de sociale en geesteswetenschappen worden deze vaak gecontrasteerd met de technische- en natuurwetenschappen. Auteurs van de literatuur over de beoordeling van de technische wetenschappen zouden het hier niet mee eens zijn, omdat de technische, toegepaste wetenschappen met heel andere problemen te maken hebben dan de natuurwetenschappen. De technische- en natuurwetenschappen hebben wel met elkaar gemeen dat het wetenschappelijk artikel de voornaamste publicatievorm is en in de 19 Gingras e.a., The effects of Aging on Researchers publication an Citation Patterns, PLoS ONE 3, (12) geraadpleegd:

7 citatieanalyses worden de tijdschriften Science en Nature voor beide disciplines als kerntijdschriften gezien. Waarschijnlijk omdat de citatieanalyse van oorsprong op de beoordeling van de natuurwetenschappen is toegespitst, neemt deze discipline nauwelijks deel aan de discussie over de ontoereikendheid van dit instrument en de mogelijke alternatieven. Bij de technische wetenschappen ligt dit anders. Onderzoek binnen de technische wetenschappen is voornamelijk toegepast onderzoek en daardoor niet primair gericht op vakgenoten, maar eerder op het vakgebied waarbinnen het onderzoek kan worden toegepast. De TU3-federatie, bestaande uit de universiteiten van Eindhoven, Twente en Delft, heeft de KNAW gevraagd een advies uit te brengen over de criteria waarop het onderzoek de technische universiteiten op bevredigende wijze beoordeeld zou kunnen worden. In dit rapport komen ook de tekortkomingen van de bestaande meetinstrumenten aan de orde. 20 De disciplines die hier in het kort technische wetenschappen wordt genoemd, heten in het rapport construerende en ontwerpende wetenschappen. De construerende en ontwerpende wetenschappen richten zich vaak bij uitstek op het bijdragen aan oplossingen van maatschappelijke problemen of het creëren van economische kansen, maar doen dit niet door middel van publicaties die worden opgenomen in de ISI-Index. Zelfs vakgenoten zien tijdschriften met een hoge impactfactor als Nature en Science niet als leidend voor hun vakgebied. 21 Het onderzoek binnen deze wetenschappen is vaak multidisciplinair, en met publicaties in multidisciplinaire tijdschriften met een lage impactfactor bereiken zij hun publiek vaak beter. 22 Daarnaast bestaan de onderzoeksresultaten vaak uit ontwerpen van instrumentatie. Omdat wetenschappers hier een groot deel van hun tijd mee bezig zijn, zullen zij minder tijd besteden aan het schrijven van artikelen voor bijvoorbeeld Nature en Science. De publicatietradities van de technische wetenschappen wijken dus sterk af van de natuurwetenschappelijke publicatietradities. Een ander voorbeeld is dat binnen de informatica sommige peer-reviewed conference proceedings een hogere status hebben dan publicaties in ISI-tijdschriften. 23 Binnen de eigen discipline leveren de conventionele methoden nog geen problemen op, maar in vergelijking met andere disciplines, vooral met fundamenteel wetenschappelijk onderzoek, scoren de toegepaste wetenschappen veel lager. 24 De commissie van het KNAW die zich over kwaliteitsbeoordeling van de construerende en ontwerpende disciplines heeft gebogen, onderzocht daarbij ook internationale tendensen. Dat er internationaal weinig aandacht is voor problemen rond deze beoordeling 25 sluit aan bij de veronderstelling dat de ontwikkeling van alternatieve evaluatiemethoden nog in de kinderschoenen staat. Bij het Britse Research Excellence Framework, de Britse variant van de SEP, speelden in eerste instantie bibliometrische methoden een centrale rol, maar deze rol is na verloop van tijd afgezwakt, omdat de indicatoren niet robuust genoeg zouden zijn en onvoldoende draagvlak in het veld zouden hebben. De citatieanalyses zijn vervolgens als achtergrondinformatie voor 20 KNAW, Kwaliteitsbeoordeling in de ontwerpende en construerende disciplines. Een systematisch kader (Alkmaar 2010) Ibidem Ibidem Ibidem Ibidem Ibidem. 37.

8 reviewcommissies gaan dienen. In het Australische systeem neemt de bibliometrie nog een prominente plek in, maar daar wordt wel tot op zekere hoogte differentiatie naar discipline toegepast. De evaluatie van de Finse Aalto Universiteit, waarin veel aandacht wordt besteed aan de ontwerpende en construerende wetenschappen, concludeert dat bibliometrische analyses in het panel Architecture, design, media en art research niet bruikbaar waren omdat er te weinig was gepubliceerd in ISI-tijdschriften 26. Sociale- en geesteswetenschappen Verschillende onderzoeken laten zien dat het aandeel publicaties in internationale, erkende tijdschriften bij de natuurwetenschappen en disciplinair onderzoek een stuk hoger ligt dan bij de sociale- en geesteswetenschappen (sgw) en interdisciplinair onderzoek. 27 De problemen die spelen bij de dit soort evaluaties van de wetenschappelijke impact van de sociale- en geesteswetenschappen komen voor een groot deel overeen. Zo zijn de kwaliteitscriteria voor de selectie van tijdschriften die in de sgw-databases worden opgenomen niet helder, 28 hebben de sgw vaak een interdisciplinair karakter, 29 en valt een groot deel van de publicaties buiten de internationale wetenschappelijke tijdschriften die in de databases zijn opgenomen. 30 Wel zijn er grote verschillen aan te wijzen tussen onderzoeksgebieden waarbinnen deze factoren meer of minder spelen. In de behandelde literatuur wordt een aantal verklaringen gegeven voor deze verschijnselen. Ten eerste zijn binnen de sgw meer tegenstrijdige paradigma s werkzaam dan binnen de natuur- en technische wetenschappen waardoor er in deze wetenschappen meer sprake is van fragmentatie 31. Daar komt voor de sociale wetenschappen bij dat zijn de meeste sociale wetenschappen relatief jong en daardoor nauwelijks georganiseerd als coherente disciplines. Zij hebben geen internationale standaard voor hun sleutelconcepten wat de genoemde fragmentatie nog versterkt. Hierdoor hebben de sgw geen makkelijk te definiëren kerntijdschriften zoals de natuur- en technische wetenschappen. 32 Daarnaast is het percentage publicaties dat in internationale wetenschappelijke tijdschriften verschijnt voor de sgw relatief laag, omdat het boek, publicaties in nationale en nietwetenschappelijke tijdschriften een belangrijker plek innemen dan bij de natuurwetenschappen. Een aanzienlijk deel van wetenschappelijke impact wordt dus niet meegerekend als alleen wordt uitgegaan van bestaande citatie-indexen. 33 Ook het meten van maatschappelijke impact stuit bij veel studierichtingen binnen de gws op problemen. Het Nederlandse platform Evaluating Research in Context (ERiC) 26 Ibidem Onder meer Hicks, The four literatures, 4 en Archambault e.a, Benchmarking scientific output in the social sciences and humanities: The limits of existing databases, Scientometrics, 68(3) , aldaar: Towards a Bibliometric Database for the Social Sciences and Humanities A European Scoping Project (Sussex 2010) 8, geraadpleegd: Background, geraadpleegd: Hicks, The four literatures of social science, Diana Hicks The difficulty of achieving full coverage of international social science literature and the bibliometric consequences, Scientometrics, 44(2) , gerefereerd door Archambault e.a. Benchmarking scientific output M.B. Line Social Science information the poor relation, 65 th IFLA Council and General Conference gerefereerd door Archambault e.a. Benchmarking scientific output Hicks, The four literatures of social science, 6.

9 houdt zich specifiek bezig met de impact van wetenschappelijk onderzoek dat niet met behulp van citatieanalyse kan worden gemeten. In hun brochure wordt een aantal voorbeelden van waardevolle wetenschappelijke activiteiten van de gws genoemd, waaronder het opzetten van start-upbedrijven, lid zijn van commissies en adviesorganen en publicaties in praktijktijdschriften, bijdragen aan de publieke discussie via bijvoorbeeld artikelen of optredens in de media, betrokkenheid bij maatschappelijke organisaties. 34 Het is echter lastig om de impact van deze activiteiten te meten en de meningen verschillen over hoe dit zou moeten gebeuren. Problemen die zich hierbij voordoen zijn bijvoorbeeld dat het vaak onduidelijk is op welke termijn er maatschappelijke impact verwacht kan worden, dat een causaal verband tussen het onderzoek en de impact vaak moeilijk vast te stellen is, dat veel soorten van impact zijn simpelweg niet kwantificeerbaar en dat de gebruikers van onderzoeksresultaten vaak niet makkelijk te identificeren zijn. Naast de kwaliteit en het onderwerp van het onderzoek, is de maatschappelijke context waarin de resultaten verschijnen van grote invloed op de impact. Die context wordt onder andere bepaald door beleidsveranderingen, de capaciteit van het lezerspubliek om informatie op te nemen en politieke gebeurtenissen die de aandacht afleiden van of juist vestigen op het onderzoek. De instabiliteit van deze contextuele factoren roept de vraag op of onderzoek naar de daadwerkelijke maatschappelijke impact of eerder naar de potentiële maatschappelijke impact zou moeten worden beoordeeld. 35 Daarbij komt dat het meten van de indicatoren die in adviezen worden voorgesteld vaak erg kostbaar zijn, omdat er verschillende informatiebronnen voor nodig zijn waaronder interviews, documentatieonderzoek en evaluatiegesprekken. 36 Zoals gezegd verschillen de problemen met de citatieanalyse en de behoeften ten aanzien van alternatieve meetinstrumenten sterk per onderzoeksgebied. De citatieanalyse sluit bijvoorbeeld beter aan bij het publicatiegedrag binnen economie en psychologie dan dat binnen de sociologie. 37 Het percentage citaties van artikelen uit de grote sociologische wetenschappelijke tijdschriften door artikelen uit deze tijdschriften ligt een stuk lager dit percentage bij economische en psychologische wetenschappelijke tijdschriften. Bij sommige geesteswetenschappen is het aantal referenties naar tijdschriftartikelen zelfs maar 25% van het totale aantal referenties. Een ander voorbeeld is dat onderzoek binnen rechten van nature een veel minder internationaal karakter heeft dan bijvoorbeeld de natuurwetenschappen. Juristen publiceren daarom meer in Nederlandstalige tijdschriften. Verder is het voor een jurist een grote eer als hij op grond van zijn kennis wordt gevraagd voor een staatscommissie die een wet moet herschrijven, iets dat in traditionele evaluaties ook niet meegenomen wordt. 38 Ook alternatieve meetinstrumenten die worden uitgeprobeerd staan ter discussie. Zo is in het Verenigd Koninkrijk geprobeerd de maatschappelijke impact van een kunsthistorisch onderzoek te meten door de resultaten in een tentoonstelling te verwerken. In het rapport over de impact assessment van de geesteswetenschappen van 34 Mols, Wetenschap is méér, ESRC, Approaches to assessing the non-academic impact of social science research. Report of the ESRC symposium on assessing the non-academic impact of research (St. Andrews 2005), p Ibidem Hicks, The four literatures of social science Mols, Wetenschap is méér, 3.

10 het NWO wordt deze methode bekritiseerd omdat hiermee niet de impact van het onderzoek wordt gemeten, maar het succes van de tentoonstelling. 39 In het volgende hoofdstuk wordt een aantal van de verbetervoorstellen behandeld die de hierboven genoemde tekortkomingen mogelijk gedeeltelijk zouden kunnen ondervangen. De voorbeelden geven een beeld van de manier waarop men bezig is met het zoeken naar oplossingen voor bovengenoemde problemen. Voorstellen voor verbetering KNAW Het rapport van de KNAW over de kwaliteitsbeoordeling van de onwerpende en construerende disciplines bevat zowel een algemeen toepasbaar advies als een reactie op specifieke problemen waar de ontwerpende en construerende disciplines mee te maken hebben. Over de werking van de beoordelingscriteria wordt opgemerkt dat kwaliteitsbeoordelingen als onderzoeksvisitaties in de praktijk vaak worden gebruikt als pr-instrument en niet als instrument om mogelijke verbeteringen te identificeren. Daarom is het van belang dat het doel van de beoordeling vooraf duidelijk wordt gemaakt en dat de beoordeling in het licht van deze doelstelling wordt gezien. En juist omdat kwaliteitsindicatoren ook sturend werken bij het bepalen van de richting van een onderzoek en in het publicatiegedrag van wetenschappers, is het belangrijk dat de criteria en indicatoren worden aangepast aan het vakgebied en niet andersom. 40 De commissie van de KNAW kwam tot de conclusie dat alle wetenschappen, inclusief de ontwerpende en construerende, twee kwaliteitscriteria delen, namelijk wetenschappelijke kwaliteit en maatschappelijke relevantie. 41 Maar verschillende disciplines hebben verschillende indicatoren nodig om de score op beide criteria te bepalen. Deze criteria moeten ook inzichtelijk zijn voor iedereen. De onderzoekscommissie heeft een kwaliteitsindicatorenkaart ontworpen voor de ontwerpende en construerende disciplines met daarop de voorgestelde criteria voor zowel wetenschappelijke kwaliteit als maatschappelijke relevantie, waarbij de beoordeling van onderzoekers wordt gescheiden van de beoordeling van hun werk. [Zie bijlage 1]. Publicaties in peer-reviewed tijdschriften blijven volgens de onderzoekscommissie belangrijk, ook voor construerende en ontwerpende disciplines, omdat daardoor de resultaten worden getoetst door peers en omdat het ontsluiten en verspreiden van nieuwe kennis op mondiaal niveau voor alle wetenschappelijke disciplines van belang is. Daarbij zouden publicaties in multidisciplinaire tijdschriften in de meting moeten worden opgenomen, als deze publicaties beter aansluiten bij de doelstellingen van een discipline, ook al hebben die een lagere impactfactor. Bij beoordelingen binnen de construerende en ontwerpende disciplines zou ook naar wetenschappelijke producten als artefacten, methoden, meetinstrumenten, standaarden en 39 S.D. Broek en A.J. Nijsen, Impact Assessment Geesteswetenschappen. Onderzoek uitgevoerd door Research voor Beleid in opdract van Gebiedsbesteuur Geesteswetenschappen van het NWO (2009) KNAW, Kwlaiteitsbeoordeling in de ontwerpende en construerende disciplines. Een systematisch kader (Alkmaar 2010), p Ibidem. 29.

11 protocollen moeten worden gekeken. 42 Daarnaast hecht de commissie grote waarde aan peer review, en stelt zij: Het is een illusie om te denken dat een volledig kwantitatieve/bibliometrische benadering van wetenschappelijke kwaliteit mogelijk is, of peer review zou kunnen vervangen, en [b]ibliometrisch onderzoek kan naar de mening van de commissie hooguit aanvullend zijn op peer review. 43 In het rapport van de KNAW worden ook buitenlandse voorbeelden aangehaald, met name omdat het belangrijk is dat nationale criteria internationaal geloofwaardig zijn. Er wordt het diepst ingegaan op de evaluatie van de Finse Aalto universiteit en het Australische ERA-programma (Excellence in Research for Australia), omdat bij beide in het bijzonder aandacht wordt besteed aan de ontwerpende en construerende disciplines. Zowel de Finse evaluatie als de ERA bieden de mogelijkheid om wetenschappelijke producten als films, tentoonstellingen en creatief 3D-werk in de beoordeling mee te nemen. Deze output wordt dan beoordeeld door peer reviewcommissies. Aan de Aalto Universiteit wordt er in de praktijk, ondanks de mogelijkheid voor het aanleveren van alternatieve producten nog op aangedrongen om vooral wetenschappelijke artikelen aan te leveren. In het Australische systeem is ( ) expliciet beschreven dat de indieners zelf moeten aangeven waaruit de wetenschappelijke component van het werk bestaat. 44 NWO - G Het gebiedsbestuur geesteswetenschappen van de NWO (de NWO-G) heeft een proces in gang gezet dat de ontwikkeling tot doel heeft van een methodiek waarmee de maatschappelijke impact van geesteswetenschappelijk onderzoek gemeten kan worden. De onderzoekscommissie beschrijft het doel van het te meetinstrument als volgt: Het instrument heeft als doel de inspanningen en resultaten van onderzoeksgroepen op het gebied van kennisoverdracht en de effecten daarvan in kaart te brengen en in zekere mate vergelijkbaar te maken. Het rapport van de onderzoekscommissie verscheen in 2009 en bevat een beschrijving van het ontwikkelde meetinstrument. 45 De beoordeling van maatschappelijke impact wordt bepaald door de combinatie van vier te meten elementen: de disseminatiekracht, en de betrokkenheid-, bruikbaarheid- en benuttingindexen. De disseminatiekracht hangt af van de disseminatiemiddelen die een onderzoeksgroep (heeft) gebruikt om de onderzoeksresultaten onder de aandacht te brengen. In het rapport van de NWO-G is een lijst opgenomen van de disseminatieactiviteiten die binnen de geesteswetenschappen worden uitgevoerd. Aan de verschillende activiteiten is door (potentiële) gebruikers van onderzoek en door onderzoekers een disseminatiekracht toegekend die de kans uitdrukt dat de onderzoeksresultaten tot innovatie leiden. Deze lijst levert daarmee indicatoren voor de activiteiten die de onderzoeker zelf uitvoert om zijn onderzoeksresultaten buiten de muren van de universiteit te brengen en dus voor het proces van het creëren van gebruikswaarde. Een overzicht van de disseminatieactiviteiten met de disseminatiekracht die daaraan is toegekend is opgenomen in bijlage 2 van dit verslag. De disseminatiescore 42 Ibidem Ibidem., p Ibidem., p Martin Stokhof, Preambule, in: S.D. Broek en A.J. Nijsen, Impact Assessment Geesteswetenschappen.

12 van een onderzoeksproject wordt bepaald door som van de kracht van de gebruikte disseminatieactiviteiten, gedeeld door maximaal haalbare disseminatiekracht. 46 Betrokkenheid, bruikbaarheid en benutting staan respectievelijk voor het proces, inclusief de betrokkenheid van mogelijke gebruikers, de output en de bruikbaarheid daarvan en het effect ofwel de benutting van het onderzoeksresultaat gemeten. De criteria voor de score 0, A, B of C op de betrokkenheid-bruikbaarheid index en de benuttingsindex blijken uit de overzichten hiervan in bijlage 3. Effecten op de lange termijn, na meer dan 5 jaar, worden in de meting niet meegenomen. Ze zijn vaak niet voorzien door de onderzoekers en komen mede door externe omstandigheden, veranderingen en ontwikkelingen tot stand. 47 De onderzoekscommissie benadrukt dat het cijfermateriaal slechts een deel van de beoordeling zal vormen, naast inhoudelijke vergelijking van verschillende onderzoeksprojecten. 48 ESF Geesteswetenschappen Leden van de European Science Foundation (ESF) kwamen in 2001 tot de conclusie dat de bestaande Amerikaanse bibliografische en bibliometrische databases veelal op experimentele en exacte wetenschappen gericht zijn waardoor Europese onderzoekers in het algemeen en binnen de sociale- en geesteswetenschappen (sgw) in het bijzonder benadeeld worden. 49 In de beschrijving van een congres over assessment van onderzoek binnen de geesteswetenschappen in 2008, georganiseerd door Arts & Humanities Research Council, FWF Der Wissenschaftsfonds, de universiteit van Wenen en de ESF, wordt gesproken over een toenemende druk op de geesteswetenschappen door de toenemende vraag naar transparante meetinstrumenten voor kwaliteit en impact geëigend voor de discipline. Alleen de ESF en HERA worden genoemd als partijen die werken aan een antwoord op deze vraag. 50 De European Science Foundation is bezig met het ontwikkelen van een Europese variant van de bestaande wetenschappelijke citatie-indexen voor de geesteswetenschappen. Het is de bedoeling dat deze European Reference Index for the Humanities (ERIH) al het onderzoek van wereldklasse binnen Europa zal representeren, onder andere door onderzoeken in de verschillende Europese talen op te nemen. Er wordt onderscheid gemaakt tussen nationale en internationale publicaties en uiteindelijk is het de bedoeling dat ook boeken in de index worden opgenomen. 51 Een aantal leden van de ESF waaronder het NWO heeft ook de mogelijkheid van een gezamenlijke bibliometrische database voor de sociale- en geesteswetenschappen met artikelen in internationale en nationale tijdschriften, hoofdstukken in wetenschappelijke boeken, monografieën, populair wetenschappelijke boeken en grijze literatuur (zoals 46 Broek en Nijsen, Impact Assessment Geesteswetenschappen, Ibidem Ibidem Foreword, ERIH European Reference Index for the Humanities, geraadpleegd op Congress Programm, Relevance and Impact of the Humanities (Wenen 2008), cuments/erih/foreword/sch_einladung_program_impact_ws_ _1_.pdf&t= &hash=c01a0b07f913c2a39d9d83c5487f194a, geraadpleegd op ESF Standing Committee for the Humanities, Foreword, ERIH European Reference Index.

13 beleidsrapporten) onderzocht. In 2010 verscheen het verslag van dit onderzoek. 52 Onder bibliometrische database verstaat de onderzoekscommissie meer dan een verzameling gegevens voor het meten van aantallen citaties. Het is de bedoeling dat de gezamenlijke database naast wetenschappelijke impact ook zicht biedt op de economische en maatschappelijke impact. Overige De Humanities on Performance Indicators (HOPI) werkgroep van de universiteit van Toronto geeft twee punten ter verbetering ten aanzien van de toetsing van geesteswetenschappelijk onderzoek: 1.) meenemen van boeken en hoofdstukken in samengestelde boeken en 2.) het verlengen van de tijdschaal waarop de impact gemeten wordt tot 7 jaar, omdat de publicatie van een boek meer tijd nodig heeft dat de publicatie van artikelen. 53 In het rapport van de ESRC ( ) is een voorstel opgenomen voor de evaluatie van de impact van wetenschappelijk onderzoek waarin met vijf categorieën rekening gehouden zou moeten worden: - knowledge production (e.g. peer-reviewed papers); - research capacity building (e.g. postgraduate training and career development); - policy or product development (e.g. postgraduate training and career development); - sector benefits (e.g. impacts on specific client groups); and - wider societal benefits (e.g. economic benefits from increased population health or productivity) 54 Rinia geeft in zijn proefschrift een aantal voorbeelden van voorstellen tot verbetering van de beoordeling van interdisciplinair onderzoek. Op het niveau van interne beoordelingscriteria doen Boix Mansilla en Gardner het voorstel om drie criteria voor interdisciplinariteit in te voeren: consistentie met de andere kennis van de verschillende disciplines die in het onderzoek vertegenwoordigd zijn, balans in het samengaan van de verschillende perspectieven en effectiviteit in toegenomen begrip van het onderwerp dat is onderzocht. 55 Op het niveau van peer-review stelden de onderzoeksraden in Groot- Brittannië voor om een groep onderzoekers van verschillende disciplines samen te stellen om onderzoeksvoorstellen die in een grensgebied vallen te kunnen beoordelen en om de inzenders zelf deskundigen te laten nomineren. In Scandinavië kan er over de evaluatiecriteria, de beoordelaars en bepaalde delen van de evaluatieprocedure overlegd en onderhandeld worden. De evaluatie van onderzoek is er gebaseerd op een compromis tussen de universiteiten en het ministerie van onderwijs. Ook in de evaluaties van de Duitse interdisciplinaire SFB s (Sonderforschungsbereiche) wordt gebruik gemaakt van een onderhandelingsmodel, in combinatie met communicatie tussen de beoordelaars en beoordeelden. 52 Towards a Bibliometric Database for the Social Sciences and Humanities A European Scoping Project (Sussex 2010) p.i. 53 Research Publications and the Impact in the Humanities (Toronto 2009), shared/assets/pi_publns_hum3718.pdf, geraadpleegd op ESRC, Approaches to assessing the non-academic impact Rinia, Measurement and Evaluation, p.26.

14