Over onderzoeksculturen, publicatiegewoonten en mogelijkheden

Transcriptie

1 Over onderzoeksculturen, publicatiegewoonten en mogelijkheden Freddy Heylen* i, Eddy Omey i Dirk Van de gaer i,ii, Stijn Baert i,ii,iii,iv Brecht Boone i, Tim Buyse i februari 2015 Samenvatting 1. De representativiteit van de Web of Science ( A1publicaties ) verschilt fundamenteel tussen de verschillende wetenschapsdisciplines. Sommige disciplines hebben een overwegend A1focus. De reputatie van onderzoekers in deze disciplines hangt in de eerste plaats af van de kwantiteit en vooral de kwaliteit van hun publicaties in A1tijdschriften. Andere disciplines zijn veel meer op boeken of VABBartikels gericht. 2. De haalbaarheid van A1publicaties verschilt sterk tussen de verschillende disciplines. Onderzoekers van een bepaald niveau zullen in de ene discipline (veel) meer A1 s realiseren binnen een bepaalde tijdsperiode dan onderzoekers van datzelfde niveau in een andere discipline. 3. Belangrijke verklaringen voor deze verschillen betreffen de eigenheid van elke discipline, de normen gesteld door editors, en de loutere publicatie- mogelijkheden. Concreet zijn er tussen de disciplines grote verschillen in de aanvaardingsgraad van ingezonden artikels, in de doorlooptijd van inzending tot publicatie, en in het aantal artikels dat (top)tijdschriften per jaar publiceren. Conclusie Een correcte meting en beloning van onderzoeksprestaties in verschillende disciplines vereist dat deze prestaties gerelateerd worden aan een (internationale) disciplineeigen benchmark. Contactpersoon. SintPietersplein 6, B9000 Gent. Freddy.Heylen@UGent.be. +32(0)9/ i Sherppa Universiteit Gent. ii IRES Université catholique de Louvain. iii Department of Sociology Universiteit Antwerpen. iv Institute for the Study of Labor (IZA). 1

2 1. De representativiteit van Web of Science verschilt fundamenteel tussen de verschillende wetenschapsdisciplines. Tabel 1 rapporteert gegevens over de representativiteit van publicaties in tijdschriften opgenomen in het Web of Science ( A1publicaties ) in de verschillende faculteiten van de UGent. De cijfers zijn overgenomen uit CWTS (2012). Als maatstaf voor representativiteit neemt CWTS het aandeel geciteerde WoSpapers in de totale bibliografie van de UGent- onderzoekers in hun eigen WoSartikelen. De vaststellingen zijn de volgende. Onderzoek in de gammafaculteiten is quasi enkel op A1publicaties gericht: de representativiteit van WoSpapers overschreed in de periode %. De bètafaculteiten en als enige alfafaculteit de faculteit Psychologie en Pedagogische Wetenschappen (FPPW) sluiten hier vrij dicht bij aan, met cijfers in tussen 70% en 85%. Aan het andere uiteinde blijft de representativiteit van A1publicaties beneden 45% (of zelfs beneden 33%) in de faculteit Letteren en Wijsbegeerte (FLWI), faculteit Rechtsgeleerdheid (FRE) en faculteit Politieke en Sociale Wetenschappen (FPSW). Enkel de subdomeinen sociologie en pedagogie ( education research, social work ) situeren zich rond 50%. Het onderzoek in de faculteit Economie en Bedrijfskunde (FEB) heeft ook een overwegende A1focus, al is deze iets minder uitgesproken dan het onderzoek in de meeste domeinen van de FPPW. De relevantie van A1publicaties bedroeg in %. 1 Een recente analyse van de VABBSHW databank door Verleysen et al. (2014, hun Figuur 3) bevestigt bovenstaande bevindingen met betrekking tot de alfawetenschappen. In alle alfadisciplines overtreft het aandeel VABBpublicaties ruimschoots het aandeel WoSpublicaties, behalve in psychologie, economie en bedrijfskunde, en sociale gezondheidswetenschappen. In deze drie disciplines publiceren onderzoekers overwegend in WoSjournals. 1 Bij dit cijfer van 62% dringt zich bovendien nog een belangrijke nuance op. Het betekent niet dat 38% van het geciteerd onderzoek door FEBonderzoekers uitgaat naar een ander type van publicaties. Integendeel zelfs, vaak gaat het om working papers die op weg zijn naar A1journals. De relatief lange doorstroomtijd van onderzoek naar finale publicaties in economie en bedrijfseconomie (zie verder) verklaart het relatief groot aandeel van working papers in het geciteerd onderzoek. 2

3 Tabel 1. Representativiteit Web of Science (*) a. Verschillende UGentfaculteiten Alfawetenschappen FLW 24% 30% FRE 31% 31% FEB 52% 62% FPPW 69% 74% FPSW 43% 44% Bètawetenschappen FBW 74% 80% FEA 64% 71% FWE 81% 84% Gammawetenschappen FGE 88% 89% FDI 83% 86% FFW 87% 91% b. Subdomeinen in alfafaculteiten ( ) FEB Economics 57% Business 62% Finance 54% Management 59% Operations research 64% FPPW Experimental psychology 80% Social psychology 69% Clinical psychology 75% Developmental psychology 72% Education & education research 41% Social work 51% Psychiatry 78% FPSW Communication 27% Sociology 46% Education & education research 49% Political science 22% Noot. De weergegeven cijfers betreffen het percentage geciteerde WoSpapers in de totale bibliografie van de UGent- onderzoekers in hun eigen WoSartikelen. CWTS spreekt van internal coverage. Bron: CWTS, De haalbaarheid van A1publicaties verschilt fundamenteel tussen de disciplines (ook tussen deze met hoofdzakelijk A1focus). Onderstaande Figuur 1 en Tabellen 2 en 3 onthullen zeer grote verschillen tussen de domeinen in de haalbaarheid van (veel) A1publicaties. Figuur 1 rapporteert de gemiddelde A1output per faculty member over een recente periode van 3 jaar ( ) in verschillende departementen van drie topuniversiteiten in de wereld: Oxford, Chicago en Stanford. Met de keuze voor topuniversiteiten kiezen we principieel voor benchmarks die in de verschillende wetenschapsdomeinen de best mogelijke prestaties moeten aantonen (al zal ieder departement in elk van deze universiteiten natuurlijk niet even sterk zijn). Voor de berekening van het gemiddelde zijn we uitgegaan van alle publicaties behaald door de faculty members van een departement, gedeeld door het aantal faculty members. Een 3

4 publicatie die door twee of meer leden van hetzelfde departement werd geschreven, telt dus slechts eenmaal mee. Meer details bij de methode en de aantallen onderzoekers achter de cijfers rapporteren we in Bijlage 1. De boodschap van deze cijfers is onmiskenbaar. Afhankelijk van het domein waarin onderzoekers van een bepaald niveau (hier: het topniveau) werken, zal hun A1 publicatieoutput fors verschillen. De verhouding kan gemakkelijk variëren van 1 tot 10. De laagste A1aantallen zien we steevast in alfadomeinen als economie, business, politieke wetenschappen, filosofie, sociologie en onderwijskunde. Het aantal A1publicaties per onderzoeker over drie jaar bevindt zich in deze domeinen in de regel tussen (afgerond) 2 en 4. In de opgenomen bètadepartementen (behalve computer science en engineering in Oxford) en de gammadepartementen overschrijdt de output per faculty member over drie jaar steevast 10 of in fysica en chemie zelfs 20 A1publicaties. Een opvallende alfa- aanwezige tussen de bèta en gammadepartementen is psychologie. Ook in dit domein bedraagt de output per faculty member over drie jaar in de drie beschouwde topuniversiteiten al snel 10 of meer A1publicaties. Hetzelfde zien we voor psychiatrie in Oxford. Deze cijfers tonen, lijkt een open deur intrappen. Maar als dit alles zo evident is, waarom houdt het beleid (UGent, Vlaamse overheid) er dan niet in al zijn aspecten rekening mee? 4

5 Figuur 1. Gemiddelde A1onderzoeksoutput per faculty member over drie jaar in verschillende departementen van topuniversiteiten ( ) a. University of Oxford 25 23, ,9 1,9 2,5 2,6 3,7 6,9 7,4 9,1 9,2 13,1 13,2 13,6 0 b. University of Chicago ,0 2,2 3,3 3,4 3,6 4,2 4,9 7,0 10,2 13,9 16,6 19,9 20,8 23,3 0 Note: (*) Resultaten voor economics na uitsluiting van 5 Nobelprijswinnaars (G. Becker, L.P. Hansen, J. Heckman, R. Lucas and R. Myerson). c. Stanford University ,9 2,4 2,6 2,6 3,1 4,0 6,4 6,8 12,8 12,9 15,3 20,8 21,3 22,0 29,4 30,5 5

6 3. Belangrijke verklaringen van deze verschillen betreffen de eigenheid van elke discipline, de normen gesteld door editors bij aanvaarding, en de loutere publicatiemogelijkheden. Diverse factoren liggen aan de basis van de grote verschillen in output per onderzoeker. Voor sommige domeinen, bijvoorbeeld politieke wetenschappen of onderwijskunde, kan dit deels verklaard worden door de kleinere A1focus van deze domeinen. Voor andere, zoals economie en bedrijfseconomie, zal dit aspect slechts heel beperkt spelen, en zeker niet het verschil verklaren. Zoals we in Tabel 1 rapporteerden, is de A1focus in economie niet veel lager dan bijvoorbeeld in psychologie. Een andere factor is ongetwijfeld het verschillend aantal coauteurs per artikel. In de meeste bèta en gammadisciplines is dit beduidend hoger, wat elke individuele auteur snel veel meer publicaties oplevert (zie bijvoorbeeld Wood, 2014). Nog andere factoren kunnen te maken hebben met de specifieke eigenheid van de meeste alfadisciplines. Sociale wetenschappen lenen zich niet of nauwelijks tot onderzoek in laboratoria. Exacte wetenschappelijke resultaten zijn bijgevolg veel moeilijker te bekomen. Discussies over causaliteit en invloed van ongeobserveerde factoren en kritiek op methodologie zijn dan ook veel frequenter. Dit alles maakt de vereiste tijd om te komen tot nieuwe wetenschappelijke resultaten langer. Ook de duurtijd van het review proces zal daardoor in de regel langer zijn. Verder kunnen ook de normen die door editors gesteld worden bij de aanvaarding tot publicatie verschillen. Een ander aspect betreft publicatiemogelijkheden. Denk bijvoorbeeld aan het aantal artikels dat tijdschriften per jaar publiceren. Ook dit kan anders zijn in de verschillende wetenschapsdisciplines. Tabel 2 rapporteert gegevens over twee mogelijke factoren die onderzoekers in de regel nauw aan het hart liggen: de aanvaardingsgraad van ingezonden artikels en de doorlooptijd van inzending tot publicatie. We beschouwen voor een aantal ISIcategorieën doorgaans aansluitend bij de departementen in Oxford, Chicago en Stanford die we in Figuur 1 beschouwden vijf Elsevier tijdschriften van een vergelijkbaar niveau. Met name gaat het om tijdschriften met een impactscore in ISI zo dicht mogelijk bij het tijdschrift op het 25 ste percentiel 2. We zoeken dus tijdschriften op de grens van het eerste en het tweede kwartiel 2 Voor een aantal domeinen is het aantal tijdschriften minder dan vijf. Dit is het geval wanneer er niet zoveel Elsevier tijdschriften in dit domein bestaan met een impact score rond de grens tussen het eerste en het tweede kwartiel. 6

7 volgens impact. De keuze voor Elsevier heeft te maken met de beschikbaarheid van de gerapporteerde statistieken (via Journal Finder van Elsevier). Deze statistieken zijn: de ISI impact factor (JCR, 2012); de editorial time, i.e. de tijd in weken die verstrijkt tussen de indiening van een artikel en de eerste beslissing door de editor (afwijzing, aanvaarding, vraag tot herwerking); de aanvaardingsgraad (de fractie van ingediende artikels die finaal aanvaard worden). Telkens rapporteren we in Tabel 2 het gemiddelde voor de vijf geselecteerde tijdschriften. We voegen hier een eigen berekening aan toe: een proxy voor de verwachte tijd in weken tot de ontvangst van de eerste reactie vanwege een editor waaruit finaal een publicatie resulteert. We berekenen deze als het quotiënt van de editorial time en de aanvaardingsgraad. Ook hier rapporteren we het gemiddelde voor de vijf geselecteerde tijdschriften. Ten eerste zien we in Tabel 2 grote variatie in de duurtijd tot de eerste beslissing vanwege de editor. Deze duurtijd blijkt eerder kort in de gammadisciplines. In alfa en bètadisciplines zien we zowel disciplines met korte als met lange editorial time (variatie van 4 à 6 tot 13 weken). Nog sterker is de variatie in aanvaardingsgraden bij A1journals (rond het 25 ste percentiel). We zien cijfers onder 15% in economics en business tot 40 à 50% en hoger in verschillende disciplines in de (exacte) wetenschappen. De combinatie van beide aspecten (duurtijd, aanvaardingsgraad) maakt dat de weg naar een A1publicatie nergens langer is dan in economie en bedrijfseconomie (tot beduidend langer dan een jaar) en veel korter in bijvoorbeeld physics. Gegeven het beperkte aantal opgenomen tijdschriften in de analyse van Tabel 2, moeten we voorzichtig zijn met conclusies. De bevindingen zijn hoogstens indicatief. Ze worden evenwel ten volle ondersteund door recent gepubliceerd onderzoek, dat we rapporteren in Figuren 2 en 3. Figuur 2 namen we over van Björk en Solomon (2013). Deze auteurs geven, op basis van een steekproef van 2700 artikels (20 artikels x 15 tijdschriften x 9 aggregaten van disciplines) statistieken weer voor enkele doorlooptijden, enerzijds de tijd die verstrijkt van inzending tot aanvaarding van uiteindelijk aanvaarde artikels, en anderzijds de tijd die verstrijkt van aanvaarding tot publicatie. Consistent met onze gegevens in Tabel 2, blijkt de 7

8 tijd tussen inzending en aanvaarding van uiteindelijk aanvaarde artikels veruit de langste (meer dan 10 maanden) in de discipline business and economics De domeinen chemistry, engineering, biomedicine, en physics zitten tussen de 4 en 5 maanden. De domeinen mathematics, social science en arts and humanities tussen de 6 en 8 maanden. Wat de tijd tussen aanvaarding en publicatie betreft, zijn er veel minder verschillen tussen de disciplines. Dit is niet onlogisch, gegeven dat vooral disciplineongebonden uitgevers deze fase vormgeven. Figuur 3 is gebaseerd op onderzoek naar aanvaardingsgraden door Sugimoto et al. (2013). Deze auteurs starten met een literatuuroverzicht van monodisciplinaire studies omtrent doorlooptijden van artikels tot publicatie. Hun conclusie is dat: "[...] the more humanistically oriented the journal, the higher the rate of rejecting manuscripts for publication; the more experimentally oriented, with an emphasis on rigor of observation and analysis, the lower the rate of rejection." Vervolgens rapporteren zij, op basis van de Cabelldatabank van bevragingen van editors, statistieken voor aanvaardingsgraden (aantal aanvaarde manuscripten op aantal ingezonden manuscripten) in 5 ruime velden. We geven hun resultaten weer in Figuur 3. Ten eerste bevestigen deze onze observaties in Tabel 2. De aanvaardingsgraden binnen business (JCR) liggen het laagste, beduidend lager dan in education, health en psychology. Ten tweede tonen de resultaten van Sugimoto et al. (2013) in elk domein globaal hogere aanvaardingsgraden in niet A1tijdschriften (nonjcr) dan in A1tijdschriften (JCR). We sluiten de vergelijking af in Tabel 3. Deze rapporteert het aantal artikels dat toptijdschriften uit verschillende disciplines in ISI per jaar publiceren. Concreet betreffen de gegevens de mediaan van het gepubliceerd aantal artikels per jaar over alle tijdschriften die tot de top 10% (volgens impactscore) behoren, respectievelijk tot de ruimere top 25% behoren. De Tabel bevestigt (opnieuw) de grote verschillen in publicatiekansen in (de betere) A1journals tussen de domeinen. In de meeste alfadisciplines bevinden de aantallen artikels per jaar zich beneden 45. De aantallen zijn veel hoger in bèta en gammadisciplines. Psychologie bevindt zich tussenin. 8

9 Tabel 2. Doorlooptijd van inzending tot publicatie in Elsevier tijdschriften gesitueerd rond het 25 ste percentiel volgens ISIimpact score. Alfawetenschappen Impact factor Doorlooptijd in weken (*) Aanvaardingsgraad Doorlooptijd / Aanvaardingsgraad Linguistics % 27 Economics % 77 Business % 61 Education & Educ.Res % 37 Experimental Psychology % 25 Clinical Psychology % 26 Psychiatry % 16 Political Science % 38 Sociology % 48 Communication % 34 Bètawetenschappen Physics, Particles&Fields % 12 Astronomy & Astrophysics % 38 Applied Physics % 16 Chemistry, Physical % 16 Computer Science % 47 Engineering, Mechanical % 38 Engineering, Chemical % 21 Engineering, Electr & Electron % 50 Gammawetenschappen Psychiatry % 16 Pharmacology & Pharmacy % 19 Health Care Sciences & Serv % 41 Noot: voor een overzicht van de opgenomen tijdschriften per domein, zie Bijlage 2. De hier gerapporteerde cijfers zijn telkens het gemiddelde van de waarden voor deze opgenomen tijdschriften (*) Editorial time : duurtijd tussen inzending en eerste beslissing door de editor. (**) Proxy voor de verwachte tijd in weken dat een onderzoeker wacht op een eerste beslissing door een editor die finaal leidt tot een publicatie. Bron: Elsevier Journal Finder. (**) 9

10 Figuur 2. Publicatietijden in maanden volgens discipline Bron: Björk en Solomon (2013, Figuur 1). Figuur 3. Aanvaardingsgraden volgens discipline Bron: Sugimoto et al. (2013, Figuur 4). Noot: JCR: tijdschriften opgenomen in Journal Citation Reports (A1journals). 10

11 Tabel 3. Aantal artikels per jaar in toptijdschriften in ISIdomeinen (mediaan, JCR 2012) Top 10% Top 25% Top 10% Top 25% Economics and Business Chemistry Political Science Computer Science Sociology Engineering Education Physics Psychology Pharmacology Psychiatry Noot: Bijlage 3 toont de specifieke subject categories uit Web of Science die opgenomen zijn in elke ruime discipline. Referenties. Björk, B. C., Solomon, D. (2013): The publishing delay in scholarly peerreviewed journals. Journal of Informetrics, 7, CWTS (2012): Research Performance Report Ghent University Leiden: Centrum voor Wetenschap en Technologische Studies, Universiteit Leiden. Sugimoto, C. R., Larivière, V., Chauqun, N., Cronin, B. (2013): Journal acceptance rates: A crossdisciplinary analysis of variability and relationships with journal measures. Journal of Informetrics, 7, Verleysen, F., Ghesquière, P., Engels, T. (2014): The objectives, design and selection process of the Flemish Academic Bibliographic Database for the Social Sciences and Humanities (VABBSHW). In Blockmans, W., Engwall, L., Weaire, D. (Eds.): Bibliometrics: Use and Abuse in the Review of Research Performance, Londen: Portland Press Limited. Wood, D. A. (2014): Comparing the Publication Process in Accounting, Economics, Finance, Management, Marketing, Psychology, and the Natural Sciences. Beschikbaar via SSRN: of 11