Rapport over verwijzingen in het werk van prof.dr. P. Nijkamp Jaap Zwemmer Jan Willem Gunning Rick Grobbee Amsterdam, 11 februari 2015
Inhoudsopgave 1 Introductie p. 3 1.1 Samenstelling van de commissie p. 3 1.2 Opdracht van het College van Bestuur p. 3 2 Werkwijze p. 4 2.1 Metis en selectie p. 4 2.2 Plagiaat detectie software p. 5 3 Bevindingen en toelichtingen p.7 3.1 Bevindingen p.7 3.2 Toelichting op de categorieën p.8 3.3 Toelichting op gevonden overlappende passages p.9 4 Conclusies p. 10 5 Literatuur p. 12 6 Bijlagen p. 13 6.1 Opdracht commissie Zwemmer p. 13 6.2 Selectie lijst publicaties uit het onderzoek p. 14 6.3 Specificaties externe publicaties p. 55 6.4 Voorbeelden p. 60 [2]
1 Introductie In januari 2014 verscheen in NRC Handelsblad een artikel waarin verslag werd gedaan van een journalistiek onderzoek naar verwijzingen in het werk van professor Peter Nijkamp (Ruimtelijke Economie, Vrije Universiteit). De impliciete beschuldiging van vermeend wetenschappelijk wangedrag die hieruit naar voren kwam, was voor het College van Bestuur van de VU (hierna CvB) aanleiding om een commissie in te stellen die op basis van grondig onderzoek duidelijkheid moest geven over de wijze waarop in het werk van Nijkamp gebruik wordt gemaakt van verwijzingen. De uitgangspunten daarbij zijn de in VSNU verband afgesproken Nederlandse Gedragscode Wetenschapsbeoefening, de KNAW Notitie Wetenschappelijke Integriteit en The European Code of Conduct for Research Integrity van ALLEA. Gedurende het onderzoek naar verwijzingen in het werk van Nijkamp publiceerde de Commissie Citeren van de KNAW het briefadvies Correct Citeren naar aanleiding van de discussie over plagiaat en zelfplagiaat en werd daarover een aparte paragraaf (1.5) opgenomen in de genoemde VSNU Gedragscode. 1.1 Samenstelling van de commissie De commissie bestaat uit prof.dr. Jaap Zwemmer, voorzitter (Universiteit van Amsterdam), prof.dr. Jan Willem Gunning, lid (Vrije Universiteit) en prof.dr. Rick Grobbee, lid (UMC Utrecht). Ambtelijk secretaris van de commissie is Drs. Fieke Smitskamp. De commissie Zwemmer is onafhankelijk en rapporteert over haar bevindingen aan het CvB. 1.2 Opdracht van het College van Bestuur Aan het onderzoek van de commissie Zwemmer heeft geen concrete klacht ten grondslag gelegen. De opdracht behelsde het onderzoek naar de wijze waarop in het werk van Nijkamp verwezen wordt naar eerder gepubliceerd werk van hemzelf, van hemzelf met anderen en werk van anderen. De opdracht had betrekking op het gehele oeuvre van Nijkamp. De integrale tekst van de opdracht is als bijlage 1 bij dit rapport opgenomen. [3]
2 Werkwijze De commissie Zwemmer heeft uit Metis de volledige lijst publicaties van Nijkamp opgevraagd, ervan uitgaande dat de in Metis ingevoerde gegevens accuraat zijn en onder verantwoordelijkheid van de desbetreffende auteurs zijn ingevoerd. Deze lijst bevat circa 2330 publicaties vanaf 1970 tot heden. Het was de commissie al spoedig duidelijk dat het onderzoek van al deze publicaties een onverantwoord tijdsbeslag zou vergen. Duidelijk was eveneens dat een handmatig onderzoek van vergelijkingen van teksten eveneens ondoenlijk zou zijn. Dat betekende dat het onderzoek beperkt moest blijven tot die teksten die digitaal beschikbaar waren en wel zodanig dat die met daartoe geschikte software met elkaar vergeleken konden worden. Gezien de omstandigheid dat de publicaties van de eerste jaren niet of slechts zeer beperkt digitaal beschikbaar zijn, is de commissie uitgegaan van de lijst publicaties uit Metis die begint in het jaar 1995. Daarop heeft de commissie nog een aantal selectiecriteria toegepast om te komen tot een werkbare selectie die zou worden onderzocht. De criteria die de commissie heeft toegepast, worden onder 2.1 verder toegelicht. De selectie van artikelen is met een zorgvuldig uitgezocht plagiaat software programma gecontroleerd op overlappende passages met hetzij andere publicaties uit de selectie, hetzij publicaties buiten de selectie. De relevante specificaties van het gekozen plagiaat software programma en de invloed daarvan op (de resultaten van) het onderzoek worden beschreven onder 2.2. Daar waar overlappende passages zijn aangetroffen, heeft de commissie gecontroleerd of en zo ja welke wijze van verwijzing aanwezig was en beoordeeld of deze verwijzing al dan niet adequaat was. De resultaten hiervan zijn voor alle onderzochte publicaties opgenomen in bijlage 2 van dit rapport. Van enkele publicaties worden de onderzoeksresultaten als voorbeeld weergegeven in bijlage 4. Tot slot heeft de commissie de bevindingen geanalyseerd en zich op basis daarvan een beeld gevormd van de wijze waarop in het werk van Nijkamp verwezen wordt naar eerder werk van hemzelf, van hemzelf met anderen en van anderen. 2.1 Metis en selectie Uitgangspunt voor de commissie is de lijst publicaties opgenomen in Metis. De peildatum voor deze lijst is 17 februari 2014. Uit deze lijst zijn die publicaties geselecteerd die als gerefereerde wetenschappelijke publicaties waren gecategoriseerd. Dat waren 364 publicaties. Deze lijst bleek een aantal fouten te bevatten, waaronder dubbele invoeringen van enkele publicaties en opname van publicaties in niet gerefereerde tijdschriften; ook bevatte de lijst boekhoofdstukken en editorials. Daarmee is door de commissie rekening gehouden. Een complicatie was nog wel dat anders dan verwacht - niet alle in Metis ingevoerde publicaties digitaal beschikbaar bleken te zijn. [4]
De selectie Zwemmer, gebaseerd op de lijst publicaties uit Metis, kent drie basis criteria: 1) In het onderzoek werden uitsluitend publicaties onderzocht die verschenen zijn in wetenschappelijke gerefereerde (peer-reviewed) tijdschriften. Dit betekent dat research memoranda, working papers, congres proceedings en publicaties in niet-gerefereerde vakbladen buiten de selectie van het onderzoek vielen. De commissie is van oordeel dat een research memorandum of working paper, dat vaak vooraf gaat aan een uiteindelijke publicatie, nog eventuele slordigheden kan bevatten die geoorloofd zijn. De (wetenschappelijke) status van congres proceedings en publicaties in niet gerefereerde vakbladen zijn van een andere orde dan publicaties in gerefereerde tijdschriften. 2) De commissie onderzocht publicaties die digitaal beschikbaar waren, ofwel born-digital materiaal. Dit criterium werd vereist door het plagiaat software programma dat geen achteraf gedigitaliseerde bestanden kan lezen om die vervolgens te vergelijken met andere teksten. Dit betekent dat eventuele overlappende passages met publicaties die niet digitaal beschikbaar zijn, per definitie niet door het onderzoek aan het licht konden komen. 3) De selectie Zwemmer begint bij het jaar 1995. Publicaties ouder dan 1995 zijn niet onderzocht. Dat betekent dat eventuele overlap met publicaties ouder dan 1995 niet uit het onderzoek naar voren kon komen, tenzij deze publicaties in digitale vorm op het internet aanwezig zijn en op die manier door de plagiaat software in de vergelijking betrokken zijn. Ze zijn dan behandeld als bronnen van buiten de selectie. 4) De commissie heeft overlappende passages tot 50 woorden buiten beschouwing gelaten, zonder te bekijken of deze passages al dan niet van een adequate verwijzing voorzien zijn. Hiermee beoogde de commissie om uitsluitend zeer significante resultaten boven water te krijgen en eventuele twijfelgevallen of kleinigheden niet uit te vergroten. 5) De commissie heeft een vergelijking gemaakt met publicaties van Nijkamp uit de lijst van Metis (de interne lijst) en overige publicaties in het referentiecorpus van ithenticate (de externe lijst). De in de externe lijst opgenomen publicaties zijn niet noodzakelijk afkomstig uit gerefereerde tijdschriften. Zie over het referentiecorpus van ithenticate de opmerkingen sub 2.2 hierna. Naar aanleiding van de voortschrijdende resultaten heeft de commissie in de selectielijst aangepast welke publicaties bij nader inzien buiten de selectie zijn komen te vallen. In het hoofdstuk Bevindingen en Toelichtingen wordt een getalsmatige samenvatting gegeven; in bijlage 2 staat per publicatie vermeld wat de feitelijke bevindingen van de commissie zijn. 2.2 Plagiaat detectie software Voor het onderzoek heeft de commissie Zwemmer gebruik gemaakt van het plagiaat detectie programma ithenticate, software die zich in het bijzonder richt op het opsporen van tekstovereenkomsten in wetenschappelijk werk en die over voldoende functionele en beheersmogelijkheden beschikt om als hulpmiddel ingezet te worden bij onderzoek naar een omvangrijk wetenschappelijk oeuvre. ithenticate is van dezelfde uitgever afkomstig als Turnitin; de doelgroep voor [5]
de beide software pakketten is verschillend. ithenticate wordt enerzijds gebruikt door auteurs van wetenschappelijke publicaties of manuscripten die hun eigen werk willen controleren op incorrecte verwijzingen, ontbrekende citaten en dergelijke, en anderzijds door tijdschriftredacties en uitgevers die ingeleverde artikelen en manuscripten wensen te controleren op plagiaat voordat ze deze publiceren. Het referentiecorpus van ithenticate omvat 46 biljoen geïndexeerde internetpagina s, en daarmee een zeer omvangrijke (maar niet uitputtende) hoeveelheid wetenschappelijke publicaties van belangrijke uitgevers, content partners en wetenschappelijke databases waarmee ithenticate contracten heeft afgesloten. Ten aanzien van het gebruik van ithenticate dient vermeld te worden dat het programma als zeer nauwkeurig ervaren is en dat de verkregen resultaten gecontroleerd zijn en betrouwbaar zijn gebleken. Desalniettemin blijft elke rapportage die door ithenticate gegenereerd wordt een momentopname. Daar waar bij de commissie twijfel bestond over (een aspect van) een rapportage van ithenticate, is dit buiten verdere beschouwing gelaten en niet verder geïnterpreteerd. De rapportages die ithenticate genereert, dienen altijd handmatig te worden geïnterpreteerd. Wanneer ithenticate aangeeft dat een publicatie voor een bepaald percentage overeenkomt met een andere publicatie, kan dit verschillende situaties betreffen. Zo kan het te maken hebben met overeenkomstige literatuurlijsten, overname van abstracts, beschrijvingen van methodologie etc. Ook kan het zijn dat de overlappende passages van een adequate verwijzing zijn voorzien, waardoor deze niet als een overname zonder bronvermelding moeten worden beschouwd. De commissie heeft alle overlap tot 50 woorden buiten beschouwing gelaten. [6]
3 Bevindingen en toelichtingen 3.1 Bevindingen De selectie Zwemmer telt 364 titels van publicaties. Van 103 publicaties zijn geen gegevens beschikbaar gekomen over mogelijke overlappende passages met andere publicaties. Dit heeft verschillende oorzaken. In de opsomming die hieronder wordt weergegeven is het onderscheid aangegeven (categorie A1 t/m A6). De 15 publicaties die niet correct in Metis stonden (waar bijvoorbeeld bleek dat het desbetreffende tijdschrift niet gerefereerd was in tegenstelling tot de gegevens in Metis) zijn buiten behandeling gelaten. Vervolgens is nog een aantal publicaties buiten behandeling gebleven om andere redenen, hetzij omdat ze alsnog buiten de selectie vielen op basis van de criteria van de commissie (wanneer de publicatie alleen schriftelijk beschikbaar bleek of alleen als Research Memorandum of Tinbergen Discussion Paper werd aangetroffen), hetzij omdat de digitale publicatie om een andere reden niet kon worden onderzocht op verwijzingen. Dit is bijvoorbeeld het geval bij 22 publicaties waarvan de pdf niet leesbaar bleek voor het plagiaat software programma. Van de overige 261 publicaties uit de selectie zijn wel gegevens beschikbaar. Deze publicaties zijn door het plagiaat detectie programma gescand op overlappende passages, zowel met andere publicaties binnen de selectie als met het vergelijkingscorpus van ithenticate. De bevindingen van de commissie zijn onder te brengen in de onderstaande categorieën: A: Geen gegevens: 103 van 364 A1: Incorrecte gegevens in Metis, publicaties niet in behandeling genomen 15 A2: Publicatie niet gevonden 5 A3: De publicatie is alleen als Research Memorandum aangetroffen 12 A4: De download van het digitale bestand was niet succesvol 11 A5: Het digitale bestand van de publicatie was niet leesbaar voor ithenticate 22 A6: De publicatie was alleen schriftelijk beschikbaar (niet digitaal) 38 B: Gegevens beschikbaar: 261 van 364 B1: Geen relevante overlappende passages met meer dan 50 woorden 201 B2: Overlap zonder verwijzing aangetroffen 60 [7]
3.2 Toelichting op de categorieën A1: publicaties waarvan de gegevens in Metis niet correct bleken te zijn, heeft de commissie ongezien buiten behandeling gelaten. A2: publicaties die niet zijn aangetroffen (noch schriftelijk, noch digitaal) konden niet worden meegenomen in het onderzoek. Mogelijke overlappende passages tussen deze publicaties en de publicaties de wel in het onderzoek zijn meegenomen, konden daarmee door dit onderzoek niet naar voren worden gehaald. Dit laatste is ook van toepassing op de categorieën A2 tot en met A6. A3: de publicaties die in Metis waren weergegeven als gepubliceerd in een gerefereerd tijdschrift, maar die bij nader zoeken alleen werden aangetroffen in de vorm van een voorstudie of Research Memorandum (Tinbergen Discussion Paper), heeft de commissie buiten behandeling gelaten. Het principe dat alleen publicaties in gerefereerde tijdschriften werden onderzocht, gebood dat. De commissie is wel van mening dat publicaties die in Metis staan aangeduid als zijnde gepubliceerd in een gerefereerd tijdschrift ook als zodanig vindbaar zouden moeten zijn. A4: Sommige publicaties werden wel gevonden op de website waar ze, eventueel tegen betaling, werden aangeboden. Niet in alle gevallen bleek het mogelijk om het daadwerkelijk te downloaden. A5: Het plagiaat software programma ithenticate heeft bij een aantal publicaties aangegeven dat het technisch niet mogelijk was de digitale bestanden te scannen en te analyseren. Deze publicaties zijn dus wel aanwezig, ze horen ook bij de selectie, maar er zijn geen gegevens met bevindingen mogelijk. A6: In een aantal gevallen was er geen digitale versie (born digital) van een publicatie beschikbaar. Op grond van de selectiecriteria van de commissie zijn deze publicaties buiten behandeling gelaten. Dit is over het algemeen ook het geval bij hoofdstukken uit boeken. B1: De publicaties met categorie aanduiding B1 zijn onderzocht op overlappende passages en de (aanwezigheid van) bijbehorende (adequate) verwijzingen. Onder de bevindingen werden geen relevante overlappende passages aangetroffen met meer dan 50 woorden. B2: Deze categorie bevat de publicaties waarin overlap is aangetroffen. Per publicatie in deze categorie is in de bijlage aangegeven wat de omvang (aantal woorden) is en in hoeverre er sprake is van (adequate) verwijzing. [8]
3.3 Toelichting op gevonden overlappende passages Daar waar door de software overlappende passages tekst zijn aangetroffen, is steeds gekeken welke publicatie vooraf ging aan de andere om vast te stellen op welke plek een verwijzing gewenst of noodzakelijk was. Ook is gekeken naar de aard van de overlap. In vrijwel alle gevallen detecteert de software ook de voor de hand liggende overlap van adres gegevens, personalia en literatuurlijsten. De commissie heeft alleen melding gemaakt van voor het betoog relevante overlappende passages waarbij werd vastgesteld dat voor de lezer niet duidelijk was dat het niet-oorspronkelijke tekst betrof. De aangetroffen overlappende passages zonder adequate verwijzing zijn verschillend van omvang, maar wekken de indruk van systematisch knip- en plakwerk, waarbij het regelmatig voorkomt dat enkele woorden in de gekopieerde tekst zijn weggelaten, toegevoegd of aangepast. De commissie is van oordeel dat, ook bij wijziging van enkele woorden, nog steeds sprake is van een letterlijk citaat en dat daarbij een adequate verwijzing noodzakelijk is. In een enkel geval wordt in de tekst wel verwezen naar een publicatie (bijv. (Batabyal and Nijkamp, 2012b) in publicatie nr. 16) met vermelding van deze publicatie met titel in een noot waaruit afgeleid zou kunnen worden dat de tekst daarop teruggrijpt, maar is niet duidelijk dat sprake is van letterlijk hergebruik. [9]
4 Conclusies Uit het onderzoek komt naar voren dat in de onderzochte publicaties van Nijkamp regelmatig hergebruik van 50 woorden of meer plaatsvindt van teksten van hemzelf dan wel van hemzelf met coauteurs. De overlappende passages lijken zich vooral voor te doen met eigen werk, al dan niet samen met co-auteurs en in aanzienlijk mindere mate met werk van anderen, waardoor bij de commissie de indruk is ontstaan dat het knip- en plakwerk dienstbaar was aan een mogelijke strategie die moest leiden tot een hoog aantal publicaties, meer dan tot een origineel oeuvre. De omvang van de hergebruikte teksten is verschillend. Soms zijn het enkele zinnen, maar soms zijn het ook hele alinea s. Opvallend daarbij is dat vaak enkele kleine aanpassingen hebben plaatsgevonden in die zin dat enkele woorden zijn veranderd, weggelaten dan wel toegevoegd. Verwijzing naar eerder gebruikte teksten ontbreekt vrijwel altijd. In een enkel geval wordt in de tekst wel verwezen naar een publicatie, maar is niet duidelijk dat sprake is van letterlijk hergebruik. Hoewel de aangetroffen overlappende passages zonder verwijzing in omvang variëren, is de commissie van mening dat het aantal publicaties waarin deze passages zijn aangetroffen met 60 van 261 groot is, namelijk ruim twintig procent, waarbij in aanmerking moet worden genomen dat mogelijke overlappende passages met publicaties die om verscheidene redenen niet in het onderzoek werden meegenomen, niet aan het licht konden komen. Voor wat betreft overlappende passages met publicaties buiten de selectie, dient te worden vermeld dat niet in alle gevallen de volgorde van publicatie met zekerheid kan worden vastgesteld (zie overzicht in bijlage 3). Ook als alleen de overlap met publicaties uit de interne lijst van gerefereerde in Metis opgenomen publicaties in aanmerking wordt genomen (43 publicaties) blijft het aantal publicaties met overlap groot. De commissie is zich ervan bewust dat niet elk hergebruik van teksten problematisch is. Zo is het de commissie bekend dat in de economische wetenschap publicaties in gerefereerde tijdschriften nogal eens worden voorafgegaan door een eerdere versie in voor intern gebruik en discussie bedoelde research memoranda. Dan is de publicatie in een gerefereerd wetenschappelijk tijdschrift uiteraard geen problematisch hergebruik van de tekst in het research memorandum. Dat kan zich slechts voordoen bij hergebruik van teksten welke anders dan research memoranda - bedoeld zijn als bijdragen aan het openbare wetenschappelijke debat. Maar ook dan is niet elk hergebruik van eerder gepubliceerde teksten problematisch. Zo stelt de VSNU-code in par. 1.5 dat hergebruik zonder bronvermelding van eigen materiaal of van korte teksten die samen met co-auteurs zijn gepubliceerd, binnen veel wetenschapsgebieden niet problematisch zijn als het gaat om korte passages in inleiding, theorievorming en methodebeschrijving. Het hergebruik in de door de commissie onderzochte publicaties gaat echter veel verder. De door de commissie gegeven voorbeelden tonen aan dat daarin soms met minieme aanpassingen - feitelijk sprake is van knip en plakwerk om zo weer tot een nieuwe publicatie te komen. Daarmee is ook een mogelijke verklaring gegeven voor het ontzagwekkende aantal publicaties van Nijkamp. De commissie realiseert zich dat de genoemde passage uit de VSNU-code van zeer recente datum is en een vervolg is op het in april 2014 uitgebrachte Briefadvies Correct citeren van de KNAW. Dat maakt de [10]
conclusie van de commissie niet anders. Ook in 1995 was al duidelijk dat hergebruik van eigen teksten zonder bronvermelding problematische vormen kon aannemen. Essentieel element van wetenschappelijk onderzoek is immers dat voor zover het niet origineel is, daarvan door bronvermelding rekenschap wordt gegeven. Dat geldt ook voor hergebruik van eigen teksten. De commissie is van oordeel dat het geschikt maken van een publicatie voor een ander publiek, eventueel met knip- en plak werk niet per definitie laakbaar is. Het onderzoek naar hergebruik van eigen teksten in het werk van Nijkamp heeft de commissie echter tot de conclusie gebracht dat dit hergebruik zodanige vormen heeft aangenomen dat sprake is van een Questionable Research Practice (QRP) als bedoeld in het Briefadvies Correct citeren van de KNAW van april 2014. De geconstateerde QRP past in de kennelijk door Nijkamp gekozen publicatiestrategie, waarbij kwantiteit leidend lijkt te zijn en nauwelijks in toptijdschriften wordt gepubliceerd. In het licht van de huidige Science in Transition discussie is het van belang om op te merken dat in dit geval de institutionele prikkels juist kwaliteit en plaats van kwantiteit belonen. Onderzoektijd wordt bij Nijkamps faculteit al decennialang verdeeld op basis van de beste vijf publicaties in de afgelopen vijf jaar. In die zin is de gekozen strategie moeilijk te verklaren. In een klein aantal gevallen heeft de commissie in de publicaties van Nijkamp al dan niet met co-auteurs overeenkomsten geconstateerd met publicaties van derden. Daarbij was veelal niet duidelijk welke publicatie als eerste aan de uitgever is gestuurd. Aangezien het in deze gevallen nooit meer dan een of enkele zinnen betrof, heeft de commissie daaraan verder geen aandacht besteed. Opgemerkt dient te worden dat de commissie tijdens het verzamelen van de geselecteerde publicaties op verschillende onregelmatigheden in het registratiesysteem Metis is gestuit. De universiteiten moeten erop kunnen vertrouwen dat de publicatiegegevens die zij rapporteren op basis van Metis, betrouwbaar zijn. Het wordt aan de individuele onderzoekers overgelaten om hun gegevens in te (laten) voeren. In dit geval is dat vaak slordig gedaan zodat er onder artikelen in gerefereerde tijdschriften ook andere publicaties, niet vindbare stukken en dubbele vermeldingen voorkomen. [11]
5 Literatuur ALLEA, The European Code of Conduct on Research Integrity, 2010. KNAW, Briefadvies Correct Citeren. Amsterdam 2014 KNAW, VSNU, NWO, Notitie Wetenschappelijke Integriteit. Over normen van wetenschappelijk onderzoek en een Landelijk Orgaan voor Wetenschappelijke Integriteit (LOWI). 2001 VSNU, De Nederlandse Gedragscode Wetenschapsbeoefening. Principes van goed wetenschappelijk onderwijs en onderzoek. s-gravenhage 2004, herziening 2012, herziening 2014 [12]
6 Bijlagen 6.1 Opdracht commissie Zwemmer [13]