Sociale en Geesteswetenschappen Zorgonderzoek en Medische Wetenschappen Call for proposals Replicatiestudies 2019 3de ronde Den Haag, maart 2019 Nederlandse Organisatie voor Wetenschappelijk Onderzoek
Inhoud 1 Inleiding 1 1.1 Achtergrond 1 1.2 Beschikbaar budget 2 1.3 Indieningsdeadline 2 2 Doel 3 3 Richtlijnen voor aanvragers 4 3.1 Wie kan aanvragen 4 3.2 Wat kan aangevraagd worden 5 3.3 Wanneer kan aangevraagd worden 8 3.4 Het opstellen van de aanvraag 8 3.5 Subsidievoorwaarden 8 3.6 Het indienen van een aanvraag 11 4 Beoordelingsprocedure 13 4.1 Procedure 13 4.2 Criteria 15 5 Contact en overige informatie 18 5.1 Contact 18 5.2 Overige informatie 18
1 Hoofdstuk 1: Inleiding / Replicatiestudies 1 Inleiding 1.1 Achtergrond Replicatie is een essentieel onderdeel van de wetenschappelijke methode en maakt dat kan worden voortgebouwd op eerder aangetoonde en bevestigde wetenschappelijke bevindingen. Het is gebleken dat veel studies niet repliceerbaar zijn. Als onderzoek niet repliceerbaar blijkt, is dit veelal toe te schrijven aan toeval, of niet-opzettelijke fouten, maar p-hacking, publicatiebias en met name selective reporting zullen hierbij ongetwijfeld ook een grote rol spelen. 1 Door het uitvoeren van replicatieonderzoek te stimuleren wil NWO een bijdrage leveren aan het vergroten van transparantie van onderzoek en aan de kwaliteit en de volledigheid van het rapporteren van resultaten. NWO sluit daarmee aan op initiatieven zoals het Reproducibility Project in de psychologie, en tijdschriften zoals The Journal of Finance die rubrieken in het leven roepen voor replicaties. 2 NWO hoopt middels het stimuleren van replicatieonderzoek bij te dragen aan het meer gangbaar worden van replicatieonderzoek, en aan het inzicht in de repliceerbaarheid van onderzoek. Er zijn drie typen van replicatieonderzoek te benoemen: 1. Replicatie met bestaande gegevens (reproductie): hernieuwde analyse van de gegevens van de oorspronkelijke studie, met dezelfde vraagstelling. 2. Replicatie met nieuwe gegevens: nieuwe dataverzameling met dezelfde onderzoeksprotocol 3 als de oorspronkelijke studie. 3. Replicatie met dezelfde vraagstelling: nieuwe dataverzameling met een ander onderzoeksprotocol dan de oorspronkelijke studie waarbij de vraagstelling ongewijzigd blijft ten opzichte van het oorspronkelijke onderzoek. In dit pilotprogramma wordt uitsluitend onderzoek gefinancierd dat in de eerste twee categorieën valt en zuiver replicatieonderzoek betreft. In het geval van Type 1- onderzoek is het toepassen van andere data-analyse methoden mogelijk, bijvoorbeeld in een vergelijking met de oorspronkelijke methode, mits de motivatie hiervoor overtuigend is. Als het voorstel aanvullende analyses bevat is het noodzakelijk dat deze aanvulling methodisch van aard is én het replicatieonderzoek de kern van het voorstel blijft. Replicatieonderzoek dat een infrastructuur of (nieuwe) methodologie wil ontwikkelen, behoort nadrukkelijk niet tot de focus van dit pilotprogramma. Dit geldt tevens voor nieuwe meta-analyses. 4 Het programma heeft tot doel replicatiestudies te financieren, niet projecten waarin gereflecteerd wordt op repliceren. 1 Er zijn naast repliceerbaarheid meer factoren die de kwaliteit, maatschappelijke impact, integriteit en efficiency van onderzoek beïnvloeden. In dit kader wijzen wij graag op het programma Bevorderen van Verantwoorde Onderzoekspraktijken. 2 http://dx.doi.org/10.1126/science.aac4716, http://www.afajof.org/springboardwebapp/userfiles/afa/file/submissions/replications%20and%20corrigenda.pdf 3 De term onderzoeksprotocol is niet in alle disciplines gebruikelijk, maar verwijst hier naar een gedetailleerde beschrijving van de wijze waarop het onderzoek is uitgevoerd. 4 De reproductie van een bestaande meta-analyse valt wel binnen de mogelijkheden van Type 1-onderzoek.
2 Hoofdstuk 1: Inleiding / Replicatiestudies Disciplines Dit programma staat open voor het indienen van aanvragen voor het repliceren van onderzoek in de disciplines van ZonMw en het NWO-domein Sociale en Geesteswetenschappen. Een overzicht van de disciplines van het programma vindt u hier: www.nwo.nl/replicatiestudies. Voor deze derde ronde is het programma uitgebreid naar de geesteswetenschappen. Niet al het geesteswetenschappelijk onderzoek leent zich voor replicatie zoals in dit programma kan worden gefinancierd, maar in de empirische geesteswetenschappen is dit zeker mogelijk. Daarmee spreekt NWO geen voorkeur of oordeel uit over de waarde van diverse methodes van onderzoek, maar wil zij slechts daar waar mogelijk de replicatie van geesteswetenschappelijk onderzoek stimuleren en faciliteren. Naar aanleiding van de evaluatie van de eerste twee rondes zijn de financieringsvoorwaarden aangepast. Programmacommissie De inhoudelijke sturing van dit pilotprogramma ligt voor een groot deel bij inhoudelijk experts op het gebied van replicatieonderzoek. NWO heeft daartoe een programmacommissie ingesteld waarin deskundigen op het gebied van replicatieonderzoek zitting hebben. De programmacommissie komt circa tweemaal per jaar bijeen om de programmering, voortgang, nieuwe ontwikkelingen, knelpunten en een eventuele tussentijdse bijstelling van het pilotprogramma te bespreken. De programmacommissie speelt geen rol in de beoordeling van de aanvragen. De programmacommissie adviseert de directies en besturen van ZonMw en het domein Sociale en Geesteswetenschappen en de raad van bestuur van NWO. 1.2 Beschikbaar budget Voor deze subsidieronde is 1 mln euro beschikbaar. 5 Er kan maximaal 75.000 voor een Type 1-project worden aangevraagd, en maximaal 150.000 voor een Type 2- onderzoek. 1.3 Indieningsdeadline Aanvragen dienen voor 6 juni 2019, om 14:00 uur CEST, door NWO te zijn ontvangen. 5 NWO heeft voor het programma 3 mln euro beschikbaar gesteld, voor een periode van drie jaar.
3 Hoofdstuk 2: Doel / Replicatiestudies 2 Doel Met dit pilotprogramma wil NWO onderzoekers stimuleren replicatieonderzoek uit te voeren. Het pilotprogramma bestaat uit drie rondes dit is de derde ronde. NWO wil tevens ervaring opdoen die kan leiden tot inzicht in een effectieve manier voor de opname van replicatieonderzoek in onderzoekprogramma s, en tot inzicht in en reflectie op de eisen die NWO stelt aan de methodologie en de transparantie van onderzoek.
4 Hoofdstuk 3: Richtlijnen voor aanvragers / Replicatiestudies 3 Richtlijnen voor aanvragers 3.1 Wie kan aanvragen Onderzoekers van de volgende kennisinstellingen kunnen aanvragen indienen: Universiteiten gevestigd in het Koninkrijk der Nederlanden; Universitair Medisch Centra; KNAW- en NWO-instituten; het Nederlands Kanker Instituut; het Max Planck Instituut voor Psycholinguïstiek te Nijmegen; de Dubble-bundellijn bij de ESRF te Grenoble; NCB Naturalis; Advanced Research Centre for NanoLithography (ARCNL); Prinses Máxima Centrum voor kinderoncologie. Kwalificaties aanvrager(s) Aanvragers zijn gepromoveerde onderzoekers die in vaste dienst zijn van, een tenure track aanstelling hebben bij, of een aanstelling voor de duur van het project hebben bij 6 een van bovengenoemde instellingen. Een onderzoeker kan maar bij één aanvraag in deze ronde betrokken zijn, in enige hoedanigheid (incl. teamlid). Aanvragers beschikken over aantoonbare methodologische competenties om replicatieonderzoek uit te voeren of te begeleiden. Aanvragers dienen aantoonbare expertise te hebben op het onderzoeksgebied van de te repliceren studie. Als het onderzoek door meerdere onderzoekers wordt uitgevoerd, moet uit de samenstelling van de projectgroep blijken dat de relevante expertises hierin zijn vertegenwoordigd. Beperkingen indienen SGW Voor aanvragers op het terrein van de sociale en geesteswetenschappen gelden de beperkingen op indienen die sinds 2018 gelden voor de open programma s in het domein Sociale en Geesteswetenschappen van NWO. Dit houdt in dat een aanvrager 7 slechts een keer per jaar een aanvraag mag indienen in de Vrije Onderzoeksruimte. Aanvragers die een aanvraag in behandeling hebben in een van de volgende programma s op 6 juni 2019 (het moment van de deadline) kunnen geen aanvraag indienen in deze ronde van het programma Replicatiestudies: - NWO Open Competitie SGW - Promoties in de geesteswetenschappen - Vluchtelingen in de wetenschap. Hierbij geldt: een aanvrager mag geen nieuwe aanvraag indienen totdat het formele besluit over haar/zijn huidige aanvraag is genomen en deze aanvraag niet meer deel uitmaakt van de beoordelingsprocedure. Ook wijzen we er hier graag op dat een aanvrager pas maximaal 1 jaar voor de geplande einddatum (= einddatum laatste aanstelling) van het langstlopende project binnen NWO waarbij zij/hij aanvrager/projectleider is, een nieuwe aanvraag mag indienen. Dat houdt in dat het indienen van een nieuwe aanvraag in een ander open 6 Als er sprake is van een tijdelijke aanstelling voor de duur van het project is een garantiestelling van de werkgevende instelling vereist om aan te tonen dat de onderzoeker in kwestie een aanstelling heeft voor de duur van het project. 7 Met aanvragers worden zowel hoofdaanvragers als medeaanvragers bedoeld.
5 Hoofdstuk 3: Richtlijnen voor aanvragers / Replicatiestudies programma van SGW pas mogelijk is als de einddatum van een gehonoreerd project in dit programma binnen 12 maanden plaats vindt. 3.2 Wat kan aangevraagd worden 3.2.1 Type onderzoek Voor dit pilotprogramma kan alleen financiering worden aangevraagd voor het repliceren van zogenoemd hoeksteenonderzoek: onderzoek dat gevolgrijk is in theoretisch of beleidsmatig opzicht en waarvan het daarom belangrijk is te toetsen of de resultaten waarop deze gevolgen gebaseerd zijn repliceerbaar zijn. Aanvragers dienen in hun voorstel te motiveren waarom het oorspronkelijke onderzoek dat zij willen repliceren als hoeksteenonderzoek beschouwd kan worden en waarom het van belang is dit te repliceren. Belangrijk daarbij is dat indien het onderzoek al eerder is gerepliceerd of er op het moment van indienen een replicatiestudie wordt uitgevoerd, de aanvragers overtuigend beargumenteren waarom een aanvullende replicatie zinvol is. Hoeksteenonderzoek betreft een of meerdere van de volgende soorten onderzoek: studies die veel geciteerd zijn met vergaande consequenties voor vervolgonderzoek. Hierbij kan ook gedacht worden aan studies met theoretische en/of praktische implicaties waarover een intensief postpublicatie debat is ontstaan; onderzoek dat een grote rol speelt in beleidsvorming of studies op basis waarvan belangrijke beleidsbeslissingen zijn genomen: bijvoorbeeld studies die implicaties hebben voor de organisatie en/of de financiering van de zorg of een cruciale rol spelen of naar verwachting gaan spelen bij een klinische richtlijn, met implicaties voor preventie van gezondheidsproblemen. onderzoek dat onderdeel uitmaakt van de canon van het onderwijs: onderzoek dat veel in tekstboeken voor studenten wordt genoemd. onderzoek dat veel media-aandacht heeft gekregen en daardoor een grote impact heeft op het publieke debat. studies met ingrijpende consequenties voor wet- en regelgeving. Type replicatie Zoals benoemd in paragraaf 1.1 zijn er verschillende typen replicatiestudies te onderscheiden. Conceptuele analyses, waarbij nieuwe gegevens worden verzameld met een andere onderzoeksopzet om dezelfde vraag te onderzoeken, vallen buiten dit programma. Het doel is om aanvragen te financieren die een herhaling van onderzoek beogen waarbij na afloop een uitspraak te doen is over het vertrouwen in de specifieke hypothese uit het oorspronkelijke onderzoek. Aanvragers dienen te beschrijven en onderbouwen welk type replicatiestudie (Type 1 of Type 2) het meest geschikt is om de oorspronkelijke studie te repliceren. Toelichting bij het aanvragen voor ZonMw-onderzoek Bij ZonMw-aanvragen kan gedacht worden aan preklinisch proefdieronderzoek, stamcel- en celkweekonderzoek, onderzoek gericht op modellen en humaan onderzoek gericht op preventie, diagnostiek, therapie en prognose. Replicatie van klinische trials valt buiten het bereik van het pilot programma. Reproductie, het opnieuw analyseren van data uit klinische trials, valt wél binnen het programma.
6 Hoofdstuk 3: Richtlijnen voor aanvragers / Replicatiestudies Toelichting bij het aanvragen voor sociaalwetenschappelijk onderzoek: Onderzoekers kunnen financiering aanvragen voor het repliceren van onderzoek dat binnen de maatschappij- en gedragswetenschappen valt. Er kan subsidie aangevraagd worden voor het repliceren van experimentele studies en voor de heranalyse van survey data. Voorbeelden van onderzoek in de maatschappij- en gedragswetenschappen dat in dit programma gerepliceerd kan worden zijn: onderzoek dat de basis vormt voor de ontwikkeling van lesmethodes of onderzoek dat de basis vormt voor interventies. Toelichting bij het aanvragen voor geesteswetenschappelijk onderzoek: In deze derde ronde van het programma is het ook mogelijk om financiering aan te vragen voor de replicatie van empirisch geesteswetenschappelijk onderzoek. Daarbij kan gedacht worden aan onderzoek in de sociaaleconomische geschiedenis, taalkunde, archeologie, en onderzoek in de digital humanities, een ontwikkeling in de geesteswetenschappen waar dit programma bij aansluit. Het is van belang dat er voldoende informatie beschikbaar is over de aanpak van het oorspronkelijke onderzoek voor een zo exact mogelijke replicatie (zie de beoordelingscriteria). Het is mogelijk om met een andere selectie van bronnen de onderzoeksvraag van een studie te herhalen, in het geval van universele effecten. Neemt u bij twijfel over de vraag of uw onderzoek binnen het programma valt contact op met het call secretariaat (zie 5.1.1). 3.2.2 Budget Er kan maximaal 75.000 voor een Type 1-project worden aangevraagd, en maximaal 150.000 voor een Type 2-project. Er is daarbinnen geen vooraf vastgesteld maximum dat aangevraagd kan worden voor personele of materiële kosten. De maximale periode waarvoor financiering kan worden aangevraagd is twee jaar. Personele kosten Personele kosten kunnen worden aangevraagd voor 1. postdoc onderzoekers; 2. vervangingssubsidie voor andere onderzoekers (hoogleraren of U(H)D s). Er kan financiering worden aangevraagd voor personeel op postdoc-niveau dat onderwijs of andere taken overneemt van de hoofd- of mede-aanvrager. Uit de vervangingsfinanciering kunnen de salariskosten worden gedekt van de vervanger (met als salarispeil het niveau van een postdoc). Vergoedingen voor promotiestudenten/beursalen aan een Nederlandse universiteit komen niet in aanmerking komen voor subsidie van NWO. Personeel: Postdoc De richtlijn is dat voor de aanstelling van een postdoc gekozen kan worden voor een looptijd van maximaal 24 maanden. De salariskosten worden vergoed volgens de afspraken in het akkoord Bekostiging wetenschappelijk onderzoek met de VSNU en zijn gebaseerd op de cao van de Nederlandse universiteiten (voor ZonMw geldt dat de kosten gebaseerd zijn op de cao-nfu).
7 Hoofdstuk 3: Richtlijnen voor aanvragers / Replicatiestudies De door NWO gefinancierde projectmedewerker ontvangt bovenop de salariskosten een eenmalige persoonsgebonden bench fee (k 5) ter stimulering van de wetenschappelijke carrière van de door NWO gefinancierde projectmedewerker. Het akkoord en de maximumbedragen voor personeelslasten zijn te vinden op http://www.nwo.nl/akkoordbekostiging en http://www.nwo.nl/salaristabellen. Personeel: Vervanging In deze module kan vervanging van de hoofd- en/of medeaanvrager(s) voor vrijstelling van onderwijs-, bestuurs- en beheerstaken worden aangevraagd. De salariskosten worden vergoed volgens de afspraken in het akkoord Bekostiging wetenschappelijk onderzoek met de VSNU en zijn gebaseerd op de cao van de Nederlandse universiteiten (voor ZonMw geldt dat de kosten gebaseerd zijn op de cao-nfu). Dit budget is bedoeld voor vrijstelling van de aanvrager(s) voor onderwijs- en begeleidingstaken ten behoeve van de inzet van de aanvrager voor het aangevraagde onderzoek. Hiermee kan de werkgever de kosten dekken van de vervanger die het niet-onderzoeksdeel van de taken van de aanvrager(s) overneemt (zoals onderwijs-, bestuurs- en beheerstaken). Deze taken moeten worden gespecificeerd in de aanvraag. Materieel krediet Als materieel krediet kan het volgende aangevraagd worden, gespecificeerd naar onderstaande drie categorieën: Projectgebonden goederen/diensten verbruiksgoederen (glaswerk, chemicaliën, cryogene vloeistoffen, etc.) apparatuur en/of software (bijv. lasers, specialistische computers of computerprogramma's, etc.) meet- en rekentijd (bijv. supercomputertoegang, etc.), kosten voor aanschaf of gebruik van dataverzamelingen (bijv. CBS) toegang tot grote (inter)nationale faciliteiten (bijv., cleanrooms, synchrotrons, datasets, etc.) werk door derden (bijv. laboratoriumanalyses, dataverzameling, etc.) studentassistenten. Reis- en verblijfskosten reis- en verblijfskosten (nationaal en internationaal) congresbezoek (maximaal 2 per jaar) veldwerk werkbezoek Uitvoeringskosten zelf te organiseren binnenlands symposium/conferentie/workshop kosten open access publiceren kosten datamanagement kosten werving (incl. advertentiekosten) kosten voor vergunningaanvragen (bijv. dierproeven) Niet aangevraagd kunnen worden: Basisvoorzieningen binnen de instelling (bijvoorbeeld laptops, bureaus etc.) Onderhouds- en verzekeringskosten. Alle aangevraagde kosten moeten worden onderbouwd in de aanvraag. De redelijkheid van het aangevraagde budget (value for money) is een zwaarwegend beoordelingscriterium, en wordt door de raad van bestuur betrokken bij de vaststelling van het toe te kennen subsidiebedrag.
8 Hoofdstuk 3: Richtlijnen voor aanvragers / Replicatiestudies Samenwerking Het verdient de voorkeur om, waar mogelijk, meerdere replicaties op te nemen in één aanvraag. Bij Type 1-onderzoek zou dat meerdere analyses omvatten van bestaande data of het opnieuw analyseren van meerdere datasets. Bij Type 2 zouden meerdere experimenten op verschillende locaties uitgevoerd en gecombineerd kunnen worden. Samenwerking in consortia wordt expliciet gestimuleerd, evenals samenwerking via Study Swap en vergelijkbare initiatieven om zinvol samen te werken met andere projecten. 8 Cofinanciering is toegestaan, en wordt aangemoedigd waar dit resulteert in efficiënte samenwerking met andere projecten. Voorop staat dat onderzoek onafhankelijk uitgevoerd wordt. Belangen moeten in de aanvraag duidelijk worden aangegeven in de paragraaf conflict of interest. In geval van cofinanciering is een verklaring vereist bij de aanvraag dat de deze financiering toegezegd is. Cofinanciering is geen vereiste en geen pre in de beoordeling. 3.3 Wanneer kan aangevraagd worden Aanvragen dienen voor 6 juni 2019, om 14:00 uur CEST, door NWO te zijn ontvangen. Bij het indienen van uw aanvraag in ISAAC dient u ook online nog gegevens in te voeren. Begin daarom ten minste één dag vóór de deadline van deze call for proposals met het indienen van uw aanvraag. Aanvragen die na de deadline worden ingediend, worden niet in behandeling genomen. 3.4 Het opstellen van de aanvraag Download het aanvraagformulier vanuit het online aanvraagsysteem ISAAC of vanaf de website van NWO (onderaan de webpagina van het betreffende financieringsinstrument). Vul het aanvraagformulier in. De aanvraag moet worden opgesteld in het Engels. Sla het formulier op als pdf en upload het in ISAAC. Bij het opstellen van de aanvraag kan DANS (www.dans.knaw.nl) behulpzaam zijn. DANS kan adviseren over de toegang tot data via EASY, over toegang tot data die opgeslagen is bij repositories in het buitenland, en bij het voorbereiden van het deponeren van data voortkomend uit het onderzoek (zie ook de paragraaf over datamanagement onder 3.5). U kunt hierover contact opnemen met een datamanager van DANS (info@dans.knaw.nl). 3.5 Subsidievoorwaarden Op alle aanvragen zijn de NWO-subsidieregeling 2017 en het Akkoord bekostiging wetenschappelijk onderzoek van toepassing. Onafhankelijkheid ten opzichte van de oorspronkelijke onderzoekers Het replicatieonderzoek wordt onafhankelijk van de oorspronkelijk onderzoekers uitgevoerd. Aanvragers dienen niet betrokken te zijn geweest bij het te repliceren 8 https://osf.io/view/studyswap/.
9 Hoofdstuk 3: Richtlijnen voor aanvragers / Replicatiestudies onderzoek. Aanvragers dienen zich er van te vergewissen dat er bij geen van de teamleden sprake is van belangenverstrengeling ten opzichte van de oorspronkelijk onderzoekers, of dat anderszins op enigerlei wijze de schijn van vooringenomenheid bij de uitvoering van de replicatiestudie kan bestaan. Voorbeelden van persoonlijke belangen die in dit programma in ieder geval niet toegestaan zijn, zijn het samen publiceren met de oorspronkelijke onderzoekers in de afgelopen drie jaar (ook als dit ander onderzoek betreft), of op dit moment samenwerken met de oorspronkelijke onderzoekers in een ander project. Het repliceren van eigen onderzoek valt op deze grond ook buiten het programma. Voor een overzicht van persoonlijke belangen verwijzen we naar de voorbeelden en categorieën zoals beschreven in de NWO Gedragscode belangenverstrengeling. Het is echter vaak van belang dat er relevante informatie en gegevens bij de oorspronkelijke onderzoekers worden opgevraagd. Aanvragers dienen in hun aanvraag toe te lichten of de oorspronkelijke onderzoekers geïnformeerd c.q. benaderd zijn over het voorstel en aan te geven of, en zo ja welke afspraken er zijn gemaakt met de oorspronkelijk onderzoekers over de rol van de oorspronkelijke onderzoekers (advies over de voorgestelde replicatie, bijvoorbeeld) en hoe de resultaten van het onderzoek zullen worden gepubliceerd en gecommuniceerd. Uit deze beschrijving moet blijken dat de oorspronkelijke onderzoekers geen actieve onderzoekersrol hebben bij het replicatieonderzoek. Beschikbaarheid gegevens oorspronkelijke studie De aanvragers dienen te beschikken over de informatie over het te repliceren onderzoek die nodig is om een replicatie uit te voeren. De oorspronkelijke publicatie bevat hiervoor in de regel niet voldoende informatie. De aanvragers moeten de beoordelingscommissie ervan overtuigen dat zij deze benodigde informatie hebben, of zullen krijgen als het project wordt gefinancierd. Als er afspraken zijn gemaakt met de oorspronkelijke onderzoeker(s) over het beschikbaar stellen van gegevens, data, protocollen, toegang tot archieven, en dergelijke, dan moet in de aanvraag een bevestiging van die afspraken door de oorspronkelijke onderzoekers worden opgenomen. Hetzelfde geldt als de oorspronkelijke onderzoeker(s) een adviseursrol in het voorgesteld onderzoek zal/zullen spelen. NWO behoudt zich het recht voor om contact op te nemen met de oorspronkelijke onderzoekers om deze toezegging te verifiëren. Verantwoording kwaliteit gegevens In geval van een Type 2-studie dient de aanvraag ervan te overtuigen dat de replicatie uitgevoerd wordt op basis van gegevens die van voldoende omvang en kwaliteit zijn om conclusies te kunnen trekken. Bij het herhalen kwantitatief empirisch onderzoek waarbij een steekproef wordt genomen moet er een verantwoording van de steekproef opgenomen worden in de aanvraag. Om de benodigde steekproefgrootte te schatten wordt vaak gebruik gemaakt van een traditionele poweranalyse, waarbij de verwachte effectgrootte wordt gebaseerd op eerdere literatuur. Deze methode is problematisch. Er is overtuigend bewijs dat gepubliceerde effecten vaak overschat worden door publication bias en outcome reporting bias (waarbij significante effecten een grotere kans hebben om gepubliceerd te worden dan niet significante effecten) en (te) flexibele data-analyses. 9 Als men een overschat effect gebruikt als input voor een 9 Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716-aac4716. https://doi.org/10.1126/science.aac4716
10 Hoofdstuk 3: Richtlijnen voor aanvragers / Replicatiestudies poweranalyse, zal de voor de replicatie benodigde steekproefgrootte onderschat worden. Mogelijke manieren om dit probleem te omzeilen zijn de volgende: 1. Focus op de precisie van de schatting van effectgrootte. Bereken de hoeveelheid observaties die nodig is om een effect met een marge van X te schatten. Zie bijvoorbeeld Maxwell, Kelley & Rausch (2008). 10 2. Bereken de steekproefgrootte die nodig is voor de gewenste power om het kleinste, nog relevante effect te vinden of om statistical equivalence aan te tonen, gegeven de kleinste, nog relevante effectgrootte (zie bijvoorbeeld Lakens, 2014). 11 Aanvragers kunnen desgewenst ook kiezen voor een andere methode om de steekproefomvang te motiveren. Voor onderzoek dat met andersoortige bronnen werkt (schriftelijk materiaal of databases bijvoorbeeld) is het van belang dat de aanvraag overtuigend laat zien dat het geraadpleegde bronnencorpus kwalitatief vergelijkbaar of beter is dan in originele studie, en de kwaliteit heeft die nodig is voor een replicatie. Aanvragers dienen in hun aanvraag expliciet te bespreken hoe zij het wel of niet repliceren van het onderzoek zullen toetsen. Open Access Alle wetenschappelijke publicaties van onderzoek dat is gefinancierd op basis van toekenningen voortvloeiend uit deze call for proposals dienen onmiddellijk (op het moment van publicatie) wereldwijd vrij toegankelijk te zijn (Open Access). Er zijn verschillende manieren voor onderzoekers om Open Access te publiceren. Een uitgebreide toelichting hierop vindt u op www.nwo.nl/openscience. Nagoya Protocol Het Nagoya Protocol is op 12 oktober 2014 van kracht gegaan en zorgt voor een eerlijke en billijke verdeling van voordelen voortvloeiende uit het gebruik van genetische rijkdommen (Access and Benefit Sharing; ABS). Onderzoekers die voor hun onderzoek gebruikmaken van genetische bronnen in/uit het buitenland dienen zich op de hoogte te stellen van het Nagoya Protocol (www.absfocalpoint.nl). NWO gaat ervan uit dat zij de noodzakelijke acties ten aanzien van het Nagoya Protocol nemen. Transparantie: (pre)registratie en publicatie In sommige disciplines is het preregistreren van onderzoek gemeengoed aan het worden. In andere disciplines is dit op dit moment nog minder gebruikelijk. Bij het preregistreren leggen onderzoekers vooraf een aantal aspecten van hun onderzoeksaanpak vast, zoals het analyseplan en het datamanagement. Op deze manier is later aantoonbaar dat de analyses niet tijdens het onderzoek zijn aangepast en wordt de transparantie vergroot. Het preregistreren van onderzoek kan op verschillende plaatsen, bijvoorbeeld in een Open Ended Registration bij het Open Science Forum. 12 10 Maxwell, S.E., Kelley, K and Rausch, J.R (2008). Sample size planning for statistical power and accuracy in parameter estimation. Annual Review of Psychology, 59, 537-563. http://www.annualreviews.org/doi/10.1146/annurev.psych.59.103006.093735 11 Lakens, D. (2014). Performing high-powered studies efficiently with sequential analyses. European Journal of Social Psychology, 44(7), 701-710. https://psyarxiv.com/9yegd/ 12 http://help.osf.io/m/registrations/l/524205-register-your-project
11 Hoofdstuk 3: Richtlijnen voor aanvragers / Replicatiestudies Elk project dient te worden aangemeld bij een databank of register. Onderzoekers beschrijven in de aanvraag de inhoud van de preregistratie (onderzoeksprotocol, datamanagementplan en data-analyseplan) en onderbouwen dit. Na het afronden van de studie vindt het uploaden plaats van het logboek van de gegevensverzameling (een labjournal bijvoorbeeld), de datasets, de data-analyse (syntaxen en analysefiles, indien van toepassing) en alle uitkomsten. Deze gegevens worden toegankelijk gemaakt voor andere onderzoekers en zijn bij voorkeur publiek beschikbaar. Indien er redenen zijn om de gegevens niet publiek toegankelijk te maken, motiveren de aanvragers deze keuze in hun aanvraag. De wijze waarop registratie plaatsvindt is per gebied en discipline verschillend. Onderzoekers worden gevraagd aan te sluiten bij de meest recente en meest vooruitstrevende ontwikkelingen in de betreffende discipline en dit aan te tonen in hun aanvraag. Onderzoekers verkennen de mogelijkheden voor aanmelding van het onderzoeksprotocol bij tijdschriften, publicatie van het onderzoeksprotocol, alsmede de mogelijkheden voor publicatie van onderzoeksresultaten en de gegevens van het onderzoek. Onderzoekers nemen in hun aanvraag een disseminatieplan op waarin zij ook beschrijven hoe zij de resultaten van hun onderzoek binnen hun eigen (sub)discipline(s) zullen verspreiden. Waar van toepassing moeten onderzoekers in hun aanvraag aangeven welke reporting guidelines zij zullen volgen. Waar dierproeven onderdeel vormen van het voorgestelde onderzoek moeten de ARRIVE guidelines gevolgd worden. Na honorering van een aanvraag dient de onderzoeker een datamanagementplan in te dienen bij NWO. De onderzoeker beschrijft in dit plan of gebruik gemaakt wordt van bestaande data of dat het om een nieuwe dataverzameling gaat en hoe de dataverzameling dan FAIR (vindbaar, toegankelijk, interoperabel en herbruikbaar gemaakt wordt). Het datamanagementplan moet uiterlijk 4 maanden na honorering van de aanvraag via ISAAC zijn ingediend bij NWO. NWO keurt het plan zo snel mogelijk goed. Goedkeuring van het datamanagementplan door NWO is een voorwaarde voor de subsidieverlening. Het plan kan tijdens het onderzoek worden bijgesteld. Het formulier voor het datamanagementplan van NWO staat op: https://www.nwo.nl/documents/nwo/datamanagement%5b2%5d/formulier-nwodatamanagementplan. 3.6 Het indienen van een aanvraag Het indienen van een aanvraag kan alleen via het online aanvraagsysteem ISAAC. Aanvragen die niet via ISAAC zijn ingediend worden niet in behandeling genomen. Een hoofdaanvrager is verplicht de aanvraag via haar/zijn eigen ISAAC-account in te dienen. Indien de hoofdaanvrager nog geen ISAAC-account heeft, dient zij/hij dat minimaal een dag voor het indienen aan te maken. Dit om eventuele aanmeldproblemen op tijd te kunnen verhelpen. Indien de hoofdaanvrager al een account bij NWO heeft, is het niet nodig om een nieuw account aan te maken om een nieuwe aanvraag in te dienen. Bij het indienen van uw aanvraag in ISAAC dient u ook online nog gegevens in te voeren. Begin daarom ten minste één dag vóór de deadline van deze call for proposals met het indienen van uw aanvraag. Aanvragen die na de deadline worden ingediend, worden niet in behandeling genomen.
12 Hoofdstuk 3: Richtlijnen voor aanvragers / Replicatiestudies Voor vragen van technische aard verzoeken wij u contact op te nemen met de ISAAC-helpdesk, zie paragraaf 5.2.1.
13 Hoofdstuk 4: Beoordelingsprocedure / Replicatiestudies 4 Beoordelingsprocedure 4.1 Procedure 4.1.1 Ontvankelijkheid van de aanvragen De eerste stap in de beoordelingsprocedure is een toets of de aanvraag in behandeling genomen kan worden. Hiervoor worden de voorwaarden zoals beschreven in paragraaf 3.1, 3.2.2, 3.3 en 3.4 van deze call for proposals toegepast. Voor alle bij de beoordeling en/of besluitneming betrokken personen en betrokken NWO- en ZonMw-medewerkers is de NWO-code belangenverstrengeling van toepassing. NWO neemt geen aanvragen in behandeling waarop een of meer van de volgende aspecten van toepassing zijn: De aanvraag is niet correct of onvolledig ingevuld en de aanvrager heeft niet, of niet op tijd, voldaan aan het verzoek een gecorrigeerde aanvraag in te dienen; De aanvraag is niet in de Engelse taal opgesteld; De hoofdaanvrager voldoet niet aan de omschrijving zoals gegeven in paragraaf 3.1; De aanvraag voldoet niet aan de indieningsvoorwaarden zoals gegeven in hoofdstuk 3; De aanvraag is niet ingediend via ISAAC; De aanvraag is na de deadline ingediend. Wanneer correctie van de aanvraag mogelijk is, zal de aanvrager de gelegenheid krijgen om haar/zijn aanvraag binnen 48 uur aan te passen. Als de aanvraag binnen de gestelde tijd niet is gecorrigeerd, neemt NWO de aanvraag niet in behandeling. Gecorrigeerde aanvragen zullen na goedkeuring alsnog in behandeling worden genomen. 4.1.2 Beoordeling van de aanvragen De beoordeling van aanvragen bestaat uit twee fasen: interviewselectie en interviews door de beoordelingscommissie. Beoordelingscommissie De beoordelingscommissie wordt samengesteld uit methodisch/statistische experts en inhoudelijke experts op het gebied van SGW- en ZonMw-onderzoek. De samenstelling van de commissie kan voor de tweede fase van de beoordeling aangepast worden. Hou er in het opstellen van uw aanvraag rekening mee dat de commissie breed samengesteld is, en niet noodzakelijkerwijs een expert uit uw eigen subdiscipline bevat. Fase 1 - Interviewselectie De beoordeling in de interviewselectiefase bestaat uit twee delen: beoordeling op criteria A en B, en indien nodig, selectie van de meest kansrijke aanvragen voor interviews. Beoordeling criteria A en B. Na controle op ontvankelijkheid worden alle aanvragen door de commissie beoordeeld op de volgende twee criteria (zie paragraaf 4.2.1 voor een nadere omschrijving): A. Passendheid in het programma.
14 Hoofdstuk 4: Beoordelingsprocedure / Replicatiestudies B. De onafhankelijkheid ten opzichte van de oorspronkelijke onderzoekers. Alleen aanvragen die aan beide criteria voldoen komen in aanmerking voor de interviewfase. Interviewselectie Als na de beoordeling op criteria A en B het totaal aangevraagde subsidiebedrag het totaal beschikbare budget niet met meer dan tweeëneenhalf overschrijdt, worden alle aanvragen die aan criteria A en B voldoen geselecteerd voor de interviewfase. Als het totaal aangevraagde subsidiebedrag van de aanvragen het totaal beschikbare budget meer dan tweeëneenhalf maal overschrijdt, vindt aanvullend een selectie plaats van de meest kansrijke aanvragen voor de interviewfase. De aanvragen die voldoen aan criteria A en B worden daarvoor ook beoordeeld op een deel van de criteria die in fase 2 van toepassing zijn (zie paragraaf 4.2.2 voor een nadere omschrijving). Dit betreft de volgende drie criteria, die van gelijk gewicht zijn in de beoordeling: Criterium 1: Relatie tot het oorspronkelijke onderzoek Criterium 2: Beschikbaarheid van de benodigde gegevens Criterium 3: Kwaliteit van de replicatiestudie. In de situatie waarin deze uitgebreidere voorselectie plaats vindt beoordeelt de commissie de aanvragen zonder gebruik te maken van externe referenten. Selectie voor interview worden naar rato verdeeld tussen ZonMw en de SGWwetenschapsterreinen GW en MaGW op basis van het aantal aanvragen dat vanuit de drie gebieden een score van 5,4 of beter heeft ontvangen. Zodoende wordt in de aanvragen die worden geselecteerd voor interview een representatieve afspiegeling van de ingediende aanvragen van goede kwaliteit gerealiseerd. Aanvragers krijgen bericht indien er sprake is van een negatief oordeel van de commissie op criteria A en/of B. In het geval van de uitgebreidere interviewselectie, krijgen de minst kansrijke aanvragen bericht dat de commissie hun aanvragen niet beoogt te selecteren voor de interviewfase. Indien aanvragers een gegronde reden hebben om tegen het oordeel van de commissie in te gaan, kan een gemotiveerde reactie naar het bureau worden gestuurd. Naar aanleiding van de reactie kan de commissie haar oordeel herzien en besluiten een voorstel alsnog te selecteren. Als het betreffende voorstel niet wordt geselecteerd, ontvangt de aanvrager een formeel afwijzingsbesluit over de aanvraag. Fase 2 Beoordeling door de beoordelingscommissie De hoofdaanvrager wordt uitgenodigd voor een interview met de commissie en ontvangt hierbij korte feedback van de beoordelingscommissie. De geselecteerde voorstellen worden niet voorgelegd aan externe referenten. Het interview duurt maximaal 20 minuten, waarvan maximaal vijf minuten zijn gereserveerd voor een korte presentatie ( pitch ) door de hoofdaanvrager. Tijdens het interview heeft de beoordelingscommissie de gelegenheid om vragen te stellen. De hoofdaanvrager kan hier tijdens het interview in de discussie met de commissie op reageren. Op deze wijze wordt hoor- en wederhoor toegepast. De beoordeling van de voorstellen op basis van de presentatie en het interview mondt uit in een van de volgende kwalificaties: excellent, zeer goed, goed, ontoereikend. Vervolgens stelt de commissie, indien nodig, een prioriteitsvolgorde vast van de aanvragen die voor financiering in aanmerking komen gebaseerd op onderlinge kwaliteitsverschillen. De prioritering geschiedt binnen de kaders van de in deze call for proposals gepubliceerde beoordelingscriteria. De commissie formuleert
15 Hoofdstuk 4: Beoordelingsprocedure / Replicatiestudies een financieringsadvies voor de aanvragen in de interviewfase voor de raad van bestuur van NWO. Besluit De raad van bestuur van NWO neemt het besluit over de subsidieaanvragen op basis van het advies van de beoordelingscommissie. Honoreringen worden naar rato verdeeld tussen ZonMw en de SGW wetenschapsterreinen GW en MaGW op basis van het aantal aanvragen dat vanuit de drie gebieden als financierbaar is geïdentificeerd. Zodoende wordt in de gehonoreerde aanvragen een representatieve afspiegeling van de ingediende aanvragen van zeer goede kwaliteit gerealiseerd. Kwalificaties NWO voorziet alle uitgewerkte aanvragen van een kwalificatie. Deze kwalificatie wordt aan de aanvrager bekend gemaakt bij het besluit over het al dan niet toekennen van financiering. Om voor financiering in aanmerking te kunnen komen, dient een aanvraag ten minste de kwalificatie zeer goed te krijgen, en dient de score op elk van de criteria aan deze grens te voldoen. Voor meer informatie over de kwalificaties zie: http://www.nwo.nl/kwalificaties. 4.1.3 Tijdpad Het indicatieve tijdpad is als volgt: 6 juni 2019 Deadline indiening voorstellen september/oktober 2019 Interviewselectie november 2019 Bericht advies interviewselectie december 2019 Besluit raad van bestuur NWO interviewselectie Eind januari/februari 2020 Interviews maart 2020 Besluit raad van bestuur NWO NWO informeert de aanvragers over het besluit 4.2 Criteria 4.2.1 Beoordelingscriteria fase 1 A. Passendheid in het programma: Betreft het ingediende voorstel een Type 1- of Type 2-studie zoals omschreven in paragraaf 1.1? B. De onafhankelijkheid ten opzichte van de oorspronkelijke onderzoekers: Wordt het replicatieonderzoek onafhankelijk van en zonder belangenverstrengeling 13 tot de oorspronkelijke onderzoekers uitgevoerd? Als de oorspronkelijke onderzoekers een rol spelen in het voorgestelde onderzoek: wordt uiteengezet waar de samenwerking met de oorspronkelijke onderzoekers uit bestaat? Wordt aannemelijk gemaakt dat de originele 13 Zie voor vormen van belangenverstrengeling paragraaf 3.5 van deze call.
16 Hoofdstuk 4: Beoordelingsprocedure / Replicatiestudies onderzoekers geen actieve onderzoekersrol hebben en dat beïnvloeding voorkomen zal worden? Het uitgangspunt bij dit criterium is dat er geen sprake is van een verleden van samenwerking met de oorspronkelijke onderzoekers in het kader van de te repliceren studie(s). Het volledig uitsluiten van een verleden van samenwerking is in sommige vakgebieden niet reëel, maar zie paragraaf 3.5 voor informatie over vormen van betrokkenheid die in alle gevallen worden uitgesloten in dit programma. 4.2.2 Beoordelingscriteria fase 2 1. Relatie tot het oorspronkelijke onderzoek a. Is de originele studie hoeksteenonderzoek zoals gedefinieerd in paragraaf 3.2? Wordt overtuigend beargumenteerd waarom juist dit onderzoek herhaald moet worden? b. De toegevoegde waarde van de replicatie: i. Heeft de replicatie methodologische en/of inhoudelijke meerwaarde? ii. Is de originele studie eerder gerepliceerd en zo ja, is de motivering voor een aanvullende replicatie overtuigend? iii. Is de mogelijke impact van een replicatie groot? c. Is het gekozen type studie (1 of 2) de meest geschikte vorm van replicatie voor dit onderzoek? Wordt overtuigend beargumenteerd dat er geen sprake is van een Type 3-replicatiestudie? d. Exactheid van de replicatie: i. Is het voorgestelde onderzoek een zo exact mogelijke replicatie? ii. Zo nee, zijn de punten waarop het replicatieonderzoek afwijkt of is aangepast overtuigend beargumenteerd en noodzakelijk? 2. Beschikbaarheid benodigde gegevens a. Hebben/krijgen de onderzoekers toegang tot de relevante gegevens van de oorspronkelijke studie die nodig zijn om het replicatieonderzoek uit te voeren (bijvoorbeeld: benodigde data, oorspronkelijke coderingen, en het analyseplan voor Type 1- of het onderzoeksprotocol voor Type 2-onderzoek)? b. Indien bovengenoemde gegevens ontbreken: wat zijn de gevolgen voor de haalbaarheid van de replicatie? c. Als de oorspronkelijke onderzoekers gegevens zullen leveren die essentieel zijn voor de uitvoerbaarheid van het onderzoek, of een adviseurs- of andere rol spelen in het onderzoek: is hiervan een overtuigende bevestiging opgenomen in de aanvraag? 3. Kwaliteit van de replicatiestudie a. Overtuigen de aanvragers ervan dat de data die ze zullen gebruiken voor hun onderzoek van voldoende kwaliteit is voor het voorgestelde onderzoek? Indien er sprake is van kwantitatief empirisch onderzoek waarbij een steekproef wordt genomen: is een sample size justification en/of power analyse voor het voorgestelde onderzoek opgenomen in het voorstel? Blijkt hieruit dat de steekproef groot genoeg is? Zijn de onderliggende aannames voldoende onderbouwd? Zie de toelichting onder 3.5. b. Is het werkplan van de replicatiestudie duidelijk en doeltreffend? c. Stelt het voorgestelde plan van aanpak de onderzoekers in staat om een duidelijke conclusie te trekken over de repliceerbaarheid van het oorspronkelijke onderzoek? 4. Registratie, publicatie en disseminatie
17 Hoofdstuk 4: Beoordelingsprocedure / Replicatiestudies a. Is er een duidelijk plan voor preregistratie van het onderzoek, en de registratie van de data, data-analyse, protocollen en andere relevante gegevens over het onderzoek? Sluit dit aan bij de meest recente en meest vooruitstrevende ontwikkelingen in de discipline? Zijn er reporting guidelines genoemd die gevolgd zullen worden en zijn deze passend voor het onderzoek? b. Is er een concreet plan voor publicatie en disseminatie van de resultaten? Is dit realistisch voor het vakgebied? Laat het publicatieen disseminatieplan kansen liggen? 5. Aanvragers en budget a. Kwaliteit van de aanvragers. Zijn de onderzoekers in staat om het voorgestelde onderzoek uit te voeren? Bezitten de onderzoekers de juiste inhoudelijke en methodologische kennis en ervaring voor het voorgestelde onderzoek? b. Is het aangevraagde budget redelijk voor de uitvoering van het voorgestelde onderzoek (value for money)? Is de verdeling van het budget over personele en materiële posten zodanig dat het onderzoek goed uitgevoerd kan worden? Bij de beoordeling in fase 2 zal worden gewerkt met scores aan de hand van een 9- puntsschaal, waarin 1 de hoogste/beste score is en 9 de laagste/minste. Aan de criteria (en bij de interviewselectie onderdelen daarvan) worden scores toegekend. Op basis van de gegeven scores wordt een gestandaardiseerd gemiddelde berekend. Dit gemiddelde dient tevens als eindscore en bepaalt de positie in de rangorde.
18 Hoofdstuk 5: Contact en overige informatie / Replicatiestudies 5 Contact en overige informatie 5.1 Contact 5.1.1 Inhoudelijke vragen Voor inhoudelijke vragen over Replicatiestudies en deze call for proposals neemt u contact op met: Carlien Hillebrink, +31 (0)70 349 4311, c.hillebrink@nwo.nl Guillaume Macor, +31 (0)70 349 5299, macor@zonmw.nl 5.1.2 Technische vragen over het elektronisch aanvraagsysteem ISAAC Bij technische vragen over het gebruik van ISAAC kunt u contact opnemen met de ISAAC-helpdesk. Raadpleeg eerst de handleiding voordat u de helpdesk om advies vraagt. De ISAAC-helpdesk is bereikbaar van maandag t/m vrijdag van 10.00 tot 17.00 uur op telefoonnummer +31 (0)20 346 71 79. U kunt uw vraag ook per e-mail stellen via isaac.helpdesk@nwo.nl. U ontvangt dan binnen twee werkdagen een reactie. 5.2 Overige informatie Na de afronding van de onderzoeksprojecten zal de programmacommissie de uitkomsten van de pilot evalueren, om tot aanbevelingen te komen aan NWO. Deze evaluatie zal betrekking hebben op de uitkomsten van het gefinancierde onderzoek, zoals publicaties, preregistratie, toegankelijkheid van data en aanvullende gegevens over het onderzoek. Aan het einde van het programma vindt een conferentie plaats om de resultaten van het programma te presenteren. Gefinancierde onderzoekers in het programma presenteren hun ervaringen met het uitvoeren van hun replicatie en doen een uitspraak over de uitkomst van hun replicatie.
Uitgave: Nederlandse Organisatie voor Wetenschappelijk Onderzoek Versie: juli 2017 Bezoekadres: Laan van Nieuw Oost-Indië 300 2593 CE Den Haag maart 2019