Replicatiestudies. Call for proposals. Sociale en Geesteswetenschappen Zorgonderzoek en Medische Wetenschappen e ronde

Transcriptie

1 Sociale en Geesteswetenschappen Zorgonderzoek en Medische Wetenschappen Call for proposals Replicatiestudies e ronde Den Haag, november 2017 Nederlandse Organisatie voor Wetenschappelijk Onderzoek

2 Inhoud 1 Inleiding Achtergrond Beschikbaar budget Geldigheidsduur call for proposals 2 2 Doel 3 3 Richtlijnen voor aanvragers Wie kan aanvragen Wat kan aangevraagd worden Wanneer kan aangevraagd worden Het opstellen van de aanvraag Subsidievoorwaarden Het indienen van een aanvraag 8 4 Beoordelingsprocedure Procedure Criteria 11 5 Contact en overige informatie Contact Overige informatie 14 6 Bijlage(n) 15

3 1 Hoofdstuk 1: Inleiding / Replicatiestudies 1 Inleiding 1.1 Achtergrond Replicatie is een essentieel onderdeel van de wetenschappelijke methode en maakt dat kan worden voortgebouwd op eerder aangetoonde en bevestigde wetenschappelijke bevindingen. Het is gebleken dat veel studies niet repliceerbaar zijn. Als onderzoek niet repliceerbaar blijkt, is dit veelal toe te schrijven aan toeval, of niet-opzettelijke fouten, maar p-hacking, publicatiebias en met name selective reporting zullen hierbij ongetwijfeld ook een grote rol spelen 1. Door het uitvoeren van replicatieonderzoek te stimuleren wil NWO een bijdrage leveren aan het vergroten van transparantie van onderzoek en aan de kwaliteit en de volledigheid van het rapporteren van resultaten. NWO sluit daarmee aan op initiatieven zoals het Reproducibility Project in de psychologie, en tijdschriften zoals The Journal of Finance die rubrieken in het leven roepen voor replicaties 2. NWO hoopt middels het stimuleren van replicatieonderzoek bij te dragen aan het meer gangbaar worden van replicatieonderzoek, en aan het inzicht in de repliceerbaarheid van onderzoek. Dit programma staat open voor het indienen van aanvragen voor het repliceren van onderzoek in de disciplines van ZonMw en het wetenschapsterrein maatschappij- en gedragswetenschappen (MaGW) van het NWO-domein Sociale en Geesteswetenschappen. Naar aanleiding van de evaluatie van de eerste ronde zijn de financieringsvoorwaarden aangepast. In toekomstige rondes kunnen verdere aanpassingen worden gemaakt. Er zijn drie typen van replicatieonderzoek te benoemen: 1. Replicatie met bestaande data (reproductie): hernieuwde analyse, met dezelfde vraagstelling, van de datasets uit de oorspronkelijke studie. 2. Replicatie met nieuwe data: nieuwe dataverzameling met hetzelfde onderzoeksprotocol als de oorspronkelijke studie. 3. Replicatie met dezelfde vraagstelling: nieuwe dataverzameling met een ander onderzoeksprotocol dan de oorspronkelijke studie waarbij de vraagstelling ongewijzigd blijft ten opzichte van het oorspronkelijke onderzoek. In dit pilotprogramma wordt uitsluitend onderzoek gefinancierd dat in de eerste twee categorieën valt en zuiver replicatieonderzoek betreft. In het geval van Type 1 onderzoek is het toepassen van andere data-analyse methoden mogelijk, bijvoorbeeld in een vergelijking met de oorspronkelijke methode, mits de motivatie hiervoor overtuigend is. Replicatieonderzoek dat een infrastructuur of (nieuwe) methodologie wil ontwikkelen, behoort nadrukkelijk niet tot de focus van dit pilotprogramma. Dit geldt tevens voor nieuwe meta-analyses. 3 1 Er zijn naast repliceerbaarheid meer factoren die de kwaliteit, maatschappelijke impact, integriteit en efficiency van onderzoek beïnvloeden. In dit kader wijzen wij graag op het programma Bevorderen van Verantwoorde Onderzoekspraktijken De reproductie van een bestaande meta-analyse valt wel binnen de mogelijkheden van Type 1 onderzoek.

4 2 Hoofdstuk 1: Inleiding / Replicatiestudies Programmacommissie De inhoudelijke sturing van dit pilotprogramma ligt voor een groot deel bij inhoudelijk experts op het gebied van replicatieonderzoek. NWO heeft daartoe een programmacommissie ingesteld waarin deskundigen op het gebied van replicatieonderzoek zitting hebben. De programmacommissie komt circa tweemaal per jaar bijeen om de programmering, voortgang, nieuwe ontwikkelingen, knelpunten en een eventuele tussentijdse bijstelling van het pilotprogramma te bespreken. De programmacommissie speelt geen rol in de beoordeling van de aanvragen. De programmacommissie adviseert de directies en besturen van ZonMw en het domein Sociale en Geesteswetenschappen en de raad van bestuur van NWO. 1.2 Beschikbaar budget Voor deze subsidieronde is ca. M 1 beschikbaar 4. Er kan maximaal voor een Type 1-project worden aangevraagd, en maximaal voor een Type 2- onderzoek. 1.3 Geldigheidsduur call for proposals Deze call for proposals is geldig tot en met de deadline 6 maart NWO heeft voor het programma M 3 beschikbaar gesteld, voor een periode van drie jaar. De inrichting van latere rondes wordt afgestemd op de ervaring in eerdere rondes.

5 3 Hoofdstuk 2: Doel / Replicatiestudies 2 Doel Met dit pilotprogramma wil NWO onderzoekers stimuleren replicatieonderzoek uit te voeren. Het pilotprogramma bestaat uit drie rondes dit is de tweede ronde. NWO wil tevens ervaring opdoen die kan leiden tot inzicht in een effectieve manier voor de opname van replicatieonderzoek in onderzoekprogramma s, en tot inzicht in en reflectie op de eisen die NWO stelt aan de methodologie en de transparantie van onderzoek.

6 4 Hoofdstuk 3: Richtlijnen voor aanvragers / Replicatiestudies 3 Richtlijnen voor aanvragers 3.1 Wie kan aanvragen Onderzoekers van de volgende kennisinstellingen kunnen aanvragen indienen: Nederlandse universiteiten; Universitair Medisch Centra KNAW- en NWO-instituten; het Nederlands Kanker Instituut; het Max Planck Instituut voor Psycholinguïstiek te Nijmegen; de Dubble-bundellijn bij de ESRF te Grenoble; NCB Naturalis; Advanced Research Centre for NanoLithography (ARCNL); Prinses Máxima Centrum voor kinderoncologie; NIVEL Trimbos-instituut RIVM. Kwalificaties aanvrager(s) Aanvragers zijn gepromoveerde onderzoekers die in vaste dienst zijn van of een aanstelling voor de duur van het project hebben 5 bij een van bovengenoemde instellingen. Aanvragers beschikken over aantoonbare methodologische competenties om replicatieonderzoek uit te voeren of te begeleiden. Aanvragers dienen aantoonbare expertise te hebben op het onderzoeksgebied van de te repliceren studie. Als het onderzoek door meerdere onderzoekers wordt uitgevoerd, moet uit de samenstelling van de projectgroep blijken dat de relevante expertises hierin zijn vertegenwoordigd. 3.2 Wat kan aangevraagd worden Voor dit pilotprogramma kan alleen financiering worden aangevraagd voor het repliceren van zogenoemd hoeksteenonderzoek: onderzoek dat gevolgrijk is in theoretisch of beleidsmatig opzicht en waarvan het daarom belangrijk is te toetsen of de resultaten waarop deze gevolgen gebaseerd zijn repliceerbaar zijn. Aanvragers dienen in hun voorstel te motiveren waarom het oorspronkelijke onderzoek dat zij willen repliceren als hoeksteenonderzoek beschouwd kan worden en waarom het van belang is dit te repliceren. Belangrijk daarbij is dat indien het onderzoek al eerder is gerepliceerd of er op het moment van indienen een replicatiestudie wordt uitgevoerd, de aanvragers overtuigend beargumenteren waarom een aanvullende replicatie zinvol is. Hoeksteenonderzoek betreft een of meerdere van de volgende soorten onderzoek: studies die veel geciteerd zijn met vergaande consequenties voor vervolgonderzoek. Hierbij kan ook gedacht worden aan studies met theoretische en/of praktische implicaties waarover een intensief postpublicatie debat is ontstaan, in letters-to-the-editor, op websites 5 Als er sprake is van een tijdelijke aanstelling voor de duur van het project is een garantiestelling van de werkgevende instelling vereist om aan te tonen dat de onderzoeker in kwestie een aanstelling heeft voor de duur van het project.

7 5 Hoofdstuk 3: Richtlijnen voor aanvragers / Replicatiestudies (bijvoorbeeld: of in blogs (bijvoorbeeld onderzoek dat een grote rol speelt in beleidsvorming of studies op basis waarvan belangrijke beleidsbeslissingen zijn genomen: bijvoorbeeld studies die implicaties hebben voor de organisatie en/of de financiering van de zorg of een cruciale rol spelen of naar verwachting gaan spelen bij een klinische richtlijn, met implicaties voor preventie van gezondheidsproblemen. onderzoek dat onderdeel uitmaakt van de canon van het onderwijs: onderzoek dat veel in tekstboeken voor studenten wordt genoemd. onderzoek dat veel media-aandacht heeft gekregen en daardoor een grote impact heeft op het publieke debat. studies met ingrijpende consequenties voor wet- en regelgeving. Vergoedingen voor promotiestudenten/beursalen aan een Nederlandse universiteit komen niet in aanmerking komen voor subsidie van NWO. Toelichting bij het aanvragen voor ZonMw-onderzoek Bij ZonMw-aanvragen kan gedacht worden aan preklinisch proefdieronderzoek, stamcel- en celkweekonderzoek, onderzoek gericht op modellen en humaan onderzoek gericht op preventie, diagnostiek, therapie en prognose. Replicatie van klinische trials valt buiten het bereik van het pilot programma. Reproductie, het opnieuw analyseren van data uit klinische trials, valt wél binnen het programma. Zie voor de disciplinecodes van ZonMw de attachment op Toelichting bij het aanvragen voor MaGW-onderzoek: Onderzoekers kunnen financiering aanvragen voor het repliceren van onderzoek dat binnen de maatschappij- en gedragswetenschappen valt. Er kan subsidie aangevraagd worden voor het repliceren van experimentele studies en voor de heranalyse van survey data. Voorbeelden van onderzoek in de maatschappij- en gedragswetenschappen dat in dit programma gerepliceerd kan worden zijn: onderzoek dat de basis vormt voor de ontwikkeling van lesmethodes of onderzoek dat de basis vormt voor interventies. Zie voor de disciplinecodes van het wetenschapsterrein MaGW de bijlage op Type replicatie, budget en cofinanciering Zoals benoemd in paragraaf 1.1 zijn er verschillende typen replicatiestudies te onderscheiden. Aanvragers dienen te beschrijven en onderbouwen welk type replicatiestudie (Type 1 of Type 2) het meest geschikt is om de oorspronkelijke studie te repliceren (Type 1 of Type 2). Er kan maximaal voor een Type 1-project worden aangevraagd, en maximaal voor een Type 2-onderzoek. Dit bedrag is vrij te verdelen over personele en materiële kosten. De looptijd van het onderzoek is maximaal twee jaar. Alle aangevraagde kosten moeten worden onderbouwd in de aanvraag. De redelijkheid van het aangevraagde budget (value for money) is een zwaarwegend beoordelingscriterium, en wordt door de Raad van Bestuur betrokken bij de vaststelling van het toe te kennen subsidiebedrag. Het verdient de voorkeur om, waar mogelijk, meerdere replicaties op te nemen in één aanvraag. Bij Type 1 onderzoek zou dat meerdere analyses omvatten van bestaande data of het opnieuw analyseren van meerdere verschillende datasets. Bij Type 2 zouden meerdere experimenten op verschillende locaties uitgevoerd en gecombineerd kunnen worden. Cofinanciering is toegestaan. Voorop staat dat onderzoek onafhankelijk uitgevoerd wordt. Belangen moeten in de aanvraag duidelijk worden aangegeven in de paragraaf conflict of interest. In geval van cofinanciering is een verklaring vereist bij

8 6 Hoofdstuk 3: Richtlijnen voor aanvragers / Replicatiestudies de aanvraag dat de deze financiering toegezegd is. Cofinanciering is geen vereiste en geen pre in de beoordeling. 3.3 Wanneer kan aangevraagd worden De deadline voor het indienen van aanvragen is 6 maart 2018, om 14:00 uur CET. 3.4 Het opstellen van de aanvraag Download het aanvraagformulier vanuit het online aanvraagsysteem ISAAC of via Vul het aanvraagformulier in. Sla het formulier op als pdf en upload het in ISAAC. Bij het opstellen van de aanvraag kan DANS ( behulpzaam zijn. DANS kan adviseren over de toegang tot data via EASY, over toegang tot data die opgeslagen is bij repositories in het buitenland, en bij het voorbereiden van het deponeren van data voortkomend uit het onderzoek (zie ook de paragraaf over data management onder 3.5). U kunt hierover contact opnemen met een datamanager van DANS (info@dans.knaw.nl). 3.5 Subsidievoorwaarden Op alle aanvragen is de NWO-subsidieregeling 2017 van toepassing. Onafhankelijkheid ten opzichte van de oorspronkelijke onderzoekers Het replicatieonderzoek wordt onafhankelijk van de oorspronkelijk onderzoekers uitgevoerd. Aanvragers dienen niet betrokken te zijn geweest bij het te repliceren onderzoek. Aanvragers dienen ervan te overtuigen dat er geen sprake is van vooringenomenheid of belangenverstrengeling tot de oorspronkelijk onderzoekers 6. Het is echter wel van belang dat de relevante informatie en gegevens, indien mogelijk, bij de oorspronkelijke onderzoekers wordt opgevraagd. Aanvragers dienen in hun aanvraag toe te lichten of de oorspronkelijke onderzoekers geïnformeerd c.q. benaderd zijn over het voorstel en aan te geven of, en zo ja welke afspraken er zijn gemaakt met de oorspronkelijk onderzoekers over toegang tot de benodigde informatie en gegevens, de rol van de oorspronkelijke onderzoekers (advies over de voorgestelde replicatie, bijvoorbeeld) en hoe de resultaten van het onderzoek zullen worden gepubliceerd en gecommuniceerd. Uit deze beschrijving moet blijken dat de oorspronkelijke onderzoekers geen actieve onderzoekersrol hebben bij het replicatieonderzoek. Beschikbaarheid gegevens oorspronkelijke studie Als de aanvraag gehonoreerd wordt terwijl de beschikbaarheid van de vereiste gegevens aannemelijk maar nog niet bewezen is, zal de toekenning onder voorbehoud van het verkrijgen van deze gegevens zijn. Het project kan in voorkomend geval starten wanneer die gegevens aantoonbaar in het bezit van de onderzoekers zijn. 6 Zie voor vormen van belangenverstrengeling de NWO Gedragscode belangenverstrengeling.

9 7 Hoofdstuk 3: Richtlijnen voor aanvragers / Replicatiestudies Verantwoording steekproefomvang In geval van een type 2 studie dient er een verantwoording van de steekproef opgenomen te worden in de aanvraag. Om de benodigde steekproefgrootte te schatten wordt vaak gebruik gemaakt van een traditionele poweranalyse, waarbij de verwachte effectgrootte wordt gebaseerd op eerdere literatuur. Deze methode is problematisch. Er is overtuigend bewijs dat gepubliceerde effecten vaak overschat worden door publication bias en outcome reporting bias (waarbij significante effecten een grotere kans hebben om gepubliceerd te worden dan niet significante effecten) en (te) flexibele data-analyses. 7 Als men een overschat effect gebruikt als input voor een poweranalyse, zal de voor de replicatie benodigde steekproefgrootte onderschat worden. Mogelijke manieren om dit probleem te omzeilen zijn de volgende: 1. Focus op de precisie van de schatting van effectgrootte. Bereken de hoeveelheid observaties die nodig is om een effect met een marge van X te schatten. Zie bijvoorbeeld Maxwell, Kelley & Rausch (2008) Bereken de steekproefgrootte die nodig is voor de gewenste power om het kleinste, nog relevante effect te vinden of om statistical equivalence aan te tonen, gegeven de kleinste, nog relevante effectgrootte (zie bijvoorbeeld Lakens, 2014). 9 Aanvragers kunnen desgewenst ook kiezen voor een andere methode om de steekproefomvang te motiveren. Open Access Alle wetenschappelijke publicaties van onderzoek dat is gefinancierd op basis van toekenningen voortvloeiend uit deze call for proposals dienen onmiddellijk (op het moment van publicatie) wereldwijd vrij toegankelijk te zijn (Open Access). Er zijn verschillende manieren voor onderzoekers om Open Access te publiceren. Een uitgebreide toelichting hierop vindt u op Nagoya Protocol Onderzoekers die voor hun onderzoek gebruikmaken van genetische bronnen in/uit het buitenland dienen zich op de hoogte te stellen van het Nagoya Protocol ( Het Nagoya Protocol is op 12 oktober 2014 van kracht gegaan en zorgt voor een eerlijke en billijke verdeling van voordelen voortvloeiende uit het gebruik van genetische rijkdommen (Access and Benefit Sharing; ABS). NWO gaat er vanuit dat zij de noodzakelijke acties ten aanzien van het Nagoya Protocol nemen. Transparantie: (pre-)registratie en publicatie Om transparantie te vergroten dient het project te worden aangemeld bij een databank of register. Onderzoekers geven aan wat bij de registratie voorafgaand aan de uitvoering van de studie aangemeld en ge-upload zal worden (onderzoeksprotocol, datamanagementplan en data-analyseplan) en onderbouwen dit. Na het afronden van de studie vindt het uploaden plaats van het logboek van de 7 Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716-aac Maxwell, S.E., Kelley, K and Rausch, J.R (2008). Sample size planning for statistical power and accuracy in parameter estimation. Annual Review of Psychology, 59, Lakens, D (2014). What p-hacking really looks like: A comment on Masicampo and LaLande. The Quarterly Journal of Experimental Psychology, 68 (4),

10 8 Hoofdstuk 3: Richtlijnen voor aanvragers / Replicatiestudies dataverzameling (labjournal), de datasets, de data-analyse (syntaxen en analysefiles) en alle uitkomsten. Deze gegevens worden toegankelijk gemaakt voor andere onderzoekers en zijn bij voorkeur publiek beschikbaar. Indien er redenen zijn om de gegevens niet publiek toegankelijk te maken, motiveren de aanvragers deze keuze in hun aanvraag. Onderzoekers verkennen de mogelijkheden voor aanmelding van het onderzoeksprotocol bij tijdschriften, publicatie van het onderzoeksprotocol, alsmede de mogelijkheden voor publicatie van onderzoeksresultaten en de gegevens van het onderzoek. Onderzoekers nemen in hun aanvraag een disseminatieplan op waarin zij ook beschrijven hoe zij de resultaten van hun onderzoek binnen hun eigen (sub)discipline(s) zullen verspreiden. Onderzoekers moeten in hun aanvraag aangeven welke reporting guidelines, relevant voor de gerepliceerde studie, zij zullen volgen. Waar dierproeven onderdeel vormen van het voorgestelde onderzoek moeten de ARRIVE guidelines gevolgd worden. De wijze waarop registratie plaatsvindt is per gebied en discipline verschillend. Onderzoekers worden gevraagd aan te sluiten bij de meest recente en meest vooruitstrevende ontwikkelingen in de betreffende discipline en dit aan te tonen in hun aanvraag. Na honorering van een aanvraag dient de onderzoeker een datamanagementplan in te dienen bij NWO. De onderzoeker beschrijft in dit plan of gebruik gemaakt wordt van bestaande data of dat het om een nieuwe dataverzameling gaat en hoe de dataverzameling dan FAIR (vindbaar, toegankelijk, interoperabel en herbruikbaar gemaakt wordt). Het datamanagementplan moet uiterlijk 4 maanden na honorering van de aanvraag via ISAAC zijn ingediend bij NWO. NWO keurt het plan zo snel mogelijk goed. Goedkeuring van het datamanagementplan door NWO is een voorwaarde voor de subsidieverlening. Het plan kan tijdens het onderzoek worden bijgesteld. Het formulier voor het datamanagementplan van NWO staat op: Het indienen van een aanvraag Het indienen van een aanvraag kan alleen via het online aanvraagsysteem ISAAC. Aanvragen die niet via ISAAC zijn ingediend, worden niet in behandeling genomen. Een hoofdaanvrager is verplicht zijn/haar aanvraag via zijn/haar eigen ISAACaccount in te dienen. Indien de hoofdaanvrager nog geen ISAAC-account heeft, dient hij/zij dat minimaal een dag voor het indienen aan te maken. Dit om eventuele aanmeldproblemen op tijd te kunnen verhelpen. Indien de hoofdaanvrager al een account bij NWO heeft, hoeft deze geen nieuw account aan te maken om een nieuwe aanvraag in te dienen. Bij het indienen van uw aanvraag in ISAAC dient u ook online nog gegevens in te voeren. Begin daarom ten minste één dag vóór de deadline van deze call for proposals met het indienen van uw aanvraag. Aanvragen die na de deadline worden ingediend, worden niet in behandeling genomen. Voor vragen van technische aard verzoeken wij u contact op te nemen met de ISAAC-helpdesk, zie paragraaf

11 9 Hoofdstuk 4: Beoordelingsprocedure / Replicatiestudies 4 Beoordelingsprocedure 4.1 Procedure Ontvankelijkheid van de aanvragen De eerste stap in de beoordelingsprocedure is een toets of de aanvraag in behandeling genomen kan worden. Hiervoor worden de voorwaarden zoals beschreven in hoofdstuk 3 van deze call for proposals toegepast. Voor alle bij de beoordeling en/of besluitneming betrokken personen en betrokken NWO- en ZonMw-medewerkers is de NWO-code belangenverstrengeling van toepassing. NWO neemt geen aanvragen in behandeling waarop een of meer van de volgende aspecten van toepassing zijn: De aanvraag is niet correct of onvolledig ingevuld en de aanvrager heeft niet, of niet op tijd, voldaan aan het verzoek een gecorrigeerde aanvraag in te dienen; De aanvraag is niet in de Engelse taal opgesteld; De hoofdaanvrager voldoet niet aan de omschrijving zoals gegeven in paragraaf 3.1; De aanvraag voldoet niet aan de indieningsvoorwaarden zoals gegeven in hoofdstuk 3; De aanvraag is niet ingediend via ISAAC; De aanvraag is na de deadline ingediend. Wanneer correctie van de aanvraag mogelijk is, zal de aanvrager de gelegenheid krijgen om zijn/haar aanvraag binnen 48 uur aan te passen. Als de aanvraag binnen de gestelde tijd niet is gecorrigeerd, neemt NWO de aanvraag niet in behandeling. Gecorrigeerde aanvragen zullen na goedkeuring alsnog in behandeling worden genomen Beoordeling van de aanvragen De beoordeling van aanvragen bestaat uit twee fasen: voorselectie en beoordeling door referenten en de beoordelingscommissie. Beoordelingscommissie De beoordelingscommissie wordt samengesteld uit methodisch/statistische experts en inhoudelijke experts op het gebied van MaGW- en ZonMw-onderzoek. In de eerste fase van de beoordeling zal de beoordeling plaatsvinden door een vooraf geselecteerde subset van leden van de beoordelingscommissie. Fase 1 - Voorselectie Na controle op ontvankelijkheid volgt de voorselectie. Indien het totaal aangevraagde subsidiebedrag het totaal beschikbare budget niet meer dan vier maal overschrijdt, worden de aanvragen in de voorselectie alleen beoordeeld op de volgende twee criteria (zie paragraaf voor een nadere omschrijving): A. Passendheid in het programma. B. De onafhankelijkheid ten opzichte van de oorspronkelijke onderzoekers Daarnaast geldt dat indien het totaal aangevraagde subsidiebedrag het totaal beschikbare budget wel meer dan vier maal overschrijdt, aanvragen in de voorselectie die voldoen aan criteria A en B ook worden beoordeeld op een deel

12 10 Hoofdstuk 4: Beoordelingsprocedure / Replicatiestudies van de criteria die in fase 2 van toepassing zijn (zie paragraaf voor een nadere omschrijving). Dit betreft de volgende twee criteria, die van gelijk gewicht zijn in de beoordeling: Criterium 1: Relatie tot het oorspronkelijke onderzoek Criterium 2: De kwaliteit van de replicatie. In deze situatie beoordeelt de commissie de aanvragen zonder gebruik te maken van externe referenten. In beide situaties geldt dat aanvragen een positief oordeel moeten krijgen van de commissie op de criteria passendheid in het programma en de onafhankelijkheid ten opzicht van de oorspronkelijke onderzoekers om voor beoordeling door externe referenten in aanmerking te komen. Aanvragers krijgen bericht indien er sprake is van een negatief oordeel van de commissie op deze criteria. In het geval van de uitgebreidere voorselectie, krijgen de minst kansrijke aanvragen bericht dat de commissie hun aanvragen niet beoogt te selecteren voor verdere behandeling. Indien aanvragers een gegronde reden hebben om tegen het oordeel van de commissie in te gaan, kan een gemotiveerde reactie naar het bureau worden gestuurd. Naar aanleiding van de reactie kan de commissie haar oordeel ten aanzien van de passendheid in het programma en/of relatie tot de oorspronkelijke onderzoekers herzien en besluiten een voorstel alsnog selecteren. Als het betreffende voorstel niet wordt geselecteerd, ontvangt de aanvrager een formeel afwijzingsbesluit over de aanvraag. Fase 2 beoordeling door referenten en de beoordelingscommissie Referentenrapporten en wederhoor Aanvragen die in de voorselectie worden geselecteerd voor verdere beoordeling worden voorgelegd aan externe referenten. De referenten beoordelen de aanvragen op de in fase 2 geldende criteria (zie paragraaf 4.2). De referentenrapporten worden, geanonimiseerd, voor schriftelijk wederhoor (weerwoord) voorgelegd aan de aanvrager. Beoordeling door de beoordelingscommissie De beoordelingscommissie beoordeelt vervolgens individueel de aanvragen op basis van de voor fase 2 geldende beoordelingscriteria (zie paragraaf 4.2) met inachtneming van de aanvraag, referentenrapporten en het wederhoor. De rol van de beoordelingscommissie verschilt van die van de referenten omdat deze, in tegenstelling tot de referenten, alle aanvragen, referentencommentaren en wederhoren ziet. Daarom kan de beoordelingscommissie tot een andere beoordeling komen dan de referenten. De beoordeling door de commissie leidt tot een beoordelingsadvies voor iedere aanvraag en een prioriteringsadvies van alle aanvragen. Besluit De Raad van Bestuur van NWO neemt het besluit over de subsidieaanvragen op basis van het advies van de beoordelingscommissie. Honoreringen worden naar rato verdeeld tussen ZonMw en het wetenschapsterrein MaGW op basis van het aantal aanvragen dat vanuit beide gebieden als financierbaar is geïdentificeerd. Zodoende wordt in de gehonoreerde aanvragen een goede afspiegeling van de ingediende aanvragen van zeer goede kwaliteit gerealiseerd.

13 11 Hoofdstuk 4: Beoordelingsprocedure / Replicatiestudies Kwalificaties NWO voorziet alle uitgewerkte aanvragen van een kwalificatie. Deze kwalificatie wordt aan de aanvrager bekend gemaakt bij het besluit over het al dan niet toekennen van financiering. Om voor financiering in aanmerking te kunnen komen, dient een aanvraag ten minste de kwalificatie zeer goed te krijgen. Voor meer informatie over de kwalificaties zie: Tijdpad Het indicatieve tijdpad is als volgt: 6 maart 2018 Deadline indiening voorstellen Maart/april 2018 Voorselectie Mei juli 2018 Raadplegen referenten Augustus 2018 Inwinnen wederhoor September 2018 Vergadering beoordelingscommissie Half oktober 2018 Besluit raad van bestuur NWO Medio/eind oktober 2018 NWO informeert de aanvragers over het besluit 4.2 Criteria Beoordelingscriteria fase 1 A. Passendheid in het programma: betreft het ingediende voorstel een Type 1- of Type 2 studie zoals omschreven in paragraaf 1.1? B. De onafhankelijkheid ten opzichte van de oorspronkelijke onderzoekers: Wordt het replicatieonderzoek onafhankelijk van en zonder vooringenomenheid of belangenverstrengeling 10 tot de oorspronkelijke onderzoekers uitgevoerd? Indien de oorspronkelijke onderzoekers niet zijn geïnformeerd c.q. benaderd over het replicatievoorstel: wordt aannemelijk gemaakt dat de voorgestelde replicatie goed kan worden uitgevoerd zonder samenwerking met de oorspronkelijke onderzoekers? Indien de oorspronkelijke onderzoekers wel zijn geïnformeerd c.q. benaderd over het replicatievoorstel: wordt uiteengezet waar de samenwerking met de oorspronkelijke onderzoekers uit bestaat? Wordt aannemelijk gemaakt dat de originele onderzoekers geen actieve onderzoeksrol hebben en dat beïnvloeding voorkomen zal worden? Het uitgangspunt bij dit criterium is dat er geen sprake is van een verleden van samenwerking met de oorspronkelijke onderzoekers in het kader van de te repliceren studie(s). Het volledig uitsluiten van een verleden van samenwerking is niet aan de orde, maar er dient te allen tijde sprake te zijn van een overtuigende beredenering van een voldoende mate van onafhankelijkheid. 10 Zie voor vormen van belangenverstrengeling de NWO Gedragscode belangenverstrengeling

14 12 Hoofdstuk 4: Beoordelingsprocedure / Replicatiestudies Beoordelingscriteria fase 2 1. Relatie tot het oorspronkelijke onderzoek a. Is de originele studie hoeksteenonderzoek zoals gedefinieerd in paragraaf 3.2? Wordt overtuigend beargumenteerd waarom juist dit onderzoek herhaald moet worden? b. De toegevoegde waarde van de replicatie: i. Heeft de replicatie methodologische en/of inhoudelijke meerwaarde? ii. Is de originele studie eerder gerepliceerd en zo ja, is de motivering voor een aanvullende replicatie overtuigend? c. Beschikbaarheid benodigde gegevens: i. Hebben/krijgen de onderzoekers toegang tot de relevante gegevens van de oorspronkelijke studie (benodigde data en het analyseplan voor Type 1- of het onderzoeksprotocol voor Type 2-onderzoek)? ii. Indien bovengenoemde gegevens ontbreken: wat zijn de gevolgen voor de haalbaarheid van de replicatie? Beschrijven de onderzoekers overtuigend hoe zij hiermee omgaan? 2. Kwaliteit van de replicatiestudie a. Wordt overtuigend beargumenteerd waarom het gekozen type studie (1 of 2) de meest geschikte vorm van replicatie is? b. Exactheid van de replicatie: i. Is het voorgestelde onderzoek een zo exact mogelijke replicatie? ii. Zo nee, zijn de punten waarop het replicatieonderzoek afwijkt of is aangepast overtuigend beargumenteerd en noodzakelijk? iii. Zo nee, wordt overtuigend beargumenteerd dat er geen sprake is van een Type 3 replicatiestudie? c. Is er een sample size justification en/of power analyse opgenomen in het voorstel? Blijkt hieruit dat de steekproef groot genoeg is? Zijn de onderliggende aannames voldoende onderbouwd? Zie de toelichting onder 3.5. d. Stelt het voorgestelde plan van aanpak de onderzoekers in staat om een duidelijke conclusie te trekken over de repliceerbaarheid van het oorspronkelijke onderzoek? 3. Registratie, publicatie en disseminatie a. Is er een duidelijk plan voor (pre)registratie van het onderzoek en de registratie van de data, data-analyse, protocollen en andere relevante gegevens over het onderzoek? Sluit dit aan bij de meest recente en meest vooruitstrevende ontwikkelingen in de discipline? Zijn er reporting guidelines genoemd die gevolgd zullen worden en zijn deze passend voor het onderzoek? b. Is er een concreet plan voor publicatie en disseminatie van de resultaten? Is dit realistisch? c. Laat het publicatie- en disseminatieplan kansen liggen? 4. Kwaliteit van de aanvragers a. Zijn de onderzoekers in staat om het voorgestelde onderzoek uit te voeren? b. Bezitten de onderzoekers de juiste inhoudelijke en methodologische kennis en ervaring voor het voorgestelde onderzoek? 5. Budget

15 13 Hoofdstuk 4: Beoordelingsprocedure / Replicatiestudies a. Is het aangevraagde budget redelijk voor de uitvoering van het voorgestelde onderzoek (value for money)? b. Is de verdeling van het budget over personele en materiële posten zodanig dat het onderzoek goed uitgevoerd kan worden? Bij de beoordeling in fase 2 zal worden gewerkt met scores aan de hand van een 9- puntsschaal, waarin 1 de hoogste/beste score is en 9 de laagste/minste. Aan de criteria (en bij de voorselectie onderdelen daarvan) worden scores toegekend. Op basis van de gegeven scores wordt een gestandaardiseerd gewogen gemiddelde berekend. Dit gemiddelde dient tevens als eindscore en bepaalt de positie in de rangorde. Bij het berekenen van de eindscores wordt rekening gehouden met het gewicht dat is toegekend aan de verschillende criteria. Criteria 1 t/m 3 dragen elk voor 25% bij aan de eindscore, criteria 4 en criteria 5 elk voor 12,5%.

16 14 Hoofdstuk 5: Contact en overige informatie / Replicatiestudies 5 Contact en overige informatie 5.1 Contact Inhoudelijke vragen Voor inhoudelijke vragen over Replicatiestudies en deze call for proposals neemt u contact op met: Carlien Hillebrink, +31 (0) , c.hillebrink@nwo.nl Guillaume Macor, +31 (0) , macor@zonmw.nl Technische vragen over het elektronisch aanvraagsysteem ISAAC Bij technische vragen over het gebruik van ISAAC kunt u contact opnemen met de ISAAC-helpdesk. Raadpleeg eerst de handleiding voordat u de helpdesk om advies vraagt. De ISAAC-helpdesk is bereikbaar van maandag t/m vrijdag van tot uur op telefoonnummer +31 (0) U kunt uw vraag ook per stellen via isaac.helpdesk@nwo.nl. U ontvangt dan binnen twee werkdagen een reactie. 5.2 Overige informatie Na de afronding van de onderzoeksprojecten zal de programmacommissie de uitkomsten van de pilot evalueren, om tot aanbevelingen te komen aan NWO. Deze evaluatie zal betrekking hebben op de uitkomsten van het gefinancierde onderzoek, zoals publicaties, preregistratie, toegankelijkheid van data en aanvullende gegevens over het onderzoek. Aan het einde van het programma vindt een conferentie plaats om de resultaten van het programma te presenteren. Gefinancierde onderzoekers in het programma presenteren hun ervaringen met het uitvoeren van hun replicatie en doen een uitspraak over de uitkomst van hun replicatie.

17 15 Hoofdstuk 6 Bijlage(n) / Replicatiestudies 6 Bijlage(n)

18 Uitgave: Nederlandse Organisatie voor Wetenschappelijk Onderzoek Versie: juli 2017 Bezoekadres: Laan van Nieuw Oost-Indië CE Den Haag november 2017