Dit is een samenvatting van het onderzoek naar effectieve interventies om de kwaliteit van de beoordelingen in de NWO-procedures te waarborgen.

Transcriptie

1 Dit is een samenvatting van het onderzoek naar effectieve interventies om de kwaliteit van de beoordelingen in de NWO-procedures te waarborgen. Voor het volledige onderzoeksrapport kan, wegens het vertrouwelijke karakter van de onderzoeksgegevens, een gemotiveerd verzoek ingediend worden bij de onderzoekers. 1

2 Het huidige onderzoek is een vervolg op het onderzoek naar de honoreringskansen voor mannen en vrouwen in de NWO-competitie (Van der Lee & Ellemers, 2015). Daaruit is gebleken dat NWO haar garantie voor gelijke honoreringspercentages voor mannelijke en vrouwelijke aanvragers niet altijd kan waarmaken. In navolging van de conclusies van dat onderzoek is besloten vervolgonderzoek te doen naar interventies gericht op 1) het vergroten van de alertheid van commissieleden op impliciete gender bias in de vorm van een training, en 2) de ontwikkeling van gender-neutrale kwaliteitslabels om onbevooroordeelde evaluaties te bevorderen. De interventies zijn evidence-based in de zin dat de grondslag ligt in empirische bevindingen en wetenschappelijke literatuur, en dat ze onderworpen zijn aan een pilot test om de effectiviteit voor de huidige toepassing in de NWO-procedures zoveel mogelijk te kunnen waarborgen. 2

3 In samenspraak met een klankbordgroep vanuit NWO zijn twee soorten interventies ontwikkeld: 1) Een training waarbij de commissieleden tijdens een vergadering zijn getraind op bewustwording van impliciete gender bias. 2) Een E-learning module met hetzelfde doel, die commissieleden individueel konden doorlopen voorafgaand aan de start van de beoordelingsprocedure. Beide interventies zijn getest in een lopende beoordelingsprocedure. Het gebiedsbestuur van MaGW heeft hun Veni procedure hiervoor ter beschikking gesteld. Voor de eerste pilot test (training) is ervoor gekozen om de vergelijking met de Veni procedure van ZonMW als controle groep te maken, daar MaGW en ZonMW vergelijkbaar zijn in termen van grote aantallen Veni-aanvragen, het aandeel vrouwelijke aanvragers, en ongelijke honoreringskansen voor mannen en vrouwen (Van der Lee & Ellemers, 2015). De tweede pilot test (E-learning) is zowel bij MaGW als ZonMW uitgevoerd en afgezet tegen de Veni procedure van de overige gebieden (ALW, CW, EW, GW, N, TTW, GO). Tevens heeft het gebiedsbestuur van het Bèta-domein hun Rubicon Bèta procedure ter beschikking gesteld voor de pilot test van de training. Een volledig overzicht van de pilot in de Rubicon Bèta procedure is te vinden in het onderzoeksrapport. Om de effectiviteit van de interventies te toetsen is gekeken naar 3 indicatoren: 1) De participatie van commissieleden in de interventie. 2) De evaluatie van de interventie door commissieleden die hebben deelgenomen. 3) De honoreringskansen en commissieoordelen voor mannelijke en vrouwelijke kandidaten in de procedures waarin de interventies zijn getest. 3

4 De tabel weergeeft een schematisch overzicht van de pilot test in de Veni procedure. De cellen met een cijfer reflecteren de toekenningsgegevens van de procedures die door NWO beschikbaar zijn gesteld en derhalve zijn gebruikt voor de effectiviteitsmeting. 0 staat hierbij voor de controlemetingen en 1 en 2 voor de interventiemetingen. De effectiviteit van de training is ten eerste getoetst door de gegevens van de MaGW Veni 2016 procedure (training) af te zetten tegen de gegevens van de MaGW Veni 2014 procedure (controle). Ten tweede zijn de gegevens van de MaGW Veni 2016 procedure (training) afgezet tegen de ZonMW Veni 2016 (controle) procedure. De effectiviteit van de E-learning is ten eerste getoetst door de gegevens van de ZonMW Veni 2017 procedure (E-learning) te vergelijken met de gegevens van de ZonMW Veni 2014 procedure (controle). Daarnaast zijn de gegevens van de MaGW en ZonMW Veni 2017 procedures (E-learning) afgezet tegen de gegevens van de Veni 2017 procedure van de overige gebieden (controle; ALW, CW, EW, GW, N, TTW, GO). Er is gekozen om de MaGW en ZonMW Veni 2014 rondes als controlemetingen te gebruiken, daar er tijdens deze ronde (i.t.t. de volgende rondes) geen expliciete aandacht was voor de kwaliteit van de NWO-beoordelingsprocedure met betrekking tot de kansen voor mannen en vrouwen. Dit leverde de meest zuivere effectmeting op. NB. De kwantitatieve onderzoeksgegevens uit de MaGW en ZonMW Veni 2015 ronde zijn ook ter beschikking gesteld door NWO. In 2015 was er veel media aandacht voor de kwaliteit van de NWO-beoordelingsprocedures en de kansen voor mannen en vrouwen, onder andere vanwege de publicatie van het onderzoeksrapport Honoreringskansen voor mannen en vrouwen in de NWO-competitie (Van der Lee & Ellemers, 2015). Er is in dat jaar echter geen interventie getest. De gegevens staan beschreven in de Appendix van het onderzoeksrapport. 4

5 De interventies zijn op de volgende wijze geïmplementeerd en getest in de lopende MaGW en ZonMW Veni procedures van 2016 en 2017: In de MaGW Veni 2016 procedure zijn commissieleden voorafgaand aan start van de beoordelingsprocedure (januari) gevraagd om online, individueel en op eigen gelegenheid, een Impliciete Associatietest te maken. Vervolgens heeft tijdens de interviewselectievergadering (mei; de eerste keer dat de commissies bij elkaar kwamen) de training plaatsgevonden. Deze had als doel commissieleden evidence-based handreikingen te bieden om de invloed van impliciete bias op de beoordeling van kandidaten zoveel mogelijk tegen te gaan. Dit gebeurde de eerste 30 minuten van de vergadering door (een van de) onderzoekers. De onderzoekers hebben de (inhoudelijke) vergadering niet bijgewoond. Aan het begin van de eerste interviewdag (juni), is een korte video getoond waarin de belangrijkste punten uit de training herhaald werden. De secretaris heeft zorggedragen voor het afspelen van de video. Na afloop van beoordelingsprocedure, wanneer de voorgedragen aanvragen voor honorering waren goedgekeurd door het NWO-(gebieds)bestuur, is commissieleden een link naar een online evaluatievragenlijst toegestuurd, welke zij individueel en op eigen gelegenheid konden invullen. In de MaGW en ZonMW Veni 2017 procedures zijn commissieleden voorafgaand aan de start van de beoordelingsprocedure (januari) gevraagd om online een E-learning module te doorlopen. Commissieleden kregen een link toegestuurd, en zij konden de module individueel en op eigen gelegenheid doorlopen. De module bevatte onder andere een Impliciete Associatietest, en een interactieve online versie van de training. Daar de participatiegraad van de E-learning laag bleek, zijn commissieleden voorafgaand aan de interviewselectievergadering herinnerd aan het verzoek om de E- learning te doorlopen. Aan het einde van de beoordelingsprocedure zijn commissieleden verzocht om de online evaluatievragenlijst in te vullen. NB. MaGW maakt onderscheid tussen 4 disciplinegroepen (Gedrag en Onderwijs, Sociale Wetenschappen, Economie en Bedrijfskunde, Recht en Bestuur. Sinds 2017 is er een vijfde disciplinegroep: Cognitieve Wetenschappen). Elke disciplinegroep heeft een eigen beoordelingscommissie, maar alle disciplinegroepen hebben dezelfde voorzitter (vaak een emeritus hoogleraar) en secretarissen (medewerkers van NWO). De training in 2016 is gegeven in elk van de disciplinegroepen. 5

6 De interventies bestonden uit verschillende onderdelen. Een daarvan was een Impliciete Associatietest (IAT). Het doel van deze IAT was om commissie leden bewust te maken van de mogelijkheid dat er impliciete associaties worden gemaakt tussen de kwaliteitskenmerken waarop kandidaten beoordeeld worden en (namen van) mannen en vrouwen. In de instructie werd aangegeven dat commissieleden weliswaar de opdracht hebben om de kwaliteit van de aanvragen te vergelijken, maar dat de procedure hen vraagt dit de doen aan de hand van kwaliteitskenmerken die mogelijk eerder met mannen dan met vrouwen worden geassocieerd. Vervolgens werd de IAT aangeboden, om commissieleden in staat te stellen zich bewust te worden van eventuele (gendered) associaties die zij hebben bij de kwaliteitskenmerken, en hen te laten ervaren dat zij deze met enige inspanning kunnen onderdrukken. Aan het einde van de test kregen commissieleden individuele feedback over de mate waarin zij in hun antwoorden impliciete associaties hadden laten zien. De IAT resultaten zijn vervolgens anoniem en op geaggregeerd niveau verwerkt. De IAT die op deze manier werd gebruikt, is specifiek ontwikkeld voor de doeleinden van NWO. De stimuli omvatten de kwaliteitskenmerken die in de NWO instructies en formulieren worden gebruikt om kwaliteit te beoordelen, maar meer overeenkomen met het mannelijke stereotype dan met het vrouwelijke stereotype, zoals in eerder onderzoek is vastgesteld (Van der Lee & Ellemers, 2015). De IAT is opgezet, en de data zijn verwerkt, volgens de richtlijnen beschreven in Greenwald, Nosek, & Banaji,

7 De training was op de volgende manier opgebouwd: Als doel van de training werd verwezen naar de ambitie van NWO de kwaliteit van de beoordelingsprocedure te optimaliseren, en zoveel mogelijk te waarborgen dat commissieleden in staat worden gesteld aanvragen eerlijk te vergelijken. Vervolgens werden de verschillende manieren waarop impliciete associaties, veelal onbewust en onbedoeld, eerlijke vergelijkingen in de weg kunnen staan toegelicht. Dit gebeurde per stap in de beoordelingsprocedure (d.w.z. beoordeling CV s, beoordeling potentie van kandidaten, beoordeling van de presentaties tijdens de interviews, en tijdens de prioritering van de aanvragen) aan de hand van wetenschappelijke literatuur en empirische gegevens. Vervolgens werd aan de commissieleden gevraagd om hun eigen ervaringen met, en voorbeelden van dergelijke impliciete associaties tijdens een beoordelingsprocedure met elkaar te delen. Daarna werden ook aan de hand van wetenschappelijke literatuur waarin dit is aangetoond verschillende strategieën toegelicht die kunnen helpen om te corrigeren voor impliciete associaties. Deze werden aan commissieleden aangeboden om ze te kunnen inzetten wanneer er sprake zou zijn van impliciete associaties en om oneerlijke vergelijkingen tijdens de beoordelingsprocedure te vermijden. De inhoud van de training is voor implementatie in de procedure voorgelegd aan de NWO klankbordgroep, secretarissen en voorzitter van de procedure waarin deze getest is. Tijdens de training is aangegeven dat het een pilot test betrof. De commissieleden werden aangemoedigd om hun suggesties ter verbetering (aan de onderzoekers, secretarissen en/of voorzitter) kenbaar te maken, om de werkbaarheid van de training in de procedure zoveel mogelijk te kunnen optimaliseren. 7

8 De E-learning module was inhoudelijk en wat betreft de opbouw vergelijkbaar met de training. De IAT was onderdeel van de E-learning module. Commissieleden kregen voor aanvang van de procedure een link toegestuurd naar de online module, welke zij op eigen gelegenheid konden doorlopen. Om de module enigszins interactief te maken is waar mogelijk gewerkt met stellingen waarop commissieleden konden reageren, mogelijkheden tot verdieping waarmee commissieleden zich op de hoogte konden stellen van wetenschappelijke literatuur en empirische studies over een bepaald onderwerp, en het beschrijven van eigen ervaringen met impliciete associaties tijdens beoordelingsprocedures. 8

9 Voor het eerste onderdeel van de effectmeting is gekeken naar de participatiegraad van commissieleden. Hoewel de interventies zoveel mogelijk waren ingebed in de lopende procedure, en commissieleden door het bestuur van NWO dringend is verzocht deel te nemen aan de pilot, was de uiteindelijke deelname vrijwillig. Dit was mede ingegeven door de bevinding uit eerder onderzoek dat verplichte deelname aan een training minder effectief is dan vrijwillige deelname. 9

10 De cirkeldiagrammen weergeven het percentage van het aantal commissieleden dat de verschillende onderdelen volledig heeft doorlopen en/of afgerond. Over het algemeen geldt dat de participatiegraad hoger is voor de training dan voor de E-learning. Dit geldt ook voor de onderdelen van de pilot training die online plaatsvonden (d.w.z. IAT en evaluatie). De training en herhalingsvideo vonden plaats tijdens commissievergaderingen, vandaar dat voor zover bekend alle commissieleden hierbij aanwezig waren. Als onderdeel van de evaluatie is commissieleden gevraagd wat voor hen redenen waren om al dan niet deel te nemen aan de pilot. In reactie hierop hebben sommige commissieleden expliciet aangegeven dat ze achter het initiatief van NWO staan om impliciete associaties tijdens beoordelingsprocedures zoveel mogelijk tegen te gaan. Deze commissieleden zijn van mening dat het goed is dat dergelijke interventies geïmplementeerd worden. Andere commissieleden hebben echter aangegeven dat ze dergelijke interventies volstrekt overbodig vinden, daar gender naar hun overtuiging geen rol speelt tijdens de beoordelingsprocedure, of omdat de procedure al tijdrovend genoeg is. 10

11 In de tabel staat een overzicht van de stimuli die zijn gebruikt in de IAT. De kwaliteitskenmerken zijn termen die gebruikt worden in de beoordelingsprocedure van NWO. In eerder onderzoek is vastgesteld dat deze termen niet gender-neutraal zijn. Dit wil zeggen dat uitmuntende termen eerder geassocieerd worden met het stereotiepe beeld van mannen, en ondersteunende termen eerder geassocieerd worden met het stereotiepe beeld van vrouwen (Van der Lee & Ellemers, 2015). De namen die als stimulusmateriaal zijn gebruikt zijn de meest voorkomende Nederlandse mannen en vrouwen namen uit 1980; een aannemelijk geboortejaar voor Veni aanvragers. De resultaten van de IAT zijn op geaggregeerd niveau verwerkt. Deze zijn afgezet tegen de resultaten deze test onder deelnemers in een neutrale context. Dit waren onderzoeksdeelnemers die op het moment van afname geen lid waren van een beoordelingscommissie, en niet attent waren gemaakt op de mogelijkheid dat het gebruik van gendered termen een eerlijke beoordeling van kandidaten in de weg kan staan. Vervolgens zijn de d-scores berekend (Greenwald et al., 2003). Deze d-score indiceert de sterkte en de richting van de impliciete associaties tussen de aangeboden stimuli. Een positieve d-score betekent dat de uitmuntende kwaliteitskenmerken gemakkelijker met mannen dan met vrouwen worden geassocieerd worden; een negatieve d-score geeft aan dat de uitmuntende kwaliteitskenmerken gemakkelijker met vrouwen dan met mannen worden geassocieerd. Deelnemers in een neutrale context vertonen het stereotiepe associatiepatroon: zij associëren de uitmuntende (vs. ondersteunende) kwaliteitskenmerken gemakkelijker met mannen dan met vrouwen (positieve d-score). Commissieleden die hebben deelgenomen aan ofwel de training ofwel de E-learning, laten echter geen bias zien; hun d-scores wijken niet af van nul. Dat wil zeggen, hun antwoorden laten niet zien dat zij de uitmuntende (vs. ondersteunende) kwaliteitskenmerken gemakkelijker associëren met mannen dan met vrouwen. Dit suggereert dat een instructie waarin gewezen wordt op de mogelijkheid dat kwaliteitskenmerken niet gender-neutraal zijn, en eerlijke vergelijkingen van aanvragen in de weg staan, beoordelaars in staat stelt impliciete associaties bij de kwaliteitskenmerken te onderdrukken. Dit kan vervolgens gelijke beoordeling van mannen en vrouwen bevorderen. NB. Tijdens de E-learning is de plaatsing van de IAT gecounterbalanced: deze werd ofwel aan het begin van de module ofwel aan het einde van de module aangeboden. De plaatsing van de IAT in de E-learning module had geen effect op de d-score. 11

12 Voor het tweede onderdeel van de effectmeting is gekeken naar de evaluatie van de interventies door commissieleden. Aan het einde van de beoordelingsprocedure is commissieleden een link naar een online vragenlijst toegestuurd. Deze evaluatievragenlijst bevatte een aantal algemene vragen over de kwaliteit van de beoordelingsprocedure alsmede specifieke vragen over de desbetreffende interventie. De evaluatievragenlijst is naar zowel commissieleden in de pilot gebieden alsmede naar commissieleden in de controle gebieden gestuurd. Op deze manier is getracht te achterhalen of deelname aan de interventie invloed heeft op de manier waarop commissieleden de beoordelingsprocedure ervaren. 12

13 In bovenstaande grafiek staat de gemiddelde gerapporteerde tevredenheid van commissieleden over verschillende aspecten (organisatie, kwaliteit, inrichting, belasting en tijdsinvestering) van de beoordelingsprocedure, alsmede de gemiddelde waargenomen kwaliteit van de beoordelingen (tijdens de voorselectie, interviewselectie, en de interviewronde) die commissieleden tijdens de beoordelingsprocedure geven. De gekleurde staven weergeven de evaluatie van commissieleden die hebben deelgenomen aan de pilot (geel = training; groen = E-learning). De grijze staaf weergeeft de evaluatie van commissieleden uit de controlegebieden in de jaren waarin de interventies zijn getest. Over het algemeen zijn alle commissieleden (in zowel de pilotgebieden als de controlegebieden) tevreden over de verschillende aspecten van de Veni beoordelingsprocedure en over de kwaliteit van de beoordelingen die zij geven. Belangrijker is echter dat er wat betreft de algemene tevredenheid over de beoordelingsprocedure, en waargenomen kwaliteit van de beoordelingen geen opvallende verschillen waarneembaar zijn tussen de tevredenheid van commissieleden die hebben deelgenomen aan de pilot en commissieleden uit de controlegebieden. Dit impliceert dat de interventies geen duidelijke invloed op de evaluatie van de algehele beoordelingsprocedure hebben gehad. 13

14 De bovenstaande grafiek geeft aan de linkerzijde informatie over de gemiddelde gerapporteerde weerstand van commissieleden tegen de implementatie van maatregelen ter bevordering van de kwaliteit van de beoordelingsprocedure. Over het algemeen geven commissieleden aan weinig weerstand te hebben tegen de implementatie van diversiteitsmaatregelen ter bevordering van de kwaliteit van de beoordelingsprocedure. Opvallend is dat commissieleden die daadwerkelijk hebben deelgenomen aan de pilot (zowel de training als de E-learning) minder weerstand rapporteren dan commissieleden die niet aan de pilot hebben deelgenomen (uit de controlegebieden). Dit duidt erop dat deelname aan de geteste interventies als minder belastend wordt ervaren dan commissieleden wellicht van te voren denken. In de bovenstaande grafiek staat aan de rechterzijde de gemiddelde tijd (in minuten) die commissieleden aangeven bereid zijn te investeren in maatregelen ter bevordering van de kwaliteit van de beoordelingsprocedure. Commissieleden die niet aan de pilot hebben deelgenomen (uit de controlegebieden) geven aan minder tijd te willen investeren in dergelijke maatregelen dan commissieleden die hebben deelgenomen aan de pilot. Dit sluit aan bij de voorgaande conclusie, namelijk dat commissieleden die hebben deelgenomen aan de pilot aangeven minder weerstand tegen dergelijke maatregelen te hebben dan commissieleden die niet hebben deelgenomen aan de pilot. 14

15 Voor het derde onderdeel van de effectmeting zijn de kwantitatieve toekenningsgegevens geanalyseerd. Om de evenredigheid van honoreringskansen voor mannen en vrouwen vast te stellen zijn Chikwadraattoetsen uitgevoerd met betrekking tot de samenhang tussen gender aanvrager (m/v) en de honoreringsbeslissing (ja/ nee). Dezelfde toets is uitgevoerd om de kansen voor mannen en vrouwen per beoordelingstap te analyseren. De Chi-kwadraattoets geeft aan in hoeverre het aantal mannen en vrouwen per beoordelingsstap (d.w.z. voorselectie, interviewselectie en honoreringen) een weerspiegeling zijn van het aandeel mannen en vrouwen onder degenen die een aanvraag hebben ingediend. Met behulp van variantieanalyses (i.e., ANOVA s) is onderzocht of de commissiebeoordelingen gemiddeld genomen gelijk zijn voor mannelijke en vrouwelijke aanvragers. Hierbij is gender aanvrager (m/v) als onafhankelijke variabele en de gemiddelde commissieoordelen (per criterium: kwaliteit van de aanvrager, kwaliteit van het voorstel, kennisbenutting) als afhankelijke variabele ingevoerd. Belangrijke kanttekening is dat de aantallen observaties (o.a. aantal aanvragen dat per gebied zowel pilot als controle in een ronde gehonoreerd is) gering zijn waardoor de uitkomsten van de statistische analyses niet volledig betrouwbaar zijn. Deze dienen dan ook met terughoudendheid geïnterpreteerd te worden. De statistische gegevens dienen vooral om inzicht te krijgen in het algemene patroon van bevindingen. 15

16 De aanleiding van het huidige onderzoek is onder andere de observatie dat mannen en vrouwen in de Veni competitie in het verleden ongelijke oordelen ontvingen, met name op het criterium kwaliteit van de aanvrager en met name tijdens de voorselectie- en de honoreringsronde (Van der Lee & Ellemers, 2015). De gemiddelde commissieoordelen voor mannen en vrouwen zijn daarom allereerst bekeken voor de pilotgebieden in de Veni 2014 ronde (controle). Tijdens de honoreringsronde (na de interviews), krijgen vrouwen met name bij MaGW minder gunstige beoordelingen dan mannen voor zowel hun kwaliteit als aanvrager als de kwaliteit van hun voorstel. Belangrijk om hierbij te vermelden is dat deze verschillen zichtbaar blijven nadat er gecontroleerd is voor geboortejaar en de effectieve onderzoekstijd van de aanvragers. Er waren geen verschillen tussen de scores die mannelijke en vrouwelijke aanvragers ontvingen voor de kennisbenutting. 16

17 In de grafiek staan de honoreringspercentages voor mannen en vrouwen (waarbij rekening is gehouden met het aantal mannelijke en vrouwelijke aanvragers) per pilot gebied in 2014 en 2016 weergegeven. Voor de effectmeting van de training vergelijken we ten eerste de honoreringspercentages voor mannen en vrouwen in de MaGW Veni 2016 procedure (training) met de MaGW Veni 2014 procedure (controle; within effect). Hoewel er zowel in 2014 als in 2016 geen systematische verschillen tussen de honoreringspercentages voor mannen en vrouwen zijn gevonden, oogt het patroon van de honoreringskansen voor mannen en vrouwen in 2016 evenrediger dan in Vervolgens vergelijken we de honoreringspercentages voor mannen en vrouwen in de MaGW Veni 2016 procedure (training) met de ZonMW Veni 2016 procedure (controle; between effect). Voor beide gebieden zijn er geen systematische man/vrouw verschillen gevonden, hoewel de honoreringspercentages voor mannen en vrouwen evenrediger ogen bij MaGW dan bij ZonMW. 17

18 In de grafiek staan de honoreringspercentages voor mannen en vrouwen (waarbij rekening is gehouden met het aantal mannelijke en vrouwelijke aanvragers) per pilot gebied in 2017 weergegeven. Voor de effectmeting van de E-learning zijn de honoreringspercentages voor mannen en vrouwen in de ZonMW Veni 2017 procedure (E-learning) ten eerste vergeleken met de ZonMW Veni 2014 procedure (controle; within effect). Hoewel er in de 2014 ronde sprake was van ongelijke kansen tijdens de voorselectieronde (vrouwen hadden minder kans dan mannen om door de voorselectieronde te komen), zijn er zowel in 2014 als in 2017 geen systematische verschillen in de uiteindelijke honoreringspercentages voor mannen en vrouwen gevonden. Vervolgens zijn de honoreringspercentages voor mannen en vrouwen in de MaGW en ZonMW Veni 2017 procedures (E-learning) vergeleken met de Veni 2017 procedures van de overige gebieden (controle; between effect). In deze controle gebieden was er in voorgaande jaren geen sprake van ongelijke kansen (Van der Lee & Ellemers, 2015). De honoreringspercentages voor mannen en vrouwen in MaGW en ZonMW (waar commissieleden E-learning werd aangeboden) verschilden in 2017 niet langer systematisch van de overige gebieden. MaGW en ZonMW zijn gebieden waar een vrijwel gelijke man-vrouw verdeling bestaat bij aanvragers, hetgeen alertheid voor de mogelijkheid van gender bias kan verlagen. Tegelijkertijd is er vooral bij MaGW sprake van een groot volume aanvragen en een lage selectieratio, hetgeen de cognitieve belasting van commissieleden vergroot. Beide elementen kunnen mede verklaren waarom juist in deze gebieden eerder sprake was van ongelijke kansen (zie ook Van der Lee & Ellemers, 2015). De honoreringskansen in 2017 suggereren dat meer aandacht voor de mogelijkheid van gender bias in deze gebieden en zichtbare inspanningen van NWO om dit tegen te gaan (in dit geval door het aanbieden van de E-learning pilot) kan bijdragen aan een vergelijkbaar en evenredig honoreringspatroon als in de overige gebieden. Samengenomen ogen de honoreringskansen voor mannen en vrouwen in de gebieden MaGW en ZonMW evenrediger verdeeld wanneer de pilot werd aangeboden aan commissieleden (ofwel de training ofwel de E-learning), en laten een vergelijkbaar evenredig patroon zien als de controlegebieden waar reeds in voorgaande jaren sprake was van gelijke honoreringskansen (Van der Lee & Ellemers, 2015). Het is met de beschikbare aantallen gegevens echter niet mogelijk statistisch betrouwbare verschillen aan te tonen. 18

19 Om meer inzicht te verkrijgen in de rol van gender bij de honoreringskansen en commissieoordelen, is gekeken naar de verschillen tussen mannelijke en vrouwelijke aanvragers in termen van leeftijd (geboortejaar), promotiejaar, effectieve onderzoekstijd (de tijd, in maanden, sinds de promotie dat aanvragers aan onderzoek hebben besteed) en huidige functie van de aanvragers. Over de hele linie verschillen mannen en vrouwen niet termen van hun leeftijd wanneer ze een aanvraag indienen. Vrouwen zijn echter gemiddeld genomen iets eerder gepromoveerd dan mannen en rapporteren meer effectieve onderzoekstijd dan mannen op het moment van aanvragen. Verder hebben mannen, in vergelijking met vrouwen, vaker een andere functie dan postdoc, UD, of UHD (o.a. medisch specialist). Van deze achtergrondvariabelen blijkt effectieve onderzoekstijd positief gecorreleerd te zijn met de honoreringskans. Dat wil zeggen, hoe meer effectieve onderzoekstijd aanvragers rapporteren, hoe groter hun honoreringskans. In het licht van dit verschil is het opmerkelijk dat er geen relatie is gevonden tussen gender en honoreringskansen: ondanks het algemene verband tussen onderzoekstijd en honoreringskansen, leidt het feit dat vrouwen aangeven meer effectieve onderzoekstijd te hebben gehad dan mannen, er niet toe dat hun honoreringskansen groter zijn. 19

20 De belangrijkste conclusies van deze pilot zijn als volgt: Het lijkt een positief effect te hebben als NWO expliciet aandacht besteedt aan de mogelijkheid dat impliciete bias de kwaliteitsoordelen over onderzoekers beïnvloedt, en duidelijk communiceert dat zij wil proberen dit zoveel mogelijk te vermijden. Gebieden waar in eerder onderzoek ongelijke kansen en ongelijke beoordelingen voor mannen en vrouwen werd geconstateerd (o.a. MaGW en ZonMW; Van der Lee & Ellemers, 2015), laten nu een meer evenredige man/vrouw verdeling zien. Op basis van de verschillende effectmetingen en de beschikbare gegevens ontstaat de indruk dat een interactieve sessie gekoppeld aan een commissiebijeenkomst (d.w.z. training) meer commissieleden op een constructievere manier aanzet tot reflectie over dit probleem dan het doorlopen van een individuele E-learning module. Het lijkt erop dat deelname aan de pilot niet wordt ervaren als een onredelijke verzwaring van het commissiewerk. Er zijn echter een aantal knelpunten die een zuivere effectmeting bemoeilijken: (1) Het blijft moeilijk harde statistische conclusies te trekken op grond van de aantallen gegevens die beschikbaar zijn en de vergelijkingen die er gemaakt konden worden (tussen gebieden). Hierdoor is het niet goed mogelijk een eenduidige relatie vast te stellen tussen het al of niet aanbieden van een interventie, en de oordelen die worden gegeven over de verdiensten van mannelijke en vrouwelijke aanvragers. (2) Veel commissieleden die tot de doelgroep behoorden hebben niet deelgenomen aan de pilot. Zij hebben ook geen gebruik gemaakt van de uitnodiging te laten weten wat hiervoor hun overwegingen waren. Hierdoor is het onduidelijk wat hun bezwaren zijn tegen de maatregelen die nu zijn uitgetest, of hoe deze kunnen worden weggenomen. 20

21 21