Onafhankelijk onderzoek in een maatschappelijk krachtenveld?

Transcriptie

1 Klankbordgroep Kennisplatform Elektromagnetische Velden 20 oktober 2011, s Hertogenbosch Onafhankelijk onderzoek in een maatschappelijk krachtenveld? Over de invloed van belangen op wetenschappelijk onderzoek Dr. Jeroen P. van der Sluijs for Sustainable Development and Innovation Utrecht University & Research in Ecological Economics, Eco-Innovation & Tool Development for Sustainability Université de Versailles Saint-Quentin-en-Yvelines, France

2 Why Most Published Research Findings Are False (Ioannidis, 2005) There is increasing concern that most current published research findings are false. The probability that a research claim is true may depend on study power and bias, the number of other studies on the same question, and, importantly, the ratio of true to no relationships among the relationships probed in each scientific field. In this framework, a research finding is less likely to be true when the studies conducted in a field are smaller; when effect sizes are smaller; when there is a greater number and lesser preselection of tested relationships; where there is greater flexibility in designs, definitions, outcomes, and analytical modes; when there is greater financial and other interest and prejudice; and when more teams are involved in a scientific field in chase of statistical significance. Simulations show that for most study designs and settings, it is more likely for a research claim to be false than true. Moreover, for many current scientific fields, claimed research findings may often be simply accurate measures of the prevailing bias. In this essay, I discuss the implications of these problems for the conduct and interpretation of research.

3 Bias Unintentional bias Overconfidence Representativeness Anchoring Bounded rationality Availability / lamp posting Implicit assumptions Motivational bias Strategic research behaviour Interests with regard to outcome of analysis

4 (2005) door achterblijvende overheidsfinanciering worden universiteiten en onderzoekinstellingen te veel afhankelijk van concrete externe onderzoekopdrachten. Ontsporingen treden op: de opzet van onderzoek, de gegevensverzameling en de interpretatie worden soms aangepast om een voor de opdrachtgever gunstige uitkomst te verkrijgen, en de publicatie van die uitkomst wordt soms verhinderd, vertraagd of aangepast aan de wensen van de opdrachtgever. Dit geldt zowel voor onderzoekopdrachten van overheden en belangengroepen als voor industriële opdrachtgevers.

5 Volkskrant onderzoek 2008 Kwart hoogleraren wordt gesponsord Bijna een kwart van de leerstoelen aan Nederlandse universiteiten wordt direct of indirect gefinancierd door externe partijen Uitschieter is Universiteit Wageningen, met 36 % gesponsorde leerstoelen Bron: Voorpagina Volkskrant 12 april 2008

6 Listen with care Waarschuwing! Van der Sluijs ontving onderzoeksgelden van... Utrecht University

7 Cover-ups! we now reveal Van der Sluijs hidden sponsors... What s hiding beyond the CATO logo... Utrecht University

8 Een greep uit het repertoire Eenzijdig financieren van welgevallige vraagstellingen; Belangrijke aspecten buiten de vraagstelling houden; Aannames maken en deze retorisch ipv feitelijk onderbouwen; Opzettelijk foutieve proefopzet kiezen om gewenst resultaat te krijgen; Opzettelijk verkeerd toepassen van statistiek; Wegmoffelen onzekerheden; Ongeoorloofde generalisatie; Weglaten van ongewenste uitkomsten, negeren onwelkome kennis; Verbod op openbaarmaking uitkomsten of langdurig embargo (IPR); Vervalsen gegevens literatuuronderzoek, waarneming of experiment; Bewust verkeerd of tendentieus weergeven van onderzoek van anderen; Onderzoeksgegevens uit de duim zuigen/fraude; Opzettelijk onjuiste conclusies trekken / stelliger dan gerechtvaardigd; In de hand werken van onjuiste interpretaties door de media; Het onheus bejegenen van collega s om onderzoek te beïnvloeden; Veinzen van expertise (acquisitie, media, hoorzittingen 2e kamer); Spindoctor technieken inzetten tegen onwelgevallige kennis; Gohst writing; Pal review (vriendjespolitiek);

9 Moord op de Honingbij 12 maart 2011 Bayer is producent van insecticide dat volgens wetenschappers bijdraagt aan massale bijensterfte. Wageningen Universiteit (WUR) beoordeelt voor het Ministerie de risico s van deze stoffen en ziet geen verband. Zembla toonde vergaande financiële banden aan tussen WUR (PRI BV) en Bayer. Hun ecotoxicologisch onderzoek wordt meestal in opdracht van de industrie uitgevoerd en daarover wordt niet gepubliceerd tenzij de opdrachtgever hiervoor toestemming geeft.

10

11

12 Sterke invloed agrochemische industrie op toelatingsprotocollen Slager keurt eigen vlees & ontwerpt keuringsprotocol! Samenstelling ICPBR werkgroep protocol invloed landbouwgif op bijenbroed: 1x Bayer, 1x BASF, 1x industrie-consultant, 3x toelatingsautoriteit Groot deel onderzoek bijensterfte gefinancierd door Bayer: Cry Varroa!

13 Klakkeloos gebruik van opmerkelijke veldproeven Herbeoordeling neonicotinoïden houdende bestrijdingsmiddelen 29 juni 2011 Ctgb p.44: In a field study, Cutler and Scott-Dupree (2007) found no effects on brood and colony development (including overwintering) after foraging on treated oilseed rape (residue levels up to 2.59 ppb, in pollen). Veldstudies wegen zwaarder dan labstudies in toelatingskader!

14 Veldproef Cutler & Scott-Dupree, 2007: Exposure to Clothianidin seed treated canola has no long-term impact on honey bees. J. Econ. Entomol 100, [ref]

15 Veldproef opmerkelijk opgezet! Afstand case en control 295 meter; volk (40000 bijen) foerageert in straal van 3km! (2800 ha) Blootstelling 3 weken, bijen fourageren 25 weken voor wintervoorraad 1/2800 x 3/25 x 100% = 0,004 % van de wintervoorraad kwam van proefveld Koolzaadstuifmeel gevonden in controle groep: case en control aten van elkaars veld Hidden sponsor: Bayer US$ [ref] In 2010 diskwalificeerde US-EPA deze studie [ref] Zomer 2011 baseerde Ctgb in NL zich klakkeloos op deze studie [p44 ref] Ctgb wordt gefinancierd door agrochemische industrie [ref]

16 Wetenschap-beleid interface klimaat Twee dominante strategieen: ALARMISTEN: Stelligere uitspraken dan stand van kennis toelaat om beleid vlot te trekken (geforceerde consensus), of SKEPTICI: Onzekerheden uitvergroten om maatregelen uit te stellen Beide bevorderen beleidsstrategieen die niet zijn toegesneden op de uitdagingen van dit complexe vraagstuk! Derde stem, die van kritische reflectie op zekerheden en onzekerheden die recht doet aan wetenschappelijke controversen en pluraliteit noodzakelijk.

17

18 Potential tipping points Tipping elements are regional-scale features of the climate that could exhibit threshold-type behaviour in response to human-driven climate change that is, a small amount of climate change at a critical point could trigger an abrupt and/or irreversible shift in the tipping element. The consequences of such shifts in the tipping element for societies and ecosystems are likely to be severe. Question marks indicate systems whose status as tipping elements is particularly uncertain. (Synthesis Report Climate Change Global Risks, Challenges & Decisions Copenhagen

19 Consensusmodel IPCC problematisch Valse zekerheid (hoge error costs!) Bevordert anchoring bias naar eerder ingenomen consensus posities (tunnelvisie) Verbergt diversiteit aan opvattingen onder wetenschappers; incompleet zicht op mogelijke beleidsopties Houdt zaken waarover geen consensus is ten onrechte buiten de aandacht en buiten het beleidsdebat

20 Omgaan met pluraliteit en onzekerheid in risicoanalyse Diversiteit van de kennisbasis: Neem het hele spectrum aan wetenschappelijke interpretaties mee; Robuustheid van de kennis onzekerheid en kritiek meenemen in analyse, synthese en afwegingen; Stel kwaliteitsanalyse centraal en ontwikkel een taal om beperkingen in de kwaliteit helder en transparant te communiceren Bayesian likelyhood terminologie is misleidend en suggereert zekerheden die er niet zijn; Gebruik de informatie afkomstig van andere dan wetenschappelijke bronnen maar toets deze en wees helder over de status van deze informatie; Verhelder de waarden die een rol spelen in het onderzoek en in de politieke context waarbinnen risicoonderzoek is ingekaderd. (Maxim en van der Sluijs, 2007)

21 Tegenwicht Gedragscodes (=binnen ongewijzigd krachtenveld end of pipe!) Multi-disciplinaire brede commissies Minderheidsstandpunten opnemen in adviezen (GR) Organiseer systematische kritische reflectie (KQA) Onderzoeksjournalistiek Extended Peer Review: Blogosphere Contra-expertise / Wetenschapswinkels Community Based Auditing Crowd financing: tegenonderzoek eigen vraagstelling Critical Discourse Analysis Audits Hervorming financiering universiteiten gewenst: meer 1e geldstroom, grotere academische vrijheid!

22