Hoe garandeer ik kwaliteit?

Transcriptie

1 definitie Hoe garandeer ik? het geheel van eigenschappen van een dat van belang is voor het voldoen aan vastgestelde vereisten The Netherlands gewijzigd naar ISO 8 inhoud hoe meet Alterra? voorbeelden van gebruik n sbing >>> n alleen hoe meet Alterra? mechanismen om te voldoen aan de vereisten wetenschappelijke analyse statistische analyse bepalen onbetrouwbaarheid publicatie in internationale gerefereerde literatuur visitatie (1x 5 jaar) sprocedures (zelfcontrole, ISO certificering) er is verschil tussen veronderstellen en aantonen wat zien we (te) vaak in Nederland?! in het onderzoek? water I I II II x y x y soort a soort b 3 soort c datum: dd-mm-yyyy naar: xxxx, yyyy i.o.v. xxxx conclusies: soort a wordt met y beter gevangen soort a komt op meer plaatsen voor dan verwacht soorten b en c worden met y minder gevangen het tijdstip van verzamelen in van groot belang onderzoekers worden afgerekend op publicaties in internationaal gerefereerde tijdschriften hoe hoger de impact factor van het tijdschrift des te enger zijn de seisen 1

2 8 6 Hypopotamal Ecological quality class sample species abundance N131 Albohete 1 N131 anisvoex 15 N131 Aselaqua 35 N131 Bathcont N131 Bithtent 1 N131 Caenluct 1 N131 Chalviri 11 N131 Cricsylv 33 N131 Dugelugu 13 N131 Erpoocto 3 N131 Erpotest N131 Gammpule 1 N131 Gloscomp 1 N131 GrappiAd N131 haliimad 1 N131 Helostag 77 N131 Hemimarg 1 N131 hytilasp 8 N131 Ischeleg 1 N131 Phaepssp 1 de wetenschappelijke publicatie de wetenschappelijke publicatie opbouw => eisen JNABS manuscript over effect ja/nee conserveren monsters intro => gerefereerde onderbouwing van bestaande kennis en probleemstelling materiaal & n => gerefereerde of zelf beschreven reproduceerbare n resultaten => statistische toets (kern en onzekerheden) discussie => gerefereerde reflectie van bevindingen versus bestaande kennis conclusies => alleen onderbouwde feiten materiaal & n => er is door verschillende personen uitgezocht commentaar editor => Another problem is that, as noted by referee 1, it is not clear whether quality control measures were applied to ensure specimens were not missed when the samples were sorted. Since different people sorted different samples, it seems possible that apparent effects of preservation were confounded or masked by differences among personnel. wat heeft de waterbeheerder aan deze praktijk? n cyclus sampling sorting identification t.b.v. het aspect drie componenten: objective site/ habitat selection 1. het gebruik van vereiste, gerefereerde n. conclusies baseren op statistische toets 3. conclusies voorzien van (on)zekerheden high good moderate poor bad assessment system % of individuals Bd typology Ob Ge Gc Od Gf Oc dim metric calculation data preparation data analyses veel n om macrofauna te bemonsteren 7-8 veelal bakken, kunstsubaat, cylinders, net, combinaties geen wetenschappelijke vergelijkingen, andere vergelijkingen niet altijd in voordeel net pogingen om net te standaardiseren bv Goris 198, Beltman 1983 IAWM gestandaardiseerd bemonsteringsprotocol (vd Hammen et al. 198) maar wat gebeurde er met het standaardmonster net opening -> varieert netmaaswijdte -> varieert monsterlengte -> varieert monstername naar oppervlak of tijd wijze van monstername -> varieert beschikbare onbetrouwbaarheidsanalyses ( x vb)? ruimte tijd

3 Coefficient of Variation CV taxa CV individuals April July September December Year (naar Verdonschot 199) 5 m standaard IAWM netmonster genormaliseerde middenloop 1 replica s alles uitgezocht determinatie tot soort seizoenen conclusie: variatie is het kleinst als steeds in december wordt bemonsterd, CV =. over het gehele jaar bezien aantal taxa meer meer sloot+plant sloot-plant natuur R =.98 EQC R =.99? R =.95 R = (naar Goris 198) meter 1,,, 8, 16 m IAWM netmonster watertypen alles uitgezocht determinatie tot soort eenmalig conclusie: moeten we wel één voor alle watertypen en alle doelen hanteren? voorbeeld: het uitzoeken (naar O Connor et al. ) box net box net box net gebruiken we wel de beste? vergelijk box netmonster ondiepe meren toenemend monsteroppervlak alles uitgezocht determinatie tot soort monsterinspanning vergelijkbaar voor 3 monsters is volgens twee n een deel uitgezocht, waarna alles is uitgezocht uitzoek A B %-afwijking tov totaal aantal taxa -16. ± ± 1.1 aantal individuen ± ± 8. (naar Vlek et al. ) conclusie: slechts delen van een monster uitzoeken geeft groot verlies aan taxa voorbeeld: het beoordelen voorbeeld: EBEOSWA versus KRW er bestaan veel beoordelingsn saprobie-index, K 135, regionale systemen, EBEOsystemen, KRW maatlatten naast veel internationale n (bv BMWP, RIVPACS, ASTERICS) absolute oordelen bestaan niet, onderlinge verschillen tussen n wel weinig wetenschappelijke vergelijkingen, vaak geen onzekerheden, geen validaties, e.d. EBEOSWA totaal score y =.8736x R = EQR score KRW maatlat conclusie: relatie is significant positief (helling), maar de getalswaarden kunnen aanzienlijk verschillen (spreiding -3 klassen)! 3

4 8 6 Hypopotamal Ecological quality class sample species abundance N131 Albohete 1 N131 anisvoex 15 N131 Aselaqua 35 N131 Bathcont N131 Bithtent 1 N131 Caenluct 1 N131 Chalviri 11 N131 Cricsylv 33 N131 Dugelugu 13 N131 Erpoocto 3 N131 Erpotest N131 Gammpule 1 N131 Gloscomp 1 N131 GrappiAd N131 haliimad 1 N131 Helostag 77 N131 Hemimarg 1 N131 hytilasp 8 N131 Ischeleg 1 N131 Phaepssp 1 EBEOSWA, KRW, ASTERICS, PERLODES conclusies n % monsters conclusies: KRW EBE AST OEC SI AD NL NL NL D D D sklasse P<.1 tussen alle beoordelingen behalve OEC en AD 6% verschil EBEO vs. KRW (1 klasse of meer) 66% van KRW 1 klasse hoger dan PERLODES huidige situatie: 1. er zijn veel n en variaties daarop in gebruik (zie o.a. 1 ste sdag) ((te) grote vrijblijvendheid). veel n zijn momenteel (vaak) niet wetenschappelijk onderbouwd (onbewust van (on)zekerheden) 3. de geschiktheid van n verschilt per doel en per watertype (onbewust van (on)mogelijkheden) kerndoelen waterbeheerders n cyclus vaststellen stoestand (monitoren, beoordelen) oorzaak/ ingreep analyse (achterhalen oorzaak ongewenste toestand/te herstellen factoren) volgen en evalueren ingrepen/herstel (monitoren, evalueren) bepalen van de natuurwaarde (zeldzame, doel-, indicatorsoorten) objective sampling sorting identification site/ habitat selection high good moderate poor bad assessment system Invulling is doelafhankelijk! % of individuals Bd typology Ob Ge Gc Od Gf Oc dim metric calculation data preparation data analyses sbing n randvoorwaarde: smanagement DOEL 1=te veel variatie uitvoerder n moeten wetenschappelijk onderbouwd zijn (waar relevant: statistisch getoetst, gevalideerd en voorzien van een onzekerheidsmaat) voordeel: (essentiële) bijdrage in het sproces =onderbouwing 3=doel/type specifiek meer aanloopinspanning

5 doelen: 1. splitsen per doel en bv herstel meten beoordelen voordeel: kosten en doeleffectief aanloop lang en kostbaar. verenigen brede voordeel: sneller te ontwikkelen daarna steeds kostbaar minder toegesneden (n): voor alle methodische onderdelen uit cyclus geldt: maak expliciete keuzes tav een valideer maar wel per doel en type bepaal onbetrouwbaarheid per doel/type stel ikte protocollen op voordeel: bouwt voort op huidige praktijk er ligt nog veel werk!!! (n), alternatieve opties: 1. LCS s (pas eenvoudige, snelle technieken toe) voordeel: goedkoop, eenvoudig, snel te ontwikkelen en implementeren minder gevoelig, sterk doelafhankelijk. centralisatie (beperk het aantal labs/landelijk) voordeel: effectief, eenvoudigere simplementatie, 3-5 jaarcycli over heel Nederland, doelgericht, gestandaardiseerd, enz.. uitvoerders zien geen wateren meer!! uitvoerder: 1. opleidingen cursussen (bv determinatie per orde/groep) workshops (bv monstername, ringonderzoek) examineer onderdelen uit ncyclus en per niveau (bv uit UK: familie, genus+soort) mbo/hbo specialisaties tbv micro- en macro-fyten/fauna universitair specialisatie aquatische ecologie, water/natuurmanagement voordeel: standaardisatie, kennisdoifte, begrip kosten experts beginners minder individuen (uitzoeken) minder taxa (uitzoeken + determinatie) meer foute identificaties (determinatie) smanagement: 1. vragen om onderbouwing, validatie, betrouwbaarheid. rendabel investeren in de aanloopfase (alles slechts 1 keer ontwikkelen) 3. opleidingen stimuleren. aansturen en controleren uitvoering ncyclus (naar Metzeling et al. 3) voordeel: bouwt voort op huidige praktijk vraagt veel aandacht, investering en overleg 5

6 het drieluik conclusies zelf-controle ISO RvA er is nog een lange weg te gaan! smanagement DOEL uitvoerder eerst eigen processen (sverbetering en z) op orde brengen pas daarna en noodzaak accreditatie wetenschappelijke instellingen opleidingen ringonderzoeken beoordelen 6