Ministerie van Verkeer en Waterstaat Directoraat -Generaal Rijkswaterstaat Rijksinstituut voor Kust en Zee/RIKZ EVALUATIE RAPPORT AUDITS Contractlaboratoria AQUASENSE, Vestiging Colijnsplaat, AQUASENSE, Vestiging Amsterdam, BIODETECTION SYSTEM BDS BV, Amsterdam, TNO MILIEU, ENERGIE EN PROCESINNOVATIE AFDELING ECOLOGISCHE RISICO S, Den Helder, Bevindingen van audits uitgevoerd in 2004 bij contractlaboratoria die bioassays uitvoeren voor de CTT baggerspecie beoordeling. Dr. ir. O. te Nuyl Werkdocument RIKZ/OS.2005.803w November 2004
EVALUATIE RAPPORT AUDITS Contractlaboratoria AQUASENSE, Vestiging Colijnsplaat, AQUASENSE, Vestiging Amsterdam, BIODETECTION SYSTEM BDS BV, Amsterdam, TNO MILIEU, ENERGIE EN PROCESINNOVATIE AFDELING ECOLOGISCHE RISICO S, Den Helder, Bevindingen van audits uitgevoerd in 2004 bij contractlaboratoria die bioassays uitvoeren voor de CTT baggerspecie beoordeling. Dr. ir. O. te Nuyl Werkdocument RIKZ/OS.2005.803w November 2004 Evaluatie rapport audits contractlaboratoria 2004 1
Inhoudsopgave 1. Samenvatting 2. Audit; doel en advisering 3. Kwaliteitsmanagement RWS en contractlabortoria 4. Bevindingen bij de contract laboratoria 4.1. AquaSense Colijnsplaat 4.2 AquaSense Amsterdam 4.3 BDS 4.4 TNO 4.5 Discussie 4.6 Conclusie 5. Bevindingen bij de CTT Rapportage 5.1 AquaSense Colijnsplaat 5.2 AquaSense Amsterdam 5.3 BDS 5.4 TNO 5.5 Discussie 5.6 Conclusie 6. Conclusie en aanbevelingen 7. Literatuur Evaluatie rapport audits contractlaboratoria 2004 2
1 Samenvatting In het kader van het project Toxiteitstesten voor Zoute Baggerspecie is een beoordelingssysteem onder de naam chemie-toxiteits-toets CTT ontwikkeld. De deelnemende externe laboratoria werden in 2002 geaudit en opnieuw in november 2004 aan een audit onderworpen. Sinds de voorgaande audit in 2002 zijn in samenspraak met de vergunningverlener criteria geformuleerd, waaraan de bevindingen van de laboratoria moeten voldoen, zodat de positie van de laboratoria, vergunningaanvrager en vergunningverlener is gewaarborgd voor het op de juiste gronden verlenen van vergunningen of ontheffing. Dit heeft geresulteerd in een Handreiking voor baggerspecie en Handleiding voor contractlaboratoria. De beoordeelde laboratoria beschikken over een eigen kwaliteitsmanagementsysteem en hebben dit gedocumenteerd in eigen kwaliteitshandboeken. De laboratoria hanteren de standaardvoorschriften van het RIKZ en hebben deze omgewerkt tot operationele documenten. In alle laboratoria konden de dossiers van de opdrachten worden ingezien en beoordeeld. Hierbij zijn geen afwijkingen geconstateerd die van invloed zijn op de resultaten van de verrichtingen. De rapportage van de laboratoria voldoet in belangrijke mate aan de criteria die in het kader van de CTT zijn gesteld, dan wel komt overeen met de afspraken door het laboratorium met de opdrachtgevers over de rapportage zijn gemaakt. Opdrachtgevers van de laboratoria zijn naast RWS Directies ook havenbedrijven, andere laboratoria en ingenieurs- en adviesbureaus. De inhoud van de rapporten van de laboratoria die de verrichtingen CTT hebben uitgevoerd wordt door opdrachtgevers niet in alle gevallen op een volledige wijze overgenomen. Het uiteindelijke rapport wordt voorgelegd aan de vergunning- of ontheffingverlener. De inhoud van dit laatste rapport is niet altijd een solide basis voor de vergunning- of ontheffing verlener om een besluit op te baseren. Evaluatie rapport audits contractlaboratoria 2004 3
2. Audit ; doel en advisering DOEL van het audit traject Het Rijksinstituut voor Kust en Zee heeft in het kader van het project Toxiteitstesten voor Zoute Baggerspecie een beoordelingssysteem onder de naam chemie-toxiteits-toets CTT ontwikkeld (Stronkhorst et.al 2001). Kenmerkend hiervoor is het uitvoeren van bioassays door onafhankelijke externe laboratoria. In de afgelopen jaren is dit beoordelingssysteem opgezet met inbreng van onder andere externe laboratoria. In november 2004 werden audits uitgevoerd bij de laboratoria ter beoordeling van de stand van zaken. De gehanteerde criteria waren gebaseerd op ISO 9001:2000 en ISO 17025:2000. Van ieder onderzoek is een separaat verslag opgesteld en ter hand gesteld van het laboratorium. De heer dr. ir. O. te Nuyl bezocht namens het Rijksinstituut voor Kust en Zee voor een onderzoek in het kader van het project Toxiteitstesten voor Zoute Baggerspecie: 1. 1 november 2004 het laboratorium TNO Milieu, Energie en Procesinnovatie (TNO- MEP), de afdeling Ecologische Risico s (ER), Ambachtsweg 8a te Den Helder. 2. 1 november 2004 het laboratorium AquaSense, vestiging Amsterdam, Kruislaan 411A te Amsterdam; 3. 1 november 2004 het laboratorium Biodetection System BDS BV (BDS), Badhuisweg 3 te Amsterdam; 4. 2 november 2004 het laboratorium AquaSense, vestiging Colijnsplaat, Visserijweg 14a te Colijnsplaat; Ter beschikking van de beoordelaar stonden de volgende documenten: Rapporten van de uitgevoerde onderzoeken in 2002; Vragenlijst en antwoorden ter voorbereiding van het onderzoek; Handleiding voor contractlaboratoria bij uitvoering van CTT baggerspecie analyses; Standaardvoorschrift sediment toxiteitstest met de slijkgarnaal Corophium volutator, Specie-01, versie 4, juli 2004; Standaardvoorschrift sediment toxiteitstest met Microtox Solid Phase, Specie-02, versie 4, juli 2004; Standaardvoorschrift bepaling van 2,3,7,8-TCDD toxische eqiuvalenten in sediment met behulp van de DR-CALUX, Specie-07, versie 3, juli 2004. Tijdens het onderzoek is inzage verschaft in: Projectdossiers; Overige documenten die relevant waren voor het onderzoek. Evaluatie rapport audits contractlaboratoria 2004 4
3. Kwaliteitsmanagement contractlabortoria In het document Baggerspecie in zee is een beschrijving gegeven van de ontwikkeling van een nieuw effectgericht beoordelingssysteem onder de naam chemietoxiteits-toets CTT. Onderdeel van dit beoordelingssysteem is de toepassing van bioassays. RIKZ heeft een 3-tal bioassays geselecteerd voor routinematige toepassing in de CTT. De toetswaarden zijn inmiddels bepaald. De uitvoering van de routinematige testen is uitbesteed bij externe laboratoria. Deze laboratoria dienen aan eisen te voldoen, onder andere het uitvoeren van de verrichting op basis van de door RIKZ opgestelde en goedgekeurde standaardvoorschriften (Min V&W en VROM, 2001). TNO-MEP beschikt over een gecertificeerd kwaliteitsmanagementsysteem en bijbehorend gedocumenteerd systeem (kwaliteitshandboek) op basis van ISO 9001:2000. Dit kwaliteitsmanagementsysteem is in september 2004 door DNV voor het laatst beoordeeld. Het certificaat is verleend. De locatie Den Helder (de afdeling ER) wordt incidenteel in de beoordeling door DNV betrokken. De verrichtingen in het kader van de CTT zijn nooit beoordeeld. Bij de afdeling ER wordt ook onderzoek uitgevoerd waarvoor GLP-erkenning wordt geclaimd en is verkregen. Het Kwaliteitshandboek TNO-MEP is beschikbaar als digitaal document op het intranet van TNO en aan de beoordelaar gedemonstreerd. In het trefwoordenregister is geen relatie te vinden met de CTT-verrichtingen. Wel is vermeld: In Den Helder is een overzicht beschikbaar van de werkvoorschriften die van toepassing zijn. Het afgelopen jaar heeft de afdeling meegedaan aan ringtesten voor de Mictotox Solid Phase, waarvan de resultaten nog niet bekend zijn. AquaSense (de vestiging in Amsterdam en Colijnsplaat) beschikt over een gecertificeerd kwaliteitsmanagementsysteem en bijbehorend gedocumenteerd systeem (kwaliteitshandboek) op basis van ISO 9001:2000. Dit kwaliteitsmanagementsysteem is in mei 2003 door LRQA voor het laatst beoordeeld. Het certificaat is verleend. Inmiddels is het bedrijf onderdeel gaan uitmaken van de Grontmij en wordt het kwaliteitssysteem beoordeeld (november 2004) door LRQA vanuit het moederbedrijf. Het kwaliteitshandboek versie 6.4 is gedateerd 13 mei 2003 en is ingezien. In dit handboek zijn geen specifieke aspecten vermeld met betrekking tot de CTT. In de management review is geen specifieke aandacht geschonken aan de CTT, maar bij de doelstellingen is wel vermeld dat validatie-onderzoek moet worden uitgevoerd voor de Corophium en de Microtox. BDS heeft een verzoek tot accreditatie van de verrichting DR-Calux gericht aan de Raad voor Accreditatie (Sterlab). Vooruitlopend op de accreditatie is een kwaliteitsmanagementsysteem ingevoerd en gedocumenteerd in een kwaliteitshandboek, versie 1, d.d. 20 september 2004. Gezien de voorbereiding tot accreditatie heeft er nog geen formele interne audit plaatsgevonden en is ook de management review (nog) niet uitgevoerd. Evaluatie rapport audits contractlaboratoria 2004 5
4. Bevindingen bij de contract laboratoria 4.1. AquaSense Colijnsplaat Het validatie-onderzoek naar de Corophium is in Colijnsplaat uitgevoerd. Het rapport van dit onderzoek kon niet (binnen acceptabele tijd) worden getoond, maar naar eigen zeggen vielen de resultaten ruim binnen de eisen ten aanzien van reproduceerbaarheid en herhaalbaarheid van het RIKZ. Op de locatie Colijnsplaat wordt voornamelijk de Corophium uitgevoerd, overeenkomstig het voorschrift Specie-02, versie 4, juli 2004. De werkvoorschriften zijn omgewerkt tot werkprotocollen, zo is W-308 gebaseerd op de Specie-01. Naar aanleiding van het auditonderzoek in 2002 en de toegezonden vragenlijst was er enig dispuut betreffende de overeenkomsten en verschillen in de normen ISO 9001 en ISO 17025 en de wijze waarop dat kan worden vertaald in het beleid van de onderneming. Inmiddels is dit aspect zowel schriftelijk als mondeling verhelderd. De monsters worden bij AquaSense afgeleverd. Bij AquaSense worden de monsters van een unieke code voorzien en opgeslagen onder beheerste condities. Van de bewaarcondities wordt een registratie bijgehouden. De activiteiten voor de verrichting Corophium in het kader van de CTT omvatten naar zeggen circa 50 % tot 75 % van alle activiteiten van AquaSense in Colijnsplaat. Binnen één projectnummer 1929-2 zijn het afgelopen jaar circa 200 opdrachten uitgevoerd voor verschillende opdrachtgevers. Genoemd zijn: RWS Directie Noord-Holland, RWS Regionale dienst IJsselmerpolders, Groningen Seaports, Gemeente Harlingen, Gemeente Den Haag, Havenbedrijven Rotterdam, Zeeland Seaports, Laboratorium Analytico, Laboratorium Omegam, Ingenieursbureau Royal Haskoning Ingenieursbureau Oranjewoud, Ingenieursbureau Witteveen en Bos, Ingenieursbureau Dynova De verrichtingen Corophium worden allemaal uitgevoerd bij de AquaSense vestiging in Colijnsplaat. De verrichting Microtox kan ook in deze vestiging worden uitgevoerd, maar meestal vindt uitvoering in Amsterdam plaats. Deze verrichting werd in mei 2004 voor het laatst in Colijnsplaat uitgevoerd. De verrichtingen DR-Calux worden uitbesteed bij BDS in Amsterdam, waarmee een raamovereenkomst is gesloten. 4.2 AquaSense Amsterdam Evaluatie rapport audits contractlaboratoria 2004 6
Op de locatie Amsterdam wordt voornamelijk de Microtox uitgevoerd, overeenkomstig het voorschrift Specie-02, versie 4, juli 2004. Naar aanleiding van het auditonderzoek in 2002 en de toegezonden vragenlijst was er enig dispuut betreffende de overeenkomsten en verschillen in de normen ISO 9001 en ISO 17025 en de wijze waarop dat kan worden vertaald in het beleid van de onderneming. Inmiddels is dit aspect zowel schriftelijk als mondeling verhelderd. De activiteiten voor de verrichting Microtox in het kader van de CTT omvatten naar zeggen circa 5 % van alle activiteiten van AquaSense in Amsterdam. Het rapport met betrekking tot het validatie-onderzoek Microtox Solid Phase d.d. 2 februari 2004 is ingezien. Op impliciete wijze is geconcludeerd dat de resultaten van het onderzoek te variabel zijn en dat verder onderzoek noodzakelijk is. Een en ander is ingang gezet. De verrichtingen Corophium worden allemaal uitgevoerd bij de AquaSense vestiging in Colijnsplaat en de verrichtingen DR-Calux worden uitbesteed bij BDS in Amsterdam, waarmee een raamovereenkomst is gesloten. De monsters worden bij AquaSense (in Amsterdam of Colijnsplaat) afgeleverd. Bij AquaSense worden de monsters van een unieke code voorzien en opgeslagen onder beheerste condities. 4.3 BDS Er is een raamovereenkomst met AquaSense getroffen en er zijn afspraken gemaakt betreffende aanlevering van monsters en de wijze van rapporteren. Voor de overige opdrachtgevers worden individuele offertes uitgebracht. Na het dispuut in 2002 over de methode voor extractie, volgens de ASE-methode of de Soxleth-methode heeft op verzoek van RIKZ/RIVO onderzoek plaatsgevonden. Het RIVO rapport C048/02 d.d. 30 september 2002 is ingezien en als conclusie is door BDS en RIKZ getrokken dat de methoden uitwisselbaar zijn. Een voorschrift Specie-07 E met betrekking tot de extractie volgens de ASE-methode is door het RIKZ opgesteld en gepubliceerd. BDS voert de extractie altijd uit overeenkomstig de ASE-methode, rekeninghoudend met de bevindingen uit het RIKZ/RIVO-onderzoek. De werkzaamheden in het kader van de CTT bedragen circa 5 % van alle werkzaamheden die BDS uitvoert. 4.4. TNO-MEP afdeling ER De Microtox Solid Phase en de test Corophium volutator werden door de afdeling ER uitgevoerd. Het werkvoorschrift Specie-02, heeft een eigen code gekregen ER-090, is opgenomen in SOPMap1 en is gedateerd 22 mei 2002. Het werkvoorschrift Specie-02, juli 2004, met de code ER-090 d.d. 26 oktober 2004, moet nog worden nagezien door bevoegde medewerkers van de afdeling ER. In de map RIKZ Handboek is opgenomen de Speci-01, versie van juli 2004. Een overzicht is getoond van de bevoegdheden van de medewerkers en de documenten waarop dit is gebaseerd. Evaluatie rapport audits contractlaboratoria 2004 7
In het kader van de CTT werden het afgelopen jaar een beperkt aantal opdrachten uitgevoerd en deze activiteiten vormen een minimaal deel ten opzichte van de overige activiteiten van de afdeling ER. Opdrachten werden ontvangen van RWS de Directie Noord-Holland, van Corus en van Omegam. Opdrachten voor de DR-Calux worden aangenomen en vervolgens uitbesteed bij BDS te Amsterdam. De monsters worden bij de Afdeling ER afgeleverd. Bij de afdeling ER worden de monsters van een unieke code voorzien en opgeslagen onder beheerste condities. Projectdossiers zijn ingezien: Nummer 35818 voor Directie Noord-Holland met rapportage R 2004/245 d.d. 12 augustus 2004. Gezien werd het Plan van Aanpak en alle ruwe data. In de rapportage is verwezen naar uitbesteed werk bij Omegam en BDS. Duidelijk is aangegeven welke activiteiten zelf door de afdeling ER zijn uitgevoerd. TNO stelt de verantwoordelijkheid te nemen voor de resultaten van het uitbestede werk. Nummer 34604 voor de Directie Noord-Holland met rapportage R 2003/038 d.d. 28 juli 2003. Gezien werd het Plan van Aanpak en alle ruwe data. Bij deze rapportage is het rapport van BDS als bijlage opgenomen in het rapport van TNO. Nummer 34324 voor de Directie Noord-Holland / Corus met rapportage d.d. 10 november 2003. Het beschikbare dossier is ingezien. Nummer 34703 met rapportage R 2003/040, /372 en /371 d.d. 12 september 2003 aan onder andere Omegam. Het beschikbare dossier is ingezien. Dit projectnummer is uitvoerig binnen de afdeling ER geëvalueerd; dit kan gezien worden als een interne audit voor de CTT. 4.5 Discussie Naar aanleiding van de audit in 2002 en de discussie naar aanleiding hiervan hebben zowel het RIKZ als de laboratoria corrigerende en aanvullende maatregelen getroffen. Hierdoor is de soliditeit van de CTT verder onderbouwd. 4.6 Conclusie De laboratoria voeren de verrichtingen in het kader van de CTT op een juiste wijze uit en rapporteren aan hun opdrachtgever op een wijze die in belangrijke mate voldoet aan de eisen in het kader van de CTT respectievelijk wat is overeengekomen met de opdrachtgever. Evaluatie rapport audits contractlaboratoria 2004 8
5. Bevindingen bij de CTT Rapportage De Directie Noordzee van het ministerie V&W is vergunningverlener in het kader van de Wet Verontreiniging Zeewater (WVZ) en de Wet Verontreiniging Oppervlaktewater (WVO) en bepaalt de beoordelingscriteria UGT of CTT. De vier directies Zuid-Holland, Noord-Holland, Noord Nederland en Zeeland zien er op toe dat de wet wordt uitgevoerd. De eigenaar of beheerder van het sediment is het havenbedrijf, dat kan zijn een (semi)overheid, een bedrijf of particulier. Als de haven te weinig diepgang heeft zal deze eigenaar of beheerder opdracht dienen te geven aan een baggerbedrijf. De bestemming van de baggerspecie is onderworpen aan vergunningverlening. Aan het RIKZ is gevraagd een database te ontwikkelen, te vullen en te onderhouden met alle relevante gegevens die zijn verkregen in het kader van CTT. Een goede database wordt noodzakelijk geacht om historie op te bouwen en vergelijking tussen laboratoria mogelijk te maken. 4.1. AquaSense Colijnsplaat De ruwe data worden ingevoerd in een computerbestand. Naar zeggen wordt van deze bestanden dagelijks een back up gemaakt in Amsterdam, waarmee de vastlegging voldoende is gewaarborgd. Verificatie hiervan heeft bij deze audit niet plaatsgevonden. Zodra het onderzoek gereed is wordt één uitdraai gemaakt, ondertekend en aan de opdrachtgever gezonden. Er worden géén hard copies bewaard. De beschikbare documentatie van de opdracht van RWS Dienstkring Zeeuws- Vlaanderen projectnummer 1929-02 ZVL rapport d.d. 19 augustus 2004 is ingezien. Ten behoeve van deze audit is het rapport nogmaals uitgedraaid. Indien er vragen zijn over het rapport kan dit worden beoordeeld in de computer en er kan worden teruggegrepen op de ruwe data die tot nu toe minimaal vijf jaar zijn bewaard. De gegevens van BDS worden overgenomen in het rapport van Aquasense, waarbij gegevens van BDS (o.a. spreiding) worden weggelaten. Tevens is geconstateerd dat de getallen van BDS zijn vermeld als pg/mg en dat AquaSense deze vermeldt als ng/kg. Het rapport dat is ingezien voldoet aan de te stellen eisen in het kader van de CTT. In de rapporten wordt door AquaSense gemeld per monster met ja/nee of er een randvoorwaardenoverschrijding is. Reeds eerder is hierover gesproken met de verantwoordelijke medewerker. AquaSense wil hier mee aangeven dat de getallen die werden gevonden bij de uitvoering van de analyses kleiner zijn dan de getallen die in de CTT-criteria zijn vermeld. Voor de vergunningverlener is deze conclusie van AquaSense een onvoldoende solide basis om de vergunning te verlenen. Evaluatie rapport audits contractlaboratoria 2004 9
AquaSense geeft de opdrachtgever de mogelijkheid om de rapportage in een eenvoudige of uitgebreide vorm te ontvangen. Gezien de meerkosten die aan de uitgebreide vorm zijn verbonden willen de meeste opdrachtgevers uitsluitend de beperkte rapportage ontvangen. In het kader van ISO 9001 is hier weinig bezwaar tegen. In het kader van ISO 17025 en de positie van de vergunningverlener dient deze situatie met name door de vergunningverlener nader te worden beschouwd. 4.2 AquaSense Amsterdam In het algemeen worden de rapporten verzonden vanuit Colijnsplaat. De beschikbare documentatie van de opdracht van RWS d.d. 29 maart 2004 is ingezien. Van dit onderzoek was in Amsterdam het rapport aanwezig; de paginanummering was niet overeenkomstig de eigen bedoelingen (zijn het drie of vier pagina s?). De gegevens van BDS worden overgenomen in het rapport van Aquasense, waarbij gegevens van BDS (o.a. spreiding) worden weggelaten. Tevens is geconstateerd dat de getallen van BDS zijn vermeld als pg/mg en dat AquaSense deze vermeldt als ng/kg. Het rapport dat kon worden ingezien voldoet aan de te stellen eisen in het kader van de CTT. In de rapporten wordt door AquaSense gemeld per monster met ja/nee of er een randvoorwaardenoverschrijding is. Reeds eerder is hierover gesproken met de verantwoordelijke medewerker. AquaSense wil hier mee aangeven dat de getallen die werden gevonden bij de uitvoering van de analyses kleiner zijn dan de getallen die in de CTT-criteria zijn vermeld. Voor de vergunningverlener is deze conclusie van AquaSense een onvoldoende solide basis om de vergunning te verlenen. AquaSense geeft de opdrachtgever de mogelijkheid om de rapportage in een eenvoudige of uitgebreide vorm te ontvangen. Gezien de meerkosten die aan de uitgebreide vorm zijn verbonden willen de meeste opdrachtgevers uitsluitend de beperkte rapportage ontvangen. In het kader van ISO 9001 is hier weinig bezwaar tegen. In het kader van ISO 17025 en de positie van de vergunningverlener dient deze situatie met name door de vergunningverlener nader te worden beschouwd. 4.4 BDS De rapportage van BDS voldoet (nog) niet aan de te stellen eisen in het kader van de CTT en de eisen van ISO 17025. De afwijkingen zijn besproken en aanpassingen zullen worden getroffen. Inhoudelijk voldoen de rapporten wel wat betreft de volledigheid in het benoemen van de gehanteerde methodes, de resultaten en de meetonzekerheid. BDS rapporteert dat de extractie heeft plaatsgevonden met de ASE-methode. AquaSense neemt uit het BDS rapport per monster slechts het getal over en wijzigt de eenheid van pg/g in ng/kg gedroogd sediment. TNO-MEP neemt of het complete rapport van BDS als bijlage in haar rapportage op of vermeldt in haar eigen format de analyseresultaten. De werkwijze van andere opdrachtgevers is onbekend en niet onderzocht. 4.5 TNO Evaluatie rapport audits contractlaboratoria 2004 10
TNO rapporteert in het centraal voorgeschreven format, dat voldoet aan de te stellen eisen in het kader van de CTT. In het rapport R 2003/038 zijn de bevindingen van het bij BDS uitbestede werk compleet als bijlage opgenomen. In het rapport R 2004/245 zijn de resultaten van het uitbestede werk bij BDS in eigen tabellen opgenomen. Als reden werd gegeven dat het rapport van BDS nog niet beschikbaar was. TNO heeft een aantal gegevens (o.a. spreiding) niet opgenomen in de eigen rapportage. In alle rapportages is op een juiste wijze aangegeven dat de monstername niet heeft plaatsgevonden onder verantwoordelijkheid van TNO. Echter, TNO gebruikt de kwalificatie conform om aan te geven dat de monsters zijn genomen overeenkomstig een bepaald RIKZ-voorschrift. Deze conformiteit is niet door TNO beoordeeld of vastgesteld; TNO kan de conformiteit ook niet beoordelen. In de rapportages aan Omegam is onvoldoende voorbehoud gemaakt door TNO met betrekking tot wat Omegam met de gegevens van TNO zou mogen doen, zoals uitsluitend de TNO-rapporten als geheel te vermenigvuldigen. In de rapporten R 2003/038 en R 2004/245 wordt door TNO gemeld dat er geen overschrijding van de CTT-criteria is geconstateerd. Met de verantwoordelijke medewerker is dit besproken. TNO wil hier mee aangeven dat de getallen die werden gevonden bij de uitvoering van de analyses kleiner zijn dan de getallen die in de CTTcriteria zijn vermeld. Voor de vergunningverlener is deze conclusie van TNO een onvoldoende solide basis om de vergunning te verlenen. Voor een nadere uitwerking van deze problematiek wordt verwezen naar het audit rapport 2002. 4.6 Discussie De laboratoria beperken zich tot de ontvangst en daarna het zorgvuldig beheer van de monsters. Vervolgens worden overeenkomstig de standaardvoorschriften de verrichtingen uitgevoerd en worden de gegevens in dossiers, op een achteraf toegankelijke wijze, vastgelegd. De rapportage voldoet in belangrijke mate aan de in het kader van de CTT te stellen eisen. De analyse resultaten beperken zich tot de uitslagen en de kwaliteit van de uitslag wordt in het rapport vermeld of er wordt aangegeven dat de kwaliteit van de uitslagen is op te vragen bij het laboratorium. Zowel AquaSense als TNO-MEP geven aan dat een gevonden getal ja/nee een randvoorwaardenoverschrijding is. Beide laboratoria geven in een toelichting aan dat zij hiermee verklaren dat het gevonden getal kleiner/groter is dan een vooraf vaststaand getal zonder rekening te houden met de kwaliteit van het getal (lees standaarddeviatie of meetonzekerheid). Evaluatie rapport audits contractlaboratoria 2004 11
De rapporten van de laboratoria worden door de opdrachtgever, al dan niet omgezet in een ander format, voorgelegd aan de vergunning- of ontheffingverlener. Indien (inmiddels) de kwaliteit van de uitslagen niet meer is vermeld in de rapporten van de uitgevoerde verrichtingen vormen deze rapporten voor de vergunningontheffingverlener een onvoldoende solide basis om een oordeel te vormen over het verlenen van de vergunning of de ontheffing. 4.7 Conclusie De vergunning- ontheffingverlener heeft op basis van de rapporten die zij thans krijgt voorgelegd onvoldoende informatie om een solide oordeel te vormen over het verlenen van de vergunning of ontheffing. Volgens de ISO 17025, die in dit kader relevant is, moet bij het geven van opinies en interpretaties (en daarvan is hier sprake) ook de basis voor deze opinie en interpretatie worden vermeld. Tot de basis voor de opinie behoort niet uitsluitend de cijfermatige uitkomst van de verrichting (een enkel getal) maar moet ook een schatting van de meetonzekerheid worden betrokken omdat de onzekerheid invloed heeft op het voldoen aan de specificatielimiet. Geconstateerd is dat de meetonzekerheid zo groot kan zijn dat in een aantal situaties het oordeel had moeten luiden: weet niet of geen oordeel mogelijk over het voldoen aan de specificatielimiet. Evaluatie rapport audits contractlaboratoria 2004 12
5. Conclusie en aanbevelingen De conclusie op basis van de uitgevoerde audits is dat de laboratoria in de afgelopen periode van twee jaar vorderingen hebben gemaakt in het onderbouwen van de soliditeit van de uitgevoerde verrichtingen. De laboratoria beschikken over de juiste voorschriften, hebben aanbevelingen uit de voorgaande audit ter harte genomen, leggen dossiers aan en rapporteren op een wijze die in belangrijke mate voldoet aan de eisen die gesteld zijn in het kader van de CTT. Op grond van de audit en de bevindingen in 2002 werd geadviseerd de relevante criteria uit de ISO 17025:2000 te implementeren in het (een) kwaliteitsmanagementsysteem en de strijdigheden met ISO 9001:2000 zichtbaar te maken en beleid te ontwikkelen ten aanzien van de omgang hiermee. Het betreft voornamelijk de positie van het laboratorium als onafhankelijk onderzoeker ten opzichte van de opdrachtgever, de wijze van uitbesteden van onderzoek en het verwerken van de gegevens in de eigen rapportage aan de opdrachtgever van gegevens die door derden (BDS) zijn gerapporteerd. Opgestelde RIKZ Handleidingen voor gecertificeerde ISO laboratoria bij uitvoering van bioassays dienen als richtlijn te fungeren als de algemene eisen voor deze laboratoria. De laboratoria hebben het bovenstaande vergaand geïmplementeerd. Geconstateerd is dat in het kader van de CTT een divers aantal en soort opdrachtgevers een rol spelen, waaronder RWS Directies, ingenieurs- en adviesbureaus, eigenaren van havens en andere laboratoria. Opdrachten kunnen via verschillende routes lopen. Uiteindelijk worden alle verrichtingen DR-Calux uitgevoerd door BDS, wordt het merendeel van de opdrachten uitgevoerd door AquaSense, waarbij alle Corophium testen worden uitgevoerd in Colijnsplaat en het merendeel van de Mirotox wordt uitgevoerd op de locatie Amsterdam. TNO-MEP ontvangt slechts een beperkt aantal opdrachten (vergeleken met AquaSense) en kan de verrichtingen Corophium en Microtox zelf uitvoeren. De beoordeelde aboratoria rapporteren overeenkomstig de eisen die gesteld worden in het kader van de CTT. Opdrachtgevers nemen niet in alle situaties de gegevens van de analyse over in hun eigen rapporten die worden voorgelegd aan de vergunning- ontheffingverlener. De vergunning- ontheffingverlener dient eisen te stellen aan de inhoud van de rapporten die aan haar worden voorgelegd, met name ten aanzien van de kwaliteit van de uitslagen. De laboratoria beschikken over de kwaliteitskenmerken van de getallen die ze produceren. BDS rapporteert hierover altijd. TNO-MEP voegt het BDS rapport toe aan de eigen rapportage of vermeldt alle analyse gegevens van BDS. AquaSense maakt onderscheid in een beperkte of uitgebreide rapportage en laat de keuze aan de opdrachtgever. Evaluatie rapport audits contractlaboratoria 2004 13
6. Literatuur 1. Nuyl te O, en Schipper C., Handleiding contractlaboratoria bij CTT baggerspecie analyses, RIKZ/OS.2002.825x (2002). 2. Nuyl te O. en Schipper C., Handleiding contractlaboratoria voor gecertificeerde ISO 9001:2000 laboratoria bij uitvoering van bioassays, RIKZ/OS.2002.826x. 3. RIVO Vergelijking van extractie en zuiveringsmethoden voor sediment voor analyse met de DR-CALUX assay, RIVO CO48/02 (2002). 4. Schipper C.A. RIKZ Handboek Toxiciteitstesten voor Zoute Baggerspecie RIKZ/99.012x (1999). 5. Stronkhorst et al., RIKZ Bemonstering Zoute Baggerspecie WD RIKZ/AB- 99.117x (1999). 6. Vink R. en Jong de S. Handreiking WVZ nieuw beoordelingssysteem (2002). 7. Min. V&W en VROM; Kwalibo, concept beleidsnotitie bodembeheer op goede gronden (2001). Evaluatie rapport audits contractlaboratoria 2004 14