Notulen Van Ir. M.H. Voogt Onderwerp Notulen brainstorm kalibratie / validatie sensornetwerken Earth, Life & Social Sciences Princetonlaan 6 3584 CB Utrecht Postbus 80015 3508 TA Utrecht www.tno.nl T +31 88 866 42 56 F +31 88 866 44 75 Facilitator: TNO Datum: Aanwezigen: Janus Hoeks Intemo. Sensorsystemen ontwikkelen en produceren. Project Smart emissions in Nijmegen, sensor communicatie en ontsluiting van informatie. Heeft onlangs met RIVM gesproken. Dave de Jonge GGD Amsterdam. Traditioneel meetnet. Doen veldmetingen om kwaliteit van sensoren te testen. Gebruiken zelf nog geen sensoren. Peter van Breugel DCMR. Traditioneel meetnet. Sensoren bieden kans op potentiele verdichting of verlaging kosten. Open blik maar kritisch op kwaliteit. Rene Otjes ECN. Ontwikkelaar van sensoren voor luchtkwaliteit, AiREAS meetnet. Nicholas Hamm ITC (UTwente). Geostatistiek, betrokken bij AiREAS, STW project DAMAST. Vera van Zoest PhD ITC (Utwente) op het DAMAST project dat gaat over air quality mapping. John Schmeitz zzp er verbinden mens, technologie en proces. Binnen Aireas ICT coördinator. Burgerparticipatie gedragsverandering. Andre van der Wiel zzp er. Werkt aan visualisaties van open data, ook van AiREAS data. Loopt aan tegen onvolkomenheden in de data. Gerard Hoek IRAS. Onderzoek luchtverontreiniging, blootstelling en gezondheidseffecten. Primair als gebruiker van data. Eric de Groot arts. Imagelab / AMC. Eindgebruiker van de gegevens, geïnteresseerd in validatieproces. Ernst Meijer TNO. Programma luchtkwaliteit en sensoren (Environmental Sensing Lab). Milieulab CASTEL (UU, Deltares). Sensoren testen en doorontwikkelen, ICT infrastructuur van data naar informatie. Jan Duyzer TNO. Modelleren van concentraties van stoffen. Naar real time informatie. Marita Voogt TNO. Vertegenwoordiger van TNO in AiREAS. Onlangs rugzakproject uitgevoerd naar persoonlijke blootstelling. Datum notulen brainstorm kalibratie/validatie E-mail marita.voogt@tno.nl Doorkiesnummer +31 88 866 20 89 Afwezig: Joost Wesseling (RIVM), Genio van Hoof (Axianx), Jean Paul Close (AiREAS), Sandra van der Sterren (Eindhoven), Henk Nijhuis (Nijmegen)
2/6 Welkom door Ernst Meijer, voorzitter van de sessie. Doel van de sessie: onderzoeksvragen formuleren. Low cost: hoe los je kalibratie/validatie kosten op? Hoe gaat het als we verder gaan met sensoren die nog goedkoper worden en die meer vraagtekens oproepen. Hoe blijft dat beheersbaar? RIVM is nationaal referentielab. Zij zijn afwezig. Dat was onvoorzien. Het is belangrijk dat RIVM betrokken is. Inleiding Rene Otjes Hoe gaat het nu in AiREAS meetnet? 12 boxen per keer op RIVM station Genovevalaan, PM10 en NO2. Minimaal 5 dagen per batch. Daarmee leggen we onderlinge vergelijkbaarheid vast. Daarnaast is er een vaste box op de Genovevalaan. Die wordt gedurende een maand aan equivalentietest onderworpen. De meetprincipes verschillen met die van RIVM. Overwogen alternatieven: Mobiele kalibratie-unit. Ondoenlijk omdat je lange middelingstijd nodig hebt voor fijn stof. Voor gassen is het mogelijk. Kostbaar Boxen rouleren met inbegrip van LML box. (wat als stad geen LML heeft, duur) Alle boxen terug naar het lab (duur en niet representatief). Intrinsiek, automatische performance controle. Inbouwen in de sensor zelf. (niet volledig dekkend). Online validatie gebeurt automatisch voor eerste kwaliteitsslag: validatie als een procedure voor foutuitsluiting en dus acceptatie van de data. CEN WG42 ontwikkelt een standaard voor testen van low cost sensoren. Discussie gaat over: moet je sensoren in lab of in veld of allebei testen. Nuttig om input van de groep te krijgen. Als je in veld test moet je hem op zo n locatie testen waar je hem ook gaat toepassen. Inleiding Nick Hamm DAMAST project Van meetdata via luchtkwaliteitkaarten naar gezondheidsonderzoek. Kwaliteit (en kwantificering van de onzekerheid) gevraagd: data, mapping, health data, user utilization (toepassing). Data: traceability, uncertainty in calibrated value (static or dynamic), outlier detection geostatistical methods, model uncertainty. Nick laat voorbeeld EU-schaal zien, willen ze ook op stadsschaal doen. Toepassingen: epidemiology, control measures, citizen engagement
3/6 Aanvulling Gerard Hoek Gewenste eigenschappen sensoren vanuit gezondheidsonderzoek: Tijdseriestudies precisie, coherent, uiteindelijk voor normen wel absolute niveaus, maar voor eerdere stappen niet. We moeten wel weten hoe een sensor zich gedraagt. Ruimtelijke studies precisie, aan begin dezelfde performance als aan eind (langdurig onderzoek), verschillende sensoren zullen zich altijd verschillend gedragen. Dave: Feit is dat je verschillende datastromen hebt (bijvoorbeeld van meetnetten op de luchtkwaliteit app, AiREAS). Waarom komen stromen niet bij elkaar en wat kunnen we eraan doen om die kans te benutten? Smart Citizen Kit in Amsterdam was geen succes omdat er niet is samengewerkt. Huidige leveranciers van meetnetten lopen nog niet warm voor low cost oplossingen. Ernst: Herkenbaar, maar laten we ons hier beperken tot de vraag naar validatie en kalibratie. Janus: Metadata meegeven bij je sensordata. Je moet kwaliteitslabel meegeven. Ernst: deze workshop gaat dus ook om kwantificeren van onzekerheid, naast kalibratie en validatie. Andre: ik wil mensen data laten zien, maar dan moet ik wel weten wat het is. Integratie van de systemen moet bevorderd worden: hoe kom je tot een open systeem? Janus: we gebruiken open standaard waar ook LML stations gebruik van maken. Gerard: voor mijn toepassingen moet ik referenties opgeven en kwaliteit moet bekend zijn. Janus: maar voor andere toepassing, bijvoorbeeld zelf meten door astmapatiënt, gelden andere voorwaarden. Constatering: Wettelijke toetsing stelt andere eisen dan verkennend gezondheidskundig onderzoek. Validatie-eisen hangen af van einddoel. Constatering: Metadata waarin ook de kwaliteit van de data beschreven wordt is belangrijk. Er kan in verder gebruik rekening mee gehouden worden. Het biedt ruimte voor sensoren van wisselende kwaliteit.
4/6 Brainstorm Dave: Door grote meetnetten (DCMR, GGD Amsterdam, RIVM) is al veel werk verricht. Altijd eerst lab test, daarna veldtest met meerdere apparaten. Constatering: RIVM zou mee moeten doen. TNO zal contact opnemen met RIVM. Janus: modellen verfijnen door low cost sensordata. Maar dan moet je wel weten hoe je het moet interpreteren. RIVM zal wel meegaan, maar zoekt naar hoe. Dave: Als iets getest wordt in RIVM klimaatkamer, dan zou het handig zijn als meer sensoren kunnen meelopen. Er moet gecoördineerd worden. GGD ziet het als kans om als meetnet ankerpunt te zijn. Constatering: vaste meetnetlocaties zijn nodig. Andre: ieder denkt mee vanuit eigen belang maar we moeten een open community hebben. Eric: uiteindelijk willen we met AiREAS naar open data. Open data politiek stelt hoge eisen aan de kwaliteit van de data. De verborgen kosten zitten hem in gebruik van foutieve data. Dat weegt op tegen benodigde kosten voor validatie. ILM als referentiegrid, eerst testen aan LML stations. Rene: ervaring met optische fijn stof sensoren is dat ze goede precisie hebben, maar een minder goede nauwkeurigheid op uurschaal. Dave: je moet kennis hebben van de meetnetten. De FAG PM10 van RIVM kan niet goed tegen mist, die gaan in een week zoals deze de mist in. De BAM voor PM2.5 heeft dat niet. Als je deze kennis niet hebt en rücksichtslos uitgaat van de uurwaarden van het LML ga je fouten maken. Marita: kun je niet meer met het mappen van luchtkwaliteit, gebruik van modellen om inzicht te krijgen in kwaliteit van de sensordata? John: feedback-loop, door te visualiseren zie je wat raar is outliers. Startpunt is gelijk door dezelfde precalibaties (klimaatkamer), maar daarna kun je het netwerk gebruiken. Dave: ik mis verslagen van testen van de sensoren. Jan: Dit is erg traditioneel denken, past niet bij low cost sensoren en de toepassingen naar real time informatie. Als we sensoren allemaal kalibreren bij RIVM is het duur en ben je in feite op dezelfde manier bezig als nu met duurdere apparatuur. We hebben behoefte aan innovatieve technieken. Janus: problematiek verandert, overal komen sensoren in. Als het fijnmaziger wordt verandert de behoefte aan validatie en kalibratie. Die wordt minder, omdat je kunt vergelijken met veel meer data.
5/6 Gerard: ingangstest (lab en veld) mag best wat kosten, maar daarna mindere eisen aan validatie. Nick: tijdsresolutie iedere tien minuten, natuurlijk heb je dan mindere kwaliteit. Eric: echte low cost sensoren zoals van Janus kunnen elkaar wel controleren. Dat is bij AiREAS anders. Gerard: met sensoren kun je op meer locaties meten, maar niet overal. De metingen zullen nog steeds in een model gegoten moeten worden. Metingen moeten goed gedocumenteerd zijn. Jan: andere specificaties voor low cost sensoren dan voor referentie? Maar dan ben je nog steeds hetzelfde aan het doen (old school). Dat matcht niet met low cost sensornetwerken, nieuwe toepassingen. Janus: wij hebben nu fijn stof eruit gelaten. Andre: ik denk dat we naar new school moeten. Open source communities, verschillende bronnen integreren (o.a. KNMI). Flexibeler omgaan met meetwaarden, op meerdere plekken controles. Ernst: Ik merk twee stromingen in de discussie op: 1) sterke stroming: sensor moet goed zijn voor we ermee kunnen werken. Dat vraagt om toepassen van bestaande praktijken, maar dan in een acceptabele lichtgewicht versie. Dat werkt als het om ordegrootte 40 stations gaat in de huidige situatie 2) Ander spoor: Als sensoren grootschalig gaan worden ingezet, worden traditionele methoden ondoenlijk, praktisch en qua kosten. Dan gaat de nadruk meer liggen op de kwantificering van de onzekerheid en op de benodigde nauwkeurigheid en betrouwbaarheid die nodig is voor de toepassing (dat verschilt dus per keer). Dat zal meer een IoT benadering worden op netwerkniveau met verschillende databronnen en (statistische) modellen. Rene: toepassingsgericht beoordelen, allemaal eigen testmethodes. Ernst: het testen kan ook op netwerkniveau met modellen. Gerard: modellen gebruiken om meetdata te valideren spreekt me niet zo aan. Dat is de omgekeerde wereld. John: start moet goed zijn/wat zet je in veld, daarna feedback loop zo inregelen dat het zichzelf gaat ijken. Als je meer gegevens hebt wordt dat mechanisme steeds beter. Bijvoorbeeld tijdelijk uitschakelen van sensoren. Peter: ik huiver voor iedere validatiemanier om op korte termijn sensoren onderling te vergelijken. Je moet beginnen bij het begin.
6/6 Eric: vanaf begin omgekeerde bewijslast opbouwen in open data netwerk. Of het nu gaat over low cost of over LML. John: daarnaast krijg je sensoren die van personen zijn of van een wijk. Je wilt ze op de een of andere manier bij elkaar brengen. Gerard: Na ingangstest is het niettemin de moeite waard om na te denken over methoden die tijdens operatie minder ingrijpend zijn dan die van de huidige meetnetten. Aan het begin was de sensor goed, maar is de sensor na verloop van tijd nog steeds goed? Dat vereist andere manier om naar data te kijken. Janus: door plaatsen bij LML station. Dave/Peter; de meetnetten bieden aan kosteloos te testen op de stations. De eis is dat het met collega netwerken gedeeld mag worden. Eric: ik zou willen verder praten over bijplaatsen van sensoren van Janus naast de Airboxen. Nick: Het begint met het beschikbaar stellen van de metadata. Van AiREAS meetnet hebben we die nog steeds niet. Conclusie Ernst: we zijn niet met een onderzoeksagenda geëindigd. Het was blijkbaar nodig en goed om verschillende gezichtspunten te horen. We zullen proberen RIVM aan te haken. Verkennen van oprichten werkgroepen: Vraag van vandaag (voortbouwend op gevestigde validatiemethoden), vraag van morgen (anticiperend op grootschalige sensornetwerken).