Kennisbank Stedelijk Water Inhoudsopgave

Transcriptie

1 Inhoudsopgave 1 Stap VII. Kwaliteit toetsen Controle voorafgaand aan de simulatie Controle rekenresultaten op onlogische uitkomsten Controle op stabiliteit Controle op volume Controle op onrealistische waterstanden Controle op ledigingstijd Toetsing modelresultaten aan praktijk Toetsing aan ervaringskennis en veldwaarnemingen Toetsing aan hydraulische meetgegevens Toetsing aan meldingen en klachten Formele modelkalibratie Definities validatie, kalibratie en verificatie Het kalibratieproces Onderzoek naar modelkalibratie Voorbeelden kalibratie Pagina 1/26

2 1 Stap VII. Kwaliteit toetsen In deze zevende stap beoordeelt u de resultaten van de modelberekening. Hierbij is uw uitgangspunt: 'Ik vertrouw de resultaten niet, tenzij voldoende aannemelijk is gemaakt dat de kwaliteit van de resultaten voldoet aan het gestelde doel.' Controlestappen De controle bestaat uit drie (of vier) stappen. Stap 1 en 2 moet u voor alle modellen doorlopen, stap 3 bevelen we aan voor alle modellen. Stap 4 doorloopt u alleen als u hoge eisen stelt aan de betrouwbaarheid van de modelresultaten en u deze inspanning daarmee rechtvaardigt. 1. Controle rekenmodel : in deze 'primaire validatie' toetst u het model voorafgaand aan de simulatie op consistentie, compleetheid, fysieke onmogelijkheden en ongebruikelijke zaken. Veel softwarepakketten voeren dergelijke controles automatisch uit. Maar veel eenvoudige tests kunt u ook zelf uitvoeren. 2. Controle modelresultaten op onlogische resultaten : na de simulatie van het rekenmodel moet u nagaan of de simulatie leidt tot betrouwbare, bruikbare resultaten. Voor deze controle moet u als modelleur inzicht hebben in het hydraulisch gedrag van het gemodelleerde systeem. 3. Toetsing modelresultaten aan praktijk : in deze controlestap vergelijkt u de modelresultaten met informatie uit de praktijk: meldingen, veldwaarnemingen en metingen. Dit kunt u globaal doen, wat gebruikelijk is bij wateroverlastberekeningen waarvoor u meestal een beperkte dataset hebt. Door de modelresultaten te vergelijken met metingen, kunt u controleren of de dynamiek in het model voldoende overeenkomt met de dynamiek uit de metingen. 4. Formele modelkalibratie : een modelkalibratie is de meest gedetailleerde manier om de kwaliteit van de rekenresultaten te toetsen. U kunt alleen een formele modelkalibratie doorlopen als de beschikbare metingen voldoende informatie bevatten over het te modelleren proces. Terug naar stap V: inventarisatie Als uit de controle van de modelresultaten nog (onacceptabele) afwijkingen naar voren komen die zijn terug te voeren op fouten en/of onvolkomenheden in de invoergegevens, kunt u deze met een detailinventarisatie ( zie stap V ) proberen weg te werken. Uit de rekenresultaten krijgt u aanwijzingen om wat voor type fout het gaat en waar in het systeem u deze fout moet zoeken. Zo kan uit de analyse van waterstanden blijken dat de hoogteligging van een overstortdrempel in het model niet juist is. Een afwijkende ledigingstijd kan een aanwijzing zijn dat dat de aansturing van een specifieke pomp niet juist is gemodelleerd. Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen Pagina 2/26

3 1.1 Controle voorafgaand aan de simulatie Voor een succesvolle berekening moeten de gebruikte invoergegevens juist zijn. Want voor alle modelberekeningen van stedelijke watersystemen geldt: 'rubbish in = rubbish out'. Voordat u modeluitkomsten gaat genereren, moet u het rekenmodel dus eerst controleren. Hoewel u nooit 100% zekerheid krijgt over de juistheid van de gegevens van elk element in het gemodelleerde systeem, kunt u enkele eenvoudige tests doen om de grootste afwijkingen vroegtijdig te achterhalen. Bij de modelcontrole voorafgaand aan de simulatie (primaire validatie) toetst u de volgende onderdelen op juistheid: de geometrie van de elementen; de structuur van het systeem (samenhang van de elementen) de hoogteligging de belastingen die u gebruikt (DWA, neerslag en eventuele infiltratie en exfiltratie). Geometrische gegevens De geometrische gegevens zijn de gegevens waarmee u de afmetingen en de vorm van elementen in het model beschrijft, zoals diameters, lengten en oppervlakken van putten, overstorten, uitlaten. Extreme waarden hoeven niet per se fouten te zijn, maar een controle kan wel leiden naar invoerfouten. Mogelijke tests zijn: De aanwezigheid van zeer lange leidingen, bijvoorbeeld > 100 m. Leidingafmetingen (diameter, hoogte, breedte) > 2,5 m of < 0,2 m. Putoppervlakken < 0,5 m 2 of > 10 m 2 Leidinglengten die (veel) groter zijn dan de afstand tussen de twee door de leiding verbonden putten. Structuur van het systeem De structuur van een systeem is kort samengevat de samenhang van de afzonderlijke elementen. Deze kunt u op twee manieren testen: De eenvoudigste manier is na te gaan of er geen losse (groepen van) elementen voorkomen. Zijn die er wel, dan ontbreekt wellicht een verbinding of is sprake van twee separate systemen in een berekening (wat overigens goed mogelijk is met losliggende infiltratievoorzieningen, in dat geval is er geen sprake va een fout, maar moet men zich wel afvragen of deze elementen in de berekening moeten worden opgenomen. ). U kunt ook nagaan of er geen onlogische verbindingen zijn. Dit doet u het snelst door een plot van het systeem te maken, onlogische verbindingen vallen vrijwel meteen op. Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Controle voorafgaand aan de simulatie Pagina 3/26

4 (VOORBEELD FIGUUR TOEVOEGEN) Hoogteligging De hoogteligging van elementen en maaiveld kunt u op de volgende manieren globaal op juistheid testen: Komen 'vreemde' waarden voor hoogteligging voor? Bijvoorbeeld maaiveld op -99 of 0 m, wat vaak als default (standaardwaarde) wordt gebruikt bij een onbekende hoogteligging. In vlakke gebieden: komen maaiveldhoogten voor die meer dan een bepaald minimum (bijvoorbeeld 1 m) afwijken van de gemiddelde hoogteligging in het gebied? Komen situaties voor waar een element (deels) boven het maaiveld ligt of dat de dekking (maaiveldbob+afmeting) kleiner is dan een bepaald minimum (bijvoorbeeld 1 m)? Komen situaties voor waar het verschil tussen de hoogteligging van een overstort of een uitlaat en het lokale maaiveld erg klein is (bijvoorbeeld kleiner dan 0,5 m)? Is er sprake van een extreem groot afschot in leidingen (bijvoorbeeld een verval groter dan 0,5 m)? Deze tests zitten vaak standaard in de software. Ze geven snel aanwijzingen waar fouten in de database zitten, die vaak betrekkelijk eenvoudig zijn op te lossen. Bij infiltratievoorzieningen: check op verschil in hoogteligging tussen maaiveld en 'nooduitlaten', als dit verschil kleiner is dan bijvoorbeeld 0,2 m dan is dit aanleiding om de ingevoerde gegevens op juistheid te controleren. Verloren berging Een wat uitgebreider test voor de hoogteligging (met name voor vrijvervalrioolstelsels) is het testen op de aanwezigheid van verloren berging. Hiermee krijgt u zicht op locaties die door hun hoogteligging ten opzichte van de directe omgeving in het systeem nooit helemaal kunnen leeglopen. Dergelijke locaties kunnen ook in de werkelijkheid voorkomen door bijvoorbeeld verzakkingen of een verkeerde aanleg. Maar vaak zijn ze in een model het gevolg van een foutief ingevoerde hoogteligging van een of enkele elementen in een systeem of van foutief ingevoerde pompniveaus (hetzij het te handhaven peil met toerenregeling, hetzij foutieve waarden voor het uitslagpeil van een gemaal). [Figuur X (A) invoegen + titel] Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Controle voorafgaand aan de simulatie Pagina 4/26

5 Figuur A geeft enkele voorbeelden van verloren berging weer. U kunt op verloren berging testen met speciaal daarvoor geschreven software of via een hydrodynamisch rekenmodel. De procedure via een rekenmodel is vrij eenvoudig. U maakt een modelberekening zonder hydraulische belasting (dus geen droogweerafvoer en geen neerslag) en start met een gevuld systeem. U rekent het model door tot de peilen niet meer veranderen. Als het goed is, wordt het systeem leeggepompt of loopt het leeg via uitlaten. Als stabiele waterniveaus zijn bereikt, kunt u eenvoudig nagaan op welke locaties nog water aanwezig is. Dat zijn de locaties met verloren berging. N.B. Met de test via een hydrodynamisch rekenmodel is het niet eenvoudig om de omvang van de verloren berging per locatie na te gaan. Met speciaal hiervoor geschreven software kan dat wel, wat als voordeel heeft dat u kunt inschatten wat de werkelijke stelselberging is bij verloren berging door verzakking (dus conform de werkelijkheid). Dit laatste is ook van belang als u met een gedetailleerd hydrodynamisch model een reservoirmodel wilt opzetten om reeksberekeningen te maken. De berging in deze modellen moet immers zo goed mogelijk overeenkomen met de werkelijkheid. Hydraulische belastingen Controleer de ingevoerde van hydraulische belastingen in elk geval op de volgende aspecten: Klopt de eenheid van de belasting in het rekenmodel? Heb u bijvoorbeeld geen fout gemaakt door de eenheid L te verwarren met m 3 of l/s/ha met mm/h? Klopt de som van de belastingen in het rekenmodel? Klopt de dwa met een schatting op basis van totaal inwoneraantal en klopt de som van de neerslag met de lengte van de neerslagreeks? Overige controles Na de primaire validatie kunt u met een simulatie modeluitkomsten gaan genereren. Maar voordat u de simulatieresultaten vervolgens kunt gebruiken en presenteren, moet u eerst nog de kwaliteit ervan controleren (zie Controle rekenresultaten op onlogische uitkomsten en Toetsing modelresultaten aan praktijk ). Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Controle voorafgaand aan de simulatie Pagina 5/26

6 1.2 Controle rekenresultaten op onlogische uitkomsten Na de controle voorafgaand aan de simulatie en het uitvoeren van de simulatie moet u nagaan of de berekening leidt tot betrouwbare, bruikbare resultaten. Hieronder wordt verstaan: modelresultaten die de juiste informatie geven voor het doel waarvoor ze zijn opgezet en waarin geen fysische onmogelijkheden voorkomen (denk aan een nietsluitende volume- of massabalans). 'Onmogelijke' rekenuitkomsten zijn vaak terug te voeren op een van de volgende oorzaken: aan- of afwezigheid van elementen in het model die niet stroken met de werkelijkheid; verkeerde invoer van modelparameters (bijvoorbeeld een typefout in de ruwheidswaarde waardoor deze een factor 10 te groot is); foutieve omvang of toekenning van afvoerend oppervlak; schematiseringen die leiden tot instabiliteit in de berekening (in dit verband zijn korte leidingen met een relatief grote diameter berucht); andere problemen in de rekensoftware. Controles Bij het beoordelen van simulatieresultaten kijkt u onder meer naar: Krijg ik alle informatie die ik nodig heb? Is de gesimuleerde periode juist? U kunt verder de volgende controles uitvoeren: Controle op stabiliteit Controle op ledigingstijd Controle op onrealistische waterstanden Controle op volume Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Controle rekenresultaten op onlogische uitkomsten Pagina 6/26

7 1.2.1 Controle op stabiliteit De controle op stabiliteit van de berekening omvat: het controleren van de tijdstappen in de simulatie; als deze regelmatig sterk verkleind worden tot de minimumwaarde, kan dit een aanwijzing zijn voor instabiliteit; het controleren van de massabalans; instabiliteit vertaalt zich vaak in grote afwijkingen in de massabalans; het controleren op gevoelige punten (zoals gemaalkelders, korte leidingen en overstortputten) op grillig verloop van de waterstand in de tijd; het controleren van locaties waar snel achter elkaar water op straat ontstaat en verdwijnt; het controleren op kortsluitstromen tussen rioleringsmodel en maaiveldmodel. Fysische instabiliteit Het verschil tussen numerieke en fysische instabiliteit is niet altijd direct zichtbaar. Een hoge schakelfrequentie in een berekening kan een gevolg zijn van een foutief invoergegeven. Maar het kan ook werkelijk zo zijn. Probeer daarom te achterhalen wat de oorzaak is. Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Controle rekenresultaten op onlogische uitkomsten» Controle op stabiliteit Pagina 7/26

8 1.2.2 Controle op volume Voor het opsporen van numerieke afwijkingen Bij modelberekeningen (ongeacht het modeltype) worden benaderende oplossingen gebruikt van (stelsels van) vergelijkingen (behoud van massa, behoud van impuls). Afhankelijk van de gekozen oplossingsmethode, modelstructuur en tijd- en ruimte-intervallen kunnen afwijkingen ontstaan. Een eerste belangrijke (en relatief eenvoudige) controle of sprake is van dergelijke afwijkingen, is het controleren van de massa- (of volume)balans. Voor het signaleren van fouten in de schematisering Ook in situaties waarin het systeem water doorpompt van het ene verzorgingsgebied naar het andere, kan een massabalans snel fouten in de schematisering onthullen. Het laatste kan voorkomen als bijvoorbeeld het lozingspunt van een gemaal foutief is aangesloten op de RWZI in plaats van op een ontvangende verzorgingsgebied. Hierdoor heeft het ontvangende verzorgingsgebied in het model een veel kortere ledigingstijd dan in werkelijkheid en krijgt de RWZI door een 'dubbeltelling' een hoger debiet te verwerken. Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Controle rekenresultaten op onlogische uitkomsten» Controle op volume Pagina 8/26

9 1.2.3 Controle op onrealistische waterstanden Bij een foutief ingevoerde drempelhoogte kunnen onrealistisch hoge waterstanden in een overstortput voorkomen, zelfs water op straat. Controleer bij 'verdachte' water-op-straatsituaties bij of rondom overstorten de modelresultaten (waterpeil en berekend debiet) handmatig. Hetzelfde geldt voor doorlaten of wervelventielen bij een foutief ingevoerde karakteristiek of doorlaatafmeting. Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Controle rekenresultaten op onlogische uitkomsten» Controle op onrealistische waterstanden Pagina 9/26

10 1.2.4 Controle op ledigingstijd Het controleren van de ledigingstijd van een systeem is een goede test die problemen met de volgende zaken kan laten zien: modellering van het gemaal; grootte van het dwa-aanbod (inclusief eventuele instroom van oppervlaktewater en/of infiltrerend grondwater); bergings-/hoogterelatie van het systeem. Als het model de ledigingstijd redelijk reproduceert, is dat een aanwijzing dat de balans van gemaalcapaciteit, instromend (afval)water en de geometrie en de structuur van het systeem juist in het model zijn opgenomen. Juiste ledigingstijd belangrijk voor reeksberekeningen Bij het doorrekenen van neerslagreeksen met 'sprongen' is juiste modellering van de ledigingstijd van groot belang (zie ook Reeksberekeningen ). Bij aanvang van de bui moet het model de vulling van het systeem immers juist weergeven. Is dat niet het geval, dan kunnen grote afwijkingen ontstaan in de volumes die het systeem loost. Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Controle rekenresultaten op onlogische uitkomsten» Controle op ledigingstijd Pagina 10/26

11 1.3 Toetsing modelresultaten aan praktijk Bij de opzet en het gebruik van een rekenmodel worden veel aspecten van de 'werkelijkheid' sterk vereenvoudigd of weggelaten omwille van de hanteerbaarheid en beperkende praktische omstandigheden. Een model is dus slechts een afbeelding van de werkelijkheid en niet 'echt'. De kwaliteit van de afbeelding hangt mede af van het gebruiksdoel, de maker van de afbeelding en de gebruikte technieken, gereedschappen en materialen. Daarom is het goed om de modeluitkomsten te vergelijken met informatie uit de praktijk. Hiervoor kunt u gebruiken: Ervaringskennis en veldwaarnemingen (van de beheerder of buitendienst); Beschikbare metingen zoals van waterstanden en debieten ; Meldingen en klachten van bewoners. Voor een toetsing van modelresultaten aan de praktijk hebt u uiteraard rekenresultaten nodig die u kunt koppelen aan fysiek waarneembare verschijnselen. Mede daarom is het belangrijk dat de rekenresultaten zo volledig mogelijk zijn. Inhoud Niet geautoriseerd door Rioned Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Modelkalibratie/toetsing aan de praktijk Pagina 11/26

12 1.3.1 Toetsing aan ervaringskennis en veldwaarnemingen Modeluitkomsten in relatie tot wateroverlast kunt u eenvoudig toetsen aan veldwaarnemingen. Hiervoor hebt u niet altijd gedetailleerde metingen nodig. U kunt ook veel hebben aan de ervaringskennis en de veldwaarnemingen van de beheerder of medewerkers van de buitendienst van de gemeente. Water-op-straatlocaties Onjuiste locaties van overbelasting van een rioleringsmodel zijn vaak het gevolg van een onjuist ingevoerde maaiveldhoogte in het rekenmodel. Bij water die op onlogische plaatsen uit de putten komt kunt u dit meestal goed controleren door een langsdoorsnede te maken over de betreffende rioolstrengen.ook kan het maaiveldmodel door invoerfouten in maaiveldligging locaties van water op straat niet correct reproduceren. U bent dan zeer geholpen met een toetsing aan de beschikbare kennis en ervaring van medewerkers die 'thuis' zijn op deze locatie. Water op straat en wateroverlast Modelresultaten geven onder meer informatie over locaties waar stedelijke watersystemen overbelast raken. Hierbij is onderscheid in water op straat en wateroverlast. Feitelijk wijst een rekenmodel (maaiveldmodel) alleen de water-opstraat locaties aan. Of sprake is van water overlast, is afhankelijk van vele factoren die meestal niet in de modellering worden meegenomen (zoals waterniveau-schaderelaties of verkeersontwrichting). Daarom is het goed om modeluitkomsten voor berekende locatie, omvang en duur van water op straat te verifiëren aan de ervaringskennis en waarnemingen van het gebied. Het kan namelijk zijn dat locaties waar u veel of lang water op straat berekent, wel kloppen met de praktijkwaarnemingen van water op straat, maar dat in de praktijk geen overlast voorkomt. Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Modelkalibratie/toetsing aan de praktijk» Toetsing aan ervaringskennis en veldwaarnemingen Pagina 12/26

13 1.3.2 Toetsing aan hydraulische meetgegevens Door de toetsing van de rekenresultaten aan (tijdreeksen van) metingen, kunt u fouten in het model opsporen. Dit hoeven niet alleen niveau- en debietmetingen te zijn. Denk ook aan overstorttellers, draaiurenregistratie. Daarbij is het uiteraard belangrijk dat het gemeten proces hetzelfde is als het gesimuleerde proces. Controleren afvoer gemaal De gemaalafvoer kunt u relatief eenvoudig controleren en geeft veel informatie. In veel gemalen vinden immers debietmetingen plaats, waarmee u het model kunt controleren. Een controle op gemodelleerde debieten is feitelijk een verfijning van de controle via de massa- of volumebalans. Een fout in de massabalans kan namelijk ontstaan door niet correct opgegeven hoogte-/afvoerrelaties of foutief gemodelleerde gemaalregelingen. Zo kunt u bijvoorbeeld nagaan of de dwa- en rwa-afvoer van het gemaal in het model correct is. Daarnaast kunt u nagaan of, en zo ja in hoeverre, drukvariaties in het achterliggende persleidingsysteem van significante invloed zijn op het gemaaldebiet. Ook moet u controleren of parallel geschakelde pompen juist zijn gemodelleerd. In de gangbare modelleringspraktijk worden dan vaak, incorrect, de individuele pompdebieten opgeteld, zonder rekening te houden met een lager debiet door samenloop. Verloop waterniveau Het controleren van (het verloop van) waterniveaus op bepaalde locaties in het model kan informatie geven over de juistheid van de invoergegevens, gekozen afvoerrelaties en modelparameters. Meestal worden waterniveaus alleen gecontroleerd in of nabij bijzondere constructies (zoals overlaten, doorlaten of geregelde kleppen) of op locaties waar het model overbelasting berekent (water op straat). Terugstuwing Een relatief veelvoorkomend probleem is water dat vanuit het ontvangende oppervlaktewater bij overstorten terug in het systeem loopt, met name bij relatief grote lozingen in kleine watergangen. Dit heeft tot direct gevolg dat de Q/Hrelatie van een overstort niet langer als een volkomen overlaat beschreven kan worden. U kunt dit toetsen als u beschikt over niveaumetingen aan beide zijden van de overstortdrempel. [FIGUREN & titels TOEVOEGEN] Formele kalibratie Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Modelkalibratie/toetsing aan de praktijk» Toetsing aan hydraulische meetgegevens Pagina 13/26

14 Een geavanceerder methode is de formele kalibratie van een rekenmodel. Hierbij spoort u in een aantal iteratieslagen de systematische fouten op en verwijdert deze. Vervolgens stelt u de relevante modelparameters zo af dat model en meting zo goed mogelijk op elkaar afgestemd zijn, met een minimum aan correlatie tussen modelparameters en een minimum aan resterende systematische afwijkingen. Meer informatie vindt u bij Formele modelkalibratie. Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Modelkalibratie/toetsing aan de praktijk» Toetsing aan hydraulische meetgegevens Pagina 14/26

15 1.3.3 Toetsing aan meldingen en klachten Op basis van meldingen of (bij de beheerder) bekende wateroverlastlocaties kunt u berekende water-opstraatlocaties globaal verifiëren. Hoewel meldingen van bijvoorbeeld water op straat, stank of frequente lozingen niet altijd betrouwbaar zijn en vaak weinig detailinformatie bevatten, kunnen ze toch een goede basis zijn om uitkomsten van hydraulische berekeningen te toetsen. Een voor de hand liggende toets (validatie) is die van berekende water-opstraatlocaties. Als deze locaties over een periode van enkele jaren niet of nauwelijks in het meldingenregister voorkomen, is nader onderzoek noodzakelijk: Hoeveel direct omwonenden zijn er rond de locatie? Is de locatie aangesloten op een 'topeind'? Is een relatie te leggen met het kolkenonderhoud? Omwonenden Als er weinig omwonenden zijn, geeft het model de locatie mogelijk juist aan terwijl er geen meldingen zijn: immers niet iedereen is 'klaagbereid' of ervaart water op straat als hinder/overlast. Wanneer u het belangrijk genoeg acht, kunt u de locatie tijdens hevige neerslag bezoeken om de situatie ter plekke te controleren, of u kunt omwonenden vragen om contact te zoeken als er 'water op straat' optreedt, ongeacht of zij als overlast ervaren of niet. 'Topeind' Bij de toekenning van afvoerend oppervlak krijgen 'topeinden' in de modellering vaak te veel oppervlak toegewezen. Hierdoor kan het model de belasting van de betreffende locatie overschatten en strookt dit niet met de praktijk. Kolkenonderhoud Slecht functionerende straatkolken zijn vaak de onderliggende oorzaak van meldingen van water op straat. Het is dus raadzaam om de onderhoudstoestand van de straatkolken op de betreffende locatie na te gaan. Duur van wateroverlast De locatie, omvang en duur van wateroverlast zeggen veel over de oorzaak van wateroverlast in de praktijk. Zo is kortdurende wateroverlast bij hevige buien een normaal verschijnsel. Maar als er volgens de meldingen zo'n zes uur na een bui nog steeds wateroverlast is, is waarschijnlijk niet de riolering maar het ontvangende oppervlaktewater de zwakste schakel. Als u het ontvangende oppervlaktewater niet als deelsysteem in het rekenmodel hebt opgenomen, Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Modelkalibratie/toetsing aan de praktijk» Toetsing aan meldingen en klachten Pagina 15/26

16 zal het rekenmodel nooit kunnen passen. De duur van wateroverlast is daarmee een handig hulpmiddel om te bepalen of u voor het rekenmodel wel de juiste systeemgrenzen hebt gekozen. Infiltratievoorzieningen Zijn er meldingen van wadi's of straten met doorlatende verharding die nog zeer lang na een bui blank staan, terwijl dat volgens de modeluitkomsten niet zo zou moeten zijn? Dan kan het zijn dat het model een afwijkend afvoerend oppervlak gebruikt of er is sprake van verstopping of achterstallig onderhoud. Internet en sociale media Ook informatiebronnen die de beheerder niet controleert, kunnen waardevol zijn bij het toetsen van modelresultaten, zoals: door omwonenden gemaakte video-opnamen van wateroverlastsituaties op internet (denk aan YouTube en Dailymotion); berichten over overlast, water op straat, stank en dergelijke op sociale media (denk aan Twitter en Facebook). Met name video-opnamen kunnen waardevolle informatie geven over locatie, omvang en ernst van de overlast. Berichten op sociale media geven vaak zeer actuele informatie. Let op: het gebruik van deze informatiebronnen kan tijdrovend zijn. Gebruik ze dus alleen als de beschikbare informatie uit meldingen onvoldoende houvast biedt of niet eenduidig is én het belang van de toetsing de inspanning rechtvaardigt. Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Modelkalibratie/toetsing aan de praktijk» Toetsing aan meldingen en klachten Pagina 16/26

17 1.4 Formele modelkalibratie Wat is een modelkalibratie? De meest vergaande toetsing van modelresultaten is een formele modelkalibratie. Met een modelkalibratie regelt u de set modelparameters zo in dat de rekenuitkomsten zo goed mogelijk overeenkomen met in de praktijk gemeten waarden. Wanneer een modelkalibratie? Het kalibreren van (hydrodynamische) rekenmodellen is een vrij gecompliceerd en kostbaar proces. Daarom kunt u deze toetsing het best alleen doen als: De rekenuitkomsten worden gebruikt voor potentieel grote investeringen. Het een bestaande situatie betreft. Er genoeg en voldoende betrouwbare meetresultaten beschikbaar zijn of komen. Er gegronde twijfels bestaan over de toepasbaarheid van de standaardwaarden van de parameters en/of de kwaliteit van de voor de modellering gebruikte gegevens. Verschillende methoden Er zijn zeer veel verschillende manieren om een modelkalibratie uit te voeren. De methoden variëren van trial and error (het handmatig aanpassen van de waarden van modelparameters om zo tot een goede overeenstemming te komen) tot zeer geavanceerde wiskundige en deels geautomatiseerde methoden. De trial and error -methode kan zeer tijdrovend zijn en leidt doorgaans niet tot bruikbare, controleerbare en reproduceerbare resultaten. Deze methode kunt u dus beter niet toepassen. Hoe u een kalibratie wel kunt uitvoeren, vindt u bij Het kalibratieproces. Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Formele modelkalibratie Pagina 17/26

18 1.4.1 Definities validatie, kalibratie en verificatie In de literatuur komen onderling verschillende definities van de begrippen validatie, kalibratie en verificatie voor. In dit deel van de kennisbank hanteren we de volgende definities: Validatie Het nagaan of een model overeenkomt met de echte wereld. Voor een gegeven uit een database is dat bijvoorbeeld de vraag of de diameter van een leiding in de database klopt met de diameter van de leiding in het veld. Voor een model houdt dat in dat het beschreven proces qua gedrag overeenkomt met de waarneming, bijvoorbeeld dat een model dat een vallend object beschrijft inderdaad laat zien dat een appel naar de aarde valt. Kalibratie Het vinden van de modelparameters die het model in kwantitatieve zin laten overeenkomen met een in de echte wereld waargenomen proces. Bijvoorbeeld de waarde van de zwaartekrachtversnelling die in een model voor een vallende appel de waargenomen positie van de vallende appel als functie van de tijd beschrijft conform de waarnemingen. Verificatie Het vergelijken van een model met (een set) gekalibreerde modelparameters aan een experiment dat niet in de kalibratie is gebruikt. Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Formele modelkalibratie» Definities validatie, kalibratie en verificatie Pagina 18/26

19 1.4.2 Het kalibratieproces Het kalibratieproces Het kalibratieproces omvat een aantal stappen die iteratief tot een eindresultaat leiden (zie figuur A). Hieronder staan de stappen beschreven. Figuur A Schema kalibratieproces Parameterkeuze (stap 1) Als eerste kiest u een modelconcept. Dat kan variëren van zeer gedetailleerd (bijvoorbeeld een volledig 1D-2Dmodel, inclusief een inloopmodel) tot zeer eenvoudig (denk aan een enkelvoudig reservoirmodel of een vereenvoudigd model voor reeksberekeningen). De keuze van het modelconcept definieert impliciet de benodigde invoerdata en de aard en het aantal van de (in principe) onbekende modelparameters. De keuze van de te kalibreren modelparameters is gecompliceerder dan u misschien in eerste instantie denkt. In principe zijn er bij een volledig hydrodynamisch model in combinatie met een inloopmodel per leiding, per put en per individueel oppervlak vele onbekende parameters. Zo kent elke leiding ten minste drie modelparameters: de hydraulische ruwheid, een instroomverliescoëfficiënt en een uitstroomverliescoëfficiënt. Daarnaast voeren op elke put meerdere typen oppervlakken af, waarvoor u per oppervlak de parameters van het inloopmodel moet bepalen. Zelfs voor een relatief klein stelsel van enkele honderden leidingen en putten leidt dit snel tot meer dan duizend onbekende parameters, nog afgezien van de overlaat- en doorvoercoëffiënten van bijzondere constructies. Deze 'zee' van onbekende parameters heet ook wel 'the curse of dimensionality' (vrij vertaald: 'het is makkelijk te verdwalen in een n-dimensionale ruimte'). N.B. Invoergegevens zoals oppervlak van putten, pompcapaciteiten en geometrie van elementen mag u in het model niet als te kalibreren parameter meenemen. Deze categorie data behoort immers tot de vaste invoergegevens van een model die voortkomen uit de inventarisatie vóór de opbouw van het rekenmodel. In de praktijk is het niet haalbaar om heel veel parameters te kalibreren, omdat u dan een enorme hoeveelheid meetgegevens nodig hebt. U kunt dit probleem omzeilen door parameters samen te voegen ('lumpen'), een benadering die zich in de praktijk heeft bewezen. Hierbij gaat u ervan uit dat de ruwheidswaarde van alle leidingen en de lokale verliesparameters gelijk zijn. Ook veronderstelt u dan dat de inloopparameters per type oppervlak niet Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Formele modelkalibratie» Het kalibratieproces Pagina 19/26

20 variëren tussen individuele oppervlakken van hetzelfde type. Zo kunt u het aantal onbekende parameters flink reduceren (in de praktijk tot een maximum van circa 10) en kunt u toch bruikbare resultaten behalen. Parameteroptimalisatie (stap 2) In de tweede stap zoekt u de beste combinatie van parameters waarmee het gebruikte model de meetresultaten zo goed mogelijk reproduceert. (N.B. De gevonden parameterset reflecteert geen fysische werkelijkheid, maar eerder de beste parameterwaarden gegeven het model, de invoer van structuur en geometrie en de hoeveelheid en kwaliteit van de beschikbare meetdata.) Bij een eerste poging zijn er meestal belangrijke systematische verschillen tussen modelresultaat en gemeten resultaat (residuen). In stap 3 analyseert u deze verschillen en krijgt u aanwijzingen waar het probleem zit (in het modelconcept, de parameterkeuze, de invoergegevens of de meetresultaten). Zodra er geen systematische verschillen tussen model en metingen meer zijn óf geen verbetering meer mogelijk is gegeven de beschikbare middelen (instrumenten, tijd en budget), rondt u de kalibratie af. Het doel van parameteroptimalisatie is om het verschil tussen gemeten en berekende waarden te minimaliseren (in de regel gaat het om waterstanden en/of debieten als functie van de tijd). Hiervoor is een scala aan wiskundige technieken voorhanden. De eenvoudigste en bekendste (en dus in de praktijk vaak toegepaste) methode is die van de kleinste kwadraten, een bijzonder geval van een techniek die bekend is als Maximum Likelihood Estimates (MLE). Hierbij zoekt u naar een parameterset die de volgende grootheid S minimaliseert: waarbij rekenresultaat j,i betrekking heeft op een berekend resultaat (waterstand of debiet) op een meetlocatie j op tijdstip i en meetresultaat j,i betrekking heeft op het corresponderende gemeten resultaat. De grootheid S wordt geminimaliseerd afhankelijk van het rekenmodel en de beschikbare meetdata. Als u de kalibratie correct hebt uitgevoerd, vindt u het best passende resultaat dat mogelijk is onder de gegeven omstandigheden (zie figuur B). Als er dan afwijkingen overblijven, moet u deze zoeken in: fouten in de invoergegevens; fouten in de meetdata; geldigheid van het gebruikte model (als bijvoorbeeld de gemeten neerslag is gevallen in de vorm van sneeuw, zijn de meestal gebruikte inloopmodelconcepten niet meer van toepassing). Figuur B Fictief voorbeeld van de doelfunctie S Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Formele modelkalibratie» Het kalibratieproces Pagina 20/26

21 Uitvoering Voor elke combinatie van modelparameters krijgt u een iets ander resultaat, daarom is S op te vatten als een functie van de modelparameters. Figuur B geeft een fictief voorbeeld van een S die slechts van één parameter afhankelijk is. Zoals u ziet, kan een dergelijke functie meerdere minima hebben. Iets dergelijks kan ook gelden voor een situatie met meerdere parameters, wat vaak duidt op een probleem met het model, de parameterkeuze of de kwaliteit van de metingen. In praktische toepassingen zet u dan ook vaak eerst een algoritme (meestal een genetisch algoritme) in om een globale verkenning te doen van S, zodat u globaal weet of, en zo ja waar, zich lokale minima bevinden. Daarna bepaalt u met andere algoritmen (bijvoorbeeld een multidimensionaal Newton-Rhapson- of Levenberg- Marquart algoritme) de ligging van de lokale minima nauwkeuriger. Als alternatief kunt u ook de eerste stap overslaan en met een aantal onderling verschillende beginschattingen van de modelparameters direct naar het globale minimum zoeken. Als u voor meerdere beginschattingen van de modelparameters identieke eindresultaten krijgt, dan kunt u dit resultaat als eindresultaat aannemen. Meer details en achtergronden vindt u in "Hydrodynamic models in urban drainage application and calibration" (Clemens, 2001). Software en handleiding Het uitvoeren van de parameteroptimalisatie is nogal specialistisch werk, waarvoor soms maatsoftware wordt geschreven. Er wordt ook vaak gratis beschikbare software gebruikt, zoals PEST (Parameter ESTimator), deze kunt u downloaden via Op deze website staan ook een goede handleiding en wat achtergronden van de parameteroptimalisatie. Figuur C geeft schematisch weer hoe u een rekenmodel met een optimalisatiealgoritme in een master-slave relatie' plaatst (zie figuur C). Het is een iteratief proces waarbij u voor de meeste algoritmen per iteratie n+1 (waarbij n het aantal onbekende parameters is) volledige modelberekeningen uitvoert. Dit illustreert nogmaals de noodzaak om het aantal te kalibreren parameters niet te groot te kiezen, dat leidt immers al snel tot een praktisch onuitvoerbare rekenpartij. Figuur C Master-Slave relatie Resultaat Het resultaat van de parameteroptimalisatie is een set modelparameters die leidt tot de best mogelijke overeenkomst tussen het gebruikte model en de beschikbare meetdata. Is de overeenkomst naar uw mening niet goed genoeg, dan staan de volgende opties open: Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Formele modelkalibratie» Het kalibratieproces Pagina 21/26

22 U kunt de juistheid van de modelkeuze en de bijbehorende kwaliteit van de gebruikte gegevens nader bestuderen. U kunt de gebruikte meetdata en mogelijk de meetopzet kritisch evalueren (ofwel: heb ik genoeg en voldoende juiste meetdata om de kalibratie uit te voeren?). U kunt een relatie leggen met de onderhoudstoestand van het systeem. Marco van Bijnen heeft overtuigend aangetoond dat de onderhoudstoestand van een systeem zich vertaalt in meetbare veranderingen in het gedrag van een systeem, die via modelkalibratie zijn te kwantificeren. [ verwijzing proefschrift Marco van Bijnen en de Nederlandse samenvatting hiervan in de rionedreeks (work in progres)] U kunt erin berusten en de modeluitkomsten met de nodige voorzichtigheid gebruiken. Analyse van de residuen (stap 3) Zodra u de parameteroptimalisatie met succes hebt doorlopen, moet u beoordelen of het verkregen resultaat voldoet. In deze laatste stap gaat u na of, en zo ja in hoeverre, de gevonden parameterset (eventueel na aanpassing van het modelconcept en/of de invoergegevens) overdraagbaar is naar andere, niet in de kalibratie meegenomen, gemeten gebeurtenissen. Aan de hand van de residuen kunt u hiervoor enkele objectief toetsbare eisen formuleren. In de praktijk zal ook na parameteroptimalisatie de waarde van de doelfunctie S nooit exact nul zijn. Dit betekent dus dat er (kleine) verschillen tussen metingen en modeluitkomsten blijven bestaan. Dat kan komen door meetonnauwkeurigheid (niet te vermijden), een model dat niet alle relevante processen meeneemt of fouten in de invoer (structuur en geometrie, afvoerend oppervlak en neerslag). Daarnaast geeft de structuur van de residuen in tijd en plaats vaak belangrijke aanwijzingen in welke richting u de oorzaak moet zoeken. Een van de onderliggende aannamen in het parameteroptimalisatieproces is dat de residuen geen onderlinge samenhang vertonen in tijd en plaats. Dit houdt bijvoorbeeld in dat als op een meetlocatie gedurende een langere periode (zo'n 15 minuten) de residuen allemaal positief of allemaal negatief zijn, sprake is van een systematische afwijking. Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Formele modelkalibratie» Het kalibratieproces Pagina 22/26

23 1.4.3 Onderzoek naar modelkalibratie Sinds 2000 zijn zowel nationaal als internationaal de nodige modelkalibraties uitgevoerd en gerapporteerd. Hieruit zijn globaal de volgende conclusies te trekken: De modelbenadering voor de hydrodynamica op basis van de 1D-Saint-Venant vergelijkingen lijkt uitstekend te functioneren. Resultaten zijn zeer sterk afhankelijk van de juistheid en volledigheid van de invoerdata voor structuur en geometrie van het systeem. Kleine afwijkingen in bijvoorbeeld diameters, hoogte van overstorten en instellingen van gemalen verstoren de uitkomsten in belangrijke mate. De gebruikte meetdata moeten aan hoge eisen voldoen. (denk aan volledigheid, nauwkeurigheid, synchroniteit). Modelparameters uit modelkalibratie zijn zeer locatiespecifiek en meestal ook buispecifiek, dus de modelparameters zijn maar beperkt overdraagbaar (verificatie is een probleem!). Met name de modelparameters voor het gebruikte inloopmodel vertonen een grote variatie per locatie en per bui. Dit komt door het enorm complexe neerslag-inloopproces, de variatie in neerslagintensiteit in een gebied en de sterk vereenvoudigde modelbenadering (zie ook inloopmodel) In de gunstigste gevallen is een model tot op 5 à 10 cm afwijking van gemeten waterstanden te kalibreren. De resultaten voor debieten en geloosde volumes vertonen relatief grote afwijkingen (tot circa 30 à 40%). Voor zover bekend zijn nog geen kalibraties van een 1D-2D-modellering gerapporteerd. Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Formele modelkalibratie» Onderzoek naar modelkalibratie Pagina 23/26

24 1.4.4 Voorbeelden kalibratie Loenen In 2001 is een uitgebreid meetprogramma uitgevoerd aan het gemengde rioolstelsel van Loenen. Figuur A geeft het meetnet weer. U kunt over dit onderzoek meer lezen in "Interactions within wastewater systems" (Langeveld, 2004). Figuur A Meetnet Loenen Na een eerste kalibratiepoging traden twee onverwachte zaken op: een foutief peil van een overstortdempel; terugstuwing vanuit het ontvangende oppervlaktewater. Figuur B geeft het kalibratieresultaat weer waarin beide problemen aanwezig zijn. De kalibratie resulteerde in een gemiddelde afwijking van 0 m tussen metingen en model, maar er is duidelijk te zien dat vanaf een waterpeil van 17,75 m + NAP systematische fouten optreden. Figuur B Kalibratieresultaat met foutieve drempelhoogte van de overstort Figuur C laat de samenloop van de waterstanden in de overstort en het ontvangende oppervlaktewater zien. Er is duidelijk sprake van een onvolkomen overlaatsituatie. Figuur C Verloop waterstanden Na correctie van het drempelpeil en het gebruik van de Q/H-relatie voor een onvolkomen overlaat in plaats van een volkomen overlaat, werd het resultaat aanzienlijk beter (zie figuur D). Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Formele modelkalibratie» Voorbeelden kalibratie Pagina 24/26

25 Figuur D Resultaten na correctie van model en database Figuur D laat de verdeling van de resterende afwijkingen tussen metingen en gekalibreerd model zien: 95% van de afwijkingen beslaat een interval van [-0,03 m - 0,03 m], ofwel een afwijking van circa 3 cm. Erg veel nauwkeuriger lijkt een stedelijk watersysteem niet te kalibreren. Toch is enige voorzichtigheid met het gebruik van de resultaten op zijn plaats. Figuur E laat het cumulatief verpompte volume zien zoals dit is gemeten en volgt uit het gekalibreerde model. Na ongeveer 15:00 h is er een systematische afwijking die oploopt tot circa 10%. Naar alle waarschijnlijkheid is deze afwijking terug te voeren op de niet helemaal juist gemodelleerde dynamiek van de combinatie gemaal/persleiding of de aanwezigheid van sedimenten in het rioolstelsel. Hierdoor wijkt de bergings-hoogterelatie van het systeem in de praktijk af van die in het rekenmodel. Figuur E Verpompte volumes Een ander aspect is de overdraagbaarheid van modelparameters (verificatie). Figuur F laat de kansverdeling van de residuen zien voor een aantal buien waarop het model van Loenen is gekalibreerd. Zoals u ziet, heeft niet elke bui eenzelfde resultaat qua afwijkingen tussen model en metingen. Dit is voor een belangrijk deel terug te voeren op de initiële condities voor het inloopmodel en processen die wel invloed hebben op de inloop, maar niet in de modellering zijn opgenomen (denk aan temperatuur van het oppervlak en wind effecten). Figuur F Resultaten voor diverse buien Utrecht Figuur G laat een voorbeeld zien van het aan het licht komen van een obstakel in de riolering door de kalibratie van het rioolstelsel in de Utrechtse wijk Tuindorp. Meer informatie over deze kalibratie vindt u in " The impact of sewer condition on the performance of sewer systems " (Van Bijnen, 2018). Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Formele modelkalibratie» Voorbeelden kalibratie Pagina 25/26

26 Figuur G Een niet in een model aanwezig obstakel komt tijdens een kalibratieproces aan het licht Winstpunten Het belangrijkste winstpunt van de kalibratie is dat een fout in de geometrie (drempelpeil) en een foutieve aanname in het model (volkomen versus onvolkomen overlaat) zijn gevonden, die uit de validatie van de invoergegevens niet of slechts toevallig naar voren zouden komen. Verder blijkt dat de structuur en geometrie (bergings-hoogterelatie en afvoerend oppervlak) en de werking van het gemaal zo goed als haalbaar correct zijn opgenomen in de modellering. Hiermee zijn systematische fouten goeddeels voorkomen. Maar ook obstakels zoals wortelingroei kunnen tijdens een kalibratie naar voren komen. Modelleren van het hydraulisch functioneren van stedelijke watersystemen» Stap VII. Kwaliteit toetsen» Formele modelkalibratie» Voorbeelden kalibratie Pagina 26/26