p:t:: LtjjIOO - Opdrachtgever: DG Rijkswaterstaat, RIZA Delft FEWS als operationeel systeem Werkdocument delft hydraulics 'NL I

Transcriptie

1 p:t:: LtjjIOO -.. Opdrachtgever: DG Rijkswaterstaat, RIZA Delft FEWS als operationeel systeem r. Werkdocument. december 'NL I delft hydraulics

2 Opdrachtgever: DG Rijkswaterstaat, RIZA Delft FEWS als operationeel systeem Werkdocument Micha Werner december W Mw,A, IK WL I delft hydraulics

3 wi 1 delft hydraulics OPDRACHTGEVER: DG Rijkswaterstaat, RIZA TITEL: DELFT FEWS als operationeel systeem SAMENVATTING: Dit werkdocument geeft een korte beschrijving van het gebruik van DELFT-FEWS als operationeel systeem voor het leveren van voorspellingen voor Rijn en Maas. Het document dient als basis voor cle verdere gedachtevorming over een operationeel systeem. Dit zal tijdens een workshop te houden op 10 december 2004 verder worden uitgewerkt. - REFERENTIES: RIZA Overeenkomst RI VER AUTEUR DATUM OPMERK. REVIEW GOEDKEURING 1.0 Werner/Roberts Ververs Bons PROJECTNUMMER: Q3831 TREFWOORDEN: Delft FEWS, Hoogwatervoorspelling, Operationele voorspelling AANTAL BLADZIJDEN: 16 VERTROUWELIJK: 0 JA, tot (datum) NEE STATUS: LI VOORLOPIG El CONCEPT Z DEFINITIEF

4 Delft FEWS Q december 2004 Inhoud 1 Inleiding Functionele eisen voorspellingsysteem Frequentie van het maken van voorspellingen Archief functies Operationele betrouwbaarheid Datastromen Invoerdata Data voor FEWS Client Uitvoerdata naar externe systemen Eisen aan de infrastructuur Systeemstructuur Software componenten Schatting van eisen aan hardware Mogelijke hardware configuratie Benodigde kennis

5 Inleiding Dit werkdocument is opgesteld naar aanleiding van de vraag van RIZA om inzicht te krij gen naar de mogelijkheden die Delft-FEWS biedt als deel van een volledig operationeel voorspellingsysteem. Dit operationele systeem zal gehuisvest worden in het operationele centrum van RIZA, het Infocentrum in Lelystad. Het werkdocument vormt een deel van de met WL 1 Delft Hydraulics gesloten overeenkomst RJ (WL project nummer Q3831). Het kernpunt van dit werkdocument is de integratie van Delft-FEWS voor Maas en Rijn als operationeel systeem in het Infocentrum. De aandacht gaat hierbij uit naar een viertal punten; de functionele eisen die gesteld worden aan het operationele voorspellingsysteem; de gevolgen die deze functionele eisen hebben op processen en datastromen; de hieruit voortvloeiende eisen aan de benodigde/beschikbare infrastructuur; en, een korte beschrijving van de benodigde kennis om het operationele systeem te onderhouden. Dit werkdocument is volgens deze vier punten opgedeeld.

6 Werkdocument ooerationeel systeem 2 Functionele eisen voorspellingsysteem Het operationele voorspellingsysteem zal in tegenstelling tot de huidige manier van werken een geautomatiseerd proces omvatten. Dit houdt in dat het systeem op regelmatige tijdstippen data inwint van externe bronnen, een voorspelling maakt en wederom data (resultaten) terugstuurt naar externe doelen - dit terugsturen kan dan data in de vorm van tijdseries zijn, maar zal vooral HTML rapporten beslaan. 2.1 Frequentie van het maken van voorspellingen Ten einde een schatting te maken van de hoeveelheden data die gebruikt worden en het aantal processen dat plaatsvindt, wordt een aanname gedaan ten aanzien van de frequentie van het maken van voorspellingen. Hierbij wordt onderscheid gemaakt tussen Maas en Rijn. Verder wordt een aanname gedaan dat er elk jaar gemiddeld één hoogwaterperiode is met een duur van een maand. Gedurende deze maand wordt de frequentie van het maken van voorspellingen verhoogd tot 2x de normale frequentie. Hierbij wordt impliciet rekening gehouden met het maken van een aantal scenario voorspellingen. De aangenomen frequenties worden wel afhankelijk gemaakt van de invoerdata die wordt gebruikt. Voor die voorspellingen die een langere zichttijd hebben wordt de frequentie niet verhoogd. Tabel 1 Aannamen over frequentie van voorspellingen Stroomgebied/deelsysteem Frequentie data Frequentie Normaal bedrijf Frequentie Hoogwaterbedrjf Rijn Maas Rijn Maas HIRLAM Voorspelling 6 uur 12 uur 6 uur 6 uur 3 uur DWD-LM Voorspelling 12 uur 12 uur 6 uur 6 uur 3 uur DWD-GME-Voorspelling 12 uur 12 uur 12 uur 12 uur 12 uur ECMWF-Deterministisch 12 uur 12 uur 12 uur 12 uur 12 uur ECM WF-Ensemble 24 uur 24 uur 24 uur 24 uur 24 uur Het systeem zal operationeel draaien in het Infocentrum in Lelystad. Toegang tot het systeem is echter mogelijk van meerdere locaties. Enkele voorbeelden zijn; RIZA Arnhem Directie Limburg, Directie Oost Nederland, thuis PC. Hierbij wordt wel ervan uitgegaan dat elk toegang binnen het netwerk van Rijkswaterstaat plaatsvindt. Bij het bekijken van de voorspellingen van deze locaties kunnen afhankelijk van de snelheid van de verbinding keuzes gemaakt worden; welke data wordt gesyncbroniseerd en welke niet. Het zal daarbij dan vooral gaan om het niet synchroniseren van de (grote) voorspelde weergrids. De resultaten van de voorspellingen zullen in principe wel worden gesynchroniseerd (ook hier zijn verdere keuzes mogelijk om bijvoorbeeld naar een thuis-pc alleen de korte termijn voorspellingen te synchroniseren en niet de langere termijn voorspellingen). 2-1

7 In alle gevallen zullen HTML rapporten op alle locaties beschikbaar zijn. Deze rapporten omvatten onder andere samenvattingen van de gemaakte voorspellingen maar kunnen eveneens gedetailleerd inzicht geven in de resultaten. 2.2 Archief functies Het voorspelsysteem wordt uitdrukkelijk niet als archief gezien. Dit betekent dat de database van het systeem een tijdelijke opslag is van gegevens. Voor alle dynamische data geldt dat deze na een bepaalde periode weer van het systeem wordt verwijderd. Deze periode kan voor de verschillende typen data worden gevarieerd en zal in het algemeen langer zijn voor historische data en modelresultaten (historisch en voorspelling), en korter voor de extern ingewonnen voorspellingen. In dit werkdocument wordt aangenomen dat de historische data en historische resultaten voor een periode van 100 dagen in het systeem worden opgeslagen. Door het systeem gemaakte voorspellingen (punttijdseries) worden eveneens voor een periode van 100 dagen opgeslagen. Externe voorspellingen (bijvoorbeeld grid data) wordt slechts voor een periode van 30 dagen opgeslagen. Een uitzondering zou gemaakt kunnen worden voor de ECMWF - EPS voorspelling die slechts 10 dagen in het systeem worden opgeslagen. Dit heeft gunstige gevolgen voor de grootte van de database. Om gegevens te archiveren zijn er twee mogelijkheden beschikbaar; exporteren van de gemaakte voorspellingen naar een extern archief; en, een "gearchiveerde" voorspelling met het systeem aanmaken. Met deze functionaliteit worden alle data die een voorspelling gebruikt, inclusief modeltoestanden, externe data enz. in een ZTP bestand opgeslagen (buiten de database). Deze kunnen dan later weer in het systeem worden teruggelezen. 2.3 Operationele betrouwbaarheid Aangezien het voorspellingsysteem een volledig operationeel systeem is, gelden er eisen ten aanzien van de betrouwbaarheid. Deze eisen zijn bepalend voor de mate waarin in het systeem redundantie wordt ingebouwd, als ook voor de operationele ondersteuning die nodig is om het systeem te onderhouden. De frequentie van het maken van voorspellingen, zoals hierboven beschreven, geeft aan dat een geringe uitval in de orde van 12 uur acceptabel zou kunnen zijn. Hierdoor lijkt het onnodig om het gehele systeem redundant uit te voeren. Om de bedrijfsvoering tijdens noodsituaties toch te waarborgen zijn er eenvoudige scenario's te bedenken, waarbij in deze situaties de hoogwatervoorspelling handmatig wordt Voortgezet totdat het centrale systeem weer beschikbaar komt. 'NL I Delft Hydraulics 2-2

8 3 Datastromen Aan de hand van de aannamen over het maken van voorspellingen kan de grootte van de datastromen van en naar het voorspellingsysteem worden geschat, evenals de hoeveelheid data die het systeem (tijdelijk) opslaat. Er zijn vier belangrijke datastromen te onderkennen; Invoerdata van meetsystemen en voorspellingen om in het FEWS te worden ingelezen; Interne datastromen, tussen de diverse systeemcomponenten; Data naar FEWS Client software, al dan niet over het LAN, WAN of PSTN/ISDN/Breedband. Uitvoerdata naar externe systemen (archivering, WEB pagina's) In de beschouwing in dit document worden de interne datastromen niet verder beschouwd. Er wordt ervan uitgegaan dat indien de hardware van het centrale systeem uit meerdere componenten bestaat, deze met een hoge snelheid LAN verbonden zijn. 3.1 Invoerdata De invoerdata naar het systeem bestaat uit zowel gemeten hydrologische en meteorologische gegevens als ook voorspelde hydrologische en meteorologische gegevens. De data wordt vaak niet in gecomprimeerde vorm geleverd. De tabel geeft de grootte van de datastroom per dag weer, geschat op basis van de grootte van de bronbestanden. Gemeten data Meetdata worden verkregen van een verscheidenheid aan bronnen. Deze data bestaan grotendeels uit tij dseries met metingen op puntlocaties. De hoeveelheden zijn daarom ook betrekkelijk gering (naar boven afgerond op 1OKB). Externe voorspellingen van de LHG worden voor het gemak ook in deze tabel meegenomen. Tabel 2 Schatting datastroom gemeten data. Type Bron Frequentie Grootte (MB/dag) MSW MSW ca. lx per uur 0.05 (Rijn & Maas) TTRR DWD lx per dag 0.02 (Rijn) Synop DWD DWD 4x per dag 0.04 (Rijn) KINIMI Synoptisch KNMI 4x per dag 0.01 (Maas) LHG Rheinfelden LHG lx per dag 0.01 (Rijn) 3 -

9 Werkdocument Operationeel systeem Voorspelde data De weersvoorspellingen die het systeem gebruikt voor het maken van de hydrologische voorspelling zijn een orde groter dan die van de gemeten data. Externe voorspellingen van een aantal meteorologische instituten worden gebruikt. De data beslaat echter zowel het Maas als het Rij nstroomgebied. Tabel 3 Schatting datastroom gemeten data. Type Bron Frequentie Grootte (MB/dag) KNMI-HIRLAM KNMI 4x per dag 16 DWD-GME DWD 2x per dag 1 DWD-LM DWD 2x per dag 15 ECMWF-Determ. ECMWF 2x per dag 0.2 ECMWF-EPS. ECMWF lx per dag Data voor FEWS Client De gebruiker van Delft-FEWS interacteert met het systeem door gebruik te maken van de zgn. FEWS Client. Deze geeft toegang tot de resultaten van voorspelruns, de invoerdata enz. Deze client is een zogenaamde "thick client", waarbij er fysiek op de PC waarop wordt gewerkt, een stuk software wordt geïnstalleerd. Deze client software maakt een lokale kopie van een (deel) van de centrale database. De data in deze (lokale) kopie wordt voortdurend gesynchroniseerd met de centrale database door een synchronisatie proces op de achtergrond. De hoeveelheid data die gesynchroniseerd wordt, is sterk afhankelijk van een aantal opties ingesteld op de client. Deze wordt meestal ingesteld afhankelijk van via welke netwerkverbinding de client toegang heeft tot het centrale systeem. In principe geldt dat een aantal typen dynamische data altijd, onafhankelijk van de verbinding, wordt gesynchroniseerd, omdat die data cruciaal is voor de gebruiker om op de hoogte te zijn van de meest actuele voorspelling. Deze cruciale data zijn de externe gemeten en voorspelde data, en de door het systeem aangemaakte voorspellingen. Bij de door het systeem gemaakte voorspellingen wordt echter alleen de laatste geverifieerde voorspelling gesynchroniseerd. Oudere voorspellingen, of handmatig aangemaakte scenario voorspellingen worden niet automatisch gesynchroniseerd, maar alleen op aanvraag door een gebruiker. Het synchronisatieproces vergelijkt voortdurend de centrale database en de lokale kopie. Na et beschikbaar komen van nieuwe data op het centrale systeem, zal bij de volgende controle deze worden verstuurd naar de lokale kopie. WL 1 Delft Hydraulics 3-2

10 Werkdocument Alle communicatie tussen de client en de server wordt gedaan via Java Messaging Service (JMS). Dit is een standaard client-server communicatiemechanisme. Het is goed te vergelijken met het versturen van een , waarbij de data als "attachment" aan de mail vastzit. Dit geeft zeer bedrijfszekere data communicatie. De te versturen data wordt in een XML bestand opgenomen, die dan gecomprimeerd als JMS bericht wordt verzonden. In de tabel hieronder wordt op basis van de hierboven gegeven aannames een schatting gemaakt van de datastromen per voorspelling. De grootte van de datastroom is afgeleid van het geschatte aantal getallen dat tussen de server en de client wordt uitgewisseld. Bij de gemaakte schatting is men ervan uitgegaan dat er tijdens het draaien van de modellen in FEWS voor 200 locaties tij dserie data wordt verwerkt, met een gemiddeld aantal van 4 parameters per locatie (bijvoorbeeld, P.im T.im, Q.uh, Q.uah voor IIBV uitvoer locaties in de update run en een overeenkomend aantal voor de forecast run). De tabel geeft een schatting van de totale hoeveelheden die naar een client met een snelle verbinding gesynchroniseerd kan worden. Voor een langzamere verbinding kan met de beschikbare opties een deel hiervan worden uitgeschakeld, bijvoorbeeld de grotere voorspelgrids en de ensembieresultaten. Tabel 4 Schatting datastroom data van server naar FEWS client. Type Bron Frequentie Aantal dagen in database Grootte (MB/dag) Externe meetdata/voorspelde data MSW (Rijn & Maas) MSW ca. lx per uur TTRR (Rijn) Synop DWD (Rijn) DWD DWD lx per dag x per dag KNMI Synoptisch (Maas) KNMI 4xperdag LHG (Rijn) Rheinfelden LHG lx per dag Voorspelde grid data KNMI-HIRLAM KNMI 4x per dag DWD-GME DWD 2x per dag DWD-LM DWD 2x per dag ECMWF-Determ. ECMWF 2x per dag ECMWF-EPS. ECMWF I ixperdag

11 Type Bron Frequentie Aantal dagen in Grootte database (MB/dag) Voorspelde model data (FEWS) Verwekte FEWS 4x per dag historische data KNMI-HIRLAM KNMI 4x per dag Voorspelling DWD-GME DWD 2x per dag Voorspelling DWD-LM DWD 2xperdag Voorspelling ECMWF-Determ. ECMWF 2xperdag Voorspelling ECMWF-EPS. ECMWF lx per dag Voorspelling 3.3 Uitvoerdata naar externe systemen De uitvoer data naar externe systemen is betrekkelijk gering in omvang, en zal een klein gedeelte van de voorspelde modeldata in Tabel 4 beslaan. Deze bestaat uit aangemaakte HTML pagina's met de resultaten van de voorspellingen. Ook tij dseries kunnen worden uitgevoerd naar externe systemen in bijvoorbeeld ASCII formaat. Deze tijdseries kunnen om twee redenen worden uitgevoerd: voor de alarmering, waarbij een extern systeem (BC2000) de series analyseert; en, voor opslag in een extern archief (eventueel ook BC2000). 3-4

12 4 Eisen aan de infrastructuur 4.1 Systeemstructuur De structuur van het live systeem is in onderstaande figuur weergegeven. In het figuur worden alle onderdelen weergegeven op aparte computers, maar er kunnen uiteraard meerdere functies op één computer worden geïnstalleerd. Operator Consoles IlI External data sources Figuur 1 Overzicht van de structuur van het systeem 4.2 Software componenten Het DELFT-FEWS systeem bestaat uit een aantal software componenten. Onderstaande tabel geeft een korte beschrijving van de functie van elk van deze componenten en geeft ook aan op welke typen hardware de componenten beschikbaar zijn. 4-1

13 Tabel 5 Overzicht van software componenten. Software Beschrijving Hardware Opmerkingen component mogelijkhed en Master controller Centrale controle over Windows, Kan CPU intensief zijn; datastromen en voor het Unix of uitvoeren van taken. Linux server. Administrator Deze applicatie wordt gebruikt Windows, Lichtgewicht, kan interface voor het beheer van het Unix of eenvoudig met andere "live"systeem. Deze wordt door Linux server, applicaties een server de Web Server beschikbaar delen. gesteld. De applicatie is een JavaStruts applicatie, en maakt gebruik van een Servlet engine zoals Apache-Tomcat. Forecasting Shell Dit is een instantie van de Windows Meerdere instanties Server DELFT-FEWS client die Server, kunnen op een fysieke verantwoordelijk is voor het computer parallel worden uitvoeren van modelruns. uitgevoerd. Forecasting Shell Windows Service om de Windows Server - Windows communicatie tussen de Master Server. Service controller en de Forecasting Shell Server te beheren. Alle (Master controller communicatie verloopt via de proxy") Java Messaging Service (JMS). Operator Client DELFT-FEWS Client, Windows PC beschikbaar voor de gebruiker om met het systeem te interacteren. Deze computers kunnen betrekkelijk goedkope windows servers zijn. Eventueel kunnen twee computers naast elkaar gezet worden om de betrouwbaarheid te waarborgen. De forecasting shell servers op dezelfde computer als de Master Controller zetten, wordt afgeraden vanwege het mogelijk hoog CPU verbruik van de modellen. WL I Delft Rydraulics

14 Delft FEWS Q december 2004 Software Beschrijving Hardware Opmerkingen component mogelij khed en Web reports HTML pagina's met resultaten Unix, Linux Lichtgewicht, kan van modelvoorspellingen. Kan of Windows eenvoudig met andere eenvoudig worden server, applicaties een server gecombineerd met de Admin delen. Interface. JMS Application Noodzakelijk voor alle Unix, Linux server communicatie tussen of Windows gedistribueerde server. systeemonderdelen. Een Java Messaging Service controller is hiervoor nodig. Dit kan een onderdeel zijn van een J2EE Applicatie server, zoals JBoss, BEA Weblogic, Oracle ias etc. Er zijn ook JMS-Only systemen beschikbaar die eventueel kunnen worden toegepast aangezien JMS het enige onderdeel van de J2EE standaard is die wordt gebruikt. Central database 2 Deze vormt de centrale Unix, Linux Moet ca. 1GB data dataopslag, met alle gemeten of Windows kunnen bevatten. De data, systeem configuratie enz. server, fysieke grootte van de Een database management database kan echte 3 â 4 systeem zoals Oracle, SQL- keer zo groot zijn. Lees Server en.z is hiervoor nodig. en schrijf acties zullen zwaardere eisen stellen dan CPU gebruik. Minimaal 1GB RAM wordt aangeraden aangezien cachen van veelgebruikte data de prestaties aanzienlijk kunnen verbeteren 1 Forecasting Shell Servers kunnen potentieel naast Windows Servers eveneens op Unix en Linux worden gebruikt. De hydrologische modellen die gebruikt worden zijn echter vaak alleen op Windows beschikbaar. 2Het systeem is modulair opgezet, waardoor de beschikbare functionaliteit niet afhankelijk is van de gekozen database. Ondanks dit zijn in het huidige systeem een aantal procedures speciaal gericht op het gebruik van Oracle. Dit zal worden uitgebreid naar SQL-Server in de nabije toekomst, maar als een andere Database Management Systeem wordt verkozen zullen deze procedures moeten worden aangepast. 4-3

15 4.3 Schatting van eisen aan hardware Eisen ten aanzien van CPU en hard disk grootte van de verschillende componenten van DELFT-FEWS zijn niet eenvoudig te kwantificeren. Om toch een schatting te kunnen maken is in Tabel 6 het CPU verbruik van elk van de componenten geclassificeerd als "zwaar", "gemiddeld", of "licht". Tabel 6 Eisen aan CPU, RAM en disk gebruik. Component CPU RAM Disk gebruik Master controller Zwaar gebruikt -500MB, 1GB aangeraden <1GB Admin interface Licht gebruikt 32MB <1GB Forecasting Shell Server Zwaar 512MB per server -2GB per server Operator Client Gemiddeld 512MB aangeraden <1 GB Web reports Licht Licht <1GB JMS Application server Gemiddeld gebruikt - 256MB <1 GB Central database Licht 1GB aangeraden - 4GB data (ex. Oracle bestanden) 4.4 Mogelijke hardware configuratie Op basis van de eisen aan CPU en RAM is een mogelijke hardware configuratie voor de inpassing van het operationele systeem in het berichtencentrum gegeven in Tabel 7. Hierbij wordt ervan uitgegaan dat een volledige redundante uitvoering van het systeem niet nodig is. In paragraaf 2.3 is aangenomen dat een "down-time" van 12 uur acceptabel kan zijn. Vanwege de mogelijkheid om met een kopie van de locale database van één van de forecasting shell servers tijdens noodsituaties toch door te werken is geen specifieke extra hardware nodig. Voor FEWS hoeft geen extra back-up maatregelen genomen te worden, gezien de huidige voorzieningen bij het Infocentrum om de bedrijfsvoering zoveel mogelijk te garanderen. WL 1 Delft Hydraulics 4 4

16 Tabel 7 Mogelijke configuratie DELFT-FEWS in Functie Software componenten Hardware Master Server Master Controller HP Unix server Applicatie (JMS) Server Web Server Gebruik ruimte op beschikbare server Applicatie server: JBoss Web Server: Apache Tomcat. Database Centrale database: Oracle 9.2 HP Unix server Gebruik ruimte op beschikbare server Forecasting Shell Servers Model applicaties (SOBEK, Aangeraden: HBV); 2 x Wmdows server, Shell Server software; bijvoorbeeld: Master Controller listener. HP Proliant DL360. Operator clients DELFT-FEWS Client Standaard Windows PC, CPU> 1GHz, 512MB RAM. 4 5

17 5 Benodigde kennis Voor het onderhoud van DELFT-FEWS als operationeel systeem is er specifieke kennis nodig ten aanzien van de gebruikte software. Hierbij gaat het vooral om de gekozen externe applicaties; Beheer Unix server Beheer Windows server(s) Database administratie voor het gekozen DBMS, bijvoorbeeld. Oracle Beheer J2EE Applicatie server voor het gekozen systeem (bijvoorbeeld JBoss). Beheer Web server (bijvoorbeeld Apache/Tomcat). Dit kan uiteraard een onderdeel zijn van het beheer van al beschikbare web servers. Ook voor het beheren van de componenten van DELFT-FEWS is er specifieke kennis nodig. Deze kennis zal door de gebruiker/beheerder moeten worden opgedaan, waarbij WL en Tessella uiteraard ondersteuning kunnen bieden.

18

19 WL J Delft Hydraulics Rotterdamseweg 185 postbus MH Delft telefoon telefax info@wldelft.nl internet Rotterdamseweg 185 p.o. box MH Delft The Netherlands telephone +31 IS telefax info@wldelft.nl internet North Sea Amsterdam London.