Release Notes Major Release Simona2017

Transcriptie

1 Release Notes Major Release Simona2017

2

3 Release Notes Major Release Simona2017 Version number : 1.1, december 2017 Maintenance : see Copyright : Rijkswaterstaat

4 Inhoudsopgave 1 Inleiding 3 2 Informatie voor gebruikers Aanpassingen environment variabele vanwege problemen met nieuwe Linux versies Samenvoegen van deel SDS-files tot één SDS-file tijdens simulatie Charnock coëfficiënt tijd- en ruimtelijk variërend QAD-randen in combinatie met 3D randen (met keyword BOUXDIM) Omwisseling van benedenstroomse en bovenstroomse taludhellingen van Villemonte Wijzigingen in Getdata Offset bij Riemann randen uit Modnst Upgrade van OpenDA versie Wijzigingen in zowel Waqview als Getdata Wijzigingen in Waqview Overzicht van kleine wijzigingen Informatie voor programmeurs MY_SIMONA en BASE_SIMONA zijn uitgefaseerd Fortran code omgezet naar F90 free format Aanpassingen aan de testbank Compatibiliteit Compatibiliteit met vorige versie van de programmatuur Zijn alle oude functionaliteiten nog beschikbaar? Zijn er aanpassingen nodig aan de modelinvoer om deze versie (met oude functionaliteit) te kunnen gebruiken? Zijn er aanpassingen nodig aan de modelinvoer om nieuwe functionaliteit te kunnen gebruiken?

5 4.1.4 Moeten er nieuwe filters worden aangemaakt om deze versie (met oude functionaliteit) te kunnen gebruiken? Moeten er nieuwe filters worden aangemaakt om de nieuwe functionaliteit van de nieuwe release te kunnen gebruiken? Zijn er restricties aan het gebruik van de nieuwe functionaliteit, combinaties die niet worden ondersteund? Zijn er nieuwe keywords? Zijn er wijzigingen in de bestaande keywords? Zijn de wijzigingen doorgevoerd in alle voor- en nabewerkingsprogramma s? Zijn er wijzigingen in de meldingen door het systeem? Zijn de resultaten veranderd? Is er uitvoer (zowel message file als SDS-file) geschrapt? Aankondiging m.b.t. verouderde functionaliteit Bekende problemen en beperkingen Algemene beperkingen Restricties voor het Linux-platform Restricties voor het Windows-platform Configuratie Platforms Producten Bestanden Versienummers 18 8 Nuttige informatie 19 2

6 Hoofdstuk 1 Inleiding Deze release notes horen bij de major release Simona2017. In dit document worden de belangrijkste wijzigingen beschreven die sinds de vorige major release (Simona2016) zijn doorgevoerd. Deze wijzigingen betreffen op hoofdlijnen: algemeen: extra environment variabele gezet om problemen met nieuwe Linux versies te vermijden WAQPRO/Coppos: Samenvoegen van deel SDS-files tot één SDS-file tijdens simulatie WAQPRO: Charnock coëfficiënt plaats- en tijdsafhankelijk gemaakt WAQPRO: QAD randen in combinatie met 3D randen WAQPRO: omwisseling van benedenstroomse en bovenstroomse taludhellingen bij Villemonte Getdata: wegschrijven van extremen als min13..last25 is instelbaar gemaakt Modnst: mogelijkheid van een offset om te corrigeren voor een verschillend referentieniveau OpenDA: upgrade naar versie algemeen: de compilervlaggen voor het genereren van de programmatuur zijn gewijzigd waardoor in de toekomst de verschillen tussen releases kleiner zullen zijn Verder diverse kleinere aanpassingen in Waqpre, Waqpro, Getdata, Waqview en Waqpan, zie hoofdstuk 2. Bovenstaande aanpassingen en een aantal kleinere wijzigingen en bug fixes worden in hoofdstuk 2 verder toegelicht. 3

7 Hoofdstuk 2 Informatie voor gebruikers In dit hoofdstuk worden de belangrijkste wijzigingen voor de gebruiker opgesomd. Allerlei kleine verbeteringen in de programmatuur, zoals extra controles in de programma s en sommige verbeteringen in de documentatie, worden niet apart vermeld. 2.1 Aanpassingen environment variabele vanwege problemen met nieuwe Linux versies Op Linux wordt nu automatisch de environment variabele LD_BIND_NOW op 1 gezet, nadat sommige systemen grote problemen kregen na een update van het OS. Simulaties crashten omdat een Not a Number berekend werd. Het gaat dan in ieder geval om de upgrade van CentOS / Redhat van 7.3 naar 7.4. Deze aanpassing bleek cruciaal voor o.a. de RWsOS-toepassingen van Simona. Dit is ook als patch beschikbaar in Simona2016. Gebruikers van nog oudere Simona versies die tegen dit probleem aanlopen, moeten handmatig deze environment variabele zetten. 2.2 Samenvoegen van deel SDS-files tot één SDS-file tijdens simulatie Voor Waqpro simulaties waarbij gebruik wordt gemaakt van parallel rekenen of domeindecompositie worden de deelresultaten gecollecteerd. Dit gebeurde in een postprocessing stap waarbij Coppos gegevens uit de deel SDS bestand combineert tot één globaal resultaat (SDS bestand) per domein. Nieuw is de mogelijkheid om het collecteren tijdens de simulatie uit te voeren, ook wel coppos online genoemd (zie waqpro.pl -h voor de optie -col_online). Hierbij stuurt Waqpro deelresultaten via MPI communciatie al tijdens de simulatie door naar Coppos. Hierdoor is het mogelijk om tijdens de simulatie al resultaten te bekijken. De online collecteren vergt geen extra CPU cores. De Coppos processen (één per domein) worden als extra processen opgestart. Het is mogelijk met -hostmap te speciferen op welke node de Coppos processen moeten draaien. Hiermee is het ook mogelijk om Coppos aan een eigen CPU core toe te kennen. De versnelling in doorlooptijd door het 4

8 online collecteren hangt af van de hoeveelheid data die wordt weggeschreven, de transfersnelheden van de harde schijf en het computernetwerk. De default waarde is -col_online y. 2.3 Charnock coëfficiënt tijd- en ruimtelijk variërend De Charnock coëfficiënt is een parameter in de conversie van windsnelheid naar windstress. Tot nu werd deze constant verondersteld, maar vanaf deze release kan de Charnock coëfficiënt tijd- en ruimtelijk varierend opgegeven worden. Net als met windsnelheid en druk gaat dit via Waqwnd, dat de meteo data in Grib of NetCDF formaat omzet naar een wind-sds file. Dit moet in de siminp aangegeven worden met het keyword VAR_BETA. 2.4 QAD-randen in combinatie met 3D randen (met keyword BOUXDIM) Het is met deze versie van Triwaq mogelijk om het ene deel van het model aan te sturen met 3D snelheidsranden en een ander deel met automatisch verdeeld debiet (de zogenaamde QAD-randen). Dit is ontwikeld voor het 3D RMM model, dat een combinatie van 3D randvoorwaarden en debietranden toepast. 2.5 Omwisseling van benedenstroomse en bovenstroomse taludhellingen van Villemonte De bovenstroomse en benedenstroomse taludhellingen bleken bij toepassing van Villemonte omgedraaid te zijn, wat gecorrigeerd is. 2.6 Wijzigingen in Getdata Voor de uitvoer ten behoeve van de Charnock coëfficiënten zijn extra variabelen beschikbaar, namelijk EPSBET en VARBET. Voor de restsnelheden zijn de geïntegreerde variabelen VELUINT, VELVINT, VSPEEDINT en VANGLEINT beschikbaar. Andere wijzigingen aan Getdata: Extremen (min13, max25 etc.) die weggeschreven kunnen worden zijn instelbaar gemaakt. De gebruiker kan via een invoerbestand elk willekeurig oneven getal (naast 13 en 25) opgeven. Verhoging van stack size voor Windows, nodig in NetCDF bibliotheek BARH en BARQ bij tstart in NetCDF is nu undefined i.p.v. nul Uitvoer naar tekal formaat met meerdere kolommen, met voldoende ruimte voor grote getallen 5

9 2.7 Offset bij Riemann randen uit Modnst Bij de Simona2016 was het al mogelijk om voor waterstandsranden uit Modnst een offset mee te geven. Deze offset kan zowel een verschil in referentievlak zijn, maar ook een correctie om de voorspelfout te verkleinen. Deze offset bleek ook gewenst voor Riemann randen en is nu beschikbaar. Tegelijk is de implementatie voor droogval bij Riemann randen aangepast. De gebruiker kan nu kiezen uit drie opties. Optie 1 is hetzelfde gedrag als voorheen, optie 2 gebruikt de droogvaldrempel als minimale waterstand en optie 3 gebruikt interpolatie; zie ook de handleiding van Modnst. 2.8 Upgrade van OpenDA versie De major release Simona2016 bevat OpenDA release voor het uitvoeren van data assimilatie en kalibratie simulaties. In de major release Simona2017 is OpenDA geüpgraded naar de release Deze release van OpenDA bevat de meest recente bugfixes en is uitvoerig getest. Versie kan alleen gebruikt worden met een Java runtime environment (JRE) versie 8 of hoger. In deze Simona release wordt JRE versie 8 update 152 meegeleverd. Voor meer informatie over de wijzigingen wordt verwezen naar de OpenDA release notes die bij de helpdesk kunnen worden opgevraagd. 2.9 Wijzigingen in zowel Waqview als Getdata Er is geen uitvoer meer bij droogval m.b.t. statistische grootheden (max25, min13,...) voor waterstanden 2.10 Wijzigingen in Waqview controle op fouten in de invoer file verbeterd menu m.b.t. overlaten in het geval van rgf wordt correct weergegeven default waarde voor Chezy wordt gezet bugfix m.b.t. crash bij het wegschrijven van Simona-box file bugfix m.b.t. het plotten van wind data bugfix m.b.t. rechtermuisknop op Map en His bij lange bestandsnaam stacksize verhoogd op Windows, dat nodig is bij veel tijdreeksen 6

10 2.11 Overzicht van kleine wijzigingen Naast bovenstaande wijzigingen zijn er diverse kleine verbeteringen doorgevoerd. Deze worden hieronder per deelsysteem opgesomd. inlezen RGF-file robuuster Het inlezen van een grid file met missing values ongelijk aan nul is nu mogelijk. Tevens is het toegestaan om meer spaties te hebben in de regel met grid dimensies. Dit geldt zowel voor Waqpre als Waqview. kleine wijziging in Waqpre de initialisatie van vegetatie code voor overlaten is verbeterd barriersturing op tijd in combinatie met ruimtelijk varierende wind is nu mogelijk verbeterde controle op niet gebruikte ruwheidscodes kleine wijziging in Waqpro verbeterde droogval/onderlopen van overlaten in 3D overige kleine wijzigingen revisienummer wordt nu ook in de Windows executables weergegeven Waqpan: tijd en tijdstap worden bij grote waarden nu correct afgedrukt Waqpan: tijdhuishouding in dubbele precisie om afrondingsverschillen te voorkomen documentatie: beschrijving van CDCON verwijderd uit de technische documentatie documentatie: oude definities van ruwheidscodes en experimentnaam verwijderd uit de documentatie Strawberry Perl wordt met de Simona-release meegeleverd i.p.v. ActivePerl (voor Windows) Waqmorf: debiet voor laagwaterblok kan afwijzen van default waarde 7

11 Hoofdstuk 3 Informatie voor programmeurs Deze Simona release is door Deltares op een Virtuele Machine getest. Daarvoor zijn twee Virtuele Machines ingericht: Windows7 64-bit Linux 64 bit (CentOS bit) Sinds de laatste major release zijn er enkele aanpassingen gemaakt aan de procedures en werkwijzen voor het beheer en onderhoud van de programmatuur. Deze zijn van belang voor alle Simona programmeurs. 3.1 MY_SIMONA en BASE_SIMONA zijn uitgefaseerd De variabelen MY_SIMONA en BASE_SIMONA zijn uitgefaseerd en waar nodig vervangen door SIMONADIR. 3.2 Fortran code omgezet naar F90 free format Alle Fortran code van Simona is omgezet van oude fixed format naar het meer gangbase F90 free format. Dit is automatisch met een script gebeurd. Ook in de examples directory zijn de user transport routines omgezet. Alleen in de testbank zijn de user routines in het oude formaat, omdat anders de vergelijking met Simona2016 niet kon worden gemaakt. 3.3 Aanpassingen aan de testbank De modellen testbank is uitgebreid met de optie col_online1 en col_online2, om de nieuwe optie coppos online aan en uit te kunnen zetten. 8

12 Er zijn testmodellen toegevoegd. Bijvoorbeeld om de combinatie van QAD-randen en 3D randen te testen, en de ruimtelijk variërende Charnock coëfficiënten. De Waqview testen zijn uitgebreid met Fourier openingen. Verder wordt ascii-reeks-max25 in de Getdata testen zowel getest met een geval posupwards als posdownwards. Een Waqpan test is uitgebreid met tijdreeksen. 9

13 Hoofdstuk 4 Compatibiliteit In deze paragraaf besteden we aandacht aan een aantal specifieke punten die van belang zijn bij de overstap van de vorige naar de huidige versie van de programmatuur. 4.1 Compatibiliteit met vorige versie van de programmatuur Zijn alle oude functionaliteiten nog beschikbaar? Ja, maar de oude functionaliteit van coppos kan alleen verkregen worden als aan het waqpro.pl script de optie -col_online n wordt meegegeven Zijn er aanpassingen nodig aan de modelinvoer om deze versie (met oude functionaliteit) te kunnen gebruiken? Nee Zijn er aanpassingen nodig aan de modelinvoer om nieuwe functionaliteit te kunnen gebruiken? Ja. Bij gebruik van de tijd- en ruimtelijk variërende Charnock coëfficiënten moet het keyword VAR_BETA worden gebruikt Moeten er nieuwe filters worden aangemaakt om deze versie (met oude functionaliteit) te kunnen gebruiken? Nee. 10

14 4.1.5 Moeten er nieuwe filters worden aangemaakt om de nieuwe functionaliteit van de nieuwe release te kunnen gebruiken? Nee Zijn er restricties aan het gebruik van de nieuwe functionaliteit, combinaties die niet worden ondersteund? Nee Zijn er nieuwe keywords? Ja. VAR_BETA en EPS_BETA voor de aansturing van de tijd- en ruimtelijk variërende Charnock coëfficiënten Zijn er wijzigingen in de bestaande keywords? Nee Zijn de wijzigingen doorgevoerd in alle voor- en nabewerkingsprogramma s? Ja Zijn er wijzigingen in de meldingen door het systeem? Door coppos online ziet de message file van Waqpro er anders uit Zijn de resultaten veranderd? Ja. Bij overlaten in 3D waarbij sprake is van droogval / onderlopen. Ten gevolge van gewijzigde compilervlaggen kunnen voor de enkele precisie versie van Simona verschillen optreden. In de postprocessing stap met Getdata kunnen de tijdreeksen korter zijn, omdat de starttijd overeenkomt met het tijdstip dat bij tfhist is opgegeven in plaats van het tijdstip bij tstart Is er uitvoer (zowel message file als SDS-file) geschrapt? Nee. 11

15 4.2 Aankondiging m.b.t. verouderde functionaliteit Om het complete Simona systeem beheersbaar te houden moet er van tijd tot tijd verouderde functionaliteit uit het systeem worden geschrapt. De volgende functies worden hiervoor genomineerd in 2018: Geen. 12

16 Hoofdstuk 5 Bekende problemen en beperkingen In deze paragraaf bespreken we de beperkingen en bekende problemen van de huidige release. Eerst geven we de beperkingen die voor alle platformen gelden, daarna de beperkingen per platform. 5.1 Algemene beperkingen De maximale bufsize is 1000 MW. Bij gebruik van afwijkende buffer sizes in DDHOR-berekeningen moet de bufsize in de DDHOR-configuratie file op dezelfde regel worden gespecificeerd als de executable. Een dergelijke restrictie geldt ook voor de DDHOR-versie van Visipart die de config-file uit de message file leest: de naam, de runid en executable moeten op verschillende regels staan. Modellen die Lagrangiaanse tijdsintegratie gebruiken, kunnen niet worden gerestart. Voor het systeem Waqua-met-OpenDA gelden de volgende beperkingen: Er is alleen getest met het verwerken van waterstandsmetingen. User transport kan niet worden gebruikt. Kalman mode-parallellisatie is niet getest. Waqua-met-OpenDA is alleen beschikbaar voor het Linux 64-bit platform. Lange padnamen kunnen resulteren in een error. Als met behulp van de Simona toolbar (ArcGis-plugin) vectoren zijn getekend in ArcGis en vervolgens alle shapefiles die in ArcGis zijn geladen verwijderd worden, dan genereert het systeem een foutmelding. Het bellenscherm werkt alleen voor pure sigma lagen. De tijdseries die gebruikt worden voor barriersturing kunnen op twee verschillende plaatsen worden opgegeven. Op de ene plaats is het de tijd ten opzichte van ITDATE en op de andere plaats ten opzichte van TSTART. Dit kan voor de gebruiker verwarrend zijn. 13

17 Horizontale domeindecompositie berekeningen (DDHOR-berekeningen) kunnen bij enkele precisie onnauwkeurige resultaten opleveren. Daarom wordt aangeraden DDHOR-berekeningen in dubbele precisie uit te voeren. Dit is overigens al enige tijd de default. 5.2 Restricties voor het Linux-platform De OpenMI koppeling werkt niet op Linux. Waqview: de optie transparency werkt niet voor het Linux-platform. Waqbank is niet beschikbaar voor het Linux-platform. 5.3 Restricties voor het Windows-platform Er is op Windows van IPW geen 64-bit executable beschikbaar. Er wordt dan automatisch van de 32-bit executable gebruik gemaakt. Voor deze applicatie geldt dan een maximale bufsize van circa 430 MW. Het redirecten van invoer voor Sidsview.pl (< invoerfile) werkt niet goed. Uitvoer sluizen onder Windows. Op het Windows platform is het mogelijk om de Perl scripts direct aan te roepen als zij in het zoekpad staan, dus zonder expliciet het commando perl te gebruiken. Hierbij werkt het sluizen van de uitvoer van het script naar een ander programma niet goed. Dit is een bekende beperking van Perl voor Windows. Optie -back werkt niet. Op het Windows platform kunnen rekenprocessen niet met de optie -back yes in de achtergrond worden opgestart. Als men de volledige aanroep van een script weet, kan deze in zijn geheel in de achtergrond worden opgestart via start waqpro.pl -runid <runid>.... Het woordje start doet hier iets vergelijkbaars als & op Linux. Er wordt daarom op Windows ook niet gevraagd naar de -back optie. Het gebruik van slashes in Getdata. Perl gebruikt de backslash ( \ ) als een bijzonder ( escape -) teken. Indien een padnaam wordt opgegeven als bestandsnaam moeten de backslashes daarom dubbel getypt worden. Als alternatief kunnen voorwaartse slashes ( / ) gebruikt worden, zoals dit onder Linux gebeurt. Simona in combinatie met OpenDA is niet beschikbaar op het Windows platform. User-transport routines kunnen niet gebruikt worden op het Windows platform. De Dirsys examples werken niet op het Windows platform. 14

18 Voor de installatie van Sidonia op een Windows 64-bit platform wordt er van uitgegaan dat java in C:/Program Files/Java/jre7/bin geïnstalleerd is/wordt. Met het programma Update.exe voor het Windows platform is het mogelijk om automatisch de laatste Simona patch van een release te installeren. Vanwege een wijziging in de ftpserver in 2013 zijn alleen de Update-versies vanaf de Simona2013 release bruikbaar. De Update.exe van eerdere releases zijn niet meer in staat om een Simona patch te downloaden en te installeren. Desgewenst kan Update.exe van de Simona2017 release gekopieerd worden naar de Simona2012 release (of ouder) voor het installeren van patches voor die release. 15

19 Hoofdstuk 6 Configuratie 6.1 Platforms Door Simona B&O worden de volgende platforms ondersteund: Linux 64-bit, Windows7 64-bit. De programmatuur zou ook onder Windows10 moeten werken, hoewel dit nog niet officieel wordt ondersteund. 6.2 Producten De standaard Simona levering bestaat uit de volgende onderdelen: Simona productieversie voor Linux 64-bit (als tgz-bestand) inclusief documentatie in pdfformaat en examples; Simona Installer voor Windows (64-bit platform); Simona productieversie (binaire uitlevering) voor Windows 64-bit (zip-bestand); Simona documentatie in pdf-formaat (één zip-bestand, platform onafhankelijk); Simona examples (één zip-bestand, voor het Windows platform zonder OpenDA examples); geschikte versies van externe systemen voor Windows 64-bit; Sidonia productieversie (één zip-bestand, platform onafhankelijk); release notes (onderhavig document). 16

20 6.3 Bestanden Hieronder volgt een opsomming en uitleg van de belangrijkste bestanden uit de Simona omgeving. Met $SIMONADIR wordt de productie directory van Simona op het lokale systeem bedoeld. - $SIMONADIR/README - bestand met informatie over de release - $SIMONADIR/INSTALL.simona - bestand met informatie over de installatie van de release - $SIMONADIR/INSTALL.par-win - aanvullende instructies voor het gebruik van parallel rekenen op het Windows platform - $SIMONADIR/etc - configuratiebestanden: referentie-arrays, foutmeldingenbestand e.d. - $SIMONADIR/etc/linux64/Settings.inc - (optioneel) instellingenbestand voor het Linuxplatform (64-bit) - $SIMONADIR/etc/win64/Settings.inc - (optioneel) instellingenbestand voor het Windows platform (64-bit) - $SIMONADIR/bin - directory met executeerbare programma s, in het bijzonder Perl run-procedures - $SIMONADIR/examples - directory met diverse voorbeelden - $SIMONADIR/doc/index.html - html-pagina voor toegang tot de documentatie (in pdf-formaat) - $SIMONADIR/extern/OpenDA - OpenDA, voor data-assimilatie en kalibratie simulaties met Simona - $SIMONADIR/extern/grib_api/definitions - Grib-api, GRIB_DEFINITION_PATH, nodig voor Waqwnd 17

21 Hoofdstuk 7 Versienummers Na de major release Simona2017 gelden de volgende versienummers (zoals te vinden in de message files die bij de verschillende programma s behoren): AGETWL 1.21 CALIBRIV 1.11 CLRSDS 1.25 CMPSER 1.21 COECTA 1.10 COEXEC 1.41 COPPOS 2.04 COPPRE 2.12 DIFTOSDS 1.17 GETDATA 3.29 GETSER 1.28 IPW / WAQIPW 5.40 KALMAN 2.14 MODNST 1.41 OBS2SDS 2.23 RSDS 2.19 SDS2MAT 2.47 SDSDIF 1.24 SDSTOINC 1.16 SIDSVIEW / SIVIEW 3.22 SIMPAR 1.27 SIRECOVR 3.15 SLIB3D 1.21 WAQBANK v3 (r3682) WAQCOSTA 1.26 WAQMORF WAQOMI 1.24 WAQPAN 9.05 WAQPRE WAQPRO WAQVIEW WAQWND

22 Hoofdstuk 8 Nuttige informatie Informatie met betrekking tot Simona, zoals de Helpdesk, is te vinden op internet: RSS-feeds m.b.t. Simona-patches: rss. 19