RELEASE NOTES UPDATE RELEASE SIMONA0808 (augustus 2008)

Transcriptie

1 RELEASE NOTES UPDATE RELEASE SIMONA0808 (augustus 2008) RIJKSWATERSTAAT

2 Inhoud Inhoud Inleiding Informatie voor gebruikers Nieuw algoritme voor domein decompositie: "Uitgaande informatie" Meenemen van getij-opwekkende krachten in de berekening Automatische bepaling van benodigde buffer-grootte Opname van prototype Waqua-met-Costa in de beheeromgeving Meerdere kleine wijzigingen Informatie voor programmeurs Aanpassing test-procedures Aanpassingen aan make-systeem Opname van Costa in de beheeromgeving Automatische aanpassing van de buffergrootte Compatibiliteit Compatibiliteit met vorige versie van de programmatuur Zijn alle oude functionaliteiten nog beschikbaar? Moet je aanpassingen doen aan je modelinvoer om deze versie (met oude functionaliteit) te kunnen gebruiken? Moet je aanpassingen doen aan je modelinvoer om nieuwe functionaliteit te kunnen gebruiken? Moet je nieuwe filters aanmaken om deze versie (met oude functionaliteit) te kunnen gebruiken (evt. per Kalman-methode verschillend)? Moet je nieuwe filters aanmaken om de nieuwe functionaliteit van de nieuwe release te kunnen gebruiken (evt. per Kalman-methode verschillend)? Zijn er restricties aan het gebruik van de nieuwe functionaliteit, combinaties die niet worden ondersteund? Zijn er nieuwe Keywords? Zijn er wijzigingen in de bestaande Keywords? Zijn de wijzigingen doorgevoerd in alle voor- en nabewerkingsprogramma's? Zijn er wijzigingen in de meldingen door het systeem? Zijn de resultaten veranderd? Is er uitvoer (zowel messagefile als SDS-file) geschrapt? Aankondiging m.b.t. verouderde functionaliteit Bekende problemen / restricties Algemene restricties Restricties voor het Linux-platform Restricties voor het Windows XP-platform Configuratie Platforms Producten Bestanden Versienummers... 10

3 1. Inleiding Deze Release notes horen bij de SIMONA update release Simona0808 die is gebaseerd op de moederversie van SIMONA van augustus In dit document worden in het kort de belangrijkste wijzigingen beschreven die sinds de vorige major release (Simona ) zijn doorgevoerd. Deze wijzigingen betreffen: Implementatie van een nieuw algoritme voor domein decompositie; Uitbreiding van Waqua/Triwaq met getij-opwekkende krachten; Automatische bepaling van de benodigde buffer-grootte; Opname van het prototype Waqua-met-Costa in de beheeromgeving; Verschillende uitbreidingen en bug-fixes naar aanleiding van service-calls. 2. Informatie voor gebruikers In dit hoofdstuk worden de voor de gebruiker belangrijkste wijzigingen opgesomd. Allerlei kleine verbeteringen in de programmatuur zoals extra controles in de programma's en sommige verbeteringen in de documentatie worden niet apart vermeld. 2.1 Nieuw algoritme voor domein decompositie: "Uitgaande informatie" Er is een nieuwe methode geïmplementeerd voor het aan elkaar koppelen van domeinen in een domein-decompositieberekening. Deze methode is gebaseerd op de zogenaamde "uitgaande informatie per subdomein". Hiermee wordt betere performance voor DDHOR-berekeningen bereikt. In domein-decompositieberekeningen wordt de waterbeweging voor de verschillende domeinen simultaan opgelost. De waterstanden en snelheden worden over en weer uitgewisseld en als randvoorwaarden per domein gehanteerd. Er wordt een impliciete koppeling gebruikt zodat er geen tijdstaprestricties worden geïntroduceerd en golven ongestoord van het ene naar het andere domein kunnen lopen. Hierbij moeten wel iteratieve procedures worden gebruikt om de gewenste oplossing te bepalen. Tot nu toe waren daarbij relatief veel iteraties vereist, waardoor domein decompositie met horizontale verfijning meer rekentijd kostte dan sequentiële berekeningen met grid-nesting. In de nieuwe aanpak worden iets andere koppelings-condities op de interfaces tussen verschillende domeinen gebruikt. De waterstanden en debieten precies op de interfaces worden aan elkaar gelijk gesteld. Uit de coëfficiënten van de vergelijkingen per subdomein wordt afgeleid welke informatie een subdomein zelf goed berekenen kan. Dit is de zogenaamde uitgaande informatie, die sterk aan Riemann invarianten is gerelateerd. Deze informatie wordt aan het buurdomein toegestuurd. Op deze manier wordt veel snellere convergentie, dus betere performance voor DDHOR-berekeningen bereikt. Ook biedt deze koppeling handvatten voor het realiseren van lossere koppelingen. In principe kan de methode naar ongelijke tijdstappen worden gegeneraliseerd. De nieuwe methode heeft geen grote consequenties voor gebruikers. In DDHOR-berekeningen kunnen er vooral in de buurt van de interfaces tussen verschillende domeinen wat verschillen in de rekenresultaten ontstaan. In sequentiële en parallelle berekeningen zouden de rekenresultaten en performance vrijwel ongewijzigd moeten zijn. 2.2 Meenemen van getij-opwekkende krachten in de berekening In Waqua/Triwaq is de mogelijkheid toegevoegd voor het meenemen van getij-opwekkende 3

4 krachten in de berekening. Hiervoor is het uitgebreide model van E.J.O. Schrama van de TU-Delft (483 getijdenlijnen van het CTE spectrum) in Waqua/Triwaq geïntegreerd. Het getij wordt in de meeste gebiedsschematisaties opgenomen via de randvoorwaarden op open randen. Voor grote watermassa's, met name in min of meer afgesloten gebieden zoals de Middellandse zee, is dit niet helemaal afdoende en is het gewenst om de directe opwekkende krachten van zon en maan mee te nemen in de vergelijkingen. Hiervoor wordt de modellering en programmatuur van E.J.O. Schrama gebruikt. Dit is met name gewenst voor de calibratie van het nieuwe DCSM-model. Het meenemen van de getij-opwekkende krachten kan via een extra keyword in de simulatieinvoerfile worden aangezet. Daarbij kan worden opgegeven welke componenten van het model moeten worden meegenomen. Vervolgens worden de krachten in iedere halve tijdstap opnieuw uitgerekend en in de impulsvergelijking gezet. Daarbij zijn uitbreidingen gemaakt aan de Schrama-routines om ervoor te zorgen dat de benodigde rekentijd acceptabel is. Een berekening met getijdenpotentiaal is hooguit 20% duurder dan dezelfde berekening zonder getijdenpotentiaal. 2.3 Automatische bepaling van benodigde buffer-grootte SIMONA is ontstaan in een tijd waarin programmeeromgevingen nog lang niet zo krachtig waren als nu. Met name was het in Fortran77 niet mogelijk om run-time, op basis van de dimensies van de simulatie, nieuwe arrays aan te maken. Daarom wordt er in SIMONA een eigen memory management systeem gebruikt. Centraal hierin staat een groot buffer-array "IBUFFR" en de zogenaamde INFOR-tabel waarin de inhoud van IBUFFR wordt geadministreerd. Via een nieuwe aanpassing aan het SIMONA memory management systeem is de bufsize-optie van veel perl-procedures praktisch overbodig gemaakt. De buffer wordt dynamisch gealloceerd bij het opstarten van een executable, en wordt vervolgens steeds met een factor 1.5 vergroot wanneer de actuele grootte niet afdoende blijkt te zijn. Hetzelfde geldt voor de INFOR-tabel, die wordt vergroot als er meer pointers nodig zijn dan er beschikbaar zijn. Bij het vergroten wordt een information message afgedrukt. De aanpassing zorgt ervoor dat in de meeste gevallen de default bufsize kan worden gebruikt. En wanneer een expliciet opgegeven bufsize te klein blijkt te zijn dan wordt de buffer alsnog vergroot en rekent het programma door. Een expliciete buffersize is nog wel vereist in programma's waarin een grote invoerfile wordt verwerkt, met name de pre-processor Waqpre. Daar moet de invoerfile in een keer kunnen worden ingelezen, en daarna wordt het automatisch vergroten weer gebruikt. 2.4 Opname van prototype Waqua-met-Costa in de beheeromgeving Sinds enkele jaren wordt er door de TU Delft en VORtech met ondersteuning vanuit Rijkswaterstaat en Deltares gewerkt aan het Costa-systeem. Dat is een open source toolbox voor data-assimilatie, waarmee gemakkelijk Kalman-filtering en calibratie kunnen worden toegevoegd aan een model. Het is de bedoeling dat de Kalman-filtering van Waqua/Triwaq op termijn via Costa in plaats van via een eigen implementatie wordt gerealiseerd. Een stap in deze richting is dat er een tweede prototype van Waqua-met-Costa is gerealiseerd, waarin de Kalman-filtering door Costa wordt gedaan. Dit prototype is nu in de SIMONA beheeromgeving gezet. Hiermee kan er met het prototype worden geexperimenteerd, onder andere met Kalman-filteringtechnieken die niet in Waqua/Triwaq zelf beschikbaar zijn. Verder kan het prototype hiermee up-to-date worden gehouden ten aanzien van nieuwe ontwikkelingen in Waqua/Triwaq. Deze aanpassingen hebben geen invloed op berekeningen waarin Costa niet wordt gebruikt. Berekeningen met en zonder Kalman filtering worden zonder verschillen ten opzichte van de uitgangsversie uitgevoerd. 4

5 2.5 Meerdere kleine wijzigingen Voor de siminp-file is de vlag AUTO_SILL_HEIGHT toegevoegd waarmee in één keer voor alle overlaten de drempelhoogten (uit de lokale bodemhoogten) worden berekend. Er zijn correcties gemaakt voor de restart van Waqua-berekeningen. Met name worden oude restart SDS-files met overlaten nu goed ondersteund. Wanneer het tijdsinterval voor het wegschrijven van restart-data incorrect op 0 is gezet wordt dit automatisch aangepast naar de waarde van de tijdstap. Er zijn meerdere kleine correcties gemaakt aan de recent geïntroduceerde nieuwe mogelijkheden van de minimale/maximale waardes gedurende de berekening. De documentatie is verbeterd, de specificatie van het tijdsinterval, en het ophalen van data met Getdata is gemakkelijker gemaakt. In Obs2sds is een uitbreiding gemaakt ten behoeve van metingen in het westelijke halfrond. Deze kunnen nu eenvoudiger c.q. eenduidiger worden gespecificeerd. Er is een oude fout met betrekking tot drooggevallen barriers gerepareerd. Deze barriers overstromen nu correct wanneer er weer voldoende water is. De time-histories voor barriers worden nu ook in Triwaq-berekeningen ingevuld. De documentatie van Getdata is verbeterd. Verder zijn er diverse aanpassingen aan het gegevenswoordenboek gemaakt voor de variabelen die kunnen worden opgevraagd (o.a. harmonische componenten, coördinaatsystemen). In Getdata worden shapefiles m.b.t. droogvallen nu correct geproduceerd. De uitvoer van het grid naar GIS shape-formaat is toegevoegd. Ook is een correctie gemaakt in het genereren van namen van matlab-files. In Sds2mat is een probleem in het opslaan van uitvoerstations opgelost. Ook is het maximum aantal uitvoertijdstappen vergroot. In KalGUI is een bug in het opslaan van vertical cross-sections opgelost. In Waqview zijn uitbreidingen gemaakt aan de invoerfile waarmee de benodigde hoeveelheid geheugen kan worden beperkt. Ook is de kleurschaling via de invoerfile instelbaar gemaakt. Het perl-script van Waqview is uitgebreid zodat Waqview zonder invoerfile kan worden opgestart. Ook is het mogelijk om met de perl-script een template voor de invoerfile aan te maken. In Waqview zijn uitbreidingen gemaakt voor het weergeven van overlaten in verschilplots. De overlaten van de eerste SDS-file, de tweede SDS-file of beiden kunnen worden gevisualiseerd. In Waqview zijn correcties gemaakt voor onder andere de selectie van lagen in combinatie met verschilplot en voor een tijdsinterval van map-data kleiner dan 1 minuut. 3. Informatie voor programmeurs In de afgelopen periode zijn er slechts beperkte aanpassingen gemaakt aan de procedures en werkwijzen voor het beheer en onderhoud van de programmatuur. Deze zijn van belang voor alle 5

6 SIMONA programmeurs. 3.1 Aanpassing test-procedures In de procedures voor het testen van release candidates zijn een aantal aanpassingen gemaakt. Deze zijn verwerkt in de procedure voor het testen die is opgenomen in het werkwijzendocument. 3.2 Aanpassingen aan make-systeem Er zijn meerdere kleine verbeteringen gemaakt aan het nieuwe make-systeem (simake.pl). De hoeveelheid schermuitvoer is instelbaar gemaakt, perl-scripts worden automatisch naar Unixregeleindes geconverteerd, er worden automatisch Windows batch-bestanden aangemaakt (m.n. getdata), en er is documentatie toegevoegd. De documentatie is te vinden bij de documentatie voor programmeurs, onder het kopje "Werkwijzen". 3.3 Opname van Costa in de beheeromgeving De invoering van het prototype Waqua-met-Costa in de moederversie omvat vooral de introductie van de dll's "libwaqcosta_single.so" en "libwaqcosta_double.so". Deze worden met een apart perl-script make_waqcta_so.pl gegenereerd vanuit deelsysteem "kalman/waqcta". Daarnaast is de gebruikte versie van Costa bij de externe systemen gezet. Tenslotte is er een perl-procedure waqcosta.pl gemaakt voor het opstarten van Waqua/Triwaq met RRSQRT- Kalman filtering via Costa. Er zijn testen gemaakt voor het Waqua-met-Costa systeem, maar die zijn nog niet in de SIMONA testbank geintegreerd. Dit zal in de komende tijd tezamen met andere verbeteringen worden uitgevoerd. 3.4 Automatische aanpassing van de buffergrootte De automatische aanpassing van de buffergrootte heeft slechts beperkte consequenties voor programmeurs. Een speciale feature van SIMONA kan niet langer worden gebruikt. Dat zijn administratie-arrays die vast aan het einde van de buffer zijn geplakt. Deze arrays werden slechts heel sporadisch gebruikt. Ze kunnen worden omzeild met dynamisch gealloceerde arrays. 4. Compatibiliteit 4.1 Compatibiliteit met vorige versie van de programmatuur In deze paragraaf besteden we aandacht aan een aantal specifieke punten die van belang zijn bij de overstap van de vorige naar de huidige versie van de programmatuur Zijn alle oude functionaliteiten nog beschikbaar? Ja Moet je aanpassingen doen aan je modelinvoer om deze versie (met oude functionaliteit) te kunnen gebruiken? 6

7 Nee Moet je aanpassingen doen aan je modelinvoer om nieuwe functionaliteit te kunnen gebruiken? Voor de getijopwekkende krachten is er een nieuw keyword TIDAL geïntroduceerd. De optie -bufsize van de perl-procedures hoeft in de meeste gevallen niet meer te worden gespecificeerd. Voor de automatische bepaling van de drempelhoogten moet het keywoord AUTO_SILL_HEIGHT bij de overlaten worden toegevoegd. Voor het gebruiken van het prototype Waqua-met-Costa moeten de observaties in een SQLite-database worden gezet en moet waqcosta.pl worden aangeroepen in plaats van waqpro.pl Moet je nieuwe filters aanmaken om deze versie (met oude functionaliteit) te kunnen gebruiken (evt. per Kalman-methode verschillend)? Nee Moet je nieuwe filters aanmaken om de nieuwe functionaliteit van de nieuwe release te kunnen gebruiken (evt. per Kalman-methode verschillend)? Filters die zijn aangemaakt zonder getijopwekkende krachten kunnen ook in berekeningen met getijopwekkende krachten worden gebruikt. Het aanmaken van nieuwe filters levert mogelijk iets betere resultaten op Zijn er restricties aan het gebruik van de nieuwe functionaliteit, combinaties die niet worden ondersteund? De getijopwekkende krachten kunnen alleen worden berekend met sferische of sferisch/kromlijnige coordinaten. Het prototype Waqua-met-Costa heeft meerdere beperkingen: alleen sequentiële berekeningen, alleen waterstandsmetingen, geen smoothing, e.d. Het is vooralsnog alleen op het Linux-platform geïmplementeerd Zijn er nieuwe Keywords? Voor de getijopwekkende krachten is het hoofdstukje TIDAL_FORCES in de siminp-file geïntroduceerd met sub-keywords SCHRAMA, DOODSON_START en _STOP en EPS. Voor het automatisch berekening van de drempelhoogten bij overlaten is het keywoord AUTO_SILL_HEIGHT geïntroduceerd Zijn er wijzigingen in de bestaande Keywords? 7

8 Nee Zijn de wijzigingen doorgevoerd in alle voor- en nabewerkingsprogramma's? Ja Zijn er wijzigingen in de meldingen door het systeem? Als de SIMONA buffer-array of de daaraan gerelateerde INFOR-tabel wordt vergroot dan wordt hierover een melding afgedrukt Zijn de resultaten veranderd? De nieuwe methode voor domein decompositie levert iets andere resultaten in DDHORberekeningen op Is er uitvoer (zowel messagefile als SDS-file) geschrapt? Nee. 4.2 Aankondiging m.b.t. verouderde functionaliteit Om het complete SIMONA-systeem beheersbaar te houden moet er van tijd tot tijd verouderde functionaliteit uit het systeem worden geschrapt. De volgende functies zijn hiervoor genomineerd: Programma Waqpan Het programma Waqpan wordt al geruime tijd niet meer ondersteund en ook niet bijgewerkt ten aanzien van aanpassingen elders in het systeem. In plaats daarvan kunnen Sidonia en Getdata worden gebruikt. Bij een gebruikerstest is gebleken dat niet alle functionaliteit van Waqpan reeds door Getdata wordt gedekt. Daarvoor wordt een uitbreiding van Getdata gemaakt. Daarna wordt opnieuw bekeken of Getdata als alternatief voor Waqpan volstaat. Als dat zo is dan zal Waqpan worden verwijderd uit het systeem. Programma's Cmpbnd en Adobs Het programma Cmpbnd is opgevolgd door het generieker programma Cmpser, het programma Adobs is opgevolgd door het krachtigere Obs2sds. Zodra de Nautboom-3 (operationeel voorspelsysteem voor hydro-meteo centra) volledig operationeel is kunnen de programma's Cmpbnd en Adobs worden verwijderd uit het systeem. 5. Bekende problemen / restricties In deze paragraaf bespreken we de beperkingen en bekende problemen van de huidige release. 8

9 Eerst geven we de restricties die voor alle platformen gelden, daarna de restricties per platform. 5.1 Algemene restricties - Bij gebruik van afwijkende buffersizes in DDHOR-berekeningen moet de bufsize in de DDHOR configuratiefile op dezelfde regel worden gespecificeerd als de executable. 5.2 Restricties voor het Linux-platform - IPW wordt niet ondersteund op LINUX. - De Excel plugin werkt niet op LINUX. 5.3 Restricties voor het Windows XP-platform - Interactieve programma's zoals rsds.pl en sidsview.pl sluiten niet helemaal netjes af. Er moet nog een extra keer op <enter> worden gedrukt nadat het programma eigenlijk beëindigd had moeten worden. - Het redirecten van invoer naar sidsview.pl (< invoerfile) werkt niet goed - Uitvoer 'sluizen' onder WINDOWS. Op het WINDOWS-platform is het mogelijk om de perl-scripts direct aan te roepen als zij in het zoekpad staan, dus zonder expliciet het commando 'perl' te gebruiken. Hierbij werkt het 'sluizen' van de uitvoer van het script naar een ander programma niet goed. Dit is een bekende beperking van perl voor WINDOWS. - Optie back werkt niet Op het Windows XP platform kunnen rekenprocessen niet met optie '-back yes' in de achtergrond worden opgestart. Als men de volledige aanroep van een script weet kan deze in zijn geheel in de achtergrond worden opgestart via 'start waqpro.pl -runid <runid>...'. Het woordje "start" doet hier iets vergelijkbaars als "&" op Unix/Linux - Het gebruik van slashes in GETDATA Perl gebruikt de backslash ('\') als een bijzonder ('escape'-) teken. Indien een padnaam wordt opgegeven als bestandsnaam moeten de backslashes daarom dubbel getypt worden. Als alternatief kunnen voorwaartse slashes gebruikt worden zoals dit onder UNIX gebeurt. - Parallel rekenen in WAQAD De optie -nproc van parallel WAQAD (tegelijkertijd op aparte computers berekenen van meerdere "finite differences") werkt niet op het Windows platform en wordt genegeerd. - User-transport routines User-transport routines kunnen niet gebruikt worden op het Windows platform. 6. Configuratie 9

10 6.1 Platforms Door SIMONA B&O worden de volgende platforms ondersteund: LINUX PC onder WINDOWS 2000 en WINDOWS XP Voor Windows worden twee MPI-versies ondersteund: MPICH2 en WMPI II. Precieze vereisten aan de configuratie worden beschreven in de "Installatie-gids SIMONA". Opmerking: de programmatuur zou ook onder Windows Vista moeten werken, hoewel dit nog niet officieel wordt ondersteund. Gebruikers worden uitgenodigd om te kijken hoe dat gaat en eventuele problemen terug te melden. 6.2 Producten De standaard SIMONA levering bestaat uit de volgende onderdelen: SIMONA productieversie (binaire uitlevering voor Linux, Windows), inclusief documentatie in pdf en de IPW productieversie; SIDONIA productieversie (installer voor Linux en Windows), SIMONA installer voor Linux en Windows; geschikte versies van bepaalde externe systemen; Release notes (huidig document) 6.3 Bestanden Hieronder volgt een opsomming en uitleg van de belangrijkste bestanden uit de SIMONAomgeving. Met $SIMONADIR wordt de productie-directory van SIMONA op het lokale systeem bedoeld. - $SIMONADIR/README - bestand met informatie over de release - $SIMONADIR/INSTALL.simona - bestand met informatie over de installatie van de release - $SIMONADIR/INSTALL.par-xp - Aanvullende instructies voor het gebruik van parallel rekenen op het WINDOWS XP platform - $SIMONADIR/etc - configuratiebestanden: referentie-arrays, foutmeldingenbestand e.d. - $SIMONADIR/etc/linux/Settings.inc - instellingenbestand voor het LINUX -platform. Hierin moet met name de lokatie van MPICH2 worden ingesteld - $SIMONADIR/etc/win32/Settings.inc - instellingenbestand voor het WINDOWS -platform. Hierin moet met name de lokatie van MPICH2 en de drivemapping worden ingesteld - $SIMONADIR/etc/winwmpi/Settings.inc - instellingenbestand voor het WINDOWS -platform. Hierin moet met name de lokatie van WMPI II en de drivemapping worden ingesteld - $SIMONADIR/bin - directory met executeerbare programma's, met name perl run-procedures - $SIMONADIR/examples - directory met verschillende voorbeelden. - $SIMONADIR/doc/index.html - Html-pagina voor toegang tot de documentatie (in pdfformaat). 7. Versienummers 10

11 Na de update release Simona0808 gelden de volgende versienummers (zoals te vinden in de message-files, die bij de verschillende programma's behoren): ADCUM ADGLGR ADO2MD ADOBS ADPRKA ADPRO ADRPAR ADRSAV AGETWL CALIBRIV CLRSDS CMPBND CMPSER CNVOBS COEXEC COPPOS COPPRE DIFTOSDS DIRTST GETDATA GETSER HDFSDS IPW KALMAN MODNST OBS2SDS RSDS SDS2MAT SDSDIF SDSHDF SDSTOINC SICORRUPT SIDSVIEW SIERWR SIMPAR SIRECOVR SIREFT SLIB3D WAQCLV WAQPAN WAQPRE WAQPRO WAQVIEW WAQWND