Ontwerpdocument: Operationaliseren WAQUA in COSTA

Transcriptie

1 Experts in Technisch Rekenwerk MEMO Datum 3 december 2007 Auteur(s) Onderwerp Documentinformatie Erwin Loots Ontwerpdocument: Operationaliseren WAQUA in COSTA Postbus AG DELFT tel fax vortech@vortech.nl Versie Auteur Datum Opmerkingen Review 0.8 EL Concept memo. CvV 0.9 EL Aangepast na review. BvtH 1.0 EL Aangepast na review. Bestandslokatie: /home/vortech/memos/ 1 Inleiding In 2005 en 2006 is gewerkt aan een pilot project voor COSTA en WAQUA/TRIWAQ. Binnen dit project is het WAQUA/TRIWAQ model getransformeerd in een COSTA model component. Tevens is het bestaande RRSQRT-filter uit WAQUA/TRIWAQ gehaald en is dit een onderdeel gemaakt van COSTA. De werkzaamheden zijn beschreven in COSTA-memo m06002 en op een wat hoger niveau ook in een artikel voor het Meteorologische Zeitschrift (inmiddels geaccepteerd). Het doel van deze pilot was om ervaring op te doen en met name te kijken of het überhaupt mogelijk was om WAQUA/TRIWAQ los te weken van het filter tegen een acceptabele performance. Bij RIKZ is min of meer besloten om geen nieuwe ontwikkelingen m.b.t. de huidige data assimilatie programatuur/routines uit te laten voeren. In plaats daarvan prefereert men alles via de COSTA aanpak te laten lopen. De weg naar een COSTA versie van WAQUA/TRIWAQ die alles kan wat de huidige programmatuur ook kan (inclusief alle voor- en nabewerking van invoer en uitvoer) is erg veel werk. Tevens is nog niet alles volledig uitgekristalliseerd. COSTA zal dus geleidelijk ingevoerd moeten worden zonder dat de (operationele) gebruiker hier last van heeft. Bij de invoering van de parallelle RRSQRT versie in de moederversie is gebleken dat het erg onhandig is om een versie te pakken van WAQUA/TRIWAQ en hier gedurende een grote doorlooptijd aan te ontwikkelen/experimenteren. Dit komt omdat het bijna onmogelijk is om de gemaakte aanpassingen te integreren in de moederversie doordat deze moederversie in de tussenliggende tijd ook voortdurend is aangepast. Bij RIKZ (Martin Verlaan) bestaat de wens om het voor de COSTA versie van WAQUA/TRIWAQ anders aan te pakken. De gemaakte uitbreidingen m.b.t. het gebruik van COSTA dienen in B&O opgenomen te worden. Dit

2 Memo versie 1.0, 3 december heeft als voordeel dat aanpassingen die gemaakt worden aan de moederversie ook doorgevoerd moeten worden in de COSTA-gerelateerde code binnen die changes. Dit memo beschrijft het voorstel van werkzaamheden om een en ander uit te voeren. Doel is dus dat een COSTA-koppeling in de moederversie van Simona komt te hangen, zonder merkbare impact voor huidige gebruikers. 2 Werkzaamheden Stap 0: ontwikkeling op een branch Aangezien het ontwikkeltraject enige tijd in beslag zal nemen, wordt er een afzonderlijke branch WAQUA COSTA aangemaakt. Uitgangspunt is de nieuwste versie van Simona. Stap 1: herschrijven van WAQPRO Splits waqpro.f in drie delen: initialize(icosta), tijdstap, finalize. Maak een nieuwe waqpro.f die alleen drie routines aanroept: initialize(0),tijdstap, finalize. Linken van de waqpro-library tegen waqpro.f levert dezelfde resultaten als altijd. Het herschrijven betekent dat analoog aan stap 4 van de pilot, van WAQUA een library wordt gemaakt en dat dus een nieuwe waqpro.f schil wordt gemaakt, met een vlag icosta die uitgezet is, die precies functioneert als het oude programma. De costa-vlag wordt aangemaakt in waq init model. Dit is het begin van de oude waqpro. Deze wordt aangeroepen vanuit cta model create. Hier kan straks het argument 1 worden meegegeven, waarna dit als costa-vlag wordt opgeslagen. Merk op dat dit dezelfde werkzaamheden inhoudt als ook in de waqua-openmi-koppeling change is uitgevoerd. Stap 2: Aanpassen en uitbreiden WAQPRO-routines De vlag icosta wordt in intgda opgeslagen. Dat gebeurt in waqpro initialize(flag): het krijgt de waarde van het argument. De CTA model create roept de waqpro initialize aan met argument 1. Er kan overal op deze waarde gecheckt worden ; als deze 1 is, worden sommige delen overgeslagen en andere (nieuwe routines) aangeroepen. costa mode=1 betekent immers dat waqpro als library tegen COSTA is gelinkt. Uiteraard komen dan in de waqpro-routines namen van aan te roepen COSTA-routines te staan. Deze moeten wel bekend zijn binnen Simona-releases. De waqpro.exe wordt iets groter omdat daarvoor ook met COSTA gelinkt moet worden. Waqpro als bibliotheek binnen COSTA houdt het volgende in: We gaan uit van niet-parallelle berekeningen. Er wordt geen run-script waqpro.pl meer gebruikt. simona.env en SIMETF moeten in de werkdirectory staan

3 Memo versie 1.0, 3 december De buffersize wordt hard gezet in het geval van costa mode=1. Dit is niet heel erg omdat volgend jaar toch het handmatig opgeven van de buffersize verdwijnt. Invoergegevens als de naam van het model komen in de aansturende xml-invoerfile. Merk op: in csm8.xml staan ook de gegevens van exp, sds en database. Dit wordt gebruikt bij de cta model create, in dit geval waqstoch create init( met de csm8.xml als userdata argument). Het hoeft dus niet meer hard in de code te staan. Alle WAQUA-programmatuur voor Kalman-filters wordt overgeslagen. Dit wordt immers vanuit COSTA gedaan. Stap 3: Aanpassingen aan COSTA: Het rrsqrt-filter Nu is het nog zo dat er in costa/methods twee rrsqrt s staan: rrsqrt enrrsqrt kalmina. De eerste is inmiddels verouderd, de tweede, die hier wordt gebruikt, is de standaard rrsqrt geworden. Het filter is in principe onafhankelijk van Simona, hoewel de aanwezige routinenamen dat niet doen vermoeden. Van de COSTA-kant van dit project zou dus alleen het volgende moeten gebeuren: verwijderen rrsqrt hernoemen rrsqrt kalmina in rrsqrt hernoemen van Simona-achtige routines naar generieke namen. Dit is eigenlijk niet alleen wenselijk maar ook noodzakelijk omdat anders dubbele routinenamen in de COSTA-Simona combinatie voorkomen. Het betreft wasdma.f, waskam.f, waskdt.f, waskm0.f, wasksl.f, waskts.f en wasktz.f. Ook zou een andere methode (bijvoorbeeld het ensemble-filter) gebruikt moeten kunnen worden: in dat geval wijzigt alleen de (huidige) aanroep rrsqrt waq in iets anders. 3 Uitwerking van de werkzaamheden Routines in de waqua/waqpro -pilot met COSTA-statements, afgezien van de nieuw ingevoerde In de pilot zijn enkele routines aangepast. In deze routines worden COSTA-routines aangeroepen, terwijl de oorspronkelijke implementatie is verwijderd. In dit project moeten beide mogelijkheden beschikbaar worden gesteld. Dat kan door telkens de costavlag icosta in te voeren. Gekeken kan worden of er nog delen naar bestaande of nieuwe routines kunnen verhuizen. Het betreft: waskts. Bepaling schaling noise parameters. Is volledige COSTA-code. pilot: vanuit waqstoch compute. Wordt in de pilot niet aangeroepen wegens ongeldige conditie. Maar moet in elk geval hernoemd worden om verwarring met de oorspronkelijke waskts te voorkomen. origineel Simona: wassim wasksv waskts

4 Memo versie 1.0, 3 december waskv1. Vullen van scaling array PARSCA. Drie COSTA-aanroepen. (treevector get/setvals) pilot: waq usr scalmod wasksv waskv1 waskxp. Aangeroepen aan het begin van wasstp. Haalt de arrays uit de deterministische COSTA-state. Oorspronkelijk was er de aanroep naar waskre, nu dus naar waq detstate(..,fromstate,..). waspdc. Berekenen van predicties. Wordt nu niet meer aangeroepen. Inhoud zit al in rrsqrt step. wasstp. Hierin zijn veel aanroepen (o.a. waskns) vervangen door COSTA-routines. Hier zouden, gezien vanuit de pilot-versie, veel vlaggen moeten komen. Inmiddels is deze routine voor onze doeleinden meer gestructureerd geworden, dus de benodigde aanpassingen kunnen hier meevallen. Waqpro-routines zonder COSTA-statements die gedurende de pilot wel veranderd zijn Er wordt vergeleken tussen de startversie van de pilot (1a) en de laatste versie (5f). Het gaat hierbij ook om de verschillen met de huidige Simona-versie. wasins. Verschil niet relevant. Verschil met Simona: daar wordt het Kalman filter aan het einde aangeroepen (waskin). Nu wordt waskin vanuit waq init model aangeroepen: Simona trunk: waqpro > wasins > waskin LOOP wassim... pilot: waq_init_model (==begin waqpro) > wasins > waskin waskn2. Propagatie time-correlated noise (timnz) en update circular buffer zijn verwijderd. Verschil met huidig Simona: alleen de time-correlated noise. Aangeroepen vanuit waskni (onder waqpro.f) of waq waskni (onder COSTA) waskns. Geen relevante verschillen. De routine wordt dan ook niet aangeroepen: het is nu COSTA-functionaliteit. Inmiddels zijn de verschillen met de huidige Simona wel groot: integratie ddhor-rrsqrt. waskri. waskr5 en waskxp worden niet meer aangeroepen met de toelichting dat obs2sds niet meer wordt gebruikt. Aangeroepen vanuit waskin. wasksv. Argument in aanroep waskv1 is anders. Aangeroepen vanuit waq usr scalmod. waskt6. Aanroep van waskpu vervangen door usr uncertainty. Dat is slechts een uitvoer-routine. wasopi. Dit betreft het lezen van observatie-data. De oorspronkelijke routine was veel langer. Aangeroepen (ook oorspronkelijk) vanuit wasins.

5 Memo versie 1.0, 3 december waspsc Printen van runtime informatie, vanuit de waq compute. Er is wat uitvoer weggehaald. waspst Printen van informatie in finalisatie. Er is uitvoer weggehaald. Routines die in de pilot uitgeschakeld zijn waspdc waskns Voorstel voor call stack en directory-structuur Uiteindelijk zal het geheel als een COSTA-applicatie moeten draaien. Dat betekent dat rrsqrt waqua.f90 in costa/applications/da systems staat. Deze executable vraagt een xml-file met de model class. De model class wordt in de create modelclass uitgewerkt. Vanuit het gezichtspunt van een losse COSTA-directory zou het nog aardig zijn als de directory van het model, in dit geval een bepaalde Simona-versie-directory, wordt doorgegeven. Bij de huidige COSTA-applicaties staan de libraries van de modellen in de Makefile vermeld. Dit gebeurt met behulp van $(WAQUA DIR). In de praktijk zal COSTA (in elk geval een costa.exe) ergens in de Simona-boom hangen en worden alle libraries op de standaard wijze bekend met behulp van $SIMONADIR. Aan WAQUA worden extra COSTA-gerelateerde routines toegevoegd. Dit kan gewoon in de waqpro/routines directory, maar het kan ook bijvoorbeeld direct onder src (naast bijvoorbeeld couple). Het idee is wel dat elke routine een eigen file heeft. Strikte Simonanormen kunnen niet helemaal van toepassing zijn, vanwege het gebruik van modules en allocaties. Alloceren van geheugen, afgezien van IBUFFR, gebeurt nu in: waq detmodel, waq noise en waq waskni (Let op: deze laatste routine is bijna dezelfde als de reguliere waskni (die in de pilot niet wordt gebruikt)) en usr uncertainty. Dit alloceren van geheugen is allemaal ten behoeve van treevector getvals. Omdat wel COSTA-routines worden aangeroepen binnen waqpro, moeten ze bekend zijn, middels een COSTA-bibliotheek. Dit kan een vaste werkende versie van COSTA zijn die binnen de Simona-boom hangt en dus ook daarmee opgeleverd wordt. Een COSTA-programmeur kan een nieuwere versie van deze bibliotheek altijd later in de Simona-boom hangen. Verder kan de call stack hetzelfde blijven als in de pilot (zie de Appendix), met inachtneming van de kanttekeningen die hierboven gemaakt zijn over aangepaste routines. Tenslotte is het wenselijk binnen waqpro meteen enkele Kalman-rotuines te uniformeren. Zo blijkt dat de routines waskni, waskre en waskns zonder veel moeite samengevoegd kunnen worden. Vanuit wasstp zou dan telkens waskre aangeroepen kunnen worden met de juiste substates als argument. We hebben dus: simona/src/extern/costa met een COSTA-code (niet om hier te compileren, dat is te lastig)

6 Memo versie 1.0, 3 december simona/lib/linux. Hier komt een COSTA.a, naast de vergrote waqpro.a. Dit is in feite de libcta.so die nu al binnen COSTA bestaat. simona/bin. Hier staat, naast de uitgebreide waqpro.exe, nu een COSTA.exe. Feitelijk is dit de executable die binnen een COSTA-directory bij applications/da systems staat (zoals boven genoemd: rrsqrt waqua). Reeds beschikbare wrapper functies Er is voor zowel het deterministische als het stochastische model sprake van wrapper functies die voor een gegeven model-instantiatie iets met het model doen. Deze methodes omvatten: Create : Maak een nieuwe model instantiatie aan. getstate : Kopieer de modeltoestand (zonder schotjes) in een COSTA treevector. setstate : Als getstate maar dan andersom. Compute : Voer een tijdstap uit. Deze methode is een wrapping van de routine wasstp. AxpyState (tussen modellen): axpy-operatie (y=alpha*x+y) uit tussen twee model instantiaties. Let op: hier worden de schotjes wel meegenomen GetObsValues: Interpolatie van de modeltoestand naar de gegeven set van observaties GetStateScaling: Bereken de schalings-vector. Voor het schalen van de noise parameters moeten model-propagties uitgevoerd worden. Export : pack de gehele modeltoestand, dus ook schotjes ed. Import : zet de modeltoestand weer terug In de pilot staat reeds een implementatie van deze functies, in waq detmodel en waq stochmodel. Gekeken moet worden in hoeverre ze aangepast moeten worden (Wellicht kunnen ze nog verdeeld worden in afzonderlijke files, hoewel ze alleen aan de COSTA-normen hoeven te voldoen). De bovenstaande functies zijn gedefinieerd in de bijbehorende COSTA-xml file, die de functies van het waqua triwaq model beschrijft. COSTA kan deze functies dan ook aanroepen. Dit is analoog aan het heat-model (het gebruiken van de modelbuilder dan wel de Modelcombiner is in dit geval wellicht minder handig). Het stochastische WAQUA-TRIWAQ model is in principe het deterministische model met wat ar(1) noise. Deze noise kan in principe via het standaard ar(1) noise model worden beschreven. Echter, dit model, dat nu zit in COSTA, is wat te restrictief qua toegestane grids. Daarom wordt dit als afzonderlijk model gedaan. Bovendien kunnen we nu gebruik maken van de bestaande waqstoch in de pilot. 4 Aandachtspunten De volgende kanttekeningen kunnen m.b.t. het COSTA memo van de pilot worden gemaakt:

7 Memo versie 1.0, 3 december sectie 2.5. Er wordt gesproken over twee observers: het onderscheid is dat niet alle obervaties worden geassimileerd maar sommige slechts als vergelijkingsmateriaal worden gebruikt. Dit kan zo blijven. sectie 2.5. De 0-mode is de centrale. De handle hiervan zou eventueel in de module kunnen worden meegegeven (zie onder). De 1-mode ( work -mode) was experimenteel en kan weg. sectie 4.2 De huidige model axpy binnen het deterministische waqua-model is heel specifiek gericht op de hidden states. Inmiddels is de tekst van het memo op dit punt verouderd. Het is nu inderdaad het geval dat de hidden state bij elke mode wordt meegegeven. De huidige (vernieuwde) implementatie voldoet dus. section 4.3 De interpolatie-matrices kunnen op de huidige manier worden behandeld. section 4.4. De huidige status m.b.t. schaling is inmiddels anders dan de tekst. De callgraph is vanwege de obsolete routines wel wat verwarrend, maar de huidige structuur lijkt goed te werken. Merk op dat de variabele rmpscl de vlag voor herberekenen van de schaling weergeeft ( recompute scaling ). Er zijn twee user routines nodig voor schaling van model-state en gewichten voor noise parameters. De huidige implementaties voldoen. sectie 4.5 Het betreft het wegschrijven naar SDS-file van de (geassimileerde) state. Het is niet handig om dit aan het eind van de copmute van mode 0 te doen, omdat daarna nog allerlei wijzigingen aan de state plaatsvinden. Beter is het om het aan het begin van de compute te doen: dan kan alles van de vorige tijdstap worden weggeschreven. Doorgeven wat mode 0 is kan middels de module. Een en ander wordt aangestuurd via waq usr poststep. Dit wordt nu aan het einde van het filter (rrsqrt step) aangeroepen. In principe komt er nu niets extra s op de SDS-file. 5 Testen de waqpro-library gelinkt tegen waqpro.f geeft geen verschillen op de runs van de testbank. Dit kan vaanf het begin getest worden. modtst, d.i. de module-test van COSTA, voor eenvoudige controles csm8 (en kust-grof voor TRIWAQ) op het COSTA-rrsqrt filter. De resultaten van csm8 moeten in principe gelijk zijn aan de resultaten van de pilot, met de kanttekening dat Simnoa sindsdien ook veranderd. is. Daarom moet ook weer, net als tijdens de pilot, vergeleken worden met de huidge Simona met aangepast noise model zoals beschreven in sectie 4 en 5 van COSTA memo

8 Memo versie 1.0, 3 december Tijdschema Omschrijving Uren 1 Voorbereiding a Starten branch 2 b Aanpassingen rrsqrt-filter van COSTA 4 c bevroren versie van COSTA in Simona hangen 7 d Klaarzetten csm8 met goed ontworpen xml-files 5 Totaal 18 2 Aanpassen waqpro a Omschrijven waqpro.f volgens stap 1 en testen 8 b Toevoegen COSTA-routines uit pilot aan waqpro en aanpassen 16 c Uniformeren Kalman routines in waqpro 8 d Vlaggen inbouwen in de hierboven genoemde bestaande routines 16 Totaal 40 3 Aandachtspunten a Schaling 6 b Wegschrijven naar SDS 16 c Doorgeven modes, 1-mode 6 Totaal 28 4 Testen a modtst: maken script en testen 8 b csm8-model 8 b kust-grof model 8 Totaal 24 5 Mergen met de trunk 8 6 Documentatie/ rapportage 8 7 Onvoorzien 15 % 18 TOTAAL 144

9 Memo versie 1.0, 3 december Appendix: Call stack volgens pilot De callstack van het pilot-project is als volgt: rrsqrt_waqua.f90: waqua_create_stochobs (maak stochastic observer) waqua_create_modes > waqdet_createclass (in waq_detmodel.f: hier worden alle functies gedefinieerd als waq_setstate) > waqstoch_createclass (in waq_stochmodel.f: hier worden functies gedefinieerd als waqstoch_setstate)) > zet strings sexp,ssds,sprint (dit moet eigenlijk via xml-file) > cta_model_create(waqstoch,mode0) (centrale mode) == waqstoch_create_init > cta_model_create(det.) == waq_create_init. > waq_init_model(sexp,ssds,sprint) (dit is waqpro_initialize!). > wasins. > waskin (initialisaties kalman filter). > waskri (initialisatie kalman rrsqrt syst). > waq_create_detstate(intgda) (bouw de hele state op). > waq_create_noisestate(intgda). > cta_pack_create(hidden_state). > waskf1 (haal turbulentie-arrays op). > waq_detstate( tostate=true) (vul COSTA-state met waqua-arrays). (pack& save hidden state). > waq_create_noisestate() (nogmaals, nu voor stoch. model). > waq_create_circulstate(). ( set noise en circul op nul) DO alle nodes > cta_model_create(waqstoch,imode) ENDDO >cta_model_create(waqstoch,mode1) (work mode 1 ) rrsqrt_waq(tsimul,... etc) do i=1,nsteps > rrsqrt_step:. > cta_model_compute ( voor mode 0!). == waqstoch_compute. > cta_model_compute. == waq_compute. > waskre_pack. > wasstp (een enkele tijdstap). > waskxp (expand kalman-vector -> waqua state). > waskre

10 Memo versie 1.0, 3 december > waq_waskni > waskn2. > waq_axpy_bnd. > waskf1 (inject waqua state in kalman vector). > waq_detstate (..,true,...).. if FALSE then waskts (Omdat dit verouderd is). > cta_model_getstatescaling. == waqstoch_getstatescaling. > waq_getstatescaling. > waq-usr_scalmod. > wasksv. > waskv1. > rrsqrt_rescale_q. > wasktz : time step van rrsqrt-filter voor andere modes.. > cta_model_compute (etcetera). > waskam (kalman measurement step). > ctai_usr_poststep. == waq_usr_poststep ( schrijven naar sds-file van mode 0 ) enddo > cta_model_free > waqstoch_free > waq_free (dit is het finalize deel van waqpro.f) Waarbij rrsqrt waq zich bevindt in costa/methods/rrsqrt kalmina.