Simona2011-RC: 64-bit Linux

Simona2011-RC: 64-bit Linux

Simona2011-RC Belangrijkste wijzigingen in Simona2011-RC Netcdf in waqwnd Barriersturing over domeingrenzen Visipart geschikt voor DDHOR Nieuw platform: linux64 met openmpi Aanpassing k-epsilon turbulentie Documentatie in LaTeX; overzicht achtergronddocumentatie

Oude pakketten Verwijderd in Simona2011-RC: Waqpan (getdata, waqview, excel-stekker) Adobs (obs2sds) Cmpbnd (cmpser) Gepland voor verwijdering in Simona2011: CnvObs en Ado2Md (obs2sds formaat) SdsDif (getdata, waqview en excel-stekker) Waqad (OpenDA) Sicorrupt, dirtst, sireft en sierwr (b+o tools) Oude keywords (oude droogval en displays)

Wind (SVWP) Aanpassingen voor ruimtelijk variërende wind (svwp) Aanleiding: nieuw DCSM model op groter domein, met wind op nieuw type rooster; Matroos stapt over NetCDF-files. Ter herinnering: dataflow: waqwnd maakt SDS-wind uit diverse formaten siminp bevat naam SDS-wind parallel: coppre maakt SDS-wind-000 t/m SDS-wind-016 rekenhart leest bv SDS-wind-001 en interpoleert naar Waqua-rooster

Wind rooster en DCSM rooster

NetCDF-wind Rotatie door waqwnd Hirlam input zowel in grib als NetCDF In NetCDF eastward/northward wind Eigenlijk verwacht waqua ook eastward/northward Dan is alleen rotatie voor grib nodig Aanpassing voor parallel rekenen: Partionering wind-sds is optioneel m.b.v. keyword SKIP_PART in siminp Verder: - coor_id is verplicht bij gebruik svwp - soms opnieuw waqwnd draaien

Test rotatie vergelijk met csm8-wind

Parallel rekenen Aanpassingen voor ddhor en parallel rekenen Barrier sturing over domeingrenzen Visipart geschikt voor ddhor Nieuwe opties waqpro.pl Use_pinning Hostmap = compact Keep_subdomsds : standaard worden die nu opgeruimd! Use_pbs_aware Local_only In documentatie onderscheid tussen opties en verplichte parameters

Strip en hostmap compact subdomein 1 2 3 4 5 6 7 8 Round-robin 1 2 3 4 1 2 3 4 Compact 1 1 2 2 3 3 4 4

Oude documentatie format parallel runs waqpro.pl [-runid <runid>] [-npart <npart>] [-[partit <partit>] [-fases <fases>] [-bufsize <bufsize>] [-buf_prt <buf_prt>] \ [-hostmap <hostmap>] [-back <back>] [-xtra_comm <xtra_comm>] [&] format vertical refinement waqpro.pl [-runid <runid>] [-ndom <ndom>] \ [-fases <fases>] [-bufsize <bufsize>] [-buf_prt <buf_prt>] [-hostmap \ <hostmap>] [-back <back>] [-xtra_comm <xtra_comm>] [&] format horizontal refinement waqpro.pl [-runid <runid>] [-config <config>] \ [-fases <fases>] [-check_only <ckonly>] [-buf_prt <buf_prt>] [-buf_exc \ <buf_exc>] [-hostmap <hostmap>] [-xtra_comm <xtra_comm>] [-back \ <back>] [&] format horizontal & vertical refinement waqpro.pl [-runid <runid>] \ [-config <config>] [-fases <fases>] [-check_only <ckonly>] [-buf_prt \ <buf_prt>] [-buf_exc <buf_exc>] [-hostmap <hostmap>] [-xtra_comm \ <xtra_comm>] [-back <back>] [&]

Nieuwe documentatie format parallel runs waqpro.pl [-runid <runid>] [-npart <npart>] \ [-partit <partit>] [-bufsize <bufsize>] format vertical refinement waqpro.pl [-runid <runid>] [-ndom <ndom>] \ [-bufsize <bufsize>] format horizontal refinement waqpro.pl [-runid <runid>] [-config <config>] \ [-check_only <ckonly>] format horizontal & vertical refinement: The format for horizontal and vertical refinement is identical to the format of horizontal refinement

Nieuwe documentatie II optional parameters for parallel runs and all kinds of domain decomposition: extra options: [-hostmap <hostmap>] [-fases <fases>] \ [-buf_prt <buf_prt>] [-keep_subdomsds <Y/N>] \ [-use_pinning <Y/N>] [-xtra_comm <Y/N>] \ [-use_pbs_aware <Y/N>] [-buf_exc <buf_exc>] \ [-local_only <Y/N>] [-col_only <Y/N>] \ [-precision <single/double>] \ [-nmdbg <nmdbg>] [-back <Y/N>] [&]

High Performance Computing (HPC) OpenMPI op Lisa (Linux-cluster) bij SARA Achtergrond: Rekentijd aanvraag Deltares - zowel Swan, Simona als Delft3D een stap verder in parallel rekenen - mogelijkheid uitwijk voor pieken in rekentijd Prijsvraag Wim Nieuwpoort Award - voor 1 oktober op 40% van alle cores rekenen Mooie gelegenheid nieuw platform linux64 goed te testen

Ervaringen met Simona en HPC Ervaringen op Lisa (I) Waqua was snel aan de praat: linux executables direct bruikbaar Wachttijd varieert sterk Met kleine stapjes steeds meer cores bruikbaar. Grens was 32 cores Uiteindelijk is 96 maximum voor parallel rekenen (vanwege coppre/coppos) Voor ddhor circa 140, oorzaak nog niet bekend

Ervaringen met Simona en HPC II Ervaringen op Lisa (II) Schaalt goed tot 100 cores Bij korte sommen op veel nodes kost coppre veel tijd Opletten met partionering - bij klein aantal cores is strip beter - bij groot aantal cores is orb beter Geheugen/cache effecten Intel versus AMD Timing is niet altijd te reproduceren Ook gewerkt aan Huygens (IBM power-pc) versie; Andere mpi-omgeving; nog niet parallel werkend

Resultaten parallel versnelling rijntakken 10000 wall time 1000 lisa - packed lisa - round robin h4 - packed h4 - round robin 100 1 10 100 cores

Resultaten Domeindecompositie DCSM op Lisa 100000 wall time 10000 orb strip 1000 0.30103 0.90309 1.20412 1.50515 1.6812412 1.9822712 N

Verschillende partities methode walltime Strip 1776 Orb 1061 Handm-it1 1012 Handm-it2 1452 Handm-it3 935

Visipart demo