Simona2011-RC: 64-bit Linux

Maat: px

Weergave met pagina beginnen:

Download "Simona2011-RC: 64-bit Linux"

Raphaël Sanders
10 jaren geleden
Aantal bezoeken:

1 Simona2011-RC: 64-bit Linux

2 Simona2011-RC Belangrijkste wijzigingen in Simona2011-RC Netcdf in waqwnd Barriersturing over domeingrenzen Visipart geschikt voor DDHOR Nieuw platform: linux64 met openmpi Aanpassing k-epsilon turbulentie Documentatie in LaTeX; overzicht achtergronddocumentatie

3 Oude pakketten Verwijderd in Simona2011-RC: Waqpan (getdata, waqview, excel-stekker) Adobs (obs2sds) Cmpbnd (cmpser) Gepland voor verwijdering in Simona2011: CnvObs en Ado2Md (obs2sds formaat) SdsDif (getdata, waqview en excel-stekker) Waqad (OpenDA) Sicorrupt, dirtst, sireft en sierwr (b+o tools) Oude keywords (oude droogval en displays)

4 Wind (SVWP) Aanpassingen voor ruimtelijk variërende wind (svwp) Aanleiding: nieuw DCSM model op groter domein, met wind op nieuw type rooster; Matroos stapt over NetCDF-files. Ter herinnering: dataflow: waqwnd maakt SDS-wind uit diverse formaten siminp bevat naam SDS-wind parallel: coppre maakt SDS-wind-000 t/m SDS-wind-016 rekenhart leest bv SDS-wind-001 en interpoleert naar Waqua-rooster

5 Wind rooster en DCSM rooster

6 NetCDF-wind Rotatie door waqwnd Hirlam input zowel in grib als NetCDF In NetCDF eastward/northward wind Eigenlijk verwacht waqua ook eastward/northward Dan is alleen rotatie voor grib nodig Aanpassing voor parallel rekenen: Partionering wind-sds is optioneel m.b.v. keyword SKIP_PART in siminp Verder: - coor_id is verplicht bij gebruik svwp - soms opnieuw waqwnd draaien

7 Test rotatie vergelijk met csm8-wind

8 Parallel rekenen Aanpassingen voor ddhor en parallel rekenen Barrier sturing over domeingrenzen Visipart geschikt voor ddhor Nieuwe opties waqpro.pl Use_pinning Hostmap = compact Keep_subdomsds : standaard worden die nu opgeruimd! Use_pbs_aware Local_only In documentatie onderscheid tussen opties en verplichte parameters

9 Strip en hostmap compact subdomein Round-robin Compact

10 Oude documentatie format parallel runs waqpro.pl [-runid <runid>] [-npart <npart>] [-[partit <partit>] [-fases <fases>] [-bufsize <bufsize>] [-buf_prt <buf_prt>] \ [-hostmap <hostmap>] [-back <back>] [-xtra_comm <xtra_comm>] [&] format vertical refinement waqpro.pl [-runid <runid>] [-ndom <ndom>] \ [-fases <fases>] [-bufsize <bufsize>] [-buf_prt <buf_prt>] [-hostmap \ <hostmap>] [-back <back>] [-xtra_comm <xtra_comm>] [&] format horizontal refinement waqpro.pl [-runid <runid>] [-config <config>] \ [-fases <fases>] [-check_only <ckonly>] [-buf_prt <buf_prt>] [-buf_exc \ <buf_exc>] [-hostmap <hostmap>] [-xtra_comm <xtra_comm>] [-back \ <back>] [&] format horizontal & vertical refinement waqpro.pl [-runid <runid>] \ [-config <config>] [-fases <fases>] [-check_only <ckonly>] [-buf_prt \ <buf_prt>] [-buf_exc <buf_exc>] [-hostmap <hostmap>] [-xtra_comm \ <xtra_comm>] [-back <back>] [&]

11 Nieuwe documentatie format parallel runs waqpro.pl [-runid <runid>] [-npart <npart>] \ [-partit <partit>] [-bufsize <bufsize>] format vertical refinement waqpro.pl [-runid <runid>] [-ndom <ndom>] \ [-bufsize <bufsize>] format horizontal refinement waqpro.pl [-runid <runid>] [-config <config>] \ [-check_only <ckonly>] format horizontal & vertical refinement: The format for horizontal and vertical refinement is identical to the format of horizontal refinement

12 Nieuwe documentatie II optional parameters for parallel runs and all kinds of domain decomposition: extra options: [-hostmap <hostmap>] [-fases <fases>] \ [-buf_prt <buf_prt>] [-keep_subdomsds <Y/N>] \ [-use_pinning <Y/N>] [-xtra_comm <Y/N>] \ [-use_pbs_aware <Y/N>] [-buf_exc <buf_exc>] \ [-local_only <Y/N>] [-col_only <Y/N>] \ [-precision <single/double>] \ [-nmdbg <nmdbg>] [-back <Y/N>] [&]

13 High Performance Computing (HPC) OpenMPI op Lisa (Linux-cluster) bij SARA Achtergrond: Rekentijd aanvraag Deltares - zowel Swan, Simona als Delft3D een stap verder in parallel rekenen - mogelijkheid uitwijk voor pieken in rekentijd Prijsvraag Wim Nieuwpoort Award - voor 1 oktober op 40% van alle cores rekenen Mooie gelegenheid nieuw platform linux64 goed te testen

14 Ervaringen met Simona en HPC Ervaringen op Lisa (I) Waqua was snel aan de praat: linux executables direct bruikbaar Wachttijd varieert sterk Met kleine stapjes steeds meer cores bruikbaar. Grens was 32 cores Uiteindelijk is 96 maximum voor parallel rekenen (vanwege coppre/coppos) Voor ddhor circa 140, oorzaak nog niet bekend

15 Ervaringen met Simona en HPC II Ervaringen op Lisa (II) Schaalt goed tot 100 cores Bij korte sommen op veel nodes kost coppre veel tijd Opletten met partionering - bij klein aantal cores is strip beter - bij groot aantal cores is orb beter Geheugen/cache effecten Intel versus AMD Timing is niet altijd te reproduceren Ook gewerkt aan Huygens (IBM power-pc) versie; Andere mpi-omgeving; nog niet parallel werkend

16 Resultaten parallel versnelling rijntakken wall time 1000 lisa - packed lisa - round robin h4 - packed h4 - round robin cores

17 Resultaten Domeindecompositie DCSM op Lisa wall time orb strip N

18 Verschillende partities methode walltime Strip 1776 Orb 1061 Handm-it Handm-it Handm-it3 935

19 Visipart demo

Vergelijkbare documenten

Simona software ontwikkelingen Erik de Goede

Simona software ontwikkelingen Erik de Goede Simona-Baseline gebruikersmiddag 13 juni 2012 Delft Software Dagen Inhoudsopgave Wat is Simona? Simona B&O projectteam Simona ontwikkelingen sinds Deltares