Voorwoord. Foreword. Contents. Inhoud. September 2015

Transcriptie

1 September 2015 Voorwoord Foreword Vlaanderen beschikt over een geïntegreerde Tier-1 en Tier- 2 infrastructuur voor onderzoek en innovatie. Deze wordt permanent vernieuwd en uitgebreid om een antwoord te bieden op de noden van de Vlaamse onderzoekers en bedrijven. Om de beschikbare rekencapaciteit efficiënt te gebruiken worden de onderzoekers bijgestaan door specialisten maar het is nodig dat ze zelf over een zekere kennis bezitten inzake HPC. Elk academiejaar organiseert het VSC een brede waaier aan opleidingen op verschillende niveaus (van beginners tot gevorderden) over het gebruik van supercomputers. Hierbij worden meerdere aspecten belicht: hoe je een programma op een supercomputer kan laten draaien, hoe je zelf software kan ontwikkelen en hoe je een aantal populaire pakketten kan gebruiken in sommige toepassingsdomeinen,... Naar jaarlijkse gewoonte wordt in het najaarsnummer van de VSC Echo een uitgebreid overzicht gegeven van de opleidingen die in het academiejaar kunnen worden gevolgd. Sommige van de meer gespecialiseerde opleidingen worden aangeboden in samenwerking met buitenlandse HPC centra. Onderzoekers uit de Vlaamse publieke kennisinstellingen en waar mogelijk ook uit bedrijven kunnen hiervoor inschrijven. Meer informatie op de volgende bladzijden. Flanders has an integrated Tier-1 and Tier-2 infrastructure for research and innovation. It is permanently updated and expanded to respond to the needs of the Flemish researchers and companies. To use the available computing capacity efficiently the researchers are assisted by specialists, but it is necessary that they themselves possess a certain knowledge of HPC. Each academic year, VSC organises a wide range of courses at different levels (from beginner to advanced) on the use of supercomputers. Several aspects of HPC are discussed: how to make a program run on a supercomputer, how to develop software and in some application areas how to use popular software packages,... The annual custom dedicates the autumn issue of the VSC Echo to training. It provides a comprehensive overview of the courses that can be followed in the academic year Some of the more specialized courses are offered in cooperation with foreign HPC centers. Researchers from the Flemish public knowledge institutions and, where possible, from companies can register for the courses. Find more information in the following pages. Bart De Moor Chairperson Herculesstichting Bart De Moor Voorzitter Raad van Bestuur Herculesstichting Inhoud Contents VSC Opleidingswijzer 2 Op stap in de VSC website 6 Gebruikersdag 10 Vooraankondiging Industriedag 12 Tier-1 13 e-infrastructures in Belgium evenement 14 VSC Training guide 2 Exploring the VSC website 6 Users Day 10 Preannouncement Industry day 12 Tier-1 13 e-infrastructures in Belgium event 14

2 P. 2 VSC Echo De VSC opleidingswijzer The VSC training guide Het Vlaams Supercomputing Centrum besteedt veel aandacht aan ondersteuning en opleiding van de onderzoekers die gebruik maken van haar infrastructuur. Het is immers belangrijk dat er op een efficiënte manier gerekend wordt aangezien dit de wetenschappelijke slagkracht van de Vlaamse universiteiten verhoogt en hun concurrentiepositie verbetert. Het spreekt vanzelf dat de trainingssessies georganiseerd door het VSC niet enkel openstaan voor de academici verbonden aan de Vlaamse universiteiten en hun associaties, maar evenzeer voor de onderzoekers van de Strategische Onderzoekscentra, wetenschappelijke instellingen en de industrie. Het opleidingstraject van het VSC is onderverdeeld in vier categorieën die een indicatie zijn voor enerzijds de vereiste voorkennis en anderzijds de domeinspecificiteit van het onderwerp: Introductory level Intermediate level Advanced level Specialist courses & workshops Hieronder zetten we een aantal activiteiten speciaal in de kijker. Omwille van het grote aantal doctorandi en andere onderzoekers die niet Nederlandstalig zijn, worden opleidingen in het Engels gegeven, tenzij iedereen toevallig Nederlands begrijpt. Cursusmateriaal is steeds in het Engels. We geven in deze Echo ook een overzicht van alle cursussen maar voor up-to-date informatie en details verwijzen we naar de online kalender op onze website: The VSC (Vlaams Supercomputing Center) spends considerable time and effort on support and training of the researchers using its infrastructure. It is important that computations are performed efficiently since this increases the scientific competitive position of the universities in the international research landscape. Training sessions organized by the VSC are not only intended for academics affiliated to the Flemish universities and their respective associations, but also to the researchers of the SOCs (Strategische Onderzoekscentrum), scientific research organizations and the industry. The training sessions the VSC offers are classified into four categories, which are an indication of both the required previous knowledge and the domain specificity of the subject: Introductory level Intermediate level Advanced level Specialist courses & workshops Below we highlight a few activities. Due to the large fraction of PhD students and research staff that are not native speakers of Dutch, training events are typically conducted in English, unless all participants happen to master Dutch. Course material is always in English. In this Echo we provide an overview of training events, for up to date information and details you are referred to the online calendar on the VSC website: : Geert Jan Bex The VSC Training coordinator

3 VSC Echo P. 3 Eigen aanbod Introductory level Deze opleidingen zijn bedoeld voor alle gebruikers van de infrastructuur en het is sterk aanbevolen deze te volgen indien men niet over de nodige voorkennis beschikt. Ze worden verzorgd door de lokale VSC medewerkers. De belangrijkste onderwerpen zijn een inleiding tot het Linux besturingssysteem vanuit het standpunt van de gebruiker en een introductie tot het gebruik van de HPC infrastructuur. Er kan niet genoeg nadruk gelegd worden op de belangrijkheid van deze opleidingen voor nieuwe gebruikers. Nieuwkomers in de wereld van Linux en HPC zouden deze cursussen verplicht moeten bijwonen. Deze kleine investering van tijd voorkomt zowel frustraties bij gebruikers en ondersteunend personeel als inefficiënt gebruik van de infrastructuur. Dit laatste is uiteraard belangrijk voor de gebruikersgemeenschap als geheel. Deze categorie van sessies worden dan ook georganiseerd op alle VSC-sites, vaak meermaals per jaar. Ze worden verzorgd door de lokale VSC-medewerkers, hetgeen ook een gelegenheid is om een gezicht te associëren met informatie in tegenstelling met het vaak als anoniem ervaren verkeer. Er worden een aantal introductory level trainingen aangeboden die, zoals de inleiding tot Linux, niet strikt beperkt zijn tot gebruikers van de VSC-infrastructuur. Zo is er een opleiding over het gebruik van versie controle systemen, een onontbeerlijk hulpmiddel bij het ontwikkelen van software, maar ook bijzonder nuttig voor het gezamenlijk schrijven van wetenschappelijke artikels en andere teksten ( Infosession: version control with subversion/git ). Ook de inleiding tot programmeren in C kan nuttig zijn voor een breder publiek ( C introduction ). De opleiding Matlab wordt beperkt tot studenten en onderzoekers verbonden aan de eigen instelling vanwege beperkingen opgelegd door de licentie-overeenkomst. Intermediate level Het aanbod in deze categorie vereist de nodige voorkennis uit het introductory level aanbod en is wat betreft de onderwerpen ook meer gespecialiseerd. Het merendeel van de opleidingen richt zich op gebruikers die hun eigen software ontwikkelen, hetzij voor rekenintensieve taken, hetzij voor pre- en postprocessing van gegevens. Aangezien deze trainingen intensiever en meer gespecialiseerd zijn dan deze uit het introductory level worden ze niet op elke VSC site georganiseerd, maar worden gebruikers aangemoedigd deze sessies op andere sites bij te wonen. Local Offer Introductory level These training sessions are intended for all users of the infrastructure and it is highly recommended to attend if one lacks the required experience. These sessions are conducted by local VSC collaborators. The courses are also an opportunity to meet face to face the people that deal with help desk requests, thus reducing the anonymity inherent to . The primary subjects are an introduction to the Linux operating system from the point of view of the users and specific explanations on how to use the HPC infrastructure. We would like to stress the importance of attending these sessions for new users. It is a small investment of time that pays off by reducing potential frustration, of users and VSC collaborators alike and avoids inefficient use of the infrastructure. This is important not only for the individual user, but also for the user community as a whole. Each of the VSC sites organizes this type of sessions, in many cases multiple times a year. The Linux introduction session is not necessarily limited in scope to users of the VSC infrastructure, and is an example of a number of training events open to a wider public. For example version control systems are an important tool in the software development workflow, but can also be used by authors collaborating on a journal paper or another publication, hence the Infosession: version control with subversion/git. An introductory course on programming in C can also be useful for a wider range of participants ( C introduction ). The Matlab introduction session can only be attended by students and collaborators of the hosting university due to limitations imposed by the license agreement. Intermediate level The sessions in this track demand some courses from the introductory track as prerequisites and are more specific in the subjects covered. The majority of events in this track target users who develop their own software, either for compute-intensive applications or for preprocessing and postprocessing of data. Since these training sessions are more specialized and intensive than those in the introductory track, they are not organized at every VSC site, but users are encouraged to attend sessions at other sites. A series of sessions titled HPC tips and tricks emphasizes efficient use of the infrastructure.

4 P.4 VSC Echo Eigen aanbod Intermediate level (vervolg) In de reeks sessies HPC tips & tricks worden specifieke onderwerpen behandeld die te maken hebben met het efficiënt gebruik van de infrastructuur. Voorkennis van programmeren in C/C++ of Fortran is vereist voor parallel programmeren, MPI course en OpenMP course, twee cursussen die de dominante paradigma voor parallel wetenschappelijk programmeren behandelen, respectievelijk voor gedistribueerd programmeren en shared memory programming. Hoewel aangeboden als twee afzonderlijke modules, is het toch aan te bevelen beide te volgen om zo in staat te zijn een geïnformeerde keuze te maken tussen beide paradigma, of ze te combineren indien dat nuttig is. Het cursusmateriaal werd ontwikkeld door dr. Rolf Rabenseifner (HLRS, Stuttgart). De Python introduction sessies zijn vooral gericht op gebruikers die data moeten transformeren en analyseren. De programmeertaal Python is hiervoor zeer geschikt. Als voorkennis wordt verondersteld dat de deelnemer vlot kan programmeren in een programmeertaal zoals C, C++, Fortran, R, of Matlab. Externe mogelijkheden PRACE (Partnership for Advance Computing in Europe), zeg maar de Europese supercomputing organisatie, biedt een aantal kwalitatief zeer hoogstaande trainingen in de PRACE Advanced Training Centers (PATC). Het VSC nodigt lesgevers van dit programma uit om opleidingen in Vlaanderen te komen verzorgen. Dit kan echter slechts in beperkte mate gebeuren omdat de opleidingen hetzij te gespecialiseerd zijn, hetzij de lesgevers overbevraagd worden. Het is dus nuttig het cursusaanbod van PRACE te volgen via Local Offer Intermediate level (continued) The MPI course and OpenMP course have similar prerequisites. They introduce the dominant parallel programming paradigms in scientific computing, for distributed and shared memory programming respectively. Although in the format of two independent modules, it is nevertheless advised to attend both, since this will allow the participants to make an informed choice, or to combine the two for optimal performance. The course material has been developed by dr. Rolf Rabenseifner (HLRS, Stuttgart). The Python introduction sessions target researchers who have to transform and analyze data. The Python programming language is very well suited to tackle this type of problems. A decent level of programming skills in C, C++, Fortran, Matlab or R is expected. Third party opportunities PRACE, the European supercomputing organization, offers a number of training events of outstanding quality in its PATCs (Advanced Training Centers). VSC regularly invites PATC trainers for sessions in Flanders, but this possibility is limited due to their busy schedules or the very specialized nature of such trainings. It is useful to check the PRACE program regularly. Information on PATC courses can be found on: The tutorial program of the SuperComputing conference (SC 15, Austin, TX, November 15-20, 2015) is very interesting as well. It can be found online: Het tutorial programma van de gerenommeerde conferentie SuperComputing (SC 15, Austin, TX, november 2015) is weer bijzonder rijk en gevarieerd. Het is online beschikbaar:

5 VSC Echo P. 5 Agenda Hieronder vindt U de huidige agenda voor Voor up-to-date informatie is het aangewezen de online agenda op de VSC website te raadplegen: De activiteiten van 2016 zullen ook op deze site aangekondigd worden. Below you will find the current agenda for For up to date information please consult the online calendar on the VSC website: The events in 2016 will be announced on this site as well October 2015 Matlab introduction 1, 2, 8, 9 October, 9h-12h, VHI G1, Dekenstraat 2, Leuven HPC@UGent introduction 5 October, 9h-16h, Multimediaroom, campus de Sterre S9, Krijgslaan 281, 9000 Gent HPC@KULeuven introduction 8 October, 9h-17h, ICTS opleidingscentrum B, W. de Croylaan 52a, 3001 Heverlee HPC@UAntwerp introduction 12 October, 9h30-14h, Campus Middelheim, Middelheimlaan 1, G025 Matlab intermediate 15, 16 October, 9h-12h, VHI G1, Dekenstraat 2, Leuven Linux introduction 16 October, 9h-17h, ICTS opleidingscentrum B, W. de Croylaan 52a, 3001 Heverlee Python introduction 28 October, 9h-17h00, ICTS opleidingscentrum B, W. de Croylaan 52a, 3001 Heverlee November 2015 Linux for beginners 6 November, 9h-17h, Vrije Universiteit Brussel, Campus Etterbeek - Room EuroDemo 0G-120, Building G, Level 0, 1050 Brussel MPI course 17, 19 November, 9h-17h30, ICTS opleidingscentrum B, W. de Croylaan 52a, 3001 Heverlee OpenMP course 24 November, 9h-17h30, ICTS opleidingscentrum B, W. de Croylaan 52a, 3001 Heverlee Infosession: version control with subversion/git 26 November, 9h-13h, ICTS opleidingscentrum B, W. de Croylaan 52a, 3001 Heverlee HPC@VUB Introduction 27 November, 9h-17h, Vrije Universiteit Brussel, Campus Etterbeek - Room EuroDemo 0G-120, Building G, Level 0, 1050 Brussel December 2015 Debugging techniques 1 December, 9h-13h, ICTS opleidingscentrum B, W. de Croylaan 52a, 3001 Heverlee HPC tips & tricks: using checkpointing 11 December, 13h-15h30, Campus Middelheim, Middelheimlaan 1, G025

6 P. 6 VSC Echo Op stap in de VSC website Exploring the VSC website In VSC Echo willen we telkens een deel van de VSC website belichten. In dit nummer gaat onze aandacht uit naar Education and Training. Op de volgende pagina s ziet u schermafbeeldingen van achtereenvolgens: het overzicht van de komende cursussen, een cursus gespreid over meerdere dagen, een cursus waarbij cursusmateriaal beschikbaar is en die deel uitmaakt van een reeks. Het cursusoverzicht laat titel, plaats en datum zien. Indien achteraan het VSC-label wordt getoond, wordt de cursus verzorgd door VSC medewerkers. Bij specifieke cursusinformatie wordt getoond welk niveau gebruikers wordt aangesproken: introductory, intermediate, advanced of specialist. Deze laatste categorie geeft cursussen aan die gericht zijn op onderzoekers uit een welbepaald vakgebied (zoals bijvoorbeeld een cursus over pakketten voor computational materials science). Bij meerdaagse cursussen worden de data getoond en schrijft men zich steeds in voor de volledige cursus. Indien vroeger reeds een sessie van deze cursus werd georganiseerd, wordt dit rechts onderaan getoond. In VSC Echo, we will highlight different parts of the VSC website. We focus on Education and Training in this edition. The following pages will show you the overview of upcoming events and training sessions, a multi day course, a course with course material, and being part of a series. The course overview shows you title, venue, date. The VSC label at the end indicates the course is organized by VSC. On a course page, the course level is indicated: introductory, intermediate, advanced or specialist. The latter category is used to denote courses that target researchers in a particular field, e.g., a course on software packages for computational materials science. For a multi day course, all dates are shown and registration is always for all days. In case a similar course has been organized in the past, it will be shown in the lower right corner. The last screen shot shows an example of a course that s part of a series. Upcoming (if any) new courses in the series will be shown at the top, while the information about other courses is shown again in the lower right corner. Available course material is also visible. Registration for courses is done via the website, unless otherwise stated. Op de laatste schermafbeelding zien we een voorbeeld van een cursus uit een reeks. Enerzijds wordt vermeld dat een nieuwe cursus in de reeks wordt georganiseerd (bovenaan). Anderzijds wordt rechts onderaan informatie over de andere sessies getoond. Beschikbaar cursusmateriaal is ook zichtbaar. Inschrijven voor de cursussen gebeurt via de website, tenzij anders vermeld.

7 VSC Echo P. 7

8 P. 8 VSC Echo

9 VSC Echo P. 9

10 P. 10 VSC Echo Gebruikersdag 30 november 2015 Na de succesvolle VSC gebruikersdag in januari 2014, gaat de gebruikersdag dit jaar door aan de Universiteit Antwerpen op maandag 30 november. De gebruikerscommissie heeft de dag georganiseerd en het programma samengesteld. Naast een lezing door een binnenlandse en een buitenlandse spreker, is ervoor gekozen om 4 workshops in te richten. Deze worden in de namiddag hernomen zodat deelnemers 2 verschillende workshops kunnen volgen. VSC for starters De overstap maken naar HPC. We geven enkele voorbeelden uit de praktijk, aangevuld met goede raad bij het gebruik van HPC clusters en tonen de voor- en nadelen bij de overstap van desktop naar HPC. Deze sessie zal niet alleen beginners interesseren. Specialized Tier-2 infrastructure: shared memory Shared memory: wanneer het verdelen van data geen optie (meer) is. We lichten de beschikbare shared memory infrastructuur toe a.d.h.v. enkele praktijkvoorbeelden. Big data We stellen Hanythingondemand (hod) voor, een oplossing voor het draaien van Hadoop, Spark en andere diensten op HPC clusters. Cloud and grid access De beschikbaarheid van grid en cloud resources is niet zo gekend binnen het VSC. We geven een inleiding tot de cloud omgeving, leggen uit hoe nuttig het kan zijn en hoe u toegang kan bekomen. Inschrijven gebeurt via de VSC website en is gratis, maar wel verplicht. Op de website vindt u ook de wegbeschrijving. Users Day 30 November 2015 After the successful VSC users day in January 2014, this year s users day takes place at the University of Antwerp on Monday November 30. The users committee has organized the day and has drawn up the programme. We have invited both an external and an internal speaker. Moreover, 4 workshops will be organized. These workshops will be repeated in the afternoon such that every participant is able to participate in two workshops. VSC for starters Upscaling to HPC. We will present you some best practices, give advice when using HPC clusters and show some pros and cons when moving from desktop to HPC. Even more experienced researchers may be interested. Specialized Tier-2 infrastructure: shared memory Shared memory: when distributing data is not/no longer an option. We will introduce you to the available shared memory infrastructure by means of some use cases. Big data We present Hanythingondemand (hod), a solution for running Hadoop, Spark and other services on HPC clusters. Cloud and grid access The availability of grid and cloud resources is not so well known in VSC. We will introduce you to the cloud environment, explain how it can be useful to you and show how you can gain access. Registration via the VSC website is free, but mandatory. The website also shows the travel directions.

11 VSC Echo P. 11 VSC Users Day Monday November 30, 2015 Venue: Universiteit Antwerpen, Campus Drie Eiken, building Q Program 09:50 Welcome Bart De Moor (chair Hercules Foundation) 10:00 Invited lecture Derek Groen (Centre for Computational Science, University College London) 11:00 Coffee 11:30 Workshops / hands-on sessions (parallel sessions) 1. VSC for starters 2. Specialized Tier-2 infrastructure: shared memory 3. Big data 4. Cloud and grid access 12:45 Lunch 14:00 Lecture internal speaker Johan Meyers (Department of Mechanical Engineering, KU Leuven) 14:30 1 minute poster presentations 14:45 Workshops / hands-on sessions (parallel sessions) 1. VSC for starters 2. Specialized Tier-2 infrastructure: shared memory 3. Big data 4. Cloud and grid access 16:15 Coffee & Poster session 17:00 Closing Dirk Roose (representative of users committee) 17:10 Drink

12 P. 12 VSC Echo Vooraankondiging 2de VSC Industry Day Een van de opdrachten van het VSC is het stimuleren van bedrijven om HPC infrastructuur te gebruiken voor het ontwikkelen van nieuwe producten of diensten en hen hierin te ondersteunen. Om hieraan invulling te geven zet het VSC tal van initiatieven op. Na de succesvolle eerste VSC Industry Day van januari 2015, heeft de Raad van Bestuur van de Herculesstichting op advies van de Industrial Board en de HPC coördinatoren beslist in februari maart 2016 een tweede editie te organiseren. Hierbij zullen de eerste Vlaamse succesverhalen centraal staan. Ook plannen we opnieuw de uitnodiging van een aantal buitenlandse sprekers met een ruime ervaring in industriële toepassingen van HPC. Informatie over het programma en inschrijven voor deze 2de VSC Industry Day zal gegeven worden op de VSC website en in het volgend nummer van de VSC Echo Preannouncement 2nd VSC Industry Day Stimulating companies to use HPC to develop new products and services and to increase the quality of existing offerings, is a mission of the VSC. Numerous actions are set up to bridge the gap between HPC and companies. In January 2015 the VSC organized the first Industry Day. As a follow-up of this successful event and after consulting the Industry Board and the HPC coordinators, the Hercules Foundation Board of Directors decided to organize a second edition in February-March This is the right opportunity to present the first success stories of Flemish companies. International experts in the industrial use of HPC will be invited speakers. On the VSC website and in the next edition of VSC Echo, the program and the information to register will be published.

13 VSC Echo P. 13 Gebruik van de Tier-1 Use of the Tier-1 Fig. 1 Historisch overzicht van gebruikte rekentijd op Tier-1 sinds 15 juli Historical overview of used computing time since 15 July 2013 Approved node days per scientific field Environmental Modelling Bioinformatics Computational Chemistry Fig. 2 Toegekende rekentijd per wetenschappelijk domein Approved computing time per scientific domain Mechanical Engineering Used node days per scientific field Bioinformatics Environmental Modelling Electromagnetic engineering 7121 Mechanical Engineering Computational Chemistry Fig. 3 Gebruikte rekentijd per wetenschappelijk domein Used computing time per scientific domain

14 P. 14 VSC Echo Tier-1 Vergeet je Tier-1 rekenaanvraag niet in te dienen! 5 oktober is de uiterste indiendatum voor evaluatie in Do not forget to apply for Tier-1 computing time October 5 Is the closing date for evaluation in SAVE THE DATE e-infrastructures in Belgium and their European setting. What do we have, what do we want. 14 December 2015 in the Royal Library, Brussels More information will be made available on

15 VSC Echo P. 15 The 12th Call for Proposals for Project Access will be open from 30 September 2015, 13:30 CEST until 11 November 2015, 12:00 (noon) CET. Proposals can be based on a 12-months schedule, or, for Multi-year Projects, on a 24- or 36-months schedule. The allocation of awarded resources is made for 1 year at a time with provisional allocations awarded for the 2nd and 3rd year. Additionally, the 12th Call: Reserves 0.5% of the total resources available for the 11th Call for Centres of Excellence (CoE) as selected by the EC under the E-INFRA call for proposals. CoE don t need to apply to this PRACE call if funded by the EC, CoE requesting access to PRACE resources will be awarded PRACE resources from this reserve. The PRACE Access Committee, composed of leading European scientists and engineers, ranks the project proposals that will be awarded access to PRACE resources. PRACE is currently in a transition phase to a new funding and governance model. Unfortunately this necessitates a temporary reduction in the number of Tier-0 resources available for Call 12. Therefore the 12th Call will offer resources on only: FermiFERMI, an IBM Blue Gene/Q supercomputer operated by CINECA, Italy MareNostrum, an IBM System x idataplex supercomputer operated by BSC, Spain Both systems are suitable for a wide variety of codes and awarded projects will receive dedicated technical support at the hosting sites. Important dates PRACE Call for proposals Opening date: 30 September 2015, 13:30 CET Closing date: 11 November 2015, 12:00 (noon) CET Response of applicants to reviews: January 2016 Anticipated allocation decisions: first week of March 2016 Allocation start date of awarded proposals: 14 March 2016 Allocation end date of award: 13 March 2017 Applications for Project Access must use codes that have been previously tested and that demonstrate high scalability and optimisation to multi-core architectures or that demonstrate a requirement for ensemble simulations that need a very large amount of CPU overall. More information can be found at: