ICT FOM-instituten AMOLF, NIKHEF en Rijnhuizen. Versie 2006

Transcriptie

1 ICT FOM-instituten AMOLF, NIKHEF en Rijnhuizen Versie 2006 Auteur: Wim Heubers (NIKHEF) Met dank aan: Gwendolyn van der Linden (Rijnhuizen) en Ben Okhuijsen (AMOLF) -1-

2 ICT FOM-INSTITUTEN AMOLF, NIKHEF EN RIJNHUIZEN 1 1. Inleiding Toekomst van de ICT techniek binnen FOM - samenvatting rapport gepubliceerd eind AMOLF KVI Rijnhuizen NIKHEF Algemene observaties 4 Instrumentatie (data-acquisitie en procesbesturing) Steeds meer functionaliteit (intelligentie) ingebouwd in instrumentatie Industriële standaarden voor het koppelen meetinstrumenten, sensoren Software voor de experimenten LabView, een bouwdoos voor het automatiseren van apparatuur Software engineering is meer dan programmeren. 6 Technische ontwikkelingen software engineering Het software proces Programmeren Databases. 7 Netwerk- en computerinfrastructuur (systeembeheer) Bandbreedte geen probleem De winnaars Scientific Linux Lagere kosten, meer value for money De keerzijde De beheersbaarheid verbeteren Uitbesteden (SARA, onderling) Serverruimte. 10 Grid technologie De afgelopen vijf jaar De komende vijf jaar Clusters en supercomputers De Amsterdam Internet Exchange AMS-IX 12 Kennisuitwisseling en samenwerking Kennisuitwisseling ICT binnen FOM en NWO Samenwerking ICT binnen FOM en NWO Samenwerking met externe partners in projecten. 13 Menskracht en expertise Expertise Projectmenskracht Uitbesteden Samenvatting en conclusies Instrumentatie (data acquisitie en procesbesturing) Netwerk- en computerinfrastructuur (systeembeheer) Grid technologie Kennisuitwisseling en samenwerking Menskracht en expertise

3 1. Inleiding. In een zich snel ontwikkelende wereld waarin de informatie- en telecommunicatietechnologie niet meer zijn weg te denken, zijn de ICT-ers binnen de FOM instituten enerzijds consumenten van de producten die de industrie ons aanlevert, maar gelukkig ook anderzijds betrokken bij ontwikkelingen die zich aan het front van de wetenschap en techniek afspelen. Het uitlezen van instrumentatie die op topsnelheid gegevens produceert is een complexe en uitdagende taak. Het betrokken zijn bij de ontwikkelingen van computer en data grids, waarbij de grenzen van het gebruik van het internet worden verlegd, wordt als interessant en stimulerend ervaren. In deze rapportage wordt, na een korte terugblik op de uitspraken van vijf jaar geleden, een aantal ontwikkelingen genoemd op het terrein van de software ten behoeve van de instrumentatie, het systeembeheer, de grid technologie en overige technische ontwikkelingen in het vakgebied. Vervolgens wordt een aantal overwegingen gemaakt ten aanzien van samenwerking, menskracht en expertise. Tot slot wordt op de laatste twee pagina s deze rapportage kort en bondig puntsgewijs samengevat in de paragraaf Samenvatting en conclusies. -3-

4 2. Toekomst van de ICT techniek binnen FOM - samenvatting rapport gepubliceerd eind AMOLF Intensievere wisselwerking hardware en software; Eerder converteren van analoog naar digitaal; Meer gebruik van programmeerbare logica; Meer werk voor software ontwikkelaars (grote hoeveelheden data, automatiseren besturing meetopstellingen); Meer ondersteuning nodig voor beheer computers en netwerken; 2.2 KVI Meer werk voor computer- netwerkbeheer; Meer werk ten behoeve van data-acquisitie en controle systemen; 2.3 Rijnhuizen Meer werk ten behoeve van data-acquisitie en (remote) controle systemen; Meer complexe real-time systemen ten behoeve van meet- en regelsystemen; 2.4 NIKHEF Ontwikkeling grid en netwerktechnologie ten behoeve van transport, opslag en analyse van LHC data; 2.5 Algemene observaties Trendvolger in plaats van trendsetter, met uitzondering van gedistribueerde gegevensverwerking via grid technologie en besturing op afstand; Steeds meer en betere software en hardware commercieel verkrijgbaar; Meer behoefte aan expertise op het scheidsvlak van hardware en software. -4-

5 3. Instrumentatie (data-acquisitie en procesbesturing). 3.1 Steeds meer functionaliteit (intelligentie) ingebouwd in instrumentatie. In het verleden werden domme hardware modules (bijvoorbeeld in een VME crate) via programmed I/O byte voor byte uitgelezen door een computer gekoppeld aan een bus controller. Nu verzamelen en manipuleren intelligente modules zelfstandig de data en geven een seintje als de data klaar staat voor transport. De hardware engineer programmeert de module, de software engineer zorgt voor de integratie van de intelligente deelsystemen en voor het transport van de data naar het volgende (trigger) niveau. De afstand tussen de elektronica en de ICT wordt kleiner. In de ontwerpfase zal er nauw samengewerkt moeten worden om goede keuzes te maken hoe de functionaliteit geïmplementeerd gaat worden: in hardware, in firmware of in software. Welke discipline (ET of ICT) het schrijven van firmware (in VHDL, C, C++) voor haar rekening neemt is een interessante vraag. In de praktijk worden keuzes bepaald door organisatorische factoren, zoals de beschikbaarheid van expertise en persoonlijke ambities. Een voorbeeld van een gecombineerde inspanning van elektronica en software engineers is de MROD, een in huis ontwikkelde module, waarbij in software geprogrammeerde fieldprogrammable gate arrays (FPGA) en digital signal processors (DSP) zorg dragen voor de uitlezing en een eerste manipulatie van de data die gegenereerd wordt door de ATLAS MUON kamers. 3.2 Industriële standaarden voor het koppelen meetinstrumenten, sensoren. De koppelingen tussen meetinstrumenten, sensorsystemen, enz. zijn gebaseerd op industriële standaarden. Een gevolg hiervan is een robuuste en efficiënte communicatie, die out of the box werkt. Diepgaande kennis van de communicatieprotocollen is in de regel niet nodig. Er zijn echter uitzonderingen op deze regel, zoals in het geval van het implementeren van een generiek CANOpen protocol ten behoeve van eigen bouw elektronica voor het uitlezen van sensoren in een veldbusnetwerk voor de LHC detectoren. Ook in projecten waarin de maximale prestaties gehaald moeten worden uit de netwerkverbindingen, is kennis van TCP/IP protocollen noodzakelijk om de relevante parameters optimaal te kunnen instellen. 3.3 Software voor de experimenten. Op AMOLF is Microsoft Windows het platform voor de automatisering van de experimentele opstellingen. De toegepaste software is een combinatie van software modules die door de leverancier bij een instrument worden geleverd en eigen ontwikkelde software. Hergebruik van software wordt gestimuleerd door het beschikbaar stellen van gestandaardiseerde bibliotheken, waarin veel gebruikte functies worden gebundeld. Voor de besturing van de LHC detectoren op CERN is gekozen voor een industrieel SCADA systeem (PVSS), dat is ontwikkeld voor de procesindustrie en toegepast wordt onder meer in waterzuiveringsinstallaties en voor de verkeerscontrole in tunnels. Recentelijk heeft ook ASTRON de keuze gemaakt om PVSS in te zetten voor het besturingssysteem van de LOFAR telescoop. PVSS biedt het framework voor het bouwen van de specifieke functionaliteit. Om dit te kunnen doen zijn er experts nodig die een grondige kennis hebben van zowel PVSS als van de te integreren deelsystemen. Rijnhuizen voorziet in de toekomst het zelf ontwikkelen van een eigen framework voor de besturing van de grote experimenten, waarbij uiteraard wel gebruik gemaakt gaat worden van standaard componenten als bijvoorbeeld PLC systemen en van software libraries voor dataopslag, -5-

6 client-server communicatie, numerieke methoden, etc. De software nodig voor het onderling koppelen van de componenten zal naar verwachting in C, C++ en Python worden geschreven. 3.4 LabView, een bouwdoos voor het automatiseren van apparatuur. LabView, een product van National Instruments, wordt veelvuldig gebruikt voor de besturing en uitlezing van kleinschalige laboratorium- en testopstellingen en voor het presenteren van de meetgegevens. LabView is een complete hardware/software workbench voor de eindgebruiker, waarmee op een grafische interactieve manier toepassingen gebouwd kunnen worden. Het is wel aan te raden om een Labview product specialist in huis te hebben, die eindgebruikers kan adviseren en de contacten met de leverancier onderhoudt. Voor het maken van LabView modules voor de grotere experimenten die gedurende meerdere jaren in gebruikt worden, is het voor het waarborgen van de continuïteit het overwegen waard om hiervoor technische mankracht in te zetten in plaats van dit aan promovendi of studenten over te laten die maar voor een beperkte periode beschikbaar zijn. 3.5 Software engineering is meer dan programmeren. De software engineer zal kennis moeten hebben van de ontwikkelingen in de industrie, van de ontwikkelingen in vergelijkbare researchinstellingen en van de enorme rijkdom aan OpenSource software. Deze kennis is nodig om in staat te zijn voortdurend de afweging te kunnen maken tussen zelf software te ontwikkelen en commerciële of OpenSource software te gebruiken. De software engineer zal communicatief moeten zijn en affiniteit moeten hebben met de wetenschappelijke toepassing, omdat het hele traject van probleemanalyse, ontwerp, implementatie en testen in de regel door één persoon wordt gedaan. De adviserende rol van de software engineer zal in de toekomst alleen maar toenemen door de groeiende complexiteit van commercieel verkrijgbare oplossingen. De ICT afdelingen zullen naast een blijvende taak in het zelf ontwikkelen van oplossingen, steeds meer een systeemintegrator rol vervullen. Het feit dat je iets kunt kopen wat je vroeger moest maken betekent niet dat je geen technisch specialisten nodig hebt voor de integratie tot een totaaloplossing. Ook bij commerciële oplossingen is additionele consultancy en systeemintegratie gemeengoed. Het maken van software ten behoeve van de instrumentatie en experimenten is uiteraard niet exclusief een activiteit van de software engineers in de ICT (/ET) groep. Integendeel, er wordt heel veel software geschreven door studenten, promovendi en wetenschappers. Het gaat hierbij niet alleen om analysesoftware (traditioneel de verantwoordelijkheid van wetenschappers), maar ook om software voor data-acquisitie en controlesystemen, user interfaces, web pagina s, databasetoepassingen, etc. Een vorige NIKHEF directeur heeft het over communicerende vaten gehad in dit verband: er wordt op praktische gronden een verdeling van de werkzaamheden gemaakt. Expertisevraag en capaciteitsbehoefte worden vooral bepaald door de instrumentatieprojecten en de fase waarin deze projecten zich bevinden. 4. Technische ontwikkelingen software engineering. 4.1 Het software proces. Alle betrokkenen vinden dat er op een meer structurele wijze met het software proces zou moeten worden omgegaan. In de praktijk wordt dit proces gehinderd door het ontbreken van harde specificaties, wat niet zo erg is voor kleinschalige projecten, maar wat bij de grote projecten, waarbij meerdere programmeurs betrokken zijn over een langere periode, vertragend werkt. Dit probleem doet zich eerder voor bij de ontwikkeling van software producten, dan bij het ontwikkelen en produceren van harde mechanica en elektronica. Het is niet of nauwelijks -6-

7 haalbaar om over te gaan op een correct en volledig uitgevoerd software proces, zonder te veel overhead te genereren. Het is wel aan te bevelen om elementen uit het software proces met mate en gezond verstand toe te passen. Denk hierbij aan het documenteren van de eisen en van het basisontwerp, het maken data-flow diagrammen, het voeren van een consequent versiebeheer, het opstellen van richtlijnen voor de programmacode, het testen van de software voor het afgeleverd wordt, etc. Door hergebruik te maken van modules die voor eerder project gemaakt zijn en die hun waarde bewezen hebben en via bibliotheken beschikbaar zijn, kan er een veel werk bespaard worden. 4.2 Programmeren. Een niet complete lijst met FOM-breed gebruikte programmeertalen en omgevingen: De objectgeoriënteerde versie (C++) en de oorspronkelijke procedurele versie (C) worden veel toegepast in software voor het besturen en uitlezen van de instrumentatie. Bibliotheken zoals MFC voor Windows en Qt voor Linux en Windows bieden bouwstenen met veel functionaliteit aan die door de programmeur in zijn programma kunnen worden gebruikt. JAVA wordt steeds meer toegepast voor platform onafhankelijke software, die in virtuele machines wordt gedraaid. Voor zowel Microsoft Windows als Linux zijn er programmeeromgevingen beschikbaar voor het ontwikkelen en testen van de software. Perl en Python worden veelvuldig gebruikt om scripts te maken als framework waarin andere programma s en functies van het systeem worden aangeroepen. PHP en andere scripting talen worden veel gebruikt voor het bouwen van web applicaties. 4.3 Databases. In het gebruik van relationele databases kan onderscheid gemaakt worden tussen administratief en wetenschappelijk gebruik. Sommige leveranciers van databases, zoals Oracle, geven aanzienlijke kortingen als de database voor educatieve doeleinden wordt gebruikt. Geen van de instituten gebruikt Oracle voor administratieve, nietwetenschappelijke toepassingen, hiervoor wordt wel FileMaker Pro ingezet. AMOLF gebruikt Oracle beperkt voor wetenschappelijke toepassingen. NIKHEF gaat Oracle inzetten in de context van het LHC Computing Grid project. NIKHEF en Rijnhuizen maken in toenemende mate gebruik van de OpenSource database mysql. Over de hele linie kan gezegd worden dat de kennis voor het ontwerpen van relationele databases bescheiden is. De verwachting voor de komende jaren is dat er meer een beroep gedaan zal worden op deze kennis. Het FOM bureau heeft een aantal bedrijfskritische toepassingen in Oracle uitbesteed aan een externe leverancier en heeft expertise in huis beschikbaar voor het onderhouden van de Oracle databases. 5. Netwerk- en computerinfrastructuur (systeembeheer). 5.1 Bandbreedte geen probleem. In 2006 biedt SURFnet6 een factor 10 meer capaciteit (van 1 naar 10 gigabit/sec) in vergelijking met 2005 bij gelijkblijvende jaarlijkse abonnementskosten. Deze capaciteitsverhoging plus de mogelijkheid om vaste routes te configureren met behulp van lichtpaden hebben tot gevolg dat de snelheid van de toegang tot externe services vergelijkbaar is met de toegang tot interne services. Een spectaculair voorbeeld hiervan is de on-line distributie van de LHC data vanuit Geneve via -7-

8 wereldwijde lichtpaden naar een aantal computercentra verspreid over de wereld. De core infrastructuur van een deeltjesdetector wordt als het ware opgerekt over een wide-are netwerk. Een minder spectaculair voorbeeld, maar wel een met mogelijk ingrijpende gevolgen voor het lokale systeembeheer, is het uitbesteden van lokale file services bij computercentra. 5.2 De winnaars. Microsoft Windows en Linux zijn de overwinnaars, zowel voor de server als de desktop systemen. De met de hardware meegeleverde Unix versies zijn met het afbouwen van Sun Solaris en andere systemen geheel uit het zicht verdwenen. Eigen besturingssystemen zijn nog wel terug te vinden in apparatuur die specifieke oplossingen biedt, zoals netwerk routers en disk filers. Een mix van Windows en Linux binnen een instituut is gezien de wensen van de verschillende gebruikersgroepen een gegeven. Om deze twee platformen op een nette manier te koppelen is een extra inspanning onvermijdelijk. Zowel Microsoft als Linux systemen worden in toenemende mate met behulp van externe services via het internet beheerd. Voor beide platformen geldt dat updates op basis van door de systeembeheerder vastgestelde regels, opgehaald worden van externe update servers. De eerdere bedenkingen tegen deze automatismen zijn geheel verdwenen en systeembeheerders vertrouwen nu het updaten van hun systemen voor een groot deel toe aan dit mechanisme. Zowel Microsoft als Linux biedt nu zowel voor de servers als voor de desktops robuuste en goed te beheren systemen aan. 5.3 Scientific Linux. Linux is een OpenSource product en daardoor gratis voor een ieder te gebruiken. Op basis van de OpenSource code heeft zich een aantal verschillende Linux distributies ontwikkeld, waarbij soms subtiele verschillen in de configuratie het leven van de systeembeheerder lastig kunnen maken. Een aantal commerciële firma s verkoopt support voor hun Linux distributie en doen hier goede zaken mee (voorbeelden zijn Red Hat, Debian en Novell). Binnen de hoge-energiefysica is op basis van Red Hat Enterprise Linux een distributie afgeleid en beschikbaar gesteld voor gebruik. Deze Linux distributie is bekend geworden onder de naam Scientific Linux (SL). De door CERN aangeboden variant heeft de naam Scientific Linux CERN (SLC) gekregen en wordt nu veelvuldig toegepast. SLC wordt voor de komende jaren beschouwd als het standaard Linux systeem binnen de HEP community voor de voor desktops, servers en clusters. Ook anderen dan de HEP instituten, zoals AMOLF waar ook Red Hat Linux wordt toegepast, kunnen desgewenst van deze ontwikkelingen gebruik maken. 5.4 Lagere kosten, meer value for money. Wat kost eind een Linux file server met een diskcapaciteit van 16TB? 16Keuro (1Keuro/TB); een netwerkswitch met 24 x 1 gigabit/sec UTP poorten? 1000 Euro; een Linux OpenSource licentie? 0 Euro; licenties voor het gebruik van Microsoft software voor een FOM instituut? 1000 Euro per jaar (via SURFdiensten). Door massaproductie, gratis OpenSource software, lage SURFdiensten tarieven en veel minder onderhoudscontracten, zijn de kosten voor investeringen en exploitatie in de standaard computeren netwerkinfrastructuur de afgelopen jaren ondanks de toegenomen vraag naar reken- en opslagcapaciteit sterk afgenomen. -8-

9 5.5 De keerzijde. Omdat de hardware voor serversystemen bescheiden zijn en de softwarelicenties weinig of niets kosten, is de trend ontstaan om nogal gemakkelijk een nieuw doosje aan te schaffen als er een nieuwe service moet worden aangeboden of als er een bestaande service meer capaciteit nodig heeft. Waar in het verleden twee dure servers alle services aan konden bieden, is nu een twintigtal goedkope servers geïnstalleerd, waarmee het aantal te beheren kritische systemen dus aanzienlijk is toegenomen. Als een disk met een capaciteit van 10 GB defect raakt en er van de back-up een kopie moet worden teruggezet, dan kan dat binnen twee uur gedaan worden. Als er iets goed mis gaat met een disksysteem met een capaciteit van 8 TB, dan is het terugzetten van een kopie via de reguliere tape back-up geen optie, dat zou een week kunnen duren. Als een cluster bestaat uit 1000 computers en elke computer heeft gemiddeld één keer per drie jaar een hardware probleem, dan betekent dat er vrijwel elke dag een storing optreedt. Dus het aanbieden van meer capaciteit is qua investeringskosten een haalbare zaak, maar de opschaling heeft nogal wat consequenties voor het onderhoud en de beheersbaarheid van de systemen. 5.6 De beheersbaarheid verbeteren. Het beheer van ICT infrastructuur wordt door twee ogenschijnlijk tegenstrijdige eisen beïnvloed. Enerzijds is er de eindgebruiker die niet gehinderd wil worden door de beperkingen die door het systeembeheer worden opgelegd, anderzijds is er de noodzaak om het systeembeheer te standaardiseren en te centraliseren om te voorkomen dat het systeembeheer degradeert tot een dweilen met de kraan open bezigheid omdat zaken als veiligheid en licentiebeheer geen aandacht krijgen. In de praktijk zal er een beleid moeten worden gevoerd, waarbij het merendeel van de eindgebruikers de beschikking heeft over gestandaardiseerde en centraal beheerde systemen en services. In bepaalde gevallen, bijvoorbeeld PC s gekoppeld aan experimentopstellingen, kan het zinvol zijn om de verantwoordelijkheid van het beheer met helder omschreven voorwaarden bij de eigenaar zelf neer te leggen. Gestandaardiseerde en centraal beheerde faciliteiten worden door sommige gebruikers als een beperking van de vrijheid worden ervaren. Om dat te compenseren zal het systeembeheer prompt en adequaat moeten reageren op vragen en problemen, zodat de eindgebruikers zich kunnen richten op het werk waarvoor ze zijn aangenomen en niet nog van alles erbij moeten doen (zoals het beheren van de eigen desktop). Een lokale helpdesk is een bruikbaar instrument om aan deze voorwaarde te kunnen voldoen. De winst van een verdere centralisatie, bijvoorbeeld door het PC beheer van hele FOM organisatie te bundelen, lijkt marginaal. In de regel worden notebooks niet centraal beheerd en wordt de verantwoordelijkheid daarvoor bij de eigenaar zelf gelegd. Het systeembeheer kan het eigen beheer van notebooks aansturen door het geven van adviezen, zoals het geven van richtlijnen voor automatische updates en het beschikbaar stellen van speciale software om bijvoorbeeld viruschecks uit te voeren. Omdat notebooks niet onder het centrale systeembeheer vallen, kunnen deze niet in het core netwerk kunnen worden toegelaten en zal er een speciaal (wireless) netwerk voor moeten worden geconfigureerd. De beheersbaarheid van de ICT infrastructuur kan op een hoger plan worden gebracht door extra te investeren in redundante oplossingen, zoals het introduceren van fail-over systemen voor kritische services en door het vereenvoudigen van configuraties door een opdeling van services door middel van server virtualisatie. -9-

10 Beheersbaarheid van een over het internet gedistribueerde infrastructuur is niet mogelijk zonder een goed beveiligingsbeleid. Elke service die beschikbaar wordt gesteld voor gebruik van buitenaf en omgekeerd zal getoetst moeten worden op een aantal beveiligingscriteria. De resultaten van de researchgroepen die zich bezig houden met de beveiliging van netwerken en systemen in grid gerelateerde projecten, zullen naar verwachting ook in andere gedistribueerde toepassingen van veel waarde kunnen zijn. 5.7 Uitbesteden (SARA, onderling). Naast het gebruik van supercomputers en clusters, biedt SARA onder het NCF/NWO mantelcontract services aan die in het verleden door het lokale systeembeheer werden verzorgd. Een goed voorbeeld hiervan is de back-up service die door de FOM instituten is uitbesteed aan SARA. Snelle netwerkverbindingen maken het mogelijk om externe opslagcapaciteit te integreren in het eigen lokale netwerk. SARA is gestart in 2006 met de storage-on-demand service, waarbij op basis van een vaste prijs per gigabyte per maand, diskcapaciteit kan worden ingehuurd. De mogelijkheden om deze basisservice in de komende jaren uit te breiden tot een data life cycle management systeem dienen onderzocht te worden. Als het om grote hoeveelheden (ruwe) data gaat is het voordeliger om deze data zelf lokaal op te slaan met behulp van relatief goedkope technieken (RAID), dan gebruik te maken van de centrale opslag bij SARA. Het is denkbaar dat de komende jaren ook andere services uitbesteed gaan worden bij SARA of zelfs bij andere partijen (mail service, applicatie services, etc). Dit uitbesteden heeft behalve technische ook beleidsmatige kanten, zoals de consequentie van een afnemend takenpakket van het lokale systeembeheer en toenemende afhankelijkheid van externe factoren. Omdat NCF/NWO een contract afsluit met SARA, waarin een aantal diensten is gespecificeerd die door de FOM instituten om niet kunnen worden afgenomen, is het vanzelfsprekend dat er naast SARA niet snel naar andere partijen wordt gekeken die dergelijke diensten kunnen aanbieden. Deze keuze zou in een open en concurrerende markt niet vanzelfsprekend moeten zijn. Uiteraard kan men altijd zelf beslissen om buiten het NCF/NWO mantelcontract om extra diensten of capaciteit direct bij SARA dan wel bij een andere partij in te kopen. Het onderling uitbesteden van beheertaken, zoals het voeren van gemeenschappelijke mail server voor AMOLF, NIKHEF en Rijnhuizen, is een mogelijkheid die nader onderzocht kan worden. Opgemerkt dient te worden dat de prioritering binnen een instituut al lastig is en dat prioritering tussen instituten bij centralisatie van ondersteunde diensten nog veel lastiger is. Het combineren van de PC support voor de gehele FOM organisatie heeft ons inziens geen voordelen, omdat hiervoor een verregaande standaardisatie nodig is (is al moeilijk genoeg binnen één instituut). Daarnaast is, zoals al eerder opgemerkt, het hebben van een lokale helpdesk essentieel voor het snel oplossen van problemen. 5.8 Serverruimte. Het aantal computers en het vermogen per systeem is de laatste jaren drastisch gegroeid en zal de komende jaren blijven groeien. Met de komst van schaalbare clusters opgebouwd uit goedkope en snelle computers, is het vrij eenvoudig om zelf iets lokaal op te bouwen en te voorzien van een elektra- en koelinginfrastructuur. Het vermogen per rek, een aantal jaren nog berekend op 1 à 2 kilowatt, kan nu oplopen tot 15 kilowatt per rek. Gemiddeld zal daar nog 50% vermogen aan toe moeten worden gevoegd om te koelen. Met het stijgen van de energieprijzen zullen de exploitatiekosten van een cluster aanzienlijk toenemen in de toekomst. Of deze stijgende kosten aan de exploitatiebudgetten van de projecten moeten worden doorberekend of niet, is een keuze van het management van een instituut. Er zal wel om redenen van stijgende exploitatiekosten, maar ook om redenen van verantwoord omgaan met de eindige energievoorraden, aandacht -10-

11 moeten worden besteed aan het optimaliseren van de verhouding tussen geconsumeerd vermogen en geleverde prestatie en aan een efficiënt koelsysteem. Het hebben van een eigen gekoelde serverruimte voor centrale servers, clusters met beperkte omvang en testsystemen is voor een onderzoeksinstituut van belang om flexibel en snel te kunnen reageren op de gestelde eisen en voor het in stand houden van technische expertise op het terrein van serverbeheer. Voor grootschaliger systemen, die hoge eisen stellen aan elektra- en koelinginfrastructuur, is het in de regel aan te bevelen om het inschakelen van een professionele housing provider te overwegen. NIKHEF heeft hierin een uitzonderingspositie omdat zij door het faciliteren van AMS-IX klanten ervaring heeft met het op professioneel niveau opereren van een housing site. 6. Grid technologie. 6.1 De afgelopen vijf jaar. Er wordt door FOM hoog ingezet op grid technologie. NIKHEF en AMOLF zijn betrokken bij het nationale Virtual Laboratory e-science VL-E project en NIKHEF is betrokken bij het Europese Enabling Grids for E-SciencE EGEE project en bij het ontwikkelen en uitrollen van het LHC Computing Grid LCG. AMOLF participeert in het VL-E project met het Dutch Telescience Laboratory (DUTELLA), waarbij bijvoorbeeld sterk vergrote beelden van cellen gedigitaliseerd worden en met behulp van gedistribueerde computerclusters verder verwerkt worden. NIKHEF is met de partners NCF en NBIC gestart met het Big Grid project, waarmee het voor NIKHEF mogelijk wordt om in samenwerking met onder meer SARA een LCG Tier-1 faciliteit te gaan realiseren. In deze context is de subatomaire fysica, het onderzoeksgebied van NIKHEF, een data-intensive science. De vier deeltjesdetectoren van de LHC versneller gaan veel data (Pbytes/jaar) produceren. Om deze data te kunnen opslaan en te analyseren is een aanzienlijke hoeveelheid resources nodig (opslag en rekencapaciteit). Ook in de afgelopen jaren is al een forse capaciteit ingezet voor het simuleren van de processen die plaatsvinden in de detectoren. Om technische, financiële en politieke redenen is gekozen voor een gedistribueerd model voor het opslaan en analyseren van de data. Dit was vijf jaar gelden de reden om te kiezen voor een actieve rol in de ontwikkelingen van een grid infrastructuur. Er is de afgelopen vijf jaar expertise opgebouwd op het gebied van: de grid infrastructuur (installatie/onderhoud Linux clusters, dataopslag, batchsystemen, high-speed wide-area netwerking); de grid middleware, de software lijm laag tussen de infrastructuur en de toepassingen die draaien op het grid (security infrastructuur, grid user administratie, job scheduling en monitoring, resource toewijzing, etc); de toepassingen van de eindgebruikers geschikt maken voor het grid. 6.2 De komende vijf jaar. NIKHEF en SARA staan de komende vijf jaar voor de uitdaging om een tier-1 grid infrastructuur op te bouwen en te exploiteren voor het LHC Computer Grid (LCG). SARA zal zich vooral concentreren op het opbouwen en het operationele beheer van de productieomgeving. NIKHEF zal zich concentreren op het opzetten van grid certificatie en validatie testbeds (proof of concept environment), het ontwikkelen van grid middleware (security), het ondersteunen van de eindgebruikers en het overdragen van expertise naar de operationele afdelingen. In de -11-

12 Nederlandse context zal het Big Grid project een bijdrage leveren in het opzetten van een nationale grid infrastructuur en het ondersteunen van het gebruik van het grid door andere wetenschappelijke disciplines. Binnen NIKHEF is een structuur opgezet, waarin de ontwikkelingen aangestuurd worden vanuit een wetenschappelijke projectgroep (de Physics Data Processing groep) en waarbij ondersteuning geleverd wordt door de ICT groep. AMOLF zal als projectleider van het DUTELLA project in VL-E de komende jaren het gebruik van grid technologie vanuit de laboratoriumomgeving verder gaan ontwikkelen. Rijnhuizen verwacht nog niet direct van grid technologie gebruik te hoeven gaan maken. De dataverwerking van de experimenten is niet exorbitant en de theoretische groepen maken gebruik van de rekenclusters bij SARA. 6.3 Clusters en supercomputers. Voor alle FOM instituten geldt dat het gebruik van shared-memory supercomputers af zal nemen, omdat vrijwel alle berekeningen gedaan kunnen worden op clustersystemen, waarvan de computers met een snel netwerk onderling gekoppeld zijn. Wat voor een supercomputer duidelijk is, namelijk dat deze in een nationaal supercomputercentrum worden geplaatst, geldt niet voor een cluster. Er is een keuze mogelijk om lokaal een cluster neer te zetten en zelf het operationele beheer te gaan doen, dan wel om rekencapaciteit van een nationale cluster te benutten via NWO/NCF. NIKHEF, AMOLF en Rijnhuizen verwachten de komende jaren van beide mogelijkheden gebruik te blijven maken. In geval van grootschalige clusters is de aanbeveling om dit niet zelf te gaan opzetten, maar het beheer over te laten aan een daarin gespecialiseerd rekencentrum. Overigens geldt voor zowel lokale clusters als voor clusters in een rekencentrum, dat de rekencapaciteit via een (nationale) grid infrastructuur beschikbaar gesteld kan worden voor derden. 7. De Amsterdam Internet Exchange AMS-IX In een stuk als dit over ICT binnen FOM, mag een korte paragraaf over een voor de ICT infrastructuur in Nederland en wijde omgeving belangrijke activiteit niet ontbreken. Wetenschappers en technici van NIKHEF zijn al vanaf de start betrokken bij ontwikkelingen van het internet. Drijfveer hiervoor is altijd geweest de behoefte van de wetenschappers om gedistribueerde informatie en databestanden op een eenvoudige en snelle wijze toegankelijk te maken. Door deze betrokkenheid bij de ontwikkeling van het internet is er midden jaren negentig in samenwerking met SURFnet, CWI en SARA een internet exchange gestart in de Amsterdamse Watergraafsmeer. In het begin kleinschalig en informeel, tien jaar later na een enorme expansie van het internet, behoort de Amsterdam Internet Exchange (AMS-IX) met ruim 230 klanten tot een van de belangrijkste knooppunten van het internet in Europa. De exchange heeft twee vestigingen in de Watergraafsmeer (NIKHEF en SARA) en twee vestigingen elders in Amsterdam. Naast de klanten van de internet exchange, de telecom operators en de internet service providers, biedt het NIKHEF ook onderdak aan organisaties die een bijdrage leveren aan het functioneren van het internet zelf. Een goed voorbeeld hiervan is de aanwezigheid van twee typen root servers : de K-root server van RIPE en de F-root server van ISC. Deze servers zijn essentieel voor de domeinadministratie in het internet. De contacten die het huisvesten van een technisch geavanceerde internet exchange oplevert, bieden de mogelijkheid om de ontwikkelingen in de netwerktechnologie van dicht bij te blijven volgen. -12-

13 De gestaag groeiende bezetting van de AMS-IX housing faciliteit heeft de NIKHEF directie doen besluiten om de mogelijkheden tot uitbreiding van de faciliteit te gaan onderzoeken. 8. Kennisuitwisseling en samenwerking 8.1 Kennisuitwisseling ICT binnen FOM en NWO. Het uitwisselen van informatie met de ICT afdelingen van de FOM instituten is beperkt van omvang. Afgezien van het halfjaarlijkse SARA/NWO overleg en de jaarlijkse netwerkdag, zijn er incidentele contacten. Wel heeft er in het afgelopen jaar, vooral maar niet uitsluitend geïnitieerd vanuit Rijnhuizen, meer contact plaatsgevonden over technische kwesties, zoals bij de aanschaf van storagesystemen, waarin wederzijds de kennis gedeeld wordt. Overwogen kan worden om dit soort contacten te structureren door hiervoor bijvoorbeeld een keer per kwartaal aan overleg af te spreken. Rijnhuizen heeft onlangs door AMOLF ontwikkelde software in gebruik genomen voor de besturing van de FTICR massaspectrometer. Door de ICT afdeling van het NWO bureau is enige tijd geleden een ICT gathering geïnitieerd met als doel het uitwisselen van informatie tussen de diverse onderdelen van de NWO organisatie. Deze bijeenkomsten blijken nuttig te zijn, omdat de aanwezigheid van de NWO instituten ASTRON, CWI, SRON en NIOZ voor de vertegenwoordigers van de FOM instituten een interessante verbreding oplevert. Helaas heeft dit initiatief in de laatste twee jaar geen vervolg gekregen. 8.2 Samenwerking ICT binnen FOM en NWO. In het door NWO/FOM met SARA afgesloten mantelcontract is de basis voor het gemeenschappelijk afnemen van een aantal door SARA geleverde diensten. De belangrijkste diensten die onder dit contract vallen en door de instituten worden afgenomen zijn het gebruik van rekenfaciliteiten, de backup service en sinds dit jaar de storage-on-demand service. In paragraaf 5.7, waarin het uitbesteden aan SARA beschreven is, wordt ook kort ingegaan op het onderling uitbesteden van diensten, zoals de mail service en het combineren van een PC helpdesk. In een eerste globale discussie over deze samenwerking werd terughoudend gereageerd. Het preciezer vaststellen van de voor- en nadelen van een mogelijke samenwerking is nodig om tot conclusies en aanbevelingen te komen. 8.3 Samenwerking met externe partners in projecten. De samenwerking tussen en het uitwisselen van informatie met de ICT experts van de verschillende partijen die aan gemeenschappelijke projecten werken, is een proces dat op een vanzelfsprekende wijze gestimuleerd wordt door de noodzaak om tot een gezamenlijke oplossing te komen. Door het karakter van het onderzoek vindt de samenwerking met externe partners op NIKHEF meer plaats dan op de andere twee instituten. Voorbeelden van samenwerking met externe partners zijn: de grid projecten, waarin op nationale (VL-E) en internationale (EGEE) schaal wordt samengewerkt; het LCG project, waarin in samenwerking met CERN en een aantal nationale partijen (in Nederland NWO, SARA, RC-Groningen en SURFnet) een grid infrastructuur wordt opgebouwd voor het opslaan en verwerken van de door de LHC detectoren gegenereerde gegevens; de HEPix organisatie, die twee keer per jaar een richtinggevende bijeenkomst organiseert voor de ICT experts van de HEP instituten; -13-

14 het komen tot gemeenschappelijke oplossingen voor de uitlezing en besturing van instrumentatie zoals massaspectrometers, microscopen, deeltjesdetectoren, enzovoort. 9. Menskracht en expertise 9.1 Expertise. Van de ICT medewerker binnen de FOM organisatie wordt voor de meeste functies een denkniveau verwacht op HBO en technisch academisch niveau. Een noodzakelijke eigenschap is interesse in en affiniteit met de onderzoekscultuur en het onderzoeksgebied. Doorstroming van een deel van het personeel is essentieel om ruimte te kunnen maken voor jonge afgestudeerden, zodat er een regelmatige verversing plaats vindt in het zich nog steeds ontwikkelende ICT vakgebied. Specifieke expertise is de komende jaren nodig op het gebied van snelle dataverwerking, apparaatbesturing, gedistribueerde grid systemen, het systeembeheer en relationele databases. De mogelijkheid om zich tijdens werktijd door middel van zelfstudie en externe cursussen nieuwe vaardigheden eigen te maken moet structureel aanwezig zijn. Het management zal hier ondanks de werkdruk tijd voor moeten inplannen omdat het uiteindelijke resultaat beter zal zijn. Zoals eerder opgemerkt, een deel van de ICT activiteiten wordt door de wetenschappers zelf uitgevoerd. In geval van tekort aan capaciteit en/of expertise in de ICT afdeling, zal altijd afgewogen worden of de klus geklaard kan worden door studenten, promovendi en wetenschappers. In grote samenwerkingsverbanden is het al dan niet beschikbaar hebben van expertise en capaciteit een doorslaggevende factor om een ICT taak al dan niet op zich te nemen. 9.2 Projectmenskracht. Als er sprake is van projectfinanciering in bijvoorbeeld instrumentatie of grid projecten, dan zal de extra menskracht nodig voor de uitvoering van deze projecten voor een deel uit deze financiering moeten komen en voor het overige uit de matching met bestaande eigen menskracht. Als er een eind komt aan de externe financiering van dergelijke projecten dan is het denkbaar dat er structureel eigen middelen moeten worden ingezet om ondersteuning te kunnen blijven bieden (bijvoorbeeld ten behoeve van grid support). Dit is een punt van zorg in tijden van afnemende budgetten. 9.3 Uitbesteden. Het uitbesteden van software projecten aan commerciële partijen is een riskante zaak als de specificaties en randvoorwaarden niet duidelijk vooraf zijn vastgelegd, wat in een researchomgeving vrijwel nooit het geval is. Inhuren van tijdelijk extra capaciteit voor een periode van minimaal twee jaar heeft de voorkeur boven uitbesteden. Het uitbesteden van routinematige beheerstaken, zoals back-up diensten, blijkt in de praktijk tot nu toe naar tevredenheid te werken en zal naar verwachting de komende jaren verder toenemen. -14-

15 10. Samenvatting en conclusies 10.1 Instrumentatie (data acquisitie en procesbesturing). De afstand tussen de ICT en de elektronica disciplines wordt kleiner: o veel software in programmeerbare hardware; o bij ontwerp beslissen hoe functionaliteit geïmplementeerd wordt; Industrie levert hoogwaardige oplossingen: o robuuste en gestandaardiseerde koppelingen voor meetinstrumenten en sensornetwerken en snelle netwerken voor datatransport; o LabView en PVSS frameworks voor besturing en uitlezing leveren veel functionaliteit; Software voor de experimenten, een afweging maken tussen: o zelf software ontwikkelen; o en/of software kopen van de industrie; o en/of OpenSource software gebruiken; o en/of software uit vorige projecten hergebruiken Netwerk- en computerinfrastructuur (systeembeheer). Meer bandbreedte, rekencapaciteit en opslagcapaciteit voor minder geld; Microsoft Windows en Linux zijn de overwinnaars op de desktop en de server; o beiden bieden solide oplossingen voor geautomatiseerd systeembeheer; o beiden zijn nodig voor het bieden van de gewenste mogelijkheden; o de extra inspanning om beide platformen te koppelen is onvermijdelijk; o voor de HEP instituten (maar ook voor anderen) biedt CERN een standaard Linux distributie aan: Scientific Linux (afgeleid van Red Hat); De beheersbaarheid van de infrastructuur verbeteren door: o extra te investeren in betrouwbaarheid van bedrijfskritische services; o strenger computerbeheer (beveiliging, licentiebeheer, centraal beheerde desktops) en standaardisatie; o uitbesteden van beheerstaken aan een rekencentrum (SARA); De exploitatiekosten voor het energiegebruik zullen sterk stijgen, een actief beleid om de rekenkracht per watt te optimaliseren is noodzakelijk. Het faciliteren van een eigen serverruimte biedt voordelen ten opzichte van het plaatsen van apparatuur elders; als er hoge eisen gesteld worden aan de infrastructuur qua elektra en koeling, is het aan te bevelen om een professionele housing provider in te schakelen Grid technologie. Er is door NIKHEF vijf jaar ervaring opgedaan met het ontwerpen, uitrollen en gebruiken van grid infrastructuur in nationale en internationale projecten, waardoor NIKHEF zich heeft kunnen profileren als een expertisecentrum voor deze nieuwe technologie; De toepassingen binnen FOM van grid technologie zijn de LHC experimenten (NIKHEF) en de geavanceerde microscopen in de AMOLF laboratoriumomgeving; -15-

16 NIKHEF is partner in het Big Grid project en heeft daarmee de middelen en mogelijkheden om de komende jaren in samenwerking met SARA een LCG Tier-1 faciliteit op te bouwen voor eigen doeleinden en om bijdragen te leveren aan het opzetten van een nationale grid infrastructuur ten behoeve van algemene doeleinden Kennisuitwisseling en samenwerking. Het niveau en omvang van kennisuitwisseling tussen FOM (en NWO) ICT afdelingen onderling is beperkt; een meer structurele opzet hiervan is wenselijk; Het onderling uitbesteden van beheertaken kan nader onderzocht worden, standaardisering is hiervoor een voorwaarde, een lokale helpdesk blijft nodig; Samenwerking met externe partners in projecten is waar nodig intensief en zinvol Menskracht en expertise. Denkniveau op HBO en academisch niveau en affiniteit met het onderzoek zijn belangrijke kwalificaties voor de ICT-er in FOM dienst; Expertise is en blijft nodig voor snelle dataverwerking, apparaatbesturing, gedistribueerde grid systemen, het systeembeheer en relationele databases; De software engineer van de ICT afdeling zal in toenemende mate een adviseur en systeemintegrator worden in plaats van een programmeur. Voor het verdiepen van expertise moet structureel ruimte geboden worden; ICT is niet een exclusief domein voor de ICT afdeling; Na het wegvallen van de projectfinanciering voor grid technologie, zal een structurele ondersteuning hiervan uit eigen middelen betaald moeten worden; Uitbesteden van software projecten aan een commerciële partij is riskant; Inhuren van capaciteit heeft de voorkeur boven uitbesteden; Routinematige beheerstaken kunnen worden uitbesteed. -16-