ICT FOM-instituten AMOLF, NIKHEF en Rijnhuizen Inleiding In een zich snel ontwikkelende wereld waarin de informatie- en telecommunicatietechnologie niet meer zijn weg te denken, zijn de ICT-ers binnen de FOM instituten enerzijds consumenten van de producten die de industrie ons aanlevert, maar gelukkig ook anderzijds betrokken bij ontwikkelingen die zich aan het front van de wetenschap en techniek afspelen. Het uitlezen van instrumentatie die op topsnelheid gegevens produceert is een complexe en uitdagende taak. Het betrokken zijn bij de ontwikkelingen van computer en data grids, waarbij de grenzen van het gebruik van het internet worden verlegd, wordt als interessant en stimulerend ervaren. In deze rapportage wordt, na een korte terugblik op de uitspraken van vier jaar geleden, een aantal ontwikkelingen genoemd op het terrein van de software ten behoeve van de instrumentatie, het systeembeheer, de grid computing en de technische ontwikkelingen in het vakgebied. Vervolgens wordt een aantal overwegingen gemaakt ten aanzien van samenwerking, menskracht en expertise. Tot slot wordt op de laatste twee pagina s deze rapportage kort en bondig puntsgewijs samengevat in de paragraaf Samenvatting en conclusies. -1-
Toekomst van de ICT techniek binnen FOM - samenvatting rapport gepubliceerd eind 2001. AMOLF: Intensievere wisselwerking hardware en software; Eerder converteren van analoog naar digitaal; Meer gebruik van programmeerbare logica; Meer werk voor software ontwikkelaars (grote hoeveelheden data, automatiseren besturing meetopstellingen); Meer ondersteuning nodig voor beheer computers en netwerken; KVI Meer werk voor computer- netwerkbeheer; Meer werk ten behoeve van data-acquisitie en controle systemen; Rijnhuizen Meer werk ten behoeve van data-acquisitie en (remote) controle systemen; Meer complexe real-time systemen ten behoeve van meet- en regelsystemen; NIKHEF Ontwikkeling grid en netwerktechnologie ten behoeve van transport, opslag en analyse van LHC data; Algemene observaties Trendvolger in plaats van trendsetter, met uitzondering van gedistribueerde gegevensverwerking via grid computing en besturing op afstand; Steeds meer en betere software en hardware commercieel verkrijgbaar; Meer behoefte aan expertise op het scheidsvlak van hardware en software. -2-
Instrumentatie (data-acquisitie en procesbesturing) Steeds meer functionaliteit (intelligentie) ingebouwd in instrumentatie: In het verleden werden domme hardware modules (bijvoorbeeld in een VME crate) via programmed I/O byte voor byte uitgelezen door een computer gekoppeld aan een bus controller. Nu verzamelen en manipuleren intelligente modules zelfstandig de data en geven een seintje als de data klaar staat voor transport. De hardware engineer programmeert de module, de software engineer zorgt voor de integratie van de intelligente deelsystemen en voor het transport van de data naar het volgende (trigger) niveau. De afstand tussen de elektronica en de ICT wordt kleiner. In de ontwerpfase zal er nauw samengewerkt moeten worden om goede keuzes te maken hoe de functionaliteit geïmplementeerd gaat worden: in hardware, in firmware of in software. Welke discipline (ET of ICT) het schrijven van firmware (in VHDL, C, C++) voor haar rekening neemt is een interessante vraag. In de praktijk worden keuzes bepaald door organisatorische factoren, zoals de beschikbaarheid van expertise en persoonlijke ambities. Een voorbeeld van een gecombineerde inspanning van elektronica en software engineers is de MROD, een in huis ontwikkelde module, waarbij in software geprogrammeerde field-programmable gate arrays (FPGA) en digital signal processors (DSP) zorg dragen voor de uitlezing en een eerste manipulatie van de data die gegenereerd wordt door de ATLAS MUON kamers. Industriële standaarden voor het koppelen meetinstrumenten, sensoren. De koppelingen tussen meetinstrumenten, sensorsystemen, enz. zijn gebaseerd op industriële standaarden. Een gevolg hiervan is een robuuste en efficiënte communicatie, die out of the box werkt. Diepgaande kennis van de communicatieprotocollen is in de regel niet nodig. Er zijn echter uitzonderingen op deze regel, zoals in het geval van het implementeren van een generiek CANOpen protocol ten behoeve van eigen bouw elektronica voor het uitlezen van sensoren in een veldbusnetwerk voor de LHC detectoren. Ook in projecten waarin de maximale prestaties gehaald moeten worden uit de netwerkverbindingen, is kennis van TCP/IP protocollen noodzakelijk om de relevante parameters optimaal te kunnen instellen. Software voor de experimenten: Op AMOLF is Microsoft Windows het platform voor de automatisering van de experimentele opstellingen. De toegepaste software is een combinatie van software modules die door de leverancier bij een instrument worden geleverd en eigen ontwikkelde software. Hergebruik van software wordt gestimuleerd door het beschikbaar stellen van gestandaardiseerde bibliotheken, waarin veel gebruikte functies worden gebundeld. Voor de besturing van de LHC detectoren op CERN is gekozen voor een industrieel SCADA systeem (PVSS), dat is ontwikkeld voor de procesindustrie en toegepast wordt -3-
onder meer in waterzuiveringsinstallaties en voor de verkeerscontrole in tunnels. Recentelijk heeft ook ASTRON de keuze gemaakt om PVSS in te zetten voor het besturingssysteem van de LOFAR telescoop. PVSS biedt het framework voor het bouwen van de specifieke functionaliteit. Om dit te kunnen doen zijn er experts nodig die een grondige kennis hebben van zowel PVSS als van de te integreren deelsystemen. Rijnhuizen voorziet in de toekomst het zelf ontwikkelen van een eigen framework voor de besturing van de grote experimenten, waarbij uiteraard wel gebruik gemaakt gaat worden van standaard componenten als bijvoorbeeld PLC systemen en van software libraries voor dataopslag, client-server communicatie, numerieke methoden, etc. De software nodig voor het onderling koppelen van de componenten zal naar verwachting in C, C++ en Python worden geschreven. LabView, een bouwdoos voor het automatiseren van apparatuur: LabView, een product van National Instruments, wordt veelvuldig gebruikt voor de besturing en uitlezing van kleinschalige laboratorium- en testopstellingen en voor het presenteren van de meetgegevens. LabView is een complete hardware/software workbench voor de eindgebruiker, waarmee op een grafische interactieve manier toepassingen gebouwd kunnen worden. Het is wel aan te raden om een Labview product specialist in huis te hebben, die eindgebruikers kan adviseren en de contacten met de leverancier onderhoudt. Voor het maken van LabView modules voor de grotere experimenten die gedurende meerdere jaren in gebruikt worden, is het voor het waarborgen van de continuïteit het overwegen waard om hiervoor technische mankracht in te zetten in plaats van dit aan promovendi of studenten over te laten die maar voor een beperkte periode beschikbaar zijn. Software engineering is meer dan programmeren: De software engineer zal kennis moeten hebben van de ontwikkelingen in de industrie, van de ontwikkelingen in vergelijkbare researchinstellingen en van de enorme rijkdom aan OpenSource software. Deze kennis is nodig om in staat te zijn voortdurend de afweging te kunnen maken tussen zelf software te ontwikkelen en commerciële of OpenSource software te gebruiken. De software engineer zal communicatief moeten zijn en affiniteit moeten hebben met de wetenschappelijke toepassing, omdat het hele traject van probleemanalyse, ontwerp, implementatie en testen in de regel door één persoon wordt gedaan. Het maken van software ten behoeve van de instrumentatie en experimenten is uiteraard niet exclusief een activiteit van de software engineers in de ICT (/ET) groep. Integendeel, er wordt heel veel software geschreven door studenten, promovendi en wetenschappers. Het gaat hierbij niet alleen om analysesoftware (traditioneel de verantwoordelijkheid van wetenschappers), maar ook om software voor data-acquisitie en controlesystemen, user interfaces, web pagina s, databasetoepassingen, etc, etc. Een vorige NIKHEF directeur heeft het over communicerende vaten gehad in dit verband: er wordt op praktische gronden een verdeling van de werkzaamheden gemaakt. -4-
Van de software engineer mag wel verwacht worden dat hij vanuit zijn vakgebied kennis inbrengt en voor continuïteit zorgt. Expertisevraag en capaciteitsbehoefte worden bepaald door de instrumentatieprojecten en de fase waarin deze projecten zich bevinden. Netwerk- en computerinfrastructuur (systeembeheer) Bandbreedte geen probleem: In 2006 biedt SURFnet6 een factor 10 capaciteitsverhoging (van 1 naar 10 gigabit/sec) bij gelijkblijvende jaarlijkse abonnementskosten. Deze capaciteitsverhoging plus de mogelijkheid om vaste routes te configureren met behulp van lichtpaden hebben tot gevolg dat de snelheid van de toegang tot externe en interne services vergelijkbaar is. Een spectaculair voorbeeld hiervan is de on-line distributie van de LHC-data vanuit Geneve via wereldwijde lichtpaden naar een aantal computercentra verspreid over de wereld. De core infrastructuur van een deeltjesdetector wordt als het ware opgerekt over een widearea netwerk. Een minder spectaculair voorbeeld, maar wel een met mogelijk ingrijpende gevolgen voor het lokale systeembeheer, is het uitbesteden van lokale file services bij computercentra. De winnaars: Microsoft Windows en Linux zijn de overwinnaars, zowel voor de server als de desktop systemen. De met de hardware meegeleverde Unix systemen zijn met het afbouwen van Sun Solaris geheel uit het zicht verdwenen. Eigen besturingssystemen zijn nog wel terug te vinden in apparatuur die specifieke oplossingen biedt, zoals netwerk routers en disk filers. Een mix van Windows en Linux binnen een instituut is gezien de wensen van de verschillende gebruikersgroepen een gegeven. Om deze twee platformen op een nette manier te koppelen is een extra inspanning onvermijdelijk. Zowel Microsoft als Linux systemen worden in toenemende mate met behulp van externe services via het internet beheerd. Voor beide platformen geldt dat updates op basis van door de systeembeheerder vastgestelde regels, opgehaald worden van externe update servers. De eerdere bedenkingen tegen deze automatismen zijn geheel verdwenen en systeembeheerders vertrouwen nu het updaten van hun systemen voor een groot deel toe aan dit mechanisme. Zowel Microsoft als Linux bieden nu zowel voor de servers als voor de desktops robuuste en goed te beheren systemen aan. Scientific Linux: Linux is een OpenSource product en daardoor gratis voor een ieder te gebruiken. Op basis van de OpenSource code heeft zich een aantal verschillende Linux distributies ontwikkeld, waarbij soms subtiele verschillen in de configuratie het leven van de systeembeheerder lastig kunnen maken. Een aantal commerciële firma s verkoopt support voor hun Linux distributie en doen hier goede zaken mee (voorbeelden zijn Red Hat, Debian en Novell). Binnen de hoge-energiefysica is op basis van Red Hat Enterprise Linux een distributie afgeleid en beschikbaar gesteld voor gebruik. Deze Linux distributie is bekend geworden onder de naam Scientific Linux (SL). De door CERN aangeboden variant heeft de naam Scientific Linux CERN (SLC) gekregen en wordt nu veelvuldig toegepast. SLC wordt voor de komende jaren beschouwd als het standaard Linux systeem -5-
binnen de HEP community voor de voor desktops, servers en clusters. Ook anderen dan de HEP instituten, zoals AMOLF waar ook Red Hat Linux wordt toegepast, kunnen desgewenst van deze ontwikkelingen gebruik maken. Lagere kosten, meer value for money: Wat kost eind 2005. een Linux file server met een diskcapaciteit van 8TB? 15Keuro (2Keuro/TB); een netwerkswitch met 24 x 1 gigabit/sec UTP poorten? 1000 Euro; een Linux OpenSource licentie? 0 Euro; licenties voor het gebruik van Microsoft software voor een FOM instituut? 1000 Euro per jaar (via SURFdiensten). Door massaproductie, gratis OpenSource software, lage SURFdiensten tarieven en veel minder onderhoudscontracten, zijn de kosten voor investeringen en exploitatie in de standaard computer- en netwerkinfrastructuur de afgelopen jaren ondanks de toegenomen vraag naar reken- en opslagcapaciteit sterk afgenomen. De keerzijde: Omdat de hardware voor serversystemen bescheiden zijn en de softwarelicenties weinig of niets kosten, is de trend ontstaan om nogal gemakkelijk een nieuw doosje aan te schaffen als er een nieuwe service moet worden aangeboden of als er een bestaande service meer capaciteit nodig heeft. Waar in het verleden twee dure servers alle services aan konden bieden, is nu een twintigtal goedkope servers geïnstalleerd, waarmee het aantal te beheren kritische systemen dus aanzienlijk is toegenomen. Als een disk met een capaciteit van 10 GB defect raakt en er van de back-up een kopie moet worden teruggezet, dan kan dat binnen twee uur gedaan worden. Als er iets goed mis gaat met een disksysteem met een capaciteit van 8 TB, dan is het terugzetten van een kopie via de reguliere tape back-up geen optie, dat zou een week kunnen duren. Als een cluster bestaat uit 1000 computers en elke computer heeft gemiddeld één keer per drie jaar een hardware probleem, dan betekent dat er vrijwel elke dag een storing optreedt. Dus het aanbieden van meer capaciteit is qua investeringskosten een haalbare zaak, maar de opschaling heeft nogal wat consequenties voor het onderhoud en de beheersbaarheid van de systemen. De beheersbaarheid verbeteren. De beheersbaarheid kan verbeterd worden door te investeren in robuuste redundante hardware en in extra functionaliteit in de software. Een voorbeeld hiervan is server virtualisatie. Hiermee wordt bedoeld dat er op één hardware server meerdere virtuele servers worden geïnstalleerd. Zo is het mogelijk om een web server en een mail server ieder in een virtuele Linux server te laten draaien op één hardware server. Er is speciale management software te koop om eenvoudig een virtuele server te verplaatsen naar een andere hardware server. In deze opzet zijn de verschillende services onafhankelijk van elkaar en is toch het aantal hardware servers beperkt. Een ander voorbeeld ter verbetering van de beheersbaarheid is in plaats van een goedkoop disksysteem (2 Keuro per TB), een apparaat aan te schaffen dat speciaal ontworpen is voor het veilig opslaan van bestanden voor bedrijfskritische bestanden. Een -6-
dergelijk apparaat ( filer ) kost aanzienlijk meer (15 Keuro per TB), maar biedt dan ook toegevoegde waarde wat betreft het bewaken van de integriteit van de databestanden. In combinatie met een computercentrum zoals SARA kan deze oplossing geïntegreerd worden in een data life cycle management systeem, waarbij de data op basis van bepaalde regels migreert van het lokale disksysteem naar de disk en back-up systemen van het computercentrum. Beheersbaarheid van een over het internet gedistribueerde infrastructuur is niet mogelijk zonder een goed beveiligingsbeleid. Elke service die beschikbaar wordt gesteld voor gebruik van buitenaf en omgekeerd zal getoetst moeten worden op de beveiligingscriteria. De resultaten van de researchgroepen die zich bezig houden met de beveiliging van netwerken en systemen in de grid projecten, zullen naar verwachting ook in andere gedistribueerde toepassingen van veel waarde kunnen zijn. Algemeen kan er opgemerkt worden dat het computerbeheer steeds strenger wordt, mede door de noodzaak voor beveiliging en licentiebeheer, maar ook door professionalisering, een ieder doet waarvoor hij of zij is aangenomen en niet nog van alles erbij (zoals het systeembeheer van de eigen desktop). Door de eindgebruikers zal dit in sommige gevallen als een beperking van de vrijheid worden ervaren. Om dat te compenseren zal een beheerafdeling prompt en adequaat moeten reageren op vragen en problemen, bijvoorbeeld door het introduceren van een helpdesk functie. Notebooks zullen in de regel niet door de ICT afdeling beheerd worden, maar door de eigenaar zelf. De consequenties hiervan is dat notebooks niet op het centrale netwerk aangesloten worden, maar in een buitensegment daarvan. Uitbesteden (de rol van SARA) Naast het gebruik van supercomputers en clusters, biedt SARA services aan, die traditioneel vaak door het lokale systeembeheer worden aangeboden. De back-up service is al sinds enige jaren door de meeste FOM instituten uitbesteed aan SARA. De snelle netwerkverbindingen maken het nu al, maar in de toekomst zeker, mogelijk om externe opslagcapaciteit te integreren in het eigen lokale netwerk. SARA start in 2006 met de storage-on-demand service, waarbij op basis van een vaste prijs per gigabyte per maand, diskcapaciteit kan worden ingehuurd. De verwachting is dat deze basisservice in de komende jaren uitgebreid gaat worden tot een in een vorig punt genoemde data life cycle management systeem. Het is denkbaar dat de komende jaren ook andere services uitbesteed gaan worden (het afhandelen van de e-mail, applicatie services, etc). Dit uitbesteden heeft behalve een technische ook een beleidsmatige kant, zoals de consequentie van een afnemend takenpakket van het lokale systeembeheer. Met het uitbesteden van bedrijfskritische services wordt er een afhankelijkheid geïntroduceerd van de externe netwerkverbinding. Het uitvallen van de verbinding heeft fatale gevolgen voor het lokale functioneren. Het zal in de praktijk moeten blijken of de koppeling met SURFnet6 genoeg redundantie biedt om de bedrijfszekerheid te kunnen garanderen. Omdat NCF/NWO een contract afsluit met SARA, waarin een aantal diensten is gespecificeerd die door de FOM instituten om niet kunnen worden afgenomen, is het vanzelfsprekend dat er naast SARA niet naar andere partijen wordt gekeken die dergelijke diensten kunnen aanbieden. Deze keuze zou in een open en concurrerende markt niet altijd vanzelfsprekend moeten zijn. Overigens kan men zelf beslissen om -7-
buiten het NCF/NWO contract om, extra diensten of capaciteit direct bij SARA dan wel bij een andere partij in te kopen. Energiegebruik Het aantal computers en het vermogen per systeem is de laatste jaren drastisch gegroeid en zal de komende jaren blijven groeien. Met de komst van schaalbare clusters opgebouwd uit goedkope en snelle computers, is het vrij eenvoudig om zelf iets lokaal op te bouwen en te voorzien van een elektra en koelinginfrastructuur. Het vermogen per rek, een aantal jaren nog berekend op 1 à 2 kilowatt, kan nu oplopen tot 15 kilowatt per rek. Gemiddeld zal daar nog 50% vermogen aan toe moeten worden gevoegd om te koelen. Terwijl er een constante daling is van de prijs per SPECint (maat voor rekencapaciteit), is het aantal geproduceerde watts per SPECint constant. Gevolg is dat bij gelijkblijvende investeringen, capaciteit maar ook energiegebruik toenemen. Met het stijgen van de energieprijzen zullen de exploitatiekosten van een cluster dus aanzienlijk toenemen in de toekomst. Of deze stijgende kosten aan de exploitatiebudgetten van de projecten moeten worden doorberekend of niet, is een keuze van het management van een instituut. Er zal wel om redenen van stijgende exploitatiekosten, maar ook om redenen van verantwoord omgaan met de eindige energievoorraden, aandacht moeten worden besteed aan het optimaliseren van de verhouding tussen geconsumeerd vermogen en geleverde prestatie en aan een efficiënt koelsysteem. Grid computing De afgelopen vijf jaar: Er wordt door FOM hoog ingezet op grid computing. NIKHEF en AMOLF zijn betrokken bij het nationale Virtual Laboratory e-science VL-E project en NIKHEF is betrokken bij het Europese Enabling Grids for E-SciencE EGEE project. AMOLF participeert in het VL-E project met het Dutch Telescience Laboratory (DUTELLA), waarbij bijvoorbeeld sterk vergrote beelden van cellen gedigitaliseerd worden en met behulp van gedistribueerde computerclusters verder verwerkt worden. In deze context is de subatomaire fysica, het onderzoeksgebied van NIKHEF, een dataintensive science. De vier deeltjesdetectoren van de LHC versneller gaan vanaf 2007 veel data (Pbytes/jaar) produceren. Om deze data te kunnen opslaan en te analyseren is een aanzienlijke hoeveelheid resources nodig (opslag en rekencapaciteit). Ook tot 2007 is al een forse capaciteit vereist voor de simulatie van de processen die plaatsvinden in de detectoren. Om technische, financiële en politieke redenen is gekozen voor een gedistribueerd model voor het opslaan en analyseren van de data. Dit was vijf jaar de reden om te kiezen voor een actieve rol in de ontwikkelingen van een grid infrastructuur. -8-
Er is de afgelopen vijf jaar expertise opgebouwd op het gebied van: de grid infrastructuur (installatie/onderhoud Linux clusters, dataopslag, batchsystemen, high-speed wide-area netwerking); de grid middleware, de software lijm laag tussen de infrastructuur en de toepassingen die draaien op het grid (security infrastructuur, grid user administratie, job scheduling en monitoring, resource toewijzing, etc, etc); de toepassingen van de eindgebruikers geschikt maken voor het grid. De komende vijf jaar: NIKHEF en SARA staan de komende vijf jaar voor de uitdaging om een tier-1 grid infrastructuur op te bouwen en te exploiteren voor het LHC Computer Grid (LCG). SARA zal zich vooral concentreren op het opbouwen en het operationele beheer van de productieomgeving. NIKHEF zal zich concentreren op het opzetten van grid certificatie en validatie testbeds, het ontwikkelen van grid middleware (security ), het ondersteunen van de eindgebruikers en het overdragen van expertise naar de operationele afdelingen. In de Nederlandse context zal er een bijdrage geleverd gaan worden in het opzetten van een nationale grid infrastructuur en het ondersteunen van het gebruik van het grid door andere wetenschappelijke disciplines. Binnen NIKHEF is een structuur opgezet, waarin de ontwikkelingen aangestuurd worden vanuit een wetenschappelijke projectgroep (de Physics Data Processing groep) en waarbij ondersteuning geleverd wordt door de CT groep. AMOLF zal als projectleider van het DUTELLA project in VL-E de komende jaren het gebruik van grid computing vanuit de laboratoriumomgeving verder gaan ontwikkelen. Rijnhuizen verwacht nog niet direct van grid technologie gebruik te hoeven gaan maken. De dataverwerking van de experimenten is niet exorbitant en de theoretische groepen maken gebruik van de rekenclusters bij SARA. Clusters en supercomputers: Voor alle FOM instituten geldt dat het gebruik van shared-memory supercomputers af zal nemen, omdat vrijwel alle berekeningen gedaan kunnen worden op clustersystemen, waarvan de computers met een snel netwerk onderling gekoppeld zijn. Wat voor een supercomputer duidelijk is, namelijk dat deze in een nationaal supercomputercentrum worden geplaatst, geldt niet voor een cluster. Er is een keuze mogelijk om lokaal een cluster neer te zetten en zelf het operationele beheer te gaan doen, dan wel om rekencapaciteit van een nationale cluster te benutten via NWO/NCF. Zowel NIKHEF, AMOLF als Rijnhuizen verwachten de komende jaren van beide mogelijkheden gebruik te blijven maken. In geval van grootschalige clusters is de aanbeveling om dit niet zelf te gaan opzetten, maar het beheer over te laten aan een daarin gespecialiseerd rekencentrum. Overigens geldt voor zowel lokale clusters als voor clusters in een rekencentrum, dat de rekencapaciteit via een (nationale) grid infrastructuur beschikbaar gesteld kan worden voor derden. De verwachting is dat de 64-bits processor (bijvoorbeeld de Opteron van AMD) de komende jaren de 32-bits processor terug gaat dringen. -9-
Technische ontwikkelingen software engineering Het software proces: Alle betrokkenen vinden dat er op een meer structurele wijze met het software proces zou moeten worden omgegaan. In de praktijk wordt dit proces gehinderd door het ontbreken van harde specificaties, wat niet zo erg is voor kleinschalige projecten, maar wat bij de grote projecten, waarbij meerdere programmeurs betrokken zijn over een langere periode, vertragend werkt. Dit probleem doet zich eerder voor bij de ontwikkeling van software producten, dan bij het ontwikkelen en produceren van harde mechanica en elektronica. Het is niet of nauwelijks haalbaar om over te gaan op een correct en volledig uitgevoerd software proces, zonder te veel overhead te genereren. Het is wel aan te bevelen om elementen uit het software proces met mate en gezond verstand toe te passen. Denk hierbij aan het documenteren van de eisen en van het basisontwerp, het maken data-flow diagrammen, het voeren van een consequent versiebeheer, het opstellen van richtlijnen voor de programmacode, het testen van de software voor het afgeleverd wordt, etc. Door hergebruik te maken van modules die voor eerder project gemaakt zijn en die hun waarde bewezen hebben en via bibliotheken beschikbaar zijn, kan er een veel werk bespaard worden. Programmeren: Een niet complete lijst met FOM-breed gebruikte programmeertalen en omgevingen: De object-georienteerde versie (C++) en de oorspronkelijke procedurele versie (C) worden veel toegepast in software voor het besturen en uitlezen van de instrumentatie. Bibliotheken zoals MFC voor Windows en Qt voor Linux en Windows bieden bouwstenen met veel functionaliteit aan die door de programmeur in zijn programma kunnen worden gebruikt. JAVA wordt steeds meer toegepast voor platform onafhankelijke software, die in virtuele machines wordt gedraaid. Voor zowel Microsoft Windows als Linux zijn er programmeeromgevingen beschikbaar voor het ontwikkelen en testen van de software. Perl en Python worden veelvuldig gebruikt om scripts te maken als framework waarin andere programma s en functies van het systeem worden aangeroepen. PHP wordt veel gebruikt voor het bouwen van web applicaties. Databases: In het gebruik van relationele databases kan onderscheid gemaakt worden tussen administratief en wetenschappelijk gebruik. Sommige leveranciers van databases, zoals Oracle, geven aanzienlijke kortingen als de database voor educatieve doeleinden wordt gebruikt. Geen van de instituten gebruikt Oracle voor administratieve, nietwetenschappelijke toepassingen, hiervoor wordt wel FileMaker Pro ingezet. AMOLF gebruikt Oracle beperkt voor wetenschappelijke toepassingen. NIKHEF en Rijnhuizen maken in toenemende mate gebruik van de OpenSource database mysql. Oracle wordt wel gebruikt door de CERN experimenten en ANTARES. Over de hele linie kan gezegd worden dat de kennis voor het ontwerpen van relationele databases vrij gering is. De verwachting voor de komende jaren is dat er meer een beroep gedaan zal worden op deze -10-
kennis, waarbij aangetekend kan worden dat het benodigde expertise niveau bescheiden zal zijn. Het FOM bureau heeft een aantal bedrijfskritische toepassingen in Oracle uitbesteed aan een externe leverancier. De Amsterdam Internet Exchange AMS-IX In een stuk als dit over ICT binnen FOM, mag een korte paragraaf over een voor de ICT infrastructuur in Nederland en wijde omgeving belangrijke activiteit niet ontbreken. Wetenschappers en technici van NIKHEF zijn al vanaf de start betrokken bij ontwikkelingen van het internet. Drijfveer hiervoor is altijd geweest de behoefte van de wetenschappers om gedistribueerde informatie en databestanden op een eenvoudige en snelle wijze toegankelijk te maken. Door deze betrokkenheid bij de ontwikkeling van het internet is er midden jaren negentig in samenwerking met SURFnet, CWI en SARA een internet exchange gestart in de Amsterdamse Watergraafsmeer. In het begin kleinschalig en informeel, tien jaar later na een enorme expansie van het internet, behoort de Amsterdam Internet Exchange (AMS-IX) met ruim 230 klanten tot een van de belangrijkste knooppunten van het internet in Europa. De exchange heeft twee vestigingen in de Watergraafsmeer (NIKHEF en SARA) en twee vestigingen elders in Amsterdam. Naast de klanten van de internet exchange, de telecom operators en de internet service providers, biedt het NIKHEF ook onderdak aan organisaties die een bijdrage leveren aan het functioneren van het internet zelf. Een goed voorbeeld hiervan is de aanwezigheid van twee typen root servers : de K-root server van RIPE en de F-root server van ISC. Deze servers zijn essentieel voor de domeinadminstratie in het internet. De contacten die het huisvesten van een technisch geavanceerde internet exchange oplevert, bieden de mogelijkheid om de ontwikkelingen in de netwerktechnologie van dicht bij te blijven volgen. Samenwerking Samenwerking binnen FOM en NWO: De samenwerking tussen en het uitwisselen van informatie met de ICT afdelingen van de FOM instituten is beperkt van omvang. Afgezien van het halfjaarlijkse SARA/NWO overleg en de jaarlijkse netwerkdag, zijn er slechts incidentele contacten. Door de ICT afdeling van het NWO bureau is enige tijd geleden een ICT gathering geïnitieerd met als doel het uitwisselen van informatie tussen de diverse onderdelen van de NWO organisatie. Deze bijeenkomsten blijken nuttig te zijn, omdat de aanwezigheid van de NWO instituten ASTRON, CWI, SRON en NIOZ voor de vertegenwoordigers van de FOM instituten een interessante verbreding oplevert. Helaas is er in 2005 nog geen vervolg geweest. Samenwerking met externe partners in het vakgebied: De samenwerking tussen en het uitwisselen van informatie met de ICT experts van de verschillende partijen die aan gemeenschappelijke projecten werken, is een proces dat op een vanzelfsprekende wijze gestimuleerd wordt door de noodzaak om tot een -11-
gezamenlijke oplossing te komen. Door het karakter van het onderzoek vindt de samenwerking met externe partners op NIKHEF meer plaats dan op de andere twee instituten. Voorbeelden van samenwerking met externe partners zijn: de grid projecten, waarin op nationale (VL-E) en internationale (EGEE) schaal wordt samengewerkt; het LCG project, waarin in samenwerking met CERN en een aantal nationale partijen (in Nederland NWO, SARA, RC-Groningen en SURFnet) een grid infrastructuur wordt opgebouwd voor het opslaan en verwerken van de door de LHC detectoren gegenereerde gegevens; de HEPix organisatie, die twee keer per jaar een richtinggevende bijeenkomst organiseert voor de ICT experts van de HEP instituten; het komen tot gemeenschappelijke oplossingen voor de uitlezing en besturing van instrumentatie zoals massaspectrometers, microscopen, deeltjesdetectoren, enzovoort. Menskracht en expertise Van de ICT medewerker binnen de FOM organisatie wordt voor de meeste functies een denkniveau verwacht op HBO en technisch academisch niveau. Een noodzakelijke eigenschap is interesse in en affiniteit met de onderzoekscultuur en het onderzoeksgebied. Doorstroming van een deel van het personeel is essentieel om ruimte te kunnen maken voor jonge afgestudeerden, zodat er een regelmatige verversing plaats vindt in het zich nog steeds ontwikkelende ICT vakgebied. Specifieke expertise is de komende jaren nodig op het gebied van snelle dataverwerking, apparaatbesturing, gedistribueerde grid systemen, het systeembeheer en relationele databases. De mogelijkheid om zich tijdens werktijd door middel van zelfstudie en externe cursussen nieuwe vaardigheden eigen te maken moet structureel aanwezig zijn. Het management zal hier ondanks de werkdruk tijd voor moeten inplannen omdat het uiteindelijke resultaat beter zal zijn. Zoals eerder opgemerkt, een deel van de ICT activiteiten wordt door de wetenschappers zelf uitgevoerd. In geval van tekort aan capaciteit en/of expertise in de ICT afdeling, zal altijd afgewogen worden of de klus geklaard kan worden door studenten, promovendi en wetenschappers. In grote samenwerkingsverbanden is het al dan niet beschikbaar hebben van expertise en capaciteit een doorslaggevende factor om een ICT taak al dan niet op zich te nemen. Als er sprake is van projectfinanciering, zoals in de VL-E en EGEE projecten, dan is het zonder meer duidelijk dat de extra mankracht nodig voor deze projecten voor een flink deel uit deze financiering zal moeten komen. Voor de noodzakelijke matching met eigen mankracht moet vooraf afgewogen worden of deze mankracht op een verantwoorde wijze kan worden ingezet ten behoeven van het nieuwe project. Als er een eind komt aan -12-
de externe financiering van deze grid projecten, zal de structurele ondersteuning voor grid computing uit eigen middelen moeten komen, dit is een punt van zorg in tijden van afnemende budgetten. Het uitbesteden van software projecten aan commerciële partijen is een riskante zaak als de specificaties en randvoorwaarden niet duidelijk vooraf zijn vastgelegd, wat in een researchomgeving vrijwel nooit het geval is. Inhuren van tijdelijk extra capaciteit voor een periode van minimaal twee jaar heeft de voorkeur boven uitbesteden. Het uitbesteden van routinematige beheerstaken, zoals back-up diensten, blijkt in de praktijk tot nu toe naar tevredenheid te werken en zal naar verwachting de komende jaren verder toenemen. -13-
Samenvatting en conclusies Instrumentatie (data acquisitie en procesbesturing): De afstand tussen de ICT en de elektronica disciplines wordt kleiner: o veel software in programmeerbare hardware; o bij ontwerp beslissen hoe functionaliteit geïmplementeerd wordt; Industrie levert hoogwaardige oplossingen: o robuuste en gestandaardiseerde koppelingen voor meetinstrumenten en sensornetwerken en snelle netwerken voor datatransport; o LabView en PVSS frameworks voor besturing en uitlezing leveren veel functionaliteit; Software voor de experimenten, een afweging maken tussen: o zelf software ontwikkelen; o en/of software kopen van de industrie; o en/of OpenSource software gebruiken; o en/of software uit vorige projecten hergebruiken. Netwerk- en computerinfrastructuur (systeembeheer): Meer bandbreedte, rekencapaciteit en opslagcapaciteit voor minder geld; Microsoft Windows en Linux zijn de overwinnaars op de desktop en de server; o beiden bieden solide oplossingen voor geautomatiseerd systeembeheer; o beiden zijn nodig voor het bieden van de gewenste mogelijkheden; o de extra inspanning om beide platformen te koppelen is onvermijdelijk; o voor de HEP instituten (maar ook voor anderen) biedt CERN een standaard Linux distributie aan: Scientific Linux (afgeleid van Red Hat); De beheersbaarheid van de infrastructuur verbeteren door: o extra te investeren in betrouwbaarheid van bedrijfskritische services; o strenger computerbeheer (beveiliging, licentiebeheer, centraal beheerde desktops); o uitbesteden van beheerstaken aan een rekencentrum (SARA); De exploitatiekosten voor het energiegebruik zullen sterk stijgen, een actief beleid om de rekenkracht per watt te optimaliseren is noodzakelijk. Grid computing: Vijf jaar ervaring opgedaan met het bouwen en gebruiken van grid computing in nationale en internationale grid projecten; De toepassingen binnen FOM van grid computing zijn vooral de LHC experimenten (NIKHEF), maar ook de geavanceerde microscopen in een laboratoriumomgeving (AMOLF); De komende vijf jaar wordt een versterking van de grid infrastructuur verwacht voor een tier-1 faciliteit voor LHC experimenten en voor de nationale behoefte. -14-
Samenwerking ICT FOM en extern: Samenwerking FOM en NWO ICT afdelingen onderling is beperkt van omvang; Samenwerking met externe partners in het vakgebied is waar nodig intensief en zinvol. Menskracht en expertise: Denkniveau op HBO en academisch niveau en affiniteit met het onderzoek zijn belangrijke kwalificaties voor de ICT-er in FOM dienst; Voor het verdiepen van expertise moet structureel ruimte geboden worden; Expertise nodig voor snelle dataverwerking, apparaatbesturing, gedistribueerde grid systemen, het systeembeheer en relationele databases; ICT is niet een exclusief domein voor de ICT afdeling; Extern gefinancieerde projecten kunnen niet zonder inhuren extra capaciteit; Na het wegvallen van de projectfinanciering voor grid computing, zal een structurele ondersteuning hiervan uit eigen middelen betaald moeten worden; Uitbesteden van software projecten aan een commerciële partij is riskant; Inhuren capaciteit heeft de voorkeur boven uitbesteden; Routinematige beheerstaken kunnen wel worden uitbesteed. -15-