Visualisatie: essentieel gereedschap voor de analyse van Big Data

Transcriptie

1 Visualisatie: essentieel gereedschap voor de analyse van Big Data Visualisatie White Paper SARA februari 2012

2 Inhoudsopgave Management samenvatting 3 Inleiding 4 Remote visualisatie: high-end visualisatie in het lab van de onderzoeker 5 Big Data vereisen Megapixels: tiled displays 8 Remote visualisatie 9 3D visualisatie 10 In-situ visualisatie 10 Implementatie van workflows 11 Collaborative visualization, videoconferencing en samenwerking in het Collaboratorium 12 Specificaties van de faciliteit 13 Visualisatie voor en door de topsectoren 14 Ontwikkeling van gereedschappen en applicaties 15 Conclusie 16 Referenties 17 Visualisatie White Paper SARA februari 2012

3 Management samenvatting Wetenschappelijke datasets worden exponentieel omvangrijker en complexer. Bij de exploratie en analyse van deze Big Data heeft de onderzoeker gebruiksvriendelijke gereedschappen en infrastructuur nodig. Wetenschappelijke visualisatie is een middel om beter en sneller uit data informatie en kennis te verkrijgen. Verschillende methodieken en omgevingen worden hieronder in detail besproken voor de analyse van Big Data, zoals remote visualisatie, hoge-resolutie visualisatie op multi-megapixel tiled display panels, 3D visualisatie, en in-situ visualisatie. Binnen de Nederlandse nationale e-infrastructuur heeft de onderzoeker toegang tot expertise, tools en infrastructuurdiensten die noodzakelijk zijn voor onderzoek. SARA speelt, in samenwerking met andere instituten, een belangrijke rol in het faciliteren en ondersteunen van wetenschappelijk onderzoek door het beschikbaar stellen van expertise, gebruiksvriendelijke en geavanceerde (remote) visualisatie en collaboratietools en diensten. Recent heeft SARA samen met het Netherlands escience Center (NLeSC) een nieuwe dienst en faciliteit voor samenwerking en Big Data exploratie en analyse genaamd Collaboratorium gerealiseerd. Het Collaboratorium is gebaseerd op de technologie en diensten die door SARA zijn ontwikkeld, en sluit nauw aan bij de eisen van eindgebruikers. Deze faciliteit bevindt zich in het ICT Synergy Hub-gebouw van SARA in Amsterdam. Figuur 1: Hoge-resolutie visualisatie van een simulatie van turbulentie in atmosferische grenslagen, gezien op het display van het nieuwe Collaboratorium. Bron: Prof. dr. Harm Jonker, Faculteit Toegepaste Wetenschappen, TU Delft. Visualisatie White Paper SARA februari

4 Inleiding Figuur 2: Visualisatie van een simulatie van in-stent restenosis (dichtslibben van een bloedvat rond een stent). Bron: Project Coast, Alfons Hoekstra, UvA, EU FP6 IST FET Contract ; visualisatie: SARA. Wetenschappelijke onderzoekers worden vandaag de dag geconfronteerd met een exponentiële groei en complexiteit van data uit observatie, experiment en simulatie. Datasets van tientallen, zelfs honderden Terabytes zijn geen uitzondering meer. Ook is de verkregen data steeds vaker van belang binnen meerdere disciplines of is de data niet goed te interpreteren zonder de samenwerking met onderzoekers uit andere disciplines. Visualisatie is een onmisbaar hulpmiddel geworden bij het exploreren, analyseren en begrijpen van Big Data. Dit vereist bruikbare, gebruiksvriendelijke en geavanceerde gereedschappen, infrastructuur en expertise. Technologische ontwikkelingen op het gebied van high-speed netwerken, hogeresolutie displays en nieuwe interactietechnieken maken het nu mogelijk om aan de eisen die onderzoekers stellen (laag drempelig gebruik, eenvoudige interface, Big Data en samenwerking) te voldoen. Geavanceerde visualisatieopstellingen voor analyse en exploratie van grote en complexe datasets worden gecombineerd met faciliteiten die de onderzoekers mogelijkheden bieden voor (remote) samenwerking, presentaties en communicatie met collega s. Nieuwe methodieken voor het visualiseren van en navigeren door de grote datasets maken gebruik van geavanceerde visualisatiehardware en -software en moderne Human-Computer Interfaces. Een combinatie van renderfaciliteiten, hoge-resolutie (2D en 3D) displays, videoconferencing en presentatiemogelijkheden in een ruimte die uitermate geschikt is voor discussie, stelt (groepen) onderzoekers in staat om grote (multidisciplinaire) vraagstukken optimaal te bespreken in samenwerking met (remote) collega s uit de vakgebieden en e-science-specialisten. SARA realiseert samen met NLeSC een nieuwe faciliteit, het Collaboratorium, waarin hoge resolutie displays, rendering van remote data, interactie, samenwerking en gebruiksgemak direct aansluiten bij de eisen die wetenschap en bedrijfsleven vandaag en morgen stellen. Het Collaboratorium is gebaseerd op de technologie en diensten die door SARA zijn ontwikkeld en sluit nauw aan bij de eisen van eindgebruikers. Bij deze ontwikkeling wordt nauw samengewerkt met CalIT2 (San Diego) 1, EVL (University of Illinois at Chicago) 2 en NCSA (University of Illinois at Urbana-Champaign) 3, erkende topinstituten op dit gebied in de wereld. Door uitgebreide en langdurige samenwerking met onderzoekers binnen en buiten Nederland heeft SARA het wetenschappelijk werkdomein en de behoefte aan gereedschappen voor de analyse van wetenschappelijke data met behulp van visualisatie in de afgelopen jaren goed leren kennen. Hiermee wordt deze kennis en ervaring ingezet op een aantal facetten van scientific visualization. Het aanbieden van dergelijke expertise en diensten, met de ondersteuning om deze te gebruiken, past in de lange historie en de ruime ervaring en expertise van SARA op het gebied van geavanceerde visualisatie voor wetenschap, overheid en bedrijfsleven. Met de komst van het NLeSC kunnen nog meer eindgebruikers worden bediend. Visualisatie White Paper SARA februari

5 Remote visualisatie: high-end visualisatie in het lab van de onderzoeker Met de groei in complexiteit en hoeveelheid gegenereerde data van wetenschappelijke modellen wordt het steeds uitdagender om bijbehorende visualisaties te maken. Hiervoor is vaak grote en parallelle rendering capaciteit nodig in de vorm van een cluster met GPU s. Daarnaast zijn datasets door de toenemende grootte steeds lastiger te migreren en ligt het voor de hand om de data te laten staan waar deze gegenereerd wordt. Figuur 3: NetherLight in Amsterdam vormt een belangrijk en voor Europa uniek knooppunt in het wereldwijde optische netwerk voor onderzoek en onderwijs. Bron: GLIF, visualisatie: Bob Patterson NCSA UIUC, data: Maxine Brown EVL UIC. Remote visualisatie speelt in op de bovenstaande beperkingen door gebruik te maken van de mogelijkheden van de hedendaagse snelle netwerken die lokaal en ook wereldwijd transatlantisch beschikbaar komen (GLIF: Global Lamba Integrated Facility). Dat maakt het mogelijk om visualisatieapplicaties op een dedicated high-end renderingfaciliteit uit te voeren. Deze faciliteit bevindt zich in het datacenter en heeft een snelle datakoppeling met centrale storage. Over de netwerkverbinding die de gebruiker met de faciliteit heeft worden alleen visualisatiebeelden gestuurd, in plaats van grote databestanden. Er worden dus pixels verstuurd in plaats van files. Figuur 4: Het principe van remote visualisatie: via een netwerkverbinding stuurt de eindgebruiker visualisatieopdrachten naar een rendercluster dat zich op afstand (in dit geval bij SARA) bevindt. Na rendering worden de beelden teruggestuurd naar de gebruiker als een stroom pixels. Sinds begin 2011 biedt SARA een Remote Visualisatie Service waarmee gebruikers visualisaties op afstand kunnen uitvoeren op datasets die in het SARA-datacenter opgeslagen zijn. De gebruiker heeft zelf niet meer nodig dan een remote desktop viewer en stuurt het visualisatieproces zelf vanaf zijn laptop of werkstation. De binnen de nationale e-infrastructuur beschikbare faciliteiten voor remote visualisatie bevat onder meer een geavanceerd rendercluster met 16 nodes met high-end GPU s. Belangrijk is dat er een transparante datakoppeling is met de andere processing- en dataopslagfaciliteiten binnen de nationale e-infrastructuur bij SARA, zoals de nationale supercomputer Huygens, het nationaal rekencluster LISA en de HPC Cloud-infrastructuur. Visualisatie White Paper SARA februari

6 Megapixels en Gigabit/s Voor het transporteren van visuele data over het netwerk is, afhankelijk van de gestelde requirements, vaak een hoge bandbreedte nodig. Bij wetenschappelijke visualisaties is het belangrijk dat er geen data verloren gaat, en dat de visualisatie zo gedetailleerd en getrouw mogelijk wordt weergeven. Factoren die een rol spelen zijn: Resolutie van het (remote) display en van de data Compressiefactor van de beelden Interactiviteit; een interactieve visualisatie vereist al gauw 24 frames per seconde Kleurdiepte, default is dat 24 bits per pixel Rekenvoorbeeld: Voor een interactieve visualisatie op een display van bijvoorbeeld 4096 bij 2160 pixels (4K resolutie) van wetenschappelijke data (dus ongecomprimeerd) is dan nodig: 4096 * 2160 *24 bits per pixel * 24 fps = 5.1 Gigabit per seconde Omdat een wetenschapper vaak niet over dergelijke bandbreedte beschikt, werkt de Remote Visualisatie Service met het VNC-desktop protocol dat compressie toepast. Hierdoor blijft de gebruikte bandbreedte binnen datgene wat de meeste wetenschapper tot hun beschikking hebben via het SURFnet-netwerk. Een VNC-sessie waarbij ParaView werd gebruikt voor het bekijken van de CosmoGrid-dataset op 1280 bij 700, gebruikte ongeveer 76 megabit per seconde. Figuur 5: Nationale supercomputer Huygens: zesde generatie supercomputer bij SARA. De eerste supercomputer bij SARA, een Control Data Cyber 205 werd geïnstalleerd in Voor het werken met de data op de remote visualisatiecluster is een breed pakket aan open source applicatiesoftware voor visualisatie beschikbaar, onder andere: Paraview, VTK, VisIt ParaView is een open-source applicatie voor wetenschappelijke visualisatie gebaseerd op VTK. Het is ontworpen voor het visualiseren van grootschalige datasets. ParaView wordt actief verder ontwikkeld door Kitware in samenwerking met het Advanced Computing Laboratory in Los Alamos National Laboratory. 4 De Visualization Toolkit (VTK) is een open source en vrij beschikbaar softwarepakket voor 3D computergraphics, beeldbewerking en visualisatie. VTK bestaat uit een grote verzameling C++ classes en een aantal interfaces voor programmeertalen zoals Tcl/Tk, Java en Python. 5 VisIt is een point-and-click 3D wetenschappelijke visualisatie applicatie die ondersteuning biedt voor de meest gangbare visualisatietechnieken op gestructureerde en ongestructureerde grids, zoals iso-contouring en volumerendering. Door zijn gedistribueerde en parallelle ontwerp kan VisIt interactief overweg met zeer grote datasets. 6 VMD VMD is een moleculair visualisatieprogramma voor het tonen, animeren en analyseren van grote biomoleculaire systemen, met behulp van 3D graphics en ingebouwde scripting. 7 Ferret Ferret is een interactieve computervisualisatie en analyseomgeving, ontworpen om aan de eisen van, bijvoorbeeld oceanografen en meteorologen te voldoen die grote en complexe gestructureerde datasets willen analyseren. 8 Blender Blender is een geïntegreerde applicatie met open architectuur die het mogelijk maakt om een groot scala van 2D en 3D (wetenschappelijke) visualisaties en andere content te creëren. Blender biedt een breed bereik van functionaliteit voor modelering, texturing, belichting, animatie en video post-processing in één pakket. Blender is een van de meest populair open source grafische 3D applicaties ter wereld. 9 Visualisatie White Paper SARA februari

7 Daarnaast kan wellicht domeinspecifieke visualisatiesoftware beschikbaar worden gesteld. De gebruiker heeft ook de mogelijkheid om eigen visualisatieapplicaties te installeren en remote te gebruiken. Als display-omgevingen (zie ook volgende sectie) zijn binnen de nationale e-infrastructuur beschikbaar: Hoge-resolutie tiled display panel met MultiTouch (7680*2160 pixels, 17 MegaPixels, 8 keer HD, 2 keer 4K). Deze opstelling bevindt zich in het Collaboratorium. Hoge-resolutie tiled display panel (12800*4800 pixels, 61 MegaPixel). Deze opstelling is mobiel te gebruiken, maar heeft geen thin-bezel displays. Figuur 6: Hoge resolutie Tiled Panel Displays voor wetenschappelijke visualisatie: demonstraties van SARA op diverse internationale congressen. Rechtsboven: parameterstudie van data uit het Essence project, tijdens Supercomputing 07 te Reno, Nevada; data werd als pixels gestuurd vanuit Amsterdam. Bron: Prof. Henk Dijkstra, IMAU-UU; visualisatie IMAU; Linksboven en onder: ultra-hoge (4K) resolutie media streaming van video s vanuit Amsterdam naar Supercomputing 08 te Phoenix, Arizona. Bron: CineGrid Amsterdam; streaming: SARA. Figuur 7: SAGE middleware voor visualisatie en remote collaboration ; SAGE zorgt voor een mashup van diverse invoerbronnen op grote (tiled) schermen. Bron: Electronic Visualization Laboratory, University of Illinois at Chicago (EVL UIC). Beide opstellingen kunnen worden aangestuurd met SAGE (Scalable Adaptive Graphics Environment), middleware voor hoge-resolutie gedistribueerde 10; 11; 12 visualisatie-omgevingen. SAGE is een grafische streaming architectuur voor collaboratieve wetenschappelijke visualisatieomgevingen die resoluties tot honderden megapixels ondersteunt. Samenwerkende onderzoekers kunnen met SAGE verschillende applicaties tegelijkertijd draaien, zoals 3D-rendering, remote desktop en videostreaming) op lokale of remote apparatuur. De beelden kunnen worden gedeeld door het versturen van de pixels van elke applicatie naar bijvoorbeeld tiled display panels, maar ook uitvoer naar een enkel scherm of laptop wordt ondersteund door SAGE. Een prominent voorbeeld van hoge-resolutie remote visualisatie is het klimaatonderzoek bij de Universiteit van Utrecht (prof. Henk Dijkstra), waar grote hoeveelheden klimaatdata, gegenereerd op en opgeslagen bij de nationale supercomputer Huygens in Amsterdam worden gevisualiseerd en waar de beelden vervolgens via een dedicated SURFnet6 10 Gbit/s lichtpad 13 worden getransporteerd naar het lokale hoge-resolutie tiled display panel voor analyse. Met dit project was prof. Dijkstra winnaar van een van de Enlighten Your Research awards van SURFnet. Visualisatie White Paper SARA februari

8 Big Data vereisen Megapixels: tiled displays Grote wetenschappelijke datasets zijn vaak te groot om te visualiseren op een standaard desktop LCD- scherm. Door een aantal LCD-schermen met elkaar te verbinden kunnen zogenaamde tiled displays worden gevormd met een veelvoud van de resolutie van een enkelvoudig scherm. Zo wordt logischerwijze met een 2x2 tiled display een vier maal zo hoge resolutie bereikt als met een enkelvoudig scherm, en met een 5x3 tiled display een 15 maal zo hoge resolutie. Met een aantal standaard displays van 1.600x900 pixels wordt zo een tiled display verkregen van bij pixels (21,6 Megapixel). Figuur 8: Visualisatie van zeer hoge-resolutie beelden tijdens GLIF bij CERN in Geneve (2010). Beelden van de CosmoGrid-simulatie van dark matter interaction werden vanuit SARA naar CERN gestreamed over de 40 Gbps optische verbinding van SURFnet. Bandbreedte van meer dan 32 Gigabit per seconde (sustained) werd gebruikt om de beelden met een resolutie van * 5200 pixels (ca. 68 Megapixel per frame) met voldoende hoge beeldfrequentie weer te geven. Bron: Prof. Simon Portegies Zwart, Leidse Sterrenwacht, Universiteit Leiden. Visualisatie: SARA. Streaming applicatie: SARA met support van SURFnet; end to end netwerkverbinding: SURFnet, SARA en Extreme Networks. Tiled displays kunnen voor verschillende typen van visuele data-analyse worden ingezet: 1. Voor visualisatie van zeer hoge-resolutie beelden (bijvoorbeeld hoge-resolutie geo-data, hoge resolutie satellietdata of hoge resolutie astrofysica simulaties). 2. Voor de exploratie en vergelijking van een groot aantal zeer vergelijkbare datasets (bijvoorbeeld parameterstudies in klimaatmodellering, of tijdopnameseries in medische spectroscopie). Figuur 9: Voorbeeld van visualisatie van parameter studies: op een aantal geschakelde displays worden in een enkele tijdsequentie (synchrone video s) diverse parameters vergeleken om relaties vast te kunnen stellen. Bron: SAMOC project, Prof. Henk Dijkstra, IMAU, Universiteit Utrecht. Visualisatie voor tiled display: IMAU. Visualisatie White Paper SARA februari

9 3. Voor multimodale visualisatie, het samenbrengen van een groot aantal diverse databronnen op een enkel scherm om relaties en samenhang te exploreren en te bespreken (bijvoorbeeld diverse bronnen biologische data zoals DNA-sequentie, genenkaart, microarray data). Figuur 10: Multimodale visualisatie: het samenbrengen van meerdere uitvoerstromen op een tiled display teneinde verschillende databronnen tegelijk te kunnen raadplegen. Bron: Drs. Han Rauwerda, Swammerdam Institute for Life Sciences, UvA. Remote visualisatie De ongekende mogelijkheden van deze eenvoudige technologie in combinatie met van streaming van data over zeer hoge bandbreedte netwerken is een aantal jaren geleden (2006) al door o.a. SARA aangetoond door vanuit Amsterdam grote datasets te streamen naar een 100 Megapixel scherm in de USA over een transatlantische 20 Gbit/s-netwerkverbinding 16. Figuur 11: Hoge-resolutie beelden gecreëerd met de remote visualisatieomgeving. Data uit het CosmoGridproject wordt met de applicatie Paraview gerendered op het SARA Remote Visualisatiecluster. De user interface (links) draait op het werk - station (of laptop) van de wetenschapper, de gerenderde beelden worden als een stroom pixels teruggestuurd naar een displayopstelling, in dit geval een 5*3 tiled panel bij SARA (rechts). Bron:Cosmo Grid, Prof. Simon Portegies Zwart, Leidse Sterrenwacht, Universiteit Leiden. Visualisatie: SARA. Een ander voorbeeld van een hoge-resolutie remote visualisatie van een Big Data-set is de CosmoGrid-dataset, een simulatie van het ontstaan van het heelal (prof. Simon Portegies Zwart e.a., Universiteit Leiden). Een enkele tijdstap van deze set bevat 2048^3 deeltjes, oftewel 8.6 miljard deeltjes. Deze data valt vrijwel onmogelijk goed te bekijken op een enkel HD-scherm. Voor een demo bij CERN heeft SARA een visualisatie gemaakt met een resolutie van bij pixels, ongeveer 30 maal de HD-resolutie. Deze visualisatie werd gerendered en gestreamed vanuit Amsterdam en getoond bij CERN in Genève. Bij deze demo werden bandbreedtes gehaald van meer dan 37 Gigabit/s. Visualisatie White Paper SARA februari

10 3D visualisatie Sommige complexe datasets zijn inherent multi-dimensionaal. Stereovisualisatie kan in bepaalde gevallen meerwaarde bieden bij de analyse van deze datasets. Het is aangetoond dat objecten die gepresenteerd worden in 3D met diepte vaak beter te herkennen en te interpreteren zijn. Diverse visualisatiepakketten zijn in staat om 3D beelden te genereren. De komst van consumerbase stereo (3D) displays maakt 3D visualisatie toegankelijk voor low-cost visualisatietoepassingen. Streamen van (hoge resolutie) 3D stereobeelden over netwerken is nog onderwerp van onderzoek (onder andere in het CineGrid-project) 14; 15, maar zal op korte termijn op grote schaal bruikbaar worden. Figuur 12: Desktop 3D-visualisatie: met de komst van relatief goedkope 3D HD televisies is een 3D-desktop omgeving voor wetenschappelijke visualisatie laagdrempelig geworden. Streaming van stereobeelden vanuit een (remote) renderomgeving of van ge-pre-renderde 3D-video s naar de werkplek van de wetenschapper is hiermee goed haalbaar. Bron: CosmoGrid, Prof. Simon Portegies Zwart, Leidse Sterrenwacht, Universiteit Leiden. 3D visualisatie: SARA. Gebieden waar 3D visualisatie meerwaarde kan bieden zijn onder andere moleculaire visualisatie, visualisatie van medische beelden (waaronder MRI), gaming, astrofysica, klimaatmodellering en cultural heritage (archeologie, architectuur). In-situ visualisatie In-situ visualisatie is het visualiseren van data terwijl deze data geproduceerd wordt. Een voorbeeld hiervan is het tonen van (gedeeltelijke) resultaten van een simulatie waaraan nog gerekend wordt. Hierdoor zijn de ontwikkelingen in de simulatie te volgen, waardoor er een beter beeld kan ontstaan van de sterke en/of zwakke punten van een model en de gebruikte model parameters. En als het model na enkele iteraties verkeerde resultaten lijkt te produceren, dan kan de simulatie worden afgebroken en zo kostbare computerresources besparen. Tevens is het mogelijk om met in-situ visualisatie simulatiecode te debuggen, aangezien de interne staat van de simulatie kan worden bekeken. Daarnaast kan er ter plekke post-processing worden uitgevoerd op de simulatiedata. Door de data te bewerken en/of selecties te maken gebaseerd op de in-situ visualisatie, kan de resulterende data efficiënt opgeslagen worden voor toekomstig gebruik, waar de volledige simulatiedata misschien te groot is om in zijn geheel op te slaan. Visualisatie White Paper SARA februari

11 Een uitbreiding op in-situ visualisatie is computational steering. Hierbij kan de gebruiker, tijdens het bekijken van in-situ visualisaties besluiten de parameters van de simulatie te veranderen om de simulatie te sturen. Hierbij is er dus real-time interactie tussen de gebruiker en simulatie, gebaseerd op de in-situ visualisaties. Figuur 13: parameterstudie van data uit klimaatsimulatie SAMOC: vergelijking van verschillende para - meters (bijvoorbeeld stroming, temperatuur) worden in een (dagelijkse) workflow naast elkaar en op verschillende schaal in synchrone tijdstappen gedisplayed samenwerking IMAU (UU) en SARA. Bron: SAMOC project, Prof. Henk Dijkstra, IMAU, Universiteit Utrecht. Visualisatie voor tiled display: IMAU. Ont wik keling workflow: IMAU en SARA. Implementatie van workflows Het regelmatig creëren van visualisaties van een (deel van een) dataset aan de hand van steeds wisselende parameters kan leiden tot de behoefte aan een workflow. Men kan hierbij denken aan het steeds dieper inzoomen op een extra interessant deel van het onderzoek, of het vergelijken van verschillende parametersettings. SARA biedt ondersteuning bij het ontwikkelen van een dergelijke workflow, bijvoorbeeld door het creëren van een web-applicatie voor de eindgebruiker waar hij parameters specificeert en vervolgens de opdracht geeft voor een volgende visualisatie. De visualisatie wordt vervolgens bij SARA uitgevoerd en het resultaat wordt naar de display van de gebruiker gestreamed. Momenteel is een dergelijke workflow in gebruik bij het IMAU van de Universiteit van Utrecht voor de analyse van een grote klimaatdataset. Visualisatie White Paper SARA februari

12 Collaborative visualization, videoconferencing en samenwerking in het Collaboratorium Collaboratorium : een nieuwe visualisatie- en presentatieruimte voor wetenschappelijk onderzoek Binnen de nationale e-infrastructuur is in het ICT Synergy Hub-gebouw van SARA op het Science Park in Amsterdam een geavanceerde presentatie- en visualisatieruimte gerealiseerd. Deze visualisatieruimte is beschikbaar ter ondersteuning van wetenschap en bedrijfsleven. Dit Collaboratorium wordt door SARA, door het onlangs opgerichte Netherlands e-science Center (NLeSC) en door anderen ingezet ter ondersteuning van wetenschappelijk onderzoek in Nederland. Figuur 14: Artist s impression van het Collaboratorium: een ruimte gericht op samenwerking door middel van presentaties, videoconferencing, remote collaboration en hogeresolutie visualisatie. Deze ruimte is vanaf april 2012 beschikbaar voor wetenschappelijk onderzoek in Nederland en wordt geëxploiteerd door SARA en het NLeSC. Het is gefinancierd vanuit SURF met subsidie van het ministerie van EL&I. Visualisatie: SARA. De faciliteit biedt excellente mogelijkheden voor samenwerking en technology transfer tussen wetenschap, overheid en bedrijfsleven, en draagt op deze wijze bij aan het topsectorenbeleid van de overheid. De ruimte nodigt uit tot samenwerking en communicatie over en weer tussen gebruikers (lokaal en op afstand), in een informele omgeving. Lokale ondersteuning door visualisatieexperts bij het gebruik van de faciliteit en bij de visualisatie van (wetenschappelijke) data is beschikbaar. De faciliteiten zijn gericht op zowel laagdrempelig gebruik voor alledaagse taken, maar ook geavanceerd gebruik voor gebruikers die meer nodig hebben. Een breed bereik van presentatiemiddelen wordt ondersteund, zoals gewone (Powerpoint-)presentaties, visualisaties in 3D stereo en hoge-resolutie interactieve applicaties. Visualisatie White Paper SARA februari

13 Specificaties van de faciliteit Uitnodigende en informele ruimte Centraal in het Collaboratorium is een conferentie tafel voor 7 personen. In deze tafel zijn aanslui tingen voor netwerk, beeld, geluid en stroom. Hierop kunnen direct laptops aangesloten worden. Figuur 15: Thin-bezel tiled display wall: de randen van de displays zijn uiterst dun, waardoor er tussen de schermen slechts een rand zit van in totaal 7 millimeter. Getoonde data: Prof. dr. Harm Jonker, Faculteit Toegepaste Wetenschappen, TU Delft. Figuur 16: Multi-touch interactie op een tiled display wall: uitvoer van diverse bronnen worden op een Tiled display in een aantal windows weergegeven: videoconferencing beelden, kopieën van de laptopschermen, visualisaties en een scrapbook. Individuele windows kunnen worden verplaatst, geresized en geminimaliseerd met behulp van de touch interface, vergelijkbaar met de interface van een ipad. Bron: Electronic Visualization Laboratory, University of Illinois at Chicago. Hoge-resolutie display wall De video wall is een belangrijk deel van de ruimte. Deze bestaat uit 4x2 Full HD thin-bezel schermen, met een totale resolutie van 7,680 x 2,160 pixels (16.6 Megapixel). De ultra-dunne randen (zgn. bezels) van slechts enkele millimeters tussen de schermen zorgen voor een minimale visuele verstoring van het beeld. Er kan flexibel gekozen worden waar welke beeldstromen (laptop-beeld, videoconferencing, uitvoer van visualisatiesystemen) op de video wall getoond worden en over hoeveel schermen deze beelden worden verdeeld. Op deze wijze kan een optimale mashup worden gegenereerd: input van verschillende datastromen kan tegelijkertijd zichtbaar worden gemaakt. Multi-touch interactie In zijn publicatie Top Scientific Visualization Problems heeft Chris Johnson (University of Utah) in aangegeven dat een van de tien grootste problemen in wetenschappelijke visualisatie de Human-Computer Interface (HCI) is. De manieren waarop de mens interacteert met computers is echter de afgelopen jaren drastisch veranderd, in belangrijke mate beïnvloed door de gaming industrie en de touch interfaces die overal toegepast worden in smart phones en tablet computers. Deze methodieken voor interactie met en manipulatie van data in een visualisatieomgeving zijn nu ook beschikbaar voor onderzoekers. Over het gehele oppervlak van de video wall ligt een multi-touch overlay. Hiermee is directe interactie met de getoonde beelden en applicaties mogelijk. Het totale scherm is hiermee als het ware een enorme ipad. 17 Figuur16:Multi touchinteractieopeentileddisplaywall:uitvoervandiverse Videoconferencing bronnenwordenopeentileddisplayineenaantalwindowsweergegeven: videoconferencingbeelden,kopieënvandelaptopschermen,visualisatieseneen Er scrapbook.individuelewindowskunnenwordenverplaatst,geresizeden is een geavanceerde videoconferencing set beschikbaar, uitgerust met 2 camera s. De eerste camera geminimaliseerdmetbehulpvandetouchinterface,vergelijkbaarmetdeinterface kijkt vanaf de display wall naar de conferencedeelnemers aan de tafel, de andere vaneenipad.bron:electronicvisualizationlaboratory,universityofillinoisat camera overziet de gehele ruimte van achteren, waardoor op afstand ook de beelden van de Chicago. video wall en de presentator zichtbaar en uit te dragen zijn. 3D stereoprojectie Naast het gebruik van de video wall is het mogelijk om 3D stereobeelden te vertonen op een apart projectiescherm. Dit scherm is zo geplaatst dat een deel van de video wall bruikbaar blijft wanneer 3D beelden getoond worden. De 3D projectie wordt zo toegevoegd aan de mashup op de video wall. Visualisatie White Paper SARA februari

14 Eenvoudige en flexibele bediening De bediening van de gehele ruimte gebeurt met een touch-paneel waarmee op een simpele manier de aansturing van de elementen in de ruimte kan worden gedaan. Daarnaast is er een aantal voorgedefinieerde instellingen met een sneltoets gemakkelijk toegankelijk gemaakt. Figuur 17: Visualisatie ingebed in SARA cloud-oplossingen: naast het gespecialiseerde rendercluster is een aantal grote systemen beschikbaar voor het opschalen van visualisaties, zoals de SARA HPC Cloud, de super - computer Huygens, het Hadoopsysteem. Integratie met nationale HPCV-faciliteiten Ten behoeve van wetenschappelijke visualisatie is de ruimte ook via hogesnelheidsnetwerken gekoppeld aan de nationale High Performance Computing en Visualisatie (HPCV)- infrastructuur en via SURFnet7 aan de buitenwereld. Voor visualisatie van grote datasets is een rendercluster aanwezig dat is ingebed in de data- en rekenomgeving: de nationale supercomputer Huygens, de HPC Cloud en Grid-omgeving. Ondersteuning door visualisatiespecialisten is beschikbaar bij visualisatieprojecten van onderzoekers. Visualisatie voor en door de topsectoren De topsectoren kunnen profiteren van een groot aantal hoogwaardige applicaties, waaronder programma s die het mogelijk maken om grote heterogene data sets te bekijken en te analyseren. Toepassingen kunnen bijvoorbeeld liggen op het gebied van watermanagement, creatieve industrie, medische beeldverwerking, ontwerp van nieuwe materialen en elektronische apparatuur, groene genetica (zaadveredeling) en (functionele) voeding. Figuur 18: de 9 topsectoren: in verschillende sectoren kan visualisatie een belangrijke rol spelen bij het analyseren van data uit simulaties, observaties en experimenten. In het kader van het topsectorenbeleid wordt extra aandacht besteed aan ondersteuning van de markt bij het gebruik van de landelijke infra - structuur, waaronder geavanceerde en hoge-resolutie visualisatie. Ministerie van EL&I. Copyright: Schwandt Infographics. Visualisatie White Paper SARA februari

15 Ervaring en kennis in geavanceerde visualisatie zijn beschikbaar voor onderzoek en bedrijfsleven. Bedrijven en overheden die hier gebruik van hebben gemaakt zijn onder meer de farmaceutische industrie (Johnson&Johnson Pharmaceutical Research & Development) 18, olie en gas exploratie (Shell, Norsk Hydro), voedsel (Unilever), media (NOB), stadsontwerp en -planning (Rijks waterstaat, gemeenten Amsterdam, Almere, Rijswijk, Aerospace (Fokker) en vele andere. Ondersteuning voor wetenschap en bedrijfsleven is beschikbaar voor de visualisatie en analyse van complexe data. Ontwikkeling van gereedschappen en applicaties SARA heeft door de jaren heen op zeer verschillende vakgebieden en met diverse partners visualisatietools ontwikkeld. Voorbeelden hiervan zijn: Verschillende tools voor het Institute for Biodiversity and Ecosystem Dynamics (IBED) van de Universiteit van Amsterdam, gebaseerd op Google Maps en Google Earth, voor de visualisatie van vogeltrek en beïnvloedingsfactoren Visualisatie van complexe netwerken (mathematical graph structures) voor de sectie Computational Science van de UvA Hoge-resolutie visualisatie van CosmoGrid astrofysica simulatiedata voor de Universiteit Leiden Visualisatie van klimaatmodelering voor IMAU, Universiteit Utrecht CAVE-omgeving met bewegende avatars voor fobiebehandeling voor UvA Psychologie SARAgene, 3D data-analyse VR-applicatie voor genomics-onderzoek voor Johnson&Johnson Pharmaceutics 3D serious game Virtuele Supermarkt ter ondersteuning van onderzoek naar koopgedrag voor de sectie preventie en volksgezondheid van de VU. Visualisatie White Paper SARA februari

16 Conclusie Visualisatie speelt een onmisbare rol in de analyse van Big Data. De groei en complexiteit van de data, samen met het belang van die data voor meerdere disciplines, vereist voor de analyse geavanceerde visualisatie omgevingen en uitgebreide specialistische kennis en expertise. Binnen de nationale e-infrastructuur heeft de onderzoeker toegang tot deze expertise en geavanceerde (remote) visualisatiehardware en -software. SARA speelt zo in samenwerking met het NLeSC en met andere instituten een belangrijke rol in het faciliteren en ondersteunen van het wetenschappelijk onderzoek, niet in de laatste plaats door de aanwezigheid van het nieuwe Collaboratorium voor data-analyse, (3D)visualisatie, videoconferencing en samenwerking dat door deze instituten in de gezamenlijke ICT Synergy Hub in Amsterdam wordt geëxploiteerd. Figuur 19: ICT Synergy Hub op het Science Park Amsterdam. Hierin zijn naast SARA en haar zusterbedrijf Vancis ook het NLeSC (Netherlands escience Center) en het EGI (European Grid Initiative) gevestigd. Visualisatie White Paper SARA februari

17 Referenties 1. [Online] 2. [Online] 3. [Online] 4. [Online] 5. [Online] 6. [Online] 7. [Online] 8. ferret.wrc.noaa.gov/ferret/ [Online] 9. [Online] 10. SAGE: the Scalable Adaptive Graphics Environment. L. Renambot, A. Rao, R. Singh, B. Jeong, N. Krishnaprasad, V. Vishwanath, V. Chandrasekhar, N. Schwarz, A. Spale, C. Zhang, Goldman, J. Leigh, A. Johnson,. sl : Proceedings of WACE 2004, Nice, France. 11. Leigh, J. et al. The global lambda visualization facility: An international ultra-high-definition wide-area visualization collaboratory. Future Generation Computer Systems Volume: 22, Issue: 8, pp Enabling multi-user interaction in large high-resolution distributed environments. R. Jagodic, et al. 2011, Future Generation Computer Systems vol. 27 issue 7, July 2011, pp [Online] [Online] [Online] 16. Top Scientific Visualization Research Problems. Johnson, Chris.R. 2004, IEEE Computer Graphics and Applications, vol. 24, no. 4, pp Jagodic, R. [Online] 18. Mining the human genome using virtual reality. Stolk, Wielinga et al. sl : EGPGV 02 Proceedings of the Fourth Eurographics Workshop on Parallel Graphics and Visualization, Visualisatie White Paper SARA februari