3 Interactief tele-samenwerken op de elektronenmicroscoop Internationaal ontwerpen met een presentatie op een internationaal congres Door de hoge kosten van een elektronenmicroscoop is tele-samenwerken een nieuwe manier om het gebruiksrendement van deze apparaten enorm te verhogen. Een patholoog-anatoom kan op afstand worden geraadpleegd door de microscopist. Ook de medewerker van de staalfabriek kan met de onderzoeker van een onderzoeksinstituut overleggen, terwijl beiden naar hetzelfde beeld kijken en de monsters onder de microscoop kunnen manipuleren. Joost van Kasteren Een elektronenmicroscoop kost al snel een miljoen euro, dus niet elk bedrijf of organisatie kan zich zo'n kostbaar instrument aanschaffen. Anderzijds zijn er bedrijven, zoals staalfabriek Corus, die er wel een zouden kunnen kopen maar er niet voldoende werk voor hebben om de aanschaf economisch te rechtvaardigen. Daarnaast zijn er situaties waarin een onderzoeker de beelden op de microscoop wil bespreken met bijvoorbeeld collega's elders. Of assistenten van een patholooganatoom die regelmatig vragen of de onderzoeker "even wil meekijken" naar afwijkende beelden maar die weer drie gebouwen bij hem of haar vandaan zitten. Aankomende ingenieurs Industrieel Ontwerpen, geïnspireerd door het 19e-eeuwse Panorama van Mesdag, een gewaardeerd onderdeel van menig schoolreisje, ontwierpen een virtuele omgeving voor samenwerking-op-afstand. Met behulp van het systeem, ontwikkeld in opdracht van FEI Company, kunnen gebruikers elektronenmicroscopen en andere instrumenten op afstand bedienen, gegevens uitwisselen en met elkaar communiceren. In een voornamelijk virtuele samenwerking met studenten uit Londen en Lausanne ontwikkelden de Delftenaren in slechts vier maanden tijd een werkend prototype. Daarnaast vonden ze ook nog tijd voor een presentatie in Japan.
4 Interactief tele -samenwerken op de elektronenmicroscoop Bij de huidige opzet kan een microscopist de bevindingen maar moeizaam met de opdrachtgever communiceren. Van de beelden die op de schermen staan kan wel een afdruk worden gemaakt die per e-mail kan worden verzonden, maar het is verre van de ideale werksituatie en zeker niet inter-actief te noemen. Origin, een groep van Delftse studenten industrieel ontwerpen die deelnamen aan een internationaal project in het kader van hun master-opleiding, hebben gekeken naar mogelijkheden voor FEI Company om te innoveren. De beste kansen lijken te liggen op het gebied van collaboratieve samenwerking, waardoor de elektronenmicroscopen intensiever kunnen worden gebruikt. Om een dergelijke omgeving op te zetten, was het nodig om de bestaande metafoor, de zogenoemde desktop zoals van een PC of een Mac, te herontwerpen. Daarbij moest de infrastructuur zowel softwarematig als hardwarematig worden uitgewerkt. De leden van Origin hebben de werkwijze en werkomgeving van microscopisten en onderzoekers bij de afdeling Materiaalkunde van de TU Delft in kaart gebracht. Opvallend was dat de materiaalkundigen veel communiceerden via whiteboards. Dat heeft de studenten geïnspireerd om die te gebruiken in de door hen ontworpen collaboratieve omgeving. In het kantoor van ir. Auke van Balen, senior onderzoeker bij fei Company in Eindhoven, staan drie beeldschermen naast elkaar opgesteld in boogvorm. De beeldschermen representeren een bescheiden deel van het virtuele panorama, dat als een onzichtbare cilinder om de gebruiker heen staat. Waar je bij het fysieke Panorama Mesdag in het Museum Mesdag te Den Haag om je eigen as moet draaien om het schilderij helemaal te zien, hoeft men in het Delftse virtuele Panorama alleen maar aan een zilverkleurige draaischijf te draaien om het voorbij te zien trekken. De zee, het strand met de visserscheepjes en de huizen van Scheveningen vormen de achtergrond voor beelden die in Mesdags tijd alleen nog in fantasie van Jules Verne bestonden, zoals een elektronenmicroscopische opname van een virus of van een kristal. Of het hoofd van een medegebruiker van het systeem, die even goed twee gebouwen verderop kan zitten als op een ander continent. Of een kriebelig schetsje waarin weer een andere gebruiker aangeeft wat hij voor bijzonders ziet aan dat virus. Sturen via het scherm Voor de drie staande aanraakschermen ligt nog een vierde interactief scherm, waarmee de gebruikers het complete systeem kunnen sturen. Het klassieke toetsenbord en de muis ontbreken. In plaats daarvan ligt er de al genoemde draaischijf, uitgevoerd in glimmend aluminium. Deze wordt niet alleen gebruikt voor het laten draaien van het panorama, maar ook om op afstand een elektronenmicroscoop of ander wetenschappelijk instrument te bedienen. Met de draaischijf kan ook de modus operandi van het systeem worden ingesteld. Is het lichtje op de draaischijf blauw dan staat deze in panoramamodus en kun je beelden en gegevens aan je voorbij laten trekken. Wanneer het lichtje oranje is staat de draaischijf in zijn manipulatie-modus en kun je het instrument bedienen, maar ook gegevens bewerken. De derde en laatste modus is de notitie-modus, aangegeven door een geel lichtje. Daarin kan men alle functies in het panorama voorzien van teksten, formules of tekeningetjes. Je kunt op de aanraakschermen bijvoorbeeld het virus omcirkelen of er een pijl of kringetje bij zetten. Op die manier kun je iets verduidelijken voor je medegebruikers, waarmee je, vanzelfsprekend bijna, via microfoon, luidspreker en webcam via Internet bent verbonden. Niet alleen face-to-face Van Balen blijkt zeer te spreken over het werkend prototype van de Collaborative Environment for Users of Advanced Scientific Instruments, dat de studenten hebben ontworpen en gebouwd. Met name de metafoor van het Panorama vindt hij een gouden vondst, omdat het een uiterst effectieve manier is om grote hoeveelheden visuele informatie te arrangeren en toegankelijk te maken. Desgevraagd legt hij uit waarom het noodzakelijk is om een nieuwe virtuele omgeving te creëren voor gebruik van geavanceerde wetenschappelijke instrumenten. Van Balen: fei Company, een voormalig onderdeel van Philips, maakt sinds 1949 elektronenmicroscopen en andere instrumenten om op nanoschaal objecten te bekijken en zonodig te manipuleren. Ze worden gebruikt in de industrie, onder meer bij de fabricage van halfgeleiders, maar ook voor onderzoek en ontwikkeling, zowel in de industrie als bij universiteiten en ziekenhuizen. We zien dat gebruikers steeds meer samenwerken bij het bekijken en interpreteren van gegevens. Niet alleen face-to-face maar steeds vaker ook op afstand, waarbij de onderzoekers niet alleen ver van elkaar zitten, maar ook ver van de elektronenmicroscoop. Een andere trend is dat een elektronenmicroscoop bij een bedrijf of een universiteit steeds vaker wordt gebruikt door mensen van een andere instelling. Het zijn tenslotte dure apparaten en het is een beetje zonde als je ze maar een gedeelte van de tijd van de tijd gebruikt. Bureaublad Om de afstanden tussen gebruikers en microscoop en gebruikers onderling te overbruggen, ging Van Balen op zoek naar een omgeving waarin mensen kunnen samenwerken. Om een dergelijke omgeving te ontwikkelen, heb je een goede metafoor nodig, een beeldspraak, om een onbekend concept tot iets vertrouwds te maken. Een bekende metafoor voor de interface tussen computer en gebruiker is het zogenoemde bureaublad, legt Van Balen uit. Deze desktop -metafoor is begin jaren zeventig ontwikkeld door Alan Kay, indertijd onderzoeker in Xerox Parc, het researchcentrum van Xerox in Palo Alto en is beroemd geworden met de introductie van de Mac in 1984 door Apple. Ik had het idee dat de metafoor 2005.1
Interactief tele -samenwerken op de elektronenmicroscoop 5 1 User 1 EM-opname van keramiek. Database Webserver 2 User 2 User n n User Communication TEM System Data Management Remote Control Origin concludeerde dat er drie datastromen nodig waren: voor gebruikerscommunicatie, datamanagement en voor het aansturen van de microscoop op afstand. Een van de aspecten die grondig werden bestudeerd was de ergonomie van de werkplek voor zowel de microscopist als de tele-samenwerkers. van het bureaublad niet voldoet voor het scheppen van een collaborative environment voor dit type geavanceerde wetenschappelijke instrumenten. Maar het bedenken van een nieuwe metafoor is geen sinecure; daar heb je creatieve geesten voor nodig. Mensen die het onmogelijke durven denken. Hij vond ze in Delft bij de Faculteit Industrieel Ontwerpen, waar studenten in het kader van het opleidingsonderdeel Integral Design Project (voorheen Ontwerpen-6) worden geacht een tastbaar product te ontwikkelen: van idee tot prototype. Voor een deel gebeurt dat in het kader van European Global Product Realisation (egpr), waarbij studenten van verschillende Europese universiteiten samen aan zo n project werken (zie tekstkader). De (zes) Delftse studenten togen half september naar Eindhoven voor een eerste gesprek over de opdracht. Afgesproken werd dat ze een metafoor zouden ontwikkelen voor een samenwerkingsomgeving voor de gebruikers van FEIsystemen. De omgeving zou de benodigde hard- en software moeten bevatten en de gebruikers in staat moeten stellen om onderling te communiceren, gegevens uit te wisselen en de microscoop van een afstand te manipuleren. Door middel van studies naar verschillende metaforen, zoals bos, ruimte, licht, surrealisme, oceaan en bibliotheek, en het daarop volgende keuzeproces kwam men uiteindelijk uit op een door het Panorama van Mesdag geïnspireerde metafoor. De gebruiker bevindt zich hierbij in het midden van de metafoor, waarvan telkens een deel zichtbaar is op drie schermen. Toepassing Na het gesprek in Eindhoven zijn we begonnen met een analyse van fei Company en haar producten, vertelt Susan Joosen, een van de studenten. Vervolgens hebben we een projectvoorstel geschreven en doorgesproken met het bedrijf. Daarin hebben we zo goed mogelijk vastgelegd wat er van ons werd verwacht en wat wij konden bieden. Naast een beschrijving van de gewenste functies van het systeem werd in het projectvoorstel ook een aantal bedrijfsmatige randvoorwaarden opgenomen. Zo moet het systeem gebruik maken van bestaande technologie en binnen twee jaar geïntroduceerd kunnen worden. Bovendien mocht het niet te veel kosten, in ieder geval een stuk minder dan een elektronenmicroscoop. Toen beide zijden duidelijk voor ogen hadden wat er werd verwacht, c.q. verwacht mocht worden, ging de projectgroep echt van start. Omdat het om een internationaal project gaat, werd de groep in oktober uitgebreid met studenten van de City University in Londen en de Ecole Polytechnique Federale de Lausanne, twee van de vier samenwerkingspartners van de TU Delft. Er werd een analyse gemaakt van het gebruik van metaforen in bestaande computersystemen; van het aloude bureaublad tot en met de cave (computer aided virtual environment) van het Rekencentrum sara in Amsterdam, waarin de gebruiker zich beweegt in een virtuele wereld. Daarnaast werden gesprekken gevoerd met verschillende gebruikers, onder wie prof. Henny Zandbergen van de Delftse subfaculteit Materiaalkunde. Mede dankzij hem waren fei Company en Industrieel Ontwerpen met elkaar in contact gekomen. Bij Materiaalkunde wordt veel onderzoek gedaan met behulp van de elektronenmicroscoop, waarbij wordt samengewerkt met de onderzoeksafdeling van staalfabrikant Corus. Het Paranoma van Mesdag dient als achtergrond van de drager. De drager is een transparante film waarop verschillende functies kunnen worden afgebeeld: bijvoorbeeld het communicatiescherm met een gebruiker in New York, een overzicht van verschillende mineralen, een whiteboard met aantekeningen en directe beelden van de microscoop in het lab. De dragerfilm bestaat in dit geval uit zes segmenten, maar kan naar eigen voorkeur worden uitgebreid of ingekrompen.
6 Interactief tele -samenwerken op de elektronenmicroscoop Op basis van de verschillende studies bleek dat de optimale configuratie van de console zou moeten bestaan uit vier aanraakschermen, een controleschijf en elementen voor multimedia. Voor veiligheid is een herkenningsunit voor vingerafdrukken aangebracht voor het autoriseren van gebruikers. 3D-beeld van het prototype van de collaboratieve werkomgeving. De gebruiker stuurt de collaboratieve werkomgeving aan met de controleschijf, waarmee hij kan kiezen uit drie modi: Panaroma-modus (blauw) om de omgeving te draaien; Manipulatie-modus (oranje) om gegevens in te voeren, microscoop aansturen; en Notitie-modus (geel) om op whiteboards en microscoopbeelden aantekeningen te maken. De modi worden weergegeven op het bedieningsscherm (horizontaal), waarop de speciaal ontworpen Mr. Guide de navigatie door de segmenten weergeeft. De controleschijf bestaat uit een vlakschijf en een drukknop. Door op de knop te drukken, wordt de modus veranderd. Hoewel de schijf eenvoud uitstraalt, hebben de studenten uit Lausanne er nog wel enig vernuft in verwerkt. Er gingen er vele prototypen aan vooraf. Het mechanisme bestaat uit een stappenmotor met zogenoemde forced-feedback, zodat de gebruiker een meer realistisch gevoel heeft bij het aansturen van de microscoop en voelt wanneer hij aan het eind van een slag is. Blackboard Na de analysefase werd de groep verdeeld in drie subgroepen, die elk voor zich een metafoor probeerden te ontwikkelen, waarbij, aldus Laurien Broer van Dijk, een van de studenten, de communicatie tussen Delft, Londen en Lausanne via alle mogelijke middelen tot stand kwam. Met msn, webcam, mail, videoconferencing en Blackboard. Technisch ging dat prima, maar inhoudelijk liep het wat stroever, zeker in het begin. Later ging het makkelijker omdat je de mensen wat beter leert kennen. Hoewel toen we elkaar voor het eerst echt ontmoetten, bleken ze toch behoorlijk te verschillen van het beeld dat je je van hen had gevormd, ondanks dat je ze al vaak via webcam en videoconferencing had gezien. Tijdens de samenwerking, eerst virtueel, later ook één week face-to-face, bleek er een duidelijk verschil in aanpak tussen de studenten Delft en die uit Londen en Lausanne. De laatstgenoemden, merendeels werktuigbouwers gespecialiseerd in mechatronica, zijn gewend om op basis van technische specificaties naar oplossingen te zoeken. De industrieel ontwerpers uit Delft hebben geleerd dat daar een fase aan vooraf gaat, waarin je in de breedte over de verschillende aspecten van het probleem nadenkt met behulp van collages en associaties van woorden en thema s. In het vervolg van het project, en met name bij het maken van het prototype, bleken de verschillende kwaliteiten van de studenten elkaar heel goed aan te vullen. De virtuele samenwerking tussen de studenten bleek daarmee ook een goede leerschool voor het ontwikkelen van de virtuele samenwerkingsomgeving rond de elektronenmicroscoop. Van Balen: Om een virtuele samenwerkingsomgeving te creëren, moesten de studenten zelf ook zo n omgeving scheppen. Een kip-ei probleem, dat zich als vanzelf heeft opgelost, omdat de studenten van nu min of meer zijn opgegroeid met alle moderne communicatiemiddelen. Y-con In november werd de fase van brainstormen afgesloten met wederom een rapport. Daarin werden de drie ontwikkelde metaforen gepresenteerd: Lab-Vision, Y-con en Panorama. Waar de eerstgenoemde metafoor was geïn spireerd op het Panorama van Mesdag waren LabVision en Y-con geënt op respectievelijk een planetenstelsel en een bos, waarin je tussen bodem en boomkruin meerdere lagen kunt onderscheiden. Eind november werd, in overleg met opdrachtgever en de begeleiders, gekozen voor de Panoramametafoor. Overigens zijn daarin uiteindelijk verschillende ideeën van de andere metaforen verwerkt, merkt student Hein Bles op. Wanneer het bij een goed uitgewerkte metafoor was gebleven, dan zouden we al heel tevreden zijn geweest, zegt Van Balen van fei Company. De projectgroep ging door met het bouwen van een prototype van een collaborative environment op basis van de Panorama-metafoor. Daarbij werd gebruik gemaakt van scenario s die in een eerder stadium waren ontwikkeld. In zo n gebruiksscenario probeer je je voor te stellen hoe verschillende gebruikers met het systeem omgaan. Je hebt een specialist, een bioloog bijvoorbeeld of een patholoog-anatoom, een microscopist, die het apparaat bedient en een cliënt, die iets met de informatie moet gaan doen, zoals een chirurg of een iemand van een microchipfabriek. Die drie mensen moeten op afstand van elkaar en van de microscoop kunnen samenwerken. Beperkte kracht Een eerste vereiste voor het systeem is dat een aangewezen gebruiker in staat moet zijn om de microscoop op afstand te bedienen. Daarom zal er altijd een microscopist fysiek aanwezig moeten zijn die het apparaat uitlijnt en het monster in de microscoop legt. Maar daarna zou de betrokken onderzoeker in staat moeten zijn om het instrument op afstand te gebruiken, dat wil zeggen de vergroting aanpassen dan wel de positie van de elektronenbundel of het monster te veranderen voor een beter zicht. In de Panorama-metafoor gebeurt de manipulatie met de draaischijf. De vormgeving ervan is zodanig dat de kracht die je er op uit kunt oefenen beperkt is. Alleen de bovenkant draait, zodat je hem alleen met een of twee vingers kunt bewegen. Bovendien blokkeert hij wanneer je de fysieke begrenzingen van de microscoop bereikt. In de tweede plaats moeten gebruikers, zoals gezegd, in staat zijn om gegevens te bewerken en uit te wisselen. Daarbij gaat het niet alleen om de beelden die de elektronenmicroscoop genereert, maar ook om andere data, bijvoorbeeld uit een digitale bibliotheek, die relevant kunnen zijn, zoals het aantal elektronen 2005.1
Interactief tele -samenwerken op de elektronenmicroscoop 7 dat door het monster gaat in een Transmissie Elektronenmicroscoop (tem). Bij de Panorama-metafoor gebeurt dat vooral softwarematig. De elektronenmicroscoop beschikt over een software interface, die hem compatibel maakt met uiteenlopende computersystemen. De Panorama-systemen van de verschillende gebruikers zijn eveneens op elkaar afgestemd, zodat wanneer de ene tele-gebruiker de positie van het monster onder de microscoop verandert, het nieuwe beeld direct zichtbaar wordt voor de anderen. Vanzelfsprekend worden de gegevens ook centraal opgeslagen en beheerd. Met de hand geschreven Tenslotte is belangrijk dat de gebruikers met elkaar kunnen communiceren. Wat dat aangaat is alles uit de kast gehaald. Communicatie verloopt via tekst, beeld, audio en video. Dankzij de huidige breedband-internetverbindingen kan dat allemaal tegelijkertijd. Teksten kunnen worden getypt (daarvoor verschijnt een toetsenbord op het controlescherm), maar worden ook met de hand geschreven. In de notitie-modus functioneren de Panorama aanraakschermen (behalve het controlescherm) als whiteboard waarop iemand zijn ideeën met een tekening of grafiekje kan verduidelijken. Daarnaast kunnen ook de beelden worden voorzien van aantekeningen. De kringeltjes en pijlen blijven bij het beeld en kunnen later ook door andere gebruikers weer worden opgehaald. Potentiële gebruikers blijken de Panorama-metafoor te ervaren als een gemakkelijke en intuïtieve manier om samen te werken bij het bekijken en interpreteren van beelden uit de elektronenmicroscoop. Dat bleek tijdens presentaties in achtereenvolgens Delft en bij fei Company in Eindhoven. Het concept is niet alleen praktisch, maar laat zich ook gemakkelijk uitbreiden, omdat het Panorama in principe uit oneindig veel segmenten kan bestaan. Internationaal bleek er ook veel waardering te bestaan voor het concept. Dat bleek tijdens de Third International Conference on Creating, Connecting, Collaborating & Computing, die eind januari in het Japanse Kyoto werd gehouden en waar de Panorama-metafoor werd gepresenteerd. Het paper, hoewel door de Delftse studenten in recordtijd geschreven, maakte veel indruk. Van Balen: Uit het feit dat de discussie meteen ging over de vraag hoe je het systeem zou kunnen gebruiken, mag je afleiden dat het concept als zodanig meteen voor vol wordt aangezien. Dat lijkt me het grootste compliment dat je als groep ontwerpers-studenten kunt krijgen. Tastbaar product Het motief voor internationale samenwerking was en is, aldus ir. Ernest van Breemen, universitair docent bij de sectie Computer Aided Design & Engineering, dat afgestudeerden later ook internationaal en op afstand samen moeten werken. Kenmerkend voor het studie-onderdeel is verder dat we de studenten ondersteunen met kennisoverdracht die op het project is toegesneden. Daarnaast richten we, samen met het bedrijf dat de opdracht geeft, een virtuele onderneming op, die tot doel heeft om een tastbaar product te realiseren. Dat laatste blijkt enorm motiverend. Het vooruitzicht dat de hele groep een week bij elkaar komt om een prototype te bouwen, blijkt een enorme stimulans om de problemen die je tegenkomt bij internationale samenwerking, zoals een moeizame communicatie, te overwinnen. Bij de collaboratieve omgeving wordt altijd met twee handen gewerkt: de ene hand aan de controleschijf en de andere hand op de vier aanraakschermen om te schrijven, omcirkelen, aan te raken etc. Dit om het gebruik te optimaliseren, en de kans op RSI te verkleinen. Voorbeeld van de Panoramamodus, waarbij duidelijk te zien is hoe de segmenten in het horizontale vlak bewegen. Deze modus biedt ook de mogelijkheid om de segmenten en functies te ordenen. In de Notitie-modus kan met een speciale pen op de vier aanraakschermen aantekeningen en berichten worden geschreven, die ook alle andere ingelogde gebruikers instantaan kunnen lezen. Het omcirkelen en aanwijzen op beelden is wat een panel van potentiële gebruikers erg waardeerden. De Manipulatie-modus biedt de mogelijkheid om de microscoop te besturen en om elk geselecteerd beeld uit de bibliotheek, danwel een direct microscoopbeeld te bewerken. Europese Product Realisatie Het in bijgaand artikel beschreven project is een pilot, uitgevoerd in het kader van de nieuwe opzet van het Integral Design Project, een verplicht studie-onderdeel voor IO-studenten aan de TU Delft. Een klein aantal van de 400 studenten die elk jaar dit onderdeel volgen, krijgt de gelegenheid om samen te werken met studenten van universiteiten elders in Europa, vertelt Van Breemen van de Faculteit Industrieel Ontwerpen. De internationale samenwerking, Global Product Realisation, is vijf jaar geleden opgezet door prof. Imre Horváth. In eerste instantie met de universiteiten van Michigan en Seoul, maar vanwege hoge (reis)kosten van intercontinentale samenwerking, is het speelveld beperkt tot Europa, meer in het bijzonder de in het artikel genoemde universiteiten van Londen en Lausanne, aangevuld met die van Ljubljana en Zagreb. De onderliggende structuur van het dataverkeer van de collaboratieve omgeving, in een configuratie met twee externe gebruikers, een database, een website en een elektronenmicroscoop.