AUGMENTED REALITY. Zien is geloven!

Transcriptie

1 AUGMENTED REALITY Zien is geloven! Team e-learning Samenstelling Ferry van Vliet 19 juli 2017

2 Inhoud Samenvatting... 3 Wat is augmented reality?... 3 Hoe werkt Augmented Reality?... 4 Waarom wordt Augmented Reality gebruikt?... 4 Diverse vormen Augmented Reality... 4 Augmented Reality met Markers... 4 Augmented Reality en GEO-positie... 5 Augmented Reality met Infrarood en dieptecamera's... 5 Augmented Reality en gezichtsherkenning... 5 Augmented Reality en objectherkenning... 5 Augmented Reality en giroscoop... 5 Augmented Reality in het onderwijs... 5 Eye catching presentaties... 5 Interactieve lessen... 6 Portable en relatief goedkoop lesmateriaal... 6 Beter begrip... 6 Bevorder intellectuele nieuwsgierigheid... 6 Wat is het verschil tussen Virtual- en Augmented reality... 6 Betekenis virtual reality... 6 Virtual versus augmented reality... 7 Toepassing VR en AR... 7 Augmented Reality in het HagaZiekenhuis... 7 Aurasma... 7 Tot slot

3 Samenvatting Augmented Reality (AR) is een methode om digitale informatie toe te voegen aan de werkelijke wereld. Je kunt AR beleven via een smartphone, tablet app of zogenaamde smart-glasses. AR kan kosten besparen omdat content éénmalig wordt gemaakt en vele malen kan worden gedeeld. Er zijn verschillende soorten AR. AR kan worden toegepast in het onderwijs en voor de student gaat er een volledig nieuwe wereld open, een wereld van beleven, het stimuleren van nieuwsgierigheid en vooral ontdekken. Het onzichtbare zichtbaar maken. Het is goed wel mogelijk dat AR zich verder ontwikkelt tot een van de belangrijkste toevoegingen aan de menselijke zintuiglijke waarneming en beleving. Wat is augmented reality? Volgens Tim Cook de CEO van Apple wordt Augmented Reality net zo belangrijk als de uitvinding van de smartphone (2017). Om de vraag Wat is augmented reality? zo goed mogelijk te beantwoorden, is het misschien handig om te kijken naar de letterlijke vertaling. In het Nederlands betekent augmented reality letterlijk: verrijkte werkelijkheid of toegevoegde werkelijkheid. Het is dus een mix van de realiteit met een virtuele toevoeging of verrijking. In de praktijk komt het er op neer dat er extra digitale content wordt toegevoegd aan het gezichtsveld. Om deze virtuele content te kunnen zien, hebt je als gebruiker technische hulpmiddelen zoals een camera en een display met touchscreen nodig zoals een smartphone, tablet of speciale AR-bril. Dit geeft kernachtig weer dat de techniek de realiteit verrijkt met digitale informatie en hier iets aan toevoegt. Je zou het zelfs kunnen betitelen als een toevoeging op de menselijke zintuigelijke waarneming. Augmented Reality is dus een methode om digitale informatie toe te voegen aan de werkelijke wereld en die de realiteit en de virtuele wereld met elkaar verbindt. Een goed voorbeeld hiervan is een makelaar die met een klant naar een lege bouwkavel gaat. Het terrein zelf is de werkelijkheid en de makelaar voegt hier een virtuele laag aan toe in de vorm van een projectie van het huis dat er in de toekomst gebouwd gaat worden. Dit kan bijvoorbeeld op het scherm van een smartphone of met behulp van een speciale AR-bril. Note: Als in dit stuk smartphone wordt genoemd wordt daarmee ook de tablet bedoeld, AR staat voor Augmented Reality. Wat kun je met Augmented Reality? Je kan kosten besparen omdat content éénmalig wordt gemaakt en vele malen kan worden gedeeld. AR kan worden toegepast in trainingen, de uitleg van complexe processen en handelingen kunnen visueel worden uitgelegd, het kan deel uitmaken van e-learning en is toepasbaar in magazijnbeheer, gezichtsherkenning, real-time feedback i.c.m. smartglasses in de industrie, hulp op afstand (meekijken), om metingen te verrichten (afstand, omtrek of complexe volume metingen) uiteraard games en entertainment en voor marketing doeleinden enzovoort. Zo goed als alle digitale media zijn te gebruiken binnen Augmented Reality. Dit kunnen dus 3D modellen zijn, grafisch materiaal, video's, tekst als ook audio of GPS-gegevens en haptische feedback (communicatie met de gebruiker door middel van vibratie, beweging of het uitoefenen van kracht). Je kunt er bijvoorbeeld beeldmateriaal in tijdschiften video's en foto's (en andere plaatjes) mee augmenteren. De mogelijkheden zijn bijkans eindeloos te noemen. 3

4 Hoe werkt Augmented Reality? Je kunt Augmented Reality dus beleven via een smartphone, tablet app of zogenaamde smart-glasses, HMD (Head Mounted Display) zoals een Hololens van Microsoft en de "oude" Google glass. maar ook via reguliere desktop computers. Het totstandkomingsproces van augmented reality bestaat feitelijk uit vier stappen: 1. Van te voren worden eerst zogenaamde trigger objecten (het eigenlijke object of de echte omgeving die moet worden augmented ) in een app vastgelegd. 2. Vervolgens worden de (van te voren ontwikkelde informatie laag) overlay objecten via speciale AR software opgeslagen. In sommige vormen van AR wordt het object of de omgeving gescand om positionering van de virtuele laag te kunnen bepalen. Dit wordt gedaan met visuele markers of trackingtechnologie zoals laser, infraroodsensoren of GPS. 3. Daarna worden het werkelijke object -de trigger- en de virtuele laag -de overlay objecten- met elkaar gekoppeld. Via de software kunnen verschillende effecten aan het tonen van de overlay objecten worden toegevoegd. 4. Tenslotte, via gebruik van een app, projecteert het augmented reality systeem met gebruik van de camera in de smartphone op basis van beeldherkenning, objectherkenning, Geo-positie (GPS), QR-codes, bewegingen, audio, thermografie en kleurherkenning een virtuele overlay van content over het real-life object. Zodoende verrijkt het beeld dat je camera ziet een object met extra informatie, de virtuele overlays. De techniek lijkt op het gebruik van QR-codes. Het geaugmenteerde beeld heeft dus altijd een oppervlak nodig om tot leven te kunnen komen. Dat betekent dus bij een HMD een brilglas en bij de smartphone het beeldscherm. In de toekomst kan er wellicht een lens komen, een implantaat of er zijn zelfs beweringen van het direct implanteren in de zenuwbanen zodat er meer zintuigen bij de Augmented experience wordt betrokken. Waarom wordt Augmented Reality gebruikt? De Augmented Reality technologie kan ervoor zorgen dat toegevoegde informatie op een intuïtieve manier wordt weergegeven en er interactief mee omgegaan wordt. Denk hierbij aan instructies bij trainingen hoe je met een bepaald apparaat moet werken of hoe de binnenkant van een motor er uit ziet. Diverse vormen Augmented Reality Er zijn grofweg 3 vormen van Augmented Reality: 1. Bij de "spiegel" vorm kijkt de gebruiker naar een beeldscherm waarin hij/zij zichzelf ziet, samen met het Augmented Reality model. Zowel de gebruiker als het digitale model bevind zich aan dezelfde kant van het beeldscherm. 2. Bij het "lens" model is er een (beeld)scherm waarop je het AR model kunt zien. Hierbij bevind dit scherm zich tussen de gebruiker en het AR model. Dit oppervlak kan naast een beeldscherm van een smartphone bijvoorbeeld ook een AR bril zijn (Vuzix / Microsoft Hololens), maar meestal zijn het AR apps die je op je smartphone kunt beleven. 3. Het belangrijkste kenmerk van ruimtelijke Augmented reality is dat het object met een fysiek object wordt gecombineerd. De meest bekende is Projection Mapping (of 3D Video mapping). Zoals projecties op gebouwen en andere objecten. Augmented Reality met Markers Op dit moment heb je een app op een smartphone of HMD nodig. Die app op de smartphone kan via de camera een plaatje herkennen (beeldherkenning). Deze vorm van beeldherkenning noemen wij een "marker" of "reference image". Op dit plaatje wordt bijvoorbeeld een 3D beeld, video, tekst een website enz. enz. getoond. 4

5 Augmented Reality en GEO-positie Je kunt augmented reality ook tonen op basis van bijvoorbeeld Geo-positie (denk aan Pokemon Go), de positie in een digitaal afgekaderde gegeven ruimte bijvoorbeeld met behulp van beacons. (demo in het innovatielab van firma Touchless). Augmented Reality met Infrarood en dieptecamera's Je kunt tegenwoordig ook Augmented Reality zien met behulp van een tevoren uitgevoerde scan van de omgeving. Dit gebeurd met infrarood in combinatie met dieptecamera's (dept of field). Dit doet de Hololens van Microsoft, maar ook de HTC Vive maakt hier gebruik van. Augmented Reality en gezichtsherkenning Augmented Reality manifesteert zich ook in combinatie met gezichtsherkenning zoals snapchat en Msqrd (Filters voor selfies). Gezichtsherkenning is iets anders dan gezichtsidentificatie (!). Maar het zal niet lang op zich laten wachten totdat gezichtsidentificatie wordt gecombineerd met AR. Denk aan politie en hulpdiensten die beelden via camera s of smart glasses zien en er grafisch materiaal als laag overheen te zien krijgen met informatie of instructies. Augmented Reality en objectherkenning Objecten kunnen ook een "trigger" zijn om geaugmenteerd materiaal te tonen. Denk hierbij bijvoorbeeld aan het menselijk lichaam: je kijkt via een device (smartphone of HMD). Vervolgens zie je hoe de organen van binnen werken door een overlay te maken met geanimeerd 3D materiaal. Augmented Reality en giroscoop Augmented Reality kan ook zonder markers (marker less) werken, dan heb je dus een transparant digitaal beeld op een oppervlak of (beeld) scherm. Hiervoor is dan wel een Giroscoop nodig, als het apparaat dat je gebruikt niet begrijpt wat de positie van het scherm is ten aanzien van de werkelijke omgeving. Omdat het anders dan niet iets kan tonen "alsof" het onderdeel uitmaakt van die omgeving. Augmented Reality in het onderwijs Door het toepassen van Augmented Reality in het onderwijs gaat er voor de student een volledig nieuwe wereld open, een wereld van beleven, het stimuleren van nieuwsgierigheid en vooral ontdekken. Het onzichtbare zichtbaar maken. Zien is beleven! De technologie maakt opleidingen en trainingen levendiger, duidelijker en veelzijdiger. Een student of cursist kan een bepaald onderwerp, concept, oefening of project net zo lang en net zo vaak oefenen totdat hij of zij de materie beheerst. Dit zou in een real-world opleidingsscenario een stuk minder eenvoudig zijn omdat in AR veel meer details getoond kunnen worden waardoor de leerstof makkelijker te begrijpen is. Een thoraxchirurg in opleiding kan een hartoperatie met AR net zo vaak doen als nodig is om bepaalde handeling onder de knie te krijgen. Eye catching presentaties Door Augmented reality in een scholing te integreren bewerkstellig je een veel betere aandacht van de studenten. Bijvoorbeeld, een docent tandheelkunde kan AR integreren in zijn lessen om 3D-modellen van het gebit te tonen en bijvoorbeeld tandheelkundige handelingen te laten zien. 5

6 Interactieve lessen Studenten zijn in staat om op hun eigen device modellen en animaties te bekijken via Augmented app s. Bij het zelf bekijken van gedetailleerde modellen kan de student een beter begrip krijgen van de concepten die ze bestuderen. Door de interactiviteit is dit een leuke manier om studenten te betrekken in de colleges en daardoor de leercurve te verhogen. Portable en relatief goedkoop lesmateriaal Prototypes, fysieke modellen, gedetailleerde illustraties en posters zijn vaak duur. Onderwijsinstellingen hebben vaak onvoldoende budget om deze dure leermiddelen te kopen. Daarnaast slijten deze leermiddelen, verliezen hun actualiteit of raken zelfs kwijt. Met Augmented Reality hoeft niet te worden geïnvesteerd in fysieke materialen. Studenten kunnen digitale toegang krijgen tot modellen. Vanaf elke device op elke plek. Of dit nu thuis of in de klas is, de student kan op elk moment het lesmateriaal bestuderen door interactie. Beter begrip Een scan met z n eigen device geeft de student toegang tot AR modellen. Van de anatomie van het menselijk lichaam tot uitgebreide architectonische modellen van bouwwerken. Zo kunnen studenten direct toegang krijgen tot websites met aanvullende informatie of animaties. Bijvoorbeeld door het scannen van een hart krijgt de student toegang tot gedetailleerde informatie van hartdetails en de werking. Dit zorgt voor een hogere leercurve met als resultaat dat bij studenten de kennis beter beklijft. Bevorder intellectuele nieuwsgierigheid Door de integratie van AR zullen studenten enthousiast worden om te leren. De student, geboren in het digitale tijdperk, zal steeds worden gestimuleerd door nieuwe ideeën. De toepassing van AR stelt de student in staat om nieuwe interesses te ontdekken en ze te inspireren voor hun verdere loopbaan. Wat is het verschil tussen Virtual- en Augmented reality Naast Augmented Reality bestaat er ook Virtual Reality. Beide hebben inmiddels vaste grond onder de voeten gekregen in het digitale landschap. Steeds meer organisaties maken gebruik van deze innovatieve digitale technologieën. Maar wat is het verschil en overeenkomst tussen deze beide technieken? Betekenis virtual reality Bij het begrip virtual reality (VR) zit de betekenis al in de naam opgesloten. Bij deze digitale technologie wordt een virtuele werkelijkheid gecreëerd. Door de zintuigen te manipuleren ervaar je als gebruiker deze schijnwerkelijkheid als een nieuwe realiteit waarin je je daadwerkelijk voortbeweegt. Je ziet, hoort, voelt en beleeft deze nieuwe wereld om je heen. Bovendien ben je in staat om interactief veranderingen aan te brengen. Bijvoorbeeld door op een knop te drukken of een hendel te bewegen. Voor deze manipulatie moet je, behalve een display, ook beschikken over speciale VR-apparatuur zoals een bril, afstandsbediening of handschoenen. 6

7 Virtual versus augmented reality Bij virtual reality creëren we een schijnwereld die afgesloten is van de echte wereld. Via manipulatie van de zintuigen krijg je bijvoorbeeld toegang tot levensechte prototypes of producten. Deze realistische voorstelling voorkomt dat je kostbare testmachines of showroommodellen moet laten maken. Bij augmented reality lopen deze 2 werelden geruisloos in elkaar over. Als gebruiker acteer je gewoon in het dagelijks leven. Via jouw smartphone of tablet vindt er vervolgens een interactie plaats met de virtuele laag die over de werkelijkheid wordt geprojecteerd. Zo tover je in een handomdraai een braakliggend perceel om in een droomhuis of kantoorpand. Of je projecteert het nieuwe Feijenoord stadion langs de Maas. Toepassing VR en AR Augmented en virtual reality hebben de toekomst. En die toekomst begint nu al. Een sprekend voorbeeld van de toepassing van augmented reality is de verrijking van het jaarboek van de TU/e met extra content. Via een speciale app scan je de foto s in het jaarboek in. Vervolgens verschijnen op het beeldscherm van jouw smartphone video s van het wereldkampioenschap voetbal voor robots. Of je ziet een bouwtekening van de bekroonde zonneauto die studenten van het Solar-team van de TU/e ontworpen hebben. Of breng je met Augmented Reality statisch drukwerk tot leven, bekijk je een filmtrailer op een poster, ontdek je restaurants en bezienswaardigheden in je omgeving of ervaar je digitale 3D in de echte wereld. Richt de camera bijvoorbeeld op een huis voor je en de app vertelt je alles wat je moet weten zoals of het te koop is, voor welke prijs, hoeveel kamers er zijn enz. Ook de enorme hype Pokémon Go is een spel dat gebruik maakt van AR door de realiteit en digitale content met elkaar te combineren. On boarding van assistent artsen in het Haga Ziekenhuis waarbij via herkenbare images opdrachten worden gegeven voor het lopen van een route en onderweg een pas wordt gemaakt, bedrijfskleding wordt gehaald enz. enz. Augmented Reality in het HagaZiekenhuis Op dit moment wordt er door het team e-learning geëxperimenteerd met een tool Aurasma. Dit is een verkennende exercitie om meer ervaring met AR op te doen. Het is de bedoeling om een samenwerking met het Innovatielab aan te gaan om dit gebied in een bredere zin binnen het HagaZiekenhuis te gaan gebruiken. Wil je Augmented Reality werkend zien vraag dan aan Ferry om een korte demonstratie. Aurasma Aurasma is een techniek waarmee men een nieuwe (virtuele) dimensie kan toevoegen aan statisch beeldmateriaal. Het idee is eenvoudig: je voegt een afbeelding toe aan een afbeelding van een plaatje, een stukje tekst of een grafiek in het boek en daar koppel je dan een actie aan. Die actie kan zijn het weergeven van een andere afbeelding. Ook is het mogelijk om een video met uitleg of toelichting te laten starten, of grafische beelden, animaties, video, audio, 3D elementen, websites enz. Je maakt een zogenaamde Trigger-afbeeldingen. Door je smartphone erop te richten start er een filmpje. Hiervoor is het wel noodzakelijk dat op je smartphone de app. Aurasma is geïnstalleerd én dat je (bij voorkeur via WiFI) bent verbonden met het Internet! 7

8 Tot slot Tot voor kort werd augmented reality gezien als een gimmick interessante technologie maar zonder zinvolle toepassingen. Maar nu grote bedrijven zoals Google, Qualcomm en Canon evenals startups fors investeren in AR projecten, kunnen we binnenkort belangrijke AR producten verwachten die klaar zijn voor inpassing in bijvoorbeeld scholingen. De voordelen voor het bedrijfsleven en organisaties zoals het HagaZiekenhuis worden steeds duidelijker en deskundigen zijn van mening dat augmented reality een grote rol gaat spelen in de consumenten-, mobiele-, productie-, medische, auto-industrie en het onderwijs. 8