OPLEIDEN VIA VIRTUELE REALITEIT. 14/05/2019 Onderzoekscoördinator Grafische & Digitale Media

Transcriptie

1 OPLEIDEN VIA VIRTUELE REALITEIT Navorming PVI Dr. Silvia Van Aken 14/05/2019 Onderzoekscoördinator Oostmalle Grafische & Digitale Media

2 >Hoe immersie creëren? Multidisciplinair PWOproject ( )

3 Integrale Veiligheid (nieuw onderzoeksproject ) Q Grafische & Digitale Media Bachelor proeven Survey over 360 video Project week Graphic Design Voyage, Voyage Koninklijke Academie voor Schone Kunsten Elektronica- ICT MNM Radio Event Let s Get Digital EPS (European Semester Project) ATV Debate 360 live stream Masterclass Don t Look Back Bachelorclass Dive into my world International Week Multidisciplinary Research Common Ground Ritually Immersed Koninklijk Conservatorium Poetry in 360 User testing interview in 360 Journalistiek Management & Communicatie

4 Wie heeft al een VR-ervaring gehad?

5 Wat is VR? 360, VR, AR, MR = XR VR en training? Voordelen? Beperkingen? Inhoud VR en veiligheid? Praktisch? Content? VR-bril? Demo? Discussie? Vragen?

6 Wat is VR? extended Reality (XR) = verzamelnaam voor: 360 foto (virtuele tour) 360 video VR AR MR = immersieve media Terminologische onduidelijkheid!

7 360 -foto kenmerken: panoramische foto: 360 stilstaand beeld simulatie van kijkstandpunt van fotograaf (beeld omringt kijker) toepassingen: Google Street View, virtual tours, bekijken via laptop, smartphone, tablet (soms HMD)

8 360 -video kenmerken: meestal gecapteerd: 360 -camera (soms CG) gebruiker = geïmmerseerde toeschouwer, niet mobiel (interactie beperkt tot kijkrichting) wide FOV: 360 in 1st person POV (kijkrichting beperkt tot oog van camera) bekijken via HMD en 360 video players (Youtube, Vimeo) (desktop, smartphone, tablet) zowel monoscopisch als stereoscopisch

9 Virtual Reality (VR) kenmerken: computer-gegenereerde omgeving of gecapteerd via 360 -camera (voorlopig: CG > live-action) gebruiker is actieve participant: interactie tussen (mobiele) gebruiker en omgeving wide field of view (FOV): 360 in 1st person POV via HMD (Head Mounted Display) (3D) stereoscopische display (2 inputs) low latency head tracking telepresentie (gaming, simulaties)

10 Virtual Reality (VR) The Sword of Damocles: eerste HMD, door Ivan Sutherland (1968)

11 VR vs video,,think of it like this with 360 video, you re in the passenger seat of a car. The driver represents the filmmaker, who creates a stunning experience and invites you along from the ride. You can look around from your seat and enjoy the curated scenery. With VR, you are behind the wheel, deciding where you want to go. Dana Cacciatore, Vimeo

12 VR vs video

13 Augmented Reality (AR) kenmerken: live (direct of indirect) beeld van de werkelijkheid, waaraan elementen worden toegevoegd door een computer toegevoegde realiteit of verhoogde werkelijkheid: breidt de perceptie van de werkelijkheid uit met een virtuele laag voornamelijk via smartphone, tablet maar ook AR Glasses (bijv. Google Glass)

14 Mixed Reality kenmerken Green screen: mixed-reality studio Gewone of 360 camera! Innovatieve techniek: magie, kijker meer betrekken bij VR. 3e persoon POV: speler in de virtuele wereld plaatsen. Objecten scannen: ook in virtuele wereld inlassen.

15 VR en training? Hoe VR inzetten in onderwijs? Voordelen? Beperkingen?

16 Voordelen VR overstijgt 2D-omgeving (tekst, boek, web) => 360 ruimte Plaatsen verkennen (gevaarlijk, onbereikbaar) Real-life ervaring simuleren => immersie Empathiemachine (inleving in iemand anders) Motivatie

17 Typologie immersie Strategische immersie: focus op strategische doel (bijv. opdracht), omgeving verdwijnt Tactische immersie: focus op interactie met andere spelers, regels spel; lijkt op vorige Ruimtelijke immersie: telepresentie, belang van technische & inhoudelijke aspecten (bijv. verhaal, doel) Narratieve immersie: onweerstaanbare drang om plot te ontdekken, kan in uiteenlopende media

18 Immersieniveau s Immersieniveau Betrokkenheid kijker Obstakels/Voorwaarden Niveau 0: realiteit Niveau 1: involvement Niveau 2: engrossment Niveau 3: total immersion Geen betrokkenheid Totaal bewust van omgeving Betrokken, maar bewust van omgeving Diepe belangstelling Zen-toestand (automatisme) Totale loskoppeling van omgeving Verlies tijd & plaats =zelden & vluchtig (enkele seconden) Obstakel: geen narratieve prikkels Obstakel: weinig narratieve prikkels, audiovisuele verwachtingen Voorwaarde: goede verhaalconstructie Voorwaarde: empathie & atmosfeer (moet niet realistisch zijn)

19 Empathiemachine Campagne tegen cyberpesten (BP van Tom Franck)

20 Beperkingen Niet voor alles geschikt => ATV-debat Individuele beleving ( eenzaam ) => social VR Interactiviteit voorlopig technisch moeilijk haalbaar Geavanceerde content => duur Soms fysieke nadelen: duizelig, misselijk, bril

21 ATV debat

22 VR-brillen (leveranciers) PC gebaseerd High-end graphics Positietracking Interactieve toepassingen Meekijken (scherm) Gebruikerstesten (kijkgedrag meten) Duur (high-end PC) Kabels & sensoren Grote, vaste ruimte

23 HTC Vive VR-bril Controllers Sensoren (op statieven)

24 Smartphone gebaseerd Goedkoop Weinig voorkennis Geen PC nodig Mobiel (overal) Beperkte graphics Onhandige bediening Beperkte tracking Weinig interactief 1 smartphone/bril

25 Stand alone Goede graphics Smartphone (alleen voor instelling) Controller Weinig tracking Weinig interactief

26 Controllers: objecten in VR

27 Gloves: handtracking + haptic

28 Teslasuit Smart suit: VR/AR/MR Haptic feedback Climate control Full body motion tracking (avatar) Biometric feedback (AI)

29 VR-platformen Waar vind je goede VR-content? WebVR (VR): websites (VR-enabled web browsers) Leveranciers (VR, 360 video): Oculus, Cardboard, Steam (Vive) Video platformen (360 video): Vimeo 360, YouTube 360 Virtual tour (360 foto): Facebook 360, Kuula, VeeR VR

30

31 OCULUS DASH Vervangt PC monitor door VR Oculus rift + keyboard

32

33 VR-platformen Wat zijn social VR-platformen? ( metaverse, avatars ) ChatVR: games => yoga, dans (full-body tracking) (Steam) Sansar: second world (Second Life) (desktop & VR) Spaces (Facebook): hangout room (Oculus Rift) Facebook content, VR selfies, design tool (3D objecten), videocall (geen VR-bril!) AltspaceVR (Microsoft): unieke virtuele ervaringen (Steam) (MR) Live events (panel verkiezingen), performances (poëzie, stand-upcomedy) & co-creation Big Screen: virtuele living/kantoor (Oculus, Steam) Hangout (films kijken, multiplayer games, webbrowser) & samenwerking

34

35

36 Discover and attend events

37

38 VR en veiligheid? Geen sectoraal VR-platform voor training! OneBonsai: Fire subway simulator Nanopixel: Elektrische installatie Sientient: Working at heights (oil & gas) B.U.T: Working at heights + Caterpillar machine

39 Subway fire simulator

40 Fire training Training in VR: subway fire Reageren op verschillende brandtypes Verschillende scenario s oefenen in de ruimte Evaluatie: reacties tracken

41 Elektrische installatie

42 Working at Heights oil & gas Interactief: risico s identificeren Feedback: real-life consequenties Samenwerking: social VR Platform: VR (HTC Vive) + desktop

43 Working on heights

44 Cat machine

45 VR demo Antigifcentrum (2018, Poppr): Huisje tuintje gifje Virtuele tour: gevaren in woning/tuin 360 foto (geen camera) Navigeren door ruimte (click points) of teleporteren naar hotspot (menu) Geïntegreerde tekst (extra info: gevaar, preventie, tips, embed links) Geïntegreerde video op TV-scherm (extra info) Demo: tablet

46

47 Vlaamse Stichting Verkeerskunde (2018, Fisheye): VR-Mobiel 360 video (afleiding achter stuur) Simulator met actie (remmen of niet) 2 verschillende verhaallijnen (einde) Site:

48

49 Caterpillar machine (2016, BUT): Cat VR learning VR-demo op beurzen Onbereikbare plaatsen verkennen VR demo voor salescontact + instructies voor technisch personeel Oculus Go demo

50 Hoe navigeren door demo? Met het geel bolletje kijken naar navigatieknop DEMO - Cat machine

51 Hoe navigeren op Oculus? Straal van controller richten op Library + klik op Trigger

52 Let s Go Virtual Onderzoeksproject AP ( ): VR-lessen Integrale Veiligheid VR simulator: Training in gevaarlijke situaties Discussie & vragen Welke cases? Algemeen: gevaren (schade of letsel)? risico s? preventie? Sectoren: bouwwerf (werken op hoogte, brandveiligheid, chemische producten, )

53 VR training rond veiligheid? 1. Opdrachten differentiëren (herhaling? moeilijkheid? tijd?) 2. Informatie op diverse manieren aanbieden (VR, tekst, foto, video) 3. Steun hoogwaardige simulatie (hoogste immersieniveau?) => kalm blijven bij echt gevaar 4. Actie vraag antwoord, informatie verwerking (observatie: risico? preventie? reactie? gevolgen?)

54 Immersive Lab Kenniscentrum voor immersieve media (AP) Green screen (MR studio) Postproductie User testing Onderzoek, advies, training (VR, AR, XR, AI)

55 Silvia Van Aken Onderzoekscoördinator Grafische & Digitale Media/ Onderzoeker Immersive Lab (Campus Spoor Noord, Ellermanstraat)