ARt. Hoe kan Augmented Reality bijdragen aan de immersiviteit van video-installatiekunst?

Transcriptie

1 ARt Hoe kan Augmented Reality bijdragen aan de immersiviteit van video-installatiekunst? Student: Martijn van der Wielen Opleiding: Communication and Multimedia Design Instelling: Avans Hogeschool, Breda Cohort: 2005/2006 Studentnummer: Docente: Caroline Maessen Datum: 23 oktober 2009

2 Inhoudsopgave Inleiding 1 Hoofdstuk 1: Augmented Reality 1.1 Inleiding De huidige technieken die Augmented Reality mogelijk maken Beeldschermen Tracking instrumenten Rendering Interfaces en interactie Huidige toepassingen van Augmented Reality 8 Hoofdstuk 2: Video-installatiekunst 2.1 Inleiding De geschiedenis van de videokunst Conclusie 14 Hoofdstuk 3: Immersiviteit 3.1 Inleiding Immersion Factoren die invloed hebben op de mate van immersiviteit Hypermediacy en Transparent Immediacy Immersie en Virtual en Augmented Reality Samenvattend 18 Hoofdstuk 4: Video-installatiekunst en Immersiviteit 4.1 Inleiding Bill Viola Julia Scher Context, tijd, deelname en transparantie Conclusie 23 Hoofdstuk 5: Augmented Reality, Video-installatiekunst en Immersiviteit 5.1 Inleiding Augmented Reality, Video-installatiekunst en Immersiviteit Context Tijd Deelname Transparantie 26 Hoofdstuk 6: Conclusie 6.1 Hoe kan Augmented Reality bijdragen aan de immersiviteit van video-installatiekunst? Technologische ontwikkelingen Toekomst van de video-installatiekunst 28 Literatuurlijst 30

3 Inleiding In onze huidige maatschappij is de media niet meer weg te denken uit ons gezichtsveld. Overal waar je bent wordt je constant bestookt door communicatieve prikkels. Veelal wordt de media ingezet als zender van informatie, reclame en entertainment. Maar de media kent ook een andere kant: de kunst. Met de komst van vernieuwende technieken komen we in aanraking met nieuwe media. Ook in de kunstwereld heeft men te maken met nieuwe mediavormen, denk bijvoorbeeld aan de videokunst, mogelijk gemaakt door de komst van handzame videocamera s en pc s waarop de kunstenaar zijn videobeelden kan bewerken. Een techniek die nog maar amper het levenslicht heeft gezien is Augmented Reality (AR). Augmented Reality maakt het mogelijk een virtuele beeld te leggen over de realiteit, en brengt hiermee een mix tussen werkelijkheid en virtuele beelden. Omdat deze techniek nog vrij nieuw is en zich nog dagelijks doorontwikkelt, is het een medium dat zijn intrede in de videokunst nog nauwelijks heeft gemaakt. Ik heb gekozen om de toepassingen van Augmented Reality aan de videokunst te koppelen, omdat dit een kunstvorm is die, mede door het gebruikte medium, altijd in beweging is en zichzelf altijd zal blijven vernieuwen. Deze vernieuwingen worden vaak teweeggebracht door nieuwe technieken. Binnen de discipline van de videokunst ga ik nader in op de video-installatiekunst. Dit is een vorm van videokunst waarbij de kijker actief betrokken wordt. Daarnaast hebben deze installaties van nature vaak al immersieve kwaliteiten. Immersie is een proces waarbij de kijker zo opgaat in het werk dat deze als ware wordt ondergedompeld in het gepresenteerde verhaal. In deze scriptie wil ik gaan onderzoeken hoe Augmented Reality kan bijdragen aan de immersiviteit van video-installatiekunst. Met andere woorden: ik wil onderzoeken wat Augmented Reality precies inhoudt, in welke richting deze zich ontwikkelt, en op welke manieren ze kan worden toegepast. In dit geval: hoe AR kan worden toegepast op video-installatiekunst, teneinde de immersiviteit van de installaties te bevorderen. Hoe kan Augmented Reality bijdragen aan de immersiviteit van video-installatiekunst? Om antwoord te krijgen op deze vraag ga ik onderzoek doen naar een verschillend aantal aspecten. Om te beginnen ga ik uiteenzetten wat Augmented Reality precies inhoudt. Uit welke technieken bestaat AR en hoe wordt het toegepast. Daarna ga ik dieper in op videokunst. In dit geval richt ik mij op video-installaties. De video-installatiekunst is hechter verbonden met nieuwe media dan andere vormen van videokunst; installaties zijn interactief, als gebruiker tast je de context af. Daarnaast berust deze vorm van videokunst voor een veel groter deel op techniek. Technische innovaties maken vernieuwende vormen van deze kunst mogelijk. Verder ga ik in op de term immersiviteit. Hoe kunnen we immersie het beste omschrijven en welke aspecten spelen mee in het creëren van een immersieve ervaring. Tenslotte kijk ik naar de reeds aanwezige immersieve kwaliteiten van videoinstallatiekunst en geef ik in het laatste hoofdstuk antwoord op mijn onderzoeksvraag. Als CMD student ben ik erg geïnteresseerd in nieuwe vormen van media. Augmented Reality is daar een perfect voorbeeld van. Dit in combinatie met mijn fascinatie voor film en video, heeft mij op deze interessante samenwerking tussen de communicatieve kracht van Augmented Reality en videokunst gebracht. Dit onderzoek zal hopelijk een interessante invalshoek voor videokunstenaars bieden. Op de tweede plaats kan deze scriptie een mooi startpunt vormen voor mijn afstudeerproject. 1

4 Hoofdstuk 1: Augmented Reality 1.1 Inleiding Schrijver, spreker en management adviseur Joe Pine II benoemt een achttal verschillende vormen van realiteit die hij het Multiverse 1 noemt. Hierin maakt hij onderscheidt tussen tijd, plaats en materie: 1. Physical World: De echte werkelijkheid, waar tijd lineair is, en ruimte en materie echt zijn. 2. Augmented Reality: De ruimte is echt en bestaat in het hier en nu, maar de materie is een mix tussen werkelijkheid en virtualiteit. 3. Augmented Virtuality: De ruimte is virtueel, maar de materie is echt en tijd is lineair. 4. Warped Reality: De ruimte en materie zijn echt, maar tijd is non-linear. 5. Mirror World: De ruimte en materie zijn virtueel, maar je bevindt je in het hier en nu. 6. Alternate Reality: De ruimte is echt, maar de materie is virtueel en tijd non-linear. 7. Physical Virtuality: Echte materie in een virtuele tijd en ruimte. 8. Virtuality: Ruimte, materie en tijd zijn virtueel. Bovenstaande vormen van realiteit kunnen verwarrend en vervreemdend overkomen door hun theoretische karakter. Warped Reality staat bijvoorbeeld gelijk aan tijdreizen, iets wat (momenteel) onmogelijk is. Desondanks zijn een aantal realiteiten wel degelijk mogelijk. De realiteit die een belangrijke rol speelt in deze scriptie is Augmented Reality. Augmented Reality (AR) beschrijft de situatie waarin de gebruiker zich bevindt in de echte wereld, waar de tijd lineair is en waar in real-time materie van de werkelijke wereld en de virtuele wereld samenkomen. Materie bestaat in onze echte wereld uit atomen, materie uit de virtuele wereld is opgebouwd uit data, waarneembaar in de vorm van pixels op bijvoorbeeld een beeldscherm. Hiernaast zie je een voorbeeld van Augmented Reality. Een kind houdt een Lego doos voor een camera en ziet op het beeldscherm voor hem hoe het product er uiteindelijk uit komt te zien. Het driedimensionale model van de helikopter beweegt mee met de bewegingen van de doos en kan zodoende langs elke kant bekeken worden. Om het begrip Augmented Reality handzaam te kunnen gebruiken in deze scriptie, beschrijf ik deze als volgt: Augmented Reality is een techniek die een virtuele visuele laag over de werkelijkheid heen legt, en zo de werkelijke en de virtuele wereld mixt. Voorbeeld Augmented Reality. Lego Digital Box. ( Bij deze wil ik meteen de kanttekening maken dat ik in mijn scriptie enkel de toevoeging van virtuele audiovisuele informatie behandel. Het waarnemen van materie gebeurt middels zintuiglijke prikkels, welke ook te simuleren zijn door het toevoegen van wind, trillingen, tempratuur, geur en tast; sensorische prikkels die ik in deze scriptie dus buiten beschouwing laat. Augmented Reality is een vrij nieuw begrip, wiens mogelijkheden en toepassingen hevig afhankelijk zijn van technologische ontwikkelingen. Hierdoor is het medium nog lang niet volgroeid. Zo zijn ook de meeste toepassingen waarvoor Augmented Reality wordt ingezet slechts in een experimenteel stadium. Om een goede basis te leggen voor mijn scriptie ga ik in dit hoofdstuk een blik werpen op de huidige technieken die men gebruikt. Vervolgens laat ik toepassingen zien waarbij Augmented Reality wordt ingezet. 1 The Multiverse (the Universe, Augmented Reality and beyond) : verplichte inspiratiekost voor e-marketeers. ( 2

5 1.2 De huidige technieken die Augmented Reality mogelijk maken Augmented Reality berust op een aantal technieken om een virtuele visuele laag over de realiteit te leggen. Technieken die tezamen AR mogelijk maken zijn: beeldschermen, tracking instrumenten en rendering. Daarnaast zijn er interfaces nodig om eventuele interactie te bewerkstelligen. Om dit te verduidelijken zal ik deze termen uitleggen aan de hand van het bovengenoemde voorbeeld van de Lego Digital Box. Dit product werkt als volgt: de camera boven het beeldscherm stuurt een videosignaal van de Lego doos en de omgeving door naar een computer. De computer herkent de Lego doos en analyseert en verwerkt de bewegingen (locatie en oriëntatie) van deze doos. Dit noemt men tracking; het registreren van bewegingen. De computer herkent dit Lego product en zoekt in een database het bijbehorende driedimensionale model hiervan op. Vervolgens wordt er berekend hoe het driedimensionale model er uit moet zien op het beeldscherm, hierbij wordt rekening gehouden met de locatie en oriëntatie. De computer bouwt het beeld puntje voor puntje op, dit noemt men rendering; het opbouwen van een videobeeld door middel van pixels. Dit gerenderde beeld wordt vervolgens op het beeldscherm vertoond in combinatie met het videosignaal dat de camera van de omgeving maakt. Het systeem is constant bezig met het opnieuw tracken, renderen en weergeven van het Lego model. In dit geval bestaat de interface, de manier waarop de gebruiker interactie uitoefent op het systeem, uit de Lego doos die herkenbaar is voor het systeem. Het bewegen van de doos zorgt voor een feedback in de vorm van het meebewegende driedimensionale model. Dit is slechts één voorbeeld van hoe een Augmented Reality systeem in elkaar kan zitten. Maar elk systeem gaat in principe zo te werk. Er vindt interactie plaats door middel van een interface, bewegingen worden getracked en verwerkt, het beeld wordt gerenderd en vervolgens vertoond op een beeldscherm Beeldschermen Er zijn een aantal mogelijkheden om de virtuele materie te visualiseren: Virtual Reality brillen (of HWD; Head Worn Displays), conventionele beeldschermen, mobiele beeldschermen, projectoren en contactlenzen. Virtual Reality brillen Deze beeldschermen worden door de gebruiker op het hoofd gedragen. Er bestaan verschillende soorten VR brillen: optische doorkijk brillen en video doorkijk brillen. De optische variant maakt gebruik van een doorzichtig kijkvlak zoals we die van normale brillen kennen. De virtuele visuele laag komt tot stand door middel van een zwakke laserstraal die het beeld via een spiegel of prisma op de pupil schijnt. Optische doorkijk bril. Vuzix. ( De video doorkijk brillen maken gebruik van een ondoorzichtig kijkvlak wat bestaat uit een LCD scherm (Licquid Crystal Display). Een camera bevestigd aan deze bril stuurt een real-time opname van de omgeving door, welke gebruikt wordt als achtergrond voor de virtuele laag. Dankzij technische ontwikkelingen worden dit soort brillen steeds kleiner, lichter en bovendien hoogwaardiger van beeldkwaliteit, waardoor de gebruiker idealiter niet meer doorheeft deze techniek bij zich te dragen. Video doorkijk bril. Sensics. ( 3

6 Conventionele beeldschermen Een andere techniek om beeld weer te geven is het gebruik van conventionele beeldschermen in combinatie met een camera. Zo kun je via een webcam op je computer een real-time opname van je omgeving doorsturen die gemixt wordt met virtuele beelden. Naast de conventionele beeldschermen heb je tegenwoordig ook beeldschermen die verwerkt zijn in spiegels. De spiegel reflecteert de omgeving zoals we gewend zijn en het geïmplementeerde beeldscherm voegt hier een virtuele laag aan toe. Mobiele beeldschermen In tegenstelling tot de conventionele beeldschermen, die zeer beperkend zijn met betrekking tot de locatie, maken mobiele beeldschermen het mogelijk AR mee te nemen naar buiten. Zo bestaan er LCD schermen met ingebouwde camera die de gebruiker overal mee naar toe kan nemen. Het principe is het zelfde als bij conventionele beeldschermen, de camera zorgt voor een opname van de omgeving die vervolgens gemixt wordt met virtueel beeld. Tegenwoordig is deze techniek zeer toegankelijk gemaakt voor de gebruiker. Zo bestaan er applicaties die je mobiele cameratelefoon benutten als mobiel beeldscherm. Projectie beeldschermen Bij deze variant wordt het beeld door middel van een beamer geprojecteerd op een projectiescherm of op objecten die zich in de ruimte bevinden. Zo kan bijvoorbeeld een virtuele laag direct op het desbetreffende object geprojecteerd worden. Ook bestaat er een speciaal reflectief materiaal dat alleen licht terugkaatst naar de positie waarvan het licht oorspronkelijk kwam. Zo kunnen meerdere gebruikers tegelijkertijd, vanuit verschillende hoeken een andere virtuele laag op één en hetzelfde object zien. Een andere vorm van projectie is de Cave Automatic Virtual Environment (CAVE). Dit is een ruimte waarbij meerdere beamers de wanden, vloer, en plafond van beeld kunnen voorzien door langs de buitenkant hiervan het beeld te projecteren. Hoewel de CAVE eigenlijk bedoeld is voor Virtual Reality is deze toch het noemen waard, omdat de CAVE grote resultaten heeft geboekt op het gebied van immersiviteit. Projectie op object. Talking Head 2 (Theo Botschuijver). ( Ook bestaat er een variant waarbij je door middel van (meerdere) krachtige beamers een onregelmatig object kunt voorzien van een virtuele laag. Denk hierbij aan het projecteren op bijvoorbeeld gebouwen en andere grote objecten met een onregelmatige structuur. Tenslotte zijn er mobiele beamers die de gebruiker op zijn lichaam mee kan dragen. Dankzij deze vorm van projectie kan de gebruiker overal gebruik maken van AR. Contactlenzen CAVE. Linz. ( Momenteel is men bezig met het ontwikkelen van contactlenzen waarin minuscule beeldschermen zijn verwerkt door middel van nano-technologie; technologie op moleculaire schaal. Deze lenzen zullen draadloos worden aangestuurd en ook draadloos voeding krijgen. Hoewel deze contactlenzen nog in de ontwikkelingsfase verkeren zijn ze zeker het noemen waard, omdat deze techniek dé ultieme vorm van beeldprojectie kan worden. Het grote voordeel van deze lenzen is dat ze zeer mobiel zijn en dat de gebruiker zich niet bewust zal zijn een beeldscherm bij zich te dragen. Contactlens. University of Washington. ( 4

7 Tracking instrumenten Om het virtuele beeld goed te kunnen combineren met de omgeving bij het gebruik van mobiele beeldschermen zoals VR brillen, is het noodzakelijk dat het systeem te allen tijde de locatie en oriëntatie van de gebruiker ten opzichte van de ruimte en de daarin aanwezige objecten weet. Voor mijn scriptie wil ik hier niet te diep en te technisch op ingaan, maar om een goed beeld te geven van de mogelijkheden van AR is het noodzakelijk een overzicht te geven van dit aspect. Hoofdzakelijk maakt men een onderscheid tussen geprepareerde en niet-geprepareerde ruimtes. De eerste zijn ruimtes, meestal gesloten, ingericht voor het gebruik van AR, waar registratie instrumenten zijn ingebouwd. Deze instrumenten analyseren de positie en oriëntatie van de gebruiker ten opzichte van de ruimte en aanwezige objecten. AR is ook mogelijk in niet-geprepareerde ruimtes, dit kunnen open omgevingen buiten zijn, maar ook gesloten omgevingen binnen. Er bestaan verschillende instrumenten om de locatie en oriëntatie van de gebruiker te lezen (tracking). Vaak worden verschillende systemen tegelijkertijd gebruikt om de effectiviteit te verhogen. Deze instrumenten worden zowel in geprepareerde als in nietgeprepareerde ruimtes gebruikt. GPS De positie van de gebruiker kan vrij nauwkeurig worden bepaald door middel van GPS (Global Positioning System). GPS registreert door middel van satellieten de locatie van de gebruiker en drukt dit uit in coördinaten. Dit systeem wordt vooral toegepast op mobiele AR applicaties, bijvoorbeeld de applicatie Layar, welke ik zo dadelijk behandel bij de AR toepassingen. Dankzij GPS kan Layar precies zien waar ter wereld de gebruiker zich bevindt. Video Tracking Video Tracking kan op twee manieren ingezet worden, vanuit het standpunt van de gebruiker en vanuit een geprepareerde ruimte. Een camera gemonteerd op de VR-bril van de gebruiker registreert de omgeving. Bepaalde software analyseert deze omgeving en zoekt in een database naar herkenbare objecten in de omgeving om zo de positie en de relatie van deze objecten ten opzichte van de gebruiker te meten. De tweede manier van Video Tracking registreert de locatie van de gebruiker in relatie tot zijn omgeving. Vaak wordt dit met meerdere camera s tegelijk gedaan die op een vaste plaats in de omgeving staan opgesteld. Inertial Tracking Inertia, of inertie in het Nederlands, heeft te maken met de weerstand die een object biedt ten opzichte van het veranderen van de snelheid van een beweging. Versnellingsmeters, gyroscopen en (digitale) kompassen vallen onder de Inertial Trackers. Deze systemen kunnen worden ingezet om de beweging en oriëntatie van de gebruiker, welke deze instrumenten bij zich draagt, te registreren. Marker Tracking Marker. Zero Point Nine. ( Markers bestaan meestal uit simpele symbolen in zwart/wit, welke zeer snel herkend kunnen worden via een camera. Door de positie, rotatie en schaal van de marker te analyseren weet het systeem de locatie, oriëntatie en afstand van de marker te bepalen. Deze punten worden dan als referentiepunt gebruikt om objecten op te visualiseren of om de locatie en oriëntatie van de gebruiker te berekenen. In het voorbeeld van de Lego Digital Box is de afbeelding op de Lego doos de Marker. 5

8 Non-Marker Tracking Naast Marker Tracking bestaat er ook Non-Marker Tracking. Ook hier registreert en analyseert de camera een object, maar hier is het object niet voorbewerkt om herkend te worden, maar de software die de analyse doet. Denk hierbij bijvoorbeeld aan software die een gezicht kan herkennen. Deze software herkent de vormen en afmetingen van een gezicht en kan zo de locatie en beweging berekenen. Sommige software doet deze berekeningen automatisch, andere moet gekalibreerd worden per gebruiker. Een voorbeeld van een AR applicatie die gebruik maakt van Non-Marker Tracking is de Ray-Ban Virtual Mirror, waar ik zo meteen op terugkom. Deze applicatie maakt gebruik van een webcam die een videosignaal doorstuurt naar je computer. Het programma herkent de vormen van een hoofd en tracked vervolgens de positie en oriëntatie van het hoofd van de gebruiker Rendering Tussen de Tracking van omgeving en gebruiker, en het doorsturen van een beeld naar een beeldscherm zit, zoals bij het voorbeeld van de Lego Digital Box, nog een belangrijke stap: Rendering. Rendering is het proces waarbij een digitale afbeelding wordt gemaakt van een virtueel (driedimensionaal) model. Zo n model is opgebouwd uit bepaalde data die het programma vertelt hoe deze hiermee moet omgaan op het gebied van geometrie, camerastandpunt, textuur, belichting en schaduw. Tijdens het renderen worden deze zaken berekend, en vertaald naar een uit pixels opgebouwde afbeelding. Alle typen beelden die gepresenteerd worden moeten in feite gerenderd worden. Het ene type beeld zal minder rekenkracht vragen dan het andere. Simpele draadmodellen, blokken tekst en videobeelden zullen sneller op een beeldscherm verschijnen dan bijvoorbeeld hoogwaardige fotorealistische driedimensionale modellen, die veel rekenkracht vragen. Hoewel de techniek hierin snel vooruit gaat, is het toch iets om rekening mee te houden bij het ontwerpen van een AR product. Zeker bij de mobiele variant van AR kan rendering een issue zijn, omdat deze vaak minder rekenkracht aan boord hebben Interfaces en interactie Naast het toevoegen van een virtuele visuele laag wordt er bij Augmented Reality ook gebruikt gemaakt van de interactieve kwaliteiten van het medium. Het medium is per definitie interactief. De gebruiker is bijvoorbeeld betrokken bij het positioneren van de camera, en dus bij het bepalen van het standpunt van waaruit de virtuele laag geprojecteerd wordt. Ook kan de gebruiker lichamelijk aanwezig zijn op een locatie waardoor de gebruiker deel begint uit te maken van het geprojecteerde. Daarnaast zijn er toepassingen waarbij de gebruiker invloed heeft op het geprojecteerde, denk hier bijvoorbeeld bij aan een gebruiker die een Marker beweegt, of door middel van een interface sturing kan uitoefenen op objecten en dergelijke. De gebruiker kan door tal van technieken interacteren binnen Augmented Reality. Ook hier kan ik niet alle mogelijkheden noemen, maar geef ik een selectie weer om aan te geven wat de mogelijkheden zijn. Markers Gekleurde vinger Markers. SixthSense. ( sixthsense). De Markers die eerder besproken zijn als Tracking Points in combinatie met een camera, kunnen ook worden ingezet om interactie te bieden. Een gebruiker kan een object met hierop een Marker hanteren voor de camera. De camera registreert de bewegingen van de Marker (en dus het object) en kan deze omzetten in interactie. Deze interactie kan bestaan uit het simpelweg bewegen van een virtuele laag in de ruimte, maar kan ook dienen als input voor een actie. Naast de genoemde Markers bestaan er bijvoorbeeld ook gekleurde vingerdopjes die de locatie en beweging van afzonderlijke vingers kan registeren. 6

9 Non-Marker Tracking Ook het systeem van Non-Marker Tracking kan worden ingezet om interactie te bewerkstellen. Software die door middel van een camera objecten herkent, en hiervan de beweging registreert en analyseert, kan worden ingezet om interactie voort te brengen. Een vooruitstrevend voorbeeld hiervan is Microsoft s Project Natal 2. Een systeem dat met grote nauwkeurigheid lichaams-, hand- en vingerbewegingen kan registeren, maar ook gezichtsuitdrukkingen. Data Gloves Project Natal. Microsoft. ( Data Gloves zijn handschoenen die de bewegingen van je handen tracken, en zijn in dat opzicht gelijk aan systemen die via camera tracking dit bewerkstelligen. Het grote voordeel van deze handschoenen is echter dat deze niet afhankelijk zijn van de zichtbaarheid van je handen ten opzichte van een camera, omdat de Data Gloves autonoom kunnen registreren. Daarnaast bestaan er ook varianten die tactiele feedback kunnen geven, ze simuleren het gevoel van aanraking met de omgeving en objecten. Auditief Systeem Data Glove met tactiele feedback. Cyber Gloves Systems. ( Naast het gebruik van beeld speelt ook audio een rol in Augmented Reality. Denk hierbij aan spraakherkenning, waarbij het systeem gesproken commando s herkent en verwerkt. Ook kan er gebruik worden gemaakt van klank en volume om systemen aan te sturen. Hersengolven Het klinkt misschien als Sciencefiction, maar er bestaan systemen die hersenactiviteit registeren, en deze om kunnen zetten in commando s. Deze systemen zijn ingebouwd in een headset, die door middel van Non-invasieve Electro Encefalografie (EEG) hersengolven kunnen meten. Het meetproces vindt dus buiten je hoofd plaats. Na enige training kun je deze golven in bepaalde mate sturen, en dus interacteren met het systeem. Het vergt een leercurve van de gebruiker, en het systeem is nog niet perfect, maar kan zeker een rol gaan spelen op het gebied van interactie. EEG Headset. OCZ Neural Impulse Actuator. ( Conventionele invoer apparatuur Natuurlijk kan er ook nog steeds gebruik worden gemaakt van meer conventionele invoer apparaten, zoals een keyboard, muis, joystick, game controllers, touch screen, en bedieningspanelen. Overige systemen Systemen die ook mogelijkheden tot interactie bieden zijn bijvoorbeeld drukgevoelige sensoren, magneten, lasers, temperatuurmeters, hartslagmeters en systemen die de oogbewegingen van de gebruiker kunnen detecteren. 2 Microsoft Project Natal. ( 7

10 1.3 Huidige toepassingen van Augmented Reality Hoewel Augmented Reality nog in zijn kinderschoenen staat, bestaan er wel degelijk toepassingen die al op de markt zijn. Daarnaast zijn er nog tal van experimentele projecten en producten die nog in de ontwikkel fase verkeren. AR kan en wordt toegepast in uiteenlopende sectoren, denk hierbij aan: reclame, navigatie, visualisatie, toerisme, simulatie, samenwerking, entertainment, onderwijs, militaire diensten en ondersteuning bij complexe taken. Hier onder zal ik een aantal voorbeelden van AR toepassingen behandelen om een indruk te geven van de mogelijkheden. Ray-Ban Virtual Mirror Virtual Mirror 3 is een applicatie die je kunt downloaden op je computer. Dit programma fungeert als een spiegel met behulp van een webcam. Je beeldscherm wordt een virtuele spiegel waarmee je verschillende zonnebrillen kunt passen. Het programma zorgt ervoor dat deze zonnebrillen netjes met je hoofd mee bewegen door het inzetten van Non-Marker Tracking voor de vorm van je gezicht, en de positie van ogen, oren en neus. Virtual Mirror. Ray-Ban. ( virtualmirror). Layar Layar 4 is een applicatie die op mobiele telefoons met het Android besturingssysteem draait. Deze applicatie geeft een virtuele laag weer over het camerabeeld van de telefoon en maakt hierbij gebruik van GPS en het digitaal kompas dat in deze telefoons zit. De virtuele lagen zijn volledig zelf aan te passen. Vooralsnog geven deze lagen vooral informatie over belangrijke stedelijke punten zoals banken, huizen die te koop staan en toeristische trekpleisters. Maar binnen aanzienbare tijd zullen er honderden nieuwe lagen beschikbaar komen. SixthSense Layar. ( Sixthsense. ( sixthsense). SixthSense 5 is een project van MIT studenten, dat bestaat uit een minicomputer (later te vervangen door een mobiele telefoon) en een mobiele projector die aan een nekkoord wordt gedragen. Daarnaast maakt het systeem gebruik van gekleurde vingerdoppen om de bewegingen van je hand te registeren. Het project is nog in ontwikkeling, maar is nu al het noemen waard. SixthSense maakt het mogelijk informatie die je normaal gezien in drukvorm of via een computer benaderd, te integreren binnen je gezichtsveld door een virtuele laag te projecteren op een oppervlak of object voor je. De informatie is te bedienen met handbewegingen doordat je vingers getracked worden. Hierdoor slaat het systeem een brug tussen digitale informatie en de fysieke wereld. Een aantal toepassingen waarvoor het systeem al geschikt is gemaakt zijn: productinformatie opvragen, foto s maken en bewerken, routekaarten opvragen, RSSfeeds bekijken (Really Simple Synication; nieuwsberichten van geabonneerde websites), gerelateerde video s projecteren op een krantartikel, een virtuele klok projecteren, en informatie over je gesprekspartner op diegene projecteren. SixthSense is een systeem met tal van functionele en amuserende mogelijkheden waar we in de toekomst zeker meer van zullen horen. Drukwerk toepassingen Augmented Reality kan ook een brug slaan tussen traditionele media en nieuwe media. Dit kan op verschillende manieren. 3 Ray-Ban Virtual Mirror ( com/usa/neverhide/events/virtualmirror). 4 Layar ( 5 Sixthsense ( projects/sixthsense/index.htm). Zo heeft de televisiegids Totaal TV een editie uitgebracht, ontwikkeld door Toutching Media, welke je als gebruiker voor een webcam kan houden mits de benodigde software geïnstalleerd is. Op je beeldscherm zie je de fysieke televisiegids met daarover een virtuele laag van 3D beelden en video s die uit de gids lijken te komen. 8

11 Baseballkaartenfabrikant Topps heeft een meer interactief product op de markt gebracht: Topps 3D Live 6. Deze kartonnen baseballkaartjes kun je tevens voor de webcam houden in combinatie met de benodigde software, welke vervolgens de desbetreffende baseballer in 3D geanimeerd op het baseballkaartje weergeeft. Extra toegevoegde waarde krijgt dit product echter doordat je de baseballer door middel van je toetsenbord kan besturen in een kleine minigame die op je scherm plaatsvindt. Topps 3D Live. ( The Artvertiser. ( BMW Augmented Reality Tool. ( The Artvertiser The Artvertiser 7 laat zien dat Augmented Reality ook een geschikt medium kan zijn voor kunstenaars. Dit project maakt gebruik van een speciaal ontworpen verrekijker. Deze verrekijker met ingebouwde LCD display s, camera, netwerkverbinding, opslagruimte en minicomputer aan boord, maakt het mogelijk om reclameborden in de echte wereld om te toveren tot een canvas waarop kunstenaars werk kunnen exposeren. De digitale verrekijker herkent individuele reclames op bijvoorbeeld gebouwen, magazines en auto s, en vervangt deze door afbeeldingen of video s van kunstwerken. De internetverbinding maakt het mogelijk het geprojecteerde werk direct te publiceren op sites als Flickr en Youtube. Momenteel draait het systeem alleen op de speciaal ontworpen digitale verrekijker, maar men is bezig de software geschikt te maken voor mobiele telefoons die op het Android systeem draaien. Ook voor gewone camera telefoons met het Symbian systeem wordt er een applicatie ontwikkeld. Deze versie functioneert enkel met fotomateriaal. Overige voorbeelden Hierboven heb ik enkele voorbeelden van AR applicaties genoemd, maar er zijn momenteel nog vele andere toepassingen mogelijk. Zo kan men in de architectuur een 3d weergave van een gebouw over de werkelijkheid heen leggen om een goede kijk te krijgen van de context en verhoudingen van het gebouw ten opzichte van de omgeving. Educatieve boeken kunnen door middel van AR techniek interactief worden gemaakt, waardoor kennis speelser, maar ook duidelijker over kan komen, en zodoende beter wordt onthouden. Militairen kunnen gebruik maken van virtuele informatie over hun teamleden, te behalen doelen en onbekende omgevingen. En automonteurs kunnen AR gebruiken als hulpmiddel bij complexe reparatietaken aan motoren, een toepassing die BWM momenteel inzet. 6 Topps 3D Live ( UserSite/TotalImmersion/Info.html). 7 The Artvertiser ( 9

12 Hoofdstuk 2: Video-installatiekunst 2.1 Inleiding Videokunst is ontstaan in de jaren 60 van de vorige eeuw, toen het medium video beschikbaar werd voor mensen buiten de industrie. Kunstenaars en activistengroepen begrepen de kracht van bewegend beeld en begonnen te experimenteren met het medium dat langzaamaan zijn plaats in de kunstwereld begon in te nemen. De kunsthistorie van video is, ondanks haar relatief korte bestaan, lastig te beschrijven. Op het moment dat de videotechniek grootschalig beschikbaar werd voor kunstenaars, zijn deze tegelijkertijd op verschillende plaatsen in de wereld het medium gaan verkennen en gebruiken. Zodoende is het lastig bepaalde stromingen of groepen van kunstenaars aan te wijzen die verantwoordelijk zijn voor de vorm die videokunst heden ten dage heeft aangenomen. De verschillende vormen en toepassingen van video in de kunstwereld zijn over het algemeen al vanaf de geboorte van de videotechniek tot stand gekomen en zijn gebaseerd op verschillende culturele en sociale opvattingen en tijdsbeelden. In deze scriptie staat video-installatiekunst centraal. Ik zal dan ook een korte geschiedenis van de videokunst geven, en ingaan op de positie die de videoinstallatiekunst hierbinnen heeft. 2.2 De geschiedenis van de videokunst De Portapak Bewegend beeld kent zijn oorsprong in eind 19e eeuw en zorgde voor een ware revolutie in de communicatie van beelden. Waar beeld tot voor heden altijd statisch was, konden pioniers uit de industrie nu experimenteren met tijd, ruimte en beweging. Maar film was lang niet voor alle kunstenaars toegankelijk, de camera s toentertijd waren enorm van omvang en het medium film was duur. In 1965 kwam hier eindelijk verandering in toen Sony de Portapak op de markt bracht, één van de eerste handzame en betaalbare videocamera s. De Portapak kostte toentertijd rond de dollar, tegenover de dollar kostende televisiecamera s. Hoewel deze eerste commerciële videocamera s nog steeds relatief zwaar waren, het halve inch grote zwart-wit beeld van lage kwaliteit was, en er nog geen montage apparatuur op de markt was, maakten ze de videotechniek toch toegankelijk voor het publiek, en dus ook voor kunstenaars; videokunst was geboren. Sony Portapak. N3Krozoft Ltd. ( De tijdsgeest tijdens de opkomst van de videokunst De videokunst ontstond in een ingewikkelde internationaal culturele omgeving, gekarakteriseerd door antioorlog protesten en de seksuele revolutie. Dit gecombineerd met een moment uit de kunstgeschiedenis waarop Abstract Expressionisme zijn grip begon te verliezen en kunstdisciplines samen begonnen te komen, werd video gezien als een kritisch en gedurfd medium om mee te experimenteren. Videokunst kwam voort uit de vervagende grenzen tussen de traditionele kunstdisciplines. De vervaging van deze grens zorgde ervoor dat schilderkunst, performance, dans, film, muziek, literatuur en beeldhouwkunst konden worden gecombineerd in één kunstwerk. Sommige video artiesten van deze 1e generatie, ontstaan uit, of reagerend op het post-abstract Expressionisme (een kunststroming waarbij het draaide om intuïtieve uitingen in plaats van het creëren van objecten), gebruikten de video camera als een verlengstuk van hun lichaam. De camera werd een onderdeel van hun werkplaats, waar ze de bezigheden die ze uitvoerden opnamen. Ze combineerde hier het fysieke en het conceptuele van hun werk, iets wat tot op vandaag de dag nog steeds gebeurd. 10

13 Performances, fysieke optredens, zijn van grote invloed geweest op de vorming van videokunst en zijn vaak nog steeds een principiële bouwsteen voor deze kunstuiting. Andere artiesten van de 1e generatie videokunstenaars experimenteerden vooral met de technische kant van het medium, maar hadden minder invloed op de vorming van videokunst zoals deze heden ten dage bestaat. Kunststromingen tijdens de opkomst van de videokunst Naast het post-abstract Expressionisme waren Minimalisme en Conceptualisme belangrijke stromingen tijdens de opkomst van de videokunst. Kunst werd gedematerialiseerd; de aandacht verschoof van het object naar het idee. Het materiaal dat men gebruikte was in dienst van het idee. Door het samensmelten van verschillende kunstdisciplines in visuele kunst, werden de kunstenaars zich steeds bewuster van het fenomeen tijd, dit uitte zich in de vorm van video. Kunstenaars in de jaren 60 en begin jaren 70 creëerden een nieuwe manier van representatie door gebruik te maken van film, slides, video en holografische en fotografische projecties om fysieke ruimte te meten, documenteren, abstraheren, reflecteren en grenzen van deze ruimtes te verleggen. Musea werden omgetoverd van witte expositieruimtes naar donkere ruimtes met beeldschermen en projecties. Video en televisie Televisietechnologie heeft commercieel zijn intrede gemaakt in 1936, maar het duurde tot 1960 dat 90% van de Amerikaanse huishoudens een tv had staan. Zoals bij elke innovatie waar veel geld mee gemoeid gaat, heeft de televisie een complexe geschiedenis. Een belangrijke theoreticus op dit gebied, Marshall McLuhan schreef in 1951: Ours is the first age in which many thousands of the best trained individual minds have made it a full-time business to get inside the collective pulic mind. To get inside in order to manipulate, exploit, control is the object now. And to generate heat not light is the intention. To keep everybody in the helpless state engendered by prolonged mental rutting is the effect of many ads and much entertainment alike. 8 Volgens McLuhan was de meest effectieve kracht tegen de manipulatieve aard van de media de gebruiker zelf. Hij moedigde de gebruikers aan deel te nemen aan het communicatieve proces, en zodoende, in zekere zin medeproducenten te worden. 9 Meerdere video artiesten en video collectieven volgden de raad van McLuhan op, vaak gebaseerd op politieke protesten en grote bijeenkomsten van multinationale instituten zoals de Wereldbank. Videokunst werd ingezet als kritiek tegen de macht van de politiek, grote multinationals en het commerciële karakter van televisieomroepen. Wipe Cycle. N3krozoft Ltd. ( 8 McLuhan, Marshal The Mechanical Bride. The Folklore of Industrial Man (The Vanguard Press: New York). 9 Rush, Michael Video Art. (Thames & Hudson: London). p Gilette, Frank., Schneider, Ira Wipe Cycle. 11 Rush, Michael. Video Art. p. 19 Frank Gillette (groot bewonderaar van McLuhan) en Ira Schneider zijn belangrijke namen in de vorming van de videokunst. In 1969 maakten ze samen één van de eerste video installaties: Wipe Cycle 10, een werk dat anticipeerde op de video installaties van de jaren tachtig. Het werk bestond uit negen monitoren. Vier hiervan speelden vooraf opgenomen materiaal af van bijvoorbeeld televisieprogramma s. De ander vijf toonden beelden van de bezoekers in de galerij, zowel live als met enige vertraging. Gillette over de installatie: Viewers were mystified, they were seeing themselves on television mixed in with all these other images from TV shows and they were shocked as well as delighted

14 Het video collectief waar Gillette deel van uitmaakte, genaamd Raindance, bracht van 1970 tot 1974 de publicatie Radical Software uit. In de tweede uitgave schreven Phyllis Gershundy en Beryl Korot: In issue one of Radical Software we introduced the hypothesis that people must assert control over the information tools and processes that shape their lives in order to free themselves from the mass manipulation perpetrated by commercial media in this country and state controlled television abroad. By accessing low-cost half-inch portable videotape equipment to produce or create or parttake in the information gathering process, we suggested that people would contribute greatly to restructuring their own information environments: YOU ARE THE INFORMATION. In particular we focused on the increasing number of experiments conducted by people using this half-inch video tool: experiments in producing locally originated programming for closed-circuit and cable TV and for public access cablevision. 12 Waar McLuhan het volk aanspoorde medeproducent van de media te worden, wees het collectief Raindance het volk op de kracht van de kabeltelevisie, en spoorde ze aan hier gebruik van te maken. Kabel televisie, geïntroduceerd in eind 1940, speelde een belangrijke rol in de videokunst. In 1960 mochten Amerikaanse kabelmaatschappijen, in samenspraak met de overheid, video apparatuur en faciliteiten beschikbaar stellen aan het locale publiek. Zo kregen artiesten en video collectieven toegang tot video apparatuur en de mogelijkheid hun werk locaal uit te zenden. De eerste tien jaar van de videokunst bestond voor een groot deel uit kritiek tegen de televisie en andere media. Veelal met reacties tegen de popcultuur en de commerciële kant van de media. Aan de andere kant bood televisie juist de mogelijkheid aan kunstenaars om werk aan een groter publiek te tonen. Big Brother, closed-circuit video Een ander belangrijk verschijnsel in de videokunst deed zijn intreden op een moment dat de wereld in de ban was van veiligheidsangsten, teweeggebracht door internationaal terrorisme. Dit verschijnsel was de beveiligingscamera, een techniek gebruikt door overheden om controle uit te oefenen op het volk. Veel kunstenaars begonnen deze techniek over te nemen in hun kunstwerken. Denk hierbij vooral aan installatiekunst, waarbij bezoekers deel begonnen uit te maken van de installatie zelf. Veel kunstenaars richtten de camera op zichzelf of op anderen om nieuwe betekenissen van tijd en identiteit te onderzoeken, of om plaats en perceptie in de galerij opnieuw te definiëren. Bezoekers werden actief betrokken in het werk en kregen een rol in de ontwikkeling van een alternatief voor televisie, een interactieve kunstvorm waarbij de bezoeker onmisbaar centraal stond. 13 Video installaties Sinds de introductie van de Portapak videocamera in de jaren 60, werd video al gebruikt in de vorm van installaties. De meeste installaties suggereren van nature al interactiviteit. Vaak creëren installatie kunstenaars omgevingen die bezoekers letterlijk moeten binnenlopen, waardoor er fysieke deelname ontstaat met het kunstwerk. Hierdoor wordt de perceptie en de optische impact van het werk groter. Installaties, zowel in musea, galerijen en etalages als op muren en andere mogelijke projectieoppervlakten (ver)plaatsen de ervaring van het bewegend beeld buiten monitoren, maar ook buiten verdonkerde ruimtes. Naarmate de techniek evolueerde, werd er steeds meer mogelijk op het gebied van installatiekunst. Video-installaties werden steeds interactiever en boden een grotere belevingswaarde voor de gebruikers. 12 Ryan Paul A Genealogy of Video. Leonardo, in uitgave 21, nummer 1. p Rush, Michael. Video Art. p

15 De eerste installaties bestonden vaak uit Singel-channel (één beeldscherm) videobeelden op televisietoestellen. De tweede stap waren de Multi-channel installaties (meerdere beeldschermen) en zelfs hele Video-walls (een muur bestaande uit beeldschermen). In de jaren tachtig kwamen de eerste videorecorders en projectors op de markt. Nu kon men levensgrote beelden projecteren, onafhankelijk van beeldschermen. Men was in staat volledige muren en andere projectieoppervlakten te benutten. Curator Chrissie Iles schreef in haar essay over geprojecteerde beelden: [Projection] engaged viewers in a phenomenological experience of objects in relation to the architectural dimensions of the gallery not to pictorial space transforming actual space into a perceptual field.[ ] It is as though the viewer ina projection installation environment becomes related to the camera movement and contexts in the shifting experience of seeing lighted moving images presented as split, overlapping, multiplied, serialized, mirrored, rotated, made miniature or gigantic. 14 Hiermee stelt ze dat de mogelijkheden die de projector boven een beeldscherm heeft, een enorme stap voorwaarts zijn bij het bieden van een interactieve ervaring. De kijker wordt omgeven door de ruimte die de video-installatie schept. Hiermee komen we uit op de samensmelting van verschillende kunstdisciplines die goed merkbaar is binnen de video-installatie kunst; architectuur en sculptuur zijn overduidelijk aanwezig. Ruimte, objecten en projectiebeelden gaan een wisselwerking aan en creëren nieuwe omgevingen. De trend in de eigentijdse videokunst Waar de opkomst van de betaalbare handzame videocamera de start van de videokunst inluidde, zorgen nieuwe technieken telkens weer voor veranderingen in de vorm van de videokunst en de werkmethodes van de kunstenaars. In 1997 werd de digitale videocamera op de markt gebracht. Dankzij het digitale aspect van deze techniek werd het steeds eenvoudiger voor kunstenaars hun materiaal te bewerken. Dankzij verschillende softwarepakketten kregen de kunstenaars volledige controle over werk, men was niet meer afhankelijk van specialisten op bijvoorbeeld het gebied van montageapparatuur en audio. Momenteel is video, als medium, onbelangrijk geworden voor kunstenaars. Men gebruikt allerlei verschillende manier om beeld te creëren, vaak een combinatie van verschillende technieken. Bijvoorbeeld: video, digitale video, film, computergegenereerde beelden, animatie, grafische beelden, fotografie en typografie. Exercise in Immersion 4 (Marnix de Nijs). ( Een vrij nieuwe techniek die kunstenaars beginnen te gebruiken is Virtual Reality, waarbij een hogere mate van beleving ervoor zorgt dat de gebruikers zich in een alternatieve omgeving wanen. Dit is ook het geval met Augmented Reality, wat langzaamaan verkend wordt door de kunstwereld. Een voorbeeld hiervan is het AR project Exercise in Immersion 4 van Marnix de Nijs. 15 EI4 is een installatie waarbij de gebruiker door middel van een VR-bril door een pakhuis loopt waar de werkelijkheid gemixt is met het virtuele. De gebruiker moet virtuele bollen verzamelen om punten te scoren. Hoe verder de speler komt, hoe meer het virtuele beeld begint te overheersen. Hoewel deze installatie in eerste instantie een spel lijkt, zit er wel degelijk een diepere betekenis achter: de verhouding tussen privé- en (de door media beïnvloedde) publieke ruimte. Een andere trend in de videokunst is de verplaatsing van het werk uit musea en galerijen naar publieke plaatsen. Deze werken zijn vaak interactief en gaan een wisselwerking aan met het aanwezige publiek. Maar videokunst verplaatst zich niet alleen naar andere fysieke locaties, ook virtuele locaties op het internet zijn mogelijk. 14 Iles, Chrissie Into the Light. The projected Image in American Art (Whitney Museum of American Art: Whitney). 15 Exercise in Immersion Marnix de Nijs. ( projects/exercise-in-immersion-4). 13

16 2.3 Conclusie Ondanks het relatief korte bestaan van de videokunst heeft ze een veelzijdige geschiedenis opgebouwd. Sinds de komst van de eerste betaalbare en handzame videocamera zijn kunstenaars aan de slag gegaan met het medium video. In een tijd waar technologische ontwikkelingen elkaar in een rap tempo opvolgen is het haast onmogelijk bij te blijven. Onze levensstijl is haastig, overvol met communicatie en communicatiemiddelen. De mensheid heeft nog nooit in zo n snel veranderende wereld geleefd. Een weerspiegeling daarvan zien we terug in kunst. De groeiende populariteit van de televisie en de daarmee gemoeide invloed van de media en commercie bleek een grote inspiratiebron voor kunstenaars. De videokunst evolueert in een even rap tempo als de videotechniek. We hebben gezien dat elke technologische vooruitgang van de videotechniek een gevolg heeft op de vorm van videokunst. De thematiek van videokunstwerken bestaat deels uit een reactie op deze techniek, en deels uit een weerspiegeling van de tijdsgeest. We kunnen dan ook veronderstellen dat dit in de toekomst niet anders gaat zijn. Communicatiemiddelen worden steeds mobieler, interactiever en persoonlijker, een trend die we waarschijnlijk weerspiegeld zullen zien in de videokunst. Daarnaast zien we steeds vaker de term Immersion opduiken, een term die te maken heeft met de beleving van de gebruiker. 14

17 Hoofdstuk 3: Immersiviteit 3.1 Inleiding Tegenwoordig horen we steeds vaker van de Engelse term Immersive. Immersive kent (nog) geen goede Nederlandse vertaling, ik zal dan ook het anglicisme Immersief gebruiken. In mijn scriptie wil ik onderzoek doen naar de immersiviteit van video-installatiekunst en hoe de toevoeging van Augmented Reality technieken op video-installatiekunst de immersiviteit kunnen verhogen. Het is dus van groot belang deze term duidelijk af te bakenen. 3.2 Immersion De letterlijke Nederlandse vertaling voor Immersion is onderdompeling, indoping of verdiept zijn. 16 In Hamlet on the Holodeck stelt Janet Murray het volgende: We seed the same feeling from a psychologically immersive experience that we do from a plunge in the ocean or swimming pool: the sensation of being surrounded by a completely other reality, as different as water is from air, that takes over all of our attention, our whole perceptual apparatus. 17 Kevin Brooks schrijft het volgende over Immersion in zijn tekst There is Nothing Virtual About Immersion: Narrative Immersion for VR and Other Interfaces : Immersive environments surround a participant such that everything they perceive is a part of a new world. 18 Zowel Murray als Brooks stellen dat immersiviteit plaatsvindt wanneer een bepaalde omgeving de deelnemer zodanig omringt, dat alles wat de deelnemer waarneemt deel begint uit te maken van een nieuwe wereld. Verder stelt Brooks dat immersiviteit niet alleen te bereiken valt met technologische ontwikkelingen zoals Virtual en Augmented Reality. Het levendig voorlezen van een verhaal kan al genoeg zijn om een luisteraar zodanig te omringen met een nieuwe wereld, dat deze hier deel van uit begint te maken. De luisteraar ziet de wereld in detail voor zich en maakt verbanden tussen het verhaal en hun eigen leven. 19 Volgens Brooks komt een sterke immersieve ervaring voort uit de kwaliteit van de geloofwaardigheid van de omgeving. Als je zintuigen zo worden geprikkeld dat je de prikkelingen als echt onderscheid, of op zijn minst met onzekerheid van ongeloof, dan kun je in deze omgeving geloven Factoren die invloed hebben op de mate van immersiviteit 16 Et al Kramers Woordenboek: Engels Nederlands. (Het Spectrum: Houten). 17 Murray, Janet H Hamlet on the Holodeck: The Furure of Narrative in Cyberspace. (The Free Press: New York). 18 Brooks, Kevin There is Nothing Virtual About Immersion: Narrative Immersion for VR and Other Interfaces. ( storybiz/immersivenotvirtual.pdf). p Brooks, Kevin There is Nothing Virtual... p Brooks, Kevin There is Nothing Virtual... p. 3 Brooks zet vervolgens in zijn tekst uiteen dat technologie een aanvulling moet zijn op de reeds aanwezige immersieve kwaliteiten die de menselijke geest bezit. Als voorbeeld haalt hij gesproken verhaalvertellingen aan, omdat deze een duidelijke kapstok zijn voor narratieve immersie; het worden ondergedompeld in een verhaal. De term verhaal kan hierbij als zeer breed worden beschouwd. Brooks maakt gebruik van film semiotiek wanneer hij de drie belangrijkste narratieve hulpmiddelen beschrijft: tijd, context en deelname. Deze drie hulpmiddelen zijn kritiek voor een verhaalvertelling en bieden een waardevol model voor andere vormen van immersieve ervaringen. 15

18 Tijd Grofweg kunnen we het tijdsaspect van een verhaalvertelling onderverdelen in verteltijd en verhalende tijd. Verteltijd (of presentatietijd) beschrijft de letterlijke duur waarin een verhaal wordt verteld, een film wordt gekeken, in een virtuele omgeving wordt doorgebracht, etc. Verhalende tijd (narratieve tijd) beschrijft de tijdsperiode(s) binnen het verhaal. De verhalende tijd over het leven van een bepaald persoon kan 80 jaar beslaan, terwijl de verteltijd slechts twee uur beslaat. Om dit te bewerkstellen worden narratieve technieken als flasbacks, flash-forwards, tijdssprongen en tijdsvertragingen gebruikt. Wanneer we zo worden meegesleurd door het verhaal, dus in de narratieve tijd, dat we ons totaal niet meer bewust zijn van de presentatietijd, zijn we volledig ondergedompeld in het verhaal. It means being so immersed that the technology of the presentation: the television, the flickering light of the film projector, the speakers, computer screen and perhaps even the keyboard and mouse, disappear. It means that the awareness that one is surrounded by strangers in a darkened room, sitting in unfamiliar and perhaps even uncomfortable seats, is no longer there. And, most important, losing track of time means personal concerns and issues that may have been weighing heavily on one s mind before the story experience, have also disappeared. For a period, the story world becomes the world, and when that happens, the time of the outside world seems to stop. 21 Context De context is de ruimte waarin het verhaal zich afspeelt: de tijd en plaats van de gebeurtenissen, politieke en sociale omstandigheden, de aanwezige personen, hun doel, enzovoorts. Ook context valt, net als tijd, onder te verdelen in de presentatie context en de narratieve context. De presentatie context is de fysieke omgeving waarin de narratie wordt ervaren. De narratieve context is daarentegen de omgeving waarin het verhaal zich afspeelt. Als we kijken naar Virtual Reality zien we dat men probeert de deelnemer te laten geloven dat men zich in de narratieve context begeeft in plaats van de fysieke presentatie context. Het tegenovergestelde probeert men te bewerkstellen met Augmented Reality technieken, waar men probeert de deelnemer te laten geloven dat de narratieve context plaatsvindt in de fysieke presentatie context. Deelname Over deelname zegt Brooks het volgende: An important attribute of the museum space or any 3D VRE [VR Environment] is that people have a chance to physically as well as mentally participate. Mental participation is assumed to be present or else the environment is a failure. It is always important to engage people s minds, at least to some extent. Sometimes the best way of engaging people s minds is to engage their bodies; orchestrating narrative events and elements in such a way as to encourage understanding of the narrative experience. 22 Het aspect van deelname is volgens Brooks dus van groot belang om immersiviteit te bewerkstellen. Zowel fysieke als mentale deelname spelen een rol. Bij het lezen van een verhaal wordt de lezer mentaal betrokken in de narratieve context. De nieuwe werkelijkheid die in het boek wordt beschreven gaat tenslotte pas leven in het hoofd van de lezer. 21 Brooks, Kevin There is Nothing Virtual... p Brooks, Kevin There is Nothing Virtual... p

19 Wanneer we kijken naar installatie ruimtes en Virtual Reality omgevingen is de deelnemer automatisch al aanwezig in die fysieke ruimte, de presentatie context, en is dus fysiek betrokken. Wanneer de deelnemer vervolgens op een effectieve manier wordt betrokken in het narratieve element ontstaat er een narratieve ervaring. Een goed uitgevoerde narratieve ervaring zorgt er in dat geval voor dat je als deelnemer immersief betrokken raakt Hypermediacy en Transparent Immediacy Nu we een beeld hebben wat immersiviteit inhoudt en welke factoren bijdragen aan de mate van de immersie, is er nog een belangrijk deel onbesproken gelaten met betrekking tot immersiviteit: het medium zelf en haar transparantie richting de deelnemer. Met transparantie bedoelen we of het gepresenteerde duidelijk een presentatie is voortkomend uit een medium, of dat het medium zelf verborgen is, zodat de gebruiker alleen het gepresenteerde ziet. Kennis over remediation zal ons hier een beter kijk op geven. In het gelijknamige boek beschrijven Bolter en Grusin de term remediation als volgt:..the formal logic by which new media refashion prior media forms. 23 Met andere woorden: aan elk nieuw medium ligt een oud medium ten grondslag. Denk hierbij aan de schilderkunst die werd opgevolgd door fotografie, die op haar beurt weer werd opgevolgd door cinema en video. Wanneer een medium bepaalde aspecten van een voorganger overneemt, bestaat er ook de kans dat deze te maken krijgt met dezelfde belemmeringen en voorwaarden om tot een immersieve beleving te komen. Denk hierbij aan de televisie, die gezien kan worden als opvolger van de schilderkunst. Een televisie biedt bewegend in plaats van stilstaand beeld en voegt er audio aan toe. Maar net als een schilderij is het beeld omlijst, wat de immersieve beleving kan belemmeren. Om verder te komen moeten we ook de termen Hypermediacy en (Transparent) Immediacy behandelen. Bolter en Grusin beschrijven Hypermedia als: een stijl van visuele representatie, met als doel de kijker bewust te maken van het medium. Hun definitie van (Transparent) Immediacy: een stijl van visuele representatie, met als doel de kijker te laten vergeten dat het medium zelf aanwezig is en deze te laten geloven dat hij in de aanwezigheid is van de gerepresenteerde objecten. 24 Vervolgens stellen ze dat het niet uitmaakt of een medium transparant is of niet. Beide vormen zijn in staat om een immersieve ervaring te bewerkstelligen zolang de gebruiker het gevoel van echtheid ervaart. 25 Deze vorm van echtheid valt weer terug te koppelen aan de narratieve immersie die Brooks beschrijft; wanneer de narratieve vertelling immersief genoeg is, gelooft de deelnemer in deze nieuwe werkelijkheid en verdwijnt de technologie achter de vertelling. 23 Bolter, Jay D. en Grusin, Richard Remediation: Understanding New Media. (The MIT Press: Cambridge). p Bolter, Jay D. en Grusin, Richard Remediation. p Bolter, Jay D. en Grusin, Richard Remediation. p. 6-9, Fobiebehandeling met VR. Rijksuniversiteit Groningen. ( psychology/treatment_of_anxiety/ fobiebehandeling). Een goed voorbeeld hiervan vinden we terug in de fobie behandelingen die men uitvoert met behulp van de CAVE, genaamd VRET (Virtual Reality Exposure Therapy). 26 Zo worden mensen behandeld voor hoogtevrees, pleinvrees, vliegangst, angst voor spinnen, eetstoornissen, sociale angsten, etc. De gepresenteerde situaties zijn virtueel, maar door het gevoel van aanwezigheid worden de angsten vaak effectief opgeroepen. Uit onderzoek blijkt dat de angst na verloop van tijd ook daadwerkelijk afneemt. In dit voorbeeld stapt de patiënt in een overduidelijk ontransparante medium; men draagt een headset waarop tracking systemen zijn bevestigd en de fysieke ruimte bestaat uit een kubus waarop computergegenereerde beelden worden geprojecteerd die vaak ver van fotorealistisch zijn. Ondanks dit alles roept de ervaring angstgevoelens op bij de patiënt, het ontransparante medium weet toch een hoge mate van immersie te bereiken. 17

20 3.5 Immersie en Virtual en Augmented Reality De term Virtual Reality is al meerdere malen gevallen wanneer we het over immersie hadden, en dat is niet vreemd. Virtual Reality belooft hét medium te zijn dat volledig immersief is. Door het gebruik van een VR-bril begeeft de deelnemer zich in een andere wereld. In combinatie met zogenaamde data-gloves (handschoenen die de handbewegingen van de gebruiker registreert), of andere tracking methoden, kan de gebruiker interacteren met deze wereld. Deze hoge mate van interactie zorgt vervolgens voor een hoge mate van immersie. William Sherman en Alan Craig zeggen in Understanding Virtual Reality, Interface Application and Design het volgende: The ability of the user to control time and space to look and move within the world and the presence and actions of others in the virtual world all have a significant effect on the level of participation. The more control a VR experience gives the user, the greater the feeling of involvement in the virtual world. Virtual reality is one of the first media that allows such high degree of participant interactivity. 27 Zoals eerder genoemd tracht Virtual Reality de deelnemer te laten geloven dat men zich in de narratieve context begeeft in plaats van de presentatie context en dat men het tegenovergestelde tracht te bereiken met Augmented Reality, waarbij de narratieve context plaatsvindt in de presentatie context. In het geval van Augmented Reality ontstaat er een mix tussen de virtuele wereld en de fysieke wereld van de deelnemer. Op audiovisueel gebied, maar ook op het gebied van interactie. De deelnemer kan namelijk net als bij Virtual Reality interacteren met de virtuele wereld en de daarin bestaande objecten en personages, maar ook met de fysieke wereld en diens objecten en personages. Tijd, context en deelname van beide werelden gaan een wisselwerking aan. Mette Thomsen beschrijft in Positioning Intermedia: Intermedia and Mixed Reality : The virtual, in Mixed Reality [Augmented Reality], is cast as a simulation rather than a representation or narration of reality and is essentially understood as that, which in the eye of the beholder, can transgress mediation and become unmediated, become real Samenvattend Er bestaan meerdere omschrijvingen van het begrip immersiviteit. De omschrijving die ik in deze scriptie zal hanteren luidt als volgt: Immersie is het bereiken van een mentale staat waarin de deelnemer door middel van zintuiglijke prikkels en/of narratieve middelen overtuigd is omgeven te zijn door een nieuwe werkelijkheid, en deze nieuwe werkelijkheid als echt te ervaren. 27 Sherman, Willeam R., en Craig, Alan B Understanding Virtual Reality: Interface Application and Design. (Morgan Kaufmann Publishers, Elsevier Science). p Thomsen, Mette R Positioning Intermedia: Intermedia and Mixed Reality. (Convergence, uitgave 8, nummer 4). p. 40 De mate waarin de deelnemer wordt ondergedompeld, volledig opgaat in de beleving, hangt af van meerdere factoren. Het opgaan in tijd is hier een factor van; de deelnemer vergeet de presentatietijd en ervaart alleen nog maar de narratieve tijd. De tweede factor is de context. In een ideale situatie vergeet de deelnemer de fysieke presentatie context en beleeft de ervaring enkel in de narratieve context, of mocht dit het doel zijn van de verteller, beleeft de deelnemer de narratieve context alsof deze werkelijkheid is geworden van de fysieke presentatie context; wat het geval is bij Augmented Reality. Een derde factor die meespeelt in de mate van immersiviteit is de mate van deelname. Wanneer de deelnemer mentaal en fysiek wordt betrokken in de ervaring zal deze vollediger opgaan in de nieuwe wereld die ze krijgt voorgeschoteld. Daarnaast hebben we bij immersiviteit te maken met het medium en haar interface. Het medium kan trachten transparant of ontransparant te zijn, met andere woorden: in hoeverre wordt de deelnemer eraan herinnert dat de sensorische input voorkomt uit een systeem en in hoeverre doet dat af aan de immersieve waarde? 18

21 Hoofdstuk 4: Video-installatiekunst en Immersiviteit 4.1 Inleiding Video-installaties hebben, zoals veel andere vormen van media, van nature al immersieve kwaliteiten. Om een beeld te schetsen van hoe AR hieraan kan bijdragen zal ik in dit hoofdstuk eerst uiteenzetten hoe video-installatiekunst immersie bereikt zonder deze techniek. Hiervoor bespreek ik een aantal installaties die van grote betekenis zijn geweest voor deze discipline, en hoe de kunstenaars hebben geprobeerd immersie te bereiken. 4.2 Bill Viola Bill Viola is een belangrijke naam in de wereld van de installatiekunst. Zijn werk gaat voornamelijk over het mens zijn en onze relatie met het universum. Viola s uitgangspunt is de kijker bewust te maken van het mens zijn en de verschillende facetten van het leven, vaak op spiritueel gebied. Slowely Turning Narrative Slowy Turning Narrative (Bill Viola). Foto: Gary McKinnis. ( De installatie Slowely Turning Narrative 29 bestaat uit een grote donkere kamer met in het midden een groot projectiescherm dat langzaam ronddraait om zijn verticale as. Aan de ene kant van het scherm wordt een zwart-wit beeld geprojecteerd van een close-up van een man. De andere kant van het scherm is een spiegel waarop gekleurde beelden worden geprojecteerd die elkaar snel opvolgen. Deze beelden worden door de spiegel weerkaatst op de wanden van de ruimte. De gekleurde beelden bestaan uit situaties zoals: een trouwerij, spelende kinderen, een kermis, een brandend huis, een botsende auto, een hart en oog die geopereerd worden. Deze beelden worden ondersteund door corresponderende geluiden. Daarnaast speelt er een mannenstem die een opsomming geeft van de ontelbaar verschillende attitudes die een mens kan hebben op het leven en daarbij passende vormen van gedrag. Deze zinnen variëren van elementaire basisbehoeften tot diepzinnige gedachten, van nobele opvattingen tot de donkerste gedachtes, welke allemaal beginnen met: The one who. Bill Viola over zijn werk: Slowly Turning Narrative is concerned with the enclosing nature of the self-image and potentially infinite (and therefore unattainable) states of being, all revolving around the still center of the self. The room, and everyone in it, becomes in effect a continually shifting projection screen, encompassing images and reflections, all locked into the regular cadences of the chanting voice and the constant rotation of the screen. The entire space becomes an interior for the revelations of a constantly turning mind absorbed with itself. The confluences and conflicts of image, content, emotion, and intent perpetually change as the screen slowly turns. 30 Room for St. John of the Cross Room for St. John of the Cross (Bill Viola). Foto: Kira Perov/SQUIDDS & NUNNS. ( 29 Viola, Bill Slowely Turning Narrative. 30 Video Spaces, Eight Installations. ( exhibitions/1995/videospaces/viola.html). 31 Viola, Bill Room for St. John of the Cross. Het werk Room for St. John of the Cross 31 is een belangrijk werk in de geschiedenis van de video kunst. Het werk staat voor het omslagpunt van projecties en beeldschermen in galerijen naar totaal narratieve omgevingen waarin de kijkers ondergedompeld werden. De bezoeker loopt via een donkere gang de installatie binnen met als gevolg dat het werk effectief is afgeschermd van de rest van de tentoonstelling. Tevens krijgt de kijker meteen de ervaring van isolatie. De gang komt vervolgens uit op een publieke ruimte met daarin een kleine private ruimte die niet te betreden is. De grote donkere ruimte wordt gedomineerd door een grote zwart-wit projectie van besneeuwde bergen die uit de hand zijn opgenomen en zodanig enorm schokkerig zijn, alsof het beeld rennend is gefilmd, of de cameraman last heeft van de harde wind. Het beeld wordt ondersteund door een bulderend geluid. 19

22 De nadruk van deze ruimte ligt op de overweldigende ervaring van dit doordringende monotone beeld en geluid. De tweede ruimte staat in contrast met de omringende grote ruimte. Deze kleine kamer is gevoelig, genuanceerd en mediterend van aard. Het bouwwerk bestaat uit een ontoegankelijke kamer met hierin een raam waardoor de kijker bukkend naar binnen kan kijken. De kamer is een kopie van de ruimte waar St. John in gevangenschap verkeerde, met uitzondering van het toegevoegde raam. Vanbinnen is deze ruimte wit geschilderd en bestaat de vloer uit zand. In de hoek staat een kleine houten tafel met hierop een metalen waterkan, een glas water en een 14 inch monitor; op zijn beurt weer een ruimte binnen een ruimte. Op het scherm zien we een kleurenvideo van een besneeuwde berg die met zijn voet aan weiden en bossen ligt. Deze video is in tegenstelling tot die in de buitenruimte gefilmd vanaf een vast standpunt, zonder camerabewegingen. Door de kleine afmetingen van het scherm en de positionering van de monitor valt het haast niet op dat het een bewegend beeld is in plaats van een stilstaand. Vanuit de kamer hoor je een stem, nauwelijks hoorbaar door het geluidsniveau, in het Spaans vier gedichten voorlezen die geschreven zijn door St. John tijdens zijn gevangenschap. De gedichten beschrijven zijn persoonlijke spirituele ervaringen met metaforen die de natuurlijke wereld overstijgen; de wereld waarvan hij geïsoleerd werd door het gevangenschap. De zelfreflectie in deze gedichten kan worden gezien als een inzicht en ontmoeting met God. Het bijzondere van deze installatie is de manier waarop de bezoeker wordt geconfronteerd met het gevangenschap van St. John en diens zelfreflectie. De installatie weerspiegelt de historische en spirituele ervaring van de zestiende-eeuwse religieuze St. John en recreëert gelijkwaardige omstandigheden om de bezoekers dezelfde ervaring te geven. 4.3 Julia Scher De video-installaties van Julia Scher staan vaak in het thema van bewaking. Sinds de jaren 80 heeft ze meerdere installaties gemaakt waarbij ze veelvuldig gebruik maakt van beveiligingscamera s. Haar werk fungeert als klankkast voor hedendaagse problemen zoals: the gaze (het doelloos staren), manipulatie van beelden, interactiviteit en informatie als kunstobject. Security by Julia II Security by Julia II 32 is een installatie bestaande uit standaard beveiligingscamera s en monitoren. Wanneer de bezoeker de ruimte binnenloopt, wordt ze begroet door een vrouw achter een bureau met een Security by Julia uniform aan. Boven de vrouw hangen zeven zwart-wit monitors met hierop beelden van de beveiligingscamera s. De bezoekers worden uitgenodigd een print te maken van hun eigen, of iemand anders zijn afbeelding wanneer deze op een monitor tevoorschijn komt. Bezoekers kunnen zichzelf bekijken en anderen bespioneren. Op hetzelfde moment kan men paranoïde raken om het feit dat iemand anders hen op datzelfde moment misschien wel aan het bekijken is op een andere monitor in de galerij. Security by Julia II (Julia Scher). Foto: Graham Coulter-Smith. ( 32 Scher, Julia Security by Julia II. 20