Een oog voor kunst. Van visuele waarneming tot visuele kunst

Transcriptie

1 Een oog voor kunst Van visuele waarneming tot visuele kunst

2

3 Inhoudstafel 1. Het oog, het visueel brein en visuele waarneming: basisnoties 2. Perceptuele organisatie en vormperceptie: basisnoties en relevantie voor kunst 3. Experimentele psycho-esthetiek: voorbeelden van soorten onderzoek 4. Oogbewegingen en het gebruik daarvan in experimentele psycho-esthetiek 5. Andere voorbeelden van perceptie en kunst interacties

4 1. Het oog, het visueel brein en visuele waarneming: basisnoties

5 Overzicht Het oog is geen perfect optisch instrument Het visueel brein is grosso modo modulair en hiërarchisch georganiseerd Maar ook de dynamiek is erg belangrijk (het belang van feedforward en feedback iteraties) Grote stadia van visuele informatieverwerking: Low level Mid level High level Kernidee: visuele waarneming is geen perfecte registratie van de fysische realiteit maar een subjectieve reconstructie (cf. illusies)

6 Het oog is geen perfect optisch instrument

7 Het oog bestaat uit meerdere componenten maar het is geen perfect optisch instrument

8 De lichtgevoelige receptoren (kegeltjes en staafjes) zitten bvb. achteraan in het netvlies (retina)

9 De kegeltjes ( cones ) zijn geconcentreerd in de fovea en de staafjes ( rods ) zijn minder goed voor details De scherpte neemt daardoor drastisch af in de periferie Er is bovendien een grote blinde vlek in elk oog t.h.v. optische zenuw Daarom moeten we voortdurend oogbewegingen ( saccades ) maken (2 à 4 x per sec)

10

11 DEMONSTRATIE: Sluit je rechteroog Fixeer de opeenvolgende cijfers Bij één van de cijfers zal de gele cirkel verdwijnen Misschien is het nodig wat verderaf te gaan of dichterbij te komen REDEN: Op die specifieke kijkafstand projecteert de gele cirkel op de blinde vlek van je linkeroog

12 Wat we denken te zien:

13 Wat echt in het netvliesbeeld te zien is:

14 Het visueel brein is grosso modo modulair en hiërarchisch georganiseerd

15 De input voor het visueel systeem is geen beeld maar een verzameling hersencellen die vuren De hersenen moeten de informatie dus verwerken ( decoderen ) Ongeveer een derde van de hersenen houdt zich bezig met visuele informatieverwerking Er zijn heel wat verschillende gebieden met elk hun eigen specialisatie, bvb. Vier lobben met meerdere subregio s (Brodmann areas) Twee stromen ( wat en waar ) met meerdere verwerkingsstations Retinotopie (codering van plaats in het visueel veld), vooral in lage gebieden

16 Vier lobben met meerdere subregio s Brodmann areas

17 Twee stromen ( wat en waar ) met meerdere verwerkingsstations 2 = dorsale (pariëtale) stroom voor waar informatie (bvb. visueel gebaseerde actie) 1 = ventrale (inferieur-temporale) stroom voor wat informatie (bvb. herkenning)

18 Visueel veld en retinotopie centraal paracentraal perifeer voor iemand met normaal zicht voor iemand met verlies van perifeer zicht Van Baelen et al., in voorbereiding

19 Het visueel brein is dus grosso modo hiërarchisch en modulair georganiseerd, maar: heel wat kruisverbindingen, zowel feedforward ( bottom-up ) als feedback ( top-down ) interacties en dynamiek zijn dus ook erg belangrijk (bvb. re-entrant processing : combinatie van top-down met bottom-up informatie)

20 Verwerking kan tot bewustzijn leiden, maar dat hoeft niet functionele specialisatie en corticale hiërarchie complexe connectiviteit met feedforward en feedback Grill-Spector & Malach, 2004 Felleman & Van Essen, 1991

21 Serre et al., 2007

22 dynamiek van informatieverwerking en verspreiding over het corticale netwerk, al dan niet leidend tot bewuste visuele perceptie Del Cul et al., 2007

23 Gevolgen hiervan voor visuele waarneming Visuele waarneming is geen perfecte registratie van de fysische realiteit maar een subjectieve reconstructie (cf. illusies) gebaseerd op complexe informatieverwerking met meerdere tussenstappen met wisselwerking tussen bottom-up beeldinformatie en top-down kennis en verwachtingen

24 low level Grote stadia van visuele informatieverwerking registratie van input (stimulatie van receptoren in het netvlies) decodering van responsen: enkelvoudige kenmerken ( features ) binnen het receptief veld van één cel (bvb. oriëntatie van een rand) mid level perceptuele groepering figuur-achtergrond organisatie diepteperceptie 2-D en 3-D vormperceptie high level betekenis (identificatie, categorisatie, semantische associaties, )

25 Concreet voorbeeld voorwerp waar men naar kijkt weergave van de input (vroege verwerking) 2-D vormperceptie 3-D vormperceptie

26 Rol van perceptuele organisatie hierin Groepering perceptuele groepering = + figuur-achtergrond organisatie symmetrie

27 Rol van feedforward en re-entrant processing hierin

28 2. Perceptuele organisatie en vormperceptie: basisnoties en relevantie voor kunst

29 Visuele waarneming is geen perfecte registratie van de fysische realiteit maar een subjectieve reconstructie

30 Visuele illusies : de klassiekers : Best Visual illusion of the Year Contest Enkele minder gekende voorbeelden

31 kijk naar de stip in het midden en beweeg je hoofd vooruit en dan weer achteruit (blijf ondertussen kijken naar de stip)

32 Het constructieproces bemoeilijkt Dalmatian dog Koe Nelson Mandela merk op: eens je gezien hebt wat er te zien is, kan je het niet meer anders zien

33 Pareidolia Soms overdrijft het visueel systeem door iets te construeren dat er niet is vaak met gezichten of levende wezens (bvb. dieren in wolken of rotsen)

34 Perceptuele ambiguïteiten vaas vs gezichten saxofoon-speler vs profiel van een vrouwenhoofd oude vs jonge vrouw eend vs konijn

35 Onmogelijke figuren Subjectieve contouren Kanizsa vierkant Veelvuldig gebruikt in kunst Escher, Dali, Vasarely en op art ( optical art )

36 De manier waarop experimenteel-psychologen dergelijke fenomenen onderzoeken is meestal door: -zorgvuldige constructie van goed gecontroleerde stimuli (waarin bepaalde factoren gemanipuleerd worden) -zorgvuldige registratie van observeerbare responsen (bvb. % correcte responsen en reactietijd) op een bepaalde taak (bvb. detectie, discriminatie, identificatie) Op de PCs hier vind je daarvan tal van voorbeelden: - doe-het-zelf experimenten ( Visuolympics ) - voor wie meer wil weten: korte uitleg met demos

37 Voorbeeld Kleine vlekjes met goed gecontroleerde grijswaarden ( Gabor patch ) Gauss blob x sine wave = Gabor patch x = Ideale stimulus voor een hersencel in de laagste visuele hersengebieden

38 We kunnen hiermee de normale visuele processen vertragen en meetbaar maken, bvb. perceptuele groepering van elementen in een rand ( contour ) perceptuele afscheiding van groepjes samenhorende elementen (contour of textuur), uit de wirwar van elementen in de achtergrond (extractie van signaal uit ruis ) We kunnen de factoren manipuleren die dit makkelijker of moeilijker maken We kunnen de interacties tussen die processen onderzoeken, bvb. buitenste rand vs textuur van het oppervlak erbinnen de rol van herkenbaarheid van de figuur

39 Onderwerpen die we onderzoeken low level : contrast-perceptie hoe een populatie van hersencellen de input kan decoderen mid level : perceptuele groepering figuur-achtergrond organisatie perceptuele multistabiliteit symmetrieperceptie transformaties en invarianten diepteperceptie 2-D en 3-D vormperceptie high level : 2-D en 3-D object- en gezichtsperceptie emotieperceptie perceptie van biologische beweging scèneperceptie toepassingen perceptie en appreciatie van visuele kunst visuele waarneming in autisme

40 Onderzoeksmethoden Experimentele psychologie zie demonstraties op PCs ook oogbewegingsregistratie (zie elders in zaal 1, 2 en 5) Psychofysica Modellering Neuroimaging vnl. EEG en fmri zie ook zaal 4 ( Een brein voor kunst )

41 Voorbeelden van parallellen tussen wat wij als wetenschappers onderzoeken en wat kunstenaars op hun manier al weten Texturen en kanteling in diepte Herhaling en symmetrie Transformaties en invarianten Perceptuele groepering en figuur-achtergrond organisatie Perceptuele ambiguïteit van figuurachtergrond organisatie Contour vs oppervlak

42 Wetenschappers: Onderzoek: Texturen & kanteling in diepte Kunstenaars: Ruth Loos studie van losse pagina s: paraffine op kalkpapier sea of stories - fairy tales Doordrukalfabet bladen en gedroogde koraal

43 Wetenschappers: Onderzoek: Herhaling & symmetrie Kunstenaars: Ruth Loos

44 Wetenschappers: Onderzoek: A B C D E F G 100% Duck 0% Rabbit 80% D 20% R 60% D 40% R 50% D 50% R 40% D 60% R 20% D 80% R 0% Duck 100% Rabbit Transformaties & invarianten Kunstenaars: Wendy Morris

45 Wetenschappers: Onderzoek: Perceptuele groepering & figuur-achtergrond organisatie Kunstenaars: Anne-Mie Van Kerckhoven

46 Wetenschappers: Onderzoek: Perceptuele ambiguïteit van figuur-achtergrond organisatie Kunstenaars: Anne-Mie Van Kerckhoven

47 Wetenschappers: Onderzoek: Contour vs. oppervlak Kunstenaars: Anne-Mie Van Kerckhoven

48 3. Experimentele psycho-esthetiek: voorbeelden van soorten onderzoek

49 Inleiding De gustibus non est disputandum of toch? Experimentele psycho-esthetiek = wetenschapsdiscipline die probeert te begrijpen welke factoren esthetische appreciatie bepalen/beïnvloeden Historische start = Vorschule der Aesthetik (1876) van Gustav Theodor FECHNER ( ) Recentere voorbeelden: - Rudolf ARNHEIM Art and visual perception (1974) The power of the center (1988) - Ernst GOMBRICH Art and illusion (1980)

50 Experimentele methode: Manipulatie van factoren Meting van esthetische responsen Problemen: - Niet alles is manipuleerbaar - Keuze van meetmethode: wat kan je vragen aan deelnemers? (hoe mooi? hoe aangenaam? hoe intens? enz. zie studie over esthetische woordenschat elders in de zaal)

51 Grote variatie aan soorten onderzoek Van (a) heel eenvoudig, sterk gereduceerd (ver van echte kunst) tot (b) heel complex, weinig gecontroleerd (dichter bij echte kunst) a) Bvb. rol van gulden snede (aanwezig in veel echte kunst, bvb. Leonardo da Vinci, Le Corbusier, Mondriaan) vaak onderzocht met eenvoudige rechthoeken (welke van de twee vind je best/mooist?) b) Bvb. analyse van vormelijke aspecten van compositie in bestaande werken, bvb. Leyton Symmetry, causality, mind (1992) (puur theoretisch/speculatief)

52 Leyton (1992) Symmetry, causality, mind Vormwaarneming = reconstructie van ontstaansgeschiedenis causale verklaring van vorm door asymmetrieën ongedaan te maken zien van processen Esthetische respons = evaluatie van causale verklaring (als oplossing van een probleem)

53 Voorbeeld-analyse Les Demoiselles d Avignon Pablo Picasso (1907) Proces 1: Stretching Proces 2: Overcoming rigidity Proces 3: Overcoming resistance Proces 4: Pulling open Proces 5: Branching out Proces 6: Tearing apart

54 Grote variatie aan soorten onderzoek (c) Tussenin: Invloed van kader en element-vorm op compositie Visual rightness theorie van beeldcompositie Microgenese van kunstperceptie

55 Grote variatie aan soorten onderzoek Tussenin voorbeeld 1 Invloed van kader en element-vorm op compositie (Cornelis et al., 2000) Architectuur-studenten maken composities in een bepaald kader (rechthoek of cirkel) en met bepaalde elementen (rechthoekige driehoeken, gelijkbenige driehoeken en ongelijkzijdige driehoeken; trapezia, rechthoeken en onregelmatige vierhoeken) 26 th Congress of the International Association of Empirical Aesthetics, New York, U.S.A.

56 Grote variatie aan soorten onderzoek Tussenin voorbeeld 2 Visual rightness = theorie van beeldcompositie (Locher et al., 1996, 1999, 2003) De organisatie-structuur van een visueel goede compositie: - is visueel opvallend - wordt beter beoordeeld dan een variant - getest met 16 bestaande schilderijen - verschillende experimenten Getest met 16 bestaande schilderijen (figuratief en abstract) in verschillende experimenten (met verschillende soorten deelnemers) Locher, P., Gray, S., & Nodine, C. (1996). The structural framework of pictorial balance. Perception, 25, Locher, P., Stappers, P., & Overbeeke, K. (1999). The role of balance as an organizing principle underlying adults compositional strategies for creating visual displays. Acta Psychologica, 99, Locher, P. (2003). An empirical investigation of the visual rightness theory of picture perception. Acta Psychologica, 114,

57 Grote variatie aan soorten onderzoek Tussenin voorbeeld 2 Experiment 1 Naïeve proefpersonen (50 psychologie-studenten) Keuze voor origineel in 55% van de gevallen Goodness rating (Algemeen = +0.37, Figuratief = +0.54, Abstract = Experiment 2 Expert proefpersonen (12 kunst-docenten) Keuze voor origineel in 64% van de gevallen Goodness rating (Algemeen = +0.83, Figuratief = +0.73, Abstract = +0.92) The golden wall (Hofmann) O=Original, A=adjusted The daughters of Edward Darley bois (Sargent)

58 Grote variatie aan soorten onderzoek Tussenin voorbeeld 2 Experiment 3 Tussenin proefpersonen (187 ontwerpstudenten) Plaatsing van het vrije element Experiment 4 Naïeve proefpersonen (100 psychologiestudenten) Keuze tussen 3 versies: Origineel, Lichtjes gewijzigd, Sterk gewijzigd

59 Grote variatie aan soorten onderzoek Tussenin voorbeeld 3 Style follows content: On the microgenesis of art perception (Augustin et al., 2008) Microgenese van kunstperceptie: Hoe wordt de waarneming van bepaalde aspecten van kunst in de tijd opgebouwd? Hoe sterk wegen stijl en inhoud door in het bepalen van de waargenomen gelijkenis tussen paren van kort gepresenteerde schilderijen gelijkenis/verschil van inhoud weegt zwaarder door dan stijl (vanaf 10 ms al) verwerking van stijl ontwikkelt iets later (vanaf 50 ms) maar wordt sterker met langere aanbieding verwerking van stijl kan al op basis van snel beschikbare informatie Augustin, M. D., Leder, H., Hutzler, F., & Carbon, C. C. (2008)., Acta Psychologica, 128(1),

60 4. Oogbewegingen en het gebruik daarvan in experimentele psychoesthetiek

61 Oogbewegingen Het oog kan enkel detail-informatie krijgen met het centraal deel van het netvlies (de fovea). Perifeer zicht is onscherp (zie het oog, helemaal vooraan in het bladerboek). Daarom moeten we voortdurend onze ogen bewegen (2 à 4 x per sec). Het kijkpatroon (scanpath) bestaat dus uit een opeenvolging van oogpauzes (fixaties) en oogbewegingen (saccades). We kunnen deze registreren met oogbewegingsapparatuur.

62 Scanpath De afbeelding hiernaast toont een scanpath, gemeten met de EyeLink II (ook tijdens de tentoonstelling aanwezig in bepaalde periodes, zie flyer over deelname aan onderzoek). Elke fixatie wordt hier weergegeven door een cirkel met diameter proportioneel aan duur van de fixatie fixatieduur in cijfers rangordenummer van de fixatie Saccades worden weergegeven met pijlen

63

64 Scanpath (vervolg) Wanneer we meerdere scans over een beeld verzamelen (hetzij van dezelfde persoon, hetzij van verschillende personen) kunnen we fixatieverdelingen opstellen: waar vinden we de meeste / langste fixaties? welke delen trekken de meeste aandacht? Die fixatieverdelingen kan je op verschillende grafische wijzen voorstellen: fixatiereliëfs waarbij in een 3D-plot meer/langere fixaties (= meer interesse) voorgesteld worden met hogere pieken fixatiecontouren of heatmaps waarbij meer kijken en meer interesse voorgesteld wordt aan de hand van intensere of helderdere kleuren interessefilters waarbij meer kijken en meer interesse voorgesteld wordt door het oorspronkelijk beeld op die plaats lichter, levendiger, meer zichtbaar te maken

65 Christ Addressing a Kneeling Woman. Paolo Veronese evolutie van fixatievoorkeur over de tijd

66 Oogbewegingsapparatuur We beschikken in het Laboratorium voor Experimentele Psychologie over twee soorten oogbewegingsapparatuur: EyeLink II soort helm zodat het hoofd mobiel blijft snelheid: 500 Hz, accuraatheid: 0.5 Dual Purkinje Image Eyetracker individueel mondstuk om hoofd te stabiliseren snelheid: 1000 Hz, accuraatheid: 0.1

67 Gebruik van oogbewegingsregistratie in experimentele psycho-esthetiek Twee voorbeelden 1. Verschil in kijkgedrag tussen groepen: links leken, rechts kunstexperten leken veel meer gedreven door figuur-achtergrond (clustering op menselijke figuur); kunstexperten scannen veel ruimer 2. regions of interest in kunst: de gouden driehoek met fixatie cluster gedomineerd door globale structuur, niet door locale beeldinformatie

68 Ons oogbewegingsonderzoek in het kader van Parallellepipeda Kalligrafie (15 tekeningen) van Anne-Mie Van Kerckhoven studie door Peter De Graef, Karen De Ryck & Johan Wagemans zie zaal 1 voor grote dynamische display van resultaten (4 flatscreens aan de muur) scan paths, appreciatie en expertise Off the Record (animatiefilm) van Wendy Morris studie door Peter De Graef, Line Denayer & Johan Wagemans zie zaal 4 voor grote dynamische display van resultaten (4 flatscreens aan de muur) scan paths, appreciatie en invloed van kennis

69 Nu in ZAAL 1: Oogbewegingen bij Kalligrafie AMVK zelf: heel veel fixaties (voortdurende afwisseling tussen centraal en perifeer kijken) Leek: blijft lang bij tekst hangen Kunstkenner: tussen beide in (heel volledig scanpath, gericht op compositie als geheel)

70 Nu in ZAAL 4: Oogbewegingen bij Off the Record Bij een film is er voortdurend beweging, die vaak door het oog gevolgd wordt ( smooth pursuit ). Hier staan telkens drie snapshots onder elkaar die elkaar snel opvolgen. Een tragere kijker kan slechts één fixatie maken per snapshot en kijkt meer centraal. Een snelle kijker kan twee korte fixaties maken per snapshot en fixeert twee opvallende voorwerpen.

71

72 5. Andere voorbeelden van perceptie en kunst interacties

73 Oogbewegingen als kunst Catherine Baker registreert haar fixaties terwijl ze tekent en neemt de fixatiecontouren als input voor haar grafiek

74 Oogbewegingen als kunst Een LCD display van Mirjam Netten s Infant (links) wordt gefilterd door de cumulatieve kijkpatronen van het publiek (rechts), geregistreerd met de camera s links-onder en rechts-boven

75 Data als kunst De manier waarop wetenschappers hun data weergeven is erg belangrijk voor de communicatie. Vaak hebben die data-displays ook iets esthetisch. Hier tonen we een paar voorbeelden. Idee en selectie: Jonas Kubilius.

76 you and i working together working against each other An experimenter moved her hand up and down or left and right, while a participant had to either repeat her motion (left panel) or do an opposite motion (right panel). Here, the trajectory of participant hand s motion is drawn. Left panel has more consistent lines, thus the task was easier when both the experimenter and the participant worked hand in hand. Reproduced from Kilner et al., Current Biology (2003)

77 untitled.tiff When presenting some stimuli in experiments, it is often useful to know where people are looking at. Scientists use eye-tracking machines that can record and display the position of where they were looking. The more yellow, the more one was staring there. Here, people were asked to look at the plus while some images were shown to the sides or above/below. You can see people sometimes peeking at those images: curiosity wins. Reproduced from Dilks et al. (not published)

78 emptiness Images of various rooms have been superimposed on top of each other and painted red. Reproduced from Dilks et al. (in preparation)

79 Mona Lisa, met een knipoog en een glimlach Naoki Kogo doet onderzoek over figuurachtergrond organisatie en subjectieve contouren, bvb. gebruik makend van varianten van het Kanizsa vierkant Links zie je heel duidelijk een vierkant in het midden, rechts niet (hoewel de hoeken binnenin locaal precies gelijk zijn) Als je deze invoegt in de Mona Lisa, zie je soms heel duidelijke vierkanten, die er natuurlijk niet zijn (daarom: subjectieve of illusoire figuren)

80

81 AMVK is geen illusie Dit toont de zgn. corridor illusion, een neveneffect van de normale waarneming van diepte op basis van perspectief-cues en de onbewuste correctie van waargenomen grootte i.f.v. retinale grootte en afstand (zgn. grootteconstantie). N.B. Dit werkt niet alleen met kunstenaars. Idee en realisatie: Lee de Wit.

82 Puntlichtfiguur in goed gezelschap Puntlichtfiguren worden vaak gebruikt in onderzoek over de waarneming van biologische beweging (zie experiment op PC) Hier steekt er eentje in goed gezelschap Abbey Road over (voor bewegende versie: zie demonstratie op PC) Idee en realisatie: Lee de Wit en Ervin Poljac.

83 Dit is geen conceptuele kunst Eef Ameel doet onderzoek over de mentale representatie van concepten en conceptuele combinaties. Ze speelt hier op een visuele manier met haar onderzoeksthema.

84 Voor meer leuke demonstraties: kijk eens op de computers en kijk ook eens achter het muurtje (op sommige dagen vinden hier echte experimenten plaats)

85 Inhoud: Schikking: Stephanie Poot