COGNITIE & COMMUNICATIE

1 COGNITIE & COMMUNICATIE College week 2, 17/09/2014 Perceptie & Aandacht Informatiekunde Universiteit Utrecht Joske Houtkamp

2 ONDERWERPEN Perceptie Gewaarwording (sensatie) Waarneming (perceptie) Theorieën over visuele perceptie (o.a. patroonherkenning) (Face perception & speech perception zelf bestuderen) Aandacht Top-down vs Bottom-up processing Aandacht: Selectieve aandacht, verdeelde aandacht Theorieën over aandacht Saccades, Eye tracking (Consciousness, facultatief)

3 LITERATUUR Literatuur bij dit college: Matlin, M.W. Cognitive Psychology (2014, 8th edition; eventueel 7 th edition) Chapter 2 Recognizing Visual and Auditory Stimuli Chapter 3 Paying Attention (behalve sectie Consciousness)

4 HOE NEMEN MENSEN WAAR? 1. Gewaarwording (sensation) Het proces waarmee de zintuigen informatie verzamelen en via neuronale signalen naar de hersenen zenden. Distale stimulus (prikkel): bijv. voorwerp in buitenwereld Proximale stimulus: de informatie die op de receptoren (bijv. visuele receptoren) is ontvangen, bijv. het beeld van het voorwerp op de retina. 2. Waarneming (perception) Interpretatie van gewaarwordingen (bijv. Illusies)

5 GEWAARWORDING zien horen voelen ruiken proeven Sebastian Stosskopf

6 ZIEN (1) Wij zien iets als electromagnetische golven/photons van 400 tot 700 nm (tussen 10 14 en 10 15 Hz) het oog bereiken maar een heel klein stukje van het electromagnetische spectrum

7 ZIEN (2) Veel dieren, met name insecten en vogels, kunnen in het ultraviolette spectrum waarnemen (10-400nm). https://bybio.wordpress.com/tag/uv-receptors/ Andere dieren (o.a. bepaalde slangen, vleermuizen, kevers), kunnen warmte (infrarood) waarnemen met systemen die overeenkomsten vertonen met het visueel systeem. http://www.seanbluestone.com/interesting/5-extrasenses-that-animals-have-over-humans/ http://www.seanbluestone.com/interesting/5-extrasenses-that-animals-have-over-humans/

8 ZIEN (3) http://veterinaryvision.com/resources/ what-do-dogs-and-cats-see/ http://fayeflamwriter.com/how-dogs-see-theworld-the-evolutionary-story-of-color-vision/ http://www.lovingpawsllc.com/articles/2 8/Mythbusting_Dog_Color_Vision.aspx

9 HOREN (1) Wij horen : als mechanische golven van 20 20.000 Hz. (frequentie), onstaan door het trillen van objecten, het oor bereiken. Daaronder: infrageluid. Daarboven: ultrageluid. https://familynow.com/sun/the-two-main-types-of-audible-alarms/

10 HOREN (2) http://www.cochlea.org/en/hear/frequency-hearing-range-in-man-and-some-common-animal-species

HOREN (3) 11

12 VOELEN, RUIKEN, PROEVEN wij voelen druk, temperatuur, pijn Deze drie benutten afzonderlijke sensoren, paden naar hersenen, en hersenverwerkingsgebieden wij ruiken bepaalde vluchtige moleculen, oplosbaar in vet We kunnen ongeveer 10.000 verschillende geuren onderscheiden met voor elke geur een specifieke receptor wij proeven bepaalde moleculen, oplosbaar in speeksel (saliva) Ook voor deze moleculen bestaat voor elke combinatie een specifieke receptor

13 GEWAARWORDING Eigenlijk is er erg veel dat we NIET gewaar worden.

KIJK ENKELE SECONDEN NAAR DE AFBEELDING

Wat was er te zien?

16 THE FOREST HAS EYES Bev Doolittle

VAN GEWAARWORDING NAAR WAARNEMING Waarneming: Interpretatie (bos, man op paard, riviertje) Gewaarwording: neuronale informatie naar hersenen (beeld op retina naar hersenen) Waarneming: Interpretatie wordt complexer (gezichten in de rotsen en in de bomen, man op paard is cowboy, gezichten zijn indianengezichten)

18 WAARNEMING http://www.tru-access.com/tru-access-blog/diversity_inclusion_from_perception_to_reality

19 WAARNEMING/PERCEPTIE Perceptie is de interpretatie van wat we gewaar worden door onze zintuigen. De manier waarop we dat doen maakt ons anders dan dieren en verschillend van elkaar. Er bestaan vele theorieën over hoe wat we gewaar worden wordt georganiseerd en geinterpreteerd, en dus over hoe wij begrijpen wat we zien, horen, aanraken, proeven en ruiken.

20 OEFENING Beschrijf in ten hoogste één, zo kort mogelijke zin (<20 woorden), het meest in het oog springende van wat je zo dadelijk ziet. Ik zie

Kees van Overveld -21-

MOGELIJKE ANTWOORDEN 1. Ik zie licht van de beamer teruggekaatst vanaf het projectiescherm 2. Ik zie een verdeling van lichte tinten in het midden, bruinachtige naar de randen 3. Ik zie overwegend mogelijke gladde interpretaties kleurverdelingen, van wat maar in het midden korrelig het en is aan waarnaar de rand je kijkt vlekkerig 4. Ik zie een paar lichte, afgeronde, symmetrische 2D vormen in het midden en een afgeronde driehoek linksonder 5. Ik zie een ruwweg bolronde vorm in het midden en een paar afgeplatte liggende 3D vormen daaronder 6. Ik zie een kopje cappuccino en een krant 7. Ik zie dat het kopje bijna vol is, en de krant is dichtgeslagen 8. Ik zie het zorgeloze begin van een veelbelovende vakantiedag in Italië 9... Al deze antwoorden zijn Bron van dit voorbeeld: Kees van Overveld Van Licht tot Zicht

23 EEN BEELD Wij zijn geneigd wat we zien te beschrijven als (een reeks) objecten Maar er zijn veel niveaus van beschrijving Fysisch niveau: licht(val), kleuren, textuur, Niveau van de vormen: 2D en 3D vormen, eigenschappen van vormen, Niveau van objecten: objecten, eigenschappen, relaties, Betekenisniveau: boodschap, gevoelswaarde,

24 LICHT BETEKENIS Hoe halen we objecten uit elkaar in een binnenkomend beeld? Perceptuele organisatie: de manier waarop het probleem stimulus wordt opgelost in onze hersenen.

25 GESTALT-PSYCHOLOGIE De Gestalt psychologie geeft inzicht in hoe we visuele stimuli waarnemen. Gestalt staat voor "een totaalbeeld", waarbij het geheel méér is dan de som van de samenstellende delen. de mens ervaart meer dan de som van de afzonderlijke zintuiglijke prikkels. de mens heeft de neiging om actief te organiseren wat zij/hij ziet en neemt de wereld waar in gehelen en patronen.

GESTALT PRINCIPES 26

27 BASISPRINCIPES GESTALTSBENADERING De constructie van een totaalbeeld vindt plaats voor de waarneming van de onderdelen, en is automatisch. Wij nemen gehelen waar Het geheel is meer dan de som der delen Het geheel bepaalt de betekenis van het deel Het deel bepaalt de betekenis van het geheel Wij nemen steeds een figuur tegen de achtergrond waar.

28 FIGUUR EN ACHTERGROND

29 AMBIGUOUS FIGURE-GROUND RELATIONSHIP

30 GESTALT WETTEN Law of Pragnanz De wet van pregnantie (Prägnanz): waarneming is er op gericht te zoeken naar een combinatie van eenvoud en essentie

31 GESTALT WETTEN Law of proximity De wet van nabijheid: elementen die dicht bij elkaar liggen, worden waargenomen als bij elkaar horend.

32 GESTALT WETTEN Law of similarity De wet van gelijkheid: bij het voorkomen van twee soorten elementen, worden de elementen opgedeeld in twee afzonderlijke samenhangende gehelen. Hierdoor kan het lijken alsof de ene groep elementen zich op de voorgrond bevindt en de andere op de achtergrond.

33 GESTALT WETTEN Law of continuity De wet van goede voortzetting: er wordt een organiserend principe, zoals bijvoorbeeld bewegingsrichting, gezocht achter de elementen.

34 GESTALT WETTEN Law of closure De wet van geslotenheid: neiging om één geheel waar te nemen, in plaats van afzonderlijke elementen.

35 PECEPTIE: ILLUSIES Escher in Het Paleis

HOE BETROUWBAAR IS ONZE WAARNEMING? Welk vlak is donkerder? A of B?

HOE BETROUWBAAR IS ONZE WAARNEMING?

ILLUSIES Welke lijn is langer? Müller-Lyer illusion

39 AMBIGUE AFBEELDINGEN

LEANING TOWER ILLUSION Ponzo illusie Het brein corrigeert Twin Towers van Pisa 40

41 MCGURK EFFECT https://www.youtube.com/watch?v=g-ln8vwm3m0

42 THEORIES OF VISUAL OBJECT RECOGNITION Template matching, Feature analysis, Recognition-by-components

43 CAPTCHA Completely Automated Public Turing-test to tell Computers and Humans Apart

44 VISUELE OBJECTHERKENNING (1A) Template-matching model Een heel inkomend patroon wordt gematched op gelijkenis met een heel opgeslagen (stored) patroon

45 VISUELE OBJECTHERKENNING (1B) Template-matching model

46 VISUELE OBJECTHERKENNING (2) Feature analysis theories - bepaalde kenmerkende stukjes van een patroon vergeleken met opgeslagen stukjes - match kenmerken - match relatie tussen kenmerken - selecteer match met hoogste activatie Welke feature demons reageren op de R?

FEATURE ANALYSIS THEORY Eleanor Gibson's research Benodigde tijd om te bepalen of letters verschillen hoger als letters veel dezelfde kenmerken hebben Model voor herkennen van letters en cijfers op enveloppen Hubel and Wiesel's research Respons van enkel neuron op eenvoudige visuele stimulus Afhankelijk van plaats op de retina and orientatie Dus: (Aangeboren) feature detectors helpen ons bepaalde kenmerken van letters en eenvoudige patronen te herkennen. http://www.ftpress.com/articles/article.aspx?p=1431818 47

48 VISUELE OBJECT HERKENNING http://www.cns.nyu.edu/~david/courses/perception/lecturenotes/recognition/recognition.html

49 THEORIEËN VAN VISUELE OBJECTHERKENNING Biederman (1990 / 1995): recognition-bycomponents theory: Een speciale view van een object is een samenstelling van eenvoudige 3-D vormen; geons 36 categories of geons We herkennen objecten door een specifieke combinatie van geons. Is in feite een feature-analysis theorie!! Wordt ondersteund door fmri onderzoek.

50 VISUAL OBJECT RECOGNITION Aanpassingen aan The Recognition-by-Components Theory: viewer centered approach Een standaard gezichtspunt leidt tot snellere herkenning dan een ongebruikelijk gezichtspunt Verschillende views op objecten opgeslagen, niet een enkel gezichtspunt Zowel feature-analysis theory als de recognition-bycomponents theory kunnen een deel van de menselijke vaardigheden in objectherkenning verklaren

51 OBJECT HERKENNING: CONTEXT Tot nu geïsoleerde objecten Hoe helpen context, kennis en verwachting herkenning?

52 BOTTOM-UP VERSUS TOP-DOWN PROCESSING Bottom-up processing Kenmerken van de stimulus zijn belangrijk voor het herkennen van een object. Top-down processing Concepten, verwachtingen en geheugen helpen herkenning. Sterk bij: - Zeer korte waarneming - Incomplete of ambigue stimulus

TOP DOWNPROCESSING: LEZEN Wat zegt het volgende over hoe we tekst herkennen? Cognitie 53 & Informatieverwerking 2008

OVERACTIEVE TOP-DOWN PROCESSING Smart mistakes: strategie van topdown processing overheerst Change blindness (verandering wordt niet opgemerkt) Inattentional blindness (een nieuw object wordt niet opgemerkt). Vooral als de taak cognitieve inspanning vraagt Change blindness http://www.youtube.com/watch?featur e=player_embedded&v=fwsxsqssp iq http://www.theinvisiblegorilla.com/videos.html 54

Kies 1 kaart 55

Ik heb jouw kaart verwijderd!!!

57 VERANDERINGSBLINDHEID (1)

58 VERANDERINGSBLINDHEID (2)

AANDACHT 59

60 WAT IS AANDACHT / ATTENTION? Onze cognitieve processen kunnen niet op alles tegelijk letten. Matlin (2010): Attention is a concentration of mental activity that allows you to take in a limited portion of the vast stream of information available from both your sensory world and your memory. Top-down en bottom-up processing: bewust concentreren aandacht wordt getrokken door stimulus in de omgeving.

61 BOTTOM-UP VERSUS TOP-DOWN niet hier!! niet hier!! Kijk hier niet hier!! Aandacht kan bottomup getrokken worden

62 BOTTOM-UP VERSUS TOP-DOWN Bottom-up: data driven (guided by sensory features) Top-down: concept driven

63 ATTENTION PROCESSES DIVIDED ATTENTION Divided-attention task (verdeelde aandacht) Proberen aandacht te besteden aan twee of meer tegelijk binnenkomende boodschappen Juist reageren op de boodschappen Gevolg: langzamer en meer fouten Multitasking Proberen twee of meer taken tegelijk te doen Zware belasting voor aandacht, werkgeheugen en langetermijngeheugen Task switching is net als multitasking belastend en leidt tot vertraging en fouten

64 KLOPT DIT? http://infographics.idlelist.com/the-perils-of-multitasking/

65 DIVIDED ATTENTION Veel onderzoek naar gebruik mobiele telefoon Bijvoorbeeld studies naar autorijden Collet et al. (2011) Mobiele telefoongebruik tijdens rijden in een simulator Reactietijden tijdens rijden 20% langzamer dan zonder de mobiele telefoon Strayer et al. (2003) hands-free bellen langzamer met remmen inattentional blindness passagiers die bellen leiden ook af (gesprek proberen te volgen)

66 VOORBEELDEN Aandacht voor mobiele telefoon http://www.youtube.com/watch?v=r8-w6o8eu7c http://www.youtube.com/watch?v=z8-kcg11ycy Appen in de auto http://www.youtube.com/watch?v=hbjswdwjils&list=plm8ucpv zz-bf23tp5fv8fh_x-r794o4o3

67 ATTENTION PROCESSES SELECTIVE ATTENTION Selective Attention (selectieve aandacht) Bij een divided attention task moet een individu evenveel aandacht besteden aan twee of meer taken. Bij een selective attention task juist aandacht voor bepaalde informatie en andere negeren. Maakt het dagelijks leven eenvoudiger. We filteren onbelangrijke informatie en taken uit.

68 SELECTIVE ATTENTION TASKS Dichotic listening (=beide oren) The Stroop Effect/Task Visual search Saccadic eye movements during reading

69 SELECTIVE ATTENTION TASK Dichotic Listening Via koptelefoon worden twee verschillende teksten voorgelezen (1 links, 1 rechts). Opdracht: volg een van de teksten en herhaal deze hardop Mensen merken erg weinig op over de andere tekst (bijvoorbeeld niet het switchen van taal).

70 DICHOTIC LISTENING In het algemeen kunnen mensen maar een boodschap tegelijk verwerken. De andere boodschap kan wel worden verwerkt wanneer: 1. Beide teksten langzaam worden gepresenteerd 2. De uit te voeren taak niet te ingewikkeld is 3. De betekenis van de boodschap waar de aandacht niet op gericht was, relevant is 4. Cocktail party effect (naam valt op)

71 SELECTIVE ATTENTION TASK The Stroop Effect Zeg de kleuren van de woorden hardop, negeer de betekenis van het woord. Meet de benodigde tijd om de lijst 5 maal op te lezen.

72 SELECTIVE ATTENTION TASK The Stroop Effect Zeg de kleuren van de vakjes hardop. Meet de benodigde tijd om dit 5 maal te doen.

73 STROOP EFFECT Het kost meer tijd om de kleur te noemen wanneer het woord een andere kleur aanduidt (en dus afleidt). Bij de vakjes gebeurt dat niet. Verklaringen: connectionist/parallel distributed processing (PDP) approach ; twee pathways worden tegelijk geactiveerd (kleur van de inkt, betekenis van het woord) en interfereren. Volwassenen hebben meer ervaring met het lezen van woorden (automatisch en onwillekeurig) dan benoemen van kleuren Zie in Matlin: emotional Stroop task.

74 SELECTIVE ATTENTION TASK Visual search Vind een specifiek object in een afbeelding met veel afleidende objecten Variabelen die invloed hebben: Meer accuraat wanneer het target vaker voorkomt (niet hier dus)

75 VISUAL SEARCH Variabelen die visueel zoeken beïnvloeden The isolated-feature/combined-feature effect (Treisman and Gelade (1980)) 1. Zoek de blauwe x. Vind je ze ongeveer even snel, of niet?

76 VISUAL SEARCH En nu?

77 VISUAL SEARCH Als het doelobject van de irrelevante objecten verschilt in een enkel kenmerk zoals kleur, is het eenvoudig het doelobject te vinden (isolated feature). Wanneer er sprake is van een combinatie van kenmerken (kleur en vorm) duurt het zoeken langer (combined feature).

78 VISUAL SEARCH Variabelen die visueel zoeken beïnvloeden The feature-present/feature-absent effect(treisman and Souther (1985)). Zoek de cirkel met het streepje of de cirkel zonder het streepje

79 The neural basis of attentional control in visual search M. Eimer, 2014 Attention in the real world: toward understanding its neural basis M.V. Peelen, S.Kastner, 2013

SACCADES EN EYE TRACKING 80

81 SACCADIC EYE MOVEMENTS BIJ LEZEN A selective-attention task Oogbewegingen zijn van belang bij kijken, zoeken, lezen, autorijden, spreken Saccadic eye movement Serie van kleine sprongetjes van het oog brengt het centrum van de retina (fovea) boven de woorden die gelezen worden Het oog beweegt vaak over spaties, korte woorden en voorspelbare woorden heen maar pauzeert bij spelfouten en ongebruikelijke woorden. http://www.microsoft.co m/typography/ctfonts/w ordrecognition.aspx

82 SACCADES Wat doet deze persoon? bij elke saccade beweegt het oog ongeveer 7-9 letters vooruit 150.000 200.000 saccades per dag

83 MEASURING ATTENTION BY EYE TRACKING Are People Drawn to Faces on Webpages? T.Tullis, M.Siegel & M.Sun in: CHI 2009, Boston, Massachusetts, USA. Faces draw attention to them on webpages Study 1: users are clearly drawn to faces when asked to look at pages and report what they remember

84 EYE TRACKING AND TASK- PERFORMANCE Are People Drawn to Faces on Webpages? T.Tullis, M.Siegel & M.Sun in: CHI 2009, Boston, Massachusetts, USA. Study 2: a Portfolio Summary page was modified to contain either a photo of a woman s face or no image tasks that had answers that could be found by reading information on the page

85 EYE TRACKING AND TASK-PERFORMANCE Study 2: Contrary to expectation, a picture of a face in this context actually caused users to do worse on a task involving information adjacent to the face.

86 VERKLARINGEN VOOR AANDACHT Neurowetenschappelijk onderzoek The Orienting Attention Network Selecteert informatie uit zintuiglijke input Voorbeeld: gericht zoeken, visual search (voor een deel) in de parietal lobe (pariëtale kwab) gelegen

87 NEUROWETENSCHAPPELIJK ONDERZOEK The Executive Attention Network Is actief wanneer we ons richten op een taak met tegenstrijdigheden, zoals de Stroop task Verhindert automatische responses op stimuli Prefrontale cortex Top-down control van aandacht Academische vaardigheden, nieuwe dingen leren

http://video.ted.com/talk/podcast/2013g/none/apollorobbins_2013g-480p.mp4 88

THEORIËN VOOR AANDACHT: BOTTLENECK THEORIE Bevinding: slechts een gedeelte van het aanbod aan input wordt verwerkt. Menselijke informatieverwerking heeft vernauwing Beperking van de hoeveelheid informatie die aandacht krijgt De rest blijft achter/verdwijnt Maar: deze verklaring is te simpel Informatie verdwijnt in meer fasen van het proces van aandacht Verouderde theorie 89

90 FEATURE-INTEGRATION THEORY (ANNE TREISMAN) 1. Basic elements distributed attention Automatisch registreren van kenmerken (bijv.een ruimte) Parallel processing Identificeert objecten simultaan Low-level processing dwz zonder inspanning, automatisch focused attention Langzamere, seriële verwerking Identificeren van 1 object tegelijk Complexe objecten Identificeren welke kenmerken bij elkaar horen (bijv. vierkant en blauw)

91 FEATURE-INTEGRATION THEORY 2. Research on the theory isolated features (distributed attention; pop out ) combined features (focused attention)

92 FEATURE-INTEGRATION THEORY 3. Current status of the theory Distributed attention can occasionally resemble focused attention. Visual system may use distributed attention to quickly gather information about the general gist of a scene.

93 SAMENVATTEND Perceptie Gewaarwording (sensatie) Waarneming (perceptie) Theorieën van visuele perceptie (patroonherkenning) Face perception & speech perception zelf bestuderen! Aandacht Top-down vs Bottom-up processing Selectieve aandacht Verdeelde aandacht Feature integration theory Saccades, eye tracking, change blindness Consciousness (facultatief)

WERKCOLLEGE 94

95

MULTITASKING 96

97 OPDRACHT Bedenk en test een klein experiment om jongeren te laten zien en overtuigen dat multitasking een negatief effect heeft op hun prestaties. Kies uit twee cases: 1. Whatsappen en fietsen 2. Skypen/gamen en huiswerk maken Het experiment mag de veiligheid van de puber niet in gevaar brengen, moet overtuigend en eenvoudig uitvoerbaar zijn. Bijvoorbeeld: Whatsappen met de rechterhand en met de linkerhand het ritme van een liedje tikken; versus eerst appen en dan ritme tikken. Hoeveel fouten? Een couplet van een song leren en tegelijk gamen; versus ongestoord leren. Hoeveel tijd nodig, hoeveel fouten?

98 ORGANISATIE 10 minuten bedenken 10 minuten uitproberen en aanpassen (mag buiten de zaal) Het experiment is korter dan 5 minuten. Welke materialen gebruik je? (smartphone, pilonnen, etc) Waar voer je het uit? Hoe meet je de uitkomsten? Fouten, tijdsduur, enz. Hoe vergelijk je de condities? Iedereen is terug in de zaal om 11.30u Presentatie/demonstratie tot 12.00u.