De multimodale interface van de smartphone. Hester van Slooten

Transcriptie

1 De multimodale interface van de smartphone Hester van Slooten

2 Onderzoeksvraag: Hoe kan de multimodale interface van smartphones verbetert worden? Deelvragen: - Wat zijn multi-modal triggers? - Hoe werken multi-modal triggers samen op smartphones? - Wat zijn voorbeelden van multi-modal triggers?

3 Inhoudsopgave Inleiding Multimodal interaction Multimodal interaction op smartphones Voorbeelden van multimode interfaces Conclusie Bronnenlijst

4 Inleiding We leven in een wereld waar de smartphone een groot deel van onze aandacht vraagt. In plaats van een krant leest men in de trein zijn of haar smartphone. Deze aandacht wordt op verschillende manieren van ons geeist. Multimodal interaction De definitie van multimodal is het betrekken van meerdere modes of modaliteiten. (Merriam Webster) ( ) Er zijn meerdere toepassingen voor het fenomeen multimodal. Zo is er multimodal distribution, wat in de statistiek een verdeling van waarden is met verschillende hoogtepunten. Een andere toepassing is multimodal transport. Dit staat ook wel bekend als combined transport. Multimodal transport is het transporteren van een set goederen door middel van ten minste twee verschillende soorten transport, bijvoorbeeld per trein en per boot. De medische definitie van multimodal is dat er meer dan één modus of modaliteit word gebruikt tijdens een behandeling. (Merriam Webster) ( ) Maar de toepassing waar dit seminar over gaat, is de multimodal interaction. Multimodal interaction is een vorm van interactie tussen mens en machine dat gebruik maakt van verschillende vormen van input en output. Door het combineren van verschillende modaliteiten zoals spraak, gebaren, geluid en emoties wordt de interactie tussen mensen en machine natuurlijker. (Paper) Deze nieuwe klasse binnen de interfaces streeft ernaar om natuurlijke vormen van menselijke taal en gedrag te herkennen. (Oviatt, 2002) Modality slaat op het type communicatiekanaal dat gebruikt wordt om informatie te verkrijgen of over te brengen, zoals visuele, auditieve en haptische informatie. Multi slaat op het combineren van twee of meer van deze kanalen. Het gaat er bij multimodale interactie dus om dat er meerdere menselijke zintuigen worden gecombineerd tijdens het communiceren met machines. Mensen nemen de wereld waar door middel van hun zintuigen: horen (oren), zien (ogen), ruiken (neus), voelen (handen en voeten) en proeven (mond). (Abdo El Ali, 2011) (STUKJE OVER ZINTUIGEN) Multimodale interfaces worden ook wel Natural User Interfaces (NUI) genoemd en is een opvolger van de Graphical User Interface (GUI). (STUKJE OVER NUI)

5 Mensen nemen meerdere dingen tegelijk waar en doen vaak ook meerdere dingen tegelijk. Neem bijvoorbeeld een TED talk. De spreker houdt een presentatie waarbij hij of zij praat en tegelijkertijd handgebaren gebruikt en rondloopt over het podium. Het publiek doet ook meerdere dingen gelijk: zij luisteren en kijken naar de spreker. Het is daarom voor de gebruiker veel natuurlijker om meerdere zintuigen te combineren bij het communiceren met machines. Er is nog een behoorlijk aantal andere voordelen van een multimodale interface op te noemen. Zo maakt een multimodale interface meer gebruik van gepaste zintuigen welke realistisch en natuurlijk zijn voor de gebruiker. Dit levert dan ook nieuwe manieren van interactie op. Daarnaast zijn multimodale interfaces fleibel. Verschillende modaliteiten kunnen worden ingezet bij verschillende taken. Een ander voordeel is dat deze interface een uitkomst kan bieden voor de visueel en lichamelijk beperkten. Tot slot zijn multimodale interfaces veel boeiender voor de gebruiker. (Abdo El Ali, 2011) Het afgelopen jaren is er een grote ontwikkeling te zien op het gebied van natuurlijke communicatie, zoals spraak- en gebaarherkenning. (DINGEN OVER HERKENNINGSSHIZLE OPZOEKEN!) Ondanks deze ontwikkeling, welke de interactie tussen mens en machine makkelijker en natuurlijker kan maken, blijkt het alsnog behoorlijk lastig te zijn om deze multimodale interfaces te ontwerpen. Aan de ene kant dient de ontwerper geavanceerde kennis te hebben over het ontwerpen voor multimodale interfaces, maar aan de andere kant is het gebied van modalities fusion nog niet volledig onderzocht. Men is echter bezig het vinden van een oplossing voor dit probleem: er zijn namelijk tools en frameworks ontwikkelt die het proces zullen vergemakkelijken, zoals bijvoorbeeld een description language. (Paper) Communicatie tussen mens en machine gaat uit van input en output. Input gaat over het stukje communicatie vanuit de mens richting de machine, bij output is dat precies andersom. Multimodale input maakt het mogelijk voor de mens om op een natuurlijke manier te communiceren met de machine. Deze input voorziet de mens met verschillende input-modaliteiten en staat meerdere stijlen van interactie toe. Multimodale input kan onderverdeeld worden in een aantal categorieen: - Wijzen/aanraken - Motion - Spraak - Lichaamsbeweging - Positie en beweging van het hoofd

6 - Biometrie - Hersenactiviteit - Geur/Smaak? Tegenover de input vanuit de mens staat de output vanuit de machine. Deze is ook weer op te delen in categorieen: Visueel Auditief Haptisch Geur/Smaak? Multimodale interface op de smartphone Kenmerkende aspecten van mobiele interactie: Hardware: klein scherm, gelimiteerde I/O (input/output) Perceptueel: luidruchtige straat, zonlicht reflectie Motoriek: fat-finger problem Sociaal: gebeld worden tijdens een conferentie, rare gebaren richting vreemden (lijkt alsof er een foto wordt gemaakt) Cognitief: gelimiteerde aandachtsboog, gelimiteerd geheugen Voorbeelden: Siri Voorbeelden van multimodale interfaces Conclusie Bronnenlijst (Oviatt, 2002)