Samenvatting Waar is je hand? 169
Waar is je hand? Waarschijnlijk denk je hier niet vaak over na. Onbewust weet je echter continu waar je handen zijn, bijvoorbeeld als je iets pakt of optilt. Maar hoe weet je dan waar je hand is? Ten eerste kan je je hand zien. Dit is echter niet de enige reden. Je kan namelijk prima je neus aanraken met je ogen dicht en in je handen klappen achter je rug. In beide gevallen kan je je handen niet zien, maar wel voelen. Dat is de tweede reden waardoor je weet waar je hand is, proprioceptie; het voelen/weten waar je hand is. In dit proefschrift staan experimenten beschreven, die bedacht en ontworpen zijn om meer inzicht te krijgen in de proprioceptieve positiewaarneming van de hand en de interactie tussen visuele en proprioceptieve informatie over de positie van de hand. Daarnaast zijn de experimenten uitgevoerd met haptische toepassingen in gedachten. Proprioceptieve positiewaarneming Proprioceptie bestaat uit twee verschillende bronnen van informatie die mensen kunnen gebruiken om te weten waar hun lichaamsdelen zijn; afferente en efferente informatie. Afferente informatie is sensorische informatie die van spier-, huid- en gewrichtsreceptoren komt. Deze receptoren sturen informatie over de houding van de arm en hand ten opzichte van het lichaam naar de hersenen. Efferente informatie is een interne kopie van het signaal dat vanuit de hersenen wordt verstuurd om de arm of de hand te laten bewegen. Hiermee geeft het efferente signaal eigenlijk een voorspelling over hoe de houding van de arm gaat worden, terwijl de afferente informatie feedback geeft over hoe de houding is geworden. De combinatie van deze informatie levert een effectieve en betrouwbare proprioceptieve positiewaarneming op. Om te onderzoeken hoe belangrijk de verschillende bronnen van informatie zijn, hebben we experimenten gedaan waarin we één van de bronnen manipuleren om te kijken hoe dat de totale positiewaarneming verandert. De factoren waar we naar gekeken hebben zijn krachtenvelden en huidrekking (skin stretch). In het eerste experimentele hoofdstuk, hoofdstuk 2, keken we naar het effect van horizontale krachtenvelden op proprioceptieve positiewaarneming. Proefpersonen moesten hun hand naar visuele stippen brengen terwijl ze de hand niet konden zien. In een reproductietaak moesten proefpersonen de lengte en richting van een visuele vector reproduceren, zonder de hand te kunnen zien. Deze taken werden uitgevoerd in verschillende horizontale krachtenvelden. De resultaten laten zien dat er systematische individuele fouten zijn voor beide taken, maar dat deze fouten niet afhangen van de 170
Samenvatting verschillende horizontale krachtenvelden. Dit zou kunnen betekenen dat mensen in staat zijn om te compenseren voor deze krachten. Een andere interessante bevinding in hoofdstuk 2 is dat de lengte van de reikbeweging, de padlengte, langer was wanneer er een krachtenveld was. Dit was het geval voor alle krachtenvelden, ongeacht de richting van de krachten. Een verklaring hiervoor kan zijn dat er onderweg kleine fouten ontstaan door het verschil in het moment waarop de efferente en de afferente informatie over de positie van de hand beschikbaar zijn. De resultaten suggereren dat externe krachten de proprioceptieve positiewaarneming niet beïnvloeden op het eindpunt, maar wel de tijdens de beweging naar het eindpunt toe. In hoofdstuk 3 hebben we gekeken of verticale krachten (en de krachtmomenten die hierdoor ontstaan) proprioceptieve positiewaarneming beïnvloeden. Normaal gesproken verandert de spanning in de spieren systematisch tijdens een armbeweging om zo de krachtmomenten van de zwaartekracht te overwinnen en de beweging te maken zoals gepland. Onder andere Debats et al. (2010) hebben geopperd dat de verschillen in krachtmoment een belangrijke bron van informatie zijn om de afstand die de arm aflegt te bepalen. In twee experimenten met verticale krachtenvelden, met constante krachten en gradiëntkrachten, hebben we getest of de proprioceptieve positiewaarneming afhangt van de verticale krachten en krachtmomenten. De resultaten laten zien dat de verticale krachten geen effect hebben op proprioceptieve positiewaarneming. In deze twee hoofdstukken hebben we laten zien dat krachtenvelden niet belangrijk zijn voor het bereiken van eindpunten in proprioceptie, wat tegenintuïtief lijkt omdat het impliceert dat de mens een bijna perfecte inschatting zou kunnen maken van de krachten op de hand om er voor te compenseren. Wanneer we echter niet vanuit een wetenschappelijk perspectief naar de resultaten kijken, maar vanuit het perspectief van dagelijkse handelingen is het misschien niet zo gek dat (veranderingen in) krachten geen invloed hebben op de waargenomen positie van de hand. Bijvoorbeeld, het inschenken van wijn in een glas zorgt niet voor een illusoire beweging van de hand met de fles in de richting van het lichaam of van de hand met het glas van het lichaam af. In tegenstelling tot de manipulaties met krachten, laten we in hoofdstuk 4 zien dat skin stretch manipulaties de proprioceptieve positiewaarneming wel systematisch beïnvloeden. In een exploratieve studie hebben we skin stretch rondom de elleboog gemanipuleerd met elastisch sporttape. Wanneer proefpersonen met tape op de arm naar visuele doelen reikten zonder hun 171
hand te zien, maakten ze naast hun individuele fout ook een systematische fout. Ondanks dat er nog veel onduidelijk is over hoe de tape precies de positiewaarneming van de arm beïnvloedt, kunnen we uit deze studie concluderen dat skin stretch een belangrijke factor is in proprioceptieve positiewaarneming. Sensorische matching Een veel gebruikte methode in dit proefschrift is een sensorische matching taak. In zo n taak moeten mensen de positie van een object matchen met de positie van een ander object. Dit is niet zo makkelijk als het lijkt, omdat de informatie over de positie van beide objecten beschikbaar is in verschillende modaliteiten. Bijvoorbeeld, in een visuo- haptische matching taak moeten proefpersonen de proprioceptieve positie van hun hand matchen met de positie van een visueel doel of andersom. In een haptisch- haptische matching taak moeten proefpersonen de positie van de ene hand matchen met de positie van de andere hand zonder beide handen te zien en met beide handen aan een andere kant van een plaat (of tafel). Het uitvoeren van een dergelijke taak leidt typisch tot een mismatch tussen de objecten, de visuo- haptische of haptisch- haptische matching fouten. In de eerste hoofdstukken hebben we de visuo- haptische matching taak gebruikt om te kijken of en hoe de visuo- haptische matching fouten veranderen bij verschillende manipulaties. In de hoofdstukken 5-7 hebben we gekeken naar de consistentie van deze fouten in verschillende taken en over de tijd. De eerste factor waar we naar gekeken hebben is of naar een visueel doel reiken met de wijsvinger tot dezelfde fouten leidt als reiken met de vuist, zoals bij het vasthouden van een handvat van een haptische robot in een krachtgreep. De tweede vraag was of reiken naar een visueel doel dat is gepresenteerd op een oppervlak (2D) tot dezelfde fouten leidt als reiken naar een visueel doel dat is gepresenteerd in de ruimte (3D). In hoofdstuk 5 hebben we deze twee vragen getest en gevonden dat er bij visuo- haptische matching geen verschillen zijn in nauwkeurigheid en precisie tussen de verschillende experimentele condities. Wel blijken de richtingen van de fouten te verschillen voor de verschillende experimentele condities. In hoofdstuk 5 zijn we ook begonnen met het ontwikkelen van een methode om te kwantificeren hoe consistent de matching fouten zijn. Tijdens het aanscherpen van de methode realiseerden we ons dat het interessant zou zijn om te weten hoe consistent de sensorische matching fouten zijn voor dezelfde taak op verschillende momenten. Zijn visuo- haptische en haptisch- 172
Samenvatting haptische matching fouten consistent gedurende lange tijd? In hoofdstuk 6 hebben we laten zien dat deze matching fouten consistent zijn over periodes van minstens een maand. Binnen deze periode waren de fouten tussen verschillende meetsessies net zo consistent als dat men zou verwachten op basis van de variabiliteit van de proefpersonen binnen een meetsessie. Dit betekent dat mensen individuele matching fouten maken, die, in dezelfde omstandigheden, voor lange tijd hetzelfde blijven. Ondanks de goede resultaten met het kwantificeren en het beschrijven van de consistentie van de matching fouten, weten we nog steeds niet waar deze fouten vandaan komen. In hoofdstuk 7 zijn twee studies gepresenteerd waarin we hebben gekeken naar het effect van de houding van de arm, het gebruik van de beide handen en het soort taak op de sensorische matching. In het eerste experiment onderzochten we consistentie tussen visuo- haptische matching fouten voor de linker- en de rechterhand in verschillende houdingen (hand boven of onder een plaat). De resultaten laten zien dat de matching fouten afhangen van de houding van de arm en ook verschillen voor de beide handen. In het tweede experiment hebben we taken bedacht die in theorie tot dezelfde configuratie leiden. Bijvoorbeeld, we vergelijken de visuo- haptische matching fouten die mensen maken wanneer ze de hand naar een visuele stip bewegen met de fouten die ze maken wanneer ze de stip naar de hand brengen. De resultaten laten zien dat de fouten niet zomaar omkeerbaar zijn, dus de hand naar een stip bewegen is niet hetzelfde als de stip naar de hand bewegen. Verder leidt het bewegen van beide handen naar een visuele stip niet tot dezelfde mismatch als wanneer men beide handen direct met elkaar probeert te matchen. Deze verschillen konden niet worden verklaard door het verschil in actieve en passieve proprioceptieve positiewaarneming en ook niet door proprioceptieve drift. Kortom, we kunnen concluderen dat sensorische matching geen eenvoudige optelling is van de fouten in de verschillende waarnemingen (visueel of haptisch), maar dat de transformaties tussen de visuele en haptische waarnemingen een belangrijke rol spelen. Deze transformaties hangen af van zowel het eindpunt waar naar toe moet worden bewogen als de bewegingen die gemaakt moeten worden om er te komen. Hierdoor is het nog verrassender dat de fouten consistent zijn wanneer er weken later weer gemeten wordt (hoofdstuk 6). 173
Tele- operatie en haptic shared control Het bestuderen van proprioceptie is niet alleen interessant vanwege de fundamentele kennis over hoe de waarneming van de mens in elkaar zit, maar ook voor technische toepassingen zoals bijvoorbeeld tele- operatiesystemen. Tele- operatie betekent handelen op afstand, dus een actie uitvoeren op een plaats waar je zelf niet bent. Tele- operatiesystemen worden momenteel ontwikkeld voor en gebruikt in veel verschillende technische gebieden, denk bijvoorbeeld aan ingewikkelde medische operaties, ontginning op de oceaanbodem en onderhoud van kerncentrales en ruimtestations. In plaats van direct met de omgeving te interacteren werkt de bestuurder met een robot, dit wordt de master device genoemd. Deze robot communiceert met een andere robot, de slave, die op de betreffende locatie is. Op deze manier kunnen gevaarlijke taken en taken op plaatsen die mensen niet kunnen bereiken van een (veilige) afstand uitgevoerd worden. Om een taak op afstand zo goed mogelijk uit te voeren is het belangrijk dat de bestuurder een goede waarneming kan doen van wat er op locatie gebeurt. Tot nu toe gebeurt dit met name met visuele informatie van camera s, maar er wordt hard gewerkt aan het doorsturen van haptische informatie. Idealiter zou men op afstand exact hetzelfde voelen als bij directe interactie. Een aantal technische hindernissen (o.a. tijdsvertragingen en imperfecte sensoren) voorkomt echter dat dit een reële optie is. Een alternatieve benadering is daarom het gebruik van haptic shared control. Het idee van haptic shared control is dat zowel de bestuurder als de haptische controller (een computer) een plan bedenkt over hoe de taak uitgevoerd moet worden. De haptische controller communiceert zijn plan aan de bestuurder door middel van krachten, bijvoorbeeld door haptische sturing. Op deze manier hoeft de haptische feedback van het systeem niet perfect te zijn, omdat de haptische sturing kan compenseren voor het deel van de directe feedback die ontbreekt (Boessenkool et al. 2013). Voor het ontwerpen van tele- operatiesystemen met haptic shared control willen ingenieur graag weten hoe de mens precies werkt, want dan kunnen ze de robot systemen daarop optimaliseren. Helaas is het niet zo eenvoudig om de waarneming van de mens in enkele parameters te beschrijven. In dit proefschrift hebben we verschillende bevindingen gedaan die interessant zijn voor het ontwerpen van dergelijke systemen. Allereerst hebben we gevonden dat externe krachten op de hand de positiewaarneming van de hand niet beïnvloeden (hoofdstuk 2 en 3). Dit is 174
Samenvatting belangrijk voor haptic shared control, want het betekent dat krachten gebruikt kunnen worden om informatie door te geven zonder de waargenomen positie van de hand te veranderen. Verder laten onze resultaten in hoofdstuk 3 zien dat verticale krachten en krachtmomenten de waargenomen positie van de hand niet beïnvloeden wat betekent dat er zwaartekrachtscompensatie kan worden gebruikt zonder de waargenomen positie van de hand te veranderen. Van onze studie over skin stretch (hoofdstuk 4) kunnen we leren dat er voorzichtig moet worden omgegaan met het vastmaken van exoskeletten, protheses en andere draagbare haptische toepassingen op de huid. Het vastmaken op de huid kan leiden tot ongewenste onnatuurlijk skin stretch patronen waardoor de positie van de hand anders kan worden waargenomen of waardoor misschien illusoire bewegingen ontstaan. Omdat we weten dat mensen zeer constante matching fouten hebben (hoofdstuk 6), was het ook interessant om te zien of haptic shared control kan worden geoptimaliseerd door de krachten af te stemmen op deze individuele matching fouten. In hoofdstuk 8 laten we zien dat het principe van individuele haptische sturing tot een betere prestatie leidt dan waarheidsgetrouwe sturing. Om dit te testen hebben we positie van de haptische sturing aangepast naar de individuele matching fouten. Men kan redeneren dat de bestuurder hierdoor op de verkeerde positie uitkomt. Wij vinden dit echter geen probleem omdat in tele- operatiesystemen de bewegingen vaak niet een- op- een overgezet worden van de master naar de slave robot. Zolang we dus weten wat de verschuiving is, kan hiervoor later in het systeem weer gecorrigeerd worden. In een andere studie (van Beek et al., 2016) hebben we andersom gecorrigeerd voor de fouten, dus door de visuele informatie te verschuiven. Dit resulteerde in dezelfde positieve bevindingen (betere nauwkeurigheid en precisie) als wanneer de informatie voor de individuele matching fouten werd aangepast. In hoofdstuk 5 hebben we laten zien dat het voor de precisie van een reiktaak niet afhangt of het doel met de wijsvinger of met de vuist wordt aangewezen. Dit impliceert dat de interface van de robot kan worden bepaald op andere factoren dan de manier van vasthouden. Het is echter wel belangrijk dat de individuele gebruikersinstellingen op basis van individuele matching fouten in een vergelijkbare taak bepaald worden, want de uitvoering van de taak en daarmee de precieze richting van de matching error hangt af van zowel de manier van vasthouden als de houding waarin de taak moet worden uitgevoerd (hoofdstuk 5 en 7). 175
Hoofdstuk 9 is een vreemde eend in de bijt in dit proefschrift omdat we daarin temporele aspecten van haptische waarneming bestuderen. De resultaten zijn echter zeer de moeite waard voor wat betreft het ontwerp van haptische systemen. In een admittance- controlled haptisch apparaat worden inputkrachten gebruikt om de beweging van het apparaat te berekenen. Ondanks alle moeite van ontwerpers om de tijdsvertragingen in een dergelijk apparaat te minimaliseren, zullen er altijd kleine vertragingen zijn die de waarneming van de bestuurder kunnen beïnvloeden. In dit experiment hebben we gevonden dat dit soort vertragingen in mens- robot interactie de waargenomen massa beïnvloeden. Voor het ontwerp van haptische systemen is het daarom belangrijk dat men zich realiseert dat technische aspecten, zoals tijdsvertragingen, kunnen worden waargenomen als (veranderingen in de) eigenschappen van een object. 176
Samenvatting Belangrijk voor het ontwerpen van haptische systemen Algemeen: Krachtmomenten (en zwaartekrachtcompensatie) beïnvloeden de waargenomen positie van de hand niet (hoofdstuk 3) Reiken met een handvat van een haptisch apparaat is net zo precies als reiken met de wijsvinger (hoofdstuk 5) Tijdsvertragingen kunnen waarnemingen beïnvloeden (hoofdstuk 9) Haptic shared control: Krachten beïnvloeden de eindpunten van reikbewegingen niet, maar wel het afgelegde pad om daar te komen (hoofdstuk 2) Het individualiseren van haptische sturing gebaseerd op individuele matching fouten verbetert de prestatie (hoofdstuk 8) Individuele instellingen voor haptische sturing kunnen voor lange tijd gelijk gehouden worden, omdat sensorische matching fouten consistent zijn over de tijd (hoofdstuk 6) Draagbare haptics: Het proprioceptieve waarnemingssysteem van de mens kan niet compenseren voor onnatuurlijke skin stretch, wat zou kunnen leiden tot bijeffecten bij draagbare haptische apparaten (hoofdstuk 4) 177