Brain-Computer Interfaces ir. Pieter-Jan Kindermans, Vakgroep Elektronica en Informatiesystemen, Universiteit Gent 1
Een robot besturen met gedachten? Bron: M. Velliste, et al. Cortical control of a prosthetic arm for self-feeding, Nature, 28 bron: website Velliste 2
Wat is een Brain-Computer Interface? Citaat uit: TOWARD DIRECT BRAIN-COMPUTER COMMUNICATION - Jacques J. Vidal, UCLA, CYBERSPACE BIONICS, 1973 - The Brain Computer Interface project, described later in this chapter, was meant to be a first attempt to evaluate the feasibility and practicality of utilizing the brain signals in a man-computer dialogue while at the same time developing a novel tool for the study of the neurophysiological phenomena that govern the production and the control of observable neuroelectric events. - Oorsprong van de term Brain-Computer Interface (BCI) bron:site vidal 3
Toepassingen van BCI - Communicatie met pc verlamde personen laten praten, surfen, tekenen,... games, virtual reality,... controle rolstoel, wagen, robotarm,... bron: openvibe bron: UPMC, Pittsburg 4
Waaruit bestaat een BCI bron: kuka Hersensignalen Magie Applicatie 5
Meten van hersensignalen 6
Wat is FMRI? - Meet zuurstof in het brein (BOLD signal) - slechte schatting van tijd - goede locatie bepaling bron: fmrib.ox.ac.uk bron:wikipedia 7
Wat is EEG? 4 2 signaal 2 4.2.4.6.8 1 1.2 1.4 1.6 1.8 2 tijd 4 2 signaal 2 4.2.4.6.8 1 1.2 1.4 1.6 1.8 2 tijd 4 2 signaal 2 4.2.4.6.8 1 1.2 1.4 1.6 1.8 2 tijd 4 2 signaal 2 4.2.4.6.8 1 1.2 1.4 1.6 1.8 2 tijd 8
Herkennen van hersensignalen 9
Hoe raak ik van de Zebrastraat naar station Gent Sint-Pieters? 1
Oplossing 11
Leg uit aan de telefoon hoe ik herken bron: wikipedia 12
Oplossing bron: wikipedia 13
Oplossing We moeten de computer aanleren hoe hij met EEG kan werken 4 2 signaal 2 4.2.4.6.8 1 1.2 1.4 1.6 1.8 2 tijd 4 = signaal signaal 2 2 4.2.4.6.8 1 1.2 1.4 1.6 1.8 2 tijd 4 2 2 4.2.4.6.8 1 1.2 1.4 1.6 1.8 2 tijd 4 signaal 2 2 bron: wikipedia 4.2.4.6.8 1 1.2 1.4 1.6 1.8 2 tijd 14
Computer laten leren is Machine Learning Supervised Learning Unsupervised Learning bron: wikipedia Reinforcement Learning bron: wikipedia bron: wikipedia 15
Reservoir Lab, ELIS, FEA, UGent Machine Learning Onderzoeksgroep - prof. dr. ir. Benjamin Schrauwen - Theoretisch onderzoek - Toepassen van ML op BCI, Epilepsie 4 2 2 2 2 6 Muziek Robotica 16
Gebruik van hersensignalen 17
Hoe werkt een BCI? We bekijken de volgende onderdelen - Wat is het doel van de BCI Videoreconstructie Tekst typen/communiceren - Hoe is de data opgenomen? - Wat doet de machine learning (of magie)? 18
FMRI gebaseerde video reconstructie Bron: Reconstructing visual experiences from brain activity evoked by natural movies, S. Nishimoto, et al., Current Biology, 211 bron: gallantlab.org,wikipedia Het dichtste bij echt gedachten lezen tot nu toe 19
FMRI gebaseerde video reconstructie bron: gallantlab.org 2
FMRI gebaseerde video reconstructie bron: wikipedia Computer leert FMRI te voorspellen met model bron: wikipedia bron: gallantlab.org,wikipedia 21
FMRI gebaseerde video reconstructie bron: wikipedia,gallantlab.org 22
FMRI gebaseerde video reconstructie bron: gallantlab.org 23
FMRI gebaseerde video reconstructie FMRI is een zeer krachtige methode om informatie uit het brein te halen - kolossaal - onbetaalbaar (voor mij) - traag - niet draagbaar - veel rekenkracht bron: wikipedia 24
Onderzoekers aan de UGent ontwikkelen eerste zelflerende Brain-Computer Interface 25
P3 Speller Idee bestaat sinds 1988 (Farwell & Donchin) 26
P3 Speller 27
Welke informatie zit er in het EEG.15.1.5 P3 NON P3.5.1.2.4.6.8 1 time (s) 28
Werkwijze standaard P3 speller bron: wikipedia - Zet een EEG muts op en voeg gel toe Smeerboel 3-45 min - Staar naar vooraf gekozen letters trainen van de computer 1-2 min - Indien nog wakker, spel tekst 29
Kunnen we iets aan die EEG muts doen? 3
Emotiv EPOC of droge elektroden bron: emotiv.com, gtec 31
Kunnen we iets aan de training doen? 32
Welke kolom is speciaal (hoort er niet thuis)? A B C D E F 33
Jullie zijn een zelflerende BCI! 34
Hoe vertalen we dit naar de P3 BCI?.15.1.5 P3 NON P3.5.1.2.4.6.8 1 time (s) 35
Een beetje moeilijker. De speciale kolom is... A B C D E F 36
En de speciale kolom is? A B C D E F 37
In een P3 BCI.15.1.5 P3 NON P3.5.1.2.4.6.8 1 time (s) 38
Kunnen we het ook met echt EEG? A B C D E F 4 4 4 4 4 4 2 2 2 2 2 2 2 2 2 2 2 2 4.2.4 tijd 4.2.4 tijd 4.2.4 tijd 4.2.4 tijd 4.2.4 tijd 4.2.4 tijd 4 4 4 4 4 4 2 2 2 2 2 2 2 2 2 2 2 2 4.2.4 tijd 4.2.4 tijd 4.2.4 tijd 4.2.4 tijd 4.2.4 tijd 4.2.4 tijd 4 4 4 4 4 4 2 2 2 2 2 2 2 2 2 2 2 2 4.2.4 tijd 4.2.4 tijd 4.2.4 tijd 4.2.4 tijd 4.2.4 tijd 4.2.4 tijd 39
Ik niet, dus tijd voor Machine Learning 4
Herhaling: Wat moeten we herkennen?.15.1.5 P3 NON P3.5.1.2.4.6.8 1 time (s) 41
Hoe leggen we dat uit aan de computer? 42
Ingredienten voor zelflerende BCI - Zoek een eenvoudige oplossing: - We kijken maar naar 1 letter tegelijk: - EEG met P3 is anders dan EEG zonder P3 - We zeggen niet hoe het EEG er uit ziet! 43
Ingredienten voor zelflerende BCI - Zoek een eenvoudige oplossing: p (w) = N (w, I), - We kijken maar naar 1 letter tegelijk: - EEG met P3 is anders dan EEG zonder P3 - We zeggen niet hoe het EEG er uit ziet! 44
Ingredienten voor zelflerende BCI - Zoek een eenvoudige oplossing: p (w) = N (w, I), - We kijken maar naar 1 letter tegelijk: p (c t )= 1 C, - EEG met P3 is anders dan EEG zonder P3 - We zeggen niet hoe het EEG er uit ziet! 45
Ingredienten voor zelflerende BCI - Zoek een eenvoudige oplossing: p (w) = N (w, I), - We kijken maar naar 1 letter tegelijk: p (c t )= 1 C, - EEG met P3 is anders dan EEG zonder P3 p (x t,i c t, w, ) = N x t,i w y t,i (c t,, - We zeggen niet hoe het EEG er uit ziet! 46
Op zoek naar de beste manier om de P3 te detecteren w = X c p c X, w old, old X 1 T X + old old I X T y (c) bron: wikipedia 47
P3 Speller Demo 48
Zelflerende Brain-Computer Interface voor P3 Uniek systeem, enige ter wereld Niet meer nodeloos naar het scherm staren Het werkt vanzelf 49
Onderzoek mogelijk gemaakt door Onderzoek gsteund door het Bijzoner Onderzoeksfonds van de Universiteit Gent onder het BOF-GOA project Home-MATE prof. dr. Santens voor het beschikbaar stellen van EEG apparatuur - Hannes Verschore, David Verstraeten, Benjamin Schrauwen - mensen van reservoir lab - proefkonijnen 5
Enkele opmerkingen Deze presentatie bevatte slechts een deelverzameling van het BCI onderzoek - Verschillende paradigma s/applicaties zijn niet behandeld o.m. SSVEP, Auditory P3, Motor Imagery,... - Vooral hoe werkt een BCI en wat zijn de onderdelen kwam aan bod onderzoek met patienten is essentieel onderzoek naar verbeteringen in acquisitie (NIRS ipv FMRI) ontdekken van nieuwe herkenbare signalen 51
Conclusie Brain-Computer Interfaces bestaan reeds, met fenomenale resultaten - We lezen geen gedachten, maar herkennen hersenactiviteit.15.1.5 P3 NON P3.5.1.2.4.6.8 1 time (s) 52
Conclusie - Wees creatief, BCI kan overal gebruikt worden kwaliteit audio signaal meten Noodstop bij auto versnellen Virtuele helikopter besturen Detecteren van slecht werkende verdoving... 53
Conclusie Brain-Computer Interfaces bestaan reeds, met fenomenale resultaten - BCI wordt reeds toegepast om mensen te helpen bron: UPMC, Pittsburg 54
Conclusie - Machine Learning is essentieel (signalen meten ook natuurlijk) 55