Brain-Computer Interfaces. ir. Pieter-Jan Kindermans, Vakgroep Elektronica en Informatiesystemen, Universiteit Gent

Transcriptie

1 Brain-Computer Interfaces ir. Pieter-Jan Kindermans, Vakgroep Elektronica en Informatiesystemen, Universiteit Gent 1

2 Een robot besturen met gedachten? Bron: M. Velliste, et al. Cortical control of a prosthetic arm for self-feeding, Nature, 28 bron: website Velliste 2

3 Wat is een Brain-Computer Interface? Citaat uit: TOWARD DIRECT BRAIN-COMPUTER COMMUNICATION - Jacques J. Vidal, UCLA, CYBERSPACE BIONICS, The Brain Computer Interface project, described later in this chapter, was meant to be a first attempt to evaluate the feasibility and practicality of utilizing the brain signals in a man-computer dialogue while at the same time developing a novel tool for the study of the neurophysiological phenomena that govern the production and the control of observable neuroelectric events. - Oorsprong van de term Brain-Computer Interface (BCI) bron:site vidal 3

4 Toepassingen van BCI - Communicatie met pc verlamde personen laten praten, surfen, tekenen,... games, virtual reality,... controle rolstoel, wagen, robotarm,... bron: openvibe bron: UPMC, Pittsburg 4

5 Waaruit bestaat een BCI bron: kuka Hersensignalen Magie Applicatie 5

6 Meten van hersensignalen 6

7 Wat is FMRI? - Meet zuurstof in het brein (BOLD signal) - slechte schatting van tijd - goede locatie bepaling bron: fmrib.ox.ac.uk bron:wikipedia 7

8 Wat is EEG? 4 2 signaal tijd 4 2 signaal tijd 4 2 signaal tijd 4 2 signaal tijd 8

9 Herkennen van hersensignalen 9

10 Hoe raak ik van de Zebrastraat naar station Gent Sint-Pieters? 1

11 Oplossing 11

12 Leg uit aan de telefoon hoe ik herken bron: wikipedia 12

13 Oplossing bron: wikipedia 13

14 Oplossing We moeten de computer aanleren hoe hij met EEG kan werken 4 2 signaal tijd 4 = signaal signaal tijd tijd 4 signaal 2 2 bron: wikipedia tijd 14

15 Computer laten leren is Machine Learning Supervised Learning Unsupervised Learning bron: wikipedia Reinforcement Learning bron: wikipedia bron: wikipedia 15

16 Reservoir Lab, ELIS, FEA, UGent Machine Learning Onderzoeksgroep - prof. dr. ir. Benjamin Schrauwen - Theoretisch onderzoek - Toepassen van ML op BCI, Epilepsie Muziek Robotica 16

17 Gebruik van hersensignalen 17

18 Hoe werkt een BCI? We bekijken de volgende onderdelen - Wat is het doel van de BCI Videoreconstructie Tekst typen/communiceren - Hoe is de data opgenomen? - Wat doet de machine learning (of magie)? 18

19 FMRI gebaseerde video reconstructie Bron: Reconstructing visual experiences from brain activity evoked by natural movies, S. Nishimoto, et al., Current Biology, 211 bron: gallantlab.org,wikipedia Het dichtste bij echt gedachten lezen tot nu toe 19

20 FMRI gebaseerde video reconstructie bron: gallantlab.org 2

21 FMRI gebaseerde video reconstructie bron: wikipedia Computer leert FMRI te voorspellen met model bron: wikipedia bron: gallantlab.org,wikipedia 21

22 FMRI gebaseerde video reconstructie bron: wikipedia,gallantlab.org 22

23 FMRI gebaseerde video reconstructie bron: gallantlab.org 23

24 FMRI gebaseerde video reconstructie FMRI is een zeer krachtige methode om informatie uit het brein te halen - kolossaal - onbetaalbaar (voor mij) - traag - niet draagbaar - veel rekenkracht bron: wikipedia 24

25 Onderzoekers aan de UGent ontwikkelen eerste zelflerende Brain-Computer Interface 25

26 P3 Speller Idee bestaat sinds 1988 (Farwell & Donchin) 26

27 P3 Speller 27

28 Welke informatie zit er in het EEG P3 NON P time (s) 28

29 Werkwijze standaard P3 speller bron: wikipedia - Zet een EEG muts op en voeg gel toe Smeerboel 3-45 min - Staar naar vooraf gekozen letters trainen van de computer 1-2 min - Indien nog wakker, spel tekst 29

30 Kunnen we iets aan die EEG muts doen? 3

31 Emotiv EPOC of droge elektroden bron: emotiv.com, gtec 31

32 Kunnen we iets aan de training doen? 32

33 Welke kolom is speciaal (hoort er niet thuis)? A B C D E F 33

34 Jullie zijn een zelflerende BCI! 34

35 Hoe vertalen we dit naar de P3 BCI? P3 NON P time (s) 35

36 Een beetje moeilijker. De speciale kolom is... A B C D E F 36

37 En de speciale kolom is? A B C D E F 37

38 In een P3 BCI P3 NON P time (s) 38

39 Kunnen we het ook met echt EEG? A B C D E F tijd tijd tijd tijd tijd tijd tijd tijd tijd tijd tijd tijd tijd tijd tijd tijd tijd tijd 39

40 Ik niet, dus tijd voor Machine Learning 4

41 Herhaling: Wat moeten we herkennen? P3 NON P time (s) 41

42 Hoe leggen we dat uit aan de computer? 42

43 Ingredienten voor zelflerende BCI - Zoek een eenvoudige oplossing: - We kijken maar naar 1 letter tegelijk: - EEG met P3 is anders dan EEG zonder P3 - We zeggen niet hoe het EEG er uit ziet! 43

44 Ingredienten voor zelflerende BCI - Zoek een eenvoudige oplossing: p (w) = N (w, I), - We kijken maar naar 1 letter tegelijk: - EEG met P3 is anders dan EEG zonder P3 - We zeggen niet hoe het EEG er uit ziet! 44

45 Ingredienten voor zelflerende BCI - Zoek een eenvoudige oplossing: p (w) = N (w, I), - We kijken maar naar 1 letter tegelijk: p (c t )= 1 C, - EEG met P3 is anders dan EEG zonder P3 - We zeggen niet hoe het EEG er uit ziet! 45

46 Ingredienten voor zelflerende BCI - Zoek een eenvoudige oplossing: p (w) = N (w, I), - We kijken maar naar 1 letter tegelijk: p (c t )= 1 C, - EEG met P3 is anders dan EEG zonder P3 p (x t,i c t, w, ) = N x t,i w y t,i (c t,, - We zeggen niet hoe het EEG er uit ziet! 46

47 Op zoek naar de beste manier om de P3 te detecteren w = X c p c X, w old, old X 1 T X + old old I X T y (c) bron: wikipedia 47

48 P3 Speller Demo 48

49 Zelflerende Brain-Computer Interface voor P3 Uniek systeem, enige ter wereld Niet meer nodeloos naar het scherm staren Het werkt vanzelf 49

50 Onderzoek mogelijk gemaakt door Onderzoek gsteund door het Bijzoner Onderzoeksfonds van de Universiteit Gent onder het BOF-GOA project Home-MATE prof. dr. Santens voor het beschikbaar stellen van EEG apparatuur - Hannes Verschore, David Verstraeten, Benjamin Schrauwen - mensen van reservoir lab - proefkonijnen 5

51 Enkele opmerkingen Deze presentatie bevatte slechts een deelverzameling van het BCI onderzoek - Verschillende paradigma s/applicaties zijn niet behandeld o.m. SSVEP, Auditory P3, Motor Imagery,... - Vooral hoe werkt een BCI en wat zijn de onderdelen kwam aan bod onderzoek met patienten is essentieel onderzoek naar verbeteringen in acquisitie (NIRS ipv FMRI) ontdekken van nieuwe herkenbare signalen 51

52 Conclusie Brain-Computer Interfaces bestaan reeds, met fenomenale resultaten - We lezen geen gedachten, maar herkennen hersenactiviteit P3 NON P time (s) 52

53 Conclusie - Wees creatief, BCI kan overal gebruikt worden kwaliteit audio signaal meten Noodstop bij auto versnellen Virtuele helikopter besturen Detecteren van slecht werkende verdoving... 53

54 Conclusie Brain-Computer Interfaces bestaan reeds, met fenomenale resultaten - BCI wordt reeds toegepast om mensen te helpen bron: UPMC, Pittsburg 54

55 Conclusie - Machine Learning is essentieel (signalen meten ook natuurlijk) 55