Virtuele Revalidatie met Microsoft Kinect PXL IT-Research

Transcriptie

1 Professionele Bachelor Toegepaste Informatica Applicatieontwikkeling Virtuele Revalidatie met Microsoft Kinect PXL IT-Research Simon Verbeke Promotoren: Marijke Willems Steven Palmaers Lode Vanhout Hogeschool PXL PXL IT-Research PXL IT-Research Stagerapport Academiejaar

2

3 Professionele Bachelor Toegepaste Informatica Applicatieontwikkeling Virtuele Revalidatie met Microsoft Kinect PXL IT-Research Simon Verbeke Promotoren: Marijke Willems Steven Palmaers Lode Vanhout Hogeschool PXL PXL IT-Research PXL IT-Research Stagerapport Academiejaar

4

5 Voorwoord Bij deze wil ik mijn promotor, Steven Palmaers, bedanken voor de uitzonderlijke kans mij te verdiepen in de academische wereld. Voor de toegang tot interessante nieuwe technologieën. En voor zelfs midden in de nacht nog vragen te beantwoorden of documenten na te kijken. Daarnaast mijn mentoren, Frederik Smolders en Lode Van Hout, voor de ondersteuning en het vertrouwen in mijn oordeel. Marijke Willems, mijn hogeschoolpromotor, voor de onmisbare feedback; de andere kijk op dingen. Tenslotte mijn collega-stagiairs voor de snedige humor, de diepgaande gesprekken en de hechte band. En in het bijzonder Tom Quareme voor de wiskundige ondersteuning.

6

7 Inhoudsopgave Voorwoord Abstract 1 Bedrijfsvoorstelling 1 2 Onderzoeksthema 3 3 Technologieën Microsoft Kinect Unity3D Mono Git Stageopdracht 11 5 Onderzoeksfinanciering in België IWT FWO

8 6 Onderzoeksthema: filters Geïmplementeerde filters Niet-geïmplementeerde filters Dataflow applicatie Body Audio Color Oefeningen vergelijken Het bestandsformaat Posities vergelijken Rotaties vergelijken Eindresultaat Visualisaties Audio De data Opnemen Video Stemherkenning 39

9 12 Besluit Reflectie 43 Bibliografie 43

10

11 Abstract Mijn stageproject is gelinkt aan een onderzoeksproject dat wordt uitgevoerd door Healthcare-Research en IT-Research, namelijk een Open Intelligent RevalidatieFramework (kortweg OpenIRF). Binnen dit onderzoeksproject is er enorme interesse voor tools die het werk van healthcare professionals kan vereenvoudigen. Er wordt onderzocht hoe software kan helpen bij de revalidatie na, bijvoorbeeld, een auto-ongeluk, bij MS, of na een beroerte. In de huidige situatie moet een cliënt altijd vergezeld worden van een therapeut, omdat deze persoon de enige is die de kwaliteit van de oefening kan vaststellen. Bovendien is revalidatie vaak generiek, met geen of te weinig focus op datgene dat de cliënt wenst te trainen. Met de tool die in dit project ontwikkeld wordt, zal het mogelijk worden cliënten deels zelfstandig te laten revalideren. Het te ontwikkelen systeem zal bestaan uit twee grote modules, gemaakt aan de hand van Unity 3D met de programmeertaal C#. De eerste module wordt gebruikt door de therapeut om oefeningen aan te maken (op te nemen) voor de cliënt. Hierbij bestaat de mogelijkheid om een aantal parameters in te stellen voor de oefening. Bijvoorbeeld: voor een oefening moet een cliënt zijn arm bewegen. Maar eigenlijk is het alleen belangrijk dat de cliënt de rug recht houdt. De tweede module wordt gebruikt door de cliënt. Deze kan oefeningen inladen die de therapeut heeft opgenomen, de oefening uitvoeren en feedback krijgen (in real-time of na afloop). Het project bestaat uit een aantal fases. In deze fases moeten problemen voorkomen worden met de data die de Kinect beschikbaar stelt. Er wordt gewerkt met een relatief goedkope camera, bedoeld voor het spelen van computergames, waardoor de kwaliteit van de data niet optimaal is. Het eerste probleem is de ruis en de uitschieters op de data. Het ontwikkelen van een goede set filters is belangrijk om de data bruikbaar te maken voor de rest van het systeem. Op dit moment zijn er een viertal filters ontwikkeld. Deze filters kunnen apart gebruikt worden of gemengd worden met elkaar. Het is ook eenvoudig om nieuwe filters toe te voegen door een mathematisch model om te zetten naar een script.

12 De tweede fase bestaat uit het ontwikkelen van het systeem dat oefeningen aanbiedt aan een cliënt en het analyseren van de bewegingen van de cliënt. Om vervolgens hier een score aan toe te kennen. Hier zijn verschillende benaderingen mogelijk die zullen geanalyseerd en uitgewerkt worden Een naïeve benadering is het vergelijken van de posities van de ledematen van de cliënt en de therapeut. Een andere benadering is een bepaalde foutenmarge toelaten. Tenslotte moet er ook de nodige aandacht worden besteed aan gebruiksvriendelijkheid en User Experience (UX). Het systeem gaat gebruikt worden door mensen met een fysieke beperking, en moet bijgevolg uitermate gemakkelijk te bedienen zijn. Om deze reden onderzoeken we ook of we een spraakbesturingssysteem kunnen integreren.

13 1. Bedrijfsvoorstelling PXL-Research bundelt het onderzoek en de dienstverlening binnen Hogeschool PXL, en functioneert als centraal aanspreekpunt voor ondernemers, bedrijven en organisaties die op zoek zijn naar specifieke onderzoeksexpertise om innovatie te realiseren. PXL-Research is de springplank om specifieke vragen, ideeën en businessprojecten te vertalen naar concrete projecten met studenten, docenten/lectoren, onderzoekers, partnerbedrijven, subsidiëringsinstanties, enz. Via PXL-Research kan men beroep doen op de knowhow en ervaring in de expertisecellen die Hogeschool PXL heeft uitgebouwd op terreinen zoals toegepaste informatica, elektronica, elektromechanica, bouw, logistiek, marketing, media, toerisme, sociaal agogisch werk, gezondheidszorg, voedselveiligheid, beeldende kunst, grafisch ontwerp,... IT-Research is de expertisecel die focust op de boeiende wereld van (mobiele) applicaties, 3D op het web, ontwikkeling van games en mechatronica. IT-Research werkt sterk multidisciplinair in diverse domeinen. Enkele voorbeelden hiervan zijn de zorgsector, de logistieke en de educatieve sector. 1

14

15 2. Onderzoeksthema Binnen mijn stage heb ik meerdere onderzoeksthema s behandeld. In dit eindwerk bespreek ik het onderzoeksthema "filters". Met de specifieke vraag: kan de data van de Microsoft Kinect gefilterd worden zodat gebruikers weinig of geen last hebben van ruis en jitter? De methodes die beschreven worden in dat hoofdstuk zijn zo opgesteld dat de methodes ook bruikbaar zijn met andere apparaten. Deze techniek is essentieel om bruikbare data te verkrijgen van de Kinect. In de eerste versie was dit zelfs ingebouwd in de API. Om een nog onbekende reden is deze functionaliteit niet meer beschikbaar in de tweede versie. Dit was een goede opportuniteit om me te kunnen verdiepen in een vakgebied binnen de wiskunde dat erg veel praktische toepassingen heeft. Elk apparaat dat data verkrijgt op basis van fysieke metingen zal last hebben van inaccurate data die gefilterd moet worden. Dit is des te meer van toepassing op goedkope elektronica gericht op de consumentenmarkt. 3

16

17 3. Technologieën 3.1 Microsoft Kinect Het belangrijkste stuk technologie binnen het project is de Microsoft Kinect. Dit is een camerasysteem dat origineel ontwikkeld is als metgezel van de Microsoft Xbox, om games mee te spelen. Sinds het begin wordt het ook ingezet in allerlei projecten die eigenlijk niets met games te maken hebben. In 2014 werd de tweede generatie Kinect camera s gelanceerd, met veel verbeteringen ten opzichte van de eerste generatie. De specificaties zijn als volgt: Kleurencamera: 1920 x 1080, 30 fps Infraroodcamera: 512 x 424, 30 fps Waarnemingsafstand: 0.5 m m Gewrichten per skelet: 25 gewrichten Gevolgde skeletten: 6 skeletten Aantal microfoons: 4 microfoons Deze hardware wordt gebruikt om via een API verschillende datastreams beschikbaar te stellen aan programmeurs: Nota: tenzij anders vermeld, werken de streams aan 30 frames per seconde Color stream Dit is de stream van de kleurencamera. Deze levert een byte-array met daarin een full HD afbeelding. Omdat de video stream beschikbaar wordt gesteld als afzonderlijke afbeeldingen, neemt het erg veel geheugen in beslag. Een full-hd afbeelding in 24-bit RGB is 6MB groot. Dat is bijna 180MB per seconde. 5

18 Infrared stream Dit is de ruwe data van de IR camera. Het wordt voorgesteld met een grayscale afbeelding van IR data. Depth stream Deze stream bevat bewerkte data van de IR camera. Dit is een byte-array die voor elke pixel de afstand tot de camera weergeeft. Body stream Deze stream bevat bewerkte data van de IR camera. Het is een lijst van alle lichamen die de Kinect op dat moment herkent. Per lichaam zijn er 25 gewrichten, die elk een positie, een rotatie en een trackingstatus hebben. Bovendien is er ook data beschikbaar over de handstate. Dit dient om aan te geven of de hand open of gesloten is. Dit is voor onze applicatie de belangrijkste stream. Body Index stream Dit is bewerkte data van de IR camera. Deze stream bevat een afbeelding die de herkende lichamen allemaal in een aparte kleur invult. Audio stream Deze stream bevat 60 keer per seconde een byte-array met ruwe audio. De data bevat 256 samples in 32-bit float PCM met een samplerate van 16 khz. Er zijn nog een aantal streams in andere delen van de API. Hier ben ik niet mee in contact gekomen. Deze streams zijn een interface voor Face Tracking, Gestures, Fusion en Voice Recognition. Face Tracking laat toe om verschillende features te herkennen in het gezicht. Hier kan een gemoedstoestand uit worden afgeleid. Gestures is een manier om bewegingen van een gebruiker te herkennen als een gebaar. Bijvoorbeeld een zwaaiende hand. Om gestures te herkennen moet er een machinelearning-algoritme getraind worden met video s waarin het gesture voor komt. Fusion is een systeem dat toe laat om een 3D-voxel model op te bouwen van de scene die de Kienct ziet. Voice Recognition zit standaard in Windows, maar er is een aangepaste versie van beschikbaar die is afgestemd op de Kinect. Dit laat toe om stemherkenning in real time te doen. 6

19 3.2 Unity3D Unity3D is een game-engine, ontwikkeld door Unity Technologies. Het is een engine gericht op indie studio s. Ondertussen is de vijfde versie al op de markt, waarin ze beslist hebben een groot aantal betalende features gratis te maken. Een aantal opmerkelijke features van de engine zijn: Cross-platform met 21 ondersteunde platformen. Waaronder: Windows Linux Mac Web plug in WebGL Playstation Xbox... Physically Based Shading. Real-time Global Illumination. Een geïntegreerde editor. Scripting in C# en Javascript. Een uitgebreid animatieframework. Box2D en NVIDIA PhysX voor game physics. Door de uitgebreide mogelijkheden wordt Unity niet langer gebruikt voor enkel games. Architectuur, healtchare en militaire training zijn een aantal vakgebieden waar Unity ook gebruikt wordt. Door de flexibiliteit van Unity hebben ook wij gekozen om de engine te gebruiken. Interessant aan Unity en andere game-engines is het programmeermodel. In een standaard GUI programma wordt code alleen uitgevoerd bij het opstarten en als reactie op een event (hier zijn natuurlijk uitzonderingen op). Binnen Unity werkt men echter met een 7

20 gameloop. Er is intern een stuk code dat in essentie neerkomt op een eeuwige whileloop. Hierin worden entities geüpdatet en vervolgens gerenderd. Een entity is een object in de spelwereld. Voor de samenstelling van een entity wordt het Entity-Componentmodel gebruikt. Dit is een antwoord op de complexiteit van het traditionele model van overerving. Een entity beschikt over de mogelijkheid om componenten toe te voegen aan zichzelf. Dit kan gaan over een mesh (het 3D-model), een script (code die wordt uitgevoerd door de entity), een Transform (de positie, rotatie en schaling van een entity) en nog veel meer. Unity heeft ook een ingebouwde world editor. Hier kunnen artiesten en level designers de werelden ontwerpen. Dit gebeurt door een terrein aan te maken, dit is een mesh. Daarna kunnen niet interactieve objecten worden toegevoegd. Bijvoorbeeld een aantal huizen in een dorpje die dienen als decoratie maar eigenlijk geen functie hebben. Vervolgens worden interactieve objecten toegevoegd. Dit zijn entities met scripts. Dit kan gaan van spelers, tot vijanden, tot deuren die open en dicht gaan. Een nadeel aan Unity, ten opzichte van andere populaire engines zoals Unreal Engine, is dat de code van de engine niet beschikbaar is voor developers (of ze moeten veel geld betalen). In Unreal Engine kan je er wel aan, en wordt het mogelijk de engine zelf aan te passen. Dit is vooral nodig als je een type game wilt maken waarvoor de engine niet geoptimaliseerd is. Ook wordt het mogelijk om bijvoorbeeld interacties met het internet op een veel lager niveau te implementeren. Dit is handig als je een Massively Mutiplayer Online Game (MMOG) wilt maken. Omdat een MMOG altijd online is en hoge performantie nodig heeft voor het grote aantal spelers dat tegelijk moet kunnen spelen, kunnen er bepaalde assumpties worden gemaakt. Deze assumpties leiden dan tot bepaalde beperkingen in features (altijd online zijn in dit geval) die het gemakkelijker maken het spel te optimaliseren. Een andere use case voor het aanpassen van de engine is voor het optimaliseren van code die in het spel intensief wordt gebruikt. Het is mogelijk dat je een vrij obscure feature (bijvoorbeeld renderen naar een RenderTexture) veel gebruikt. Maar omdat deze feature obscuur is, is deze slecht geoptimaliseerd door de programmeurs van de engine. 3.3 Mono Mono is een open-source alternatief voor het.net Framework en de Common Language Runtime. Door het open-source karakter van het project hebben ze het mogelijk gemaakt.net code te schrijven voor zowel Windows, Linux als Mac OS X. Ze bieden hun eigen 8

21 versie aan van de compiler, de Common Language Runtime en de standard library van.net. Hoewel de mogelijkheden van Mono erg interessant zijn, wordt er binnen Unity nog een oude versie gebruikt. Er is toegang tot het equivalent van.net 3.5. Daardoor mist Unity ondersteuning voor constructies als async (het asynchroon uitvoeren van code. De eerste thread kan dan verder code uitvoeren totdat we met await het resultaat van de andere thread gaan opvragen). Ook delen van de standard library die later zijn toegevoegd missen in deze versie van Mono, zoals bijvoorbeeld Tuple<T1, T2>. Externe libraries die gecompileerd zijn voor.net 4 en hoger zijn ook niet bruikbaar binnen Unity. Unity is van plan over te schakelen op een eigen compiler, IL2Cpp, die Intermediate Language (gecompileerde.net) kan omzetten naar C++ code om dit dan te compileren met een C++ compiler. Ze zullen dus niet meer afhangen van Mono om cross-platform support te leveren. Sinds het.net framework open source is geworden, is de Mono Foundation gestart met het vervangen van hun code. Bepaalde delen stemmen nu dus volledig overeen met de referentie-implementatie van Microsoft. Onder andere de RegularExpressions-, Linq-, Threading- en Xml-namespaces zijn al gemigreerd. 3.4 Git Git is een distributed version control system (DVCS). Distributed betekent dat het niet het traditionele client-server model gebruikt, waar de server de plaats is waar de echte toestand van de code te vinden is. Bij git is elke client zowel client als server; de code bij de client is de echte toestand voor die client. Code kan ook uitgewisseld worden tussen verschillende clients, zonder dat er een centrale server aan te pas komt. Omdat het een distributed model gebruikt blijft code beschikbaar bij andere clients wanneer een client offline gaat. Version control system slaat op een systeem dat door middel van commits een geschiedenis opbouwt van de code. Een commit is een eenheid van werk die een logisch geheel vormt. Wanneer men een commit aanmaakt zegt men ik heb nu dit deel afgemaakt, en dit is de code die erbij hoort. Git maakt ook gebruik van branching. Hierbij kan men een commit aanduiden en zeggen vanaf hier start ik een nieuwe geschiedenis. Dit maakt het mogelijk om aan een stuk code te werken, zonder dat dit terecht komt in andere branches en het werk van developers 9

22 daar verstoort. Op het moment dat de branch afgewerkt is kan het gemerged worden in een andere branch. Dit kan op meerdere manieren gebeuren, maar komt altijd neer op het afspelen van de veranderingen in de ene branch op de andere branch. Tijdens dit proces kan men conflicts tegen komen. Dat betekent dat er in twee commits hetzelfde stuk code is aangepast. Er is dan de mogelijkheid om te kiezen welke (stukken van de) commits de juiste zijn. 10

23 4. Stageopdracht Het stageproject is gelinkt aan een onderzoeksproject van Healthcare-Research en IT- Research, namelijk een Open Intelligent Framework (kortweg OpenIRF). Er is binnen dit project een grote interesse voor tools die het werk van Healthcare professionals kan versimpelen. Er wordt onderzocht hoe software kan helpen bij de revalidatie na, bijvoorbeeld, een auto-ongeluk, bij ziektes zoals Multiple Sclerosis, of na een beroerte. Momenteel moeten patiënt en therapeut altijd fysiek samen werken om oefeningen uit te voeren, omdat de therapeut de enige persoon is die de kwaliteit van een oefening kan opmeten. Bovendien is er vaak te weinig focus op de specifieke noden van een patiënt. De oefeningen zijn vaak erg generiek. Met de tool die we nu ontwikkelen zal het mogelijk worden voor patiënten om (deels) zelfstandig te revalideren. Een andere stagiair, Tom Quareme, heeft ook binnen het OpenIRF project gewerkt. Hij heeft onderzoek gedaan naar kleine sensoren die via bluetooth te verbinden zijn met de PC. Deze sensoren hebben accelerometers en gyroscopen waardoor ze gebruikt kunnen worden om bewegingen te herkennen. Dit gaat vooral gebruikt worden voor situaties waar de Kinect niet goed mee overweg kan. Een voorbeeld is een oefening die vaak gebruikt wordt als revalidatie: het bewegen van een koffiekop. De sensor zou dan in een koffiekop bevestigd kunnen worden om zo de beweging van de patiënt te analyseren. 11

24

25 5. Onderzoeksfinanciering in België Omdat OpenIRF een TETRA-project is, is het wel gepast om de belangrijkste financieringsmethodes voor onderzoek in België aan te halen. Onderzoeksprojecten binnen de IT krijgen waarschijnlijk te maken met het IWT of met het FWO. Het IWT focust op toegepast onderzoek en het FWO op fundamenteel onderzoek 5.1 IWT Het IWT, het agentschap voor Innovatie door Wetenschap en Techniek, is een overheidsagentschap dat elk jaar ongeveer 300 miljoen euro verdeelt aan subsidies voor zowel bedrijven als hogescholen en universiteiten. Naast financiële steun levert het IWT ook advies aan onderzoeksprojecten. OpenIRF is een TETRA-project, en krijgt dus steun van het IWT. TETRA ondersteunt praktijkgericht onderzoek door hogescholen en universiteiten voor ondernemingen. Het doel van TETRA is het ondersteunen van onderzoek dat bijdraagt aan maatschappelijke uitdagingen zoals duurzame mobiliteit, duurzame energie, zorginnovatie,... De onderwijsinstelling die het onderzoek uitvoert binnen een TETRA-project moet de vergaarde kennis over de technologie op een begrijpelijke wijze overdragen aan de leden van de gebruikersgroep. Dit is de groep van bedrijven die het project cofinancieren. Om steun te krijgen als TETRA project moet er ook aan een paar voorwaarden worden voldaan: De begroting bedraagt minimaal en maximaal euro. Het project heeft een looptijd van 2 jaar. 13

26 Voor projecten van onderzoeksgroepen van professionele bacheloropleidingen is het mogelijk om een voorbereidingsproject van één jaar in te dienen. De steun voor de projecten bedraagt maximaal 92.5%. Ondernemingen uit de doelgroep financieren voor 7.5% Indien het project binnen het CONERT project past is een verlenging tot drie jaar mogelijk. Indien dat nodig is voor coördinatie met buitenlandse partners 5.2 FWO Het FWO focust zich op fundamenteel onderzoek. Dit is onderzoek dat niet noodzakelijk een rechtstreekse praktische toepassing heeft. Denk bijvoorbeeld aan theoretische fysica en theoretische wiskunde. Omdat ons project geen fundamenteel onderzoek is kunnen we dus ook geen beroep doen op het FWO. Voor andere projecten in het verleden heeft IT Research wel al op steun kunnen rekenen van het FWO. In de tijd dat het FWO nog het NFWO was, heeft het 4 nobelprijswinnaars afgeleverd. Drie maal voor de geneeskunde en één maal voor de scheikunde. 14

27 6. Onderzoeksthema: filters De Microsoft Kinect is een goedkope camera. Bijgevolg is de data die hij genereert niet heel accuraat: het bevat veel uitschieters en jitter. Uitschieters krijg je wanneer de Kinect denkt dat een lichaamsdeel ergens anders is dan waar het eigenlijk is. Jitter is een kleine, willekeurige afwijking die zich zeer kort bij de echte waarde bevindt. Typisch aan jitter is dat de afwijking steeds varieert. y y fysiek fysiek gemeten gemeten Jitter x Uitschieters x Figuur 6.1: Een illustratie van jitter en uitschieters Beide problemen kunnen voorkomen worden met filters die de data analyseren en bewerken. Op dit moment zijn er vier filters geïmplementeerd. Drie hiervan zijn gebaseerd op een maximale delta (waar we met delta het verschil in afstand tussen twee tijdseenheden bedoelen) per frame. De vierde is gebaseerd op het Exponential Moving Average (Holt, 2004). Er zijn nog een aantal bruikbare filters die niet zijn geïmplementeerd. Dit om verscheidene redenen: sommige methodes zijn te complex, voor anderen was er geen tijd, enz. Deze worden besproken in sectie 6.2. Het is echter wel makkelijk genoeg een nieuwe filter toe te voegen, er moet alleen iemand het wiskundige model omzetten naar code. Nota: In de beschrijvingen van de filters wordt er gerefereerd naar vectoren. Dit slaat op zowel positievectoren (3 dimensies) als rotatievectoren (4 dimensies, ook wel Quaternions genoemd). Wanneer er verschillen zijn in de methode tussen 3 en 4 dimensies, dan wordt 15

28 dit expliciet vermeld. Wanneer een filter bedacht wordt, zijn er een aantal gevolgen waar rekening mee moet worden gehouden. Deze gevolgen kunnen we groeperen onder vertraging en afvlakking. De meeste filters zullen data van één of meer vorige frames analyseren en op basis hiervan de data van het nieuwe frame aanpassen. Hierdoor heeft de bewerkte data een vertraging ten opzichte van de originele data: y origineel gefilterd x Figuur 6.2: Een voorbeeld van vertraging Deze vertraging is inherent, maar kan gelimiteerd worden zodat een gebruiker het niet merkt. De maximale vertraging die een gebruiker niet opmerkt zoals beschreven in The psychology of human-computer interaction (Card, Moran, Newell e.a., 1981) bedraagt 100ms. Wanneer we spreken over afvlakking (of zelfs versterking bij voorspellende modellen) dan bedoelen we dat de gefilterde data niet dezelfde minima en maxima behaalt als de ruwe data: y origineel gefilterd x Figuur 6.3: Een voorbeeld van afvlakking Het is belangrijk om ervoor te zorgen dat het verschil met de originele data niet te groot wordt. Wanneer dit wel gebeurt is het zeer desoriënterend voor de gebruiker. 16

29 6.1 Geïmplementeerde filters Maximale delta Het principe van een filter gebaseerd op een maximale delta per frame (vanaf hier MaxDelta) is het limiteren van de afstand ( ) waarmee een variabele mag veranderen per tijdseenheid tot max. Op dit principe zijn drie filters gebaseerd. MaxDelta filter In de MaxDelta filter gebruiken we steeds het vorige frame om het huidige frame mee te vergelijken. Voor posities en rotaties berekenen we dan de richting van de vector die zich vormt tussen de twee frames en limiteren de afstand van die vector tot max : = v 1 v 0 v = min(, max ) Waar: v 0 is de vector van het vorige frame v 1 is de vector van het huidige frame Deze filter is goed geschikt voor het opvangen van uitschieters. Deze kunnen een delta hebben van meerdere malen max. Een uitschieter moet dan al meerdere frames na elkaar worden geregistreerd voor de gefilterde data de uitschieter bereikt. Jitter wordt hier niet mee gefilterd. MaxDeltaRatio filter Dit is een uitbreiding op MaxDelta. Bovenop de berekening die daar beschreven wordt gaan we delta s kleiner dan max limiteren tot een bepaald ratio van de delta. Bijvoorbeeld: max = 5cm, ratio = 10%. Een delta van 3 cm wordt dan gelimiteerd tot 0.3cm. 17

30 Het nut van ratio is naast de uitschieters die MaxDelta opvangt het opvangen van jitter. Jitter gaat natuurlijk nooit helemaal weg, omdat we niet kunnen weten wat de correcte waarde van de variabele hoort te zijn. Maar de ratio die we instellen reduceert de delta van een jitter tot een bepaald percentage van de originele delta. MaxDeltaMultiplier filter Deze filter is ook een uitbreiding op MaxDelta. In plaats van één enkele max te hebben voor alle variabelen, krijgt elk gewricht een eigen max. Het is eventueel ook mogelijk ratio hier aan toe te voegen, maar dit is voor het project niet gedaan. De verschillende max per variabele kunnen gebruikt worden omdat bepaalde gewrichten inherent een andere maximumsnelheid hebben. Met een enkele max kan dit niet opgevangen worden Exponential Moving Average filter Exponential Moving Average (EMA) is een filter die vooral in de financiële wereld wordt gebruikt om trends van aandelen te voorspellen. Het heeft echter ook al zijn nut bewezen in filteren van data. De filter houdt een geschiedenis bij van de x laatste waarden van een variabele. Hier wordt een gewogen gemiddelde van genomen, waarbij oude data een lager gewicht heeft dan nieuwe data. Dit gedrag kan men beschrijven met de vergelijking: EMA(v 1 ) = v 1, EMA(v n ) = αv n + (1 α) EMA(v n 1) Waar: v is lijst van vectoren n is huidige index 18 α is het gewicht

31 Nota: Deze methode is niet correct voor het filteren van de quaternions die gebruikt worden voor rotaties. Refereer hiervoor naar vergelijking 12 en 13 in Quaternion Averaging (Markley, Cheng, Crassidis & Oshman, 2007). Ze definiëren het gewogen gemiddelde van n quaternions q i met gewichten w i als: q = argmax q T Mq q S 3 n M w i q i qi T i= Analyse MaxDelta MaxDelta werkt verrassend goed, ondanks dat het algoritme heel erg simpel is. Met een max van 2cm per frame (60cm per seconde) worden er genoeg uitschieters opgevangen, zonder teveel vertraging te creëren. Ook op rotaties werkt dit goed, met een max van 5. Wat wel opvalt is dat filtering op rotaties minder goed werkt dan op posities. De hypothese is dat dit komt omdat rotatiedata meer ruis en uitschieters bevat dan positiedata. Dit is waarschijnlijk omdat de data veel moeilijker accuraat te berekenen is. Helaas zijn de interne details van de Kinect API niet bekend voor developers, wat het onmogelijk maakt om te bepalen waarom deze data minder accuraat is. Wanneer we de gewone MaxDelta filter gebruiken valt het op dat er veel ruis is wanneer de persoon heel traag beweegt. Dit is niet onverwacht, en wordt opgelost door de MaxDeltaRatio filter te gebruiken. Exponential Moving Average Door de voorgenoemde inaccuraatheid van rotatiedata werkt EMA niet zo goed op rotaties. Het systeem geraakt soms verward, wanneer het de richting van de interpolatie wilt bepalen. Dan zie je dat een gewricht ineens een volledige draai maakt in de omgekeerde richting. 19

32 Voor posities werkt EMA wel zeer goed. Met een geschiedenis van 10 frames en een α van 0.2 wordt er een goede middenweg gevonden tussen accuraatheid en vertraging. Hoe groter de geschiedenis, hoe meer vertraging, maar hoe meer accuraat het resultaat. 6.2 Niet-geïmplementeerde filters Refereer hiervoor naar het paper Skeletal Joint Smoothing (Azimi, 2014) van Microsoft. Hier zijn nog een aantal interessante methodes te vinden om de data mee te filteren. Twee filters uit dat paper worden hier toegelicht. Deze zijn niet geïmplementeerd vanwege een gebrek aan wiskundige achtergrond die nodig is voor deze materie Double Exponential Moving Average Deze filter is een uitbreiding op EMA. Het past een tweede functie toe op de data die EMA genereert en probeert zo rekening te houden met een bepaalde trend in de data. Er zijn meerdere versies van de filter, die allemaal kleine verschillen tonen ten opzichte van elkaar. Een versie: s 1 = v 1 b 1 = v 1 v 0 s n = αv n + (1 α)(s n 1 + b n 1 ) b n = β(s n s n 1 ) + (1 β)b t 1 Waar: s t is de gefilterde data v is lijst van vectoren n is huidige index α is de data smoothing factor β is de trend smoothing factor 20

33 Het voordeel van deze filter is dat ze sneller reageert op een nieuwe trend dan EMA. Een nadeel is dat ze sneller last heeft van overshoot: wanneer de filter een hoger maximum weergeeft dan de ruwe data Savitzky-Golay Smoothing filter Een Savitzky-Golay Smoothing filter neemt een aantal waardes uit het verleden en zoekt een polynoom die door al deze waardes gaat. Deze polynoom minimaliseert de leastsquares fout in de gefilterde data. 21

34

35 7. Dataflow applicatie Hoewel het voor een groot deel irrelevant is buiten de applicatie, is het toch belangrijk een schets te geven van de dataflow die in deze applicatie is toegepast. Het is in geen enkele manier indicatief voor hoe het probleem moet worden aangepakt in andere applicaties. Daarnaast is deze applicatie ook een prototype voor de software die uiteindelijk door andere leden van IT-Research wordt geprogrammeerd, en is het dus ook niet indicatief voor de dataflow tijdens het eindstadium van dit project. De verschillende secties behandelen stukken van de dataflow die gebaseerd zijn op data van een bepaalde Kinect data-stream. Op veel plaatsen is geopteerd voor een model dat wat lijkt op het Blackboard pattern. In het blackboard pattern schrijven alle subsystemen data weg naar een centraal subsysteem dat deze data beheert. De subsystemen kunnen zo aan data die niet in hun subsysteem wordt gegenereerd, om deze dan te analyseren en verwerken. Dit is vooral handig als de systemen erg verweven zijn, maar toch apart moeten kunnen opereren. Dit blackboard continu up-to-date houden met de juiste velden is wat omslachtig binnen deze applicatie. Daarom fungeert elke entity als een blackboard. Ze stellen data publiekelijk beschikbaar die door andere entities gebruikt zou kunnen worden. Andere entities verkrijgen referenties naar de data die ze nodig hebben, en kunnen zo altijd up-to-date data gebruiken. Op deze manier voorkomen we de complexiteit die ontstaat wanneer elke entity moet bijhouden welke andere entities zijn data nodig hebben. 7.1 Body Het belangrijkste gedeelte van de applicatie is het verwerken en interpreteren van de body stream. Deze data wordt gebruikt om een 3D-model te renderen dat de bewegingen van de gebruiker toont. De data moet gefilterd worden alvorens deze te tonen aan de gebruiker. Er is daarnaast ook functionaliteit om body-data op te nemen en af te spelen. Tenslotte is er de mogelijkheid live-data te vergelijken met opgenomen data. 23