EINDVERSLAG. Monitoren van discomfort bij dementerende bejaarden op basis van automatische beeldherkenning

Transcriptie

1 EINDVERSLAG Mnitren van discmfrt bij dementerende bejaarden p basis van autmatische beeldherkenning IWT-Tetra prject nr.: Inhudspgave Delstellingen Algemene delstellingen Delstellingen in detail Disseminatie van nderzeksresultaten Wetenschappelijke resultaten Technische en wetenschappelijk resultaten Algemeen acquisitiesysteem Vide acquisitiesysteem (ViAS) Digital Discmfrt Label Tl (DDLT) Off-line Label Tl Medisch verpleegkundige aspecten Beeldverwerkingalgritme Real-time implementatie Cnclusie Prestatietabel Financieel verzicht M3-BIORES Kathlieke Hgeschl Kempen (KHK) De Wingerd (DW) P 01 P 01 P 02 P 02 P 05 P 05 P 05 P 07 P 09 P 11 P 12 P 13 P 16 P 18 P 20 P 22 P 22 P 22 P 22 Delstellingen Algemene delstellingen De hfddelstelling van dit prject is het n-line mnitren van visueel waarneembare gelaatsuitdrukkingen vr de bevrdering van het welzijn van dementerende bejaarden. Meer cncreet cncentreren we ns p het autmatisch herkennen van pijn en/f ngemak bij de patiënt. Dergelijke tl met telaten m dementerende bejaarden z ged mgelijk p te vlgen m gepaste pijn verzrging te te dienen. De kern van het te ntwikkelen systeem is een cmbinatie van visietechnieken (p basis van camera s) en patrnherkenningalgritmes. Begde tepassing van de prjectresultaten zijn: - verbetering van de pijnbehandeling en glbale cmfrtzrg bij ernstig zieke dementerende bejaarden; - vermijden van nndige ziekenhuispnames in het eindstadium van dementie; - verhgen van de mgelijkheden van de thuiszrg m de zieke tt in het terminale stadium van dementie de meest adequate verzrging te bieden; - ndersteuning mantelzrgers dr het gebruik van bijkmend hulpmiddel in het zeken naar de beste zrg vr hun ziek familielid; - ter beschikking stellen van de tl vr alle ernstig zieke dementerende persnen, k in de palliatieve zrg; De delgrep van dit prject zijn de dementerende bejaarden die in het ernstig gevrderd stadium van de ziekte zijn en met wie geen verbale cmmunicatie meer mgelijk is. Bij dergelijke patiënten meten de familie en de hulpverleners zich vral baseren p visuele impressies van de gelaatsuitdrukking m pijn en/f ngemak te detecteren. Om praktische redenen kan dit echter niet cntinu gebeuren en kunnen mmenten van ernstig lijden gemist wrden. Een technlgische plssing die telaat m deze bservatie cntinu en autmatisch te den zu dan k een zeer nuttige tl zijn vr de zrgverleners m de pijn- en cmfrtzrg ptimaal aan te passen aan de nden van deze zwaar zieke persnen, aldus te helpen m de zrg adequaat verder te zetten k in dit palliatief stadium van de ziekte, en bijvrbeeld een ultieme ziekenhuispname te vermijden

2 Delstellingen in detail Teneinde de algemene delstelling te realiseren werden een aantal deeldelstellingen gedefinieerd die elk werden uitgewerkt in werkpakketten. De verschillende werkpakketten zijn de vlgende: 1) peratineel maken van een visiesysteem dat telaat m gelaatsuitdrukkingen te mnitren p basis van een camera (werkpakket 1); 2) aanleggen van een databank met gemerkt ( gelabeld ) beeldmateriaal van verschillende gelaatsuitdrukkingen (pijn en ngemak) (werkpakket 2); 3) verder ntwikkelen van bestaande beeldverwerkingalgritmes vr het autmatisch mnitren en classificeren van gelaatsuitdrukkingen (werkpakket 3); 4) evaluatie van de sensitiviteit en specificiteit van de ntwikkelde beeldverwerkingalgritmes p basis van de databank ntwikkeld in werkpakket 2, (werkpakket 4); 5) evalueren van het ntwikkelde autmatische mnitrsysteem (werkpakket 5). De realisatie van het prject wrdt gedragen dr drie partners, nl. wn- en zrgcentrum De Wingerd (dhr. Rudiger De Belie en dr. Eric Triau), K.H.Kempen nderzeksgrep MOBILAB (dr. Bart Vanrumste) en departement gezndheidszrg Lier (lic. Lieven De Maesschalck) en de K.U.Leuven Afdeling M3-BIORES (Meet, Mdelleer & Manage Birespnsies, K.U.Leuven, Prf. D. Berckmans). Disseminatie van nderzeksresultaten Met disseminatie bedelen we het ter beschikking stellen van academische kennis aan de maatschappij in het algemeen, en het bedrijfsleven in het bijznder: Algemeen en Painvisin Newsletter; Painvisin dem film (beschikbaar in 2 gesprken talen (Nederlands en Engels) en is zwel p DVD als p nze website te bekijken): deze dem film heeft als del dit prject p een verzichtelijke en aantrekkelijke manier vr te stellen aan het brede publiek; 1 mei 2007: pstervrstelling en demstand p de pendeurdag van de K.H.Kempen campus Geel in het labratrium elektrnica; 1 juni 2007: pstervrstelling en demstand p de Dag van het nderzek p de K.H.Kempen campus Geel. Del: nderzekswerk p de K.H.Kempen vrstellen aan een bredere industrieel en academische publiek; 27 april 2008: is het prject vrgesteld p de pendeurdag van de K.H.Kempen campus Geel en Lier als één van de lpende nderzeken binnen de nderzeksgrep MOBILAB Geel en departement Gezndheidszrg in Lier; 30 maart 2007: met de leden van de gebruikerscmmissie werd een aparte werkvergadering gerganiseerd waarbij de cmplementpariteiten en de aanzet tt een aansluitend valrisatieprject besprken werden; 25 september 2007: werkbezek aan Prf. Hamers en Dr. Zwakhalen in de Universiteit Maastricht: afdeling verplegingswetenschappen; 20 september 2007: werkbezek aan Prf. De Lepeleire in de KULeuven: Academisch centrum vr huisartsen geneeskunde; Pers Pijndetectie bij dementerende bejaarden p basis van autmatische beeldherkenning Elektrnische nieuwsbrief ver nderzek en dienstverlening van de K.H.Kempen ( viewuitgebreid.asp?dienstid=107&letid=124); Prject in de kijker: Camera's die menselijke emties herkennen Bi-ingenieus Tijdschrift van de faculteit bi-ingenieurswetenschappen driemaandelijks april - mei - juni e jaargang nr. 3 april 2008 p7-9 Campuskrant Tijdschrift van de K.U.Leuven 14 mei 2008, nr. 9, 19 de jaargang Camera leest pijn af van gezichtsexpressies - 2 -

3 p1 en p8 - het interview in de Campuskrant is dr persagentschap BELGA pgevangen en deze hebben hier een samenvatting de wereld rndgestuurd waardr dit bericht te lezen was in: Metr (BE - Dutch) Bijzijn (NL - Dutch) Cnsumentenzrg (NL - Dutch) De Mrgen (BE - Dutch) de Gelderlander (NL - Dutch) e-alumni (BE - Dutch) EN.nl (NL - Dutch) FlandersBi (BE - Dutch) Gezndheidsnet (NL - Dutch) Het Laatste Nieuws (BE - Dutch) HealthDirect (NL - Dutch) Le Vife (BE - French) Het Dagelijks Nieuws (NL - Dutch) Medinews (BE - Dutch) Het Net (NL - Dutch) Meernieuws (BE - Dutch) Medifacts (NL - Dutch) RTL (BE - French) MedischCntact (NL - Dutch) MedWeb (NL - Dutch) Algemeen Dagblad (NL - Dutch) NU.nl (NL - Dutch) Aptheek.rg (NL - Dutch) Patientenplatfrm (NL - Dutch) AptheekZrg (NL - Dutch) Planet (NL - Dutch) Barneveldese krant (NL - Dutch) Stichting Steungrep ME en Arbeidsngeschiktheid (NL - Dutch) The End Time (NL - Dutch) Tiscali (NL - Dutch) Truw (NL - Dutch) Verpleging en Verzrging (NL - Dutch) 50+ Plein (NL - Dutch) Bligg (BE - Dutch) Leny's Weblg (BE - Dutch) Zibb (NL - Dutch) Zrgb Een gedetailleerd verzicht kan u terugvinden p nze website: Daarnaast hebben de De Standaard en De Agenda Psychiatrie Neurlgie (kwartaalblad vr alle Belgische artsen en assistenten psychiatrie en neurlgie) ns uit eigen initiatief gecntacteerd vr het publiceren van een vlledig artikel. Hier zijn reeds cncrete afspraken rnd gemaakt en een artikel is reeds in De Standaard gepubliceerd; - De Standaard p wensdag 18 maart 2009 (p10 en p11) sin Camera's die menselijke emties herkennen - pijn en discmfrt bij dementie nieuwsbrief het expertisecentrum dementie vlaanderen nr 11, Wrkshps en presentaties: Image Acquisitin System t Mnitr Discmfrt in Demented Elderly Patients MOBILAB wrkshp n Technlgy in Rehabilitatin and Bimedical Signal Prcessing December 14th, 2007 Geel, Belgium; Dag van het nderzek in de bachelrpleidingen verpleegkunde en vredkunde van de Assciatie K.U.Leuven Leuven - dnderdag 31 januari 2008 en dinsdag 3 februari 2009; Mnitren van pijn bij dementerende bejaarden (Labeltls) Dctraatssympsium Kathlieke Universiteit Leuven 5 mei 2008 Leuven België; Mnitren van pijn bij dementerende bejaarden (Beeldverwerking) - 3 -

4 Dctraatssympsium Kathlieke Universiteit Leuven 2 juni 2008 Leuven België; A Vide Acquisitin System t Develp a Real-Time Discmfrt Recgnitin Algrithm 7th Internatinal Cnference and Wrkshp n Ambient Intelligence and Embedded Systems 11 September 2008 Kiel, Duitsland; 26/9/ 08: vzw Rusthuizen Zusters van Berlaar Wiekevrst Naar aanleiding van een vraag ver een gede pijnmeetschaal vr geriatrische patiënten, van het ethisch cmité van de vzw Rusthuizen Zusters van Berlaar, werd een presentatie gegeven p vrijdag 26/9/ 08. De presentatie werd psitief nthaald, en het cmité kijkt alvast uit naar de eindprducten die het prject met zich zal meebrengen. 9/10/ 08: KHK-inf-avnden Start t study Lier Start t study is een reeks van avnden die de Assciatie K.U.Leuven vr secundaire schlen pzet m leerlingen van het laatste jaar en hun uders p weg te zetten naar een gepaste keuze vr een pleiding in het hger nderwijs. 22/10/ 08: Smart Care Unlimited Event Eindhven De prvincie Nrd-Brabant in Nederland gaat aan de slag met het prgramma Slimme Zrg. In 2011 met het gebruik van ICT in de zrg in Brabant zwel kwalitatief als kwantitatief p een hger plan zijn gebracht. Mnitren van pijn bij dementerende bejaarden Dctraatssympsium Kathlieke Hgeschl Kempen 7 januari 2009 Geel België; Mnitren van pijn bij dementerende bejaarden (Beeldverwerking) Dctraatssympsium Kathlieke Universiteit Leuven 24 februari 2009 Leuven België; Sympsium Painvisin Sympsium: Pijnpvlging bij dementerende bejaarden vanuit de praktijk, vrijdag 13 februari 2009, wn- en zrgcentrum De Wingerd, Leuven, België; Resultaten van het sympsium zijn in bijlage gevegd; Onderwijs: Bert Bnry heeft 2 lab zittingen gegeven in het vak Beeld Bewerking. Hier heeft hij zijn pgedane kennis i.v.m de vide en image prcessing blckset van Matlab drgegeven aan de studenten van het vierde jaar in de master pleiding; Bert Bnry heeft 12u als gast dcent het vak digitale signaalverwerking gedceerd aan de laatstejaars masterstudenten elektrnica aan de K.H.Kempen. Hierbij ging Bert dieper in p het implementeren van 1D-fiters (FIR, IIR, ) p een Xilinx FPGA dr gebruik te maken van Simulink als ntwikkel en simulatie mgeving; Bert Bnry dceerde in het eerste semester van het academiejaar het vak Prgrammeerbare Cmpnenten Lab ; Bert Bnry begeleide de masterthesis student Filip Anthni met als thesis nderwerp FPGA als cprcessr vr affiene transfrmaties ; Dragana Miljkvic begeleide de masterthesis studente Angeliki Kritikaku met als thesis nderwerp: Lw-cst lw-energy embedded prcessrs fr n-line bitechnlgy mnitring applicatins ; Dragana Miljkvic begeleide de masterthesis student Wim Vanderhulst met als thesis nderwerp: Verhgen van de verkeersveiligheid dr middel van geavanceerde ntwikkelingen in de autindustrie ; Pieter Schiepers begeleide een grepje van 4 studenten vr het vak I0N17a Inleiding tt de agrarische, bi-industriële en milieuwetenschappen. Uitgangspunt van dit practicum was een paper met als titel: Face image prcessing and interpretatin Applicatins fr cmputers that recgnize faces ; Pieter Schiepers begeleide het practicum van het vak I0A85a Prjectwerk Bisysteemtechniek vr de afdeling M3-Bires. Hier is het uitgangspunt m een grasmaaier te besturen aan de hand van gezichtsexpressies en beeldverwerking.; Lieven De Maesschalck heeft in een presentatie ver pijn de nderzeksresultaten en de prjectbeschrijving pgenmen in de cursus gerntlgie en geriatrie in de banaba geriatrische verpleegkunde; Greet Leysens begeleidt een masterstudent K.U.Leuven bij het schrijven van een review ver faciale pijninidicatren. Verder werken we aan een vervlgtraject in de vrm van een O&O. Er zijn reeds nderhandelingen gaande met AKS, ESSEC en BiRICS

5 Wetenschappelijke resultaten Bnry B., P. Schiepers, G. Leysens, D. Miljkvic, D. Berckmans, L. De Maesschalck, S. Quanten, B. Vanrumste, Acquiring a Dataset f Labeled Vide Images Shwing Discmfrt in Demented Elderly, Telemedicine and e-health 15(4): DOI: /tmj Bnry B., G. Leysens, D. Miljkvic, P. Schiepers, E. Triau, M. Wils, D. Berckmans, P. Clleman, L. De Maesschalck, S. Quanten, B. Vanrumste, Image Acquisitin System t Mnitr Discmfrt in Demented Elderly Patients, In: Prceedings f the 18th PrRISC Annual Wrkshp n Circuits, Systems and Signal Prcessing, Veldhven, The Netherlands, Nvember Bnry B., G. Leysens, D. Miljkvic, P. Schiepers, E. Triau, M. Wils, D. Berckmans, P. Clleman, L. De Maesschalck, S. Quanten, B. Vanrumste, Image Acquisitin System t Recgnize Discmfrt in Facial Expressins f Demented Elderly, In: Prceedings f the Belgian Day n Bimedical Engineering, Brussels, Belgium, 30 Nvember Bnry B., G. Leysens, D. Miljkvic, P. Schiepers, E. Triau, M. Wils, D. Berckmans, P. Clleman, L. De Maesschalck, S. Quanten, B. Vanrumste, Vide Acquisitin System t Recgnize Discmfrt in Demented Elderly Patients Facial Expressins, In: Prceedings f the IEEE Benelux EMBS Sympsium, Heeze, The Netherlands, 6-7 December Bnry B., G. Leysens, D. Miljkvic, P. Schiepers, E. Triau, M. Wils, D. Berckmans, P. Clleman, L. De Maesschalck, S. Quanten, B. Vanrumste, Image Acquisitin System t Mnitr Discmfrt in Demented Elderly Patients, In: Prceedings f the Third Eurpean Cnference n the Use f Mdern Infrmatin and Cmmunicatin Technlgies, p31-40, Ghent, Belgium, March Schiepers P., B. Bnry, G. Leysens, D. Miljkvic, L. De Maesschalck, S. Quanten, B. Vanrumste, D. Berckmans, On-site electrnic behaviural/bservatinal assessment tl fr discmfrt and pain, Submitted t Cmputer Methds and Prgrams in Bimedicine, 27 Octber Triau E., M. Wils, D. Berckmans, P. Schiepers, D. Miljkvic, V. Exadaktyls, B. Vanrumste, B. Bnry, G. Leysens, L. De Maesschalck, Mnitring Pain in Severe Dementia by Autmatic Visin System, In: 24th Cnference f Alzheimer s Disease Internatinal, Singapre, March Leysens G., B. Bnry, B. Vanrumste, P. Schiepers, D. Miljkvic, V. Exadaktyls, D. Berckmans, M. Wils, E. Triau, L. De Maesschalck, Develpment f a digital bservatinal pain scale, In: 11th Cngress f the Eurpean Assciatin fr Palliative Care, Wenen, 7-10 May Leysens G., B. Bnry, B. Vanrumste, P. Schiepers, D. Miljkvic, V. Exadaktyls, D. Berckmans, M. Wils, E. Triau, L. De Maesschalck, Develpment f a digital bservatinal pain scale, In: 19th Alzheimer Eurpe Cnference, Brussels, May Technische en resultaten Algemeen acquisitiesysteem (werkpakket 1/4) In Figuur 1 wrdt een algemeen verzicht gegeven van het vlledige acquisitiesysteem vr het pnemen van een gelabelde dataset. Deze dataset bevat gelabelde beelden met betrekking tt pijnuitdrukkingen bij dementerende bejaarden. Deze dataset is ndig m het pijnherkenningalgritme te kunnen ntwikkelen en valideren. Om zulk systeem in de praktijk werkbaar te maken met het hele systeem vlden aan 2 strikte eisen: enerzijds zijn er de wetenschappelijke specificaties: de kwaliteit van de geleverde beelden met vldende hg zijn (1024 x 768 pixels in kleur); de pname snelheid met vldende snel zijn (30 beelden per secnde); de psitie van de camera s met z gekzen zijn dat er steeds een ged beeld van het aangezicht van de patiënt dr een camera pgenmen kan wrden. Dit betekend 1 camera aan elke zijde van het bed: dit impliceert dat de pnames van beide camera s gesynchrniseerd met wrden; - 5 -

6 de beelden meten nauwkeurig, synchrn met de pnames, en cnsistent gelabeld zijn: zwel aan bed(n-line): hiervr hebben we het Digital Discmfrt Label Tl (DDLT) ntwikkeld; alsk nadien, enkel p basis van de camerabeelden: hiervr hebben we het Off-line Label Tl ntwikkeld; anderzijds zijn er de esthetische specificaties waaraan het systeem met vlden m in een kamer van een patiënt pgesteld te mgen wrden. Dit wil zeggen dat: de camera s vldende klein meten zijn; de bekabeling z veel mgelijk ingewerkt met wrden; het systeem z cmpact en mbiel mgelijk met zijn; geluidshinder met zveel mgelijk beperkt wrden; het niet hinderlijk mag zijn vr de patiënt, de familie alsk het verplegende persneel. Om het systeem peratineel te maken hebben we de design specificaties verder uitgebreid met een aantal functinaliteiten en apparaten. In de verpleegpst is een cmputer vrzien die dienst det als time server waar de andere apparaten (Vide acquisitiesysteem (ViAS) en DDLT) hun interen klk mee synchrniseren. Deze cmputer is verder uitgebreid met een extra en externe pslag capaciteit vr het permanent bewaren van de pgenmen datasets. Tensltte is er gekzen m een draadls netwerk p te zetten tussen de verschillende testellen zdat deze eenvudig met elkaar kunnen cmmuniceren en de installatie kst aanzienlijk beperkt. Figuur 1 Overzicht pstelling van het vlledige aquisitiesysteem - 6 -

7 Vide acquisitiesysteem (ViAS werkpakket 1) De ntwikkeling van het ViAS is in verschillende stappen gebeurt en is chrnlgisch weergegeven in Figuur 2 Figuur 2 (a) impressie van een mgelijke camera pstelling aan het bed van de patiënt, (b) cnstructie schets van een eerste camerapstelling, (c) eerste camerapstelling vr het bepalen van de ideale psities, (d) uitbreiding van het camerasysteem met het DDLT, (e,f) uiteindelijke pbuw van het ViAS. De cmbinatie van camera en lens met de vraf bepaalde camera psitie geven steeds een ged beeld van het aangezicht en de schuders van patiënt. In Figuur 3 is weergegeven wat dr de beide camera s geregistreerd kan wrden. Zals in Figuur 3 weergegeven is heeft steeds 1 van de 2 camera s een (bijna) frntaal beeld van het aangezicht van de patiënt. De verlap in de beelden is ndig m achteraf een 3D recnstructie van het aangezicht te kunnen maken. Het resultaat is een bruikbaar ppervlak (hfd en schuders) van 300 x 400 pixels van het ttaal geschten beeld (1024 x 768 pixels)

8 Figuur 3 ppervlakte wat dr de camera s geregistreerd wrdt Het systeem is k z ntwrpen dat het eenvudig verplaatst kan wrden. Figuur 4 De meest cmpacte vrm van het mbiel ViAS zdat het eenvudig verplaatst kan wrden Negen patiënten werden achtereen vlgens gebserveerd met de ViAS en simultaan met de DDLT. Elke patiënt werd gebserveerd vr een peride van 14 peenvlgende dagen. Gedurende deze peride werden randm 6 dagen gekzen vr het uitveren van pijnbservaties. Tijdens een bservatiedag werden 5 meet sessies uitgeverd p welbepaalde tijdstippen: vr/tijdens/na de verzrging en vr/na het wisselen van de psitie van de patiënt. Met de DDLT en de ViAS zijn meer dan 82 verschillende datasets van 15 minuten pgenmen dewelke k simultaan gelabeld werden met betrekking tt de pijnuitdrukking van de patiënt. 16 van deze 82 datasets waren (deels) nbruikbaar. Zeven datasets hiervan waren nder- f verbelicht.w.v. veranderende lichtinval in de kamer. In 9 van deze datasets is de patiënt nvldende zichtbaar na een verzrgingsmment. Het duurde 10 tt 15 minuten vr een verpleegkundige m een vlledige pname sessie af te werken. Op het einde van elke sessie werd de pijnscre per schaal berekend en p het scherm getnd

9 Digital Discmfrt Label Tl (DDLT) (werkpakket 1, 2 en 4) Figuur 5 Het DDLT p een TabletPC We hebben een Digitaal Discmfrt Label Tl (DDLT) ntwikkeld dat draait p een TabletPC. De DDLT is een sftware applicatie die de mgelijkheid beidt m 3 betruwbare en wetenschappelijk gevalideerde pijnschalen tegelijkertijd p te meten. De geselecteerde pijnschalen zijn de Pain Assessment Checklist fr Senirs with Limited Ability t Cmmunicate (PACSLAC), de Discmfrt Scale-Dementia f Alzheimer Type (DS-DAT) en de Faces Pain Scale-Revised (FPS-R). De DS- DAT en PACSLAC wrden in de literatuur hg aangeschreven als het gaat ver de evaluatie van de huidige meetinstrumenten vr het detecteren van pijn bij dementerende bejaarden. Wij hebben deze pijnschalen tevens geselecteerd.w.v. het hg aantal faciale indicatren die gescrd meten wrden. Tegengesteld aan de DS-DAT en PACSLAC, welke bservatie schalen zijn, is de FPS-R een zelfrapprtage pijnschaal. De auteurs van de FPS-R geven aan dat deze zelfrapprtage pijnschaal k als bservatie schaal gebruikt kan wrden. Daarm hebben we beslten deze reeds mee p te nemen in dit nderzek, mdat deze bijkmende infrmatie kan verschaffen. De DDTL laat te, bijkmend en eenvudig, cmplexe tijdspatrnen van gelaatskenmerken te registreren gedurende een bservatie sessie en dit znder bijkmende inspanning van de bservatr. Deze eigenschap kan een aanleiding zijn vr de ntwikkeling van een nieuwe generatie en meer accurate bservatie pijnschalen. Het uiteindelijke prduct is een draagbaar elektrnisch testel waar de pijnschalen ingevuld kunnen wrden d.m.v. het aanklikken van bepaalde knppen p een aanraakscherm. De sftware berekend na het beëindigen van een bservatie sessie nmiddellijk de pijnscre vr de gebserveerde persn. De grafische gebruikersinterface (GUI) en de nderliggende databank en verwerkingssftware zijn ntwikkeld met behulp van pen surce GPL Trlltech QT C++ libraries en MySQL Cmmunity Editin. De DDTL is ntwikkeld als een stap-vr-stap invul instrument die de gebruiker dr de verschillende stappen begeleid. Er zijn 8 verschillende stappen gedefinieerd: 1. inveren van patiënt infrmatie; 2. inveren van bservatie sessie infrmatie (vb. type bservatie, bservatr gegevens); 3. inveren van tijdsafhankelijke bservatie gegevens (gedurende een bepaalde bservatie tijd); 4. inveren van algemene gegevens geldig vr de vlledige bservatie sessie (deel 1); 5. inveren van algemene gegevens geldig vr de vlledige bservatie sessie (deel 2); 6. inveren van pmerkingen; 7. tnen van pijnscre; 8. beëindigen van de bservatie sessie, f een nieuwe sessie starten

10 Figuur 6 De derde stap van de GUI: cmbinatie van dynamische gezicht pijnindicatren van drie pijnschalen PACSLAC, DS-DAT en FPS-R. De PACSLAC indicatren zijn gerganiseerd in de vrm van een gezicht. We hebben tevens een usability studie uitgeverd p het gebruik van de DDTL dr de verpleegkundige. Deze studie was gespreid ver 2 rndes en tnt aan dat de tevredenheid significant stijgt bij het gebruik van de DDLT na de tweede rnde (zie Tabel 1.) Tabel 1 Resultaten van de tevredenheidvragenlijst en t-test. De vragen werden gescrd van 1-5 waarbij 1 vereenkmt met zeer slecht en 5 excellent. Vragen 1. He zu je de algemene sftware interface beschrijven? 2. Was de sftware eenvudig te bedienen? 3. He vnd je het navigeren dr de tepassing? 4. Was de gebruikersaanwijzing handig en hulpvl? 5. Waren de knppen ged gerganiseerd en gemakkelijk te vinden? 6. Verstnd je nmiddellijk de functie van elk van de knppen? 7. Zijn de letters vldende leesbaar, een ged gekzen lettergrtte? 8. Vind je deze tepassing nuttig in een Eerste experiment Tweede experiment T-test Gemiddelde Standaard Afwijking Gemiddelde Standaard Afwijking P value * * * *

11 klinische mgeving? 9. Zu je de behandeling van een patiënt herbekijken dr de verkregen scres met deze tepassing? * significant verschil Het gebruik van de DDLT biedt nu al reeds enkele vrdelen t..v. huidige pijnschalen, uitgeverd p papier. Dit instrument zrgt ervr dat een de bservatr de patiënt vldende lang bserveert zdat de respectievelijke pijnschaal crrect gehanteerd wrden. Vervlgens, mdat alle gegevens in een database verzameld wrden zullen de daarpvlgende administratieve bewerkingen efficiënter kunnen verlpen zals het nmiddellijk tnen van feedback, visualisatie van statistische gegevens (patiënt/bservatie), wetenschappelijk nderzek, datamining, Bijkmend zrgt het DDLT vr een vermindering van futen en bservatietijd in het algemeen, vrnamelijk in de verwerking van de bservatiegegevens nadien. Off line Label Tl (werkpakket 2/4) Om de resultaten van het DDLT cnsistenter te maken en deze te testen p de interberdelaarsbetruwbaarheid, hebben we het Offline Label Tl ntwikkeld. Het Offline Label Tl sftware bestaat uit 2 verschillende delen dewelke p een apart beeldscherm getnd wrden (zie Figuur 7). Figuur 7 Offline Label Tl Op het ene beeldscherm bserveert de bservatr de beelden die pgenmen zijn tijdens het vrige experiment. De bservatr krijgt gesynchrniseerd de pname te zien van het gezicht van de patiënt van zwel de linkse als rechtse camera. De bservatr kan het afspelen van deze pnames zelf starten en stppen. Op het andere beeldscherm, wat een aanraakscherm is, tnen we een srtgelijke GUI als deze bservatr te zien kreeg p de DDLT tijdens de bservatie aan het bed van de patiënt. Dr middel van deze 2 beeldschermen gesynchrniseerd te laten werken, simuleren we een levensechte bservatiesessie waar de bservatr enkel rekening kan huden met de pgenmen beelden. Met deze infrmatie kunnen we een analyse maken van het verschil in data, bekmen dr de DDLT (nline, in de kamer van de patiënt) en het ffline label tl (enkel p basis van de pgenmen beelden). Hiermee kunnen we besluiten trekken uit het verschil in bservatie tussen verschillende bservatren nderling en de verschillen in bservatie sessies van dezelfde bservatr bij dezelfde pname sessie

12 Medisch verpleegkundige aspecten (werkpakket 2/5) Tijdens het prject werden in WZC De Wingerd 9 uderen met dementie in een laatste stadium met verminderde mgelijkheid tt cmmunicatie gebserveerd. De verpleegkunde bserveerde per patiënt gedurende 6 dagen minstens 5 minuten per cncrete situatie: vr hygiënische zrgverlening; tijdens hygiënische zrgverlening; na hygiënische zrgverlening; vr tedienen van wisselhuding; na tedienen van wisselhuding; tijdens relaxatie. Tijdens de bservatie werd zwel aan bed als nadien (aan de hand van het beeldmateriaal) een pijnscre berekend. Het tekennen van de pijnscre gebeurde met behulp van het Digital Discmfrt Label Tl (DDLT) waarin 3 geselecteerde schalen (Discmfrt Scale Dementia f Alzheimer Type [DS-DAT], Pain Assessment Checklist fr Senirs with Limited Ability t Cmmunicate [PACSLAC] en Faces Pain Scale Revised [FPS-R]) verwerkt zaten. De videbeelden werden nadien zwel dr de verpleegkundige als dr de arts pnieuw gescrd met behulp van het DDLT. Een aantal aspecten m.b.t. de resultaten bekmen dr de PACSLAC en de DS-DAT pijnschaal werden reeds statistisch berekend aan de hand van SPSS De resultaten van de FPS-R wrdt ng verder verwerkt. De Wilcxn signed ranks test werd berekend. Resultaten zijn significant indien p<0,05. Dit leidde tt vlgende cnclusies: Cnclusie PACSLAC: - het scren van gelaatsexpressie aan bed (nline) versus aan de hand van videbeelden (ffline) geeft gelijkaardige pijnscres (geen statistisch significant verschil: verpleegkundige: p=0,86; arts: p=0,451); - het ffline scren van gelaatsexpressies dr verschillende bservatren leverde gelijkaardige pijnscres p (geen statistisch significant verschil: p=0,491); Opmerking DS-DAT: - faciale items: betreft: ptellen scres (max. scre = 27) dr het ptellen van 9 indicatren (1 scre per indicatr i.f.v. duur-frequentie-intensiteit) waarvan de hgste waarde genmen wrdt in geval dat hetzelfde item meerdere malen gescrd; - niet faciale items: betreft: vernderstelling dat de 5 niet faciale DS-DAT indicatr minstens 5 minuten duren. Hierdr krijgt de indicatr altijd de maximum scre als het vrkmt. Dus alleen de intensiteit is van belang en niet de duur en frequentie.. Cnclusie DS-DAT: - het scren van gelaatsexpressie aan bed (nline) versus aan de hand van videbeelden (ffline) geeft verschillende pijnscres (statistisch significant verschil: verpleegkundige: p<0,0001; arts: p = 0,012); - het ffline scren van gelaatsexpressies dr verschillende bservatren leverde verschillende pijnscres p (statistisch significant verschil: p=0,034); - het scren van enkel gelaatsexpressies geeft andere pijnscres in vergelijking met het scren van de gehele pijnschaal (nline: p<0,0001; ffline: p<0,0001). Discussie DS-DAT: - mgelijks zijn deze resultaten het gevlg van de assumptie met betrekking tt de tijdsduur van de niet faciale items. De resultaten m.b.t. DS-DAT kunnen daarm in vraag gesteld wrden

13 Beeldverwerkingalgritme (werkpakket 3) Een vlledig autmatisch beeldverwerkingalgritme werd ntwikkeld m gezichten te interpreteren. Figuur 8 tnt het bkschema van dit algritme. Als eerste stap wrdt het beeld nderwrpen aan een gezichtsdetectie. Figuur 8 Blckschema beeldverwerkingalgritme Om dit algritme te verduidelijken kan u in Figuur de verschillende stappen van het algritme vlgen in een tegepaste manier. Figuur 9 Het algritme tegepast Klm 1, de inkmend beelden (nder verschillende pses) met daarp het rigide 3D masker. Klm 2, de pse en schaal invariante genrmaliseerde gezichten. Klm 3 de aanvang van het passend masker algritme p de genrmaliseerde beelden. Klm 4 het passend masker

14 Detecteer gezicht en pse schatting Vr het passend masker algritme (AAM) aan het werk kan, met er eerst bepaald wrden waar en in welke psitie het hfd zich bevindt. Hiervr zal een gezichtdetectie plaatsvinden. Tt p heden maakte het algritme gebruik van frntale gezichtdetectren. Op het eerste zicht lijkt dit beperkt mdat slechts frntale gezichten (f frntale gezichten gedraaid in het beeldvlak) kunnen gevnden wrden. Maar vr vide wrdt dit gecmpenseerd dr gebruik te maken van tracking. We vernderstellen dat na een frntale pse van het gezicht de tracking het gezicht kan vlgen ngeacht de pse. Blijft natuurlijk het prbleem als er geen vide gebruikt wrdt f indien de patiënt nit frntaal in beeld kmt. Om hieraan tegemet te kmen, zijn er bijkmende detectren ntwikkeld m het hfd met een bepaalde pse te herkennen. De uitbreiding bestaat 2 nderdelen: Uit het beeldvlak gerteerde gezichten Gezichten die in het beeldvlak gerteerd zijn, kunnen er ttaal anders uit zien. Z zal een frntaal gezicht steeds 2 gen, centraal een neus en centraal een mnd bevatten. Terwijl er in een prfielaanzicht slecht 1 g te zien is, een prfiel neus (deels mringt dr achtergrnd) en slechts de helft van de mnd. Daarm met er vr elke 15 een detectr gemaakt wrden. We hebben dan k deze detectren ntwikkeld, maar tt p heden zijn deze detectren niet van dezelfde kwaliteit als de frntale detectren. In het beeld vlak gerteerde gezichten detecteren. Dr het inkmend beeld te rteren kunnen de bestaande detectren k gebruikt wrden m in het beeldvlak gerteerde gezichten te vinden. Beelden rteren is echter een relatief veeleisende stap. Daarm is dit nderdeel uitgewerkt met OpenGL hardware acceleratie. Passend masker (2D AAM) Een fundamenteel nderdeel van het algritme is uiteraard het passend masker algritme. Dit nderdeel is vlledig geïmplementeerd in C++ waarbij gespecialiseerde biblitheken gebruikt wrden. Het resultaat is dat in plaats van ngeveer 72 secnden vr de AAM matlab implementatie er nu slechts 300ms ndig zijn m 1 fit te maken. Met andere wrden kunnen we nu ngeveer 3 beelden per secnde verwerken waar dit met matlab 0,0139 beelden per secnde was. Een verbetering met factr 240. Met andere wrden de harde nt qua verbeteren van de snelheid is gekraakt. Het is nu haalbaar in een aanvaardbare tijd de pgenmen beelden te analyseren. Bvendien kmt deze snelheid in de buurt van de snelheiden vr een prttype. Indien we vernderstellen dat het algritme zich in tracking mde bevindt, kunnen 2 beelden per secnde, verwerkt wrden. Indien we vergelijken met de pname snelheid van 20 beelden per secnde meten we ng een factr 10 verbeteren. Vr een prttype zal daarm k K.H.Kempen IBW zijn expertise in embedded systems en hardware acceleratin gebruiken (zie sectie Real-time implementatie ). Vr de wetenschappelijke analyse is de snelheidswinst zeker aanvaardbaar, en bewijst het de haalbaarheid van het algritme in termen van prttyping. Classifiers In dit prject trachten we p een autmatische manier pijn te schatten. Om pijn te kwantificeren bij dementerende bejaarden gebruiken zrgverleners zgenaamde pijnschalen. Omdat p dit mment deze pijnschalen de beste manier zijn m pijn te meten, is het del van het algritme m dezelfde pijnscres te schatten zals de riginele schaal dit zu den. Indien we dieper gaan kijken naar he de pijnscres zijn pgebuwd, zien we dat aan/afwezigheid van pijn indicatren de uiteindelijke scre pbuwen. Daarm zal het algritme in de eerste plaats de aan/afwezigheid van de indicatren bepalen. Eens die indicatren bekend, kunnen dezelfde regels tegepast wrden als bij de riginele schaal. In eerste instantie prbeert het prject de welgekende PACSLAC schaal te schatten. Deze schatting gebeurt aan de hand van de 13 faciale indicatren (zie Figuur 10). De 13 indicatren zijn echter een subset van een ttaal van 60 indicatren

15 Figuur 8 Faciale indicatren Uit analyse van nze gegevens blijkt dat de faciale indicatren 38% van de scre leveren (Figuur 11 rechts). Merk k p dat de 2 belangrijkste indicatren label 53: changes in sleep en label 54: changes in appetite niet faciaal zijn. Deze 2 bepalen elk gemiddeld 10% van de ttale scre. De betreffende indicatren zijn 53 en 54. Merk p dat label 53 mgelijk geautmatiseerd kan wrden indien er k nacht pnames gemaakt wrden. En dat label 54 alleen manueel dr de verzrger kan ingeverd wrden. Indien het prttype gebruik kan maken van deze 2 indicatren, is het mgelijk tt gemiddeld 38%+10%+10% = 58% van de ttale scre te verklaren. Merk p dat dit percentage haalbaar is indien de riginele ptel regels van PACSLAC gebruikt wrden. Omdat indicatren mgelijk verlappende infrmatie bevatten, zu een intelligent schatter algritme k andere parameters kunnen schatten m z een nauwkeurigere schatting te krijgen. Of equivalent kan het intelligent schatter algritme nmiddellijk de ttale scre schatten

16 Figuur 11: De figuur links tnt de PACSLAC scres van alle pgenmen sessies. Merk p dat geen enkele keer een scre van 60/60 is behaald. Rechts ziet u welk (gemiddeld) aandeel een bepaalde indicatr heeft tegenver de ttale scre. Hierbij zijn de rdgekleurde balken de faciale indicatren (zie k fig. 12), ged vr 38% van de ttale scre. De classifiers nemen punten en textuur parameters m hiermee een beslissing te nemen f een bepaalde indicatr al dan niet aanwezig is. Tt p heden hebben we gewerkt met een relatief eenvudige indicatr: mnd pen (PACSLAC). Deze indicatr is immers veel vrkmend (dus belangrijk) en eenvudig interpreteerbaar. Als classifier gebruiken we dan k de afstand tussen de bvenkant van de bven lip en de nderkant van de nderlip. Indien de afstand een bepaalde waarde verstijgt, wrdt er beslist dat de indicatr aanwezig is. Naast het nut in de PACSLAC schaal, bewijst deze classifier het cncept dat er pijn indicatren uit een beeld kan gehaald wrden. Real time implementatie (werkpakket 3 en 5) De eerste stap die gezet werd m het algritme sneller uit te veren is de vertaling van de MATLAB cde naar C++. Natuurlijk blijft MATLAB uiteraard het standaard ntwikkel- en evaluatieplatfrm, maar als het p snelheid en ptimaal benutten van de rekencapaciteit aankmt, is dit platfrm niet de beste keuze. Daarm werd het ntwikkelde algritme (f een deel ervan) vertaald naar een aanzienlijk snellere C++ implementatie. Hiermee bekmen we vr dezelfde bewerking een snelheidswinst met een factr 240. Praktisch betekent dit dat we tt 2 a 3 beelden per secnden kunnen verwerken. Dit is dus ng ver van het real-time (20 beelden per secnde als we vergelijken met het menselijke g) verwerken van deze beelden. Om dit te kunnen bereiken, meten we de snelheid ng eens met een factr 10 vergrten. Dit impliceert dat we meten verschakelen naar een hardware plssing (een embedded system). Omdat bepaalde stappen van het algritme meilijk te vertalen zijn in hardware, f de vertaalslag meer kst dan de pgeleverde snelheidswinst, f dat gewnweg de stap niet ptimaler in hardware kan geïmplementeerd wrden, ntwikkelen we een gecmbineerd systeem. Hier zijn bepaalde taken, vral de cntrlerende, in sftware uitgeverd wrden maar de rekenintensieve taken daarentegen zullen in hardware verwerkt wrden. Deze manier van werken wrd dan k Hardware Sftware (HW/SW) C-Design genemd. We hebben beslten m de Virtex II Pr FPGA te gebruiken als (HW) cprcessr. Dit ntwikkel platfrm is uiterst geschikt m state-f-the-art algritmes relatief eenvudig te implementeren

17 p een FPGA. Dit is mgelijk dankzij verschillende sftware tepassingen die een eenvudige kppeling tussen MATLAB en de hardware implementatie mgelijk maakt. Ok in de literatuur wrdt dit platfrm aangehaald als referentie. In Figuur 2 kan u een schematisch verzicht zien van het Hardware Sftware C-Design platfrm bestaande uit een standaard cmputer met Ubuntu Desktp als een Linux Operating System (OS) met daarnaast het Virtex 2 Pr ntwikkel brd dat met de cmputer zal cmmuniceren via de PCI (Peripheral Cmpnent Intercnnect) interface. Figuur 12 Hardware Sftware Cdesign Als eerste tepassing hebben we de affiene transfrmatie vertaald naar een Simulink mdel dat vlledig dr de Xilinx System Generatr mgezet kan wrden in VHDL zdat dit p de FPGA uitgeverd kan wrden. We hebben dit mdel gesimuleerd en bekmen vlgende resultaten: FPGA aan 300MHz riginele afbeelding 50 x 45 pixels getransfrmeerde afbeelding 128 x 128 pixels initialisatie stap: µs transfrmatie: µs z kunnen we maximaal 9615 beelden per secnde verwerken met de FPGA in Matlab halen we een maximum van 3 beelden per secnde in C++ halen we een maximum van 100 beelden per secnde

18 Cnclusie Ter cnclusie smmen we de resultaten p die klaar zijn m gevalriseerd te wrden dr bedrijven. Operatineel maken van een visiesysteem (ViAS en DDLT) dat telaat m gelabeld datasets p te nemen dewelke bestaat uit met pijn gelabeled gelaatsuitdrukkingen p basis van twee camera s (werkpakket 1). Drie generaties van het visiesysteem zijn ntwikkeld gelaatsuitdrukkingen te mnitren. Het resulterende systeem is in staat zwel te vlden aan de wetenschappelijke als de esthetische eisen. Bvendien kan het systeem centraal en draadls beheerd wrden m pnames, datasets en instellingen uit te wisselen. Aanleggen van een databank met gemerkt ( gelabeld ) beeldmateriaal van verschillende gelaatsuitdrukkingen (pijn en discmfrt) (werkpakket 2). Gedurende 1 jaar en 6 maanden werden vide pnamen gemaakt in WZC-De Wingerd. In ttaal werden 9 patiënten pgevlgd in verschillende sessies ver een peride van twee weken per patiënt. In ttaal verzamelde we p die manier 82 sessies. De pvlging gebeurde telkens met een getrainde pijn expert terwijl het ViAS (uit werkpakket 1) systeem pnamen maakte van het gelaat van de patiënt. De pijn expert maakte hierbij gebruik van het speciaal ntwikkeld nline labeltl (DDTL) (uit werkpakket 1) m verschillende pijnschalen gelijktijdig en met timing infrmatie p te nemen. Om de validiteit van de dataset te versterken en de inter-rater betruwbaarheid te bepalen zijn de pgenmen sessies ngmaals gescrd dr een bijkmende pijnexpert. De dataset is uniek in de wereld. Het is de eerste keer dat spntane pijnexpressies in real-life werden pgenmen. Bvendien is de dataset dubbel gescrde dr pijnexperts met daarbij de dynamische indicatren. Een belangrijk nevenresultaat bij dit werkpakket is de ntwikkeling van een elektrnische pijn label testel (DDTL). Dit testel is vr de eerste keer in staat m gelijktijdig verschillende pijnschalen met dynamische infrmatie te registreren in een real-life situatie (geen labratrium mgeving). Zwel het visiesysteem (ViAS) en de digitale label tls (DDTL) vrmen een deel uit een grter en centraal server systeem. Dit server systeem is gebaseerd p een SQL databank met bijkmende sftware m de cmmunicatie en synchrnisatie tussen de verschillende nderdelen te vrzien. In deze database wrden rigureus de infrmatie van de patiënten, infrmatie ver de pijnexperts, infrmatie ver de sessies (inclusief medicatie en de dynamische data), de scres en de lcatie van de videbestanden bijgehuden. De centrale database is dat het enige punt waar de infrmatie wrd pgeslagen en daardr kan de database efficiënt aangewend m allerhande rapprten te genereren. Aan de hand van SQL query s kan bijvrbeeld het pijnverlp van een patiënt in de tijd bekeken wrden. Ok het DDTL slaat infrmatie p in het centrale systeem en genereert sessie rapprten na de pname dr middel van de databank. Verder ntwikkelen van bestaande beeldverwerkingalgritmes vr het autmatisch mnitren en classificeren van gelaatsuitdrukkingen (werkpakket 3). De verdere ntwikkeling van de bestaande beeldverwerkingalgritmes bestaan uit een viertal zaken: 1. teveging van een gezichtsdetectr; 2. nrmalisatie van gezichten naar een schaal en pse nafhankelijk beeld; 3. interpretatie van het gezicht (psitie van de gen, mnd, frns, ); 4. het real-time maken van het beeld interpretatie algritme. Al deze stappen zijn inmiddels drlpen, maar ptimalisatie naar rbuustheid en efficiëntie van het geheel is aangewezen. Het tweede nderdeel van dit werkpakket is de classificatie van het geïnterpreteerde beeld. Met andere wrden het geïnterpreteerde beeld te classificeren per pijn indicatr en vervlgens te verwerken tt een ttaal scre. Tt nu te is alleen vr de PACSLAC mnd pen indicatr een classifier ntwikkeld. Om tt de ttale faciale PACSLAC scre te kmen zijn er echter 12 bijkmende classifiers ndig. Hewel deze 12 bijkmende classifiers ng getraind meten wrden, is het principe identiek aan de mnd pen classifier. Op deze manier bevestigen we de werking van dit cncept. Evalueren van het ntwikkelde autmatische mnitrsysteem (werkpakket 5). Omdat er de classificatie van de autmatisch geïnterpreteerde data ng niet vlledig

19 geïmplementeerd is, is het niet mgelijk m het vlledige mnitr systeem te evalueren. We hebben echter wel een evaluatie gemaakt van het label tl (DDTL) p zwel de betruwbaarheid en de gebruiksvriendelijkheid. Deze resultaten waren bevredigend en willen er p wijzend dat het label tl klaar is vr valrisatie. Verder zijn de eerste stappen gezet in de richting m het rekenintensieve beeldverwerkingalgritme te versnellen zdat het later eenvudig in real-time de gelaatsexpressies kan evalueren. Hierbij is een eerste bttleneck in het algritme vertaald naar een uiterst snelle hardware implementatie. Het Painvisin cnsrtium heeft de wetenschappelijke en technische basis gelegd vr enkele innvatieve prducten (labeltl, autmatische pijn bservatie). In de gebruikerscmmissies zijn ideeën, plssingen, methden en resultaten aan bd gekmen. Painvisin maakt er een pririteit van valrisatie in de vrm van een vervlgprject te verwezenlijken. In dit vervlg prject zullen innverende prducten het uitgangspunt vrmen. Ok kan verder nderzek gebeuren zdat de prducten een sterk gefundeerde wetenschappelijke ndersteuning heeft. Het is verder k de bedeling m deel te nemen aan natinale en internatinale medische cngressen rnd pijn en dementie in het algemeen m z k het naambekendheid en het vertruwen binnen de medische sectr te vergrten