Spraaktherapie in e-health: spraaktechnologie en gaming

Transcriptie

1 Spraaktherapie in e-health: spraaktechnologie en gaming Helmer Strik Centre for Language and Speech Technology (CLST) Department of Linguistics Radboud University Nijmegen 1

2 Inleiding Toenemende belangstelling voor e-health (onderzoek, toepassingen, ) o.a. voor mensen met communicatieve beperkingen Taal- en spraaktechnologie (T&ST) & serious gaming mogelijkheden Nodig : Veel onderzoek: goede applicaties, optimaal gebruik Mix van expertise Opwaartse spiraal OSTT : 'Ontwikkelcentrum voor Spraak- en Taal-Technologie Mix van expertise Onderzoek => e-health applicaties Applicaties gebruiken voor onderzoek Valorisatie Vele uitdagingen, o.a. bruggen slaan Tussen vraag, wat willen de patiënten? En aanbod, wat is mogelijk? T&ST : mogelijkheden onderzoek wetensch. toegepast 2

3 atypische spraak Spraaktechnologie : Herken de woorden Detecteer de fouten geef feedback Nog vele uitdagingen 3

4 Toepassingen Focus op taal & spraak, communicatie Doelen, o.a. Diagnose Monitoring Therapie Ondersteunde communicatie (AAC) Gebruik, o.a. Zorginstelling Thuis Mogelijkheden voor extra-murale toepassingen, o.a. Monitoring : metingen, (nood-)hulp nodig,... Self management - hulp bij : innemen medicijnen, vinden juiste informatie, etc. Verbeterde communicatie met 'de buitenwereld', bijv. om sociaal isolement te voorkomen 4

5 e-health projecten e-health projecten : ASR for dysarthric speech Sint Maartenskliniek (SMK) Nijmegen PEDDS - Pronunciation Error Detection for Dysarthric Speech ZonMw project ComPoli Communicatie en revalidatie digipoli ZonMw project CHASING - CHAllenging Speech training In Neurological patients by interactive Gaming Topsector creatieve industrie Zie 5

6 PEDDS PEDDS: Pronunciation Error Detection for Dysarthric Speech Aim: For dysarthric speakers - train pronunciation Method: error detection, feedback, etc. Develop speech technology Partners: Sint Maartenskliniek, CLST Grant: ZonMW URL: < V > 6

7 ComPoli ComPoli Communicatie en revalidatie digipoli People with communicative disabilities have problems to interact with digipoli's (websites for patients) Aim: to improve their communication Develop language and speech technology (L&ST) chat-by-click word prediction speech synthesis speech recognition To test with end users Partners: Sint Maartenskliniek, UMC Radboud, CLST Grant: ZonMW URL: < V > 7

8 CHASING CHASING CHAllenging Speech training In Neurological patients by interactive Gaming Aims: To develop and test an interactive, intuitive, user adaptive game for speech training that makes use of advanced speech technology and is compatible with mobile platforms To study to what extent serious games and games principles motivate and support neurological patients in speech training Partners: CLST, Sint Maartenskliniek, Waag Society Grant: Top sector creative industries URL: 8

9 atypische spraak Spraaktechnologie : Herken de woorden Detecteer de fouten geef feedback Nog vele uitdagingen _ CAPT _ 9

10 a-typische spraak - e-health & e-learning a-typische spraak : e-health : communicatieve beperkingen e-learning : taalleerders 2 onderzoekslijnen : e-health & e-learning veel overlap - spraaktraining versterken elkaar Opwaartse spiraal onderzoek wetensch. toegepast e-learning projecten [ ATOP: Automatic testing of oral proficiency Dutch-CAPT: Comp. Assisted Pronunciation Training DISCO: Development and Integration of Speech techn. into Courseware for lang. learning ST-AAP: Alfabetisering met een luisterende computer FASOP: Feedback and the Acquisition of Syntax in Oral Proficiency MPC: My Pronunciation Coach GOBL: Games Online for Basic Language learning DigLin: Digital Literacy Instructor Financiering : e-learning projecten : resp. Senter, NWO MaGW (PROO), Stevin, demonstratieproject, NWO GW, STW, Eur. LLP (2x) e-health projecten : SMK, ZonMw (2x), topsector creatieve industrie 10

11 Conclusies Spraaktraining - groeiende vraag, e-health & e-learning Intensief, 1 op 1 - beperkt mogelijk => Computer Assisted Instruction / Training / Learning 24/7, overal, intensief, met feedback Individueel, meer ontspannen, adaptief Gaming : motivatie - intensief T&ST : langzaam beter, maar (meestal) niet foutloos Zeker niet voor a-typische spraak Wat is wel / niet mogelijk met T&ST => Nuttige toepasingen zijn mogelijk Uitdagingen : Ontwikkel toepassingen, oefeningen Die realistisch en nuttig zijn (voor spraaktraining) Automatisch - met geavanceerde T&ST Voor herkenning, detectie van fouten, en feedback R&D: mix van expertise is nodig e-health & e-learning zal steeds meer gebruikt worden! 11

12 Questions? ASR of L2 speech 12