Ontsluiten van gesproken documenten. Arjan van Hessen

Maat: px

Weergave met pagina beginnen:

Download "Ontsluiten van gesproken documenten. Arjan van Hessen"

Thomas Goossens
6 jaren geleden
Aantal bezoeken:

1 SpraakTech

2 Ontsluiten van gesproken documenten Arjan van Hessen

3 spraak tekst spraak verslag emotiedetectie emotiedetectie geeft GEEN antwoord op vragen herkennen van sprekers groeperen van verschillende sprekers verificatie: is ie het wel of niet? SPRAAKTECHNOLOGIE lange stukken klinken nog steeds saai genereren van natuurlijk klinkende spraak

4 Taal- en Spraaktechnologie (TST) is de technologie die zich richt op het imiteren door computers van het talige deel van de menselijke communicatie. TAAL lichaams -taal spraak schrift gebarentaal

5 Spraaktech Taaltech Algoritmes Data & Opslag Rekenkracht ARTIFICIAL INTELLIGENCE

6 Hoe werkt het? Wat heb je nodig? Hoe goed kan ie het doen? SPRAAKTECHNOLOGIE

9 /o/ /O/ /E/ /e/ /a/ /A/ /v/ /f/ 42 a 46 Nederlandse fonemen (betekenisvolle klanken)

10 piet xs4all AEGON helpen /p/ /i/ /t/ /E/ /k/ /s/ /E/ /f/ /O/ /r/ /A/ /l/ /e:/ /x/ /O/ /n/ /h/ /E/ /l/ /p/ /n0/ /h/ /E/ /l/ /p/ /n/ /e:/ /x/ /O/ /n/

11 Gisterenisdekoningingevallen X I s t I s k o: n I N I n v A n0 X I s t I s k o: n I N I n v A n0 Gisteren is de koning ingevallen X I s t I s k o: n I N I n v A n0 Gisteren is de koningin gevallen

12 Een taalmodel is een statistisch model dat de kans teruggeeft op woord X gegeven de woorden ABC De man stapte in zijn Auto: 18K Bed: 9 Zwembad: 1

15 Project FIODSpraak

17 Oplijnen: workflow 2016 Spreker Stenografen OPLIJNEN Ik heet de minister welkom VLOS2 AV-opnamen SRT XML Ik heet de minister welkom zoeken ondertitelen zoeken XML

18 AV-opnamen Audio (16 khz, mono) Handelingen in VLOS Voorgelezen teksten Oplijnen mbv de spraakherkenner Genereren van leesbare ondertitels

19 Grote vraag Is deze herkenning voldoende om te voldoen aan de archiefwet die overheidsorganisaties verplicht openbaar AV-materiaal, te ontsluiten?

21 60 SECONDEN OP INTERNET 2,4 Miljoen Zoek opdrachten Waarvan 20% voice

22 What is Deep Learning? Deep Learning is de nieuwe trend van machine learning die machines in de gelegenheid stelt om op een hoog, abstract niveau grote hoeveelheden data te ontrafelen Image recognition Natural Language Processing Speech recognition Customer Centric Management Drug Discovery & Toxicology

23 AI in tijdens het dagelijkse werk Kunstmatige Intelligentie gaat een rol krijgen op de werkvloer! Maar welke? ASR: Spraakherkenning NDS: Dialoogvoering NSG: Spraakgeneratie Tools die nu in het KCC gebruikt worden, zullen beter worden door implementatie van ML/AI Nieuwe tools, gebaseerd op ML/AI zullen hun intrede doen Voorspellend Analyserend

24 Wat is AI ARTIFICIAL INTELLIGENCE Early artificial intelligence stirs excitement. MACHINE LEARNING Machine learning begins to flourish. DEEP LEARNING Deep learning breakthroughs drive Al boom. Regel gebaseerd ML begrijpelijk ML-DNN onbegrijpelijk 1950 s 1960 s 1970 s 1980 s 1990 s 2000 s 2010 s

25 Wat kan AI?

26 Auto-encoder Wat is AI? Stacked Auto-encoder Input Hidden Outputs Input Hidden I Hidden II Outputs x 1 x 1 x 2 x 2 x 3 x 3 x 4 x 4 x 5 +1 x 5 x 6 x

27 Betere HLT-Tool Spraakherkenning HUMAN ACCURACY 95% 50% 55% 60% 62% 70% MACHINE ASR ACCURACY FFT-based HMM DNN

28 De mens

29 SSP: Social Signal Processing EMOTIE

30 Emotie Kunnen we de emotie uit een gesprek halen? Emotie is sterk afhankelijk van cultuur, opvoeding, leeftijd, etc. Welke emotie? De big 5 wel 1. Verdriet 2. Boosheid 3. Angst 4. Vreugde 5. Neutraal

31 Robotica

32 Identificatie Verificatie Diarisatie WIE SPREEKT ER?

33 Identificatie & Verificatie Herkennen van een spreker gaat steeds beter Probleem zijn broers & zusters Verificatie is een stuk robuuster maar.. als je plots verkouden bent? Afhankelijk van het device waarmee je de opnamen maakt

34 De computer krijgt menselijk gedrag Wordt zintuigelijk, cognitief. Begrijpt natuurlijke taal en menselijke communicatie. Redeneert, genereert, evalueert en verklaart hypothesen. Doet voorspellingen. Past zich aan op keuzes en antwoorden van gebruikers en leert hiervan.

35 Supercomputer Watson wordt ingezet tijdens behandeling van kanker

36 Gedistribueerde kennis van de wereld LINKED (OPEN) DATA

Linked (Open) Data Data van de Tennisclub

37 Linked (Open) Data Data van de Tennisclub Marietje_1958 Gewonnen wedstrijden Gewicht Data van de Universiteit Marietje_1958 Gemiddeld cijfer Studierichting Bachelor Master Scriptie Promotie Data van de Hondenfokkers Marietje_1958 Hondenras Aantal honden Aantal nesten Etc.

39 Triples Linked Data

40 LOD (Linked (Open) Data

41 LOD in de praktijk Linked Data

43 Stel dat een computer zo reageert.

Vergelijkbare documenten

Artificial Agent Assistance. Arjan van Hessen Universiteit Twente

Artificial Agent Assistance. Arjan van Hessen Universiteit Twente Artificial Agent Assistance Arjan van Hessen Universiteit Twente Kunstmatige intelligentie De menselijke geest uniek? Dat had u gedacht. Het onderscheid tussen een biologisch en een synthetisch brein zal