Kennisintensieve Toepassingen: Siri

Transcriptie

1 Kennisintensieve Toepassingen: Siri Tim Rasschaert Lector Roland Maerivoet Yens Huion Jaargang Ian Willems 3 de jaar Toegepaste Informatica Wouter Broodcoorens Tineke De Leeuw

2 2

3 Inleiding 4 1. Wat is Siri? Geschiedenis Werking Het 3-lagen-systeem 6 2. Speech recognition Waarom speech recognition? Mindervalide Gezondheidssector High-performance gevechtsvliegtuigen Battle Management Andere toepassingen Spraaksynthese Wat is spraaksynthese? Fonetische transcriptie van de tekst Berekening van een geschikte prosodie Spraakgeneratie met behulp van een spraakcorpus Methoden Dragon Naturally Speaking Wat is Dragon Naturally Speaking Doel Productiviteit voor mobiele medewerkers Ondersteuning voor regionale accenten Toegankelijkheid voor gehandicapte gebruikers en bescherming Algoritmen Betekenisleer / Semantiek Waarom betekenisleer belangrijk is? Beslissingsbomen en algoritmen Wie lost de vragen op? 20 Besluit 26 3

4 Inleiding Siri is een persoonlijke assistent die geïntegreerd is in de nieuwe iphone van Apple. De applicatie gebruikt spraaktechnologie en webservices om vragen te beantwoorden, voorstellen te doen en acties uit te voeren op verzoek van de gebruiker. Apple claimt zelfs dat Siri na verloop van tijd leert en zich aanpast aan de persoonlijke voorkeur van de gebruiker. Siri kan zelf taken uitvoeren zoals berichten sturen wanneer je een gebouw verlaat, afspraken plannen, je vertellen wat de dollarkoers is of vertellen welk Grieks restaurant in de buurt het best beoordeeld wordt door anderen. Siri is geen traditioneel spraakherkenningssysteem dat keywords of voorgedefinieerde commando s gebruikt. Siri begrijpt gesproken taal en vraagt zelfstandig naar extra info als hij die nodig heeft. Alles wat hier opgesomd is, zijn enkele functies die op het moment van schrijven al in Siri geïmplementeerd zijn. Wetende dat Siri nog steeds in bèta fase is, maakt deze applicatie plots zeer interessant. 4

5 1. Wat is Siri? 1.1 Geschiedenis Siri werd oorspronkelijk geïntroduceerd als een standalone applicatie voor ios en was voor enkele dollars beschikbaar in de App Store van Apple. Eigenlijk is Siri zelfs niet echt een Apple product. Apple kocht Siri over op 28 April 2010 van SRI International. De bedoeling was om Siri beschikbaar te stellen voor Blackberry, Apple en Android toestellen, maar na de koop van Apple werd dit idee natuurlijk helemaal van tafel geveegd. Siri is nu een geïntegreerd stuk software in ios5 voor de iphone 4S die in oktober 2011 gelanceerd werd. Met de koop van Siri haalde Apple meteen 40 jaar onderzoek en ontwikkeling in huis van SRI International s Arftificial Inteligence Center, dat bovendien door DARPA gesponsord werd. Deze technologie kon tot stand komen door verschillende aspecten binnen kunstmatige intelligentie, ook afgekort als KI. Siri is dus het gevolg van jaren onderzoek van een bedrijf gespecialiseerd in kunstmatige intelligentie, gesponsord door DARPA en afgewerkt door Apple. Daarom spreken sommigen zelf over het grootste KI project ooit. De Siri spraakherkenningssoftware blijkt een technologie van Nuance Communications te zijn. Nuance Communications is een bedrijf dat ook weer in spraaktechnologie is gespecialiseerd. Toch willen noch Apple noch Nuance Communications tot op vandaag dit gerucht bevestigen. Om Siri tot een intelligent systeem te maken waren er enkele bronnen nodig die de intelligente assistent kan gebruiken om informatie op te zoeken en te interpreteren. Enkele voorbeelden van de bronnen die momenteel gebruikt worden om uit te putten zijn: OpenTable, Gayot, CitySearch, Yelp, Yahoo Local, Reserve Travel, Eventful, StubHub, Livekick, MovieTickets, New York Times, Bing Answers, Wolfram Alpha, Bing, Yahoo, Google,... Meer hierover in hoofdstuk 3. Naast deze bronnen van informatie beschikt Siri ook over de toegang tot een uitgebreide reeks applicaties: 5

6 Apple heeft onlangs laten weten dat bij een van de volgende updates Siri gebruik zal kunnen maken van de camera, bluetooth en Wifi. 1.2 Werking Na de inleiding kunnen we ons een beeld vormen van wat Siri is en hoe het tot stand gekomen is. In deze paper - die gaat over het artificiële aspect - gaan we het technische gedeelte verder uitdiepen om zo de werking van Siri te achterhalen. Tijdens het schrijven van deze paper zijn wij al snel tot de conclusie gekomen dat er heel weinig technische details te vinden zijn over Siri. Dit komt omdat Siri een commercieel product is. Bovendien is Apple sowieso al niet de technologiefabrikant die bekend staat voor het prijsgeven van zijn technologie. Toch zijn we na deze ontnuchterende ontdekking verder gegaan met dit project omdat we er van overtuigd zijn dat het een heel interessante materie is. Bovendien zijn we er van overtuigd dat we door reverse engineering de werking van Siri heel dicht zullen kunnen benaderen. 1.3 Het 3-lagen-systeem Siri is op het eerste zicht een heel complex systeem. Om dit complexe systeem eenvoudig voor te stellen gebruiken wij een voorstelling waarin we de functionaliteit opdelen in 3 lagen. We noemen dit vanaf nu het 3-lagen-systeem. De 3 belangrijke stappen die Siri moet doorlopen om het verzoek te behandelen zijn: 1. Vertaal de opdracht of het verzoek naar de code die de iphone begrijpt. 2. Begrijpen van het verzoek. 3. Beslissen welke service gebruikt moet worden om het verzoek te kunnen behandelen. Deze 3 stappen zijn het fundament van de intelligente assistent. Bij elke opdracht gaat Siri deze stappen minstens één keer doorlopen. Deze 3 stappen zijn dan ook afgebeeld naar de lagen in ons 3-lagen-systeem. De eerste laag staat in voor het vertalen van de gesproken opdracht naar instructies die door de processor interpreteerbaar zijn. Deze actie is een proces dat in de wereld van de artificiële intelligentie beter bekend staat als spraakherkenning. Spraakherkenning is een tak van de artificiële intelligentie waar al duizenden wetenschappelijke werken over gepubliceerd zijn. Het is dus onmogelijk om in een paper van 25 pagina s alle details over spraaktechnologie uit de doeken te doen. We zullen daarom later in deze paper een korte introductie geven over spraaktechnologie op het niveau van een professionele bachelor toegepaste informatica. De tweede laag gaat intern de tekst die Siri opneemt interpreteren. Hiermee bedoelen we dat Siri zal begrijpen wat de gebruiker zegt. We geven een voorbeeld: stap 1 Siri hoort wat er gevraagd wordt vb. What time is it?. Siri laat vervolgens op de display verschijnen What time is it?. 6

7 stap 2 Siri gaat echt begrijpen wat er wordt bedoeld. In deze stap vertaalt Siri de string die hij zonet ingelezen heeft. Er staat op dit moment geen tekst meer, maar eerder een instructie die in stap 3 uiteindelijk een proces zal starten om de tijd op te zoeken. We kunnen dus besluiten dat stap 2 zorgt dat de spraak omgevormd wordt in commando s of verzoeken die Siri begrijpt. Dit proces heet binnen het domein van kunstmatige intelligentie, de betekenisleer of semantiek. Net zoals bij de spraaktechnologie is semantiek een aparte tak of specialisatie die veel te uitgebreid is om te bespreken in één paper. Ook de betekenisleer zal een aandeel krijgen binnen deze paper. De derde stap is de stap waar we momenteel nog het meeste in het duister tasten. Deze stap zal door Siri gebruikt worden om te bepalen welke service we zullen aanroepen voor welk probleem of welk verzoek. We hebben een sterk vermoeden, maar absoluut geen zekerheid dat Siri dit oplost via beslissingsbomen. Dit is perfect mogelijk omdat Siri (momenteel) gebruik maakt van een beperkt aantal services. 7

8 2. Speech recognition 2.1 Waarom speech recognition? Speech recognition oftewel spraakherkenning kan zijn toepassing in vele sectoren vinden. Je vraagt je misschien af waarom is dat nu nodig die speech recognition? Sommige toepassingen liggen inderdaad meer voor de hand dan andere. Een feit is dat in sommige sectoren speech recognition niet meer weg te denken is in onze maatschappij en dat men in enkele gevallen ook niet meer zonder kan. We zullen nu een paar toepassingen bespreken Mindervalide Speech recognition kan worden gebruikt om het leven makkelijker te maken voor mensen met gebreken of voor mensen met een handicap. Dit is volgens ons één van de voornaamste toepassingen. Deze belemmeringen kunnen gaan van Repetitive Strain Injury (RSI) tot gebreken die er voor zorgen dat conventionele computers en inputapparaten niet langer gebruikt kunnen worden. Het is zelfs zo dat mensen die het toetsenbord veel gebruiken al een eerste vroege markt werden voor spraakherkenningssoftware. Spraakherkenning wordt gebruikt in dove telefonie, zoals voic naar tekst, teksttelefoonservice (een derde partij die tekst omzet naar spraak en omgekeerd), captioned Telephone (spraak omzetten en weergeven door middel van software). Personen met een verstandelijke handicap die problemen hebben met het thought-to-paper communicatie (hoofdzakelijk denken ze aan een idee, maar het is verkeerd verwerkt waardoor het anders belandt op papier) kunnen ook gebruik maken van de software Gezondheidssector In de gezondheidszorg, zelfs in de nasleep van de verbetering van spraakherkenningtechnologieën, zijn medische transcriptionists (MT) nog niet achterhaald. Spraakherkenning kan worden geïmplementeerd in front-end en back-end van het medische documentatieproces. Bij front-end SR dicteert de dienstverrichter in een speech recognition engine. De herkende woorden worden dan meteen weergegeven nadat ze zijn gesproken en de dictator is verantwoordelijk voor het bewerken en het aftekenen van het document. Het gaat nooit door een MT / editor. Bij back-end SR of uitgestelde SR dicteert de dienstverrichter in een digitaal dictation systeem. De stem wordt dan gerouteerd via een spraakherkenningsmachine en het erkende draftdocument wordt geleid, samen met het originele stem-bestand, naar de MT / editor, die de draft bewerkt en het rapport finaliseert. Uitgestelde SR wordt op dit moment veel gebruikt in de industrie. Veel Electronic Medical Records (EMR) toepassingen kunnen effectiever en gemakkelijker worden uitgevoerd wanneer deze worden ingezet in combinatie met een spraakherkenning enginer. 8

9 Zoekopdrachten, query's en het invullen van formulieren kunnen sneller uitgevoerd worden door de stem dan met behulp van een toetsenbord High-performance gevechtsvliegtuigen In het laatste decennium zijn aanzienlijke inspanningen gewijd aan het testen en evalueren van de spraakherkenning in gevechtsvliegtuigen. Van bijzonder belang is het Amerikaans project van spraakherkenning voor de Advanced Fighter Technology Integration (AFTI) en F-16 vliegtuigen (F-16 VISTA), het project in Frankrijk over het installeren van spraakherkenningssystemen op Mirage vliegtuigen en projecten in het Verenigd Koninkrijk die werken met een verscheidenheid aan vliegtuigen. In deze projecten zijn spraakherkenners met succes geïntegreerd in gevechtsvliegtuigen. Ze kennen verschillende functies, waaronder: het regelen van radiofrequenties, instellen van een automatische piloot systeem, weapons release parameters en de controle van verschillende schermen in functie van de vlucht. De Eurofighter Typhoon, momenteel in dienst bij de Britse RAF, maakt gebruik van een sprekerafhankelijk systeem waarbij elke piloot een template (een soort voorinstelling) moet maken. Het systeem wordt veiligheidshalve niet gebruikt voor de kritische of wapen kritische taken, zoals: wapenvuren of het besturen van het onderstel. Het wordt gebruikt voor een brede waaier van andere cockpit functies. Spraakopdrachten zijn bevestigd door visuele en / of auditieve feedback. Het systeem wordt gezien als een belangrijke ontwerpfunctie om de werkdruk van de piloot te verminderen. Het onderzoek staat hier al ver in aangezien sommige van deze systemen een woordnauwkeurigheid van meer dan 98% hebben Battle Management Battle Management commando centra vereisen over het algemeen een snelle toegang tot een beheersing van grote en snel veranderende informatiedatabases. Commandanten en netbeheerders moeten deze databases zo gemakkelijk mogelijk kunnen queryen, in een flitsende omgeving waar veel van de informatie wordt gepresenteerd in een display. Mens-machine interactie met de stem kan zeer nuttig zijn in deze omgevingen. Een aantal inspanningen zijn ondernomen om de commercieel verkrijgbare geïsoleerde word recognizers in de battle management omgevingen te integreren. In een haalbaarheidsstudie is spraakherkenningsapparatuur getest in combinatie met een geïntegreerd informatiedisplay voor zeeslag management applicaties. Gebruikers waren zeer optimistisch over de mogelijkheden van het systeem desondanks deze mogelijkheden beperkt waren Andere toepassingen Spraakherkenning wordt ook in tal van andere toepassingen gebruikt: Automatische vertaling Automotive spraakherkenning (bijvoorbeeld: Ford Sync) Hands-free computing: herkenning van spraakopdrachten in de computer (SIRI) Rechtbank rapportage (Realtime Voice Schrijven) Domotica 9

10 Mobiele telefonie, met inbegrip van mobiele Evaluatie van de uitspraak bij applicaties om een taal te leren Robotica Videogames, met Tom Clancy's EndWar en Lifeline als werkende voorbeelden Transcriptie (digitale spraak-naar-tekst) Spraak-naar-tekst (transcriptie van spraak in sms-berichten) Air Traffic Control spraakherkenning 2.2 Spraaksynthese Wat is spraaksynthese? Bij spraaksynthese imiteert de computer een mens die de tekst voorleest. De boodschap is nu alleen als tekst aanwezig en de spraaksynthesizer zet die tekst vervolgens om in spraak. Spraaksynthese is een ingewikkeld proces dat grofweg is op te delen in drie deelprocessen: de fonetische transcriptie, het berekenen van de prosodie en de generatie van spraak. Het is onder meer een onderzoeksgebied binnen de kunstmatige intelligentie. Met behulp van spraaksynthesesoftware wordt geschreven (orthografische of fonetische) tekst omgezet in gesproken tekst. Deze software kan verschillende methoden hanteren. Het doel van spraaksynthesesoftware is om menselijke spraak zo goed als mogelijk na te bootsen Fonetische transcriptie van de tekst Een woord in een tekst is niets anders dan een rijtje letters, cijfers of speciale symbolen (zoals & of -). Al deze symbolen worden in de taalwetenschap grafemen genoemd. Een woord is een rijtje grafemen die samen de orthografische transcriptie vormen, de tekst volgens de Nederlandse spellingsregels. De grafemen komen vaak, maar zeker niet altijd, overeen met de klanken in het woord die je hoort als je het uitspreekt. De g in gram klinkt bijvoorbeeld heel anders dan de g in horloge. Zo kent het Nederlands in totaal zo n 40 klanken (fonemen). De uitspraak van woorden kan worden beschreven in een rijtje fonemen, dat de fonetische transcriptie wordt genoemd. Ons alfabet is niet geschikt om fonetisch mee te schrijven, daar hebben we niet genoeg letters voor. Daarom is het IPA (International Phonetic Alphabet) ontwikkeld. Hiermee is de uitspraak van alle talen in de wereld fonetisch te beschrijven. In de meeste talen, waaronder het Nederlands, is geen eenvoudige één-op-één omzetting mogelijk van de grafemen van een tekst naar de fonemen van de uitspraak van die tekst. Neem als voorbeeld maar de woorden dier en meid. De letter d wordt in het eerste woord uitgesproken als een /d/, maar in het tweede woord als een /t/. De letters i en e worden in beide woorden niet afzonderlijk uitgesproken, maar vormen 2 verschillende fonemen. Het is dus lang niet altijd mogelijk de klanken die bij bepaalde letters horen simpelweg achter elkaar op te zeggen om het woord te vormen. Als kind leer je hoe je woorden moet uitspreken en hoe ze geschreven worden. We hebben geleerd om een orthografische transcriptie om te zetten in een fonetische 10

11 transcriptie. Deze omzetting wordt g2p-omzetting genoemd, naar het Engelse Grapheme-to- Phoneme. Een spraaksynthesizer bevat een g2p-omzetter die eerst de afzonderlijke woorden van een tekst in fonemen omzet. Daarna doet hij nog wat aanpassingen om de fonetische transcripties van de woorden goed op elkaar te laten aansluiten. Wanneer je bijvoorbeeld het woordje aan los uitspreekt, eindigt het op een /n/. Maar wanneer je zegt aan bepaalde, dan eindigt het op een /m/, omdat je je lippen alvast op elkaar drukt voor /b/ van bepaalde Berekening van een geschikte prosodie Het is uiteraard niet de bedoeling dat een zin als een opsomming van woorden gaat klinken. Belangrijke woorden moeten benadrukt worden, op sommige plaatsen moet een korte pauze tussen twee woorden worden ingevoegd, etc. Al deze elementen dragen bij aan wat de prosodie van de spraak wordt genoemd. De prosodie is vaak kenmerkend voor een taal (vergelijk het Nederlands maar eens met het Chinees) of een accent (zoals het Limburgse accent). De tijd dat sprekende computers klinken als Robin, de robot van Bassie en Adriaan, is gelukkig al lang voorbij. De prosodie van een zin kan nu berekend worden, zodat de spraak een natuurlijke intonatie krijgt. Een belangrijk aspect is de evolutie van de toonhoogte. De gemiddelde toonhoogte bepaalt de stem van de spreker, maar de schommelingen van de toonhoogte in de spraak van een spreker bepalen de prosodie van de spraak. Door een plotselinge stijging (en ook soms daling) van de toonhoogte kun je de klemtoon leggen op een lettergreep en door de toonhoogte aan het eind van de zin te laten stijgen kun je een vraagzin maken. Probeer maar eens hoeveel verschillende betekenissen je het woordje ja kan geven als je het met verschillende toonhoogteverlopen uitspreekt! Hoe lang een bepaalde lettergreep in natuurlijke spraak duurt, hangt af van verschillende factoren. Zo speelt het aantal lettergrepen in het woord mee, maar ook de vraag of het woord waarin de lettergreep voorkomt beklemtoond is in de zin en of de lettergreep de klemtoon van het woord draagt. Daarnaast spreken menselijke sprekers sommige woorden vloeiend achter elkaar, terwijl tussen andere juist een korte pauze wordt ingelast. Een spraaksynthesizer bevat een prosodische module die, nadat de g2p-omzetting heeft plaatsgevonden, een passend toonhoogteverloop, passende duren voor de lettergrepen en passende pauzes tussen de woorden berekent. Voor een menselijke spreker is het kiezen van de geschikte prosodie gemakkelijk, wij begrijpen immers precies wat er wordt gezegd. De computer snapt dit niet en zal dus keuzes moeten maken op basis van een grammaticale analyse van de zin. Hierdoor wordt voor lange, complexe zinnen vaak een minder geschikte prosodie berekend dan voor korte zinnen. Een ander gevolg is dat alle zinnen met ongeveer dezelfde structuur ook dezelfde prosodie meekrijgen, waardoor de spraak kan gaan klinken als een kind dat net heeft leren lezen. Deze beide problemen zijn gelukkig redelijk te voorkomen als de spraak met behulp van een corpus wordt samengesteld. 11

12 2.2.4 Spraakgeneratie met behulp van een spraakcorpus Voor de generatie van spraak maakt de spraaksynthesizer, net als bij reproductie, gebruik van vooraf opgenomen natuurlijke spraak. In een studio heeft één persoon een groot aantal paragrafen en korte zinnen voorgelezen. Deze spraakopnames worden opgeslagen in een corpus, een grote database. Uit deze spraak kan de synthesizer naast woorden en woordgroepen ook delen van woorden selecteren, zoals fonemen, foneemparen of lettergrepen. Als het woord appartementsgebouw dan niet voorkomt in de opgenomen spraak, kan het alsnog worden samengesteld uit apart, el*ement*, mi*sge*gaan en be*bouw*d. Omdat in een spraakcorpus van elk foneem meestal wel enkele duizenden exemplaren voorkomen, heeft de computer veel mogelijkheden om een zin samen te stellen. Om deze keuze te kunnen maken, beschikt de spraaksynthesizer over snelle algoritmes die berekenen welke fonemen het meest geschikt zijn voor een welbepaalde zin. De algoritmes letten er ten eerste op dat de geselecteerde onderdelen taalkundig en prosodisch zoveel mogelijk lijken op de onderdelen van de te realiseren spraak. Vervolgens letten ze er ook nog op dat de verschillende onderdelen akoestisch gezien goed op elkaar aansluiten, zodat er geen hoorbare overgangen te horen zijn. Alle mogelijk bruikbare fonemen krijgen zo een gewicht mee van de synthesizer zodat het best passende foneem gekozen kan worden en de spraak zo natuurlijk mogelijk zal klinken. Het spraakcorpus zal bijgevolg groot genoeg moeten zijn om steeds geschikte onderdelen te kunnen vinden, maar niet zo groot dat het zoeken naar het meest geschikte onderdeel te lang g duurt Methoden De meest succesvolle methode van spraaksynthese is de unit selection synthesis. Deze methode wordt in de modernste spraaksynthesesoftware toegepast. De basis hiervoor is natuurlijke menselijke spraak. Een grote hoeveelheid fragmenten van menselijke spraak worden opgenomen, opgeslagen en op een intelligente manier aan elkaar geplakt tot de gewenste uiting. Ook voor het Nederlands bestaat tegenwoordig zeer hoogwaardige software. De toepassing van de unit selection synthesis en de toenemende capaciteit van computers brengt tegenwoordig de kwaliteit van de spraaksynthese steeds dichter bij de natuurlijke menselijke stem. Hiermee wordt spraaksynthese werkelijk bruikbaar in geavanceerde omgevingen zoals callcenters. Self-service toepassingen of interactieve, spraakgestuurde toepassingen Interactive Voice Response (IVR) systemen worden veelal uitgerust met spraaksynthese. Dynamisch gegenereerde content zoals file-informatie en beurskoersen kan zo automatisch voorgelezen worden. Andere synthesemethoden naast de unit selection synthesis zijn: domain-specific synthesis; diphone synthesis ; formant synthesis; articulatory synthesis; concatenative synthesis; HMM-based synthesis; sinewave synthesis. 12

13 2.3 Dragon Naturally Speaking Wat is Dragon Naturally Speaking Dragon Naturally Speaking is een spraakherkenningsprogramma dat wordt gebruikt door drukbezette professionals in overheids-, verzekerings- of onderwijsinstellingen en andere bedrijven die met hun stem documenten en berichten willen creëren, formulieren willen invullen en werkzaamheden willen stroomlijnen. Hun spraak wordt omgezet in tekst, driemaal sneller dan de meeste mensen typen en met een nauwkeurigheidspercentage tot maar liefst 99%. Dragon Naturally Speaking is volledig compatibel met Microsoft Office en gebruikers kunnen in vrijwel elk Windows programma met hun stem tekst invoeren, bewerken en menu's aansturen. Geavanceerde macro's in Dragon Naturally Speaking zorgen voor automatisering van documentintensieve bedrijfstaken en een aanzienlijke verhoging van de productiviteit. Met één opdracht kunnen gebruikers in een document tekst en afbeeldingen invoegen, zoals een handtekening of een standaard tekstblok. Op deze manier kunnen vrijwel alle steeds terugkerende taken die bestaan uit meerdere toetsaanslagen of muisklikken, automatisch worden uitgevoerd Doel Een belangrijke reden waarom mensen waar ook ter wereld op Dragon Naturally Speaking vertrouwen, is omdat het werkt. Met meer dan 175 onderscheidingen voor nauwkeurigheid en gebruiksvriendelijkheid is het programma de onbetwiste leider op het gebied van spraakherkenningssoftware. Als u meer gedaan wilt krijgen en sneller wilt kunnen werken, moet u het enkel zeggen tegen dit programma en het voert het uit Productiviteit voor mobiele medewerkers Teksten die zijn gedicteerd in een handheld-recorder, worden automatisch uitgeschreven bij synchronisatie met de computer. Dicteren kan ook nu ook draadloos via een Bluetooth-headset, handig in combinatie met een Tablet PC Ondersteuning voor regionale accenten Geavanceerde aanpassingstechnieken en accentspecifieke modellen voor een nog grotere nauwkeurigheid bij sprekers met een accent. Na uitgebreid onderzoek en omvangrijke gegevensverzameling bevat Dragon 10 nieuwe akoestische modellen die beter inspelen op regionale accenten of accenten van mensen die niet hun moedertaal spreken. In combinatie met krachtigere aanpassingstechnieken is het programma hierdoor voor iedereen vanaf het allereerste begin nauwkeuriger Toegankelijkheid voor gehandicapte gebruikers en bescherming Met Dragon Naturally Speaking kunnen organisaties gehandicapte medewerkers beter van dienst zijn. Of werknemers nu een permanente handicap hebben of slechts tijdelijk niet op normale wijze kunnen werken, met Dragon Naturally Speaking blijft iedereen aan het werk. Bovendien vermindert de kans op RSI-klachten, zoals het carpaletunnelsyndroom, als gebruikers met hun stem de pc besturen en documenten opstellen. 13

14 2.3.6 Algoritmen PASS (PelAudio Acoustic Scale Score) Er zijn verschillende functies in Dragon Naturally Speaking (DNS) die werden ingevoerd in DNS 9 en die invloed hebben op de nauwkeurigheid naargelang de tijd verstrijkt. Dit zijn de PelAudio Acoustic Scale score en een functie genaamd SilentAdapt die de PelAudio Acoustic Scale Score gebruikt om dictaten te analyseren in de loop van een dictaat sessie, of deze nu kort of lang is. Deze kunnen een positief effect hebben op de nauwkeurigheid, maar ze kunnen ook een negatieve invloed hebben. Elke keer u iets dicteert, analyseert DNS wat je zegt door de PelAudio Acoustic Scale Score te gebruiken en kent er vervolgens een betrouwbaarheidsniveau aan toe. Het bepaalt hoe vaak u dezelfde dingen op dezelfde manier zegt en wijst een score toe aan elke set van woorden en uitingen. Het positieve effect is dat, via de SilentAdapt functie, DNS herhaaldelijk leert herkennen wat je zegt, gebaseerd op de toewijzing van PelAudio Acoustic schaalscores. Het andere positieve effect is dat DNS via dezelfde methode en met dezelfde functies, woorden of zinnen negeert die u niet vaak gebruikt. Deze methode wordt gebruikt om herkenningsfouten te voorkomen die anders zouden kunnen plaatsvinden gedurende een dictaat. Het negatieve effect is dat er zonder tussentijdse correcties DNS de neiging heeft om een hogere PelAudio Acoustic Scale Score op foutieve input te plaatsen, waardoor deze herhaald wordt in plaats van de juiste input te herkennen. Dit treedt niet onmiddellijk op, maar uiteindelijk zal dit meer en meer optreden door deze functies. Daarom is het aangeraden dat alle gebruikers regelmatig nalezen wat ze hebben gedicteerd en de juiste correcties aanbrengen waar nodig. DNS maakt geen spelfouten. Alle woorden die DNS herkent zijn correct gespeld, ook in het geval dat de algemene herkenning niet correct is. Daarom is het belangrijk om te leren hoe grammaticale en context fouten herkend kunnen worden, alsook de manier waarop DNS getraind moet worden opdat ze correct gecorrigeerd worden. Gebruikers vinden vaak misherkende woorden en zinnen tijdens het proeflezen. Een manier van omgaan met deze kwestie is het veelvuldige gebruik van de playback functie. Deze functie herhaalt wat u zei op precies dezelfde manier. Hierdoor kunt u vergelijken met de herkende tekst. Dit is vaak handig om onervaren gebruikers te leren hoe ze dit soort dicteerfouten moeten herkennen. Bigram en Trigram: Een bigram is een combinatie van twee letters in een zekere volgorde. "SF" is een ander bigram dan "FS". Trigrammen zijn combinaties van drie letters. Bigrammen en trigrammen spelen een rol bij datacompressie en crypto-analyse. Ze zijn een speciaal type van N-gram. Op basis van statistische gegevens kan men in bepaalde gevallen versleutelde berichten ontcijferen door de tekst op te splitsen in bi- of trigrammen. Omdat niet ieder bigram even vaak voorkomt in een natuurlijke taal, kan men hieruit de versleuteling afleiden. Bigrammen en trigrammen worden ook gebruikt bij handcijfers, de pen-en-papier-codes. Bijvoorbeeld: Die man is slim. Bigram: Di e_ ma n_ is _s li m. Trigram: Die _ma n_i s_s lim._ 14

15 3. Betekenisleer / Semantiek 3.1 Waarom betekenisleer belangrijk is? Betekenisleer ofwel semantiek is minstens even belangrijk als spraakherkenning. Na de eerste fase oftewel de fase van de spraakherkenning heeft Siri nog niets anders gedaan dan de stem omgevormd naar een tekst. Hoewel dit niet zo moeilijk lijkt, is dit toch een probleem waar wetenschappers en ingenieurs decennia lang mee hebben geworsteld. Met deze tekst kan Siri op dit moment niets doen. Voor ons betekent deze tekst iets omdat we de taal begrijpen, voor Siri daarentegen is deze string van tekst een datatype zoals een ander. Stel het voor als iemand die jou vraagt om een Japanse zin te onthouden of na te zeggen. Mits een beetje oefening is dit geen probleem, maar hoewel je de zin wel kan onthouden en uitspreken versta je nog steeds niet wat je hebt gezegd. Dit komt ten eerste omdat je niet weet wat de woorden betekenen. Je moet om te beginnen weten wat elk woord afzonderlijk betekent. Toch is dit niet alles, woorden in een andere volgorde zetten geeft soms een heel andere betekenis. Alsof dit nog niet complex genoeg is, zijn er ook woorden die meerdere betekenissen hebben, enzovoort. Het wordt heel snel duidelijk dat dit een complex probleem is. De betekenis van een zin zoeken, is niet zo evident als dit op het eerste zicht lijkt. Betekenis moet worden onderscheiden van de vorm waarin ze wordt uitgedrukt. Twee zinnen of woorden die dezelfde betekenis hebben worden synoniemen genoemd, zoals: Jan kust Marie en Marie wordt door Jan gekust. Als een enkele zin twee of meer verschillende dingen kan uitdrukken is ze polysemantisch,; bijvoorbeeld: Ik zag de man met de verrekijker. Hierin is niet meteen duidelijk of het gaat om een man met een verrekijker om zijn nek, of het op afstand waarnemen van een man met een verrekijker. Siri kan niet veel doen als hij de woorden niet begrijpt. Als je zelf een idee hebt, kan je dit idee niet overbrengen in de vorm zoals het idee zich vormt in het brein. Het moet omgetzetworden naar een medium dat andere mensen kunnen opvangen. Dit zou kunnen in de vorm van gebarentaal, symbolen of gewoonweg gesproken taal. Al deze vormen van communicatie hebben één ding gemeen: er zijn afspraken gemaakt. Net zoals het systeem dat wij gebruiken om te communiceren, gebruikt Siri,maar ook onder andere Wolfram Alpha (zie verder), zijn eigen taal om te communiceren. Het is dus nodig dat Siri achter ieder woord een formule opslaat. Formules zijn echter de standaardtaal tussen machines. En formules zijn in tegenstelling tot tekst wel te interpreteren door een machine. Combinaties van woorden en begrippen zijn voor Siri combinaties van formules. Via deze formules is het mogelijk voor machines om een opgeslagen idee over te dragen en te manipuleren. 15

16 Om een idee te geven van wat Siri of een andere intelligente machine bijhoudt aan gegevens achter een woord hebben wij de test gedaan met Wolfram Alpha: 16

17 17

18 Het komt er op neer dat de machine een tekstanalyse moet uitvoeren, wil het de context begrijpen. De analyse die hierboven al eens rudimentair beschreven wordt, wordt nu iets technischer uitgelegd aan de hand van een algoritme dat bestaat uit 6 stappen: Onderscheid zinnen en voorzetsels: De software maakt van de tekst simpele zinnen gebaseerd op de leestekens en een complex proces van syntaxanalyse. Dit wil zeggen dat twee woorden niet op dezelfde plaats kunnen staan als ze niet direct verbonden zijn. Oplossen van onzekerheden (met respect voor de woordorde): Bij de interpretatie van woorden in elke taal moeten er enkele onduidelijkheden opgelost worden zoals grammatica, syntax en semantiek. Dit programma zal gebruik maken van artificial intelligence algoritme om problemen op te lossen. De perfectie is onmogelijk te bekomen maar we kunnen een goede analyse van de tekst verzekeren. Identificatie van equivalente klassen: Voegwoorden en bijwoorden voor tijd en plaats geven ons de middelen om de actie te lokaliseren. Voegwoorden voor oorzaak en voorwaarden geven ons de middelen een logische redenering op te bouwen. Voegwoorden voor tegenstellingen geven ons de middelen om te discussiëren, zaken in perspectief te zetten en tegenstrijdige omstandigheden weer te geven. Statistieken en detectie van bundels en paragrafen: Onderzoek van de meest belangrijke delen van een tekst en de layout van het resultaat. Woorden worden gegroepeerd in verschillende woordcategorieën: werkwoorden of persoonsvorm werkwoordelijk gezegde deel van het werkwoordelijk gezegde onderwerp naamwoordelijk gezegde naamwoordelijk deel van het gezegde lijdend voorwerp meewerkend voorwerp voorzetselvoorwerp bijwoordelijke bepaling deze analyse is uiterst complex. Tijdens het proces zal de software: Alle belangrijke woorden in bovenstaande categorieën onderverdelen. De onderverdeling analyseren in subcategorieën. De volgorde in de zin onderzoeken met voorzetsels als in de volledige tekst. 18

19 Meest belangrijke delen van de tekst In dit deel zitten de voorzetsels die de rode draad van het verhaal weergeven, de personages beschrijven of gebeurtenissen bevatten die essentieel zijn voor de vooruitgang van het verhaal. Om deze voorzetsels te vinden, zal het programma een complex CDA(Cognitive-Discursive Analysis) proces opstarten. Wij zullen nu beschrijven hoe dit programma te werk gaat. Elk voorzetsel krijgt een score mee. Dit wordt gebaseerd op zijn relaties, het aantal keren dat het voorkomt en zijn rol in het argument dat aan de gang is. Daarna worden de voorzetsels gesorteerd op basis van hun score. Tekst stijl De software maakt een diagnose van de stijl van de tekst en zijn inhoud op basis van de statistische gegevens verkregen bij de analyse van de tekst. Er zijn 4 mogelijke stijlen: Argumentatief : De spreker praat over zichzelf in het gesprek, discussieert, verklaart of analyseert om zo de gesprekspartner te overtuigen. Vertellend: Een verteller vertelt een aantal gebeurtenissen, die gebeuren op een bepaald moment op een bepaalde plaats. Systematisch: De spreker en de gesprekspartner hebben een gelijkwaardige invloed op het gesprek en ze maken beiden hun standpunten bekend. Beschrijvend: Een verteller beschrijft, identificeert of classificeert iets of iemand. Net zoals in de voorgaande delen van Siri die we besproken hebben, moeten we door tijdsgebrek op een bepaald niveau stoppen met het uitspitten van de techniek en de technologie. De geïnteresseerde lezer zal hier tal van andere werken over terugvinden op het internet of in de bibliotheek. Daarom gaan wij in het volgende hoofdstuk noodgedwongen verder met de uitleg van de derde en laatste stap van ons 3-lagen-systeem. 19

20 4. Beslissingsbomen en algoritmen 4.1 Wie lost de vragen op? Het is in de voorgaande twee stappen duidelijk geworden dat Siri een intelligent systeem is omdat het zinnen verstaat en bovendien begrijpt. Siri doet echter meer met deze inbreng. De assistent zal ook trachten jouw verzoeken te vervullen. Het spreekt vanzelf dat ook deze stap niet zo simpel is als dit op het eerste zicht lijkt. Het is bijvoorbeeld onmogelijk om al deze gegevens in Siri op te slaan en elke dag duizenden Megabytes aan data te updaten. Het is vandaag de dag zelf nog steeds niet mogelijk om fysisch zoveel data in zo een klein toestel op te slaan, om nog maar te zwijgen van de datalimieten bij de service providers. Daarom maakt Siri gebruik van (web)services. Webservices zijn applicaties of websites die alle data over hun domein systematisch zullen opslaan en om ze zo up-to-date te houden. Siri hoeft dan enkel te weten welke service hij moet kiezen om het probleem zo efficiënt mogelijk op te lossen. Zoals eerder al vermeld, tasten we hier nog wat in het duister. Er zijn verschillende technieken die kunnen gebruikt worden om dit probleem op te lossen. Wij zijn er van overtuigd dat Siri dit probleem oplost aan de hand van dynamische beslissingsbomen, die gecreëerd worden aan de hand van een beslissingsboom algoritme. Dit is in onze ogen de enige manier om van Siri een echt intelligent systeem te maken. Als je deze beslissingen zou hard coderen dan zou er van leren geen sprake mogelijk zijn in deze laag. Daarom gaan wij er van uit dat Apple een beslissingboom algoritme gebruikt heeft om de functionaliteit van deze laag te waarborgen. Een beslissingsboom is een speciaal soort boomstructuur die gebruikt wordt voor het oplossen van problemen. We illustreren het concept aan de hand van een zeer eenvoudig voorbeeld van een beslissingsboom. 20