Vergadering TTNWW, gedeelte Spraak Nijmegen, 6 april 2010 Aanwezig: Lou Boves, Patrick Wambacq, Jean Pierre Martens, Marc Kemps Snijders, Kris Demuynck, Marijn Huijbregts, Daan Broeder, Arjan van Hessen Afwezig: Roeland Ordelman Noot van Patrick: de antwoorden op de vragen van Lou staan in een apart document dat ik niet heb (Arjan: kan je dit rondsturen?); ik heb enkele bijkomende opmerkingen daarover hieronder opgeschreven, wellicht verhuizen die best naar dat andere document (maar verderop in het verslag staan ook nog enkele dingen die relevant zijn voor de vragen van Lou). Opmerkingen bij de antwoorden op de vragen van Lou: Issues: in principe gebeurt de opslag van de data in de CLARIN centra zelf en niet elders. Als KADOC dat niet wil moeten zij ofwel zelf een CLARIN centrum worden (enkel voor hun gegevens) of wordt hun data niet opgenomen in CLARIN. In dat laatste geval kunnen zij aan de gebruikers van hun gegevens wel de CLARIN transcriptietools aanbieden, of beter: zij transcriberen hun eigen materiaal als gebruiker, met de CLARIN tools, en bieden de transcripties aan aan hun klanten. In elk geval zullen zij wel voorbeelddata leveren voor het pilootproject. hoe maak je tools die binnen vijf of tien jaar nog werken of hoe verklein je de inspanning om ze werkend te houden? Daar zijn geen richtlijnen voor. Er zal altijd mankracht nodig zijn om tools te onderhouden. (quote: gemeten over de levensduur van een tool is 20% van de tijd nodig om hem te maken, 80% van de tijd is nodig om hem te onderhouden). versioning: er moet zorgvuldig worden bijgehouden voor elke output van een CLARIN tool, hoe die tot stand is gekomen en met welke versie van de tools (provenance data, op te slaan in de metadata van de output). We zijn wel niet verplicht om voor elke tool elke versie werkend te houden (en we zullen dat dus ook niet doen). M.a.w. de output van een tool kan bij ongewijzigde input veranderen in de loop van de tijd. worden transcripties (of andere outputs) bijgehouden op de servers voor hergebruik en worden zij daardoor een nieuw deel van de CLARIN data? We willen niet 50 keer hetzelfde transcriberen. Dat kan door die output op te slaan in de metadata (onderscheid met data wordt wel vaag), op voorwaarde dat de gebruiker ermee instemt. Maar het kan zinvol zijn om een transcriptie toch opnieuw te doen (zie de vorige opmerking). Elke gebruiker krijgt ook een eigen werkruimte waarin hij (tussen)resultaten kan bijhouden. Die kan wel niet gedeeld worden met andere gebruikers. ASR zal (zeker in het begin) menselijke interventie nodig hebben om goed te kunnen werken. Tuning zal altijd een beter resultaat geven, maar de vergadering is het erover eens dat als een redelijk resultaat bereikt wordt, manuele tuning niet verder hoeft. Een redelijk resultaat zal hopelijk kunnen bereikt worden door voldoende informatie te bekomen van de gebruiker over de herkenningstaak en
door daartegenover voldoende standaard modellen (akoestisch, taal, lexicon,...) te stellen in de herkenningsstraat. CLARIN centra zullen in de regel niet over de inhoudelijke kennis beschikken om de software echt te onderhouden en om manuele interventies te doen. Dit pleit ervoor om van ESAT een CLARIN centrum te maken (dat zich alleen met ASR zal bezighouden). ESAT zal zich hierover nog beraden want dit vereist inspanningen die niet onderzoeksgerelateerd zijn en die bij gebruikers verwachtingen genereren over support. er is nog geen echte CLARIN standaard. We gaan zelf onze eigen formaten, werkwijzen,... bekijken in het licht van CLARIN en zelf een aantal standaarden vooropstellen. ESAT gaat de eisen aan de input en het formaat van de resultaten van de spraakherkenner opstellen en rondsturen aan de projectdeelnemers. Wij gaan met z n allen dan kijken of de juiste metadata aanwezig zijn. Welke vragen worden vooraf gesteld aan de gebruiker en welke services/tools worden daar dan bij gemaakt? Na uiteindelijke vaststelling zullen de parameters samen met het MPI, in ISOCAT s gezet worden. hoe ga je om met de load op je systeem? Wat doe je als twee archieven beide 200 uur aanbieden? Het gedeeltelijk antwoord op deze vraag is dat er een maximale grootte zal opgelegd worden aan de bestanden die kunnen opgeladen worden en dat er een first come first serve queue komt. Wellicht moet een beter mechanisme voor prioriteiten bedacht worden. Er moet ook een onderscheid gemaakt worden tussen leveranciers van data die hun gegevens (corpora) via CLARIN willen ter beschikking stellen en de tools willen inzetten voor de annotatie ervan, en gebruikers die gewoon eigen materiaal willen verwerken en de resultaten daarvan voor zich willen houden. het is onvermijdelijk dat er beperkingen zullen zijn aan de webservice. Het is zeer belangrijk om deze op te schrijven en kenbaar te maken aan de gebruikers, zodat ze weten want ze kunnen verwachten. Mogelijke services gerelateerd aan ASR (nodig/ indien voldoende tijd / niet binnen TTNWW): segmentatie: spraak / niet spraak / muziek en anders, onderscheid sprekers, taaldetectie, gender, clustering van sprekers over verschillende bestanden heen, NODIG; dialectdetectie en shot detectie is ook interessant, NIET IN TTNWW transcriptie, NODIG alignering, NODIG Indexatie (vraag van Lou): lijst met keywords bijvoegen die herkend moeten worden, INDIEN TIJD automatische punctuatie of structurering van de transcripties op basis van pauses, INDIEN TIJD taalmodeladaptatie: eigen lijst met eigennamen bijvoegen, INDIEN TIJD taalmodeladaptatie: eigen teksten opladen; dit vereist tekstnormalisatie (eventueel tekstnormalisatie als aparte service voorzien met feedback door de gebruiker), INDIEN TIJD (mede afhankelijk van de mate van normalisatie die we willen inbouwen)
convertoren voor inputformaat/outputformaat (input: SOX kan al heel wat, output: wellicht xml nodig en conversie naar bv. CTM en STM, INDIEN TIJD G2P eventueel met TTS feedback, NIET IN TTNWW akoestische adaptatie (supervised/unsupervised), NIET IN TTNWW topicdetectie (supervised en unsupervised) korte lijst, NIET IN TTNWW emotiedetectie, NIET IN TTNWW automatische samenvatting van de audio, NIET IN TTNWW (hoort dit niet eerder bij taal dan bij spraak?) Vragen te stellen aan de gebruiker in een webformulier: cf. www.webasr.org van Sheffield, zie ook de screenshots op het einde van dit verslag spraakmodus (discussie+aantal sprekers / vrij / presentatie / voorlezen / zang (we gaan wel geen zang proberen te herkennen!) / anders) taal van de spreker(s) (NL/VL) geslacht van de spreker(s) (wat als de segmentatie er anders over denkt?) akoestische omstandigheden: omgeving van de opname, breedband/smalband, nagalm, clipping, soort microfoon,... topic formaat van de klankbestanden: we gebruiken 16bit/16kHz/mono/PCM signed. We zullen ook een maximale grootte opleggen aan de bestanden. Werkplan van het project zie de projectaanvraag blz. 30 e.v.; WP2 en WP3: de beschrijvingen hiervan in de projectaanvraag overlappen enigszins. We stellen daarom enkele aanpassingen voor: in WP2 komt alle spraaktechnologie werk, (herkenner en bijkomende modules, audio segmenter en indexer en gerelateerd werk). Daardoor bekomen we WP2a: herkenner, WP2b: segmenter/indexer (zat voordien in WP3). In WP3 zit dan alles wat met de webservice te maken heeft. In de Gantt chart (verderop) is met deze aanpassing rekening gehouden. waar namen van onderzoeksgroepen vermeld worden, betekent dit dat zij verantwoordelijk zijn voor de vermelde taak. Dit betekent niet dat zij de enige uitvoerder ervan zijn. de budgetverdeling onderaan de beschrijving van elk werkpakket klopt niet overal. Dat is later rechtgezet en dit zijn de juiste gegevens: WP3 103k (54k, 29k, 10k, 10k) en WP4 25k (5k, 5k, 5k, 5k, 5k). Voor de andere werkpakketen en in de samenvattende tabellen eerder in de tekst klopt alles wel. hoe lang gaat het project eigenlijk duren? In de projectaanvraag werd voor het spraakgedeelte 2 jaar voorzien, terwijl op blz. 3 van het voorstel (in het algemene gedeelte) een periode van 2 jaar en 7 maanden wordt voorzien (waarvan er al 6 weken voorbij zijn). De financiers stellen zich (vermoedelijk) flexibel op en we kunnen deze extra tijd dus wel gebruiken indien nodig. Maar we blijven mikken op 2 jaar voor het spraakgedeelte, verdeeld volgens de Gantt chart verderop in dit verslag. De start van het eigenlijke werk zal moeten verschoven worden naar het
ogenblik waarop de geschikte uitvoerders kunnen aangeworven worden en kunnen starten. Vermoedelijk wordt dit september 2010. De laatst mogelijke startdatum is 1 oktober 2010 zodat het werk nog kan afgerond worden tegen 30 september 2012 (de uiterste einddatum vermeld in de aanvraag). verantwoordelijken voor de werkpakketten en deliverables: in NL altijd UT behalve voor WP3 D1: RU (waar staat dit ergens, ik vind dit nergens terug); in VL: ESAT behalve WP2b: ELIS WP1a: requirements: vermits er nog geen CLARIN standaard is, stellen we deze zelf op. Een initiële versie kan nu gemaakt worden; naarmate de uitvoering van het project vordert kunnen daar nog dingen bijkomen. WP1b: implementatie van de standaarden: blijft zoals het is WP2: gebruiksvriendelijkheid van de ASR software verhogen, bijkomende ASR modules (parameterinstelling gebaseerd op de antwoorden van de gebruikers op specifieke vragen, interface naar AUTONOMATA tools). Er moeten bijkomende taalmodellen en akoestische modellen gemaakt worden; dit zal echter maar gebeuren als er tijd voor is (tenslotte blijft dit een pilootproject). (ESAT) WP3a: alle taken die plaatsgrijpen vóór ASR: segmentatie, taaldetectie, sprekerclustering,... (ELIS) WP3b: alle modules toegankelijk maken via een webservice, bouw van een webinterface (UT). Webinterface: is een form op je scherm waarin jij alle gegevens zet die gebruikt moeten worden. Webservice is de service zelf die het doet. Er komt een soort CLARIN template hiervoor zodat je een zelfde look and feel krijgt bij alle facetten van de straat. Maar we hoeven daar niet op te wachten. WP4: gebruikerstesten: blijft zoals het is. WP5: disseminatie, demonstrator, documentatie: blijft zoals het is, met dien verstande dat de demonstrator eigenlijk bestaat uit wat er in WP3b werd gebouwd (de webinterface). Gantt chart: zie verderop in dit verslag Actiepunten Utwente bezorgt haar lexicale resources aan ESAT ESAT gaat een lijst opstellen van de requirements waaraan servers moeten voldoen om SPRAAK te kunnen draaien. Idem voor het trainen van taalmodellen. ESAT gaat een ftp server inrichten voor de data van de gebruikers. De link gaat naar Mark KS Utwente gaat uitzoeken in welke formaten de gebruikers hun data zullen aanleveren. Utwente of MPI? : toegang regelen voor de andere deelnemers op de clarin.nl website ESAT, ELIS, RU, UTwente: dataleveranciers contacteren teneinde de data te verkrijgen en te kunnen opladen op de ftp server
RU: Lou gaat bekijken hoe er een CLARIN call voor tender kan geschreven worden zodat uitgebreidere deelname van de gebruikers verzorgd kan worden. In TTNWW krijgen zij maar 5k en dat is heel weinig. Patrick/Arjan: de lijst met WP s wordt herschreven in een meer praktisch workflowdocument. Is dit nog nodig als je de beschrijvingen in de vorige hoofding leest? Komt dit niet gewoon neer op een update/verfijning van de Gantt chart?
TTNWW Spraak Gantt chart!"#!$#%!"!!"#""#%!"!!"#!"#%!""!"#!&#%!""!"#!'#%!""!"#!(#%!""!"#!$#%!""!"#""#%!""!"#!"#%!"%!"#!&#%!"%!"#!'#%!"%!"#!(#%!"%!"#!$#%!"% )*"+ opstellen requirements )*", )*%+ implementatie CLARIN standaarden gebruiksvriendelijke ASR )*%, )*& audio-segmenter/- indexer en uitbreidingen webgebaseerde spraak services )*- )*' bepaling metadata, gebruikerstesten disseminatie, demonstrators, documentatie
Screenshots van de ASR webinterface van Sheffield (www.webasr.org)