Spraak- en Taaltechnologische Essentiële Voorzieningen In het Nederlands (STEVIN)

Transcriptie

1 Spraak- en Taaltechnologische Essentiële Voorzieningen In het Nederlands (STEVIN) STEVIN Jaarverslag 2009 In dit jaarverslag is een overzicht opgesomd van de activiteiten die van 1 januari t/m 31 december 2009 zijn uitgevoerd in het kader van het STEVIN Programma. Daarnaast is de oorspronkelijke begroting en de realisatie voor het jaar 2009 opgenomen en toegelicht. De realisatie is gebaseerd op de financiële afrekening zoals aangeleverd door de NTU. Daarnaast zijn in dit jaarverslag ook de nieuw in 2009 aangegane committeringen opgenomen die nog niet in het financiële overzicht van de NTU staan. Dit betreft de toekenningen aan educaprojecten en masterclasses die helemaal aan het eind van het jaar nog zijn toegekend door het TST-bestuur maar waarvan de administratieve afhandeling van de toekenning niet meer in 2009 voltooid kon worden en kleine netwerksubsidies die over het algemeen door de NTU pas bij uitbetaling in de afrekening opgenomen worden. 1. Beheer, voortgangscontrole en afsluiting STEVIN-onderzoeksprojecten In het afgelopen jaar is vooral aandacht besteed aan de voortgangscontrole en het afsluiten van projecten. De voortgangscontrole en eindcontrole worden uitgevoerd op basis van de workflows die het Programmabureau (PB) met de TST-C in 2007 hebben opgesteld. De controles worden gedaan door de portefeuille-houders (PF's) die aan elk project zijn toegewezen, te weten: per project twee PC-leden en de TST-Centrale vertegenwoordiger in de STEVIN-PC die specifiek aandacht besteedt aan de IPR-zaken en technische zaken. De PF s hebben voor alle lopende projecten voortgangs- dan wel eindfiches opgesteld die, nadat ze waren geaccordeerd door de PC, zijn voorgelegd aan het bestuur. In totaal zijn er gedurende de looptijd van het STEVIN-programma na 3 open rondes en 3 tenders 19 grote onderzoeks- en ontwikkelprojecten gehonoreerd. Reeds volledig afgerond voor 2009: 4 projecten uit Oproep 1: COREA, IRME, D-COI en JASMIN Afgerond in 2009: 4 projecten uit Oproep 1: AUTONOMATA uit Tender: 1 SPRAAK uit Oproep 2: N-Best en STEVINcanPRAAT Nog lopend: 11 projecten uit Oproep 1: geen uit Oproep 2: DPC, MIDAS, DAESO, LASSY uit Tender 2 en 3: CORNETTO, SoNaR uit Oproep 3: DISCO, AUTONOMATA TOO, DAISY, PACOMT, DUOMAN Het project CORNETTO is aan het eind van 2009 formeel afgerond en de resultaten zijn overgedragen aan de TST-Centrale, alleen de eindafrekening moet nog plaatsvinden. In het kader van de voortgangscontrole van de 11 nog lopende STEVIN O&O-projecten is gedurende het afgelopen jaar weer een aantal site-visits uitgevoerd. Sommige projecten kampen met enige vertraging (oplopend tot 7 maanden) die vooral te wijten is aan de invulling van vacatures. Er werden echter geen serieuze technische problemen geconstateerd. Vanwege het faillissement van de firma Polderland, heeft het DISCO project enige vertraging opgelopen. Het PB heeft uitgebreid overleg gevoerd met de andere deelnemers van het consortium. Uiteindelijk is Knowledge Concepts die de kennis van Polderland heeft overgenomen in het consortium gestapt. Naar verwachting zal het project met enige vertraging toch succesvol afgerond kunnen worden in Naast deze O&O projecten is ook een aantal demonstratieprojecten en educatieve projecten afgerond. Meer informatie daarover staat in sectie 3. Jaarverslag 2009 STEVIN-programma definitieve versie - p. 1/13

2 2. Intellectual Property Rights (IPR) en Prijzen politiek Gezien de ervaringen die tot nu toe zijn opgedaan binnen STEVIN en de aanbevelingen van het International Assessment Panel (IAP) in de midterm evaluatie, bleek een optimalisering van de bestaande IPR-regeling in de rede te liggen. In eerste instantie heeft dat geleid tot verruiming van de mogelijkheden voor het aanvragen van ontheffing van de staande STEVIN IPR-regeling zodat resultaten als open source beschikbaar gemaakt worden. Daarnaast heeft de PC in 2009 een notitie opgesteld over IPR-beleid voor een eventueel nieuw programma. Het uitgangspunt van de nieuwe regeling blijft TST-materialen zo maximaal mogelijk beschikbaar te maken zowel voor onderzoekers als voor het bedrijfsleven. Dit geldt natuurlijk in elk geval voor de door de overheid gefinancierde TST-materialen, maar waar mogelijk voor alle (Nederlandstalige) TSTinfrastructuur. De notitie had in de bestuursvergadering van november besproken zullen worden, maar doordat de hoofdauteur van de nota en voorzitter van de PC, professor Jan Odijk, niet bij deze vergadering aanwezig kon zijn, is de bespreking doorgeschoven naar de volgende vergadering. Voor de reeds beschikbare STEVIN-resultaten zijn Inmiddels de niet commerciële/commerciële prijzen vastgesteld: AUTONOMATA namencorpus ( 0, 4.000), AUTONOMATA g2p-toolkit ( 500, op aanvraag), COREA coreferentiecorpus ( 0, 3.000), IRME DuELME-lexicon ( 0, 2.500), JASMIN-CGN spraakcorpus ( 0, 2.500), D-COI-corpus ( 0, ), CORNETTO ( 0, op aanvraag), NBest ( 0, op aanvraag), LASSY ( 0, nvt) en tussenresultaten SoNaR (( 0, nvt). Alle vastgestelde prijzen zijn op de website van de TST-C gepubliceerd en zijn exclusief eventuele verzend- en handlingkosten. 3. Flankerende activiteiten 3.1 Begripsomschrijving en doelstellingen In het kader van het STEVIN-programma wordt, in aanvulling op de onderzoeks- en ontwikkelprojecten, een aantal flankerende activiteiten gefinancierd. Hieronder vallen: - de organisatie van symposia, bijeenkomsten en andere publicitaire evenementen, alsook het (financieel) ondersteunen van STEVIN-gerelateerde bijeenkomsten. Dat laatste gebeurt onder meer via het toekennen van netwerksubsidies voor de organisatie van dergelijke bijeenkomsten; - de STEVIN-nulmeting (een oefening om de stand van zaken op het vlak van Nederlandstalige taal- en spraaktechnologie in kaart te brengen bij aanvang van het programma, om aldus na afloop de impact van het STEVIN-programma te kunnen meten), de tussentijdse evaluatie en de eindevaluatie; - het ondernemen van initiatieven die zijn gericht op het stimuleren van de vraag naar (Nederlandstalige) taal- en spraaktechnologie. In dit verband worden vanuit het STEVIN-programma onder meer ook demonstratieprojecten gefinancierd en Master classes (educatieve activiteiten) voor het bedrijfsleven; - het ondernemen van initiatieven om taal- en spraaktechnologie onder de aandacht te brengen van (schoolgaande) jeugd en studenten opdat deze hierin geïnteresseerd raken en een professionele carrière op dit domein willen starten. In dit verband worden vanuit het STEVIN-programma onder meer educatieve projecten gefinancierd als ook initiatieven die tot doel hebben taal- en spraaktechnologie te verankeren op HBO s. De flankerende activiteiten in het kader van het STEVIN-programma worden geïnitieerd en uitgewerkt door de Werkgroep Flankerende Activiteiten (kortweg WGFA), een subcommissie van de PC, aangevuld met de makel- en schakel verantwoordelijke van de NTU, enkele andere Vlaamse en Nederlandse vertegenwoordigers van andere taal- en spraaktechnologische projecten en vertegenwoordigers van (mogelijke) gebruikersgroepen van (Nederlandstalige) taal- en spraaktechnologie. Het idee hierachter is dat flankerende activiteiten en met name het organiseren van taal- en spraaktechnologische symposia en dergelijke, zoveel mogelijk met alle TST-actoren in Nederland en Vlaanderen gezamenlijk zou moeten geschieden. Halverwege dit jaar heeft de voorzitter van de WFFA, mw. Debbie Kenyon-Jackson, haar functie als voorzitter opgegeven omdat zij onvoldoende tijd over had vanwege de groei van haar eigen bedrijf. Omdat het programma in de laatste fase zit is voorlopig besloten de werkgroep en de PC beiden te laten voorzitten door de voorzitter van de PC, professor Jan Odijk. Jaarverslag 2009 STEVIN-programma definitieve versie - p. 2/13

3 3.2 Globale verdeling van het STEVIN-budget voor flankerende activiteiten Tabel 1. Globale verdeling van het STEVIN-budget ten behoeve van flankerende activiteiten Door het TST-bestuur was in het eerste jaar van het programma een globaal kader vastgesteld (zie kolom 2). Het kader is in 2009 conform de daadwerkelijke realisaties bijgesteld (zie kolom 3). Activiteit(en) Oorspronkelijk kader (k ) Kader vastgesteld in 2009 (k ) Toelichting in sectie Eigen activiteiten (bijeenkomsten, interne programmadagen, IPR-, Roadmap workshops, etc.) Voorbeeldprojecten (demonstratieprojecten) Nulmeting, tussenevaluatie en eindmeting/ eindevaluatie Netwerksubsidies (bijdragen aan evenementen van anderen) Externe communicatie (promotie-materiaal voor STEVIN en TST in het algemeen) Interne communicatie (Interne website, begeleidingscommissies, etc Educatieve activiteiten + master classes Knelpunten Totaal Bovenstaande activiteiten en bedragen zijn een globaal kader waarin de flankerende activiteiten met betrekking tot het STEVIN-programma worden geconcretiseerd en uitgewerkt. In de secties tot en met worden de activiteiten nader toegelicht en gemeld welke specifieke activiteiten in 2009 hebben plaatsgevonden. 3.3 Specifieke flankerende activiteiten Eigen activiteiten NTU kosten Op basis van een analyse van de realisaties is binnen het begrotingskader voor eigen activiteiten een vaste post vergaderkosten (inclusief vacatiegelden) en kantoorkosten/accountantskosten NTU opgenomen. In 2009 hebben de volgende STEVIN vergaderingen plaatsgevonden: STEVIN Programmacommissie: 4 vergaderingen, in februari, juni, augustus en december 2009 STEVIN Werkgroep Flankerende Activiteiten: 2 vergaderingen, in januari en december 2009 (de laatste deels samen met de PC) STEVIN IPR Werkgroep: geen bijeenkomsten TST-bestuur: 3 vergaderingen: januari, mei en november 2009 TST op Wikipedia Via deze actie zal zoveel mogelijk informatie over TST op Wikipedia gezet worden. Wanneer men kort geleden Wikipedia raadpleegde onder spraakherkenning dan was het resultaat een algemene pagina over RSI-preventie en het gebruik van dictation engines. Deze beschikbare informatie was erg mager van opzet en behandelde lang niet alle aspecten van TST. Een groep representanten uit het Vlaamse en Nederlandse taal- en spraaktechnologieveld heeft te kennen gegeven voor een beperkte vergoeding de informatie in Wikipedia te willen invoeren. De totale kosten inclusief een kleine donatie aan Wikipedia waren begroot op In de loop van het jaar is besloten dat mede vanwege het feit dat een vervolg op het Educaproject TST op Kennislink werd gehonoreerd, de begrote kosten naar beneden bijgesteld konden worden. Met het werk door het vrijwilligers is begonnen. Het project zal in 2010 afgerond worden. Jaarverslag 2009 STEVIN-programma definitieve versie - p. 3/13

4 IPR workshops / overleg met uitgevers over gebruik (IPR) van hun teksten: In lopende STEVIN projecten is gebleken dat het van belang is om contacten met uitgevers en eigenaren van bronmateriaal voor het regelen van het gebruik van teksten te coördineren. Ook in het kader van het in 2009 in Nederland door OCW met 9M gesubsidieerde CLARIN project wordt men met deze problematiek geconfronteerd. De STEVIN Programmacommissie zou in samenwerking met de TST Centrale, de IPR Commissie, de NTU en vertegenwoordigers van het CLARIN project een aantal workshops coördineren en realiseren in 2009 en Maximaal van het budget bestemd voor eigen activiteiten was hiervoor beschikbaar. In tegenstelling tot de plannen heeft in 2009 nog geen workshop plaatsgevonden. De experts die voor de organisatie van de workshops nodig waren, hadden hiervoor vanwege andere werkzaamheden te weinig tijd. Initiatieven ten behoeve van toekomstig TST-onderzoek, ontwikkeling en vraagstimulering Het STEVIN programma zal in 2010 eindigen met een uitloop in 2011 (het SoNaR-project zal zelfs pas in 2012 de laatste release opleveren). Het is zaak dat er nu al verschillende initiatieven worden ondernomen ten behoeve van verder onderzoek en ontwikkeling van TST in zowel nieuwe (innovatie)programma s als in het bedrijfsleven. De WGFA, PC, NTU, SenterNovem, NWO, FWO, IWT en EWI initiëren of ondersteunen verschillende initiatieven om het onderzoek en de ontwikkeling van TST in de toekomst optimaal te borgen. Ook is gekeken naar mogelijke samenwerking buiten het traditionele TST-domein, alsook naar de sterktes van TST en lopende STEVIN projecten op verschillende toepassingsgebieden zoals Zorg, Veiligheid, Multimedia etc. In dit kader zou de STEVIN Programmacommissie in samenwerking met de WGFA in 2009 en 2010 een aantal kleine Roadmap Workshops (maximaal 10 deelnemers per workshop) organiseren. Hiervoor was in totaal een bedrag van gereserveerd voor In tegenstelling tot de plannen heeft in 2009 nog geen workshop plaatsgevonden. De experts die voor de organisatie van de workshops nodig waren, hadden hiervoor vanwege andere werkzaamheden te weinig tijd. STEVIN-programmadag De STEVIN-programmadag is gehouden op 4 september 2009 aan de Universiteit van Tilburg. Dit is een jaarlijks georganiseerde interne dag voor de direct betrokkenen van het STEVIN-programma plus de contactpersonen voor die STEVIN-projecten bij de TST-Centrale. De focus van de programmadag 2009 was de bruikbaarheid van projectresultaten en/of (her)gebruik van bestaande resources. Per dag is een bedrag van beschikbaar. Op basis van de evaluatie van de dag die op 4 september werd georganiseerd heeft de PC besloten dat voor 2010 de doelgroep wat verbreed zou moeten worden en dat ook geprobeerd moet worden om vertegenwoordigers vanuit de neerlandistiek deel te laten nemen zodat deze kunnen kennismaken met hetgeen binnen het programma tot stand is gebracht Beheer, opvolging en afsluiting demonstratieprojecten en zoeken naar extra financiering Het doen van de demonstratieprojecten is het stimuleren van de vraag naar (Nederlandstalige) taal- en spraaktechnologie. Het betreft kortlopende voorbeeld- en/of demonstratieprojecten (maximale projectduur is 15 maanden), waarin gebruik wordt gemaakt van "proven technology. Daarbij wordt vooral gemikt op de ontsluiting van nieuwe markten en het toepassen van bestaande taal- en spraaktechnologische applicaties in andere - nieuwe - domeinen. In 2008 is een start gemaakt met het actiever monitoren van de projecten. Daartoe is in de WGFA per project een portefeuillehouder aangewezen. In totaal zijn er gedurende de looptijd van het STEVIN-programma in 3 rondes 14 demonstratieprojecten gehonoreerd. Reeds volledig afgerond voor 2009: 6 projecten uit Demo-oproep 1: Rechtsorde, GemeenteConnect, Kentekenlijn uit Demo-oproep 2: VoiceAssess, Klare Taal bij de Overheid, Audiokrant Afgerond in 2009: 2 projecten uit Demo-oproep 2: Rechtspraakherkenning uit Demo-oproep 3: HATCI Nog lopend: 6 projecten uit Demo-oproep 2 en 3: PRIMUS, ChatBot, YourNews (voorheen EasyInfo), Woody, NEON, AAP. Jaarverslag 2009 STEVIN-programma definitieve versie - p. 4/13

5 Bij het Chatbot heeft de formele afsluiting in 2009 plaatsgevonden maar moet de laatste betaling nog plaatsvinden Bij YourNews, Woody en NEON is de formele afrondingsprocedure gestart. Vanwege het faillissement van de firma Polderland, zijn er problemen bij het afronden van de demonstratieprojecten Aap en PRIMUS. Het PB heeft in 2009 overleg gevoerd met het consortium van het project AAP (Alfabetisering Anderstaligen Plan). Hopelijk zal dit in 2010 kunnen leiden tot een (beperkte) herstart van het project. Ook met het consortium van PRIMUS is het PB in overleg gegaan over een mogelijke beperkte doorstart in Dit jaar heeft met name de NTU weer veel aandacht besteed aan de etalage op de STEVIN website waarin de resultaten van de demonstratieprojecten gepresenteerd worden. Zie: De demonstratieprojecten spelen een belangrijke en succesvolle rol bij het verwezenlijken van de STEVIN doelstellingen en met name voor het beter zichtbaar maken van de haalbaarheid en de waarde van de inbedding van taal- en spraaktechnologie in bepaalde applicaties en diensten. Daarom was gepland oml actief te zoeken worden naar nieuwe financieringsmogelijkheden (e.g. vanuit de PRIMA-regeling in Nederland). Ook zou EWI vervolgens mogelijkheden onderzoeken voor matchende financiering. Aan Nederlandse zijde is het echter in 2009 nog niet gelukt om nieuwe financieringsmogelijkheden aan te boren Nulmeting, tussenevaluatie en monitoring Om de voortgang en de impact van het STEVIN-programma te kunnen meten is het van belang het STEVINprogramma, en de verschillende projecten die binnen dit programma worden gefinancierd, doeltreffend te monitoren en te evalueren. Daartoe is in de 1 e fase van het STEVIN-programma een nulmeting uitgevoerd. De kosten daarvan bedroegen In 2008 heeft vervolgens een tussenevaluatie uitgevoerd door het International Assessment Panel - plaatsgevonden. De aanbevelingen die daaruit zijn voortgekomen zijn voor zover mogelijk geïmplementeerd. De kosten van de tussenevaluatie, die samen met het NWO IMIX programma was georganiseerd, bedroegen circa , waarvan ruim de helft is betaald uit het IMIX budget. Dat betekent dat er voor de eindmeting en eindevaluatie nog een bedrag van maximaal beschikbaar is. De NTU heeft in 2009 in samenspraak met de financiers en de Programmacommissie en de WGFA de opzet van en opdracht voor de uitvoering van de eindmeting en eindevaluatie geformuleerd. Dit voorstel is, op voorwaarde dat nog een paar aanpassingen gemaakt werden, in november 2009 goedgekeurd door het TSTbestuur. Op basis van deze goedkeuring is de Vlaamse bijdrage voor het laatste jaar veilig gesteld. Het PB is in samenwerking met de PC begonnen een uitgebreid evaluatiedossier voor te bereiden bestaande uit een Zelfevaluatie (38 pagina s), een Factfile (83 pagina s) en een bundeling van de voortgangs- en eindrapportages van alle STEVIN-projecten Toekenning van netwerksubsidies Netwerksubsidies zijn bedoeld voor de ondersteuning van de organisatie van (wetenschappelijke) bijeenkomsten die zijn gericht op het bevorderen van de netwerkvorming en de interactie binnen het taalen spraaktechnologische veld in (en tussen) Vlaanderen en Nederland, en/of die kunnen bijdragen tot een vruchtbare uitwisseling van ideeën en resultaten tussen de verschillende onderzoeks- en gebruikersgroepen op het gebied van (Nederlandstalige) taal- en spraaktechnologie. Ook kan deelname aan congressen en beurzen, in de vorm van sponsorovereenkomsten, worden gesteund om de naambekendheid van het STEVINprogramma te vergroten. Voor de jaren 2009 en 2010 was hiervoor respectievelijk en gereserveerd. In 2009 hebben 4 activiteiten plaatsgevonden die door STEVIN financieel zijn gesteund. Netwerksubsidie CLIN 19, (reeds toegekend in 2008) Netwerksubsidie TLT 2009 Groningen (reeds toegekend in 2008) Netwerksubsidie St. Maartenskliniek Symposium ISTT (toegekend in 2009) Netwerksubsidie Flevum Zorglandschap van Morgen (toegekend in 2009) Jaarverslag 2009 STEVIN-programma definitieve versie - p. 5/13

6 In 2009 zijn nog 2 nieuwe netwerksubsidies toegekend die waren ingediend in de continue openstaande oproep. Deze activiteiten zullen pas in 2010 plaatsvinden en tot uitbetaling leiden. Netwerksubsidie CLIN 20, Netwerksubsidie DIR Externe communicatie In 2009 hebben alle STEVIN-geledingen wederom de onderzoeks- en ontwikkelresultaten uit het STEVINprogramma waar mogelijk onder de aandacht gebracht op (inter)nationale conferenties. Ook zijn projectconsortia naar aanleiding van het Midterm advies van het IAP gestimuleerd om hun resultaten in internationaal hoogstaande tijdschriften te publiceren. Omdat een belangrijk deel van de projecten betrekking heeft op de ontwikkeling van basisinfrastructuur, blijkt dit niet altijd eenvoudig te realiseren. Een overzicht van alle STEVIN publicaties wordt bijgehouden op de STEVIN website. Het overzicht van de publicaties uit 2009 is aan het eind van dit verslag te vinden. Als onderdeel van de algemene NTU website ( bestaat een specifieke STEVIN website die door de NTU wordt onderhouden. Van 1 januari tot 31 december 2009 heeft de website 7244 bezoeken gehad. In 2009 is het boek Experiment NL, Wetenschap in Nederland verschenen, dat een uitgave is van NWO in samenwerking met Quest. Hierin worden vier STEVIN demonstratieprojecten (WebAssess, Spelspiek, AAP en Primus) beschreven. In de loop van 2009 is een bedrag van gecommitteerd voor een nieuwe DIXIT met als onderwerp STEVIN e onderwijs die eind 2009 is verschijnen. Verder wordt gedacht aan een tweetalige publicatie over het gehele programma. Het is in 2009 niet gelukt om daarvoor nadere plannen uit te werken. In 2009 heeft TST-bestuur mede naar aanleiding van de financiële situatie besloten de activiteiten van de PR&COMM commissie (opgericht in 2007) stil te zetten Interne communicatie: STEVIN-website voor intern gebruik (WIKI) K.U.Leuven (Van Hamme) heeft de interne WIKI site opgezet en is verantwoordelijk voor het hosten en onderhouden van deze site. De kosten hiervoor bedragen euro per jaar. Er wordt voldoende geld gereserveerd om de site ook na de afloop van het STEVIN programma nog een tijd in de lucht te houden. Het PB heeft er op toegezien dat de STEVIN projecten de noodzakelijke informatie via de WIKI beschikbaar maken en dat ook de informatie op het WGFA-gedeelte bijgewerkt wordt Educatieve activiteiten (educaprojecten en master classes) In het kader van de educatieve activiteiten zijn twee specifieke subsidieregelingen opgesteld: educaprojecten en master classes. Via meerdere kanalen is voor deze beide subsidiemogelijkheden geadverteerd (TST-nieuwsbrief, NoTaS-leden, alle aanwezigen van de beide Taal-in-Bedrijf evenementen) en in specifieke Nederlandse en Vlaamse onderwijsbladen. Subsidieregeling educatieve projecten Aansluitend aan de algemene doelstellingen van het STEVIN-programma, zijn de educatieve projecten (min. 3 maanden en max. 12 maanden) bedoeld om in een educatieve omgeving (middelbare school, hogeschool, universiteit, museum, ) schoolgaande jongeren en beginnende studenten bewust te maken van de mogelijkheden van taal- en spraaktechnologie: als multi-inzetbare technologie van de toekomst; als onderwerp van een (wetenschappelijke) opleiding; als sector voor een eventuele professionele loopbaan. In waren reeds twee oproepen voor educatieve voorstellen opengesteld. Medio juni 2009 is de derde oproep voor educatieve projecten geopend. Voor de sluitingsdatum had het PB drie voorstellen ontvangen (tezamen ter waarde van ). Alle drie aanvragen hebben de vastgestelde beoordelingsprocedure doorlopen. Slechts één voorstel Kennislink2 - werd voor honorering voorgedragen Jaarverslag 2009 STEVIN-programma definitieve versie - p. 6/13

7 aan het TST-bestuur. Dit voorstel werd door het TST-bestuur aan het eind van het jaar gehonoreerd ( ). Subsidieregeling voor het organiseren van master classes Master classes zijn bedoeld om de algemene belangstelling voor taal- en spraaktechnologische toepassingen en onderzoek binnen overheden en bedrijfsleven te vergroten. In 2008 was de een eerste oproep voor master classes geopend.iin juni 2009 is een tweede oproep voor master classes geopend. Het PB heeft voor de sluitingsdatum slechts één aanvraag - TST in Nederlandstalige Overheidsdiensten - ontvangen (ter waarde van ). Deze aanvraag heeft de vastgestelde beoordelingsprocedure positief doorlopen. Daarbij is wel vastgesteld dat in de aanvraag 1000 aan niet-subsidiabele kosten was opgenomen. Het TST-bestuur heeft de aanvraag eind 2009 toegekend rekening houdend met de voorgestelde korting op het budget. Beheer en afronding educaprojecten en master classen In totaal zijn er gedurende de looptijd van het STEVIN-programma in 3 rondes voor educatieve projectvoorstellen 3 projecten gehonoreerd. In 2 rondes voor master classen zijn 2 voorstellen gehonoreerd. Nog geen enkel project is formeel afgerond. Nog lopend: 5 projecten uit Educa-oproep 1, 2 en 3: TST op Kennislink, DIADEMO, TST op Kennislink 2 uit Master class-oproep 1 en 2: ICT & Dyslexie, TST in NL Overheidsdiensten De afronding van de projecten Kennislink1 en Diademo is in 2009 opgestart. Het project TST op Kennislink 2 loopt nog tot eind 2010 en de beide master classes zullen in 2010 worden gegeven Knelpunten Bij aanvang van het STEVIN programma was een globale verdeling opgesteld van het totaalbudget dat vanuit het STEVIN-programma werd gereserveerd voor flankerende activiteiten. Op basis van voortschrijdende inzichten en daadwerkelijke realisaties is in de loop der jaren de totale omvang naar beneden bijgesteld en is de globale verdeling aangepast. Binnen het kader was een reserve ingebouwd die in 2008 tot knelpuntenpot werd bestemd. Uiteindelijk heeft het TST-bestuur in de loop van 2009 besloten om het voorstel van de PC te honoreren om dit geld in te zetten voor een extra bijdrage aan het SoNaRprojec t dat gericht is op de realisatie van één van de top-prioriteiten in de oorspronkelijke BaTaVo-lijst. 4. Financiële verantwoording- STEVIN uitgaven In deze sectie wordt een overzicht gegeven van de uitgaven/toekenningen gedaan van tot en met en een toelichting op het verschil tussen de goedgekeurde begroting en de realisaties. In het bijgewerkt STEVIN jaarwerkplan is een volledig meerjarig financieel overzicht opgenomen over de periode 2004 t/m In de realisatie zijn opgenomen: 1) de daadwerkelijk ontvangen bijdragen van de financiers; 2) daadwerkelijke betalingen aan projectkosten en gedane committeringen voor O&O en demoprojecten. Andere committeringen voor kortlopende educatieve projecten, master classes en netwerksubsidies worden door de NTU niet in de realisaties opgenomen maar deze worden hieronder wel apart opgesomd per deelbudget en zijn ook verwerkt in de meerjarenbegroting zoals opgesteld door het Programmabureau en opgenomen in het STEVIN Werkplan Nadere toelichting inkomsten In het kader van het Vlaams-Nederlandse STEVIN programma is in 2004 door de gezamenlijke financiers afgesproken dat het STEVIN programma volgens de standaard verdeling 1/3 2/3 gefinancierd zou worden. Jaarverslag 2009 STEVIN-programma definitieve versie - p. 7/13

8 Daarnaast werd overeengekomen dat een klein deel van het Nederlandse bijdrage zou bestaan uit een bijdrage in nature vanuit het NWO IMIX-programma dat eind 2002 was gestart. Het IMIX-programma was opgestart met een bedrag van dat NWO oorspronkelijk beschikbaar had gesteld voor de start van het BaTaVo programma dat door de ineenstorting van L&H niet was doorgegaan. Afgesproken is dat de matching bijdrage vanuit NWO IMIX aan het Vlaams-Nederlandse STEVIN programma zou bedragen. De IMIX projecten zijn reeds in 2003 gestart en in 2009 afgerond. De discussie over de manier waarop de IMIX-resultaten in natura zullen worden overgedragen aan de Nederlandse Taalunie is afgerond en Vlaanderen heeft ondertussen het matchende bedrag (125K) overgemaakt. Ook heeft Vlaanderen op basis van het opleveren van de Zelfevaluatie, de Factfile en het protocol voor de eindevaluatie en het voorlopig jaarverslag 2009 de laatste tranche overgemaakt. NTU moet de EZ bijdrage voor 2009 nog opvragen. Herziene begroting 2009 d.d. mei 2009 ( ) Inkomsten MVG-AWI EZ (IOP en CIC) NWO-GW, NWO-EW en NWO-AB OCW 0 0 Realisatie 1/1/2009 t/m 31/12/2009 ( ) Totaal inkomsten Uitgaven reeds toegekend NWO IMIX betalingen projecten 1e oproep betalingen projecten 2 e oproep tender betalingen projecten 2e oproep - open call betalingen projecten 3 e oproep tender betalingen projecten 3e oproep - open call betalingen demonstratieprojecten uitgaven flankerende activiteiten uitgaven onderhoud en beheer uitgaven Programmabureau NTU coordinatorkosten totaal uitgaven Rente-inkomsten Nadere toelichting Rente-inkomsten De rente-inkomsten vallen bijna ruim 40% hoger uit dan begroot: in plaats van met name omdat betalingen later worden gedaan dan begroot. Gezien het feit dat projecten later bedragen opvragen of later dan gepland worden afgesloten, kan men verwachten dat ook in de komende periode nog behoorlijke rente-inkomsten ingeboekt kunnen worden. De rente-inkomsten zijn berekend op dagbasis à rato van 2,5% (tot 31/12/2009) aangevuld met een prognose gebaseerd op een benadering van de daadwerkelijke saldi (eveneens aan 2,5%). Jaarverslag 2009 STEVIN-programma definitieve versie - p. 8/13

9 Nadere toelichting uitgaven Toelichting uitgaven O&O projecten en demonstratieprojecten Van de projectkosten (O&O projecten, tenderprojecten, demonstratieprojecten) is reeds k van de in de verschillende rondes gecommitteerde k uitbetaald. Voor de begroting en de realisatie 2009 zie tabel hieronder. Herziene begroting Betaling/Committering d.d. mei 2009 ( ) Realisatie 2009 ( ) projecten 1e oproep projecten 2e oproep tenders projecten 2e oproep - open call projecten 3e oproep tender (SoNaR) projecten 3e oproep - open call demonstratieprojecten Toelichting uitgaven Onderhoud en beheer, Programmabureau en NTU coördinatorkosten Herziene begroting 2009 d.d. mei 2009 ( ) Realisatie 2009 ( ) Uitgaven uitgaven onderhoud en beheer uitgaven Programmabureau NTU coördinatorkosten De geplande uitgaven voor onderhoud en beheer (TST-Centrale) komt overeen met het daarvoor begrote bedrag. Het zelfde geldt voor de uitgaven ten behoeve van het Programmabureau (NWO en Agentschap NL). Het PB werkt net als de projecten op basis van resultaat, er worden geen werkelijke kosten gedeclareerd. Voor de NTU was voor dit jaar gereserveerd. In de loop van het jaar is besloten dat, als de renteinkomsten mee zouden vallen, dit bedrag tot maximaal zou worden opgehoogd. Dit gehele bedrag is gedeclareerd. Volgens opgave van de NTU waren de werkelijke kosten hoger. Toelichting uitgaven Flankerende activiteiten De uitgaven in het kader van het flankerend beleid zijn dit jaar wederom lager uitgevallen dan begroot. Naast die hieronder vermelde daadwerkelijk uitgaven is in 2009 ook een aantal nieuwe posten gecommiteerd (een nadere specificatie is verderop bij de verschillende subbudgetten te vinden). Specificatie uitgaven flankerende activiteiten 2009 Herziene* Realisatie Activiteit begroting ( ) 2009 ( ) soort uitgave Vergader- en kantoorkosten betaald door NTU eigen activiteiten STEVIN project TST op wikipedia eigen activiteiten IPR workshops PC eigen activiteiten Roadmap workshops WGFA eigen activiteiten STEVIN programmadag eigen activiteiten Netwerksubsidies netwerksubsidies Voorbereiding eindmeting/evaluatie nulmeting en evaluatie Kosten WIKI interne communicatie Externe Communicatie externe communicatie Educaronde/ Master classronde educa activiteiten Totaal uitbetaald Jaarverslag 2009 STEVIN-programma definitieve versie - p. 9/13

10 * Deze herziene begroting is in juni 2009 goedgekeurd door het TST-bestuur. Nadere toelichting betalingen uit budget eigen activiteiten Voor kantoor- en vergaderkosten NTU werd in het werkplan voor de periode een bedrag van in totaal gereserveerd, ervan uitgaande dat het aantal vergaderingen aan het eind van het programma zal dalen en dientengevolge ook de kosten die daarmee samenhangen. In 2009 is uiteindelijk uitgegeven. Het grootste deel van de kosten betreft vacatiegelden voor leden van het TST-bestuur, de PC, de WGFA en de Prijzencommissie als ook de vergaderkosten van het TST-bestuur en de Prijzencommissie. De vergaderkosten van de PC en de WGFA worden betaald door NWO en Agentschap NL vanuit het programmabureaubudget. Het project TST op Wikipedia is nu ingebed in een vervolgaanvraag op het eerder gehonoreerde TST op Kennislink project (zie overzicht committeringen gedaan in 2009 die nog niet tot uitbetaling hebben geleid. De begrote kosten zijn teruggebracht tot (zie STEVIN Werkplan ). In tegenstelling tot de planning hebben dit jaar geen IPR-workshops of Roadmap workshops plaatsgevonden. Voor de organisatie van die workshops die nu in 2010 moeten plaatsvinden zijn wel specifiek verantwoordelijke PC-leden aangewezen die de organisatie in samenwerking met het Programmabureau zullen oppakken. De kosten voor de interne STEVIN programmadag zijn dit jaar ruim binnen de begrote grenzen gebleven. De rekening voor de zaalhuur bij de Universiteit van Tilburg ( 717,00) moet nog betaald worden. Nadere toelichting betalingen uit budget netwerksubsidies In 2009 zijn tot nu toe (d.d. 1 oktober 2009) de volgende netwerksubsidies uitbetaald: Netwerksubsidie CLIN (reeds begroot in 2008) Netwerksubsidie TLT 2009 Groningen (reeds begroot in 2008) Netwerksubsidie St. Maartenskliniek Symposium ISTT Netwerksubsidie Flevum Zorglandschap van Morgen Totaal uitbetaalde netwerksubsidies In 2009 zijn nog tween nieuwe aanvragen voor netwerksubsidies toegekend: Netwerksubsidie CLIN Netwerksubsidie DIR Nadere toelichting betalingen uit budget nulmeting en evaluatie De opdracht aan een consultant die de externe evaluatie/eindmeting kan uitvoeren is in 2009 opgesteld en uiteindelijk toegekend aan Technopolis. Het begrote voorschot zal pas begin 2010 worden uitbetaald. Nadere toelichting betalingen uit budget interne communicatie De KU Leuven heeft ontvangen (zijnde het saldo rekening 2007/2008 en het voorschot 2009) voor de kosten van het hosten van de STEVIN wiki. Nadere toelichting betalingen uit budget externe communicatie: DIXIT Op deze post zijn in 2009 nog geen betalingen gedaan. Wel is een bedrag ( 6.000) gecommitteerd voor een nieuwe DIXIT die eind dit jaar is verschenen. Nadere toelichting betalingen uit budget educatieve activiteiten In 2009 heeft de voorschotbetaling plaatsgevonden van het in 2008 toegekende Educaproject Diademo. De ronde 2009 heeft geleid tot de toekenning van 2 additionele projecten die echter pas in de loop van 2010 of begin 2011 tot uitbetaling zullen leiden (zie hieronder). Educaronde 2009: Kennislink Master classronde 2009 TST in NL-talige overheidsdiensten Jaarverslag 2009 STEVIN-programma definitieve versie - p. 10/13

11 Overzicht publicaties en activiteiten STEVIN 2009 Een cumulatief overzicht is opgenomen in de STEVIN FactFile en op de STEVIN website). In tijdschriften 1. [DISCO] Cucchiarini, C., A. Neri & H. Strik (2009), Oral Proficiency training in Dutch L2: the Contribution of ASR-based corrective feedback, Speech Communication 51 (10), October 2009, pp [DUOMAN] He J., Weerkamp W.W., Larson M., de Rijke M., An Effective Coherence Measure to Determine Topical Consistency in User Generated Content, International Journal on Document Analysis and Recognition, [DUOMAN] Hofmann K., Balog K., Bogers T., de Rijke M., Contextual Factors for Finding Similar Experts, Journal of the American Society for Information Science and Technology, [DUOMAN] Tsagkias E., Larson M., de Rijke M., Predicting Podcast Preference: An Analysis Framework and its Application, Journal of the American Society for Information Science and Technology, [IRME] Grégoire, N. (accepted), 'DuELME: A Dutch Electronic Lexicon of Multiword Expressions, Journal of Language Resources and Evaluation, special issue on Multiword Expressions. 6. [MIDAS] Gemmeke, J., H. Van hamme, B. Cranen, L. Boves (submitted), Compressive Sensing for Missing Data Imputation in Noise Robust Speech Recognition. Submitted to IEEE-Journal of selected topics in Signal Processing. 7. [PACOMT] Van den Bogaert, J. (2009). The emergence of hybrid machine translation systems and their integration into business processes. Berkeley Globalization Conference. Journal of Internationalisation and Localisation. 8. [PACOMT] Vandeghinste, V. (2009). Scaling up a Hybrid MT System: From Low to Full Resources. In Linguistica Antverpiensia 8/2009. In conference proceedings 1. [AUTONOMATA TOO] Heuvel, H. van den, Reveil, B., Martens, J-P., D'hoore, B. (2009): "Pronunciationbased ASR for names", in Proceedings Interspeech2009, Brighton, UK 2. [CORNETTO] Tjong Kim Sang, E. and K. Hofmann: "Lexical Patterns or Dependency Patterns: Which Is Better for Hypernym Extraction?". Submitted to EACL [DUOMAN] Balog K., de Rijke M., Franz R., Peetz H., Brinkman B., Johgi I., Hirschel M., SaHaRa: Discovering Entity-Topic Associations in Online News, 8th International Semantic Web Conference (ISWC 2009): Springer, October, [DUOMAN] Hofmann K., Tsagkias E., Meij E J., de Rijke M., The Impact of Document Structure on Keyphrase Extraction, ACM 18th Conference on Information and Knowledge Managment (CIKM 2009), Hong Kong, ACM, November, [DUOMAN] Jijkoun V., Hofmann K. Generating a Non-English Subjectivity Lexicon: Relations That Matter. In Proceedings of12th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2009), [DUOMAN] Tsagkias E., de Rijke M., Weerkamp W.W., Predicting the Volume of Comments on Online News Stories, ACM 18th Conference on Information and Knowledge Managment (CIKM 2009), Hong Kong, ACM, November, [DUOMAN] Tsagkias E., Larson M., de Rijke M. Exploiting Surface Features for the Prediction of Podcast Preference. 31st European Conference on Information Retrieval Conference (ECIR 2009), April, [LASSY] Van Noord, G. Learning Efficient Parsing. In: EACL The 12th Conference of the European Chapter of the Association for Computational Linguistics. 30 March - 3 April 2009, Athens, Greece. pp [MIDAS] Gemmeke J. and Cranen B., (2009), Missing Data Imputation using Compressive Sensing Techniques for Connected Digit Recognition, In Proceedings of the International Conference on Digital Signal Processing (DSP 2009) 10. [MIDAS] Gemmeke J. and Cranen B., (2009), Sparse imputation for noise robust speech recognition using soft masks, in Proceedings of the International Conference on Acoustics, Speech and Signal Processing (ICASSP 2009), pp [MIDAS] Gemmeke, J., L. ten Bosch, L.Boves, and B. Cranen (submitted to EUSIPCO 2009), Using sparse representations for exemplar based continuous digit recognition 12. [MIDAS] Gemmeke, J., Y. Wang, M. Van Segbroeck, B. Cranen, H. Van hamme (submitted to Interspeech 2010), Application of noise robust MDT speech recognition on the SPEECON and SpeechDat-Car databases Jaarverslag 2009 STEVIN-programma definitieve versie - p. 11/13

12 13. [MIDAS] Wang Y., and H. Van hamme (NAG/DAGA 2009), Speed improvements in a Missing Data-based speech recogniser by Gaussian selection. Paper No [MIDAS] Wang, Y., R. Vuerinckx, J. Gemmeke, B. Cranen, H. Van hamme (NAG/DAGA 2009), Evaluation of missing data techniques for in-car automatic speech recognition. Paper No [N-BEST] Despres, J., P. Fousek, J.-L. Gauvain, S. Gay, Y. Josse, L. Lamel, A. Messaoudi, "Modeling Northern and Southern Varieties of Dutch for STT", Proceedings ISCA Interspeech, Brighton, September 2009, pp [N-BEST] Huijbregts, M., R. Ordelman, L. van der Werff and F. de Jong, "SHoUT, the University of Twente N-Best Submission", Proceedings ISCA Interspeech, Brighton, September 2009, pp [PACOMT] Tiedemann, J., & Kotzé, G. (2009). A Discriminative Approach to Tree Alignment. Proceedings of RANLP 18. [PACOMT] Vandeghinste, V., (2009), Tree-based Target Language Modeling. In Màrquez L. and Somers H. (eds.), Proceedings of the 13th Annual conference of the European Association for Machine Translation (EAMT 2009). European Association for Machine Translation, pp [SPRAAK/N-BEST] Demuynck, K., A. Puurula, D. Van Compernolle, P. Wambacq: The ESAT 2008 System for N-Best Dutch Speech Recognition Benchmark, in Proceedings IEEE ASRU 2009, Merano, Italy, December [SPRAAK] Demuynck, K., J. Roelens, D. Van Compernolle, P. Wambacq (2008), SPRAAK: an open source SPeech Recognition and Automatic Annotation Kit, In Proc. Interspeech 2008, page 495, Brisbane, Australia, September 2008 In workshop proceedings 1. [CORNETTO] Vossen, P., I. Maks, R. Segers & H. van der Vliet (2008). 'Cornetto: lexical units, synsets and ontological types combined', Workshop on Linguistic Studies of Ontology: From Lexical Semantics to Formal Ontologies and Back, (Seoul) (to appear) 2. [DAESO] Hendrickx, I., W. Daelemans, E. Marsi and E. Krahmer (to appear) 'Reducing Redundancy in Multi-document Summarization Using Lexical Semantic Similarity'. Proceedings of the 2009 Workshop on Language Generation and Summarisation (ULG+Sum 2009), Association for Computational Linguistics, Singapore, pp [DAESO] Marsi, E., E. Krahmer, I. Hendrickx, and W. Daelemans (to appear), 'Is sentence compression an NLG task?'. In: Proceedings of 12th European Workshop on Natural Language Generation (ENLG 2009), Athens, Greece, pp [DAESO] Wubben, S., A. van den Bosch, E. Krahmer, and E. Marsi (to appear), 'Clustering and Matching Headlines for Automatic Paraphrase Acquisition'. In: Proceedings of ENLG 2009, Athens, Greece, pp [DUOMAN] Balog K., He J., Hofmann K., Jijkoun V B., Monz C., Tsagkias E., Weerkamp W.W., de Rijke M. The University of Amsterdam at WePS2. In: Second Web People Search Evaluation Workshop (WEPS 2009), April, [DUOMAN] Hofmann K., de Rijke M., Huurnink B., Meij E J. A Semantic Perspective on Query Log Analysis. Working Notes for the CLEF 2009 Workshop, September, [LASSY] Bouma, G. and J. Spenader. The Distribution of Weak and Strong Object Reflexives in Dutch. In: Frank van Eynde, Anette Frank, Koenraad de Smedt, Gertjan van Noord (editors), Proceedings of the Seventh International Workshop on Treebanks and Linguistic Theories (TLT 7). January 23-24, 2009, Groningen, The Netherlands. LOT Occasional Series 8. [LASSY] Schuurman, I., V. Hoste and P. Monachesi. Cultivating Trees: Adding Several Semantic Layers to the Lassy Treebank in SoNaR. In: Frank van Eynde, Anette Frank, Koenraad de Smedt, Gertjan van Noord (editors), Proceedings of the Seventh International Workshop on Treebanks and Linguistic Theories (TLT 7). January 23-24, 2009, Groningen, The Netherlands. LOT Occasional Series. 9. [LASSY] Tjong Kim Sang, E.F. To Use a Treebank or Not - Which Is Better for Hypernym Extraction? In: Frank van Eynde, Anette Frank, Koenraad de Smedt, Gertjan van Noord (editors), Proceedings of the Seventh International Workshop on Treebanks and Linguistic Theories (TLT 7). January 23-24, 2009, Groningen, The Netherlands. LOT Occasional Series. 10. [LASSY] Van Noord, G. and G. Bouma. Parsed Corpora for Linguistics. In: Proceedings of EACL Workshop The Interaction between Linguistics and Computational Linguistics: Virtuous, Vicious or Vacuous? Athens, pp [LASSY] Van Noord, G. Huge Parsed Corpora in LASSY. In: Frank van Eynde, Anette Frank, Koenraad de Smedt, Gertjan van Noord (editors), Proceedings of the Seventh International Workshop on Treebanks Jaarverslag 2009 STEVIN-programma definitieve versie - p. 12/13

13 and Linguistic Theories (TLT 7). January 23-24, 2009, Groningen, The Netherlands. LOT Occasional Series 12. [SONAR] Schuurman, I., V. Hoste and P. Monachesi (2009). Cultivating Trees: Adding Several Sematic Layers to the Lassy Treebank in SoNaR. In Proceedings of the International Workshop on Treebanks and Linguistic Theories (TLT 7). Book editing 1. [LASSY] Van Eynde, F., A. Frank, K. de Smedt, G. van Noord (eds), Proceedings of the Seventh International Workshop on Treebanks and Linguistic Theories (TLT 7). January 23-24, 2009, Groningen, The Netherlands. LOT Occasional Series Book contributions 1. [CORNETTO] Vossen P., Fellbaum C. (2009) "Universals and Idiosyncracies in Multilingual WordNets", in: Handbook Multilingual Lexicography, Oxford University Press, [DUOMAN] Balog K., Azzopardi L A., de Rijke M. Resolving Person Names in Web People Search. Weaving Services, Locations, and People on the WWW: Springer, July, [DUOMAN] Fissaha Adafre S., de Rijke M., Tjong Kim Sang E F. Completing Lists of Entities. In: Recent Advances in Natural Language Processing V: John Benjamins Publishing Company, [DUOMAN] Hendrickx I., Hoste V. Coreference Resolution on Blogs and Commented News. In: S. Lalitha Devi, A. Branco, and R. Mitkov (Eds.): DAARC 2009, Lecture Notes in Artificial Intelligence 5847, pp , Springer-Verlag Berlin Heidelberg. 5. [PACOMT] Tiedemann, J. (to appear) "News from OPUS - A Collection of Multilingual Parallel Corpora with Tools and Interfaces. In N. Nicolov and K. Bontcheva and G. Angelova and R. Mitkov (eds) Recent Advances in Natural Language Processing, Volume V, John Benjamins, Amsterdam/ Philadelphia Books 1. [IRME] Nicole Grégoire (2009 to appear), Untangling Multiword Expressions, PhD Thesis, Utrecht 10 november 2009 Activiteiten georganiseerd/medegefinancierd door het STEVIN-programma in 2009 January 22 Groningen CLIN 19th meeting of computational linguists in the Netherlands January Groningen TLT workshop April 24 Nijmegen OSTT-symposium over taaltechnologie in de zorg June Groningen TABU-dag 2009 May 26 Den Haag Zorglandschap van Morgen (Flevum NV) September 4 Tilburg STEVIN programme meeting* Publicaties over (projecten gefinancierd door) STEVIN voor een breed publiek in 2009 Dixit speciale editie "STEVIN en onderwijs" 2009 "Experiment NL: Wetenschap in Nederland", deel 2, Uitgave van NWO in samenwerking met Quest. Hierin worden 4 STEVIN demonstratieprojecten beschreven: AAP, Spelspiek, Web Assess, Primus. Jaarverslag 2009 STEVIN-programma definitieve versie - p. 13/13