TermTreffer in de praktijk: tips voor de gebruikers December 2015

Transcriptie

1 TermTreffer in de praktijk: tips voor de gebruikers December Wat is automatische termextractie 2. Toepassingen van termextractie 3. De werking van de TermTreffer 4. De TermTreffer in gebruik Deze informatie is bedoeld voor de beginnende gebruiker van de TermTreffer. De handleiding bij de TermTreffer, die u eveneens op aantreft, laat u zien hoe de knoppen werken. Dit document is bedoeld als achtergrondinformatie. U kunt hier bijvoorbeeld lezen wat termextractie is, hoe u ermee kunt werken en wat u wel en niet van de TermTreffer kunt verwachten. Als u vragen hebt over de TermTreffer, over de handleiding, over dit documentje of over wat dan ook met betrekking tot de TermTreffer, dan kunt u die stellen op Steunpunt@vu.nl. 1. Wat is automatische termextractie Een termextractor weet niet wat een term is en spreekt geen Nederlands. Het is een tool die op basis van taalspecifieke kennis, van statistische berekening of op basis van beide kan bepalen welke woorden en woordgroepen specifiek zijn voor een bepaalde tekst. Specifiek betekent in dit geval: afwijkend van wat je mag verwachten op basis van andere teksten. Als er in een tekst relatief veel vloeken staan, dan zal een goede termextractor die vloeken als specifiek taalgebruik registreren. Of u dat dan termen noemt, dat maakt niet uit, de termextractor ziet die vloeken dan als termen. Relatieve frequentie Een woord hoeft in absolute zin niet zo heel frequent in een tekst te staan om toch een hogere frequentie te hebben dan je zou verwachten. Als op één pagina drie keer het woord onderlijkstrekker voorkomt, terwijl dat woord in een controlecorpus van tienduizend pagina s ook drie keer voorkomt, dan kan dat woord als term worden aangemerkt. Als op die pagina het woord boot vijf keer voorkomt, maar dat woord komt vijfhonderd keer voor in het controlecorpus, dan zou de termextractor kunnen concluderen dat boot in de onderzochte tekst weliswaar vaker voorkomt dan onderlijkstrekker, maar dat dat laatste woord toch relatief frequenter is, en dus eerder een term is. Een rangorde van mogelijke termen Doordat een termextractor de relatieve frequentie meet, geeft de software een waarde aan de term. In de TermTreffer is dat een waarde tussen 0 en 1. Daarmee ontstaat een rangorde. Een term met een waarde 1 krijgt van de termextractor de hoogste graad van zekerheid, een term met waarde 0 wordt wel degelijk als term gepresenteerd, maar met de laagste graad van zekerheid. De rangschikking van de termen is een handig hulpmiddel voor de gebruiker.

2 Taalspecifieke kennis We vermeldden al dat een termextractor met taalspecifieke kennis kan werken. Termen zijn meestal zelfstandige naamwoorden, soms werkwoorden en ook nog wel adjectieven. Lidwoorden en voorzetsels zijn heel frequent in alle tekst, maar kunnen buiten beschouwing worden gelaten. Een taalspecifieke termextractor herkent de woordsoorten in de tekst en houdt daar rekening mee. Vervolgens kan een termextractor rekening houden met taalspecifieke regels voor woordvorming: in het Nederlands kun je bijvoorbeeld samenstellingen van zelfstandige naamwoorden maken, of met behulp van het achtervoegsel achtig een adjectief maken van een zelfstandig naamwoord (taalachtig). Tenslotte is het mogelijk om op basis van de grammatica van een taal woordgroepen te herkennen zoals de uitgeprocedeerde asielzoeker. Dat zijn dan mogelijk termen. Een opeenvolging van woorden als tegen de uitgeprocedeerde is volgens de grammatica geen (volledige) woordgroep en die zal dan ook niet als mogelijke term worden herkend. Taalspecifieke kennis is heel nuttig bij termextractie, maar brengt ook nadelen met zich mee. De extractor is uitsluitend nog bruikbaar voor één taal. Bovendien is talige kennis complexe materie, waardoor onvermijdelijk fouten gemaakt worden. Statistische bewerkingen De TermTreffer kent twee strategieën voor de statistische methoden voor de vaststelling van termen: een strategie voor het vinden van enkelvoudige termen en een strategie voor het vinden van meervoudige termen, de woordgroepen. Enkelvoudige termen worden afgezet tegen een referentiecorpus. Dat referentiecorpus bevat bij voorkeur alledaags, weinig specifiek taalgebruik. Het mag ook niet te klein zijn. Hoe groter en algemener het referentiecorpus is, des te beter kan de relatieve frequentie van de kandidaat termen uit het invoerbestand worden berekend. Bij de meervoudige termen wordt de waarschijnlijkheid berekend dat de leden van de woordgroep gecombineerd worden en als combinatie in een bepaalde frequentie voorkomen. Als die frequentie hoger is dan verwacht mag worden, herkent de TermTreffer een woordgroep als term. Voor de gevorderde gebruiker biedt de TermTreffer de mogelijkheid zowel de taalafhankelijke module als de statistische bewerkingen aan te passen in de pipeline. Dat kan in specifieke gevallen winst opleveren. De gevolgen van aanpassingen zijn echter lang niet altijd duidelijk en goed voorspelbaar. Iedereen die snel over goede uitvoer wil beschikken, kan het best zich tot de standaardinstellingen beperken. In onze workshops zullen we zeker op de pipelines ingaan. We beperken ons hier tot een waarschuwing: pas de standaardpipeline niet aan! Als u dat lukt, verandert u de standaard voor alle gebruikers. 2. Toepassingen van termextractie Dat we spreken van termextractie kan de indruk wekken dat een extractor als de TermTreffer uitsluitend te gebruiken is om termen uit teksten te halen. Dat is niet het geval. Zoals we al meldden, weet een termextractor niet wat een term is, maar berekent hij in hoeverre woorden en woordgroepen relatief veel in een tekst voorkomen. Een termextractor signaleert elk afwijkende woordgebruik. Daarom zou je een termextractor ook kunnen gebruiken om te zien hoe begrijpelijk een tekst voor

3 algemeen publiek is, of een tekst veel ouderwets taalgebruik bevat, moeilijk is etc. Nu u weet hoe een termextractor in grote lijnen werkt, kunt u hem ook op creatieve wijze inzetten en de uitvoer naar waarde schatten. Bedenk daarbij dat het heel belangrijk is een referentiecorpus te kiezen dat voldoende groot is en dat precies het contrast aangeeft dat u zoekt. Als u bijvoorbeeld naar formeel taalgebruik zoekt, moet uw referentiecorpus uit heel gewoon informeel taalgebruik bestaan. 3. De werking van de termtreffer De specifieke werking van de TermTreffer, en dan met name de interface, staat in de handleiding van Gridline beschreven. Om de handleiding te begrijpen komt de achtergrondkennis die hierboven werd gegeven goed van pas. Daarnaast is het goed om te weten welke stappen in het programma achtereenvolgens gezet kunnen worden. In de bovenste balk vindt u de knoppen corpora, termbanken, resultaten, pipelines en beheer. Onder corpora vindt u de grote referentiecorpora die de TermTreffer aanbiedt, maar ook de verzamling teksten die u zelf aan het programma wilt aanbieden of aangeboden heeft. U kunt hier zelf zo n tekst laden en door het programma halen. Onder resultaten vindt u de uitvoer van de termtreffer voor uw invoerteksten. U kunt de resultaten bekijken, bewerken en vergelijken met andere resultaten. Een bewerkt resultaat kunt u als termbestand opslaan. Zo n termbestand komt dan onder termbanken terecht. Hier vindt u grote databanken die voorgeselecteerd zijn en waarvan u gebruik kunt maken, maar ook uw eigen termbanken. Onder pipelines vindt u de instellingen van de TermTreffer. Gewone gebruikers kunnen de instellingen niet wijzigen, zij kunnen alleen gebruik maken van de standaardinstellingen. Die is zo samengesteld dat in alle gevallen een goed resultaat verwacht mag worden. Als u met uw account wel de pipelines kunt wijzigen, verzoeken we u dringend niet aan de standaard instellingen te komen. In dat geval zou u de instellingen voor alle gebruikers veranderen! De knop beheer is alleen relevant voor beheerders van de TermTreffer. Meer en meer specifieke informatie vindt u in de handleiding. 4. TermTreffer in gebruik Een corpus laden In de handleiding staat duidelijk hoe dit werkt. Een termenbank uit een corpus extraheren met de standaard pipeline Ook dit zal geen problemen opleveren. Als u een corpus hebt geïmporteerd of uit de bestanden onder de knop corpora geselecteerd hebt, gebruikt u eenvoudigweg de knop termbank extraheren. U gebruikt dan de standaard pipeline. Het resultaat een naam geven en beschrijven De TT meldt rechtsboven dat de taak in behandeling is en vervolgens dat het resultaat klaar staat. Ga naar het resultaat. Met de knop bewerken, links op het venster, kunt u het

4 resultaat een naam geven en de inhoud beschrijven. Let op: u creëert daarbij geen nieuw bestand, zoals u gewend bent als u met Word werkt en een bestand een nieuwe naam geeft. Er bestaat geen bestand meer met de oude naam! Als u een tweede versie wilt, moet u die opnieuw via de pipeline aanmaken. Het resultaat interpreteren De handleiding helpt u op weg. We raden u aan in de bovenste balk bij kolommen de instellingen te selecteren zoals hieronder. Als u dan vervolgens op relevantie termen ordent (zie de handleiding) ziet u welke rangorde door de TT aan de termen is toegekend. De termen hebben een waarde tussen 0en 1; hoe hoger de waarde, hoe zekerder de TT over de term is. Termen bewerken In de handleiding ziet u hoe u termen kunt bewerken. In het blok aan de rechterzijde van het scherm kunt u een corpus of een termenbank openen. Als u het corpus opent waaruit de termenbank geëxtraheerd is, kunt u per term nagaan hoe die term in het bestand gebruikt werd en u kunt ook besluiten contexten aan de termenbank toe te voegen. Dat levert goed gedocumenteerde termenbanken op. De handleiding wijst de weg. Beoordeling van de resultaten Volgens de regels van de kunst zou de beoordeling van de uitvoer van een termextractor kunnen plaatsvinden aan de hand van een gold standard. Dat is de ideale uitvoer voor een tekst. Die gold standard maken is echter zeer tijdrovend en het resultaat is altijd discutabel. Een goede gold standard moet op een niet te kleine hoeveelheid tekst gemaakt worden. Op een kleine hoeveelheid tekst is de statistiek niet betrouwbaar. Maar in een grote lap tekst is het handmatig markeren van termen zeer tijdrovend. En wat is wel en wat is geen term? Dat is heel moeilijk vast te stellen. Twee experts kunnen op goede gronden tot zeer verschillende uitkomsten komen. Gegeven een gold standard is het mogelijk te berekenen hoeveel termen in de uitvoer van de TermTreffer ten onrechte genoemd worden (de ruis, resulterend in een lage precision) en hoeveel termen er terecht zijn geselecteerd (het signaal, ook recall genoemd). Los van de problemen met het maken van een betrouwbare gold standard geldt dat een termextractor nooit de ideale uitvoer zal halen. Maatregelen om de recall

5 optimaal te maken zullen in de regel de precision doen afnemen. Om zo weinig mogelijk termen te missen, neem je er veel op en daarmee groeit het aantal ten onrechte geselecteerde termen. Dat recall en precision communicerende vaten zijn, valt eenvoudig in te zien: 100 procent recall is gegarandeerd als men alle woorden en woordgroepen in de tekst als termen selecteert. De precision is dan echter wel zeer, zeer laag en het resultaat is natuurlijk nutteloos. Exporteren en importeren Resultaten exporteren is eenvoudig als u de handleiding volgt. Importeren niet. Als u importeert, gebruik dan bij voorkeur een.csv bestand dat er als volgt uitziet: Als de kolommen andere namen hebben, lukt de import niet. Bij kolommen die in het voorbeeld een waarde hebben, is het invoeren van een waarde verplicht. Waarden van het verkeerde typen zorgen eveneens voor problemen. Mocht het importeren niet lukken, maak uw bestand dan zoveel mogelijk gelijk aan dit voorbeeld. De geëxporteerde.csv bestanden kunnen uiteraard eenvoudig vergeleken en gemanipuleerd worden, om ze vervolgens weer in de TT te laden. Ook export naar allerlei andere bestanden, waaronder.tbx (voor termbeheersystemen) is mogelijk. Termenbanken vergelijken U kunt de nieuwe termenbank vergelijken met een bestaande termenbank. Om dat snel te kunnen doen kunt u in het rechterblok de tweede termenbank openen. Om alle kolommen te kunnen zien, moet u de breedte van de kolommen aanpassen door met de muis de marges te verzetten. In de kolom freq. termbank ziet u de frequentie van de andere termbank. Als die frequentie 0 is, komt die term dus niet in de andere termbank voor. Door op frequentie termbank te selecteren kunt u eenvoudig zien wat de overlap en het verschil tussen de termenbanken is. In het voorbeeld is de rechtertermenbank een geïmporteerde termenlijst met termen die allen de frequentie 1 hebben. Met de functies overlap en verschil kunt u snel een termbank maken met uitsluitend gedeelde termen of juist met alleen de nieuwe termen. Als u bijvoorbeeld de nieuwe termen verzamelt en die toevoegt aan het al bestaand bestand, kunt u zo de termen die in uw tekstbestand voorkomen maar nog niet bekend waren, aan de bestaande databank toevoegen. In de handleiding staat uitvoerig beschreven hoe dat allemaal in zijn werk gaat, maar met uitzondering van het vergelijken van de termbanken. Dat komt doordat de

6 mogelijkheid om de overlap en het verschil van twee termenbanken vast te stellen in een later stadium is toegevoegd. Hoe dat in zijn werk gaat, vindt u in een bijlage bij de handleiding. Te vermijden woorden zoeken Misschien hebt u naast een lijst met termen ook een lijst met woorden en woordgroepen die juist niet gebruikt mogen worden. Als u wilt weten of die verboden woorden toch in het tekstbestand voorkomen, kunt u dezelfde procedure gebruiken als bij de termenlijsten. Als het goed is, is er geen overlap tussen de ongewenste termen en de gemaakte termenlijst. Door de pipeline te manipuleren kunt u een uitdraai maken met alle woorden uit de tekst. Door dan de overlap met het bestand met te vermijden termen vast te stellen, weet u zeker dat die termen nergens in het bestand voorkomen. Maar het manipuleren van de pipelines is voor de gevorderde gebruiker.