Annotatie van de videodata in het Corpus NGT

Transcriptie

1 1/9 Annotatie van de videodata in het Corpus NGT Onno Crasborn & Inge Zwitserlood, 26 augustus Inleiding De videoopnames van het Corpus NGT zijn bij de eerste publicatie in september 2008 allemaal voorzien van ELAN-annotatiebestanden. Slechts een klein aantal (ong. 160 van de 2375) is ook daadwerkelijk gevuld met annotaties. Voor de overige videoclipjes is een leeg bestand toegevoegd om het gebruikers makkelijk te maken zelf annotaties toe te voegen, en om te zorgen dat dit zoveel mogelijk volgens conventies gebeurt die toekomstig gebruik (zoeken, vergelijken, samenvoegen) vergemakkelijken. In dit document worden de annotatiebestanden en de glosconventies uitgebreid beschreven. Daarnaast worden enkele suggesties gedaan voor eigen gebruik, en mogelijke toekomstige ontwikkelingen op een rijtje gezet. Voor de annotatiebestanden geldt net als voor de video- en audiobestanden de Creative Commonslicentie BY-NC-SA. Meer informatie hierover is te vinden op de corpuswebsite. Specificaties voor linguistic types en tiers De EAF-bestanden in het Corpus NGT tiers die waarschijnlijk voor een brede groep van gebruikers relevant zullen zijn. Enkel de glos-tiers zijn gevuld met annotaties, en voor slechts een beperkt aantal sessies. De specificatie van de bestanden is ook beschikbaar als ELANtemplate (CorpusNGT.etf), dat gebruikt kan worden om vergelijkbare EAF-bestanden voor nieuwe mediafiles aan te maken. (Hiervoor kan ook het script EafCopy.pl gebruikt worden; dit wordt beschreven in de sectie Scripts later in dit document. Het voordeel van de script-optie is dat voor een groot aantal bestanden ook het annotator en participant label al ingevuld kan worden voor de verschillende tiers, door dit in het basisbestand al in te vullen. Bij het gebruik van het templaat voor een enkel bestand kan dit evengoed achteraf in het aangemaakte EAFbestand ingevuld worden.) Aan de basis van de tiers liggen de volgende specificaties voor Linguistic Types: gloss translation remarks research Deze verschillen niet in eigenschappen, maar het verschil in naam vergemakkelijkt het zoeken in een specifieke groep tiers (bv. alleen glos-tiers). Voor allevier geldt: Stereotype: time subdivision Use controlled vocabulary: none ISO data category: not used

2 Conventies bij annotatie van de data in het Corpus NGT 2/9 Reference to graphics allowed: no Op basis van deze linguistic types zijn een aantal tiers aangemaakt voor elke sessie in het Corpus NGT. Hierbij is gekozen voor een systematisch gebruik van S1 en S2 om de activiteit van de linker- resp. rechtergebaarder in beeld te beschrijven. De lokatie van de gebaarders is door de gebruiker weliswaar zelf te bepalen, en men kan er ook voor kiezen om slechts één gebaarder weer te geven, maar voor het Corpus NGT geldt dat de cameraopstelling één van de twee combinaties, waarbij de gebaarders een beetje naar elkaar toe gedraaid lijken te zijn, als het meest prettig voorkomt. Daarnaast is in de tiereigenschappen een verwijzing naar de code voor de gebaarder in het Corpus NGT opgenomen (bv. S031). De volledige tiereigenschappen bestaan uit de volgende categoriën: Participant: de deelnemercode voor de betreffende gebaarder Annotator: de initialen van degene die de glossen heeft toegevoegd; dit blijft vooralsnog leeg voor de niet-glostiers. Tier color: hiervoor zijn twee waardes gebruikt, om de tiers voor de linker- en de rechtergebaarder visueel te onderscheiden. Links: RGB 0,0,51 (donkerblauw) Rechts: RGB 0,153,0 (grasgroen) De volgende tiers zijn in elk bestand te vinden: GlosL S1 GlosR S1 GlosL S2 GlosR S2 Vier tiers die de glossen voor de activiteit van de linker- (GlosL) resp. rechterhand (GlosR) van de linker- (S1) en rechtergebaarder (S2) bevatten. De conventies voor deze glossen staan in een sectie aan het eind van dit document. Tolk S1 Tolk S2 Interpreter S1 Interpreter S2 Vier tiers die een transcriptie van de Nederlandse (Tolk) en Engelse (Interpreter) voice-over van de tolk omvatten. Op dit moment is enkel een Nederlandse voiceover beschikbaar van een beperkt aantal sessies. Let op: als een vertaling gemaakt wordt van het videomateriaal, kan beter een nieuwe tier Vertaling of Translation gemaakt worden, om te benadrukken dat het tolken simultaan gebeurd is voor de hele sessie, en geen zin-voor-zinvertaling betreft. Opmerkingen S1 Opmerkingen S2 Twee tiers met ruimte voor opmerkingen over de linker- en rechtergebaarder. Scripts

3 Conventies bij annotatie van de data in het Corpus NGT 3/9 Er zijn een aantal scripts beschikbaar om informatie te wijzigen in alle EAF en of PFSXbestanden in een map. Pas op bij het gebruik hiervan: lees zorgvuldig de bijbehorende manual, en maak tevoren een backup van alle EAF/PFSX-bestanden in de map. De scripts zijn geschreven in PERL, en kunnen vanuit de Mac OS terminal aangeroepen worden. De scripts zijn getest op de set bestanden die medio 2008 voor het Corpus NGT gemaakt zijn. We kunnen niet garanderen dat het voor alle mogelijke ELAN-bestanden zal werken, noch dat ze bij mogelijke toekomstige versies van de EAF- en PFSX-specificaties zullen werken. Wees daarom zeer voorzichtig in het gebruik, en test uitgebreid of de resulterende bestanden wel goed werken. Bij voorkeur dient hiervoor kennis van XML aanwezig te zijn, opdat de orignele en gewijzigde bestanden ook in een XML-editor bekeken kunnen worden. De volgende scripts zijn beschikbaar: AddLinguisticType.pl Voegt een Linguistic Type toe voor alle bestanden in een map. AddTier.pl Voegt een tier toe voor alle bestanden in een map. EafCopy.pl Maakt EAF-files aan op basis van een dummy-bestand voor alle mediabestanden in een map. EafCopy2.pl Maakt EAF-files aan op basis van een dummy-bestand voor alle mediabestanden in een map. EafCopy3.pl Maakt EAF-files aan op basis van een dummy-bestand voor alle EAF-bestanden in een map. PfsxCopy.pl Maakt PFSX-files aan op basis van een dummy-bestand voor alle mediabestanden in een map. CorrectAnnotation.pl Verandert annotaties in alle EAF-bestanden in een map op basis van een tekstbestand met in de eerste kolom de te zoeken waarde en in de tweede kolom de vervangende waarde. Pas op: het script werkt zonder onderscheid voor alle tiers in een bestand. We hopen dat deze en vergelijkbare functies in de toekomst in ELAN zelf ingebouwd zullen worden. Glosconventies De glossen in het Corpus NGT zijn bedoeld om aan te geven waar in de tijd gebaren beginnen en eindigen, en om een verwijzing te vormen naar een lexicon. Het zijn dus geen vertalingen, maar idealiter pointers naar lemmata in een lexicon. Omdat er geen geschreven variant van gebarentaal in gebruik is en ook geen praktisch en veelgebruikt fonetisch notatiesysteem, zijn er Nederlandse woorden gebruikt voor die verwijzing. Ze benaderen

4 Conventies bij annotatie van de data in het Corpus NGT 4/9 (één van) de betekenis(sen) van het gebaar, maar de daadwerkelijke betekenis van de vorm wordt beschreven in het lexicon, en niet door de glos. Een uitzondering hierop vormen nietgelexicaliseerde vormen die geglost zijn met zie hieronder bij nummer 4. Hieronder worden de afspraken opgesomd die gebruikt zijn bij het aanmaken van de annotaties. Uit efficiencyoverwegingen is niet bij elk gebaar het lexicon van het Nederlands Gebarencentrum op internet geraadpleegd, hoewel het wel het doel was om glossen te gebruiken die verwijzen naar dat lexicon. Hierdoor zijn vermoedelijk een groot aantal inconsistenties ontstaan waar de gebruiker van de annotaties zich bewust moet zijn. Typ- en spelfouten zijn zoveel mogelijk verwijderd voor alle bestanden, maar slechts een deel van het materiaal is gevalideerd door het door een tweede annoteerder te laten nakijken. De praktijk leert dat er naast inconsistenties en interpretatieverschillen vele fouten in elk bestand zitten. Deze kunnen tijdens het gebruik door verschillende partijen zoveel mogelijk hersteld worden. Hiervoor is nog geen standaardprocedure beschikbaar; deze zal in de komende jaren nog ontwikkeld moeten worden. Gebruikers kunnen zich voor meer informatie wenden tot de corpusbeheerders De glossen slaan alleen op activiteiten van de handen, niet op activiteiten van het lichaam of het gezicht. (Ook al kunnen lichaam en gezicht ook betekenis uitdrukken.) Dus wanneer de gebaarder een gebaar maakt en daarbij het hoofd schudt, is alleen het gebaar geannoteerd, zonder ontkenning. 1. De gebaren zijn voorzien van glossen. Een glos bestaat meestal uit één Nederlands woord. Glossen zijn in hoofdletters getypt. o Bijvoorbeeld: HOND 2. Er is een aparte tier voor elke hand. Als een gebaar met de linkerhand is gemaakt, is dit geannoteerd op de LH-tier, als een gebaar met de rechterhand is gemaakt, staat dit op de RH-tier. Als een gebaar met twee handen wordt gemaakt, wordt dit geannoteerd op de LH-tier en de RH-tier. o Bijvoorbeeld: linkerhand rechterhand Dit geldt ook als er maar één hand beweegt in het gebaar (bijvoorbeeld in het gebaar voor KOFFIE ). 3. Sommige gebaren hebben een vaste vorm en betekenis, maar kunnen niet met één Nederlands woord gelabeld worden. Deze gebaren zijn geannoteerd door een (vaste) combinatie van Nederlandse woorden (hierbij zijn waar mogelijk de omschrijvingen van

5 Conventies bij annotatie van de data in het Corpus NGT 5/9 de lexicon-dvd s van het Nederlands Gebarencentrum aangehouden). Deze woorden worden door liggende streepjes verbonden. Voorbeelden: o FLUITJE_VAN_EEN_CENT o BETREKKING_HEBBEN_OP o BLAUWE_PLEK o NOG_NIET o DAT_IS_HEM_NOU / DAT_IS_HAAR_NOU o HET_EENS_ZIJN_MET 4. Voor sommige gebaren was het erg lastig om een Nederlands woord te vinden of een vaste combinatie van Nederlandse woorden, omdat deze gebaren zoveel betekenis tegelijk uitdrukken. In die gevallen is een omschrijving van de betekenis van het gebaar gegeven, in kleine letters. Vóór die omschrijving staat een apestaartje (@). In het algemeen betreft dit minder gelexicaliseerde, of morfologisch complexe, productieve vormen. o lopen de heuvel op. 5. Glossen zijn zo eenduidig mogelijk toegekend (dus: hetzelfde gebaar, dezelfde glos). Sommige gebaren verschillen echter alleen maar door een verschillend mondbeeld. In die gevallen zijn dan ook verschillende glossen gebruikt indien die ook in het NGc-lexicon als aparte items zijn opgenomen. o Bijvoorbeeld: BROER vs. ZUS : verschillende glossen door het verschillende mondbeeld. 6. Van elk gebaar is zo nauwkeurig mogelijk het begin en het eind aangegeven. Voor het bepalen van de gebaargrenzen zijn de volgende criteria gebruikt. Een gebaar begint: op het eerste frame waarin de hand(en) beginnen weg te bewegen vanaf de beginplaats van het gebaar, naar de eindplaats van het gebaar; of (als de handen niet door de ruimte bewegen): op het eerste frame waarin de handvorm begint te veranderen, bv. het sluiten van de hand in het gebaar voor MAN; of (als de handen niet door de ruimte bewegen en de handvorm niet verandert): op het eerste frame waarin de oriëntatie van de hand(en) begint te veranderen, bv. het omdraaien van de handen in het gebaar voor OVERLEDEN; Een gebaar eindigt: op het eerste frame waarin de handvorm begint te veranderen na het eind van het gebaar; of op het eerste frame waarin de hand(en) beginnen weg te bewegen van de eindplaats van het gebaar 7. Bij gebaren die met twee handen gemaakt worden bewegen de handen niet altijd precies tegelijk. Vaak blijft de ene hand nog een tijdje hangen, terwijl de andere hand alweer begonnen is met het volgende gebaar. Of de ene hand begint iets eerder dan de andere. Voor elke hand is de precieze duur van het gebaar weergegeven in de glos op de LH- of RH-tier.

6 Conventies bij annotatie van de data in het Corpus NGT 6/9 o Bijvoorbeeld: 8. Samengestelde gebaren zijn letterlijk geglost, met een dakje tussen de twee delen: o bijvoorbeeld: ONDERWIJS^PERSOON in plaats van ONDERWIJZER 9. Als een gebaar als werkwoord geglost is, is in principe het hele werkwoord gebruikt: o bijvoorbeeld: LOPEN (in plaats van LOOPT of LIEP ) 10. Er is een gebaar dat dat gebruikt wordt om de aandacht trekken. Dat gebaar is geglosd als HEE. 11. Er is een gebaar dat lastig te vertalen of te omschrijven is, en de volgende vorm heeft: de palm van de hand of handen wijzen omhoog, soms is er een (kleine) beweging naar onder of naar boven. Dit gebaar is geglost als PO (Palm van de hand Omhoog). o Bijvoorbeeld: 12. Wijsgebaren dragen de glos INDEX. Als de gebaarder naar zichzelf wijst is de glos: INDEX-1. Als een gebaarder na elkaar naar verschillende plekken wijst, zijn er verschillende losse glossen INDEX gebruikt; maar als een gebaarder met een boog naar een aantal dingen wijst, is één glos INDEX gebruikt, die zo lang duurt als de hele boog van het gebaar. Ook als een gebaarder een aantal keren achter elkaar naar dezelfde plek wijst, is één glos INDEX gebruikt, die zo lang duurt als de opeenvolging van wijsgebaren naar dezelfde plek.

7 Conventies bij annotatie van de data in het Corpus NGT 7/9 13. Gebaren die gemaakt worden met wijs- en middelvinger, die ongeveer samen betekenen, zijn als volgt geglost: o WIJ_TWEEEN o JULLIE_TWEEEN o ZIJ_TWEEEN 14. Gebaren voor getallen zijn in cijfers geglost. Bijvoorbeeld: o 312 (en dus niet: driehonderdtwaalf) o 2e (en dus niet: tweede ) 15. Aantikken van de telhand is (voor beide handen!) geglost als TEN_EERSTE, TEN_TWEEDE, etc. (Dus niet TEN_2e tweede of INDEX). 16. Als een gebaarder vingerspelt (bijvoorbeeld een naam) zijn alle letters genoteerd, met een #-teken ervoor: o Bijvoorbeeld: #INGE 17. Als een gebaarder slechts één letter vingerspelt, maar daarbij een woord zegt (bijvoorbeeld een naam), is toch alleen de gespelde letter geglost, met een #-teken ervoor. o Bijvoorbeeld: Inge 18. Soms wordt er binnen één actie van de handen twee dingen tegelijk uitgedrukt (bijvoorbeeld een combinatie van twee gebaren). In dat geval zijn de glossen voor beide betekenissen gegeven; ertussen staat een + -teken.

8 Conventies bij annotatie van de data in het Corpus NGT 8/9 o Bijvoorbeeld: 19. Een vraagteken voor een glos geeft aan dat de annoteerder niet zeker was van de interpretatie van de handactiviteit, en dat een second opinion verstandig zou zijn. o Bijvoorbeeld:?BOEK 20. Een glos die alleen bestaat uit 2 vraagtekens geeft aan dat de annoteerder een handbeweging herkend heeft als een gebaar maar niet weet welk gebaar het betreft, of het niet in het lexicon heeft kunnen vinden. o Bijvoorbeeld:?? 21. Een ~ -teken voor een glos geeft aan dat de annoteerder duidelijk herkend heeft wat het gebaar is of moet zijn, maar vindt dat het niet goed is gemaakt (bijvoorbeeld nogal slordig). Dit teken kan zelfs gebruikt zijn wanneer het gebaar eigenlijk fout is (of zelfs een ander gebaar). o Bijvoorbeeld: ~AMSTERDAM (terwijl de gebaarder eigenlijk het gebaar MAAL of KEER maakt) 22. Voor sommige veelgebruikte gebaren voor bekende termen is een afkorting gebruikt in de glos, bijvoorbeeld: CI (Cochleair Implantaat) NmG (Nederlands ondersteund met gebaren) Contact

9 Conventies bij annotatie van de data in het Corpus NGT 9/9 Neem voor meer informatie contact op met de corpusbeheerders, Kijk ook op de corpuswebsite voor neuwe informatie: