VRT ONDERZOEK & INNOVATIE Meerjarenplan 2013-2015 Januari 2013
VRT Onderzoek & Innovatie Auguste Reyerslaan 52 1043 Brussel +32 2 741 36 32 Innovatie.vrt.be Dit document heeft betrekking op de toegevoegde opdracht van de VRT beheersovereenkomst 2012-2016. De opdracht maakt het voorwerp uit van de specifieke overeenkomst onderzoek en innovatie tussen de VRT en Vlaamse Gemeenschap, vertegenwoordigd door de Vlaamse Viceministerpresident van de Vlaamse Regering en Vlaams minister van Innovatie, overheidsinvesteringen, Media en Armoedebestrijding. 1
INHOUDSOPGAVE 1 STRATEGISCHE UITDAGINGEN EN TRENDS... 3 2 AANPAK... 5 3 TRAJECTEN...6 3.1 Productieapparaat van de toekomst... 6 3.1.1 Snelle productie van constante flow... 6 3.1.2 Multiplatform productie en hybride distributie... 7 3.1.3 Automatische archivering, annotatie en ontsluiting... 9 3.2 Crowd sourcing en data driven journalism... 11 3.3 Gepersonaliseerde en participatieve gebruikerservaringen... 12 2
1 STRATEGISCHE UITDAGINGEN EN TRENDS Het mediaproductiesysteem in volle evolutie De afgelopen jaren heeft de VRT net als veel andere omroepen in grote mate de transitie van een tape- naar bestandsgebaseerde manier van werken gerealiseerd. Daarbij is een van de belangrijkste uitgangspunten het mogelijk maken van crossmediale productie (radio, televisie en online) eerst voor Standaard Definitie (SD) en stilaan ook voor Hoge Definitie (HD). Die ontwikkeling zal zich de komende jaren voortzetten en de echte voordelen van bestandsgebaseerde workflows zullen in de toekomst ongetwijfeld nog duidelijker worden. Tegelijk is ook de mediacontext grondig aan het evolueren. De continue vraag naar steeds hogere kwaliteit zal een impact hebben op het toekomstige productieapparaat. Geavanceerde camera s maken kwaliteitsvolle productie in hogere resoluties (1080p50, 4K, 3D en zelfs Ultra High Definition) en hogere beeldfrequenties (tot 300 beelden per seconde) mogelijk, maar introduceren een veelheid aan nieuwe formaten die moeten worden ingepast in de bestaande workflows. Hierbij neemt het belang van efficiënte kwaliteitscontrole het liefst zo automatisch mogelijk - in het productieproces toe. Er zal ook meer content moeten worden geproduceerd met zo weinig mogelijk extra middelen. Dat wordt alleen mogelijk door efficiëntere productie workflows op te zetten, en een betere samenwerking tussen de verschillende redacties, productieafdelingen en externe partners te realiseren. Wat interne (op locatie) en externe samenwerking betreft, is cloud technologie een veelbelovende maar nog te onderzoeken trend. Ook kan er door gebruik te maken van semiprofessionele apparatuur en toepassingen (consumerisatie), goedkoper geproduceerd worden aan voldoende hoge kwaliteit. Hier zal een afweging tussen kost, gebruiksgemak en behaalde kwaliteit moeten worden gemaakt. Daarnaast is ook een efficiënte ontsluiting van materiaal noodzakelijk, zowel op het moment dat het geproduceerd wordt (zo snel mogelijk dus) als wanneer het gearchiveerd is. De opkomst en democratisering van Connected Devices zoals tablets en smartphones, stelt de eindgebruiker in staat om altijd en overal informatie op te vragen (het anytime/anywhere principe ). Hierdoor wordt publicatie op elk moment van de dag op de verschillende platformen steeds meer een vereiste. Deze snelle productie van een constante flow, bijvoorbeeld voor nieuwsen duidingproducties, zal ongetwijfeld een impact hebben op de toekomstige architectuur van het onderliggende productiesysteem: het centrale magazijn of Media Asset Management (MAM), het Content Management Systeem (CMS) en het uitzendsysteem hebben nieuwe en bijkomende noden en vereisten en zullen er bijgevolg anders uitzien dan vandaag het geval is. Ook een efficiënte ontsluiting van archiefmateriaal, bijvoorbeeld ter aanvulling van live materiaal, is hierbij onontbeerlijk. Toekomstig mediagebruik Er stellen zich daarnaast ook heel wat uitdagingen in de context van het toekomstig mediagebruik. Er zullen naast de traditionele mediamakers van vandaag nieuwe spelers op de markt komen, die de huidige verhoudingen kunnen beïnvloeden. Ook de precieze manier waarop media-inhoud zal worden gebruikt, staat voor grote veranderingen. Media-ervaringen zullen meer en meer samenhangen met de gebruikscontext. Het is in die zin belangrijk te anticiperen op deze nieuwe mediamomenten van de dag en het gebruikersgedrag. Een andere belangrijk aandachtspunt voor een omroep is het meten (analytics) en in kaart brengen van de interesses, de behoeftes en het gedrag van de eindgebruiker. Hoe meer over de gebruiker 3
geweten is, hoe beter er kan worden ingespeeld op zijn noden. Zo kan bijvoorbeeld gepersonaliseerde content worden aangeboden die afhangt van de specifieke context of situatie (moment van de dag, historiek, emotie, ). Ook de gebruikerservaring verandert en wordt interactiever. Nieuwe gebruikerservaringen, zoals augmented reality ontstaan, en de gebruiker zal op meerdere vlakken actief participeren. Er speelt zich ook een evolutie in de huiskamer en daarbuiten af gezien het stijgende gebruik van smartphones en tablets. Steeds meer merken we dat de smartphone de centrale controle unit wordt waar andere devices zoals settop boxes, tv en radio mee aangestuurd kunnen worden. Steeds meer toestellen en gebruiksvoorwerpen kunnen onderling communiceren wat nieuwe vormen van interactiviteit mogelijk maakt. Een belangrijke uitdaging voor ons is hoe de consument in de toekomst met media zal omgaan en media zal ervaren op basis van deze nieuwe omgeving. Sterke verhalen, sterke omroepen Het vertellen van een sterk verhaal is altijd de grote onderscheidende factor geweest voor een omroep, maar dat zal in de toekomst nog belangrijker worden om zich te kunnen blijven onderscheiden van andere content platformen. Onze aandacht gaat uit naar digital storytelling, waarbij we op verschillende manieren proberen om een verhaal via andere kanalen dan lineaire radio en tv tot bij de eindgebruiker te brengen. Het brengen van een verhaal in een andere, meer interactieve vorm zoals een game of een interactieve documentaire vraagt een bepaalde expertise. Niet alleen zal het verhaal op een andere manier verteld moeten worden, maar is er ook een andere toolset nodig om dit soort verhalen te bouwen en te publiceren. Ook het vertellen van een verhaal gebaseerd op data, de zogenaamde datajournalisitiek, verdient onze aandacht aangezien deze vorm van verhalen vertellen een bijkomende dimensie geeft aan het nieuws of zelfs als een nieuwe manier van nieuws brengen beschouwd kan worden. Meer en meer informatie wordt beschikbaar onder andere door de opkomst van Linked Open Data en crowdsourcing, maar niet altijd in een vorm die voor een journalist bruikbaar is. Ook het verwerken van de data en het visualiseren tot nuttige en samenhangende verhalen blijft een grote uitdaging. Toekomstmuziek voor radio Dat het internet stilaan alomtegenwoordig is, zorgt er ook voor dat radio zich moet voorbereiden op de toekomst. Vandaag is radio een broadcastmedium dat met zendapparatuur, zendmasten en radioontvangers werkt, maar op termijn zal die rol worden overgenomen door het internet. Internetradio is vandaag al niet meer weg te denken uit het medialandschap, en met de opmars van mobiel internet zal die markt alleen maar groeien. Een eerste fase in deze evolutie is de ontwikkeling van hybride radio, waarbij het klassieke broadcastmodel wordt gebruikt voor het gewone radioluisteren, en het internet om aanvullende content en comforttoepassingen zoals pauzeren en terugspoelen aan te bieden. Er is ook een grote uitdaging op komst op vlak van content, want als het internet het platform wordt waarop radio uitzendt, dan wordt radio plots een tweewegsmedium, waar het tot nu toe steeds eenrichtingsverkeer was. Dat is een zodanig ingrijpende evolutie dat er nu moet worden gestart met radio daarop voor te bereiden. De strijd om de luisteraar speelt zich in de toekomst immers in een heel andere arena af. 4
2 AANPAK Prototype werking Binnen de onderzoekswerking onderscheiden we twee manieren van werken. De onderzoeksthema s kunnen uitgewerkt worden in de vorm van langlopende projecten enerzijds en proof of concept projecten anderzijds. Deze twee manieren van aanpak onderscheiden zich op het vlak van doorlooptijd, diepgang met betrekking tot de onderzoeksvraag en eindresultaat. Met de klassieke projectwerking focussen we ons vooral op een aantal fundamentele technologische vraagstukken die uitgewerkt worden in een bredere langere termijn context. We werken hier veelal samen met een aantal academische en industriële partners waarbij de doorlooptijd op 2 of 3 jaar wordt vastgelegd. In het geval van een proof of concept proberen we vooral kleinere meer afgebakende onderzoeksvragen te beantwoorden al dan niet in samenwerking met een industriële partner. We proberen dan zeer gericht en over een korte periode een stuk technologie of een bevinding te verwerken in een prototype. De Proeftuin We starten een innovatielabel op dat de naam De Proeftuin meekrijgt. Het label fungeert als de overkoepelende vlag waaronder projecten en prototypes van VRT Onderzoek & Innovatie kunnen worden getest en extern bekendgemaakt. Het doel is het creëren van kennis over toekomstig mediagebruik via een iteratief proces: testen, evalueren en de verkregen kennis omzetten naar de praktijk (aanpassingen, herwerkingen,...). De Proeftuin is een samenwerking met VUB-SMIT. Een gezamenlijk postgraduaat van het SMIT en VRT O&I zal de testen begeleiden. De Proeftuin zal een eigen branding en website hebben, om de onafhankelijkheid van andere VRT-merken te bewaren. Het wordt de plaats waar te testen projecten blootgesteld worden aan het publiek, al dan niet in een open testomgeving. 5
3 TRAJECTEN Vanuit de strategische uitdagingen en trends worden hieronder de belangrijkste onderzoeksthema s voor de komende jaren voorgesteld, en de verschillende onderzoeksaspecten per thema in meer detail opgelijst en toegelicht. Het hoofdthema productieapparaat van de toekomst groepeert drie onderliggende thema s: Snelle productie van constante flow Multiplatform productie en distributie Automatische archivering, annotatie en ontsluiting De thema s rond nieuwe gebruikerservaringen en grote data sets vervolledigen het onderzoekplaatje. Het onderzoek heeft dus hoofdzakelijk betrekking op de technologische aspecten van de productie, de distributie en de consumptie van media. 3.1 Productieapparaat van de toekomst 3.1.1 Snelle productie van constante flow Het belangrijkste kernwoord bij de productie van nieuws- en duidingsprogramma s, en actuagedreven (live) programma s is zonder twijfel snel. Dat is enerzijds zichtbaar aan de productiekant; de tijdspanne tussen een onderwerp definiëren en de uiteindelijke afgewerkte reportage bedraagt slechts enkele uren, vaak zelfs minder. Op deze tijdschaal maken enkele minuten vaak het verschil. Ook bij de distributie van deze programma s is snelheid cruciaal. Belangrijk nieuws wacht niet op de geprogrammeerde Journaals van 13u, 18u of 19u, maar moet in de loop van de dag snel het publiek bereiken via de verschillende kanalen. Het gaat dus om een constante flow aan nieuws. Om de nieuwsgaring en de publicatie op elk moment van de dag op een zo snel mogelijke manier te laten verlopen, moet er worden bestudeerd hoe we het huidige productieapparaat en de actuele workflows hoeven bij te sturen, aan te passen of zelfs ronduit te vervangen. Welke stappen in de workflow zorgen voor (onnodige) vertragingen en wrevel? Hoe kan de productie van een constante nieuwsflow worden geïntegreerd in de huidige processen? Welke aanvullende rol kan de online nieuwsredactie tijdens de nieuwsgaring en captatie spelen, en hoe wordt dit optimaal afgestemd op nieuwsproductie voor tv? Hoe kunnen we op een snelle en eenvoudige wijze aangepaste versies van een verhaal produceren, die geschikt zijn voor de verschillende platformen? Ook voor mobiele ploegen, maakt snelheid vaak het verschil. Zij kunnen langs heel wat communicatiekanalen beeldmateriaal uitwisselen met het omroepcentrum en de mogelijkheden breiden zich continu uit. Waar vroeger enkel (aardse) straalverbindingen werden gebruikt, is er nu de keuze uit satellietverbindingen, TNG (vooral in stedelijk gebied), directe glasvezelverbindingen of zelfs publieke internetverbindingen in mobiele (3G), of vaste (DSL of kabel) variant. Elk communicatiekanaal heeft evenwel eigen specifieke voor- en nadelen (snelheid van inzetbaarheid, bandbreedte, simplex of duplex, bruikbaar tijdens het rijden, ). Als we erin slagen de voordelen van de verschillende communicatiekanalen te combineren, kan dit een aanzienlijke tijdswinst opleveren. ONDERZOEKSASPECTEN Verschillende communicatiekanalen inzetten en eventueel combineren, wordt in de toekomst belangrijker. Zeker nu de overgang naar HD volledig is ingezet, stijgt de vraag naar bandbreedte alleen maar. Bijgevolg zal de beschikbare bandbreedte zo optimaal mogelijk 6
moeten worden benut. Ook vanuit het perspectief van de montage-workflow, zijn geoptimaliseerde scenario s mogelijk. Zo kan eerst een lage resolutie versie worden doorgestuurd, zodat alvast kan worden begonnen met de montage, terwijl de hoge resolutie versie langzamer binnenloopt. CONCRETE DOELSTELLINGEN Een prototype bouwen van een nieuw productieapparaat met het oog op een snelle productie voor een constante flow. Dat rekening houdend met de huidige sterktes, zwaktes, en toekomstige vereisten. 3.1.2 Multiplatform productie en hybride distributie In de crossmediale media productie-architectuur, zoals die vandaag de dag geïmplementeerd is, staat vooral de uitwisseling van materiaal tussen tv, radio en online centraal, maar blijven de productiesystemen voor deze verschillende outputkanalen grotendeels nog aparte silo s. In de toekomst wordt het steeds belangrijker om niet alleen op de verschillende platformen afzonderlijk te publiceren, maar om een coherent verhaal te brengen met aangepaste en aanvullende content per kanaal. We spreken dan over tri-media productie en het produceren van een transmediaal verhaal. De programmamaker of journalist heeft nood aan geïntegreerde en flexibele tools die toelaten dit tri-media verhaal op te bouwen. Belangrijke vereisten hierbij zijn flexibiliteit en snelheid in de vorm van locatie-onafhankelijk kunnen werken. Op dit moment zijn dit soort tools en mogelijkheden nog niet of niet voldoende voorhanden. Tri-media productie workflows zullen dan ook een grote impact hebben op de toekomstige architectuur van een bestandsgebaseerde productieomgeving. Ook aan de distributiezijde dient nog meer onderzoek worden verricht naar het gebruik van nieuwe technologieën zoals adaptive streaming, en naar de (hybride) combinatie van broadcast en internet technologie bij het distribueren van content. ONDERZOEKSASPECTEN Flexibele tools voor multiplatform productie: applicatieve ondersteuning voor de journalist of programmamaker om een multiplatform verhaal te produceren. Hierbij wordt het (her)gebruik van kanaalspecifieke content geoptimaliseerd. Voorbeelden hiervan zijn tweedeschermapplicaties die inhoudelijk integreren in programmaformats (bijvoorbeeld in de regie of tijdens de montage), en semiautomatisch afgeleide versies publiceren naar de verschillende kanalen. Ook is er een groeiende nood aan tools die de programmamaker toelaten om op een overzichtelijke manier de verschillende tijdslijnen van zijn verhaal te visualiseren en aan te passen. Toekomstige productiesystemen en integraties: waaraan moeten de systemen in een bestandsgebaseerde productieomgeving voldoen om tegemoet te komen aan de toekomstige noden van multiplatform productie? Hoe zal de rol van het Media Asset Management (MAM) systeem verder evolueren? Hoe worden de specifieke vereisten per programmatype het best afgedekt? Hoe komen we tot een optimale en nauwere integratie (of zelfs samensmelting) van het MAM en het Content Management Systeem (CMS)? Welke vereisten worden er gesteld aan back-office systemen indien we willen inspelen op de trend waarbij content zo toegankelijk mogelijk moet worden opengesteld, maar anderzijds zoveel mogelijk toegespitst op de interesses en context van de gebruiker? Dat CMS zal ook een nieuwe rol moeten spelen bij de radioproductie, want radio is steeds meer ook een visueel medium. De luisteraar kijkt veel radio, via smartphones, televisie en webradio s. Deze visuele content zal aan de snelheid en met de dynamiek van radio moeten 7
worden geproduceerd en ontsloten, en zal deel moeten uitmaken van het productieproces dat daardoor een heel nieuwe dimensie krijgt. Hybride distributie: momenteel is distributie opgesplitst in een broadcast en broadband (ook wel over-the-top of OTT genoemd) gedeelte. De eerste is geoptimaliseerd om een breed publiek simultaan dezelfde content aan te bieden; de tweede om iedereen een individuele communicatie toe te laten. Hybride distributietechnieken proberen deze twee voordelen te combineren. Toekomstige formaten: tegelijk met de evolutie naar HD-productie, doen ook geavanceerdere formaten hun intrede. Hierbij zien we vooral hogere resoluties (bv. 4K en zelfs U-HDTV) en hogere frame rates als belangrijkste op te volgen ontwikkelingen. We zullen onderzoeken wat de impact van deze nieuwe formaten en technologieën is op broadcast ecosystemen, workflows en audiovisuele kwaliteit. Een van de onderzoeksonderwerpen omvat hierbij ook de efficiënte codering van deze toekomstige formaten (bv. HEVC). Locatie onafhankelijk kunnen werken: efficiëntere en flexibelere workflows houden in dat programmamedewerkers ook locatie-onafhankelijk moeten kunnen werken. Dat houdt in dat bij de opnames van bijvoorbeeld een fictiereeks, er op die locatie een tijdelijke, flexibele, virtuele workspace kan worden opgezet, die gesynchroniseerd is met het centrale systeem en professionele montage ter plaatse mogelijk maakt. In het ideale en decentrale postproductie model kunnen programmamedewerkers en externe partijen locatie-onafhankelijk samenwerken op project basis, zowel voor montage, grafiek, sonorisatie als kleurcorrectie. Dit betekent een fundamentele shift met het huidige workflow model, waarbij enkel binnen de gebouwen van de omroep efficiënt kan worden samengewerkt. Cloud computing: de toepassing van cloud technologie is geen doel op zich maar kan voor een omroep een aantal voordelen met zich meebrengen, bijvoorbeeld in de hierboven beschreven decentrale post-productie architectuur. Het kan bijvoorbeeld de samenwerking met externe partijen vergemakkelijken. De vraag die we ons moeten stellen, is hoe cloudgebaseerde services en productiemodellen een meerwaarde kunnen bieden voor bestandsgebaseerde productie in zo n gedecentraliseerde architectuur. Ook kan worden onderzocht welke aanpassingen aan de bestaande productie-architectuur noodzakelijk zijn, om ze cloud-capable te maken. Broadband/broadcast grafiek of visualisatie: in een programma worden vaak grafische elementen toegevoegd (SVO s). Denk aan scores, grafieken, kaarten, Vaak wordt dezelfde informatie ook online ter beschikking gesteld na de uitzending. Momenteel is de softwarestack voor visualisaties gebruikt in een uitzending echter verschillend van deze van het web. Is het niet mogelijk om dezelfde taal en technologie te gebruiken voor beide? Of concreet: hoe kunnen we webcontent in een beeldmenger brengen en laten voldoen aan alle eisen: (gedeeltelijk) transparant zijn, niet-vierkante pixels gebruiken (anamorphic), synchroon videosignaal aan tv-resoluties (GenLock en 50Hz), CONCRETE DOELSTELLINGEN Inzicht verwerven in de optimale toekomstige architectuur van het productieapparaat in de context van multiplatform productie en welke bijkomende tooling hiervoor vereist is, door het opzetten van gerichte proof of concepts. Inzicht verwerven in het gebruik van geavanceerde videoformaten (bv. 4K) in een productieen distributiecontext. 8
Inzicht verwerven in het optimale gebruik en toepassen van geavanceerde distributiemechanismes in de context van multikanaalspublicatie. Bestuderen en (indien opportuun) opzetten van een locatie-onafhankelijke productie werkomgeving. 3.1.3 Automatische archivering, annotatie en ontsluiting Een omroep als VRT produceert elk jaar een grote hoeveelheid mediamateriaal. Bovendien bestaat er een groot archief aan filmrollen en tapes, die momenteel stuk voor stuk worden gedigitaliseerd. Goede annotatie is essentieel om al dit materiaal snel en efficiënt te kunnen ontsluiten. De annotatie van al deze archiefstukken gebeurt momenteel nog manueel. Daarnaast gaat ook heel wat tijd verloren bij de (eveneens) manuele kwaliteitscontrole van de gedigitaliseerde audio en video. VRT beschikt net als andere omroepen niet over de mankracht, het budget en de tijd om al het beschikbare mediamateriaal op deze manier te annoteren en te ontsluiten. Er is dus een grote nood aan tools die via automatische annotatie en kwaliteitscontrole deze manuele processen ondersteunen. ONDERZOEKSASPECTEN Kwaliteitscontrole Momenteel is al heel wat kwaliteitscontrole software voor video beschikbaar. Deze systemen produceren echter erg complexe rapporten die moeilijk te interpreteren zijn, heel veel valse alarmen geven en soms dezelfde artefacten door verschillende foutcodes aangeven. Er is nog onderzoekswerk nodig om enerzijds de algoritmes te verbeteren, zodat er minder valse alarmen of uiteenlopende interpretaties zijn, en anderzijds om naverwerking uit te voeren op de rapporten om ze correct en automatisch te interpreteren. Annoteren Ook al het geproduceerde mediamateriaal manueel annoteren, is een erg tijdrovend proces. Mediamateriaal niet annoteren, is echter problematisch, want zelfs al is er een groot archief met mediamateriaal, het verliest al zijn waarde als de inhoud ervan niet ontsloten kan worden en er dus geen informatie over is terug te vinden. De voorbije decennia zijn al heel wat onderzoeksinspanningen geleverd om op een automatische manier informatie over de inhoud van audiovisuele media te weten te komen. Dat heeft geresulteerd in een veelheid aan algoritmes en tools. Veel van deze algoritmes leveren echter laag-niveau kenmerken op. Deze kenmerken zijn immers niet altijd onmiddellijk interpreteerbaar door gebruikers. Dit is de zogenaamde semantische kloof (Engels: semantic gap). De laatste jaren spitst het onderzoek zich vooral toe op het overbruggen van deze semantische kloof. Er wordt voornamelijk op zoek gegaan naar manieren om de laag-niveau kenmerken om te zetten naar concepten die eenvoudig door een gebruiker kunnen worden geïnterpreteerd. Indien er al tekstuele informatie beschikbaar is over de media-inhoud (zoals een transcript, een script, ) staan deze technieken al relatief ver. Via named entity recognition kan men op zoek gaan naar de belangrijke concepten in deze tekstuele metadatabronnen. Het identificeren van deze concepten kan dan verder gebruikt worden om hoog-niveau informatie over de media af te leiden (zoals thema, genre, ). Wanneer er geen tekstuele informatie over video s beschikbaar is, wordt het een stuk moeilijker. Een eerste oplossing kan spraakherkenning zijn om een transcript te genereren. Spraakherkenning kan perfect als techniek worden toegepast wanneer het over media gaat waarin duidelijk gearticuleerde taal wordt gebruikt, zoals een nieuwsproductie. Ook bij ondertiteling wordt spraakherkenning 9
momenteel al gebruikt. De ondertitelaar herhaalt hierbij de gesproken woorden in de video om zo tot een perfect transcript te komen, dat kan worden gebruikt voor ondertiteling. Toch werkt spraakherkenning onvoldoende wanneer er spontane spraak of sterke regionale accenten voorkomen, als er veel achtergrondgeluid aanwezig is, of als er gewoon weinig spraak in de video is. Onder meer om die reden is spraakherkenning niet rechtstreeks toepasbaar op video s voor automatische ondertiteling en annotatie. Naast de inhoud van de spraak kan ook sprekersinformatie nuttig zijn. Sprekersclustering groepeert de spraakfragmenten van een audiobestand per spreker en is een eerste stap richting herkenning. Effectieve herkenning, waarbij ook de naam van de spreker wordt bepaald, is momenteel niet accuraat genoeg bij gebruik van een brede database van sprekers. In deze laatste gevallen moet toevlucht worden gezocht in tools voor automatische beeldanalyse. Een basistool hierbij is shotdetectie, dat al uitvoerig werd onderzocht en op punt staat. Ook het automatisch segmenteren van video s in individuele scenes (sceneherkenning) is al uitgebreid onderzocht. Moeilijker wordt het wanneer via beelden automatisch op zoek wordt gegaan naar de inhoud van video. Daarbij kan bijvoorbeeld worden gedacht aan gezichtsherkenning om de personen in de video te identificeren. Een heel erg actief actueel onderzoeksdomein is het automatisch herkennen van concepten in video. Voorbeelden zijn het automatisch herkennen van evenementen (bv. een huwelijk, een voetbalwedstrijd, de benoeming van een nieuwe regering, ), het automatisch herkennen van acties (bv. het moment waarop een doelpunt valt in een voetbalwedstrijd). Deze algoritmes presteren evenwel nog altijd onvoldoende wanneer het aantal mogelijke te herkennen concepten te groot wordt. Ten slotte kan ook heel wat informatie over audio en video door wat de gebruiker te weten is gekomen automatisch verrijkt worden met wat de wereld erover weet. De Linked Open Data (LOD) cloud bevat heel wat ontologieën die kennis aan elkaar linken. Indien er voor de concepten die aanwezig in het archief een zelfde concept bestaat in de LOD cloud, dan kun deze met elkaar worden verbonden. Zo heeft een gebruiker meteen ook toegang tot alle kennis die in de ontologie waarnaar wordt verwezen, opgeslagen zit. De verbanden tussen eigen metadata en ontologieën in de LOD cloud vinden, is echter geen triviaal proces. De concepten worden niet altijd bij naam genoemd, of worden slechts onrechtstreeks vermeld (bv. "de eerste minister, waarbij het niet onmiddellijk duidelijk is of het over Elio Di Rupo, Yves Leterme, Nicolas Sarkozy of nog iemand anders gaat). Ook de concepten met elkaar linken, vereist verder onderzoek. Zoeken Audio- en videomateriaal annoteren, is geen doel op zich. De werkelijke toegevoegde waarde is audiovisueel materiaal terugvinden. Uiteraard is de kwaliteit van de annotatie hierbij cruciaal. Huidige state-of-the-art tools voor het terugvinden van video beperken zich tot het invullen van trefwoorden in de zoekopdracht, en het presenteren van een lineaire lijst met resultaten, gerangschikt volgens bepaalde criteria. Men is het er al langer over eens dat deze lineaire lijst met resultaten niet altijd de beste methode is om resultaten weer te geven als het gaat om videomateriaal. Er moet dus op zoek worden gegaan naar nieuwe visualisatietechnieken voor zoekresultaten. De annotatie levert bijvoorbeeld heel wat tijdsgecodeerde metadata op, waardoor het exact is geweten op welk moment in een video de zoekopdracht een match geeft. Ook het zoeken op basis van ingevulde trefwoorden is niet altijd toereikend. Soms zoekt een gebruiker op basis van een voorbeeld van een type video naar soortgelijke video s. Dit is het zogenaamde query by example. 10
Een ander probleem is het feit dat de manier waarop gezocht wordt afhankelijk is van de gebruiker en zijn rol binnen de productieorganisatie. Zo zal een beeldonderzoeker bij de nieuwsdienst helemaal anders zoeken dan een redactiemedewerker bij een quiz of amusementsprogramma. Het modelleren van de taken voor deze verschillende gebruikersgroepen en het aanpassen van de interface en achterliggende systemen naar hun specifieke behoeften is een aspect waarmee de performantie van zoekopdrachten sterk kan worden verbeterd. CONCRETE DOELSTELLINGEN Nagaan of op basis van tijdsgecodeerde tekstuele metadata integrale programma s automatisch kunnen worden opgesplitst in individuele items. Metadata uit automatische extractietools omzetten in bruikbare concepten. Nagaan in hoeverre spraakherkenning en beeldanalyse-algoritmen rechtstreeks toegepast op programma s kunnen worden gebruikt voor automatische ondertiteling. Hierbij zullen volgende technieken worden onderzocht: geforceerde alignering op basis van scripts, sprekerherkenning, automatische taalidentificatie, shot- en scenedetectie, Onderzoeken hoe bestaande kwaliteitscontrolealgoritmes kunnen worden verbeterd door bijvoorbeeld een automatische naverwerking van de analyseresultaten. 3.2 Crowd sourcing en data driven journalism Data is the new gold 1, zo heette de speech die Neelie Kroes, Europees Commisaris voor de Digitale Agenda, een tijdje geleden gaf. Hiermee zette ze het belang en de ontwikkeling van open data onmiddellijk flink wat kracht bij. Analysing data is the future for journalism 2 zegt Tim-Berners Lee, de uitvinder van het World Wide Web, waarmee hij duidelijk stelt dat data driven journalistiek nog een grote rol zal spelen in de toekomst van de journalistiek. Datajournalistiek kan effectief een enorme meerwaarde betekenen bij het maken en brengen van nieuws. Toonaangevende spelers in dit domein zijn de redacties van The New York Times en The Guardian die zelfs een volledige blog 3 gewijd hebben aan hun inspanningen. Met de enorme groei van beschikbare data en de vooruitgang in technologie om deze data te verwerken en te visualiseren, wordt het voor journalisten noodzakelijk om op basis van deze data nieuwe verhalen te maken. De rol en de expertise van de journalist zullen dusdanig veranderen. Het ligt voor de hand dat technologie hierin ondersteunend kan zijn en een belangrijke rol zal spelen. Journalisten zullen in staat zijn om grote hoeveelheden data te consulteren en ze vervolgens te clusteren, te filteren en te analyseren dankzij de nodige standaarden, beschikbare datasets en tools om deze data te verwerken. Met behulp van visualisatiesoftware zal het resultaat van zo een analyse in een eenvoudig overzicht kunnen worden verwerkt en kan een enorme set data worden gereduceerd tot een begrijpelijk geheel. We stellen vast dat er niet alleen op het vlak van publieke databronnen, onder Europese impuls, een enorme toename van data is, maar ook op het vlak van sociale interacties (onder meer door sociale netwerken zoals Facebook, Twitter, ) en user generated content. Deze content is vanuit een journalistiek standpunt erg waardevol, maar moeilijker te analyseren vanwege de enorme hoeveelheid real-time data, het ongestructureerde karakter en de taal van deze interacties. Ook hier zien we een aantal technologische initiatieven die het mogelijk maken om de sociale data te 1 Kroes, Neelie. Vice-President of the European Commission responsible for the Digital Agenda. Data is the new gold. Opening Remarks. Press Conference on Open Data Strategy. Brussels. 12 december 2011. <http://europa.eu/rapid/press-release_speech-11-872_en.htm>. 2 Arthur, Charles. Analysing data is the future for journalist, says Tim Berners-Lee. The Guardian. 22 november 2010. < http://www.guardian.co.uk/media/2010/nov/22/data-analysis-tim-berners-lee>. 3 Datablog The Guardian. <http://www.guardian.co.uk/news/datablog>. 11