Eindverslag. Project VolgMijnStem. Ben Teeuwen, project manager VolgMijnStem Stichting Het Nieuwe Stemmen 13 juni 2012, Utrecht

Transcriptie

1 1

2 Eindverslag Project VolgMijnStem Ben Teeuwen, project manager VolgMijnStem Stichting Het Nieuwe Stemmen 13 juni 2012, Utrecht Lex Slaghuis, voorzitter Open State Foundation

3 Inleiding Dit eindverslag is opgesteld om het Stimuleringsfonds voor de Pers inzicht te geven in de eindresultaten van het project VolgMijnStem. In dit verslag worden allereerst de verrichte activiteiten afgezet tegen de geplande activiteiten, en behaalde resultaten geïdentificeerd. Additionele resultaten in de projectperiode worden ook aangegeven. In de bijlage wordt tevens inzage gegeven in de status van het platform medio februari 2013 en de verdere ontwikkelingen van NuPubliek welke na de afronding van de overeenkomst met het Stimuleringsfonds van de Pers vallen. Het project VolgMijnStem heeft op basis van een samenwerking tussen de Open State Foundation en Sanoma Media geresulteerd in de webapplicatie NuPubliek.nl. Deze website (met meer dan bezoekers in de maand van lancering) vertaald grote hoeveelheden politieke data in bruikbare informatie voor burgers. Via de website NU.nl stromen er continue bezoekers door naar NuPubliek.nl om te verdiepen in geaggregeerde politieke data. Er staat een platform dat onderhouden wordt en continu wordt uitgebouwd. Medio maart 2014 wordt de broncode vrij gegeven voor gebruik door derden. Het project VolgMijnStem heeft niet alle aanvankelijke ideeën en functionaliteiten weten te realiseren. In de praktijk werden niet alle functionaliteiten als gewenst, zinvol of haalbaar bevonden, of zijn ze gepasseerd door betere ideeën. Het projectresultaat is dat betreft 100% het resultaat van vele uitwisselingen tussen diverse vakdisciplines. Aan de toekomst van NuPubliek wordt continu gewerkt en 2013 zullen accenten liggen bij het begrijpelijker en relevanter maken van nieuwe inzichten op basis van politieke data. De verwachting is hiermee meer bezoekers te bereiken en NuPubliek als bron van nieuws te ontwikkelen. Het oorspronkelijke projectidee heeft hierdoor een extra verdieping gekregen. De samenwerking tussen Open State en Sanoma Media staat niet op zichzelf. Open State Foundation blijft de komende jaren samen met vrijwilligers, stagiairs en medewerkers investeren in politieke transparantie en politieke data duiding. NuPubliek en open source versies vormen daarbij een stevige basis voor vernieuwing, terwijl nieuwe databronnen, algoritmes en visualisatie beschikbaar komen. 3

4 Inhoudsopgave Inhoud Inleiding... 3 Inhoudsopgave Activiteitenverslag Geplande activiteiten Verrichte activiteiten Resultaten Hoofdpagina NU.nl Hoofdpagina Dossier Inpagina flyout naar politici Hoofdpagina Partij Inzicht partij Inzicht politicus Verbindingspagina Nu.nl Mobiele versie Verschil analyse activiteiten & resultaten...16 Vertraging van het algehele project...16 Geen eindoplevering door iteratief te werken...16 Bijstelling functionaliteiten...16 Bijlage 1. Evaluatie en Roadmap NuPubliek...18 Bijlage 2. Onderzoeksresultaten Classificatie en Programtracker

5 1. Activiteitenverslag Dit activiteitenverslag is een verdere uitbouw van het eerdere voortgangsverslag waarbij er (na mondeling overleg met het SdvP) op een hoger niveau gerapporteerd wordt. De geplande activiteiten worden uitgezet tegen de verrichtte activiteiten en bijbehorende resultaten. Aanvullende, ontbrekende resultaten worden apart uiteengezet en toegelicht. 1.1 Geplande activiteiten Zoals beschreven in het activiteitenplan wordt eerst het concept VolgMijnStem gebouwd. Hierbij worden functies uitgewerkt rondom profielen van politici en partijen, kamerhandelingen, sociale interacties, visualisaties, vergelijkingen, personalisatie, Nu.nl integratie en statistieken. Ook worden mogelijkheden rondom sentiment analyse en peiltechnologie verkend. In het activiteitenplan is het realiseren van dit concept in 4 fasen opgedeeld: 1. Organisatie 2. Onderzoek 3. Infrastructuur 4. Ontwikkeling a. Sprint 1: Basisversie b. Mobiele applicatie c. Sprint 2: uitbreidingen 5. Redactie 6. Event 7. Afronding Punten 5,6 en 7 zijn niet expliciet opgenomen in het overzicht van uitgevoerde activiteiten 5

6 1.2 Verrichte activiteiten Tijd Activiteit Resultaat 1 aug dec. 11 Organisatie Uitwerken samenwerking Sanoma 2 okt nov 11 Organisatie Vormgeven project management & kernteam Contract ontwikkelfase + 1,5 jaar stapsgewijs verbetertraject Aanstellen ontwikkelaar & project manager; opstellen Prince2 artefacten 3 nov dec. 11 Onderzoek Functioneel ontwerp User stories 4 jan apr. 11 Onderzoek Interactie ontwerp Wireframes v1 & v2, demo site & akkoord integraal functioneel ontwerp. 5 apr mei 12 Onderzoek Grafische vormgeving Grafisch ontwerp 6 nov mei 12 Onderzoek Technisch ontwerp Systeem en applicatie Architectuur; API specificaties; 7 Mei aug 2012 Ontwikkeling Sprint 1 minimal viable product NuPubliek.nl 10 Aug Ontwikkeling Sprint 1 Lancering NuPubliek.nl, bezoekers 11 Oktober Ontwikkeling Sprint 2 Semi automatisch inladen nieuwe politici en partijen 12 Nov Ontwikkeling Sprint 2 Optimalisatie Mobiele versie, aanpassingen voor cookiewetgeving 13 Nov Ontwikkeling Sprint 2 WordCloud en tekstmining optimalisatie 14 Dec Ontwikkeling Sprint 2 Auto Linking vanuit NU.nl naar NuPubliek 15 Sept-Dec Ontwikkeling Sprint 2 Overige optimalisatie van 364 functionele aspecten 16 Nov-Dec Ontwikkeling Sprint 3 ontwerp Technisch ontwerp, informatie ontwerp, algoritme ontwerp, applicatie ontwerp 17 Dec-mrt 2013 Ontwikkeling Sprint 3 Koppeling Parlis database 18 Jan 2013 Onderzoek Sprint 3 Interactie ontwerp, wireframes, mockups 19 Mrt 2013 Onderzoek Sprint 3 Grafisch ontwerp 20 April-Mei 2013 Ontwikkeling Sprint 3 Implementatie functioneel herontwerp NuPubliek Grijze gemarkeerde activiteiten zijn geen onderdeel van het oorspronkelijke projectplan van VolgMijnStem. 6

7 Overige activiteiten 1 okt 11 & apr 12 Aansluiting vinden bij open source gemeenschap 1 okt mei. 12 Bruikbare data inzichtelijk maken Universiteit van Amsterdam & Tweede Kamer Bezoek aan 2 congressen Codebase UvA; goede contacten bij Tweede Kamer 3 Sept mrt 12 Vorming politiek expertpanel Contactpersonen bij 6 partijen 4 Sept 12 Apps for Democratie NuPubliek gepresenteerd bij conferentie in de Tweede Kamer 5 April 12 nov. 12 Onderzoek Classificatie Uitwerking classificatie op basis van Eurovoc standaard 6 Sept. 12 feb. 12 Onderzoek automatische koppeling verkiezingsprogramma s aan politieke data Prototype automatische geclassificeerde verkiezingsprogramma s volgens meerdere taxonomieën 7 Dec. 12 mrt. 13 Onderzoek Parlis data Verkenning van gestructureerde data rond stemmingen, besluiten en documenten vanuit politici en partijen 2 Resultaten Het project VolgMijnStem heeft geresulteerd in een web applicatie te bezichtigen op NuPubliek.nl. Met NuPubliek kunnen bezoekers snel inzicht krijgen in het profiel van politici en politieke partijen op documenten uit de Tweede Kamer. Op dossierniveau kan tevens worden opgezocht wat de betrokkenheid van politici is. Deze applicatie is op 27 augustus 2012 gelanceerd; vlak voor de landelijke verkiezingen in september Daarna is de applicatie continu verbeterd. Functies zoals het volgen van beloftes zijn niet gerealiseerd maar hebben wel waardevol onderzoek opgeleverd. Deelresultaten uit dit onderzoek worden stapsgewijs in gebruik genomen op de website NuPubliek. In 2013 zal NuPubliek zowel stapsgewijs verbeterd worden, als een herontwerp ondergaan. 7

8 2.1 Hoofdpagina NU.nl Op NU.nl kan direct naar het tabblad NuPubliek genavigeerd worden. NuPubliek is integraal een onderdeel van NU.nl 8

9 2.2 Hoofdpagina Dossier NuPubliek is georganiseerd rond de kernbegrippen: politicus, partij en dossier. Op de NuPubliek hoofdpagina is een overzicht van de dossiers te vinden. Tevens kan genavigeerd worden naar politieke partijen. Door op 41 Kamerleden te klikken, komt er een tussenscherm met een overzicht van alle politici. 9

10 2.3 Inpagina flyout naar politici Dit overzicht van alle politici per partij stelt gebruikers in staat om direct naar de politicus te gaan waarin ze geïnteresseerd te zijn. De Tweede Kamer verstrekt een databron met daarin informatie over Kamerleden en bij welke politieke partij ze horen. 10

11 2.4 Hoofdpagina Partij Omschrijving Op de dossierpagina is een omschrijving van het dossier te vinden. Dit is handmatig samengesteld door de redactie. Op basis van een verzameling bestaande uit combinaties van sleutelwoorden (termen) wordt een dossier gedefinieerd. Sociale media integratie (Facebook, Google+ en Twitter) zijn gekoppeld voor het onder de aandacht brengen van de informatie. Tevens wordt het sociaal media gebruik opgehaald Andere dossiers vergelijken Dossiers kunnen vergeleken worden door direct naar andere dossiers te linken. Tijdslijn Relevante nieuwsberichten van NU.nl/politiek worden weergegeven op een tijdslijn op basis van termen welke door de redactie aan nieuwsberichten worden toegevoegd. Partij activiteiten Kamervragen, Gesproken en moties worden gerapporteerd door vanuit Officiële bekendmakingen politici en vervolgens politieke partijen te destilleren. Op basis van documentclassificatie kan op onderwerp gerapporteerd worden. 11

12 2.5 Inzicht partij Infobox Van een politieke partij wordt diverse informatie opgehaald van parlement.com. Dit betreft de oprichtingsdatum, fractievoorzitter en logo. Tevens integratie van sociale media. Zegt vaker dan anderen Een uniek profiel van onderscheidende woorden op basis van woord analyse op Officiële bekendmakingen. Tijdslijn Een tijdslijn legt een relatie op partijniveau doordat de redactie politieke nieuwsberichten labelt met partijnaam. Kamerleden Er is een infobox met alle Kamerleden aanwezig. Gelijkenis-index De gelijkenis index wordt bepaalt tussen partijen door te kijken naar welke stemmingen overeenkomen. Onderbreekt vaak / Vaak onderbroken door Uit Kamerdebatten kan opgemaakt worden welke partij de ander onderbreekt en vice-versa. Laatste Tweets De laatste tweets van de desbetreffende politieke partij Actiefst op beleidsterreinen Kamervragen, Gesproken en moties worden gerapporteerd door vanuit Officiële bekendmakingen politici en vervolgens politieke partijen te destilleren. Op basis van documentclassificatie kan op onderwerp gerapporteerd worden. 12

13 2.6 Inzicht politicus Infobox Van een politicus wordt diverse informatie opgehaald van parlement.com. Dit betreft de geboortedatum, partij en zittingsdatum.tevens integratie van Sociale media. Zegt vaker dan anderen Er is woord analyse gedaan op Officiële bekendmakingen, waarbij politici aan woorden toegedicht kunnen worden. Dit geeft een uniek profiel van onderscheidende woorden. Tijdslijn Een tijdslijn legt een relatie op partijniveau doordat de redactie politieke nieuwsberichten labelt met partijnaam. Gelijkenis-index De gelijkenis index tussen politici wordt vooral bepaald door te kijken naar het samen indienen van stukken en stemgedrag Onderbreekt vaak / Vaak onderbroken door Uit Kamerdebatten kan opgemaakt worden welke politicus de ander onderbreekt. Actiefst op beleidsterreinen Kamervragen, Gesproken en moties worden gerapporteerd door vanuit Officiële bekendmakingen politici te destilleren. Middels documentclassificatie kan op onderwerp gerapporteerd worden. 13

14 2.7 Verbindingspagina Nu.nl Vanuit NU.nl wordt ook direct gelinkt naar specifieke pagina s van NuPubliek op het vlak van dossiers, partijen en politici. Dit zorgt voor extra bezoekers op NuPubliek. 14

15 2.8 Mobiele versie NuPubliek is ook te gebruiken op tablets zoals Ipad s en de Google Nexus. 15

16 3. Verschil analyse activiteiten & resultaten Beschikbaarheid budget Er is minder geld toegekend door het Stimuleringsfonds voor de Pers en geen geld door de Knight Foundation ( begroot). Daardoor is er minder beschikbaar geweest voor dit project. In de praktijk heeft dit gevolgen gehad voor het realiseren van de functionaliteit rond de beloftes van politici. Vertraging van het algehele project De applicatie is 6 maanden later gelanceerd dan gepland. September 2012 is de website gelanceerd, maar de planning hiervoor gaf maart aan. De eerste reden hiervoor is dat de juridische afronding met Sanoma vertraagde vanwege de complexiteiten van delen van de software als open source. Er is vastgelegd wie welke delen ontwikkeld, zodat Sanoma eigen technologie niet per ongeluk in het publieke domein laat vallen. De tweede reden voor vertraging is het uitstellen van een go bij de stuurgroep vanwege personele wisselingen bij Sanoma. Er zijn 6 personen in de stuurgroep gewisseld in de periode september 2011-april Daarna is de stuurgroep niet veranderd en beide partijen zitten op een lijn met betrekking tot het project. Geen eindoplevering door iteratief te werken Na de eerste lancering is er continu doorgewerkt aan NuPubliek. Er zijn meer dan 364 aanpassingen gedaan en functies toegevoegd. Het blijkt makkelijker kleine functionaliteiten toe te voegen dan een grootschalig herontwerp te realiseren. Hierdoor is er eigenlijk nooit stil gestaan bij de formele eindoplevering. Immers, er waren altijd wel wensen en eisen die openstonden en toegevoegd moesten worden. Desalniettemin zal er in 2013 een product herontwerp plaats vinden, vooral om nieuwe databronnen te kunnen gebruiken en visualisaties mogelijk te maken. Ondertussen worden de resultaten uit de onderzoeken al stapsgewijs toegevoegd aan de lopende versie van NuPubliek. Bijstelling functionaliteiten We benoemen hier afwijkingen van de beoogde resultaten, welke eerder besproken zijn met het Stimuleringsfonds van de pers. Beloftes van politici NuPubliek geeft geen inzicht in beloftes van politici. Bevonden is dat dit vooralsnog te complex is om te implementeren op zowel organisatorisch als het technische vlak. Tevens is gebleken dat budget hiervoor tekort schiet. Wel is er kosteloos een onderzoek opgezet om de mogelijkheden te verkennen zodat in een latere fase dit alsnog betaalbaar geïmplementeerd kan worden. Het vereist een nauwe afstemming tussen techniek, input van bezoekers en een modererende redactie. Voor meer informatie, zie: Bijlage 2. Onderzoeksverslag Classificatie en Programtracker. 16

17 Data manipuleren en vergelijken politici en partijen Gebruikers kunnen niet zelf selecties en combinaties maken om vervolgens politici en partijen te vergelijken. Gebruikers onderzoek wees uit dat de specifieke doelgroep en de mediaformule van nu.nl niet geschikt is voor deze interactiviteit. De insteek is om de gebruiker zoveel mogelijk bij de hand te nemen. Dat doet niet af aan de latente behoefte bij gebruikers om vergelijkende inzichten te vergaren. De manier waarop dit gefaciliteerd wordt in het platform is door kruisverbanden te leggen tussen partijen, dossiers, en politici onderling. Tevens is er een gelijkenis-index voor partijen en politici, en informatie over het onderbreken. Directe inzage in Kamerdebatten, vragen en moties Verder zijn de Kamerdebatten, Kamervragen en moties niet binnen de opmaak van de site beschikbaar. Bovengenoemde stukken zijn dermate complex en onleesbaar dat ze voor elke massa media doelgroep ongeschikt zijn. Het antwoord van NuPubliek hierop is dat deze stukken zeer relevant zijn voor inzichten, maar dat deze in snel te doorgronden inzichten moeten worden aangeboden. Bijvoorbeeld door data te clusteren rondom thema s in een WordCloud. Maar ook door in een tijdslijn zichtbaar te maken wat de activiteiten van politici en partijen zijn, of op dossier niveau aan te geven in welke mate politici en partijen actief zijn op dit onderwerp. Weergave geldstromen Het weergeven van geldstromen is niet mogelijk omdat noodzakelijke gegevens niet worden vrij gegeven. De Kamer heeft wel ingezet op wetgeving waarmee dit verplicht wordt, maar vooralsnog is deze informatie niet beschikbaar als open data. De wisselingen in het politieke landschap maken dat politieke transparantie niet een eerste prioriteit is, op het vlak van open data worden beleidsaccenten voornamelijk gelegd op open data rond publieke dienstverlening. Personalisatie Gedurende het project werd duidelijk dat Sanoma een infrastructuur voor personalisatie aan het ontwikkelen is. Hierdoor is het niet langer mogelijk als project een gepersonaliseerde beleving te ontwikkelen. 17

18 Bijlage 1. Evaluatie en Roadmap NuPubliek Opgesteld door: Lex Slaghuis Er is in de periode september-december strategisch gekeken hoe het platform zich verder kan ontwikkelen. Hierbij zijn er een aantal strategische doelen geïdentificeerd: Buiten de verkiezingen NuPubliek meer bruikbaar en relevant maken, verhoging van het aantal bezoekers en de bezoekerstijd NuPubliek sterker laten aansluiten bij Sociale media Meer nieuwswaardige feiten onthullen Uitdagingen welke als relevant worden gezien: Mensen weten niet wat een motie of amendement is, en of 40 moties indienen goed of slecht is. Politieke geaggregeerde data is nog te weinig zeggend. Verbinding met de redactie NU.nl dient steviger uitgewerkt te worden. Er komen steeds meer nieuwe databronnen bij. Subjectieve (Tekst mining) algoritmes (zoals de huidige WordCloud) welke werken op basis van geaggregeerde data worden constant vernieuwd. Visualisatie mogelijkheden ontwikkelen zich ook erg snel Ruwe Inhoud uit de Tweede Kamer, zoals de teksten van de moties, zijn voor de gemiddelde Nederlander onleesbaar. Hierbij is het volgende ontwerp tot stand gekomen voor de volgende release. Het platform wordt omgebouwd zodat de volgende aspecten ingebouwd kunnen worden: nieuwe datasets nieuwe algoritmen welke subjectieve inzichten geeft op basis van objectieve gegevens nieuwe visualisaties De combinatie van nieuwe data x algoritme levert in potentie nieuws op, en genereert dus een event met een data noviteit welke naar de redactie kan, maar ook automatisch gepubliceerd kan worden op NuPubliek.nl. Simpel gezegd: Als Wilders een motie indient is dat geen data- 18

19 nieuws. Maar als hij de persoon wordt die de meeste moties indient, dan is dat wel nieuws. Interessant nieuws wordt het op het moment dat hij de persoon wordt die de meeste moties rond milieu indient. Dan is het tijd voor redactie (en samenleving) om eens te zoeken naar een verklaring. Deze subjectieve inzichten worden gekoppeld aan politici, partijen, bewindvoerders, en gecombineerd met dossiers zoals milieu, onderwijs en zorg. Nieuwe data die hiervoor in de nieuwe release gebruikt gaat worden is de zogeheten Parlis database van de Tweede Kamer. Deze bevat veel gegevens rond politici en partijen, stemmingen, besluiten en activiteiten. De onderliggende documenten zorgen voor de verbinding met dossiers als onderwijs, milieu, enz. Deze verbinding wordt gerealiseerd met tekst-mining en levert per definitie een subjectieve weergave, vandaar dat er in deze tekst vanwege de juistheid continue onderscheid wordt gemaakt tussen subjectieve en objectieve gegevens. De Tweede Kamer heeft de intentie om dit jaar nog een aantal additionele databases vrij te geven. Met de ontwikkelde Architectuur kunnen deze bijgeplaatst worden. De stappen die hiertoe zijn genomen: Evaluatie doelen en uitdagingen Ontwerp architectuur Verkenning van algoritmen in combinatie met echte (maar iets oude ) Parlis data Koppelen van de Parlis database, het inladen en manipuleren van deze gegevens. (Merk op dat deze data ook voor het publiek toegankelijk is via ) Opstellen nieuw interactie ontwerp Afbeelding. Nieuwe architectuur Op dit moment wordt gewerkt aan: Hergebruiken van Parlis data vanuit NU.nl ten behoeve van Stemmingsdata 19

20 Definitieve vaststelling ontwerp in samenspraak met NU.nl Als eerste concrete stap wordt op dit moment het Eurovoc algoritme in productie genomen om dossiers te organiseren op basis van Tweede Kamer handelingen. Deze data werd voorheen ook al gebruikt. Dit zal het aantal dossiers wezenlijk uitbreiden op NU.nl. Tevens wordt er gewerkt aan automatisch linken van NU.nl berichten naar NuPubliek, zodat er meer verkeer op de NuPubliek website ontstaat. Hierdoor wordt tevens de redactie ontlast. De planning is om: In 2013 met een team in een maand deze grote update (architectuur + visualisatie) af te ronden en in productie te nemen. Daarna naast onderhoud -, nieuwe data en algoritmes in gebruik te nemen die in dit model passen. 20

21 Bijlage 2. Onderzoeksresultaten Classificatie en Programtracker Opgesteld door: Ben Teeuwen Een van de voornaamste redenen om het project VolgMijnStem medio oktober 2011 te lanceren betrof het afzetten van beloftes tegen gedrag. Verkiezingsprogramma s zouden moeten dienen als een soort Politiek Ontwikkel Plan (pop) van een partij, en VolgMijnStem zou als een functioneringsgesprek gaan functioneren; hoe verhoudt het POP zich tot het vertoonde gedrag? Een belangrijke stap daarin is om verkiezingsprogramma s en het gedrag op een redactioneel vriendelijke wijze te kunnen ordenen naar onderwerpen. Op welk onderwerp zoom je in om te analyseren hoe het gedrag zich verhoudt tot beloften? De stichting en de nu.nl redactie vinden het van begin af aan niet realistisch om tienduizenden politieke documenten handmatig te classificeren volgens zelf bedachte categorieën. De insteek is dan ook altijd geweest om algoritmes in te zetten die idealiter volautomatisch werken, maar minstens 80% van het werk uit handen nemen. Uit navraag binnen het politieke technologie netwerk van de stichting blijkt dat er wereldwijd nog geen technologie beschikbaar is die hiervoor pasklaar ingezet kan worden. In samenwerking met studenten van de UvA en UU is er dan ook uitvoerig onderzoek naar gedaan. Dit heeft zich met name na het in april/mei opgestelde tussentijdse verslag afgespeeld. Het onderzoek heeft zich gericht op het ontwikkelen van een algoritme wat verschillende bronnen van politieke data kan classificeren. Dit maakt analyses mogelijk van politieke data (verkiezingsprogramma s, Kamervragen, debatten) op basis van door een redactie bepaalde set van onderwerpen. Samenvattend zijn er 2 verschillende manieren verkend om dit te bereiken. 1. Technologie baseren op handmatig geclassificeerde documenten Hiervoor is door de EU geclassificeerde data gebruikt. De EU maakt gebruik van een vocabulaire set van zo n grotendeels hiërarchisch ingedeelde onderwerpen. Ieder politiek stuk is de afgelopen decennia handmatig ingedeeld volgens deze set van onderwerpen. We hebben onderzocht in hoeverre deze set als basis kan fungeren voor een getraind algoritme wat vervolgens automatisch documenten uit de Tweede Kamer kan classificeren. Het resultaat is veelbelovend, hoewel de foutenmarge sterk toeneemt naarmate onderwerpen concreter worden. De kwaliteit is echter bruikbaar voor het niveau waarop nu.nl op dit moment dossiers indeelt (onderwijs, zorg). 2. Zonder historische gegevens uit het niets onderwerpen ontdekken Moderne algoritmes worden steeds beter om uit het niets onderwerpen te ontdekken in teksten. Er is geprobeerd om dit toe te passen op verkiezingsprogramma s. Hiervoor is er veel tijd gestoken in het naar platte tekst omzetten van verkiezingsprogramma s, alvorens er algoritmes op toegepast konden worden. Uit voorlopige resultaten blijkt dat deze classificatie niet op zichzelf kan staan, maar wel aanvullend kan werken bij de op 1 genoemde werkwijze. Gezien de potentie van werkwijze 1 is deze methodiek verder onderzocht. 21

22 Classificeren met Europese thesaurus Het classificeren van politieke documenten is gedaan op basis van een Europees ontwikkelde Vocabulaire waarin alle politieke documenten mee geclassificeerd worden genaamd eurovoc. Het resultaat werkt als volgt: De input is een nieuw (politiek) document (bv. kamervraag, handeling, motie, paragraaf uit een verkiezingsprogramma, NU.nl politiek artikel) De output is een gerangschikte lijst van EuroVoc termen Hieronder een voorbeeld. Links zie je een gedeelte van een Europees wetgevingsdocument, rechts zie je de output van het systeem waarin de EuroVoc termen gerangschikt zijn op de overeenkomst die zij met het document hebben. Bovenstaand document is ooit handmatig geclassificeerd met 8 EuroVoc termen door een classificatie-expert van de EU. In de resultatenlijst zijn deze 8 termen te zien in bold. Termen 1 t/m 3 zijn dus goed geclassificeerd. Term 4 en 5 zijn fout, maar term 6 ('dierenziekte') is weer goed. De overige 4 termen staan op positie 12, 13, 18 en 39. Een manier om dit resultaat te meten is de R-precision. Je telt dan simpelweg hoeveel termen er goed zijn van de eerste k termen, waarbij k het aantal termen is dat ooit door de classificatieexpert is gebruikt om het document te classificeren. In bovenstaand geval; k = 8 en van de eerste 8 termen zijn er 4 goed (rank 1,2,3 en 6), dus de R-precision is 4/8 = 0.5. Het systeem is getraind op Europese wetgevingsdocumenten en getest op documenten. De gemiddelde R-precision over de geteste document is Met andere woorden; het systeem is zeker niet perfect, maar zit aardig vaak goed. 22

23 Het is lastig om te voorspellen hoe goed het systeem werkt, want het hangt erg af van de soort documenten. Zo lijkt het dat kamervragen en moties aardig goed geclassificeerd worden, maar handelingen/debatten erg slecht (in dat soort documenten wordt er minder duidelijk/objectief over onderwerpen gesproken). Daarnaast is de evaluatie niet perfect, dus moet er niet te veel waarde aan de R-precision score gehecht worden. Zoals in bovenstaand voorbeeld namelijk te zien is zijn bijna alle top-12 termen relevant, ook al zijn niet geselecteerd door de EU classificatie-expert. Dit systeem is te gebruiken voor NuPubliek op twee manieren: 1 De meest makkelijke optie is volautomatische classificatie van de (politieke) documenten. Het systeem classificeert elk binnenkomend document en de beste 3 termen (of hoeveel per document gewenst zijn) worden toegekend aan het document. Er zullen dus foute termen tussen zitten, maar het merendeel van termen zal relevant zijn. 2 Als het onacceptabel is dat er foute termen worden toegekend aan documenten dan is er een menselijke stap nodig zijn om dat te verhelpen: Er kan een medewerker elke dag of ééns per week kijken of de termen die zijn toegevoegd correct zijn en missende termen alsnog toevoegen. Des te preciezer de gewenste resultaten des te meer tijd het kost om voor elke document precies de juiste termen te vinden. De termen zouden aangepast kunnen worden door middel van crowdsourcing. Het systeem hangt in eerste instantie volautomatisch een aantal termen aan elk document. Daarna zouden (ingelogde) bezoekers van de site goede termen per document kunnen upvoten, slechte downvoten en nieuwe termen toevoegen. Huidige stand van zaken Op dit moment wordt er gewerkt aan het optimaal classificeren van politieke data en verkiezingsprogramma s. Er ontstaat namelijk altijd een foutenmarge. Deze hangt af van het abstractie niveau waarop onderwerpen gekozen worden. Classificeren op milieu levert bijvoorbeeld minder fouten op dan wanneer data op het meer concrete thema energiebeleid ingedeeld wordt. Er wordt dus gekeken hoe om te gaan met de EuroVoc hiërarchisch onderverdeelde termen. Er zijn 21 hoofdonderwerpen, met daaronder een stuk of 127 sub-onderwerpen. Alle EuroVoc termen zijn vervolgens in meerdere lagen ondergebracht in die 127 subonderwerpen. NuPubliek kan er voor kiezen om op bepaalde pagina's de termen te aggregeren op het hoofd- of sub-onderwerpen niveau, terwijl er op andere pagina's veel gedetailleerdere termen kunnen worden weergegeven. Het voorlopige resultaat van het classificeren van verkiezingsprogramma s is op dit moment zichtbaar op Op onderwerpen ingedeelde politieke data is vooralsnog niet via internet te zien, maar alleen op lokale machines. Er wordt in ieder geval gewerkt naar het toepassen van één classificatie mechanisme toegepast op zowel verkiezingsprogramma s als politieke data. 23