~L~g. for life. Virtuele muis. Offerte. . innovation. Haalbaarheidstudie naar hergebruik browsertechnologie voor effectieve webcrawl ing

Transcriptie

1 . innovation Virtuele muis Haalbaarheidstudie naar hergebruik browsertechnologie voor effectieve webcrawl ing Offerte Deze offerte is uitgebracht aan: NCTV Postbus BZ Den Haag Klantcontact Naam contactpersoon: Telefoonnummer: E-maiI: Copyright 2011 TNO Alle rechten voorbehouden. Niets uit deze uitgave mag worden vermenigvuldigd en/of openbaar gemaakt door middel van druk, foto-kopie, microfilm of op welke andere wijze dan ook, zonder voorafgaande toestemming van TNO. Offe,temodel vl.4, kwa, mei2011

2 innovation Offertenummer Inhoudsopgave Vlrtuele muis voor NCTV 1 INTRODUCTIE ACHTERGROND PROBLEEMSTELLING DOELSTELLING 4 2 HET AANBOD - OMSCHRIJVING OPDRACHT RESULTAAT ACTIVITEITEN PLANNING VERANTWOORDELIJKHEDEN OPDRACHTGEVER GEEN ONDERDEEL VAN DEZE OFFERTE 7 3 PRIJS EN FACTURE RING PRIJS FACTURERING 7 4 LEVERINGSVOORWAARDEN VOORWAARDEN GELDIGHEID VAN DE OFFERTE CONTACTPERSONEN ONDERTEKENING TNO Pagina2van8

3 innovation 0ffertenummer~ Virtuele muis voor NC1V 1 In roductie Wij danken u voor de uitnodiging aan TNO om op het gebied van internettechnologie haar diensten aan t bieden. Deze offerte is gebaseerd op gesprekken tussen van NCTV en van TNO. Daarnaast is deze offerte gebaseerd op resultaten van het project FlashReader. 1.1 Achtergrond Verschillende diensten zoeken of monitoren specifieke websites. Door middel van een crawler worden websites automatisch geïndexeerd en vervolgens wordt op basis van de verkregen informatie vastgesteld of de website relevant is, dan wel of er relevante ontwikkelingen hebben plaats gevonden in een bepaalde periode. De informatie die crawlers verwerken is voornamelijk gebaseerd op de tekst die wordt gescheiden van de HTML. Indien de informatie wordt gepresenteerd in de vorm van een Flash object (SWF) of beeldmateriaal, dan lukt het veelal niet om deze sites automatisch te indexeren. Deze problematiek is onderzocht in het project FlashReader. In dat project zijn verschillende oplossingsrichtingen in kaart gebracht om Flashwebsites te indexeren. Het project concludeerde dat de volgende oplossingsrichting erg kansrijk is. Een virtuele muis wordt ontwikkeld die is gebaseerd op webbrowsertechnologie. Deze muis doorloopt vervolgens de hele website. Deze oplossing is kansrijk, omdat onder andere Adobe zelf ook een dergelijke oplossingsrichting heeft onderzocht, maar stelt deze niet beschikbaar. Naast Flash wordt nog een aantal nieuwe technieken gebruikt, (zoals Figuur 1 presenteert) die gebruik van dynamische maakt content of steeds meer Rich Internet Applications (RIA). Dit maakt de vraag naar een meer creëert generieke virtuele muis, dle een nieuwe vorm van webcrawling kan faciliteren, alleen maar relevanter. De NCTV (opdrachtgever) heeft in het programma genaamd ~ HERKENNING DIGITALE INFORMATIE EN FINGERPRINTINc3 bovenstaande problematiek als relevant onderwerp aangemerkt Deze relevantie wordt tevens herkend door het Intemnet Service Centre van de Belastingdienst Daarnaast is de centrale stakeholder in dit project het IRN (internet recherche netwerk). N1ML PDF 5, ~. StT~rhght Rich Internet Applications JAVA Figuur 1. Technologieën waarop Ricli lnternet Appilcations zijn gebaseerd, deze webpagina s zijn lastig te indexeren. 1.2 Probleemstelling Veel gebruikte crawlers, zoals HTtrack, zijn niet in staat om RiA s te indexeren. Een mogelijke oplossing zou zijn voor iedere RIA een specifieke crawler ontwikkelen, maar dat is erg kostbaar en betekent dat voor iedere update een nieuwe versie ontwikkeld moet worden. Probleem van de bestaande crawlers is dat zij niet door de pagina s kunnen lopen die gebaseerd zijn op deze technologie. Dat betekent bijvoorbeeld dat een website die begint met een Flash filmpje niet geïndexeerd kan worden omdat deze crawlers geen Flash kunnen interpreteren TNO Pagir~a 3 van 8

4 i nnovation Offertenummer: Doelstelling Virtuele muis voor NCTV Browsertechnologie wordt steeds meer gebruikt, krijgt steeds meer functionaliteit, en biedt de mogelijkheid om als alternatieve crawler te gaan dienen. Doe! van het project is de haalbaarheid te toetsen van een virtuele muis die is gebaseerd op deze technologie. De belangrijkste onderzoeksvragen die daartoe beantwoord worden zijn: - Kan browsertechnologie gebruikt worden als crawler door voor dit doel een specifieke plugin te ontwikkelen of bestaande plugins, zoals Firebug, te hergebruiken? Wat is een geschikte open source webbrowser? Is deze crawler generiek toepasbaar voor verschillende RIA s en tevens robuust voor updates van deze RIA s? - Kan een virtuele muis een website volledig doorlopen, door alle clickable regions aan te klikken? Geldt dit ook voor de RIA s? - Hoe kan een toestand van een website gedefinieerd worden, zodat de crawler deze pagina niet bij herhaling blijft indexeren? - Wordt daarmee een generieke crawler ontwikkeld die verschillende technologieën als HTML5, Flash en Silverlight kan indexeren? DLIE 0 OS eb heet Internet Figuur 2. Er zijn verschillende punten In de Flash keten, waar de virtuele muis kan aanhaken. Het FlashReader project concludeert dat de webbrowser het meest belovende aanhaakpunt Is. 2 Het aanbod omschrijving opdracht 2.1 Resultaat De resultaten van dit project zijn: - Proof-of-concept van de virtuele muis die getest kan worden en tevens beschikbaar is voor de stakeholders van de NCTV. - Rapportage en presentatie met de bevindingen van het proof-of-concept op basis waarvan de haalbaarheid van de virtuele gebruiker als alternatieve webcrawler getoetst is TNO Pagina 4 van 8

5 innovation Offertenummer: Virtuele muis voor NCTV Dit resultaat stelt de stakeholders van de NCTV in staat te besluiten of uitontwikkeling van deze oplossing zinvol is en hoe deze oplossing praktisch gebruikt kan gaan worden. Het eindrapport is voor intern gebruik en door stakeholders van NCTV. Voor elk ander gebruik is voorafgaande toestemming van TNO benodigd. 2.2 Activiteiten Om tot het bovenstaande resultaat te komen, omvat het project de volgende activiteiten: Al. Deskresearch A2. Ontwerpen van een prototype A3. Ontwikkeling proof-of-concept A4. Kwalitatieve test proof-of-concept A5. Rapportage schrijven en resultaten presenteren A6. Projectmanagement Al. Deskrosearch Om vast te stellen welke functionaliteit van de webbrowser precies gebruikt kan worden, wordt door middel van deskresearch een inventarisatie gemaakt van de mogelijkheden die de verschillende browsers te bieden hebben. Resultaat van deze inventarisatie is de keuze voor de browser die het meest geschikt is voor het doel van de virtuele muis. Er wordt vanuit gegaan dat dit een open source webbrowser is, omdat daarvoor relatief eenvoudig technologie ontwikkeld kan worden. Naast de browser zelf is het ook belangrijk inzichtelijk te maken wat relevante bestaande plugins zijn en hoe die gebruikt kunnen worden. Hierbij kan gedacht worden aan een plugin als Firebug voor de open source webbrowser Firefox. A2. Ontwerpen van een prototype Op basis van de mogelijkheden die geïdentificeerd zijn binnen de geselecteerde webbrowser wordt een functioneel ontwerp gemaakt van de virtuele muis. Om de haalbaarheid van het ontworpen prototype te toetsen wordt als proof-of-concept alleen de essentiële componenten ontwikkeld, zodat de virtuele muis getest kan worden. A3. Ontwikkeling proof-of-concept Om de haalbaarheid te toetsen wordt het proof-of-concept ontwikkeld. Dit zal gebeuren in samenwerking met expertise uit de open source community. De inzet van deze expertise is een projectrisico. Dit risico wordt beheerd, doordat deze inzet in het algemene kleine bedragen betreffen (maximaa, wat inhoudt dat een dergelijk experiment ook kan mislukken en nogmaals uitgevoerd kan worden. e bevindingen, over de inzet van de open source community, vormen ook resultaat van dit project. De integratie van deze componenten tot het proof-of-concept wordt door TNO uitgevoerd. A4. Kwalitatieve test proof-of-concept Door middel van een kwalitatieve test van het proof-of-concept wordt de praktische potentie van de virtuele gebruiker getoetst. Dit wordt bereikt door een aantal websites enkele weken te volgen. Daarnaast wordt een vergelijking gemaakt tussen het aantal kilobytes en files die een traditionele crawler kan verzamelen en de hoeveelheid materiaal die deze nieuwe crawler kan verzamelen, Dit levert een indicatie op van de winst van deze nieuwe benadering. A5. Rapportage schrijven en resultaten presenteren Om de bevindingen van dit project goed te delen met stakeholders en derden worden alle relevante bevindingen gepresenteerd in de vorm van een rapportage. Daarnaast worden de resultaten gedeeld door middel van een presentatie voor stakeholders van de NCTV. A6. Projectmanagement Benodigd projectmanagement voor het realiseren van het projectresultaat, afstemming met NCTV afstemming met stakeholders en Organisatie omtrent presentatie van de projectresultaten TNO Pagina 5 van 8

6 innovation Offertenummer: Virtuele muis voor NCTV 2.3 Planning Tabel 1 presenteert de doorlooptijden van het haalbaarheidsonderzoek. Tabel 1. Doorlooptljd per activiteit Al A2 A3 A4 A5 A6 Totaal -- 4 weken 4 weken 12 weken 8 weken 25 weken 30 weken 30 weken Voor de totale projectuftvoerlng is een doorlooptijd begroot van 30 weken zoals de projectplanning in Tabel 2 laat zien. Tabel 2. ProJectplannlng d (J Ontwerp delen met stakeholcier Afstemming met stakeholder over uit te voeren testen Presentatie uitkomsten haalbaarheid Projectoverleg met Projectafronding De werkzaamheden kunnen starten in oktober 2011, maar pas nadat wij uw schriftelijke opdracht hebben ontvangen. De projectorganisatie ziet er als volgt uit. De beoogd projectleider is _f~ TNO is de uitvoerder van de activiteiten Al tot en met A6. Activiteit A3 zal gedeeltelijk uitgevoerd worden door extemen uit de open source community. De participerende stakeholder is lid van het projectteam door ervanng in te brengen, en anderzijds het beoordelen van de bruikbaarhejd van het behaalde resultaat in activiteit A5. Na afronding van het project zal acceptatie worden gevraagd middels het TNO Protocol van Oplevering TNO Pagina 6 van S

7 1 nnovation Offertenummer VMueIe muis voor NCTV 2.4 Verantwoordelijkheden opdrachtgever De opdrachtgever js verantwoordelijk voor de organisatie van het disseminatie proces. Dit betreft afstemming over de invulling, locatie en de uit te nodigen stakeholders voor de presentatie van de resultaten. Daarnaast is de opdrachtgever verantwoordelijk voor de selectie van de relevante stakeholders om de eindrapportage mee te delen. 2.5 Geen onderdeel van deze offerte De offerte voorziet niet in: Oplevering van productie software Documentatie en support bij proof-of-concept software Organisatie van disseminatie proces 3 Prijs en facturering 3.1 Prijs De prijs van de werkzaamheden zal worden gebaseerd op de werkelijk bestede uren en de werkelijk gemaakte materiële kosten. De richtpr)js bedraagt L exclusief BTW, prijspeil Het bedrag zal alleen na toestemming vooraf door de opdrachtgever worden overschreden. Bij 70% benutting van de rtchtprijs zal er overleg met de opdrachtgever plaatsvinden over de afronding (wat nog te doen, tegen welke kosten). Afhankelijk van de wensen van de opdrachtgever kan er een nieuwe richtprijs worden bepaald. Voor inhuur van expertise uit de open source communfty is exclusief BTW begroot 3.2 Facturering De werkzaamheden zullen maandelijks in rekening worden gebracht op basis van de werkelijk gemaakte uren en kosten. Betalingscondities: binnen 30 dagen na factuurdatum onder vermelding van het factuumummer. 4 Leveringsvoorwaarden 4.1 Voorwaarden Op deze offerte is het NCTb-TNO protocol van toepassing. Zie hiervoor het schrijven van NCTb van 11 juli 2008 met kenmerk /08. Indien de NCTV wordt verzocht (in het kader van een WOB verzoek) het eindrapport of andere documenten van belang voor dit project te publiceren, zal de NCTV alvorens tot publicatie over te gaan TNO in de gelegenheid stellen de betreffende documenten te reviewen. Reviewen houdt in dat TNO eigennamen en commercieel vertrouwelijke gegevens onleesbaar maakt 4.2 Geldigheid van de offerte De offerte is geldig tot 19 oktober TNO Pagina 7 van 8

8 innovation Offerten ummer: Virtuele muis voor NOW 4.3 w. W~ i ~w. ~W.. Wij verzoeken u vriendelijk om vragen over deze offerte te richten aan de volgende personen: Commercieel contactpersoon InhoudelIjk contactpersoon 4.4 Ondertekening Wij danken u voor het in ons gestelde vertrouwen en zien graag uw opdrachtbevestiging of een ondertekend exemplaar van deze offerte tegemoet, ter attentie van TNO, Ir. A.C. van Tol, postbus 96864, 2509 JG Den Haag. Voor NCTV (voor accedtatle) /~ /~1 Naam Voor TNO (offerte) Naam Is Functie. Functie Datum en plaats Datum en plaats ~i9~% % 24_Lj.. (s ~ L1 J~44.% 2~tj 2011 TNO Pagina 8 van 8