End Of Project Report Statistics on the Usage of Repositories (SURE)

Transcriptie

1 End Of Project Report Statistics on the Usage of Repositories (SURE) Datum Auteur Peter Verhaar 1. Inleiding Met dit document wordt het project Statistics on the Usage of Repositories (SURE) afgesloten. Het rapport geeft een kort overzicht van de loop van het project, de uitgevoerde activiteiten, de bestede middelen, afhandeling van project issues en aanbevelingen voor vervolgactiviteiten. Voor een uitgebreide beschrijving van het project wordt verwezen naar het Project Initiation Document. 2. Korte geschiedenis van het project Tijdens een vergadering van de Werkgroep Repository Managers begin 2009 was vastgesteld dat, hoewel veel universiteiten zich bezig houden met het bijhouden van downloadstatistieken, er op landelijk niveau nog geen goede inzicht kan worden verkregen in het gebruik van repositories. Omdat er veel verschillende methodieken worden gehanteerd konden de cijfers van de verschillende instellingen niet goed kunnen worden vergeleken. Er is dan ook besloten om een werkgroep in te richten die zich moet richten op het ontwikkelen van een methodiek voor het opstellen van transparante en goed vergelijkbare statistische data. Hierbij is Peter Verhaar naar voren geschoven als projectleider. Het werk van de groep zou worden gemonitord door de Open Access Task force. In maart 2009 is Peter Verhaar gestart met een vooronderzoek voor deze werkgroep. Hierbij zijn onder meer de eindrapporten van PIRUS1, de JISC Usage Statistics Review, de Knowledge Exchange Institutional Repositories Workshop Strand on Usage Statistics en het rapport NEEO Technical Guidelines for the Exchange of Usage Metadata doorgenomen. Bij een aantal instellingen die al experimenten hadden uitgevoerd op het gebied van statistieken is geïnformeerd of er ook een belangstelling bestond om deel te nemen aan het project, er kon een projectteam worden gevormd met vertegenwoordigers van de VU, de UvA en de RUG. Aan de hand van de al beschikbare rapporten is een eerste projectschets gemaakt, en deze is op 14 april 2009 tijdens een kick-off meeting besproken. Bij deze meeting waren Peter Verhaar, Maurice Vanderfeesten, Peter van Wonderen, Henk Ellerman en Renze Brandsma aanwezig.

2 Na de kick-off meeting is de initiële projectopzet door Peter Verhaar en Maurice Vanderfeesten uitgewerkt tot een projectplan. Er is een stuurgroep geformeerd die bestond uit Gerard van Westrienen, Maarten Steenhuis, Marga van Meel en Hubert Krekels. Voor het team is een Google discussiegroep aangemaakt, en op de SURFShare site is er een hiernaast ook een teamsite aangemaakt, waarop alle documentatie van het project kon worden geplaatst. In het projectplan zijn alle benodigde deliverables en milestones geïdentificeerd, en is er een initiële planning opgesteld. Een eerste versie van het projectplan is tijdens een projectmeeting op 24 juni besproken. Hierbij zijn de taken verdeeld en hebben alle teamleden ureninschattingen gemaakt van de hen toebedeelde werkzaamheden. In juli 2009 was er definitief projectplan. Dit plan is daarna door het platform-bestuur van SURF verstuurd naar alle deelnemende partners, met een opgave van de verwachte inspanningen per instelling. Hierna is van start gegaan met de uitvoering van het project. D1.1., waarin specificaties voor de te gebruiken standaarden en protocollen moesten worden vastgelegd, kon redelijk snel worden afgerond doordat vergelijkbare projecten (PIRUS, MESUR, OA-Statistik) al uitgebreide documentatie hadden opgesteld en ook bereid waren om deze te delen. In D1.1 worden aanbevelingen gedaan voor het gebruik van onder meer OpenURL Context Objects, OAI-PMH en SUSHI. De beschrijvingen van de standaarden zijn ook opgenomen in de SURFShare Standards Wiki. 1 In SURE werd wel op een aantal punten afgeweken van NEEO, OA- Statistiks en PIRUS, en deze afwijkingen zijn ook gedocumenteerd. D1.1. is vervolgens ook weer gedeeld met projectmedewerkers van NEEO en OA Statistik. Deliverable D1.2 is in oktober 2009 afgerond door Lucas van Schaik. Dit rapport bevatte een databaseontwerp en een inschatting van de benodigde opslagcapaciteit. Lucas is hierna begonnen aan de D1.3, de software die log files kan omzetten naar OpenURL Contect Objects. Nadat in oktober duidelijk werd dat de KNAW de centrale database niet kan hosten (zie ook 5. Project Issues), is op zoek gegaan naar alternatieve oplossingen. Op advies van de projectgroep heeft de stuurgroep ingestemd met een oplossing waarbij de database gedurende de loop van het project zou worden gehost door een commerciële partij. Uit een vergelijking van de diensten en de prijzen van verschillende providers bleek dat HostSlim in Weesp het meest voordelig was Nadat er een contract was afgesloten voor de periode van een jaar is de centrale database hierna door Peter van Wonderen ingericht. Hierbij is het ontwerp van D1.2. gevolgd. Op 22 januari zijn de voorlopige resultaten van het SURE-project gepresenteerd tijdens een workshop van Knowledge Exhchange in Göttingen. Bij deze meeting waren ook vertegenwoordigers van PIRUS2 en OA-Statistik aanwezig. De meeting was zeer productief. Er is afgesproken dat resultaten van de Britse, Nederlandse en Duitse projecten zo veel mogelijk zouden worden uitgewisseld. Er is eveneens 1

3 gesproken over de mogelijkheid om internationale richtlijnen op te stellen voor de uitwisseling van statistische gegevens. Tijdens de projectmeeting van 24 juni 2009 had Henk Ellerman aangegeven dat hij de service catalogus voor zijn rekening zou nemen. De service catalogus moest bestaan uit een beredeneerde opsomming van mogelijke diensten die geleverd kunnen worden op basis van de in SURE vergaarde gebruiksgegevens van aangesloten repositories. In oktober liet Henk weten dat hij, vanwege zijn overstap per 1 januari naar de Universiteit van Tilburg, op persoonlijke titel aan het project zou deelnemen. Toen in mei 2010 duidelijk werd dat Henk Ellerman de catalogus niet meer ging schrijven (zie ook 5. Project Issues) is dit rapport door Peter Verhaar geschreven. Arjan Hogenaar heeft uitgebreid commentaar geleverd op deze tekst, en de opmerkingen zijn grotendeels in de tekst verwerkt. Bij OA-Statistik is geïnformeerd of er ook wordt nagedacht of mogelijke diensten. Dit bleek niet het geval. Na het einde van de DINI-subsidie in juni 2010 zijn er geen werkzaamheden meer verricht. Ook in PIRUS2 wordt er niet gewerkt aan een service catalogus. JISC ondersteunt wel allerlei initiatieven op het gebied van het meten van Research Intelligence, maar het gaat hierbij vooral om het verzamelen van gegevens in het kader van het Research Excellence Framework en de CERIF-standaard. 2 Dit is breder dan alleen download-statistieken. De service catalogue is wel gedeeld met het OpenAIRE-project. M1.3 was de ontwikkeling van een robot filtering web service. Deze dienst was nodig om er voor te zorgen dat aanvragen door internet bots uit de resultaten kunnen worden geweerd. Deze dienst is uiteindelijk ontwikkeld in samenwerking met de internationale partners. De filtertechniek was besproken tijdens een Knowledge Exchange workshop op 29 en 30 maart in Berlijn. Er is gekozen voor een methode waarbij er op lokaal niveau al wordt gefilterd. Voordat repositories hun data doorsturen, controleren zij deze aan de hand van een lijst van robots die centraal wordt beheerd. Op deze centrale lijst komen de meest voorkomende robots voor. Gemiddeld genomen kunnen op deze manier 70% van de requests uit de data worden geweerd, en dit zorgt er dus voor dat er minder verkeer plaats hoeft te vinden tussen de repository en de log aggregator. De centrale lijst is een samenvoeging van de lijsten van COUNTER, PLOS en NEEO. Voor de robotlijst is een eigen XML schema ontwikkeld. De lijst is opgeslagen op de website van Knowledge Exchange, en voor de robots list is eveneens een PURL aangevraagd bij OCLC. De lijst wordt momenteel beoordeeld door de COUNTER Technical Advisory Group en er bestaat een grote kans dat de nieuwe lijst uiteindelijk ook zal worden gebruikt als de nieuwe COUNTER Standard for robots exclusion. 2 Zie onder meer en Zie bijvoorbeeld: 01&end=

4 D1.3 ging over de ontwikkeling van software die gebruikersgegevens kan overzetten van de lokale repositories naar de centrale database. Deze software bestaat in hoofdlijnen uit twee onderdelen. Een eerste component moet lokaal bij repositories worden geïnstalleerd. De software inspecteert de log files van de server software en converteert de gegevens naar XML-bestanden die zijn gestructureerd volgens de richtlijnen die in D1.1. zijn vastgelegd. Het eerste onderdeel is door Lucas van Schaik afgerond en gedocumenteerd in augustus Bij de ontwikkeling van de software is helaas enige vertraging ontstaan omdat de tijd van Lucas in het tweede kwartaal van 2010 vrijwel volledig opging aan een ander project dat binnen de UB Leiden prioriteit had gekregen. Omdat werd verwacht dat Lucas ook in het derde kwartaal van 2010 weinig tijd aan het SURE-project kon besteden is hierna aan Hans Scholte, ontwikkelaar bij het DPC van de UvA, gevraagd om de werkzaamheden van Lucas over te nemen. Er zijn hierbij nieuwe inschattingen gemaakt van de benodigde tijd en deadlines afgesproken. De projectplanning is aangepast en deze aangepaste planning is tijdens de stuurgroepvergadering van 10 augustus geaccordeerd. Op 13 oktober meldde Hans dat de software af was en dat er een werkende versie van de software was geïnstalleerd op het repository-systeem van de UvA. De usage events van de UvA konden hierna dus via OAI-PMH worden opgevraagd. Ook op het repository-systeem van de VU kon de software hierna worden geïnstalleerd. Binnen de UB Leiden waren er echter problemen op de huidige DSpace server, waardoor de software niet kon worden geïnstalleerd. Omdat in Leiden wordt gewerkt aan de upgrade naar een nieuwe versie van DSpace zijn de inspanningen om de software te installeren gestaakt en uitgesteld tot er een nieuwe versie van DSpace is. De voor D1.3 ontwikkelde software is in open source gepubliceerd via sourceforge. 3 Over het project is tijdens het Open Repositories 2010 congres in Madrid een poster gepresenteerd. Op 26 oktober is door Peter Verhaar een presentatie gegeven over de internationale samenwerking op het gebied van Usage Statistics tijdens de KE Conference on Repository interoperability. Het project is eveneens tijdens de WISH-vergadering van 22 april gepresenteerd en nogmaals tijdens de WRM-vergadering van 14 september Na de oplevering van D1.3 is Hans Scholte begonnen aan de ontwikkeling van de web services. Deze konden vrij snel worden afgerond. Hans heeft geen losse web services ontwikkeld, maar heeft omwille van efficiëntie één dienst ontwikkeld waarbij per publicatie onder meer het aantal downloads en de geografische spreiding kan worden opgevraagd. 4 Om er voor te zorgen dat Chris Baars al voor de volledige afronding van de web service kon beginnen met de integratie van de data in Narcis is door Hans Scholte eerst een mock-up van de service ontwikkeld. Op 29 november meldde Chris Baars dat de integratie was gerealiseerd. In Narcis kunnen de data als volgt worden gepresenteerd:

5 3. Belangrijkste cijfers van het project 3.1. Doorlooptijden N.B. In de onderstaande tabellen zijn de geplande einddata van D1.3, D1.5, M1.3 en M2.1-M2.4 ontleend aan de bijgestelde planning die is geaccordeerd tijdens de stuurgroepvergadering van 11 augustus Fase 1 Geplande einddatum Daadwerkelijke einddatum D1.1. Application profile for Open URL Context Objects, SUSHI and COUNTER D1.2. Design of central database D1.3. Development of software for the transfer of usage data D1.4. Evaluation Report M1.1. Implementation of a central database M1.2. Robot filtering web service M1.3. Development of a general statistics web service Fase 2

6 Geplande einddatum Daarwerkelijke einddatum D2.1. Web Services Catalogue M2.1. Web Service for the visualization of geographic diffusion M2.2. Web Service for referrers M2.3. Production of COUNTER-compliant articlelevel reports M2.4. Integration in NARCIS Besteding middelen Fase 1 UL KNAW VU UVA RUG D D D D1.4 8 M1.1 8 M1.2 8 M Fase 2 UL KNAW VU UVA RUG D M2.1 2 M2.2 2 M2.3 2 M

7 Totale projectkosten Uren WP1 Uren WP2 Projectmeetings Totaal Tarief Kosten UL KNAW VU UvA RUG SURF WUR HostSlim Totaal Project Issues Er waren tijdens het project drie belangrijke project issues. 1. Er was in de beginfase van het project lange tijd geen omgeving beschikbaar waarop de centrale database kon worden ontwikkeld. In het project werd aanvankelijk met de aanname gewerkt dat de KNAW de centrale database kon hosten, maar het werd duidelijk dat de KNAW deze rol toch niet op zich kon nemen, onder meer vanwege de geplande reorganisatie. Dit issue is besproken tijdens de stuurgroepvergadering van 12 januari Er is op deze datum niet direct een beslissing genomen over de te nemen maatregel, omdat de stuurgroep niet voltallig was en omdat er nog geen volledige duidelijkheid bestond over de mogelijke rol van de KB en DANS. Na de vergadering bleek echter dat er noch bij KNAW, noch bij de KB en noch bij DANS mogelijkheden bestonden om de database te hosten. Bij DANS bestond wel belangstelling, maar het bleek niet mogelijk om de database al op korte termijn te gaan hosten. Bij navraag door Maurice Vanderfeesten bleek dat er ook bij SURFnet geen mogelijkheden bestonden om een ontwikkel- en productieserver beschikbaar te stellen. De volledige stuurgroep is hier via over geïnformeerd en heeft hierna, op advies van de projectgroep, ingestemd met het voorstel om de database tijdens het eerste projectjaar onder te brengen bij een commerciële provider. 2. Tijdens de projectmeeting van 24 juni 2009 had Henk Ellerman aangegeven dat hij de service catalogus voor zijn rekening zou nemen. Toen na het verstrijken van de afgesproken deadline echter bleek dat de service catalogus nog niet was geschreven heeft Henk tijdens telefonisch overleg laten weten dat hij de service catalogus echter nog wel graag wilde schrijven. Als nieuwe deadline was daarbij 31 mei afgesproken. Toen er op 31 mei echter nog steeds geen rapport beschikbaar was en Henk ook lastig te bereiken bleek, is besloten om voor deze service catalogus een andere oplossing te

8 kiezen. Tijdens de verschillende Knowledge Exchange workshops is al veel over mogelijke services gesproken. Bovendien zijn er in de afgelopen jaren ook verschillende rapporten verschenen over functionele wensen en informatiebehoeften van onderzoekers. Door gebruik te maken van al bestaande documentatie is door Peter Verhaar, die de meeste workshops ook al had bijgewoond, in de week van 19 juli een service catalogus geschreven van ca. 20 pagina s. Er is hierbij voor gezorgd dat deze uitvoerende werkzaamheden niet ten koste gingen van project management werkzaamheden. De beslissing is echter alleen besproken binnen het directe projectteam en er had over deze beslissing een betere afstemming moeten plaatsvinden met de stuurgroep. 3. Een algemeen issue is dat er binnen de deelnemende instellingen, ondanks de financiële matching, niet altijd prioriteit kon worden gegeven aan het SURE-project. Hoewel projectmedewerkers duidelijk hadden aangegeven dat zij bijdragen wilden leveren aan het project, moesten zij in de praktijk vaak hun aandacht verdelen over projecten die gelijktijdig liepen. De oorspronkelijke planning, waarin uitgegaan werd van een afronding van het project in augustus 2010, kon om deze reden niet worden gehaald. De stuurgroep is hierover geïnformeerd, en tijdens de stuurgroepvergadering van 11 augustus is een aangepaste planning met nieuwe ureninschattingen van de betrokken medewerkers besproken en goedgekeurd. 4. Evaluatie projectresultaten en projectverloop In het oorspronkelijk projectplan was er een bedrag van voor het project gereserveerd. De daadwerkelijke kosten van het project bedroegen echter aanzienlijk lager: Zowel de materiële kosten en de personele kosten vielen lager uit (personele kosten: vs en materiële kosten: vs 8.000). Hieronder staat een vergelijking van de geplande en de bestede uren, per deliverable: D D D D M M M D M M M M

9 De bovenstaande vergelijking laat zien dat met name de ontwikkeling van de webservices in fase 2 wat te pessimistisch waren ingeschat. De onderbesteding op de personele kosten kan ook worden verklaard doordat er in het project efficiënter kon worden gewerkt vanwege de intensieve internationale samenwerking. Omdat de projecten PIRUS2 en OA-Statistik, die al eerder waren gestart, bereid waren om al hun documentatie en hun ervaringen te delen konden onder meer de deliverables D1.1, D1.2 en M1.2 redelijk vlot worden voltooid. Deze internationale samenwerking, die door Knowledge Exchange werd ondersteund, heeft naast veel nuttige resultaten, echter ook extra werkzaamheden opgeleverd. Peter Verhaar heeft bijvoorbeeld het voortouw genomen bij het ontwikkelen van de internationale richtlijnen voor Usage Statistics. 5 Het schrijven van de tekst, het inzamelen van de feedback, en het doorvoeren van alle wijzigingen heeft in totaal ongeveer zes werkdagen gekost. Deze kosten zijn echter buiten de begroting van het SURE-project gehouden, omdat deze kosten volledig zijn vergoed door Knowledge Exchange. Deze richtlijnen zijn overigens tijdens de WISH-vergadering van 9 december goedgekeurd en kunnen dus binnen de SURFshare-community als standaard worden gebruikt. Onder meer vanwege het issue dat in paragraaf 5 is besproken kon de oorspronkelijke projectplanning helaas niet worden gehaald. Ook de producten waarvoor de planning in augustus was bijgesteld konden helaas niet exact op de afgesproken deadlines worden opgeleverd, maar in de meeste gevallen wel binnen een of twee weken na deze deadlines. Er kan worden vastgesteld dat de hoofddoelen van het project zijn behaald. Alle benoemde deliverable en milestones zijn opgeleverd, in sommige gevallen weliswaar met enige obstakels. In het project zijn duidelijke aanbevelingen gedaan voor het bijhouden van onderling vergelijkbare gebruikersstatistieken. Er is een gemeenschappelijk kader ontwikkeld voor onder meer de bron van de statistieken en voor de informatie die uit deze bronnen kunnen worden afgeleid. Over deze richtlijnen is eveneens internationale overeenstemming bereikt. Er zijn aanbevelingen gedaan voor de manier waarop statistieken aan externe partijen buiten de context van de eigen repository kunnen worden gerapporteerd. Er is nagedacht over de diensten die met statistieken kunnen worden aangeboden. Belangrijk is ook dat er is aangetoond dat het technisch mogelijk is om statistieken in te zamelen in een nationale database zodat deze breder ter beschikking kunnen worden gesteld. Dit proof of concept was een van de centrale doelstellingen van het project. In het projectteam heerste gedurende het hele project een prettige werksfeer, en door iedereen is op een enthousiaste en constructieve manier aan het project gewerkt. Van alle projectmeetings en van alle stuurgroepvergaderingen zijn notulen gemaakt die op de SURFshare webomgeving zijn geplaatst. Een groot deel van mail-verkeer dat in het 5 Het uitendelijke resultaat is te bekijken op het volgende adres: sion=3&modificationdate=

10 kader van het project is gevoerd is ook terug te vinden via de Google discussielijst. Teamleden hebben via mail en telefonisch contact gerapporteerd over de voortgang van de werkzaamheden. Voorafgaand aan alle projectmeetings is steeds een voortgangsrapportage opgesteld waarbij per product de status was aangegeven en waarbij ook een vooruitblik werd gegeven op het werk dat nog moest worden gedaan. Notulen van de stuurgroepvergaderingen zijn eveneens naar het projectteam verstuurd. 6. Follow-up recommendations Er kan nog op een aantal manieren worden voortgebouwd op de resultaten van het SURE-project. - Op dit moment bevat de centrale database nog alleen data van de UvA, de VU en de Universiteit Leiden, de drie instellingen die aan het SURE-project deelnamen. Het project heeft software opgeleverd die in principe bij alle repositories kan worden geïnstalleerd. In een vervolgtraject kan worden toegewerkt naar een situatie waarbij alle Nederlandse Universiteiten hun download-gegevens aanleveren bij een centrale dienst. - De ontwikkelde techniek kan nog op een aantal punten worden verfijnd. Er bestaan momenteel kleine verschillen in het gebruik van OAI-PMH en de performance van de centrale database en de web services kan nog worden verbeterd door extra tabellen of views aan te maken met aggregaties per dag of per week. Na de oplevering van de eerste test-url kwamen er nog een aantal mogelijk problemen boven water. In de OpenURL Context Objects records staan geen beschrijvende metadata. De XML bevat in veel gevallen alleen de URL van het document dat is gedownload. De koppeling met de metadata kan wel tot stand worden gebracht op basis van een URN, maar, aangezien de log files meestal alleen URLs bevatten, zijn niet alle instellingen in staat om bij alle publicaties ook een URN te leveren. Dit probleem kan mogelijk worden opgelost via een resolver die URLs kan omzetten naar URNs. Deze URNs kunnen dan worden gebruikt om de metadata bij Narcis op te vragen. Bij navraag bleek dat er bij DANS belangstelling bestaat voor de ontwikkeling voor een dienst die URLs kan omzetten naar PIDs. Een dergelijke dienst kan echter niet in alle gevallen een goed resultaat geven, vanwege URL rewrites, requests met/zonder index.html aan het eind, wel of geen poortnummer in de url, etc. Op de lange termijn is het dus beter wanneer de OpenURL records ook de PIDs bevatten. - De centrale database wordt momenteel nog gehost door een commerciële partij, HostSlim. Het contract loopt nog tot in maart Het zorgen voor een meer duurzame hosting is dan ook een andere belangrijke vervolgactie. DANS heeft inmiddels belangstelling getoond voor het hosten van de database. Maurice Vanderfeesten informeert bij DANS over de mogelijkheden

11 hiervoor. - Tijdens SURE-1 is gekozen voor een beperkt aantal elementaire diensten. In de service catalogus, die is geschreven voor D2.1 worden echter nog veel meer diensten genoemd. Tijdens de WRM- en WISH-vergaderingen is besproken dat het wenselijk zou zijn wanneer er een werkgroep wordt ingericht die bepaalt welke diensten het meest relevant zijn. De web service software is door Hans Scholte zeer flexibel geprogrammeerd, en als er behoefte bestaat aan andere web services hoeven in de meeste gevallen alleen de onderliggende database queries te worden aangepast. De bovenstaande vervolgactiviteiten hoeven wellicht niet per sé in projectverband te worden uitgevoerd. Als DANS instemt met het hosten van de database (hier is op 17 december hopelijk duidelijkheid over), kan deze waarschijnlijk zonder veel moeite worden gemigreerd vanaf de HostSlim-server naar DANS. Alle bijbehorende software is al beschikbaar. Het installeren van de software bij individuele repositories kan mogelijk worden gecoördineerd door de WISH. Voordat aan aanvullende services kan worden gewerkt moet eerst duidelijkheid komen over welke diensten gewenst zijn. Deze vraag kan mogelijk worden beantwoord door een door de WRM in te stellen werkgroep.