Onderzoek naar de maximale belasting van een SFX server in een academische omgeving

Transcriptie

1 Onderzoek naar de maximale belasting van een SFX server in een academische omgeving Stageverslag Patriek Hochstenbach* 14 september 2000 * 1

2 Samenvatting Dit rapport is het resultaat van een case-study naar de populariteit van SFX-links en zijn voorganger Holdings-RUG-links binnen grote groepen eindgebruikers van RUGnet. Om te kunnen inschatten welke dimensies een SFX server moet hebben binnen een academische omgeving is zo'n onderzoek vereist. De meest opmerkelijke vaststelling van dit onderzoek is dat de populariteit van deze links fractale patronen blijkt te vertonen als de analyse wordt gericht op aantal requests per login in elektronische databanken. Hierdoor kunnen de gebruikelijke statistische methoden niet worden toegepast om een voorspelling te geven van de belasting van een SFX server gegeven het aantal eindgebruikers op een netwerk. De aanwezigheid van fractale patronen in de populariteit van SFXen Holdings-RUG-links komt overeen met resultaten van recent onderzoek naar de fractale beschrijving van netwerkverkeer op het internet. In dit rapport worden de resulaten van de case-study beschreven en wordt geprobeerd een oorzaak te vinden voor hun ongebruikelijk karakter. 2

3 Inhoudsopgave 1 Externe links in elektronische databanken Holdings-RUG-link SFX-link Benchmarking van de SFX software 6 3 Zelf-gelijkend gedrag op het internet 10 4 Pareto distributie Distributies met een staart Schatting van het staartgewicht 14 5 Methode van data collectie Holdings requests WebSpirs login SFX requests Resultaten: zelf-gelijkend gedrag van Holding en SFX eindgebruikers Piekgedrag op elk interval Statistische analyse Ver klaring meetresultaten 23 8 Samenvatting 30 9 Literatuur 31 3

4 1 Externe links in elektronische databanken 1.1 Holdings-RUG-link In 1998 werd gestart met de koppeling van elektronische bibliografieën, geconsulteerd door middel van WebSpirs (ERL technologie), met de online Aleph catalogus (Ex Libris technologie). Deze koppeling, aangeboden als 'Holdings R UG' link, maakt het mogelijk om vanuit bibliografieën de beschikbaarheid van tijdschriften of boeken in de online catalogus te onderzoeken. De 'Holdings-RUG'-link wordt in WebSpirs databanken geïmplementeerd als een knop onderaan elk bibliografisch record in een zoekresultaat. Wanneer een eindgebruiker deze knop aanklikt wordt met behulp van JavaScript een nieuw venster geopend met hierin de output van een ISSN of ISBN query in de Aleph catalogus. In het WebSpirs resultaatscherm wordt ervoor gezorgd dat records zonder ISSN of ISBN nummer geen Holdings-RUG-knop krijgen. Dit om zgn. dead links te vermijden. ISSN /ISBN zoekacties in de Aleph catalogus zonder resultaten zijn echter als zodanig geen dead links, aangezien deze output de eindgebruiker duidelijk maakt dat het werk wellicht niet in de bibliotheek voorhanden is. Hierbij moeten worden opgemerkt dat boeken/tijdschriften slechts vanaf 1984 worden ingevoerd in de catalogus. Dit gegeven kan een reden zijn voor de eindgebruiker om de Holdings-RUG-knop minder frequent te gebruiken voor records met oudere publikatiejaren. Klikken op de Holdings-RUG-knop kan dus de volgende resultaten opleveren: het ISBN /ISSN nummer wordt gevonden in Aleph: het boek of tijdschrift is aanwezig in de bibliotheek, de vindplaats wordt getoond, het ISBN /ISSN nummer wordt niet gevonden: het boek of tijdschrijft is niet aanwezig in de bibliotheek met een kans dat als het publikatiejaar vroeger dan 1984 is, het werk toch nog in de steekkaartencatalogus kan worden teruggevonden. 1.2 SFX-link In 1999 werd een nieuwe stap genomen in de richting van een volledig geïntegreerde digitale bibliotheek door de installatie van het softwarepakket SFX 4

5 (Special Effects) in WebSpirs en Aleph. De SFX software werd door de auteur geschreven als onderdeel van het doctoraal onderzoek van Herhert Van de Sompel naar het dynamisch en context-sensitief linken van wetenschappelijke informatie. SFX is een uitbreiding van de Holdings-RUG-link die in elk type elektronische databank kan worden aangeboden. Deze SFX -link presenteert zich aan de eindgebruiker van elektronische informatie als een SFX -knop, die onderaan een bibliografische beschrijving wordt getoond. Wanneer de eindgebruiker deze knop aanklikt, zal het SFX -systeem dynamisch onderzoeken of er voor de bibliografische beschrijving bijzondere links gelegd kunnen worden naar gerelateerde informatie op het internet. Een van de links is de Holdings-RUG-link besproken in de vorige sectie, andere links omvatten: links naar full text: gebaseerd op licentievoorwaarden zal een link naar full text alleen worden getoond als de eindgebruiker werkelijk toegang tot deze externe service heeft, links naar inhoudsopgave: full text links zijn vaak aan licentievoorwaarden verboden, maar de inhoudstabellen worden vaak gratis aangeboden, links naar de Citation Indexen van IS!: de eindgebruiker kan via deze service bekijken of een artikel (of zijn auteur) in andere wetenschappelijke literatuur geciteerd wordt, links naar J ournal Citation Reports: hiermee kan de relevantie van tijdschriften in hun vakgebieden bekeken worden. Het bijzondere aan de SFX -link is de manier waarop deze links aangeboden worden aan de eindgebruiker. Er is geen sprake van voorgeprogrammeerde links maar van een dynamische opzet. Op het moment dat de gebruiker op de SFX -knop klikt zal de bibliografische informatie van het record onderzocht worden. Afhankelijk van zijn rechten zal er aan de eindgebruikers een bundel services worden gepresenteerd. SFX omvat dus zowel dynamisch als context sensitief linken [ 6, 7]: SFX is dynamisch: het aanbod aan services wordt pas berekend als de eindgebruiker erom vraagt, SFX is context-sensitief: afhankelijk van de rechten van de eindgebruiker zullen bepaalde services aangeboden worden. 5

6 2 Benchmarking van de SFX software Voor de commerciële exploitatie van SFX software is het van belang, op basis van het aantal eindgebruikers, een juiste schatting te kunnen maken van de dimensionering van de SFX server. Uitgaande van het aantal potentiële eindgebruikers wil men de maximale belasting op de SFX server kennen: het aantal behandelbare requests per tijdseenheid. Om de absolute prestaties van de SFX software onderzoeken werd door de auteur een softwarepakket ontwikkeld dat, onafhankelijk van het aantal werkelijke eindgebruikers, een belasting op een SFX server veroorzaakt gelijk aan k requests per minuut. Hiermee werd aangetoond dat een server met de eigenschappen: Intel PC, 2 Pentium III processoren (600MHz), 320MB RAM, Linux smp kernel, een maximale belasting heeft van 120 SFX requests per minuut. Deze resultaten kunnen worden gebruikt in de setup van een SFX server als de volgende vraag kan worden beantwoord: hoeveel eindgebruikers 1 kunnen gebruik maken van een SFX server met bovenstaande capaciteit? Of anders gesteld: gegeven een gemeenschap van X eindgebruikers, hoeveel SFX requests worden er naar de server gestuurd? Als het gemiddeld aantallogins in elektronische databanken en het gemiddeld aantal aangeklikte SFX -links bekend is per eindgebruiker, dan kan met behulp van eenvoudige statistische methoden een theoretische schatting worden gemaakt van het aantal requests per minuut op de server. Neem hiervoor een tijdinterval [0, T] en verdeel dit interval in p gelijke subintervallen. De kans, P, dat een belasting van N SFX -requests in een interval [0, T] een belasting van k requests per subinterval p veroorzaakt wordt dan beschreven met de kansdistributie [1]: P(k, N,p) = (~) (~)k(l _ ~)N-k (1) Met eindgebruikers wordt in deze context bedoeld: het aantal onderzoekers en studenten binnen een universiteit die regelmatig, meer dan 1 keer per maand, gebruik maken van elektronische databanken 6

7 Het gemiddeld aantal SFX -requests per subinterval pis: (2) met een standaarddeviatie van: Bijvoorbeeld, gegeven een belasting van N = 4000 SFX -requests per uur. Dan is het gemiddeld aantal SFX -requests per minuut (p = 60): k = met een standaarddeviatie van O" = 8.1. Dit betekent dat we met 99.9 % zekerheid kunnen zeggen dat de belasting k van de SFX server ligt tussen k = k ± 3.290". In theorie betekent dit dat het aantal requests per minuut zeer zelden (minder dan 1 maal in de 1000 minuten = 16 uur) boven de 90 zal uitkomen. Deze belasting zit ruim onder de maximale belasting van 120 requests per minuut, gegeven de bovenstaande serverconfiguratie. (3) 7

8 Gemiddelde en standaarddeviatie Het gemiddeldekvaneen set van N meetwaarden k 1, k 2,...,kM wordt gedefinieerd als: - 1 N k =- l::ki (4) N i=l Als deze meetwaarden worden uitgezet op een lijnstuk met coördinaten k 1, k 2,..., kn als gewichten met gelijke massa, dan geeft het gemiddelde het zwaartepunt aan van de lijn. Er zijn oneindig veel verdelingen van meetwaarden mogelijk waarbij het gemiddelde van de set k oplevert. Bijvoorbeeld, 50 is het gemiddelde van de set A: [90, 0, 10, 100], maar ook van de set B: [48, 50, 49, 51]. De standaarddeviatie e5 is een maat die de spreiding in de meetwaarden aangeeft. Heeft de standaarddeviatie een hoge waarde, dan zijn de meetwaarden sterk verspreid rond het gemiddelde (set A). Heeft de standaarddeviatie een lage waarde dan zijn de meetwaarden sterk geklusterd rond het gemiddelde (set B). De standaarddeviatie wordt gedefinieerd als: 2 1 N - 2 (5 = - 2::: ( ki - k) N i=l (5) De standaarddeviatie is van belang bij het schatten van toekomstige meetwaarden. Hiervoor is de exacte vorm van de kansdistributie nodig (zie bovenstaande kansdistributie P). Vaak kan de kansdistributie benaderd worden met de normale kansdistributie waarvoor de eigenschappen van gemiddelden en deviaties gemakkelijk toepasbaar zijn op voorspellingen van meetwaarden. Hiervoor is de kans 99.9% dat de gemiddelde waarde J-L van N metingen ligt tussen: C5 k- 3.29C5 k ---<u< +-- Vfi -~- VN (6) 9lJ.9 % 8

9 Om te onderzoeken hoeveel SFX requestsper uur werkelijk te verwachten zijn werd bekeken: hoe vaak eindgebruikers inloggen in elektronische databanken, het aantal SFX -knoppen die binnen een loginsessie worden aangeklikt. In Tabel 1 en 2 zijn deze statistische gegevens samengevat. Eindgebruikers in deze tabellen zijn gedefinieerd als IP adressen van RUGnet die werden aangetroffen in de logfiles 2. De resultaten tonen een onregelmatig gebruik van elektronische databanken en SF X. Opvallend is de grote spreiding in de data waardoor de gemiddelde populariteit het gebruik van SFX niet goed karakteriseert. Hoewel een gemiddelde van 1 SFX request per login wordt gemeten blijkt toch een onevenredig aantal logins (± 1 op 25 logins) tientallen SFX requests te starten. Binnen de groep eindgebruikers is het gemiddeld aantal logins per dag in elektronische databanken geen goede karakteristiek van de belasting omdat ook hier de spreiding zeer groot is. Hoewel, voor steeds grotere sets meetresultaten, het gemiddelde van beide metingen een stabiele waarde aanneemt, wordt de spreiding in de meetresultaten steeds groter. Iets wat niet te verwachten is uitgaande van kansdistributies die lijken op de normale distributie (zie kader in deze sectie). Als het niet mogelijk is om een betrouwbare schatting te geven van het aantal SF X requests per eindgebruiker, dan wordt de bepaling van de belasting op een SFX server gegeven een gemeenschap van X eindgebruikers zeer lastig. In dit rapport zal een verklaring worden gezocht voor de statistieken van SFX requests. Aangetoond zal worden dat het linkgedrag van de groep eindgebruikers wellicht een zelf-gelijkend of fractale vorm heeft. Om voorspellingen te kunnen geven van het aantal SFX requests zullen speciale dikstaartige kansdistributies gebruikt moeten worden. Dit soort kansdistributies zijn recent gebruikt om het netwerkverkeer op het internet te verklaren. In de volgende sectie zal de notie van zelf-gelijkend gedrag op het internet beschreven worden om in latere secties de dikstaartige kansdistributies 2 Uit de logs werden de IP adressen van servers verwijderd zodat elk IP adres normaliter geassocieerd kon worden met 1 simultane gebruiker. Voorts werden deze statistieken verzameld over verschillende periodes. Men kan in vakantiemaanden veel personeelsleden met vaste IP adressen verwachten en buiten vakantiemaanden meer invloed van studenten. Dit gaf geen aantoonbaar verschil in de resultaten. 9

10 Aantal logins in W ebspirs > 5 ( = meer dan 1x in 4 dagen) > 10 ( = meer dan 1x in 2 dagen) > 20 ( = meer dan 1x per dag) > 40 ( = meer dan 2x per dag) > 200 ( = meer dan 1 Ox per dag) Percentage eindgebruikers 55% 30% 12% 4% 1% Tabel 1: Gebruik van elektronische databanken door eindgebruikers van RUGnet in een periode van 20 dagen. Aantal SFX req. Percentage eindgebruikers % % % % % % > % Tabel 2: Gebruik van SFX-knoppen per login in elektronische databanken door eindgebruikers van RU Gnet. toe te passen op de statistieken van SFX requests. Omdat de logfiles voor Holdings-RUG requests een zelfde soort linkgedrag vertonen zullen beide linking services onderzocht worden. 3 Zelf-gelijkend gedrag op het internet In het begin van de jaren negentig is een opmerkelijke wijziging ontstaan in het beeld van netwerkverkeer over het internet. De gebruikelijke statistische methodes bekend uit de telecommunicatiewereld, waar gemiddelden en spreidingen betrouwbare voorspellingen geven van de netwerkbelasting, blijken niet toepasbaar op de beschrijving van netwerkverkeer over het internet [2,4]. 10

11 Klassieke netwerkmodellen stammen uit het begin van de 20e eeuw toen Erlang de theoretische basis legde van het gebruik van telefoonlijnen [2]. Voor dit soort netwerken, die statisch in topologie en gebruik zijn, geeft de Poisson kansdistributie (een variant van de normale distributie; zie kader vorige sectie) een eenvoudige mathematische beschrijving van netwerkverkeer. De gemiddelde netwerkbelasting gemeten over korte tijdsintervallen zal pieken vertonen. Over langere tijdsintervallen gemeten zullen de pieken verdwijnen, de netwerkbelasting zal steeds meer lijken op de gemiddelde netwerkbelasting gemeten over het gehele interval. Hier door kan men spreken over 'typische' eindgebruikers waarvan het gebruik van telefoonlijnen voorspelbaar is. Metingen van de netwerkbelasting op het internet tonen echter aan dat de piekbelasting gemeten voor korte tijdsintervallen niet zal verdwijnen bij metingen over steeds langere periodes. Op elke schaal waarop wordt gemeten zal hetzelfde piekpatroon te zien zijn. Het netwerkverkeer wordt daarom zelfgelijkend ofwel fractaal genoemd. Om dit soort gedrag te beschrijven moet de Poisson kansdistributie worden vervangen door een dikstaartige kansdistributie. Dit soort kansdistributies worden gekenmerkt door oneindige spreidingen, met in het slechtste geval, zelfs oneindige gemiddelden. Dit betekent dat gemiddelden en spreidingen geen betrouwbare beschrijving meer kunnen geven van het netwerkverkeer. Er zijn verschillende mogelijke oorzaken van dit fractaal gedrag op het internet. Door de enorme populariteit is er geen sprake meer van een statisch netwerk. De groei van het internet is onvoorspelbaar. Op deze grote schaal kunnen zeldzame gebeurtenissen toch met enige frequentie voorkomen. Vele onderdelen waaruit netwerkverkeer is samengesteld blijken fractaal gedrag te vertonen. Enkele voorbeelden [2,3,4,5]: Invariant Connectie duur Populariteit van opgevraagde files Grootte van opgevraagde files FTP overdracht Aantal opgevraagde pagina's per site Tijd nodig om een pagina te lezen Duur van een sessie Internet netwerkverkeer TCP level Protocol Level Applicatie Applicatie Applicatie Applicatie Applicatie Sessie Netwerk Distributie Lognormal Zipf Lognormaal, Pareto Pareto Inverse Gaussian Dikstaartig Pareto Fr actaal 11

12 .... "... _' Figuur 1: Deze figuur toont het verschil in het asymptotisch gedrag van de Poisson en een dikstaartige distributie. Bij de Poisson is de kans op een meetwaarde die sterk verschilt van het gemiddelde klein, de grafiek heeft een dunne staart. Bij dikstaartige distributies (bijv. de Pareto distributie) is die kans veel hoger, de staart is dikker. Deze opsomming laat zien dat zelf-gelijkend gedrag op elk protocollevel terug te vinden is. In dit rapport zal worden aangetoond dat ook de SFX en Holdings logs een piekpatroon laten zien wanneer de gemiddelde belasting door de eindgebruikers, het aantal requests per login in elektronische databanken, wordt gemeten over steeds langere tijdsintervallen. Om dit piekpatroon te beschrijven zal als eerste benadering gebruikt gemaakt worden van de eenvoudigste dikstaartige kansdistributie: de Pareto distributie. 4 Pareto distributie 4.1 Distributies met een staart De kansdistributies beschreven in dit rapport hebben de eigenschap erg traag de nulwaarde te benaderen voor grote waarden. Een kansdistributie wordt dikstaartig genoemd als aan de volgende conditie wordt voldaan [4]: P[X?: x] rv x-o:, als x ---+ oo, 0 < a < 2. (7) 12

13 De Pareto distributie is het eenvoudigste voorbeeld van zo'n dikstaartige kansdistributie. Deze kansdistributie wordt beschreven door: F(x) p(x) P[X ~x]= 1- (k/xy~ df(x) ka -a-1 dx - a x, a, k > 0, x ~ k. (8) (9) Het gemiddelde x kan nu worden bepaald met: x= E(x) ioo xp(x)dx 1k oo aka -dx Xa ak (a- 1)" (10) (11) (12) Met behulp van het tweede moment kunnen we de standaarddeviatie vinden: (13) (14) (15) Waardoor voor de standaarddeviatie geldt dat: ak2 a = E(x ) - [E( x) ] = ( )2( ) a-1 a-2 (16) Dit heeft tot gevolg dat: als a ::; 2 dan is de standaarddeviatie van de kansdistributie onbestaande wegens singulariteit in ( 16), als a ~ 1 dan is het gemiddelde van de kansdistributie onbestaande wegens singulariteit in (12). Als a afneemt zal een groter gewicht van de kansdichtheidsfunctie zich in de staart van de kansdistributie bevinden. Dit betekent in praktijk dat een dikstaartige kansdistributie aanleiding kan geven tot extreem grote waarden met een niet te verwaarlozen kans. Wanneer a zich tussen 1 en 2 bevindt is 13

14 er sprake van een eindig gemiddelde met een oneindige spreiding. Narmaal gesproken zal bij een eindige spreiding een trend te bespeuren zijn dat meetwaarden zullen klusteren rond een centrale waarde, het gemiddelde. In het geval van een oneindige spreiding bestaat zo'n klustering van meetwaarden niet, op elke schaal zullen de meetwaarden even sterk verspreid zijn over het bereik. 4.2 Schatting van het staartgewicht Voor de bepaling van het asymptotisch gedrag van de dikstaartige Pareto distributie bekijken we het gedrag van de complementaire distributie F(x) die wordt gedefinieerd als: F(x) = 1- F(x) = P[X >x]. (17) Op log-log schaal heeft deze functie een lineair gedrag: dlogp ---=-a x> 0 d log x ' (18) Een grafiek van deze functie heet een log-log complementaire distributie (LLCD). In de praktijk kunnen we met lineaire regressie een schatting maken van de grootte van a. 5 Methode van data collectie 5.1 Holdings requests Het gebruik van het Aleph holdings scherm kan niet direct in de Aleph logs worden getraceerd. Aleph logt geen gegevens over de aard van requests maar enkel de datum van login. Om dit te omzeilen werd het Aleph holdings scherm aangepast worden door er een leeg GIF plaatje in op te nemen dat door een CGI-script wordt gegenereerd. Dit CGI-script kan alle holdings requests traceren in de variabelen die de browser met elke connectie meestuurt. Op deze manier kan een logfile worden bijgehouden met gegevens over datum, lpadres, type request (ISBN/ISSN) en oorspong van de holdings-knop (welke databank). Om het effect van caching van het GIF plaatje tegen te gaan wordt met behulp van J avascripting in het Aleph holdings scherm een unieke link gemaakt met behulp van random getallen en tijdfuncties. 14

15 Aleph WebSpirs Logins Unieke adressen Tabel 3: Holdings Statistieken : 5 oktober december 1999 Aantal Holdings req. Percentage eindgebruikers % % % % % % > % Tabel 4: Aantal Holdings requests per WebSpirs sessie door eindgebruikers van RUGnet. 5.2 WebSpirs login Voor WebSpirs werd gebruik gemaakt van de Apache HTTPD logs, die informatie bijhouden over het aantal logins in WebSpirs per IP adres. Deze logs werden verzameld in de periode van 5 oktober 1998 tot 22 december In tabel 3 en 4 zijn de statistische resultaten samengevat. 5.3 SFX requests De SFX requests worden in een MySQL databank gelogd. Met behulp van SQL queries kunnen alle logins over een periode geëxporteerd worden. De SFX logs werden verzameld in de periode van 22 maart 2000 tot 22 augustus In tabel 5 en 6 zijn de statitische gegevens samengevat. 15

16 SFX WebSpirs (SFX-enabled) Logins Unieke adressen Tabel 5: SFX Statistieken : 22 maart augustus 2000 Aantal SFX req. Percentage eindgebruikers % % % % % % > % Tabel 6: Aantal SFX requests per WebSpirs sessie door eindgebruikers van RUGnet. 6 Resultaten: zelf-gelijkend gedrag van Holding en SFX eindgebruikers Als we gebruik maken van de Holdings-RUG en SFX logs uit de vorige sectie, dan kunnen we de zelf-gelijkende linkkarakteristieken aantonen van grote groepen eindgebruikes van WebSpirs databanken. Ten eerste kan grafisch worden getoond dat het gemiddeld aantal Holdings-RUG en SFX requests per eindgebruiker over steeds grotere periodes gemeten een terugkerend piekgedrag toont. Ten tweede zal worden aangetoond dat dit piekgedrag overeenstemt met een Pareto distributie met oneindige standaarddevatie. 6.1 Piekgedrag op elk interval In Figuur 2 wordt het gemiddeld aantal Holdings-RUGrequestsper WebSpirs login getoond over een periode van 5, 10, 20 en 40 dagen. Deze grafiek toont duidelijk hetzelfde piekgedrag ongeacht de tijdschaal van de metingen. Er is op geen enkele tijdschaal sprake van een gemiddelde populariteit van Holdings-RUG links. In de volgende sectie zal worden aangetoond dat de spreiding in de populariteit van dit type links oneindig is. Opvallend is ook 16

17 dat de pieken in deze grafieken nooit boven de 7 Holdings-RUG requests per WebSpiTs login uitstijgen. Deze waarden moeten worden geïnterpreteerd met de uitmiddeling over elk tijdsinterval in gedachte. Tabel 4 toont aan dat slechts 3 % van de WebSpiTs logins meer dan 5 Holdings-RUG starten. In de praktijk is er een spreiding in de Holdings-RUG requests van 0 tot enkele honderden per WebSpiTs login. In Figuur 3 kunnen we hetzelfde gedrag zien bij meting van het aantal SFX requests per WebSpiTs login over dezelfde tijdsintervallen van 5, 10, 20 en 40 dagen. Hoewel een piekgedrag over elk tijdsinterval wel aanwezig is voor SFX links, zijn deze pieken toch minder frequent dan voor Holdings-RUG links. In de volgende sectie zal aangetoond worden dat ook de populariteit van SFX links een oneindige spreiding heeft, hoewel het bepalende staartgewicht van de kansdistributie minder zwaar is dan voor Holdings-RUG links. De logs geven een spreiding aan in SF X requests van 0 tot enkele tientallen per WebSpiTs login. 17

18 ~ ~. ';I." ;t E ':1 "' ~,[ 0:: :J Figuur 2: Piekgedrag in het aantal Holdings-RUG requestsper WebSpirs lagin. Het gemiddeld aantal Holdings-RUGrequestsper WebSpirs login gemeten over oplopende tijdsintervallen; links boven: 5 dagen gemiddelde; rechts boven: 10 dagen gemiddelde; links onder: 20 dagen gemiddelde; rechts onder: 40 dagen gemiddelde. 18

19 ~ :: :!.'V lj ~ ~" ~' -a...., )o(... "" Figuur 3: Piekgedrag in het aantal SFX requests per WebSpirs login. De gemeten SF X requests per WebSpirs login worden gemiddeld over oplopende tijdsintervallen; links boven: 5 dagen gemiddelde; rechts boven: 10 dagen gemiddelde; links onder: 20 dagen gemiddelde; rechts onder: 4 0 dagen gemiddelde. 19

20 6.2 Statistische analyse In sectie 4 hebben werd een voorbeeld gegeven van een eenvoudige dikstaartige kansdistributie: de Pareto distributie. In deze sectie wordt de Pareto distributie toegepast als eerste benadering voor de beschrijving van de statistische logs van SFX- en Holding-RUG-links. De methode die we gebruiken is die van de LLCD plot beschreven in sectie 4. Figuur 4 bevat de LLCD plot voor het aantal Holding-RUG requests per WebSpirs login in de periode 5 oktober 1998 tot 15 november Met behulp van regressie-analyse is voor deze periode een schatting gemaakt van a = 1.78 ± Om te onderzoeken of dit gedrag stabiel is over de gehele meetperiode werd eenzelfde LLCD plot gemaakt voor de periode 12 mei 1999 tot 22 juni 1999 met a= 1.62 ± Deze waarden tonen aan dat het asymptotisch gedrag van het aantal Holding-RUGrequestsper WebSpirs login in eerste benadering kan worden beschreven met behulp van een Pareto distributie met een a die een oneidige waarde van de spreiding aangeeft. Dit betekent dat men op basis van het aantal eindgebruikers geen betrouwbare schatting kan maken van de spreiding in het aantal Holding-RUG requests op een server. Figuur 5 bevat de LLCD plot voor SFX requests tussen 20 maart 2000 en 30 april Via regressie-analyse werd een waarde voor a gevonden van a = 1.88 ± Meten we de a waarden voor de periode 27 april 2000 tot 7 juni 2000 dan vinden we a= 1.74 ± Ook voor SFX geeft de Pareto distributie een goede eerste benadering van het asymptotisch gedrag van het aantal SFX requestsper WebSpirs login. Hoewel de waarde van a iets hoger is dan voor Holding-RUG requests is deze toch beduidend lager dan 2 die vereist is voor een eindige spreiding. De resultaten in deze sectie tonen aan dat de aanvraag van Haldings R UG en SFX services in elektronische databanken beschreven moet worden met dikstaartige kansdistributies. Verwacht wordt dat de invloed van zelfgelijkend linkgedrag sterker zal worden als de belasting op de server groter wordt. 20

21 LLCD Plot: Holdings RUG 0 I - - ~ 0-0,5 - (]'I (]'I -~ -1 - x A x -D.. -C') 0-1 ' ' , '5 - ~-----~ I o g (x) Figuur 4: LLCD plot voor het aantal Holdings-RUG requestsper WebSpirs login in de periode 5 oktober 1998 tot 15 november Het Pareto staartgewicht van deze kansdistributie bedraagt: a = ±

22 LLCD Plot: SFX... >< V 0-0,5 ( 0,5 1, 5 -~ -1-1,5 x -2 -,, -0.. C') -2, ,, -3,5 ~ ' -4-4,5 ' log(x) Figuur 5: LLCD plot voor het aantal SFX requestsper WebSpirs login in de periode 20 maart 2000 tot 30 april Het Pareto staartgewicht van deze kansdistributie bedraagt: a = 1.88 ±

23 7 Verklaring meetresultaten Waarom is het linkgedrag van eindgebruikers zelf-gelijkend? De hypothese is dat dit gedrag een oorzaak heeft in het zoekgedrag van eindgebruikers in elektronische databanken. Om deze hypothese te testen wordt het gebruik van elektronische databanken onderzocht: hoe vaak starten eindgebruikers een WebSpirs sessie, hoeveel zoekresultaten hebben zoekacties in de databanken en hoeveel zoekresultaten worden doorbladerd door de eindgebruikers? De resultaten zullen aantonen dat deze distributies benaderd kunnen worden met een Pareto distributie. De eerste vaststelling is dat de overall populariteit van Holdings-RUG en SFX links niet merkbaar veranderd is over de gehele meetperiode. Figuur 6 toont het aantal logins in WebSpirs en het aantal Haldings R UG requests in een periode van 62 weken. Hoewel het aantal logins sterke pieken en dalen vertoont over het gehele interval blijft het aantal Holdings R UG requests dezelfde pieken en dalen volgen. Als wordt bekeken of er een stijgende of dalende trend aan te tonen is in H, het gemiddeld aantal Holdings-RUG links per WebSpirs login, dan vinden we een absoluut vlak gedrag: H = (0.00 ± 0.00) * t, waarbij t de tijd in weken is. (19) Figuur 7 toont het aantallogins in WebSpirs en het aantal SFX requests in een periode van 21 weken. Ook hier is geen aantoonbare stijgende trend te ontdekken in het gemiddeld aantal SF X requests per WebSpirs login: H = ( ± 0.01) * t, waarbij t de tijd in weken is. (20) Deze resultaten tonen aan dat het linkgedrag niet verandert in verschillende perioden van het jaar. Als we verwachten dat in de zomermaanden de invloed van studenten op de logs vermindert, dan zou het vlak gedrag kunnen betekenen dat het type eindgebruiker geen invloed heeft op de populariteit. In Figuur 8 wordt bekeken hoe vaak een WebSpirs sessie wordt opgestart vanaf een bepaald IP adres. Tabel 1 in sectie 2 heeft al aangetoond dat er een sterke spreiding is in het aantal logins. De LLCD plot in Figuur 8 laat zien dat het asymptotisch gedrag van WebSpirs logins beschreven kan worden met een Pareto distributie. Met lineaire regressie vinden we een a = 1.17 ± 0.03 wat op een oneindige spreiding in het aantal sessies duidt. Figuur 9 toont de spreiding van zoekresultaten in WebSpirs databanken. Hiervoor werd in een periode van 3 weken per eindgebruiker bekeken hoeveel 23

24 resultaten een zoekactie opleverde. We zien hier een kansdistributie met een sterke vertegenwoordiging van resultaten die onder de 10 records liggen maar ook een zeer lange staart. Als we met behulp van lineare regressie het asymptotische gedrag van de LLCD plot onderzoeken vinden we a = ± Dit resultaat geeft aan dat er niet alleen een oneindidge spreiding in het aantal zoekresultaten bestaat maar ook een oneindig gemiddelde. In Figuur 10 wordt bekeken hoeveel zoekresultaten werkelijk door de eindgebruiker worden bekeken. Net zoals bij search engines op het internet bestaat er in WebSpirs databanken een optie om pagina na pagina de zoekresultaten te doorbladeren. De LLCD plot toont aan dat de grote meerderheid van de eindgebruikers niet meer dan de eerste 10 resultaten van een zoekactie opvragen. Deze grens van 10 records is in WebSpirs databanken het standaard aantal records dat op een pagina wordt getoond. De kansdistributie van doorbladerde records heeft een lange staart. Met behulp van lineaire regressie wordt het asymptotisch gedrag bepaald met a= 1.76 ± De bovenstaande resultaten tonen aan dat om het linkgedrag van eindgebruikers te verklaren men het gebruik van elektronische databanken moet onderzoeken. We observeren een sterke spreiding in het aantal opgestarte sessies in elektronische databanken. De zoekacties in de elektronische databanken leveren vaak een kleine set aan resultaten op, maar als er meer dan 10 resulaten worden gevonden is de spreiding enorm groot. Het aantal records dat bekeken wordt door eindgebruikers beperkt zich vaak tot de eerste 10 resultaten. Het ligt daarom voor de hand dat het aantal opgevraagde Holdings-RUGen SFX -links sterk afhangt van het aantal records die op het scherm van de eindgebruiker verschijnen. 24