Performance Scan UWV.nl en Werk.nl in opdracht van FNV Uitgevoerd door:
Inhoudsopgave 1. Werk.nl, het belang van beschikbaarheid 3 2. Performance Scan Werk.nl 4 3. Performance score card 5 4. Performance per dag 6 5. Performance trends 7 6. Availability trends 8 7. Availability heatmap 9 8. Vaak getoonde fouten 10 9. Over MeasureWorks 11 2
Werk.nl, het belang van beschikbaarheid Als werkzoekende is de website van Werk.nl HET online platform waar je vacatures zoekt, solliciteert en een uitkering aanvraagt. Het gebruik van Werk.nl is echter niet vrijblijvend, wijzigingen in de situatie van de werkzoekenden kunnen impact hebben op bijvoorbeeld een WW-uitkering. Een goed werkende en beschikbare website is derhalve van groot belang voor de werkzoekende gebruiker van Werk.nl. Helaas is na een aanhoudende stroom van klachten en topics in TV programma s zoals Kassa gebleken dat de beschikbaarheid van Werk.nl te wensen overlaat vanuit het oogpunt van de werkzoekende gebruiker. Een greep uit de klachten op social media: 3
Performance Scan UWV.nl en Werk.nl De FNV heeft de aanhoudende stroom aan klachten over de prestaties van Werk.nl als aanleiding gezien om nader onderzoek te doen naar de prestaties van Werk.nl en in dit kader MeasureWorks gevraagd om vanuit haar expertise, web performance, objectieve data te verzamelen over de online prestaties van Werk.nl en UWV.nl De opzet van de door MeasureWorks uitgevoerde performance scan is om inzicht te krijgen in de performance zoals deze door de eindgebruiker thuis wordt ervaren. Hiertoe is in de periode van 1 april t/m 31 mei 2013 dagelijks de performance gemeten, middels een synthetische monitoring tool. Figuur 1: Visuele weergave van testopzet Middels de synthetische monitoring tool zijn op basis van een echte browser (Firefox), transacties zoals een eindgebruiker deze uitvoert gesimuleerd. Voor de performance scan hebben we de volgende testopzet gebruikt: Meetperiode: 1 april tot en met 31 mei 2013 Meetfrequentie: elke 5 minuten, tussen 6.00 en 24.00 (om onderhoudsperiodes te vermijden) Gemeten pagina s (UWV.nl is tevens gemeten ter controle): Werk.nl homepage Werk.nl vacature zoeken UWV.nl homepage UWV.nl inloggen Deze vorm van performance monitoring levert metrieken op over performance en availability. Performance is in dit kader de tijd die nodig is om de volledige pagina te laden in een browser. Availability wordt berekend als ratio van succesvolle t.o.v. totaal aantal uitgevoerde transacties. Op verzoek van FNV is er gekozen voor het meten van enkele pagina s en geen volledige transacties, mede doordat er geen testaccounts beschikbaar zijn voor werk.nl. Met deze pagina s als basis is er onderzocht op welke wijze de eindgebruiker van Werk.nl de performance ervaart. De website van UWV.nl is hierbij als benchmark gebruikt. 4
Performance Score card Werk.nl Gemiddelde snelheid 1,84 sec. Gemiddelde beschikbaarheid (1,2) 90,8% Benchmark: UWV.nl Gemiddelde snelheid 1,39 sec. Gemiddelde beschikbaarheid (1,2) 86,8% Beschikbaarheid van Werk.nl per week, zowel in % als minuten downtime: Availability Week 14 15 16 17 18 19 20 21 22 Werk.nl - Homepage 95,1% 99,9% 99,5% 79,4% 75,7% 98,9% 97,0% 96,5% 73,1% Werk.nl - Vacatures zoeken 96,3% 100,0% 99,5% 79,4% 76,5% 99,7% 97,0% 96,8% 73,3% Outage (in minutes) Week 14 15 16 17 18 19 20 21 22 Werk.nl - Homepage 5:15 0:10 0:35 25:55 30:35 1:20 3:50 4:25 14:30 Werk.nl - Vacatures zoeken 4:00 0:00 0:40 25:55 29:35 0:20 3:45 4:05 14:25 Gedurende de meetperiode zijn er diverse DDOS attacks geweest welke de beschikbaarheid en performance negatief hebben beïnvloed: https://www.clientenraad-uwv.nl/0/nieuws/artikel/2549/problemen-met-inloggen-op-uwvnl-en-werknldoor-d-dos-aanval-op-digid Toelichting Werk.nl: De beschikbaarheid van Werk.nl wordt slechter gedurende de dag tot aan de avond (12-23 uur), ten opzichte van UWV.nl; De snelheid is gemiddeld trager dan UWV.nl, maar wel stabieler en blijft rond de 2 seconden; Qua snelheid zijn de Homepage en Vacature pagina gelijk, zowel in trend als absolute waarden; De snelheid spreiding is goed: 78% binnen 2 sec, 93% binnen 3 sec. Werk.nl vs. UWV.nl: De website van UWV.nl is gemiddeld sneller dan Werk.nl, maar is per saldo minder beschikbaar dan de website van Werk.nl; 76% van de geteste pagina s van UWV.nl wordt binnen 2 sec afgehandeld en 87% binnen 3 sec. Note: 1. Als referen6ekader: Gemeente websites hebben de eis 99,99% beschikbaar te zijn 2. De gemiddelde beschikbaarheid van een webwinkel uit de Twinkle100 is 99,78%, zie ook hgp://www.measureworks.nl/download/pdf/measureworks_twinkle100.pdf 5
Performance per dag Availability In de loop van de dag verslechtert de beschikbaarheid van Werk.nl Performance distributie De distributie geeft de performance-spreiding weer, m.a.w. hoeveel pagina s (in %) worden binnen bepaalde tijd afgehandeld? De grafiek bevat alle succesvol geteste pagina s in april en mei 2013. Snelheid telt voor de eindgebruiker (1). Uit beide grafieken valt af te leiden dat voor zowel UWV.nl als Werk.nl de website snel laadt, met bijna 90% van alle transacties binnen 3 seconden: UWV.nl: 35% binnen 1 sec 76% binnen 2 sec 87% binnen 3 sec 92% binnen 4 sec Werk.nl: 11% binnen 1 sec 78% binnen 2 sec 93% binnen 3 sec 96% binnen 4 sec Note: 1. Uit onderzoek van Jacob Nielsen blijkt dat de snelheid van de website binnen 1 seconde geladen moeten zijn, indien het langer dan 3 seconden duurt haken gebruikers af: hgp://www.nngroup.com/ar6cles/website- response- 6mes/ 6
Performance trends In onderstaande grafieken wordt de snelheid van Werk.nl en UWV.nl getoond over de gehele meetperiode. Door de grafiek op deze wijze te tonen is het mogelijk om patronen te ontdekken, bijv. door toenemend verkeer op de website. De grafieken laten zien dat de snelheid redelijk stabiel is over de gehele meetperiode, waarbij er tevens maatregelen ten behoeve van stabiliteit en snelheid zijn gemeten door het inzetten van een content delivery netwerk van Akamai. Wellicht mede naar aanleiding van de DDOS attacks? Werk.nl Switch naar Akamai CDN gedetecteert op 17 mei? UWV.nl Switch naar Akamai CDN gedetecteert op 17 mei? 7
Availability trends In onderstaande grafieken wordt de beschikbaarheid van Werk.nl en UWV.nl getoond over de gehele meetperiode. Door de grafiek op deze wijze te tonen is het mogelijk om patronen te ontdekken, bijv. door toenemend verkeer op de website. De grafieken laten zien dat de beschikbaarheid van beide websites grillig is (met name UWV.nl), met regelmatig verstoringen tot wel 60 minuten per week. Werk.nl UWV.nl Onderhoud op van 27/4 t/m 28/4 8
Availability heatmap De heatmap laat de trend per per geteste pagina zien. Hiermee worden mogelijk performance incidenten uitgelicht die mogelijk te herleiden zijn naar infrastructurele of applicatieve issues. Opmerking: voor Werk.nl is er geen performance op 27 en 28 april ivm downtime. 22-25 april: DDoS agacks op DigID. hgp://www.bnr.nl/nieuws/ tech/143261-1304/digid- niet- bereikbaar- door- cyberaanval 9
Vaak getoonde fouten Storingspagina Connection error 10
Over MeasureWorks MeasureWorks zorgt voor snelle en betrouwbare websites en mobile applicaties. Voor onze klanten meten wij real time hoe bezoekers de kwaliteit en snelheid van hun online diensten ervaren. Door het slim combineren van data uit meerdere bronnen, analyseren en identificeren wij de impact van performance op business drivers. Wij creëren altijd een actiegerichte strategie voor het verbeteren van de snelheid, usability en beschikbaarheid. Samen met onze klanten werken we aan een continue optimalisatie van hun online omgeving(en), van service levels tot applicatiecode. Klanten zoals Bol.com, Exact en Globalcollect managen, mede dankzij MeasureWorks, real time de impact van performance op hun business doelstellingen en leveren een user experience die de online verwachtingen van de bezoekers overtreft. Contact Naam: Jeroen Tjepkema Functie: CEO Adres: Katernstraat 10d, 1321NE, Almere Mailadres: jtjepkema@measureworks.nl Telefoon: 036-5465881 Web: www.measureworks.nl Twitter: @jeroentjepkema LinkedIN: linked.com/in/jeroentjepkema 11
MeasureWorks web: www.measureworks.nl Katernstraat 10d Telefoon: 036-5465881 1321NE, Almere E-mail: info@measureworks.nl Nederland Twitter: @measureworks Performance rapportage