WEBSITE EVALUATIE M I N I STE RI E VAN VERKEER EN WATERSTAAT

Transcriptie

1 WEBSTE EVALUATE M N STE R E VAN VERKEER EN WATERSTAAT ONDERZOEK NAAR DE TEVREDENHED VAN HET PUBLEK OVER WEBSTES Auteur: Bege e id in g : Vakgroep: Datum: Suzanne van den Hoogen H. Van Oostendorp (Universiteit Utrecht) B. Fennis (Ministerie van Verkeer en Waterstaat) Media en Communicatie, FSW Universiteit Utrecht Maart 2000

2 ~D ~ scriptie WEBSTE EVALUATE MNSTERE VAN VERKEER EN WATERSTAAT pagina 1 van 64 Li ONDERZOEK NAAR DE TEVREDENHED VAN HET PUBLEK OVER WEBSTES 1 SAMENVATT NC n dit onderzoek is de website van het Ministerie van Verkeer en Waterstaat op verschillende gebieden geëvalueerd. Het onderzoek bestaat uit drie delen: een vooronderzoek, een hoofdonderzoek en een kwalitatief onderzoek. Het vooronderzoek heeft zich gericht op het in kaart brengen van de informatiebehoefte van het publiek in de-vorm van een top 10 meest gestelde vragen en opmerkingen. De resultaten zijn gebruikt om de variabele Afstemming te kunnen bepalen, die meegenomen is in het hoofdonderzoek. Daarnaast is er in het vooronderzoek ook gekeken naar de aard, htm

3 U 1 1 M scriptie pagina 2 van 64 de teneur en de afzender van de reacties die via een reactieformulier op de website binnen zijn gekomen. Gebleken is dat de reacties voornamelijk neutrale vragen zijn van particulieren. Verder bleek dat de informatiebehoefte en het informatie-aanbod goed op elkaar aansluiten. Het hoofdonderzoek heeft zich gericht op het bepalen van welke variabelen van invloed zijn op de tevredenheid van het publiek en wat de mate van hun invloed is. Er is hierbij gekeken naar de variabelen ervaring met nternet en de website, attitude t.o.v. nternet, gebruikers-vriendelijkheid (usability), zoektijd, aantal bezochte pagina s, prestatie op zoek-taken en de afstemming van het informatie-aanbod op de informatiebehoefte. Verrassend bleek uit multipele lineaire regressieanalyses dat alleen de gebruikersvriendelijkheid (usability) van de website een sterke voorspeller is van de tevredenheid van het publiek over de website, en dan met name hoe men de navigatie kwaliteiten beoordeelt en hoe men de website in het algemeen ervaart. n het kwalitatieve onderzoek gaven de responden ten hun men i ng over versc hi Hen de aspecten van de website en konden ze dit toelichten. Uit de kwalitatieve analyse kwam naar voren dat men in het algemeen de website positief ervaart, maar dat men minder tevreden is over de navigatie mogelijkheden binnen de website. Ook gaf het publiek aan de opbouw van de verschillende pagina s van de website niet consistent te vinden. De navigatie mogelijk-heden van de website van het Ministerie van Verkeer en Waterstaat kunnen dus verbeterd worden naar de mening van het publiek, evenals de opbouw en indeling van de pagina s. Over het algemeen is het publiek echter tevreden over de website. De website van het Ministerie van Verkeer en Waterstaat krijgt van het publiek op een 1 O-punt-schaal gemiddeld een 7.3 als cijfer. NHOUD VOORWOORD NLEDNG H: THEORETSC-E VER<ENNNC 1. wat wil de gebruiker? 1.2 usabw wat is usability? hoe evalueer ie usability? _~ hoe meet je usability? evaluatie of metiw l.l.checklist voor evaluatie METHODE. ~- 2.1 inleiding p-ersonen venwnet.minvenw.nl/netsite/scriptie. htm

4 ~ 3.3 scriptie pagina 3 van materiaal de website ~ de variabelen 2.4 context Ministerie van Verkeer en Waterstaat overheidsvoorlichting via n terne t 2-5roced ure richtlijnen procedus procedure 2.6 analysemethode vooronderzoek ~ hoofdonderzoek ~ kwalitatief onderzoek H3: RESULTATEN 3.1 vooronderzoek _. 3.2 hoofdonderzoek.~ ervm attitude _..~ satisfactie usa& zoektijd, pages en prestatie 3, -~ Z. 6 afste in i11 in g _ correlatie en regressie kwalitatief onderzoek H4: ALGEMENE CONCLUSES EN AANBEVELNGEN L TERATU J RL J ST BJ LAGEN VOORWOORD Dit onderzoek is voor een deel uitgevoerd in opdracht van de Directie Voorlichting van het Ministerie van Verkeer en Waterstaat en voor een deel mijn eigen afstudeeronderzoek. n de loop van de tijd is dit samengegroeid tot één onderzoek, waarvan dit het eindrapport is. Met plezier kijk ik terug op de totstandkoming van dit van dit verslag en op de periode dat ik stage heb gelopen bij het Ministerie van Verkeer en Waterstaat. k heb in deze periode veel geleerd. Niet alleen het evalueren van een website, maar ook het functioneren binnen een organisatie, het opzetten en uiteindelijk uitvoeren van een onderzoek en alles wat daarbij komt kijken. Bij deze wil ik mijn beide begeleiders Bob Fennis (Ministerie van Verkeer en Waterstaat) en Herre van Oostendorp (Universiteit Utrecht) bedanken voor hun begeleiding en het geven van zinvol commentaar en advies en natuurlijk alle mensen die http :// e. htm

5 scriptie pagina 4 van 64 mij op welk gebied dan ook geholpen hebben. Suzanne van den Hoogen Utrecht, maart 2000 NLEDNG Door de enorme groei van het World Wide Web is het aanbod van informatie op het nternet sterk toegenomen. De informatie is in een organisatie als het Ministerie van Verkeer en Waterstaat afkomstig van vele dienstonderdelen op verschillende locaties. Het Ministerie van Verkeer en Waterstaat heeft haar eigen website, De verschillende beleidsonderwerpen komen hier ruim aan bod. Ook heeft het publiek de mogelijkheid om te reageren of om vragen te stellen via het ingebouwde reactieformulier. Deze binnengekomen reacties worden door de publieksvoorlichting in behandeling genomen. Het Ministerie van Verkeer en Waterstaat hoopt onder andere op deze wijze te kunnen voorzien in de informatiebehoefte van het publiek en men hoopt het publiek voorlichting te kunnen bieden over zaken die op dit moment een rol spelen op het gebied van verkeer en waterstaat. Het gebruik van het nternet groeit en daarmee ook het aantal reacties dat binnenkomt via de nternetsite van Verkeer en Waterstaat. Men vraagt zich af hoe tevreden het publiek is over de website van het Ministerie van Verkeer en Waterstaat en over deze manier van informatie-inwinning. Het Ministerie wil de publieksinformatie zo goed mogelijk aanpassen aan de behoefte van het publiek. Oe vraag is dan ook wat de informatiebehoefte van het publiek is. Dit zal onderzocht worden in een vooronderzoek. Naast de informatiebehoefte zal het vooronderzoek zich ook richten op de aard van de reacties, de teneur en de afzender. De tevredenheid van het publiek over een website kan afhankelijk zijn van verschillende factoren. Zo kan de mate van afstemming van het informatieaanbod op de informatie-behoefte een rol spelen. Ook andere factoren kunnen een rol spelen bij de tevredenheid over de website, zoals bijvoorbeeld de publieksvriendelijkheid van de website. s de website gebruikersvriendelijk, kan het publiek er op een prettige manier mee om gaan? s de informatie makkelijk toegankelijk voor het publiek en kan men deze informatie op een snelle manier vinden? Naast deze factoren kunnen eigenschappen van de gebruiker zelf ook van invloed zijn op de algemene tevredenheid. Zo kan de ervaring die de gebruiker heeft met het gebruik van internet een rol spelen, maar bijvoorbeeld ook de attitude die men heeft ten opzichte van het medium nternet. Duidelijk is dat er

6 scriptie pagina 5 van 64 verschillende factoren van invloed kunnen zijn op de algemene tevredenheid van het publiek over een website en het gebruik hiervan, in dit geval de website van het Ministerie van Verkeer en Waterstaat. Het hoofdonderzoek zal zich richten op het in kaart brengen van deze mogelijke factoren en hun bijdrage aan de tevredenheid. Er zal in dit onderzoek gekeken worden naar welke variabelen invloed hebben op de tevredenheid en wat de invloed (relatieve bijdrage) per variabele is. De probleemstelling van dit onderzoek is dan ook de volgende: "Welke factoren zijn van invloed op de algemene tevredenheid van het publiek over een website en wat is de mate van hun invloed?" De factoren waarnaar gekeken zal worden zijn:. De ervaring van de gebruiker met het nternet. De attitude van de gebruiker ten opzichte van het nternet * De gebruikersvriendelijkheid van de website (de usability). De snelheid waarmee men de informatie kan vinden (de benodigde tijd) 8 De toegankelijkheid van de informatie (het aantal kliks dat men maakt). De prestatie op de uit te voeren taken (het aantal " goed ' 1. De mate van afstemming tussen vraag en aanbod van informatie Om antwoord te krijgen op de vraag wat de invloed is van de eerder genoemde factoren en de mate van hun invloed wordt dit onderzoek uitgevoerd. Aan de hand van een regressie-analyse van de resultaten uit de vragenlijsten die beantwoord zullen worden en de taken die zullen worden uitgevoerd door gebruikers van de website van het Ministerie van Verkeer en Waterstaat hoop ik inzicht te krijgen in de factoren die een rol spelen bij de tevredenheid over een website en de mate van hun invloed (de relatieve bijdrage per variabele). De hypothesen die ik in het hoofdonderzoek zal nagaan corresponderen met het voorgaande en zijn de volgende: 1, Hoe meer ervaring met nternet of een dergelijk systeem, hoe hoger de satisfactie. 2. Hoe positiever de attitude t.o.v. nternet, hoe hoger de satisfactie. 3. Hoe beter de gebruikersvriendelijkheid van de website (usability), hoe hoger de satisfactie. 4. Hoe langer de benodigde tijd, hoe lager de satisfactie. 5. Hoe groter het aantal kliks, hoe lager de satisfactie. 6. Hoe hoger de prestatie op de taken (hoe meer http :// minvenw.nl/netsi te/scrip tie. htm

7 scriptie pagina 6 van 64 "goed "1, hoe hoger de satisfactie. 7. Hoe beter de afstemming (dus hoe lager de discrepantie), hoe hoger de satisfactie. Tot slot zal er naast het voor- en hoofdonderzoek ook nog aandacht besteed worden aan de indruk die de gebruikers van de website hebben en hun motivatie hier achter. Dit zal gebeuren in de vorm van een kwalitatief onderzoek (interview). Het totale onderzoek zal een empirisch karakter hebben en zal conclusies opleveren aan de hand waarvan aan bevel in gen gegeven kunnen worden. H: THEORETSCHE VERKENNNG Omdat de variabele usability in dit onderzoek een grote rol speelt, wordt er in dit hoofdstuk apart aandacht aan de usability besteed en wordt er wat dieper op deze variabele ingegaan. 1. WAT WL DE GEBRUKER? Het Web biedt gebruikers een vrij grote anonimiteit. Hierdoor is het bijna onmogelijk om de motieven, doelen en prioriteiten die gebruikers hebben te kunnen voorspellen. Deze kunnen zelfs per individu per tijdstip verschillen. Het volgende weet men echter wel: Bijna iedereen wil informatie Het Web wordt het meest gebruikt voor het vinden van informatie. Bijna 90% van de Web gebruikers meldt dat zij het Web gebruiker als informatiebron. Veel mensen zoeken naar iets specifieks Bijna twee derde van de gebruikers meldt dat zij het Web gebruiken om te "zoeken". Het woord "zoeken" impliceert een tenminste gedeeltelijk gevormd idee van waar naar gezocht moet worden. * Mensen hebben haast Veel van de gebruikers van het Web willen zo snel mogelijk een antwoord op hun vraag krijgen. (Sullivan, 1998) Naast de inhoudelijke vraag van de gebruiker is het ook zinvol om te weten wat de gebruiker verlangt van het systeem (de website). Jakob Nielsen heeft hier in 1994 onderzoek naar gedaan (Nielsen, 1994b). Omdat hij gebruik heeft gemaakt van drie proefpersonen zijn de resultaten van kwalitatieve aard. Desondanks geeft dit onderzoek wel aan wat de gebruiker wil. De deelnemers aan dit onderzoek werden minuten getest en bezochten 2-4 websites. Uit het onderzoek kwamen de volgende resultaten naar voren:. page complexiteit: Gebruikers worden vaak overweldigd door de hoeveelheid aan informatie van een page. Gebruikers willen geen complexe pages die te veel informatie bevatten waardoor men alles gaat negeren. Men wil ook niet te veel lezen. Gebruikers willen een lijst die makkelijk te scannen is en willen ook graag een "nieuw" melding bij nieuwe informatie. Ook moeten iconen en

8 i scriptie pagina 7 van 64 labels te begrijpen zijn.. zoeken: De optie "zoek" is niet de manier om gebruikers te brengen naar de informatie die ze willen. Gebruikers typen vaak (te) korte zoekcommando's en zien gevonden items vaak over het hoofd.. navigatie en metaforen: Metaforen moeten niet ambigu zijn, maar eenduidig op te vatten. - overzicht diagrammen: Ook al weten gebruikers wel welke site ze bezoeken, vaak raken ze binnen de site verdwaald. Gebruikers hebben behoefte aan overzicht diagrammen waarin hun huidige positie binnen het geheel ook duidelijk is. - thumbnails: Gebruikers vinden kleine plaatjes met teveel grafische details vervelend en hebben dan liever iconen. Men wil ook van te voren weten dat men een groot bestand (groot plaatje) opent, incomplete sites: Gebruikers hebben een hekel aan " under construction" meldingen, een site is er of is er niet en men wil geen tijd verdoen aan deze melding. Gebruikers hebben ook geen geduld voor server error messages en als dit te vaak gebeurt binnen een site vind men de site onbetrouwbaar. Ook is de gebruiker teleurgesteld als de site niet up to date is. * "the human touch": Gebruikers vinden het fijn het gevoel te hebben te communiceren met een persoon (bv. de webmaster) en niet met een gezichtsloze entiteit.. twee-weg-communicatie: Gebruikers vinden het leuk als de mogelijkheid geboden wordt om verder informatie te vragen via een reactie formulier of om feedback te geven aan de webmaster.. kleuren plaatjes: Gebruikers willen graag plaatjes met een klein aantal kleuren. Dit oogt schoon en geeft de gebruiker het gevoel dat er niet te veel capaciteit wordt gebruikt en dus te veel tijd. Conclusie: Gebruikers hebben een lage tolerantie voor alles wat niet werkt, te gecompliceerd is of dat ze niet leuk vinden. "Under construction" meldingen moeten vermeden worden, de server moet altijd antwoord geven binnen een paar seconden. Gebruikers willen kunnen zoeken, dus een globale zoekmachine moet beschikbaar zijn. Daarnaast moet de gebruiker geholpen worden met een navigatie structuur en overzichtsdiagrammen om verwarring te voorkomen. Deze overzichtsdiagrammen moeten zowel voor een grote als een kleine context aangeboden worden. Ook vinden gebruikers het fijn het gevoel te hebben deel uit te maken van een twee-weg-communicatie met een site met echte mensen en niet slechts de ontvanger te zijn van een stroom van bytes. Voor een succesvol gebruik van de website identificeert Cmith (1997) de volgende vereisten voor de gebruiker (en dus indirect het systeem): 1. gebruiker moet in staat zijn de gevraagde informatie te verkrijgen wanneer dit gevraagd wordt (dit houdt zowel het matchen van de informatie aan de taak in als het op tijd verkrijgen van de informatie) 2, gebruiker moet in staat zijn de gevraagde informatie te vinden (moet weten waar te kijken en het juiste beginpunt kunnen selecteren) 3. gebruiker moet in staat zijn de "betekenis" van een link te identificeren 4. gebruiker moet in staat zijn een overzicht te kunnen maken van l B http :// htm

9 A scriptie pagina 8 van 64 de informatie die beschikbaar is 5. gebruiker moet in staat zijn de informatie selectief te inspecteren met het overzicht als een gids 6. gebruiker moet in staat zijn te browsen om gerelateerde informatie te vinden als de primaire taak volbracht is. 1.2 USABLTY Wat is usability? Cmith (1997) definieert de term usability van een systeem als "een functie van bepaalde gebruikers die bepaalde taken uitvoeren in een bepaalde omgeving". Het is van belang dat een website gebruikersvriendelijk is. Websites met een slechte usability verspillen tijd van een gebruiker, ontmoedigen exploreren op het web en kunnen verantwoordelijk zijn voor een grote hoeveelheid onnodig verkeer op het nternet. Nielsen (1995) ziet de usability van een systeem als de vraag hoe goed gebruikers de functionaliteit van een systeem kunnen toepassen. Het begrip usability wordt vaak geassocieerd met de volgende vijf criteria: * makkelijk te leren. makkelijk te gebruiken 9 makkelijk te onthouden. weinig fouten. plezierig te gebruiken Het is nuttig om rekening te houden met deze usability criteria bij het ontwerpen van een website. Een website moet gebruiksvriendelijk zijn voor iedereen. Er is een onderscheid te maken tussen het evalueren van de usability van een website en het daadwerkelijk meten van de usability. Bij het evalueren van de usability is er sprake van een kwalitatieve beoordeling van de website. Experts beoordelen aan de hand van bepaalde richtlijnen de kwaliteit van de website, met of zonder behulp van proefpersonen. Ook kan hierbij gekeken worden naar de subjectieve beleving van de proefpersoon. Bij het meten van de usability gaat het meer om een kwantitatieve beoordeling, dus om de score (cijfers) van proefpersonen op het uitvoeren van een bepaalde taak Hoe evalueer je usability? Usability inspection is de term voor een set van methodes die allemaal gebaseerd zijn op het evalueren van een user-interface. Usability inspection is er op gericht om usability problemen in een ontwerp te vinden, sommige methodes geven ook aan hoe ernstig de usability problemen zijn en wat de totale usability van een systeem is. (Nielsen & Mack, 1994) De volgende methodes zijn te onderscheiden om de usability van een website te evalueren.. Heuristic evaluation is de meest informele methode en houdt in dat usability specialisten de website beoordelen aan de hand van

10 1 scriptie pagina 9 van 64! 1, - a vastgestelde usability principes (de " heuristieken "1. Heuristic estimation is een variant van heurisic evaluation waarin de onderzoekers gevraagd worden de relatieve usability te schatten van twee of meer ontwerpen in kwantitatieve termen (verwachte prestatie van de gebruiker). - Cognitive walkthrough gebruikt een meer expliciet gedetailleerde procedure om een probleemoplossend proces van de gebruiker te simuleren op elke stap van het dialoog (tussen gebruiker en interface), er wordt gecontroleerd of de doelen en de geheugeninhoud van de gesimuleerde gebruiker naar verwachting leiden tot een nieuwe juiste actie.. Pluralistic walkthrough gebruikt groep meetings waarin gebruikers, ontwerpers en mensen gericht op human factors deelnemen aan een scenario en elk dialoog element bespreken. -. Feature inspection categoriseert reeksen van kenmerken die gebruikt worden om bepaalde taken te vervullen, controleert op lange reeksen, omslachtige stappen, onnatuurlijke stappen en stappen die een uitgebreide kennidervaring vereisen. * Consistency inspection laat ontwerpers van verschillende andere ontwerpen een interface onderzoeken op het feit of deze dingen hetzelfde doet als hun eigen ontwerp.. Standards inspection laat een expert van een interface standaard de interface onderzoeken op overeenkomstigheid met deze standaard, * Forma1 usability inspection combineert individuele en groep inspecties in een zes-stappen procedure die strikte functies formuleert met elementen van zowel heuristische evaluatie en een vereenvoudigde vorm van cognitive walkthrough. Heuristic evaluation, heuristic estimation, cognitive walkthrough, feature inspection en standards inspection laten allemaal de interface door een enkele evaluator per keer onderzoeken. Pluralistic walkthrough en consistensy inspection zijn groepsinspectie methoden Hoe meet je usability? Het is voor het bepalen van de usability van belang een onderscheid te maken tussen gebruiksvriendelijkheid en gebruikersvriendelijkheid. Gebruiksvriendelijkheid slaat op het * gemak van het gebruiken van de website. Dit is te meten door de proefpersonen bepaalde taken uit te laten voeren. n dit onderzoek vertaalt zich dat in de variabelen kliks, tijd en prestatie. Deze worden verder besproken in 2.3.2: de variabelen. Onder gebruikersvriendelijkheid versta ik de subjectieve beleving van de gebruiker, dus hoe de gebruiker de website ervaart. Dit wordt in dit onderzoek verder aangeduid met de variabele Usability en geëvalueerd aan de hand van een vragenlijst, i: Gebruiksvriendelijkheid Volgens Nielsen (1999) is de eenvoudigste methode om usability te meten de U~C~CSG&~ van het uitvoeren van een representatieve 1 taak: bereken het percentage van proefpersonen dat het gelukt is dat te bereiken wat ze gevraagd waren te doen. Het is wel noodzakelijk een tijdslimiet vast te stellen waarin het doel bereikt moet zijn en te kijken hoe men het doel bereikt heeft. http :// htm

11 ~ scriptie pagina 10 van 64 Gebrui kersvriendel ij kheid Deze kan je het beste meten door de gebruiker te laten reageren op een lijst met uitspraken als "ik vind het prettig deze website te gebruiken" of "k voelde mij snel verdwaald tijdens het zoeken op deze website" of met behulp van een vragenlijst. Ook kan men de gebrui kers-vriendelijkheid kwalitatief onderzoeken door de proefpersoon rechtstreeks te vragen wat hij/zij van de website vindt en hoe hij/zij deze ervaart op het moment van gebruiken Evaluatie of meting? Heuristische evaluatie is een goede methode voor het vinden van zowel grote als kleine problemen in een gebruikers interface (Nielsen, 1992). Hoewel de grote problemen per definitie de belangrijkste zijn om te vinden en op te lossen, zijn de kleine usability problemen ook relevant. Veel van zulke kleine problemen komen bij een heuristische evaluatie eerder naar boven dan bij andere methodes. Hoewel heuristische evaluatie veel problemen vindt die niet gevonden worden bij een gebruikers test (meting), is het ook zo dat de heuristische evaluatie bepaalde problemen mist die wel bij het testen van gebruikers naar voren komen. Dit is vooral het geval bij domein-specifieke websites en de evaluator weinig over dat bepaalde domein weet (in dit geval het Ministerie van Verkeer en Waterstaat en haar activiteiten). Omdat beide methodes (het testen van gebruikers door ze een taak te laten uitvoeren en een evaluatie op basis van opinies) op problemen stuiten die door de andere methode over het hoofd worden gezien is het dan ook aan te raden om deze twee methodes naast elkaar te gebruiken. Men zou het beste als eerste een heuristische evaluatie uit kunnen voeren om de interface te op te schonen en op deze manier zoveel mogelijk voor de hand liggende usability problemen op te lossen. Na een redesign van de interface is het aan te raden om een gebruikers test te doen. Men kan dan het nieuwe ontwerp testen en als het goed is komen ook de nog overgebleven problemen naar boven. Er zijn twee hoofd redenen te geven voor deze combinatie. Ten eerste kan een heuristische evaluatie een aantal usability problemen uitschakelen zonder proefpersonen te verspillen, die soms moeilijk te vinden zijn. Ten tweede is gebleken dat deze twee manieren verschillende usability problemen aan het licht brengen en zij elkaar dus aanvullen (Desurvire et al., 1992; Jeffries et al., 1991; Karat et al., 1992). Door de combinatie van deze twee methodes hoopt men inzicht te krijgen in de factoren gemak van leren, gemak van gebruik en de gebruikers satisfactie, samen met de kwaliteit en begrijpelijkheid van de inhoud en de functionele mogelijkheden. Deze factoren samen bepalen het uiteindelijke succes of falen van de website. 1.3 CHECKLST VOOR EVALUATE Om inzicht te krijgen in de kwaliteit van een website, kan men deze evalueren aan de hand van heuristieken. Een heuristiek is een leidraad of een algemeen principe of vuistregel dat een designbeslissing kan leiden of gebruikt kan worden om een genomen beslissing te bekritiseren, in dit geval een website. De ~

12 scriptie pagina 11 van 64 heuristische evaluatie is een methode voor het structureren van kritiek op een systeem door gebruik te maken van een set relatief simpele en algemene heuristieken. Het doel van deze evaluatie is het blootleggen van problemen met betrekking tot de bruikbaarheid van een website. Bij de heuristische evaluatie van een website wordt de website geëvalueerd aan de hand van heuristieken. Voordeel van deze manier van evalueren is dat deze makkelijk uitvoerbaar is, weinig tijd kost en weinig geld. De checklist die in dit onderzoek gebruikt wordt voor de evaluatie van de website van het Ministerie van Verkeer en Waterstaat is gebaseerd op de tien heuristieken van Nielsen (1994a) en het raamwerk van Sullivan (1 998). Beide zijn slechts als uitgangspunt genomen voor de checklist die voor dit onderzoek gebruikt wordt. Niet alle heuristieken van Nielsen zijn dan ook als zodanig te herkennen in de checklist. Enkele heb ik achterwege gelaten, omdat deze voor dit onderzoek naar mijn mening te systeemgericht waren. n dit onderzoek gaat het met name om de gebruikersvriendelijkheid van de website zelf en niet om de functionaliteit van het onderliggende systeem. De presentatie, inhoud en de mogelijkheden van de website spelen in dit onderzoek een grotere rol. Enkele heuristieken zijn terug te vinden onder een andere naam of met een andere heuristiek samengevoegd tot een nieuwe heuristiek, dit omdat ik dat in sommige gevallen overzichtelijker en duidelijker vond. Ook zijn er items in opgenomen die volgens mijzelf belangrijk zijn. De op deze manier gevormde checklist bestaat uit acht heuristieken. Deze acht heuristieken zijn niet altijd eenvoudig te scheiden en lopen soms in elkaar over. Het zijn dan ook richtlijnen aan de hand waarvan men de website kan evalueren, de ene richtlijn hangt soms nauw samen met een andere richtlijn. De acht heuristieken zijn de volgende: Navigatie. Kan de gebruiker zich gemakkelijk door de website bewegen? * s er een zoeksysteem aanwezig?. s er een overzichtsdiagram aanwezig waarop wordt aangegeven waar de gebruiker zich bevindt?. Zijn de links duidelijk wat betreft hun bedoeling en hun bestemming (m.a.w.: weet de gebruiker wat hij/zij kan verwachten, waar men terecht komt?). Zijn er doodlopende links? Vormgeving. s de vormgeving minimalistisch (eenvoudig), maar toch duid el ijk?. Worden gerelateerde items gegroepeerd en is hierdoor de websi te overzich telijk? p Worden gerelateerde items logisch met elkaar verbonden? a Wordt er gebruik gemaakt van een bescheiden kleurgebruik (en hierdoor een lage laadtijd)?. Wordt er gebruik gemaakt van logische iconen of metaforen? nhoud ' s de informatie actueel? Wordt er ook aangegeven wanneer de informatie voor het laatst is aangepast? Wordt nieuwe informatie ook als zodanig gemeld?. s de informatie die gegeven wordt relevant? (extra informatieeenheden concurreren met relevante informatie-eenheden en venwnet.minvenw.nl/netsi te/scriptie. htm

13 scriptie pagina 12 van 64 verminderen hun relatieve zichtbaarheid) * s de informatie op een duidelijke manier van elkaar gescheiden?. s de hoeveelheid informatie per pagina niet te groot? Consistentie * s de website consistent in het gebruik van links? * s de website consistent in het gebruik van termen? is de website consistent in het gebruik van visuele thema's?. s de website consistent in zijn opbouw? s de opbouw duidelijk (structuur)? Zijn alle pagina's op dezelfde manier ingedeeld? Feedback * Geeft de website een zichtbare status van het systeem? Houdt het systeem de gebruiker op de hoogte van wat er gebeurt en krijgt de gebruiker deze informatie binnen een gepast tijdsbestek? a Worden fouten duidelijk aangegeven? Worden er ook suggesties voor het oplossen van een probleem geboden? - Biedt de website ondersteunende functies zoals help-functies, zoek-functies etc.? Omgang. Kan de gebruiker zijdhaar acties op maat uitvoeren (s de website zowel door ervaren gebruikers te gebruiken als door onervaren gebruikers)? * s de omgang met het systeem makkelijk te leren? Zijn de acties, objecten en opties goed zichtbaar (dus hoeft de gebruiker deze niet te herinneren, maar slechts te herkennen)? s er een menu op ieder pagina aanwezig?. Biedt de website user-control en vrijheid? Wordt er een nooduitgang geboden om een betreffende pagina makkelijk te kunnen verlaten? Biedt de website "undo" en " redo" functies?. s de informatie makkelijk toegankelijk? Communicatie - s er de mogelijkheid tot een twee-richting-dialoog, dus kan men bijvoorbeeld via vragen stellen of reageren (interactief)? * s het taalgebruik bekend en plezierig voor de gebruiker?. s de website duidelijk voor het bedoelde publiek, brengt het zijn bedoelingen goed over? Algemeen. s de website de moeite waard om nog eens terug te komen? s deze bijvoorbeeld interessant, informatief of leuk? H2: METHODE 2.1 NLEDNG Allereerst is er een vooronderzoek gedaan om een indruk te krijgen van wat de informatie-behoefte van het publiek is. Om dit te doen is een inventarisatie gemaakt van de via de binnen gekomen reacties. Aan de hand van deze inventarisatie is een top 15 samengesteld met meest voorkomende vragen en opmerkingen. Om te onderzoeken hoe de afstemming tussen vraag en aanbod htm

14 scrip tie pagina 13 van 64 is, is gebruik gemaakt van de resultaten uit het vooronderzoek. Voor wat de vraag betreft is gekeken naar de behoefte van het publiek aan informatie over bepaalde onderwerpen (gebaseerd op de top 15 meest gestelde vragen). Voor het aanbod is gekeken of de onderwerpen waar het publiek behoefte aan heeft ook op de website worden aangeboden. Dit is bepaald door zogenaamde "website-experts". Er is ook gekeken naar de website zelf. Deze is op gebruikersvriendelijkheid (usability) getest aan de hand van een vragenlijst die gebaseerd is op een checklist met 8 heuristieken. De toegankelijkheid van de informatie, de snelheid waarmee men deze krijgt en de prestatie zijn bepaald aan de hand van een meting. De meting bestond uit het uitvoeren van taken door de proefpersonen. Deze hebben elk 5 vragen moeten beantwoorden waarvan het antwoord op de website van V & W te vinden is. Hierbij is gekeken naar de tijd (in seconden) die de proefpersonen nodig hebben om de gewenste informatie voor de taak te vinden, het aantal pagina's dat zij daarvoor bezoeken (aantal kliks) en het totaal van correct beantwoorde vragen (prestatie). De ervaring van de proefpersonen en de attitude van de proefpersonen ten opzichte van het systeem zijn van te voren bepaald aan de hand van een vragenlijst. De tevredenheid is vervolgens ook bepaald met behulp van een vragenlijst. Er heeft een interview met een deel van de proefpersonen plaats gevonden aan de hand waarvan inzicht is verkregen in hoe het publiek de website ervaart en naar de motivatie hierachter (kwalitatief). 2.2 PROEFPERSONEN Vanaf half december 1999 konden de bezoekers van de website van het Ministerie van Verkeer en Waterstaat met een vraag of een opmerking op het reactieformulier aangeven of zij er bezwaar tegen hadden om benaderd te worden voor deelname aan een onderzoek. Dit was nodig omdat het juridisch gezien niet is toegestaan om de mensen die via het reactie-formulier reageren zomaar te benaderen (privacy). De mensen die aan hebben gegeven geen bezwaar te hebben tegen benadering zijn vervolgens g d met de uitnodiging om mee te werken aan het onderzoek. n totaal zijn 166 mensen op deze wijze benaderd. Op de uitnodiging hebben 68 mensen gereageerd. Hiervan hebben 34 mensen zich opgegeven om mee te doen aan het onderzoek. Mensen die niet mee wilden doen gaven veelal als reden dat zij niet bereid of in staat waren om naar Den Haag te komen voor deelname aan het onderzoek. Uit de groep mensen die wel mee wilden doen zijn er uiteindelijk 31 geselecteerd voor deelname, zij vormen dan ook de steekproef van dit onderzoek. Deze steekproef bestaat uit 31 proefpersonen met een gemiddelde leeftijd van 32 jaar. Deze groep bestaat uit 18 mannen (gem. leeftijd: 38 jaar) en 13 vrouwen (gem. leeftijd: 23 jaar), afkomstig uit heel Nederland (van Groningen tot Limburg). Er is hier sprake van een enigszins scheve verdeling van de seksen. Deze sekse-scheve verhouding in de onderzoeksgroep is echter wel functioneel, alleen al omdat de gemiddelde nternetter nog altijd een hoger opgeleide man van 35 is (zie!$ 2.4.2). 2.3 MATERAAL De website

15 scriptie pagina 14 van 64 Ter ondersteuning van de voorlichting van het Ministerie van Verkeer en Waterstaat biedt zij naast folders, brochures, reclamespotjes etc. ook informatie aan via haar website op het nternet. Op deze website is informatie te vinden over actuele onderwerpen op het gebied van verkeer en waterstaat, Ook kan het publiek haar vragen en opmerkingen kwijt op het ingebouwde reactieformulier. De website van het Ministerie van Verkeer en Waterstaat is een grote website en bevat meer dan documenten. Bij het ontwerp van de website van het Ministerie van Verkeer en Waterstaat is gelet op de volgende richtlijnen: pas omvang van de informatie aan aan het medium * stel de gebruiker in staat door de informatie te navigeren e plaats aan het begin een overzicht. vermijd overmatig gebruik van grafische elementen * houd de redactionele inhoud van het artikel actueel. zorg dat er integratie plaatsvindt tussen de op nternet aangeboden informatie en de overige ingezette media. Verwijs in deze media naar de nternetpagina's a goed geplaatste informatie nodigt uit tot reactie. Zorg voor een snelle afhandeling van de ontvangen reacties De homepage van de website ziet er als volgt uit: De homepage is verdeeld in drie zones: bovenste zone De bovenste zone bevat het beeldmerk en de schrijfwijze van het Ministerie van Verkeer en Waterstaat. Hier bevinden zich ook de twee balken t.b.v. de navigatie binnen de site. Op deze balken zijn de navigatie-opties te vinden en de vier hoofd velden van Verkeer en Waterstaat. Dit gedeelte van de homepage (de balken) komt terug op alle sites en vervolg pagina's. Het aanbrengen van variaties in deze zone is niet mogelijk.

16 scriptie pagina 15 van 64 middelste zone De middelste zone bestaat uit vier kolommen. Hier worden verwijzingslabels geplaatst die rechtstreeks toegang bieden tot de aangekondigde informatie. nformatie over actuele onderwerpen wordt in de vorm van plaatjes aangeboden. Het meest actuele onderwerp staat groot en centraal op de homepage. De inhoud van de middelste zone wordt op regelmatige basis veranderd. Binnen de voorgeschreven vormgevings- en plaatsingsregels zijn alle variaties mogelijk. onderste zone De onderste zone bevat vaste rubrieken, zoals algemene informatie, persinformatie en vacatures. Net als bij de bovenste zone zijn veranderingen in dit gedeelte niet toegestaan. Er wordt bij alle labels gebruik gemaakt van de lettertypes van de huisstijl van het Ministerie van Verkeer en Waterstaat. Voor de tekstopmaak zijn meerdere kleuren mogelijk. Deze gekozen kleuren zijn een vertaling van in de huisstijl opgenomen kleuren. (uit: nternet. Huisstijl van het Ministerie van Verkeer en Waterstaat, november 1996) De variabelen Verschillende factoren kunnen van invloed zijn op de algehele tevredenheid van het publiek over een website. n dit onderzoek is gekeken naar de volgende variabelen: Ervaring De kennis die gebruikers hebben van computers of websites kan een punt zijn om rekening mee te houden bij het ontwerp van een website. Het is echter ook belangrijk om te kijken naar de ervaring van de gebruikers met een website en daar een onderscheid in te maken. Heb je te maken met een gebruiker die de website voor het eerst bezoekt, af en toe of regelmatig? (Kellogg en Richards, 1995). Ervaring van gebruikers met het medium nternet of met een website kan dus ook een rol spelen. Gebruikers kunnen enorm verschillen wat betreft hun ervaring, hetgeen zijn invloed kan hebben op de tevredenheid over de website. De ervaring wordt in dit onderzoek gemeten aan de hand van een vragenlijst met vier vragen over de ervaring. Van de antwoorden, die gegeven zijn op een vijf-punt-schaal, is het gemiddelde van alle items genomen om de totale ervaring per proefpersoon te kunnen bepalen. Attitude Het kan interessant zijn om te kijken naar de attitudes en gedragingen die eindgebruikers hebben ten opzichte van een bepaald systeem (hier: nternet). Deze kunnen namelijk van invloed zijn op hun perceptie van het systeem. Het kan zijn dat gebruikers negatieve attitudes hebben ten opzichte van het nternet en dat dit zijn uitwerking heeft op hun perceptie (tevredenheid) en hun prestatie (cognitieve dissonantie theorie). De attitude van de gebruikers wordt aan de hand van zes items gemeten. Het gemiddelde van deze items bepaalt de totale attitude. Usability

17

18 scriptie pagina 16 van 64 Het is van belang dat een website gebruikersvriendelijk is. Websites met een slechte usability (gebruikersvriendelijkheid) verspillen tijd van een gebruiker, ontmoedigen exploreren op het web en kunnen verantwoordelijk zijn voor een grote hoeveelheid onnodig verkeer op het nternet. De mate van gebruikersvriendelijkheid kan dus invloed hebben op de tevredenheid van het publiek over een website. Deze factor is dan ook meegenomen in dit onderzoek. De checklist die in dit onderzoek gebruikt wordt voor de evaluatie van de website van het Ministerie van Verkeer en Waterstaat is gebaseerd op de tien heuristieken van Nielsen (1994a) en het raamwerk van Sullivan (1998). De op deze manier gevormde checklist bestaat uit 8 heuristieken of dimensies (zie 4 1.3). De proefpersonen hebben 28 vragen moeten beantwoorden die verband houden met deze dimensies (3 of 4 vragen per dimensie). Ook hier geldt dat de gemiddelde score van alle items de totale usability bepaalt. Op deze wijze is de website geëvalueerd op haar gebruikersvriendelijkheid. Snelheid Een van de vereisten voor het succesvol gebruik van een website die Smith (1997) identificeert is dat de gebruiker in staat moet zijn de gevraagde informatie te verkrijgen en dat men deze informatie op tijd verkrijgt. Sullivan (1998) geeft aan dat mensen haast hebben wanneer ze naar informatie zoeken. Mensen willen zo snel mogelijk een antwoord op hun vraag krijgen. Naast toegankelijkheid van de informatie speelt dus ook de snelheid waarmee men deze informatie kan vinden een rol en kan dus van invloed zijn op de tevredenheid van de gebruiker. Deze snelheid vertaalt zich in de tijd (in seconden) die de proefpersoon nodig heeft om bepaalde informatie te vinden. Hierbij is gekeken naar de gemiddelde score op de vijf zoektaken. De factor snelheid is meegenomen als variabele in dit onderzoek. Toegankelijkheid Het nternet wordt door sommigen gezien als het wondermiddel voor iedereen die op zoek is naar informatie over wat dan ook. Uitspraken van deze voorstanders van het WWW zijn dan ook "Zoek en je zult vinden" of "Alles wat je maar wilt weten vind je op het nternet". Zij beweren dat er miljoenen voor het publiek toegankelijke informatie-items op het nternet te vinden zijn, dat dit aantal alleen maar toeneemt en dat de toename ook steeds groter wordt (Steinberg, 1996). Deze uitspraken zijn nogal tegenstrijdig als je bedenkt dat ais alles te vinden is op het nternet, er ook niets meer aan toegevoegd zou hoeven worden. Een alternatieve visie hierop dan ook dat er een probleem is in het vinden van de informatie die beschikbaar is, dus dat de toegankelijkheid van de informatie te kort schiet. Als dit het geval is, is het duidelijk dat het nodig is om de huidige situatie te verbeteren en het nternet gebruikersvriendelijker te maken voor mensen die op zoek zijn naar informatie (Smith, 1997). Met andere woorden: de informatie die geboden wordt moet ook toegankelijk zijn voor de gebruiker. Wat voor het nternet in zijn totaal geldt, kan ook gelden voor een grote website als die van het Ministerie van Verkeer en Waterstaat. De informatie die op de website geboden wordt moet dan ook makkelijk toegankelijk zijn. De variabele toegankelijkheid, die zich vertaalt in het aantal kliks dat een gebruiker maakt om bij bepaalde informatie te komen, is dan ook meegenomen als factor in dit onderzoek die invloed kan

19 scrip tie pagina 17 van 64 hebben op de tevredenheid van de gebruiker. De totale toegankelijkheid is bepaald aan de hand van het gemiddelde aantal kliks op de vijf zoektaken. Prestatie Het kan zijn dat het zoeken naar de gewenste informatie niet lukt en dat men daardoor ontevreden is over de website. Om deze reden zal er in dit onderzoek ook gekeken worden of de variabele Prestatie invloed heeft op de tevredenheid en naar de mate van de invloed. De totale prestatie is in dit onderzoek bepaald aan de hand van het aantal correct uitgevoerde taken (maximaal 5). Afstemming Het gebruik van nternet groeit en steeds meer mensen zoeken via de website van het Ministerie van Verkeer en Waterstaat naar informatie over bepaalde onderwerpen. Het is de vraag in welke mate het aanbod van informatie op de website aansluit op de informatie-behoefte van het publiek. Sluiten vraag en aanbod niet goed op elkaar aan, dan is het te verwachten dat het publiek minder tevreden is over de website. De mate van afstemming tussen de vraag en het aanbod kan dus van invloed zijn op de tevredenheid van het publiek over de website in zijn algemeen. Aan de hand van de top 10 meest gestelde vragen is een vragenlijst samengesteld met 12 items om te kunnen bepalen in welke mate (op een vijf-punt-schaal) men behoefte heeft aan informatie over deze onderwerpen. Deze vragenlijst is voorgelegd aan de proefpersonen van dit onderzoek. Vervolgens is met behulp van de opinie van website-experts bepaald in welke mate informatie over deze onderwerpen aangeboden wordt op de website. Ook hier is gebruik gemaakt van een 5-punt-schaal. De gemiddelde score van de 12 items bepaalt de totale vraag naar informatie van het publiek (de informatiebehoefte) en het totale aanbod van informatie op de website. Uit de discrepantie tussen deze twee gegevens blijkt de mate van afstemming. Deze variabele Afstemming is meegenomen in het hoofdonderzoek naar de invloed van variabelen (en de mate van deze invloed) op de tevredenheid van het publiek over een website. De vragenlijsten zijn terug te vinden in bijlage 2. Satisfactie De acceptatie van een systeem door de gebruiker (de subjectieve tevredenheid) is een bepalende factor voor het succes van een systeem, hier de website van het Ministerie van Verkeer en Waterstaat (Chin, Diehl en Norman, 1988). Er wordt tot op heden bij het evalueren van websites weinig gebruik gemaakt van satisfactie-vragenlijsten die gericht zijn op de gebruiker (Kirakowski en Cierlik, 1998). Het gebruik van een website zal dus zeker bepaald worden door de tevredenheid van de gebruikers over de website en het gebruik ervan. Het is dus belangrijk deze tevredenheid in kaart te brengen. Dit is gebeurd aan de hand van een vragenlijst (zie bijlage 2). n deze vragenlijst wordt gevraagd naar de subjectieve tevredenheid van de gebruiker over de website in zijn algemeen. n de vragenlijst over de usability is meer aandacht besteed aan de verschillende aspecten van de website, zoals vormgeving, omgang etc. n dit onderzoek is geprobeerd een antwoord te krijgen op de vraag welke factoren van invloed kunnen zijn op de algemene tevredenheid en wat de mate van hun invloed is. De variabele satisfactie is in dit onderzoek de afhankelijke variabele.

20 scriptie pagina 18 van 64 De tevredenheid is gemeten aan de hand van een vragenlijst waarin de gebruikers naar hun algemene tevredenheid over de website gevraagd worden. Deze vragenlijst bestaat uit 8 items en een cijfer ter beoordeling van de website. De gemiddelde score van deze items en het cijfer bepaalt de totale satisfactie. Na het gebruik van de website is tevens in een interview gevraagd wat de proefpersoon van de website vindt en de motivatie hierachter (waarom). 2.4 CONTEXT Ministerie van Verkeer en Waterstaat n het kort zijn de taken van het Ministerie van Verkeer en Waterstaat de volgende: het garanderen van een veilige, veelzijdige en verantwoorde bereikbaarheid, zowel over land en water als door de lucht en via telecommunicatie. Ook het bieden van bescherming tegen het water en zorgen voor voldoende en schoon water behoort tot de taken. De politieke leiding van het ministerie berust bij:. Minister T. Netelenbos. Zij houdt zich bezig met personenvervoer, goederenvervoer, de "droge" waterstaat en de Rijksluchtvaartdienst.. Staatssecretaris drs. J.M. de Vries. Zij is verantwoordelijk voor de "natte" waterstaat, Telecommunicatie en Post en het KNM. De ambtelijke leiding van het ministerie is in handen van de secretaris-generaal mr. R.J.J.M. Pans. De plaatsvervangend secretaris-generaal is mevrouw mr. T.J. van Beek. Er zijn vijf directoraten-generaal, Deze zijn respectievelijk Rijkswaterstaat, Goederenvervoer, Personenvervoer, de Rijksluchtvaartdienst en Telecommunicatie en Post. Het agentschap Rijksdienst voor Radiocommunicatie is onderdeel van dit laatste directoraat-generaal. Daarnaast is er de directie Strategie en Coördinatie. Het KNM heeft als agentschap een zelfstandige positie binnen het ministerie. Naast deze directoraten is er ook nog de directie Centrale Diensten. De Centrale Diensten hebben, ieder op hun gebied, een algemene ondersteunende taak voor de departementsleiding. Ondersteuning wordt gegeven op het gebied van organisatie, personeel, voorlichting, automatisering en financiën. De Directie Voorlichting is één van de acht directies van de Centrale Diensten. Zij is verantwoordelijk voor de ontwikkeling van een samenhangend, V&W-breed communicatiebeleid en voor de toepassing daarvan in com m u nicatie-uitin gen. Onder Directie Voorlichting valt het Kennis en Service Centrum (KSC), waaronder weer de publieksvoorlichting valt. Dit is de plek waar ik stage loop en waar het onderzoek zich afspeelt Overheidsvoorlichting via nternet edereen krijgt te maken met de overheid. Men wordt regelmatig geconfronteerd met allerlei overheidsinformatie, die tegenwoordig ook via het internet beschikbaar is. nformatievoorziening via het nternet heeft bepaalde voordelen. De overheid kan nternet gebruiken om vragen van het publiek te beantwoorden en belangrijke informatie te verspreiden. Deze vorm van