Algemene Rekenkamer: Onderzoeksopzet Spotdag 2016

Transcriptie

1 Algemene Rekenkamer: Onderzoeksopzet Spotdag 2016 Samen met andere rekenkamers op pad om in één dag te spotten, zodat we van elkaar kunnen leren tijdens het doen van een gezamenlijk onderzoek. Dat is de gezamenlijke wens van de Nederlands Vereniging voor Rekenkamers & Rekenkamercommissies (NVRR) en de Algemene Rekenkamer (AR). Het NVRRbestuur heeft zijn voorkeur uitgesproken voor het onderwerp Digitale Overheid. In deze notitie wordt de relevantie van het thema Digitale overheid en de opzet van de Spotdag uitgewerkt. 1 Digitale overheid In de onderstaande paragrafen zetten we enkele ontwikkelingen op het terrein van digitale overheid uiteen. Beginnende met de ambities en doelstellingen uit het regeerakkoord met daarna informatie uit monitorinstrumenten die deze ambities en doelstellingen dienen te meten. 1.1 Ambities en doelstellingen kabinet Rutte-/Asscher Eén van de ambities in het regeerakkoord van het kabinet Rutte-/Asscher betreft het verbeteren van de dienstverlening aan burgers en bedrijven. Burgers en bedrijven moeten zaken die ze met de overheid doen uiterlijk in 2017 digitaal kunnen afhandelen. Om de doelstelling voor 2017 te behalen, moeten de verschillende overheidsorganisaties in de periode tot 2017 in ieder geval de meest gebruikte diensten en producten digitaal gaan aanbieden. Om dit te realiseren, is het programma Digitaal 2017 opgesteld. In het programma werken de Ministeries van Binnenlandse Zaken en Koninkrijksrelaties (BZK) en Economische Zaken (EZ) samen met de andere overheidsorganisaties, waaronder gemeenten, provincies en waterschappen. Het programma richt zich op vier doelstellingen: 1. verhogen van het aanbod van digitale dienstverlening; 2. verbeteren van de kwaliteit van de overheidsdienstverlening; 3. verhogen van het gebruik van de digitale dienstverlening; 4. integratie van de dienstverlening naar één overheid.

2 2/10 Deze doelstellingen zijn nader uitgewerkt in de Overheidsbrede implementatieagenda digitale dienstverlening Daarin is ten aanzien van het digitaal zaken doen met de overheid opgenomen dat uiterlijk in 2017 alle overheidsorganisaties in ieder geval de meest gebruikte producten en diensten digitaal aanbieden, op een voor het betreffende product of dienst zo hoog mogelijk volwassenheidsniveau. 1.2 Monitoring Digitaal 2017 De voortgang op de doelstellingen wordt op verschillende manieren gemonitord. De eerste meting betreft het aanbod van digitale diensten bij de mede-overheden 2. De monitor onderzoekt digitale volwassenheid van de meest gebruikte producten voor burgers en bedrijven bij provincies, gemeenten en waterschappen. Met digitale volwassenheid wordt aangegeven in welke mate diensten digitaal beschikbaar zijn. Dit loopt van (aanvraag)formulier is niet digitaal beschikbaar tot de mogelijkheid om gebruik te maken van een vooringevuld formulier en digitaal opsturen/uploaden. In de monitor is per organisatie en per overheidsproduct vastgelegd op welke manier het product digitaal aangeboden wordt. Het onderzoek is in 2014 uitgevoerd en in 2015 herhaald. De tweede meting betreft de tevredenheid van burgers en bedrijven over de kwaliteit van overheidsdienstverlening 3 dat sinds 2008 wordt uitgevoerd. In dit onderzoek worden burgers en ondernemers gevraagd naar hun ervaring met de overheidsdienstverlening. Het onderzoek brengt de tevredenheid van burgers en ondernemers over het contact met de overheid in kaart. Dit wordt gedaan naar aanleiding van een levensgebeurtenis. Het onderzoek brengt de waardering in beeld op drie niveaus : - de totale overheidsdienstverlening (overheid als geheel); - de dienstverlening van de individuele overheidsorganisaties; - de dienstverlening van de keten van overheidsorganisaties. De waardering van de individuele overheidsorganisaties wordt in het rapport niet uitgesplitst naar specifieke gemeenten en provincies. 1 Overheidsbrede implementatieagenda digitale dienstverlening 2017, Versie 1.1 d.d. 3 november Meting aanbod Digitale dienstverlening 2017, Deloitte in opdracht van Ministerie van Binnenlandse Zaken en Koninkrijksrelaties en het Ministerie van Economische Zaken (april 2015 en december 2015) 3 De kwaliteit van de overheidsdienstverlening 2014, I&O Research in opdracht van Ministerie van Binnenlandse Zaken en Koninkrijksrelaties en het Ministerie van Economische Zaken (januari 2015).

3 3/10 In het onderzoek is onder meer ook aan de respondenten gevraagd welk contactkanaal hun voorkeur heeft bij het contact met de overheid. Daaruit komt naar voren, dat persoonlijk contact via de balie de voorkeur heeft, gevolgd door telefoon en . Ten opzichte van voorgaande jaren is wel een lichte toename zichtbaar in de voorkeur voor contact per mail en internet. Tijdens een herhalingsonderzoek uit 2015 blijkt dat de daling van fysiek en telefonisch contact verder doorzet, en dat het contact per mail toeneemt. Daarnaast is het daadwerkelijke gebruik van de contactkanalen in kaart gebracht en de verschuiving in het gebruik van de kanalen. De cijfers hebben betrekking op overheidsorganisaties in het algemeen, ze zijn niet uitgesplitst naar individuele overheidsorganisaties. 2 Uitwerking en opzet Spotdag 2.1 Doel- en probleemstelling In eerste instantie is de Spotdag er op gericht om bredere ervaring op te doen met gezamenlijk onderzoek met de lokale, provinciale en waterschapsrekenkamer(commissie)s. Hiervoor is het van belang een thema te kiezen dat meerdere bestuurslagen op dezelfde wijze raakt. Digitaal 2017 is bij uitstek zo een thema, omdat binnen alle overheidslagen aan dezelfde doelstellingen moet worden voldaan. Binnen het thema Digitaal 2017 is het doel van dit onderzoek om inzicht in het gebruik en de waardering van de digitale dienstverlening van de lokale overheden te verschaffen. Om optimaal aan te sluiten bij de wensen van de burgers en ondernemers en te voldoen aan de doelstellingen van Digitaal 2017 is de gebruiksvriendelijkheid van de diensten een belangrijke factor. Dit is mogelijk ook van invloed op het daadwerkelijke gebruik van de digitale diensten. Door gebruiksvriendelijke digitale diensten aan te bieden en te sturen op het gebruik hiervan kunnen overheden kosten voor balie en telefoon sparen en het burgers en ondernemers makkelijker maken om in contact te komen met de overheid. Om dingen niet onnodig dubbel te doen hebben we gekeken waar dit onderzoek iets kan toevoegen aan het al bestaande onderzoek. Het aanbod en het volwassenheidsniveau (indicatie van hoe geavanceerd de dienst is die wordt

4 4/10 aangeboden) wordt uitgebreid gemeten in het onderzoek dat door Deloitte in opdracht van het Ministerie van BZK wordt uitgevoerd. Het is niet zinvol dit in een kleiner onderzoek te herhalen of aan te vullen. In het kwaliteitsonderzoek wordt de algemene ervaring met de algehele overheidsdienstverlening gemeten door middel van respondentenonderzoek. Dit onderzoek richt zich dus niet specifiek op e-dienstverlening en de gebruiksvriendelijkheid hiervan. Daarnaast wordt gevraagd naar het voorkeurskanaal voor het opnemen van contact met de overheid, maar worden er geen daadwerkelijke gebruikerscijfers gegeven. Deze twee factoren, gebruiksvriendelijkheid van e-dienstverlening en de mate van gebruik van e-dienstverlening, is wat wij met dit onderzoek als focus hebben. Naar aanleiding van de ervaringen met het gezamenlijke onderzoek naar de Centra voor Jeugd en Gezin (juni 2012) is er voor gekozen een zo scherp mogelijke focus in het onderzoek aan te brengen en de opzet van het onderzoek zo eenvoudig en eenduidig mogelijk te houden. De enige variatie die in de onderzoeksmethode wordt aangebracht, is de inschakeling van het burgerpanel van de rekenkamer Amsterdam voor het meten van de gebruiksvriendelijkheid van het digitale formulier van de gemeente Amsterdam. 2.2 Begrippen Gebruik contactkanalen: Contact met de overheid kan op verschillende manieren verlopen; per telefoon, bij de balie, per , via internet of per post. De monitor naar de kwaliteit naar de overheidsdienstverlening geeft aan dat telefoon en balie nog steeds de grootste voorkeur genieten. Daadwerkelijke cijfers over het gebruik van de verschillende kanalen zijn niet overheidsbreed beschikbaar. E-dienstverlening of digitale dienstverlening: Hieronder valt alle communicatie tussen overheid en burgers en ondernemers via computers en de aanwezigheid op het web. Indienen van een melding: Dit is een specifiek onderdeel van de digitale dienstverlening die overheden aanbieden voor het maken van een melding over de openbare ruimte. Gebruiksvriendelijkheid: Gebruiksvriendelijkheid gaat over de effectiviteit en efficiëntie bij het gebruik van de dienst en de tevredenheid over de dienst.

5 5/10 Binnen het begrip gebruiksvriendelijkheid kan onderscheid gemaakt worden tussen twee vormen: - de ervaren gebruiksvriendelijkheid, en - de daadwerkelijke gebruiksvriendelijkheid. De ervaren gebruiksvriendelijkheid refereert naar het eindoordeel dat een bezoeker van een website geeft over diezelfde website (Hartson, Andre & Williges, 2001). Het kan zijn dat een individu na een bezoek aan een specifieke website een positieve beoordeling geeft voor bijvoorbeeld het gebruiksgemak. Dit eindoordeel wat de bezoeker geeft, ongeacht de gevonden problemen, wordt de ervaren gebruiksvriendelijkheid genoemd. Dit neemt echter niet weg dat de website in daadwerkelijk gebruik misschien wel helemaal niet zo gebruiksvriendelijk is. Tijdens het gebruik van de website kan de bezoeker stuiten op verschillende gebruiksvriendelijkheidproblemen, deze kunnen zowel bewust als onbewust aanwezig zijn. Onbewuste problemen op het gebied van gebruiksvriendelijkheid uiten zich bijvoorbeeld in het aantal stappen dat ondernomen dient te worden om toegang te verkrijgen tot de informatie, of hoe lang het duurt voordat de taak is afgerond. Deze manier van meten noemen we de daadwerkelijke gebruiksvriendelijkheid. Toegankelijkheid: Toegankelijkheid staat voor dat iedere bezoeker gebruik moet kunnen maken van de website. Daarmee wordt specifiek aandacht geschonken aan doelgroepen als ouderen en mensen met een functiebeperking. Een website moet bereikbaar, beschikbaar, bruikbaar en betrouwbaar zijn in diverse internet browsers. De website dient goed bruikbaar te zijn en een consistente en eenduidige vorm en werking hebben. Wij laten het element toegankelijkheid buiten beschouwing omdat hier al diverse onderzoeken naar worden verricht. Overheden of medeoverheden: Dit onderzoek richt zich primair op de digitale diensten van gemeenten, provincies en waterschappen. Waar van overheden of medeoverheden gesproken wordt heeft dit uitsluitend betrekking op de lokale overheden.

6 6/ Onderzoeksvragen Met de Spotdag bouwen we voort op de eerdergenoemde monitors van Digitaal Hierbij zijn we geïnteresseerd in de mate waarin er gebruik wordt gemaakt van de digitale dienstverlening bij de deelnemende overheden. Daarnaast doen we onderzoek naar de ervaren gebruiksvriendelijkheid van één van de digitale diensten, specifiek op het product indienen van een melding over de openbare ruimte. Dit is immers zowel relevant voor gemeenten, provincies, als waterschappen. Daarbij wordt meldingen gezien als één van de toptaken, dat wil zeggen één van de belangrijkste taken die een bezoeker op de website van een overheidsorganisatie wil uitvoeren. We gaan in dit onderzoek het volgende na: 1. Hoe is het gebruik van digitale formulieren op de website voor het doen van meldingen over de openbare ruimte bij de betreffende gemeente, provincie of waterschap ten opzichte van andere kanalen? Gemeenten, provincies en waterschappen worden daartoe gevraagd naar: a. Het gebruik van digitale formulieren op de website voor het doen van meldingen over de openbare ruimte b. Terugkoppeling op digitale meldingen over de openbare ruimte 2. Hoe is de ervaren gebruiksvriendelijkheid bij het digitaal indienen van een melding over de openbare ruimte bij de betreffende gemeente, provincie of waterschap? Hiermee sluiten we aan op de volgende doelstellingen uit het programma Digitaal 2017: Het gebruik van digitale dienstverlening; De kwaliteit van digitale dienstverlening, meer specifiek de gebruiksvriendelijkheid. 2.4 Onderzoeksontwerp De beantwoording van de bovenstaande vraag doen we in drie stappen: Voorafgaand aan Spotdag: 1. Ten eerste gaat elke rekenkamer(commissie) na hoe de vindbaarheid van het digitale formulier voor het indienen van meldingen is; hoeveel kliks zijn nodig om bij het formulier te komen en hoe is de vindbaarheid via de zoekfunctie. Ook wordt er een eerste test uitgevoerd door de

7 7/10 rekenkamer(commissie)s met als doel na te gaan welke feedback er na het doen van een melding aangeleverd wordt, zoals bijvoorbeeld een automatische reply met informatie over de afhandelingstermijn. Hiervoor kan een echte of een fictieve melding worden ingediend. 2. Daarnaast gaan rekenkamer(commissie)s bij hun gemeente(n), provincie(s) of waterschap na of er informatie beschikbaar is over het gebruik van de digitale formulieren op de website voor het indienen van meldingen openbare ruimte in verhouding tot het gebruik van andere kanalen. Tijdens de Spotdag: 3. Tijdens de Spotdag spotten rekenkamer(commissie)s de ervaringen van burgers. Respondenten worden gevraagd een fictieve melding in te dienen (casus). Na afloop stellen we een aantal vragen over de ervaring met het digitaal indienen van een melding (gemak, algemeen rapportcijfer etc.). 2.5 Casus De respondenten worden naar het digitale formulier van de aanbieder van de digitale dienst geleid om vanuit daar de volgende melding te maken: Gemeente: Voor uw huis ligt een losse stoeptegel. Dat kan gevaarlijke situaties opleveren en daarom wilt u daarvan melding maken bij de gemeente. Provincie: U hebt last van stank, veroorzaakt door een regionaal bedrijventerrein bij u in de buurt. U wilt daarvan melding doen bij de provincie. Waterschap: U constateert dat een grote sloot bij u in de buurt verontreinigt is (het stinkt en ziet er vies uit, bovendien lijken de planten dood te gaan). U wilt daarvan melding doen bij het waterschap. 2.6 Methode Voor het vaststellen van de gebruiksratio worden gegevens bij de lokale overheden opgevraagd. Indien deze cijfers niet voorhanden zijn, kan dit ook iets zeggen over de mate van kanaalsturing die door lokale overheid wordt gedaan.

8 8/10 Het spotten vindt plaats op straat of elders binnen de openbare ruimte. Voorbijgangers worden gevraagd om een korte taak te verrichten en een korte vragenlijst in te vullen. Het geheel duurt ongeveer 10 minuten. Een van de grote uitdagingen in dit onderzoek is om zo veel mogelijk respondenten te hebben. Een goede optie hiervoor is om een plek uit te kiezen waar mensen al moeten wachten, bijvoorbeeld op het stadhuis of in de bibliotheek. De vragenlijst wordt na het uitvoeren van de taak digitaal aangeboden op de tablet. Dit onderzoeksvoorstel kent beperkingen doordat het een voorstel betreft voor een eenvoudig onderzoek(je) dat op diverse locaties door het land op eenduidige en consistente manier uitgevoerd moet kunnen worden. Controlevariabelen: Naast de metingen voor de gebruiksvriendelijkheid worden er aan de respondenten ook nog een aantal persoonskenmerken gevraagd. Dit zijn geslacht, leeftijd, opleidingsniveau en digivaardigheid. Deze variabelen kunnen bij de analyse gecontroleerd worden op correlatie en vervolgens eventueel worden opgenomen als controlevariabele. Aantal benodigde respondenten: De doelstelling is om per mede-overheid minimaal 30 respondenten te vinden door met minimaal 3 onderzoekers in het veld te staan. Bij de deelname van 15 mede-overheden hebben we een totale dataset van 450 respondenten. Deze omvang is groot genoeg om een algemene analyse op te doen. 2.7 Data-analyse Het onderzoek levert de volgende data op: - Kwantitatieve cijfers over kanaalgebruik (indien aanwezig); - Kwantitatieve antwoorden op enquête gebruiksvriendelijkheid; - Kwantitatieve antwoorden op enquête persoonskenmerken. Analyse op totale dataset: - Correlatie tussen persoonskenmerken en gebruiksvriendelijkheid, met als doel om deze als controlevariabelen op te nemen; - Totaal beeld van de ervaren gebruiksvriendelijkheid van de digitale diensten; - Verband tussen gebruikersaantallen en gebruiksvriendelijkheid. Analyse per mede-overheid:

9 9/10 - Individueel beeld van de ervaren gebruiksvriendelijkheid van de digitale dienst per mede-overheid; - Daarnaast zijn er cijfers bekend over het kanaalgebruik van de digitale dienst. Deze gegevens kunnen in samenhang tot elkaar worden bezien. Belangrijk is om op te merken dat er in de analyse geen vergelijking wordt gemaakt tussen de verschillende mede-overheden. De analyse wordt in eerste instantie gedaan op de totale dataset, om een globaal beeld te krijgen en naar de samenhang tussen verschillende variabelen te kunnen kijken. Vervolgens wordt er per mede-overheid een analyse gedaan om een individueel beeld van de gebruiksvriendelijkheid te schetsen, in samenhang tot de gebruikscijfers. Deze individuele resultaten worden niet in samenhang tot elkaar in de eindrapportage opgenomen. 3 Verwachte resultaten en opbrengsten De uitkomst van de Spotdag is tweeledig. Enerzijds een momentopname van de stand van zaken rond digitale dienstverlening door de mede-overheid, zoals ervaren door burgers, anderzijds inzicht in de mogelijkheden van het samen spotten als methode voor rekenkameronderzoek. 3.1 Resultaten uit het onderzoek Het onderzoek dient in eerste instantie als een pilot om de methode voor het onderzoeken van de gebruiksvriendelijkheid en de samenwerking tussen de rekenkamer(commissie)s te toetsen. In de eindrapportage wordt hier uitgebreid bij stil gestaan en worden de ervaringen, sterke punten en tekortkomingen beschreven. Daarnaast wordt in de eindrapportage een globaal beeld geschetst van de gebruiksvriendelijkheid van de digitale diensten bij verschillende medeoverheden en de samenhang tussen de verschillende variabelen. Voor de deelnemende rekenkamer(commissies) wordt daarnaast een individueel beeld geschetst van het kanaalgebruik en de gebruiksvriendelijkheid van de dienst. De resultaten geven aan de ene kant weer wat het gebruik van de digitale dienstverlening is ten opzichte van andere kanalen, aan de andere kant wordt de gebruiksvriendelijkheid van een van de diensten gemeten. Het is hierbij niet het doel een ranglijst te maken tussen de verschillende overheden. De resultaten van de verschillende overheden zullen niet in vergelijking tot elkaar worden gepubliceerd. Iedere mede-overheid ontvangt de eigen

10 10/10 resultaten en bepaalt zelf of en op welke manier de resultaten worden gepubliceerd. 3.2 Opbrengsten uit de samenwerking De ervaringen van het samenwerken worden gebundeld in een handreiking met ervaringen en lessen t.a.v. het spotten. Voor het opstellen van de handreiking spotten willen we op de Samenwerkingsdag van de AR en NVRR (17 november) gezamenlijk een geschikte vorm bedenken. Kort na de Spotdag stelt het projectteam een lijst met lessen op en aan de hand van die lessen organiseren we workshops op de Samenwerkingsdag. De handreiking wordt aangeboden aan de minister van BZK, als verantwoordelijk bewindspersoon Digitale overheid en Lokale democratie. Zo kunnen we als rekenkamergemeenschap laten zien op welke wijze we werken aan kernpunten uit het Actieplan lokale rekenkamers, waaronder samenwerking tussen rekenkamer(commissie)s en verhogen van de kwaliteit van rekenkameronderzoek. Onder de rekenkamer(commissie)s die niet hebben deelgenomen aan de Spotdag zullen we - tijdens en na afloop van de Samenwerkingsdag het draagvlak peilen voor een landelijke uitrol van de Spotdag. 3.3 Beeldmateriaal Tenslotte is een doelstelling van deze samenwerking naast de onderzoeksresultaten en de samenwerking ook het enthousiasmeren van de deelnemers en het onder de aandacht brengen van de rol van de rekenkamer(commissie)s. En ook de burger wil de relevantie van zijn deelname terug kunnen zien. Een mooi middel hiervoor is om een clip van een paar minuten te maken over de Spotdag. Hiervoor wordt er op de Spotdag zelf gefilmd en worden er enkele korte quotes van burgers en deelnemende rekenkamer(commissie)s opgenomen.