Van meten naar inzicht?

Transcriptie

1 Van meten naar inzicht? Onderzoek naar een evaluatiemethode ter bevordering van het inzicht in digitale dienstverlening binnen de gemeente Delft Anouk Davidse Sectie Systeemkunde Faculteit Techniek, Bestuur en Management Technische Universiteit Delft Delft, 16 oktober 2002 Opdrachtgever: Begeleider extern: Hoogleraar TU Delft: Begeleider TU Delft: Begeleider TU Delft: Begeleider TU Delft: B. Janssen, Hoofd ICT gemeente Delft D.J. van Dijk, Projectcoördinator gemeente Delft prof. dr. H.G. Sol (Systeemkunde) drs. J.H. Appelman (Systeemkunde) dr. ir. M. den Hengst-Bruggeling (Systeemkunde) dr. ir. M.F.W.H.A. Janssen (ICT)

2

3 Voor ons telt het resultaat. Aan de resultaten kunnen de gemeenteraad en de stad zien of we onze ambities en beloften hebben kunnen waarmaken. (Collegeprogramma Voorzetten en Doorzetten, gemeente Delft)

4

5 Voorwoord Dit rapport is het resultaat van mijn afstudeeronderzoek bij de gemeente Delft voor de studie Technische Bestuurskunde aan de Technische Universiteit Delft. Het onderwerp is voortgekomen uit overleg tussen Marijn Janssen van de Technische Universiteit Delft en Inge van de Water van de gemeente Delft. Ben Janssen, het vakteamhoofd ICT van de gemeente Delft heeft opdracht gegeven voor dit onderzoek. Vanuit de gemeente Delft ben ik begeleid door Dirkjan van Dijk. Binnen de Technische Universiteit Delft is het onderzoek uitgevoerd in de sectie Systeemkunde van de faculteit Techniek, Bestuur en Management onder leiding van professor dr. H.G. Sol. Vanuit deze sectie ben ik begeleid door Mariëlle den Hengst. In de laatste fase van het onderzoek is dit gedeeltelijk overgenomen door Jaco Appelman, in verband met een verblijf in het buitenland van Mariëlle. Marijn Janssen heeft mij vanuit de sectie ICT begeleid. Ik wil alle begeleiders hartelijk danken voor hun steun, waardevolle adviezen en wijze raad. Anouk Davidse, Delft, 16 oktober 2002

6

7 Inhoudsopgave Samenvatting... Begrippenlijst... Hoofdstuk 1: Inleiding... 1 Hoofdstuk 2: Achtergrond Organisatiestructuur van de gemeente Delft Programma KIS ICT in de gemeente Delft... 5 Hoofdstuk 3: Probleemanalyse Actorenanalyse Stuurmodel Conclusie Hoofdstuk 4: Onderzoeksopzet Voorkeuren gemeente Delft Onderzoeksaanpak Hoofdstuk 5: Prestaties meten Meten van prestaties in een (overheids)organisatie Raamwerk toegepast op bestaande methoden Raamwerk toegepast op voorkeuren gemeente Delft Conclusie Hoofdstuk 6: Evaluatiemethode Uitgangspunten Subdoelen Prestatie-indicatoren Selectie prestatie-indicatoren Uitvoering evaluatiemethode Hoofdstuk 7: Prototype Eigenschappen prototype Ontwerp en bouw Hoofdstuk 8: Reflectie op de evaluatiemethode en het prototype Terugkoppeling naar stuurmodel en bestaande methoden Toetsing evaluatiemethode Toetsing prototype Hoofdstuk 9: Conclusies en aanbevelingen Literatuurlijst...71 Bijlagen Bijlage 1: Overzicht clusters Bijlage 2: Overzicht projecten Bijlage 3: Lijst geïnterviewden Bijlage 4: Toelichting bij prestatie-indicator Variëteit bezoekers Bijlage 5: Inventarisatie informatiebronnen gemeente Delft Bijlage 6: Klassediagram gegevensstructuur van de database Bijlage 7: Scenario s, vragen en enquête toetsing prototype... 81

8

9 Samenvatting In 1996 heeft de gemeente Delft besloten zich te profileren als Delft Kennisstad. Om ook de inwoners van Delft op een digitale manier van dienst te kunnen zijn, is de gemeente in 1997 gestart met het programma Kennis Infrastructuur (KIS). Dit programma beoogt de nieuwe technieken op het gebied van Informatie- en Communicatietechnologie te gebruiken ten gunste van de interne organisatie en in de communicatie met externe partijen. Na de eerste vier jaar van de uitvoering van dit programma moest in 2002 een basisvoorziening beschikbaar zijn voor alle balie- en beleidsmedewerkers, besluitvormers, administrateurs en beheerders, waarmee het werken in de kennisorganisatie wordt gefaciliteerd. De tweede periode van de uitvoering van dit programma, van 2002 tot en met 2006, is gericht op het aanbieden van digitale dienstverlening aan inwoners van Delft en andere externe doelgroepen. In 2000 heeft de rekenkamercommissie van de gemeente Delft een onderzoek uitgevoerd naar de effectiviteit van het ICT-beleid binnen de gemeente. Een belangrijke conclusie van dit onderzoek is dat de rapportages over het programma KIS de gemeenteraad onvoldoende inzicht gaven om een oordeel te kunnen vormen over het doelmatig functioneren van de ICT-organisatie. Er was behoefte aan een meet- en verbetersysteem (hierbij is de Balanced Scorecard genoemd), concrete prestatieindicatoren en een evaluatie van grote ICT-projecten. Mede naar aanleiding van de conclusies van bovengenoemd onderzoek, is dit afstudeeronderzoek gestart met als doel: de resultaten van het programma KIS inzichtelijk maken voor de gemeenteraad. Er is voor gekozen eerst breed te kijken naar de uitvoering van het programma KIS en daarna te focussen op een klein gedeelte van de problematiek dat aansluit bij het doel. Om te beginnen is een actorenanalyse uitgevoerd en is een stuurmodel ontwikkeld, een model dat de uitvoering van projecten binnen het programma KIS systematisch weergeeft. De ideale situatie is beschreven en vergeleken met de werkelijke situatie, de uitvoering van projecten binnen het programma KIS in de gemeente Delft. Door deze vergelijking is een aantal problemen zichtbaar geworden: een duidelijke visie of strategie waarop projecten geselecteerd kunnen worden voor ze mogen worden uitgevoerd ontbreekt bij het programma KIS het sturend orgaan, de gemeenteraad, heeft onvoldoende kennis van het onderwerp ICT, om alternatieven aan te dragen en in te grijpen in (projecten van) het programma KIS er is te veel vraag naar projecten er zijn geen prestatie-indicatoren en normen voor prestatie-indicatoren gedefinieerd op projectniveau en voor het totale programma KIS projecten worden soms gestart vanuit het enthousiasme van het vakteam ICT projecten worden soms gestart vanuit de beschikbare techniek formulieren om de voortgang van projecten te monitoren worden matig ingevuld het systeem om de voortgang van projecten te monitoren (PIN) wordt matig ingevuld er zijn te veel projecten tegelijkertijd bezig In overeenstemming met het doel van dit onderzoek, inzicht geven in de resultaten van het programma KIS, is na overleg met de gemeente Delft besloten het onderzoek te richten op het ontwikkelen van een evaluatiemethode voor het programma KIS. Van de negen geschetste problemen wordt slechts een bijdrage geleverd aan de oplossing van het probleem geen prestatie-indicatoren en normen gedefinieerd en onvoldoende kennis van het sturend orgaan. Om de voorkeuren van de gemeente Delft ten opzichte van een evaluatiemethode te achterhalen zijn interviews gehouden met betrokkenen binnen de gemeente. Voor de ontwikkeling van de evaluatiemethode zijn, als gevolg hiervan, de volgende uitgangspunten gebruikt: hoofdaspecten van het programma KIS: digitale dienstverlening met tevreden gebruiker en concrete kostenbesparingen burgerwaarden: toegankelijkheid, doeltreffendheid, betrouwbaarheid, controleerbaarheid en doelmatigheid doelen van KIS 2: verbeteren van de informatievoorziening en uitbreiden van het aantal producten en diensten In overleg met de gemeente Delft is gekozen voor de volgende afbakening: De evaluatiemethode is alleen gericht op digitale dienstverlening, het digitaal aanbieden van diensten (door de gemeente producten genoemd) via internet, aan inwoners van Delft.

10 Met de evaluatiemethode wordt het totaal aan digitale dienstverlening beoordeeld, er wordt niet ingegaan op resultaten per project. Als gevolg van het belang dat de gemeente Delft stelt in de mening van de burger over digitale dienstverlening heeft de evaluatiemethode slechts betrekking op het meten van de buitenkant, er wordt niet gekeken naar aspecten van de back-office. Om de organisatie niet onnodig te belasten wordt voor de evaluatiemethode, waar mogelijk, gebruik gemaakt van informatie die al in de organisatie aanwezig is. De evaluatiemethode moet een eenvoudige methode zijn, waarbij meer informatie verkregen kan worden door in te zoomen. Vooraf aan het invoeren van de evaluatiemethode moet een nulmeting worden uitgevoerd. Hierna kan de methode jaarlijks aan de gemeenteraad worden getoond. Waar mogelijk zullen resultaten van de evaluatiemethode per maand beschikbaar zijn. De gemeente Delft heeft aangegeven geïnteresseerd te zijn in de mogelijkheid om elementen van de methoden Balanced Scorecard en INK-model te gebruiken. Deze mogelijkheid wordt onderzocht. Als gevolg van de afbakening is het doel van het onderzoek de gemeenteraad inzicht geven in de resultaten van digitale dienstverlening, bewerkstelligd door het programma KIS. Voor het onderzoek zijn de volgende onderzoeksvragen geformuleerd: 1. Op welke manier kan een evaluatiemethode worden vormgegeven die inzicht geeft in de resultaten van het programma KIS, rekening houdend met de gestelde randvoorwaarden? 2. Kunnen (elementen van) de methoden Balanced Scorecard en INK-model een bijdrage leveren aan de evaluatiemethode voor het programma KIS? 3. Op welke manier kan invulling worden gegeven aan de hoofdaspecten van het programma KIS, de burgerwaarden en de doelen van KIS 2? 4. Welke prestatie-indicatoren geven inzicht in de resultaten van het programma KIS? 5. Hoe kunnen de gegevens voor deze prestatie-indicatoren worden verkregen? 6. Hoe kan de evaluatiemethode visueel worden weergegeven in een prototype? Om een evaluatiemethode te ontwikkelen aan de hand van de eerder geschetste uitgangspunten zijn zeven subdoelen geformuleerd die beogen de hoofdaspecten en de burgerwaarden te representeren: het vergroten van het aanbod van digitale dienstverlening het vergroten van de bekendheid van digitale dienstverlening het vergroten van het gebruik van digitale dienstverlening het vergroten van de tevredenheid van de burger over digitale dienstverlening het verbeteren van de kwaliteit van afhandeling van digitale dienstverlening het beperken van de investeringen in digitale dienstverlening het vergroten van de besparing door het gebruik van digitale dienstverlening De subdoelen zijn elk uitgewerkt in meerdere prestatie-indicatoren die samen het betreffende subdoel weergeven. Bij het meten van deze prestatie-indicatoren wordt zoveel mogelijk gebruik gemaakt van informatie die al in de organisatie aanwezig is. Vaak moet deze informatie nog wel worden verwerkt. Naast de reeds beschikbare informatie zijn nog enkele onderzoeken noodzakelijk. Hiervan is het onderzoek naar de mening van de burgers over digitale dienstverlening de belangrijkste. Er is een prototype ontwikkeld dat de ontwikkelde evaluatiemethode kan weergeven. Per prestatieindicator worden de volgende aspecten getoond: de eigenschappen van de prestatie-indicator (definitie, eenheid, verantwoordelijke, bron), de norm (waarbij ook gegevens over wijzigingen in de norm opgevraagd kunnen worden), een beeld van de ontwikkelingen in de tijd (eerder behaalde scores), de score op een bepaald moment en eventueel extra informatie zoals bijvoorbeeld gegevens per product of per project. De methode Balanced Scorecard en INK-model zijn niet geschikt gebleken als methoden om de raad inzicht te geven in de resultaten van het programma KIS. Redenen hiervoor zijn: Bij zowel de Balanced Scorecard als het INK-model is het proces van het ontwikkelen van de methode binnen de organisatie een zeer belangrijk aspect. Hierbij wordt de hele organisatie betrokken. De ingreep die nodig is voor de invoering van de Balanced Scorecard of het INK-model is buiten proporties voor het doel dat de gemeente wil bereiken. Te meer daar de gemeente Delft erop heeft aangedrongen de medewerkers niet te veel overlast te bezorgen met de invoering van de evaluatiemethode.

11 De gemeente Delft geeft er de voorkeur aan de methode te richten op het meten van de buitenkant. Methoden als Balanced Scorecard en INK-model zijn ook gericht op aandachtsgebieden zoals Interne bedrijfsvoering en Processen. De gemeente Delft is op zoek naar een methode om de gemeenteraad inzicht te geven in resultaten. De evaluatiemethode heeft dus als doel om transparantie te bieden. De Balanced Scorecard en het INK-model beogen voornamelijk de organisatie te laten leren en zijn niet gericht op het afleggen van verantwoording. De methoden Balanced Scorecard en INK-model zijn gericht op het veranderingsproces binnen de organisatie. De ontwikkelingen die de organisatie doormaakt zijn een belangrijk onderdeel van de methoden. De invoering van de evaluatiemethode bij de gemeente Delft is niet bedoeld om de organisatie te veranderen. Het invoeren van methoden zoals de Balanced Scorecard en het INK-model is een langdurig proces. De uitvoering van dit proces wordt in teamverband gedaan. De architect heeft hierbij als rol het proces te ondersteunen. Het ontwikkelen van de evaluatiemethode voor de gemeente Delft heeft in korte tijd plaatsgevonden en is gedaan door een individu die in de rol van architect de methode heeft opgesteld. Bij de ontwikkeling van de evaluatiemethode voor het programma KIS is wel gebruik gemaakt van een uitwerking in prestatie-indicatoren op aandachtsgebieden (subdoelen), zoals dit ook bij de Balanced Scorecard en het INK-model gebeurt. Er is echter uitgegaan van andere aandachtsgebieden. Met de ontwikkelde evaluatiemethode en het prototype is het mogelijk een overzicht te krijgen van resultaten van het programma KIS op het gebied van digitale dienstverlening. Het is moeilijk om met deze methode interne oorzaken van slechte prestaties te vinden, maar de methode geeft wel enige richting in de sturing aan. Het is bijvoorbeeld mogelijk om op basis van bepaalde prestaties te bepalen in welke producten meer of minder moet worden geïnvesteerd en of de nadruk op kwaliteit of kwantiteit moet komen te liggen. Ook is het mogelijk met de informatie die de evaluatiemethode biedt goede vragen te stellen aan de verantwoordelijke(n). Dit onderzoek is gestart om de gemeenteraad inzicht te geven in resultaten van het programma KIS. Tijdens de toetsing heeft de gemeente Delft het prototype voor dit doel positief beoordeeld. Bij de toetsing van het prototype is gebleken dat er risico s zijn verbonden aan het gebruik van de evaluatiemethode. De volgende risico s zijn geconstateerd: Scores op prestatie-indicatoren kunnen verkeerd worden geïnterpreteerd als het totaaloverzicht uit het oog wordt verloren en er slechts naar een gedeelte van de informatie wordt gekeken. Afwijkingen van de norm kunnen verkeerd worden geïnterpreteerd als er niet gekeken wordt naar de context. Bij het beantwoorden van vragen die niet met het prototype beantwoord kunnen worden kan te veel waarde worden gehecht aan de informatie die wel in het prototype aanwezig is. Sturingsinformatie ontbreekt in het prototype waardoor aannamen over oorzaken van problemen worden gedaan die niet uit het prototype volgen. Deze risico s moeten niet alleen als negatief worden ervaren. Het feit dat ze bekend zijn is waardevol. Nu kan er immers rekening mee worden gehouden. Het is belangrijk te realiseren dat er grenzen zijn aan meetbaarheid en controleerbaarheid. Zoals uit de toetsing van het prototype is gebleken kunnen getallen verkeerd worden geïnterpreteerd of kunnen, door de hardheid van getallen, omgevingsfactoren uit het oog worden verloren. Om beter beleid te kunnen voeren is een rijker beeld nodig dan de fijnmazige informatie die de evaluatiemethode en het prototype bieden. De evaluatiemethode voor het programma KIS is gericht op het meten van de buitenkant. Het kan worden betwijfeld of dit een goede weergave is van de prestaties die de organisatie heeft geleverd en of de evaluatiemethode valide is. Bovendien is een gevolg van het meten van de buitenkant en het niet ingaan op resultaten per project dat er geen inzicht is in de back-office. Dit is juist de plaats waar problemen zich zullen voordoen en verbetermogelijkheden te vinden zijn. Oorzaken van slechte resultaten zijn niet terug te vinden met deze evaluatiemethode. Als gevolg hiervan is deze methode niet geschikt om er intern mee te sturen. Zou de gemeente Delft de evaluatiemethode ook binnen het ambtelijk deel van de organisatie willen gaan gebruiken, dan is het aan te raden om deze uit te breiden. Hier wordt op teruggekomen bij de aanbevelingen.

12 Naar aanleiding van de bevindingen van dit onderzoek zijn aanbevelingen opgesteld voor de gemeente Delft. Er wordt begonnen met aanbevelingen voor het gebruik van het prototype en de evaluatiemethode. Daarna worden suggesties besproken om het prototype en de evaluatiemethode uit te breiden. Bij de toetsing van het prototype is gebleken dat het werken met het prototype niet als gemakkelijk wordt ervaren. Daarom wordt aangeraden het prototype eerst te demonstreren en de werking ervan uit te leggen voordat nieuwe gebruikers ermee gaan werken. Het prototype is niet bedoeld als vervanging van schriftelijke rapportages. Zoals gezegd kunnen de resultaten van het prototype verkeerd worden geïnterpreteerd. Als rekening wordt gehouden met de beschreven risico s, kan het prototype een hulpmiddel zijn bij het trekken van conclusies. Deze conclusies dienen schriftelijk te worden gepresenteerd. Het prototype kan gebruikt worden als achtergrondinformatie bij de schriftelijke rapportage. Door beperkte tijd en middelen is het prototype oppervlakkig getoetst. Bij de invulling van het prototype is bijvoorbeeld gebruik gemaakt van fictieve waarden die de toekomst weergeven. Als gevolg hiervan is het slecht mogelijk geweest om de validiteit van het prototype te toetsen. Als echte metingen zijn verricht is het interessant nader te onderzoeken of het beeld van deskundigen over digitale dienstverlening in Delft overeenkomt met het beeld dat het prototype geeft. Omdat de informatie die nodig is voor de evaluatiemethode uit veel verschillende informatiebronnen moet komen, lijkt het niet zinvol om informatiesystemen te integreren. Wel is het waardevol om te kijken naar een efficiënte manier om gegevens uit het informatiesysteem van Publiekszaken over te brengen naar het systeem dat de evaluatiemethode weergeeft. Dit zijn namelijk relatief veel gegevens en handmatige invoering kan onnodig veel tijd kosten. Om met het prototype te kunnen werken moeten er in de eerste plaats gegevens beschikbaar zijn. Om dit te garanderen wordt aangeraden één persoon verantwoordelijk te stellen voor het verzamelen van de gegevens. Deze persoon moet erop toezien dat jaarlijks de gegevens over de prestatie-indicatoren op tijd aanwezig zijn. Per prestatie-indicator is ook een verantwoordelijke aangewezen. Jaarlijks vraagt de hoofdverantwoordelijke aan deze persoon de informatie voor de betreffende prestatie-indicator in de juiste vorm aan te leveren. Voor de uitbreiding van het prototype worden de volgende suggesties gedaan: Een mogelijkheid bieden waarmee gegevens op eenvoudige wijze kunnen worden ingevoerd in de database (om het direct in de database invoeren van gegevens te voorkomen). Plaatjes in het prototype (ten minste de staafdiagrammen) automatisch laten genereren op basis van gegevens in de database. De mogelijkheid bieden om ook per product gegevens op te kunnen vragen. De mogelijkheid inbouwen om zelf (per onderwerp) selecties van prestatie-indicatoren te tonen. De mogelijkheid inbouwen om prioriteit te kunnen geven aan prestatie-indicatoren en deze bovenaan te plaatsen. Bij de analyse van het stuurmodel is gebleken dat meer aspecten van belang zijn dan alleen de output en het effect waar de evaluatiemethode op is gefocust. Het is daarom aan te raden de methode uit te breiden op de nu nog ontbrekende gebieden. Hiervoor wordt gesuggereerd vervolgonderzoek uit te voeren naar de mogelijkheid om de interne organisatie te monitoren door projecten in de evaluatiemethode op te nemen. Per project zal de te verwachte opbrengst in prestatie-indicatoren moeten worden uitgedrukt. Op deze wijze kan ook een selectie van projecten plaatsvinden door projecten met een (te) kleine bijdrage (uitgedrukt in een score op prestatie-indicatoren) niet uit te voeren of een lagere prioriteit te geven. Als dit proces continu wordt gemonitord en wordt teruggekoppeld naar de input, ontstaat een systeem waarmee kan worden gestuurd en waarmee wordt bijgedragen aan een oplossing voor de eerder geschetste problemen.

13 Begrippenlijst Woorden die in de begrippenlijst voorkomen zijn aangegeven met een sterretje. Accountmanager: Actor: Actorenanalyse: Advies.overheid: ASP: Back-office: BAVAK: Balance Scorecard: Benchmarking: Buitenkant: Burgerwaarden: Onderhoudt, vanuit het vakteam* ICT*, de contacten met één specifiek cluster* over de lopende en nog uit te voeren projecten. Persoon of organisatie(onderdeel) op één of andere wijze betrokken bij het programma KIS* Methode waarbij (de uitvoering van) het programma KIS* wordt geanalyseerd door het te bestuderen vanuit het perspectief van de verschillende actoren* Programmabureau van de overheid dat overheidssites onderzoekt en beoordeelt op inhoud en kwaliteit van de dienstverlening Active Server Pages, techniek waarmee webapplicaties kunnen worden gemaakt, met behulp van deze techniek is het prototype* ontwikkeld Interne organisatie van de gemeente Delft Klantenvolgsysteem waarmee elke baliebezoeker van het cluster* Publiekszaken gevolgd kan worden Methode waarmee een organisatie of een deel van een organisatie wordt gemonitord op basis van vier perspectieven (Financieel, Afnemers, Interne bedrijfsvoering, Leerresultaten en groei) waarbij het leerproces en de bewustwording van de hele organisatie belangrijke aspecten zijn (BSC, nadere uitleg is te vinden in paragraaf 5.2) Vergelijkend onderzoek binnen en tussen organisaties Hetgeen de burger ervaart van de digitale dienstverlening in de gemeente Delft met inbegrip van de mening van de burger hierover Met de consumentenwaarden* als voorbeeld, heeft de gemeente Delft in de nota KIS 2 vijf burgerwaarden geformuleerd: toegankelijkheid, doeltreffendheid, betrouwbaarheid, controleerbaarheid en doelmatigheid Consumentenwaarden: De consumentenbond gebruikt acht internationaal geaccepteerde consumentenwaarden bij het beoordelen van het functioneren van markten en publieke diensten vanuit consumentenperspectief: toegang, keuzevrijheid, kwaliteit, waar voor je geld, informatie, veiligheid, klacht- en verhaalmogelijkheden en duurzaamheid Cookie: Cluster: DKO: Dummywaarden: DVA: Extranet: Frontline: Front-office Gemeentesite: GMT: Internet: Intranet: IBP: I&A: Een informatieblokje dat op de computer van de bezoeker van een website wordt opgeslagen. Met deze informatie kan de bezoeker geïdentificeerd worden als deze terugkeert op de site. Cookies zijn omstreden omdat ze de privacy van gebruikers kunnen schenden. De gemeente Delft is opgedeeld in vijf verschillende clusters: Publiekszaken, Wijk- en Stadszaken, Bedrijven, Centrale Staf en Facilitaire Dienstverlening De regiegroep Digitale Kennisorganisatie is de opvolger van het project- en adviesbureau KIS*, heeft een adviserende rol richting het GMT* op het gebied van ICT* in het kader van het programma KIS* en bestaat uit vertegenwoordigers van de verschillende clusters* van de gemeente Delft Fictieve waarden die gebruikt zijn als invulling van het prototype* Dienstverleningsafspraken, interne richtlijnen voor te behalen prestaties Uitbreiding van het intranet* waarbij gedeelten van het intranet* onder bepaalde condities opengesteld worden voor gebruik van buiten af Call-centersysteem van de sector* Stadsbeheer dat telefoongesprekken die binnenkomen bij het Infopunt* registreert Gedeelte van de organisatie van de gemeente Delft waarmee de burger en andere externe doelgroepen in aanraking komen Website waarop de gemeente Delft producten* aanbiedt aan de burgers en andere externe doelgroepen ( Gemeentelijk Managementteam, bestaande uit vijf clusterdirecteuren en de gemeente secretaris Een zelfregulerend internationaal netwerk van computernetwerken Computernetwerk binnen een organisatie Informatiebeleidsplan, voorafgaand aan het programma KIS* Informatisering en Automatisering

14 ICT: Infopunt: INK: INK-model: IP-adres: KIS: Logfile: Multicriteria-analyse: Nedstat-tellers: NEON: Nulmeting: PAKIS: PDF-file: PIN: Portal: Producten: Projectenlijst: Projectleider: Prototype: PUZA: Regiegroep: Return on Investment: Ringenmodel: Sector: Stadsportal: Standaarddeviatie: Stoplicht-model: Stuurmodel: Vakteam: Webdam: Informatie en Communicatietechnologie Call-center van de sector* Stadsbeheer waar telefonisch producten* kunnen worden afgenomen (grofvuil kan bijvoorbeeld worden aangemeld) Instituut Nederlandse Kwaliteit Methode waarmee een organisatie of een organisatieonderdeel wordt gemonitord op basis van negen aandachtsgebieden (Leiderschap, Strategie en Beleid, Medewerkers, Middelen, Processen, Waardering door klanten en leveranciers, Waardering door medewerkers, Waardering door de maatschappij, Eindresultaten) waarbij het leerproces en de bewustwording van de hele organisatie belangrijke aspecten zijn (zie ook paragraaf 5.2) Het adres van een computer in een netwerk Programma Kennis Infrastructuur, is gestart in 1997 en beoogt het gebruik van nieuwe technieken op het gebied van ICT* ten dienste van de interne organisatie en externe doelgroepen van de gemeente Delft te bevorderen (nadere uitleg is te vinden in paragraaf 2.2) Computerbestand waarin is opgeslagen welke (onderdelen van) internetpagina s zijn opgevraagd, vanaf welke IP-adressen* en wanneer dat is gebeurd Methode waarmee een beoordeling gegeven kan worden op verschillende criteria in combinatie met bepaalde gewichten Verborgen tellers die geplaatst worden op een webpagina en waarmee informatie kan worden geregistreerd over: het aantal pageviews, de klikpaden, de herkomst en eigenschappen van de browsers en computers van de bezoekers Naar externe oriëntatie 1999, reorganisatie van de gemeente Delft, formeel per 1 maart 2000 Meting die vóór de invoering van een evaluatiemethode wordt uitgevoerd en fungeert als referentie Project- en adviesbureau KIS* Portable Document Format, bestandtype waarin formulieren op de gemeentesite worden aangeboden Project Informatie Navigator, intern systeem waarin informatie over lopende projecten binnen de gemeente Delft kan worden bijgehouden en geraadpleegd Een internetsite die fungeert als wegwijzer naar informatie over een thema Diensten die de gemeente Delft aanbiedt aan burgers en andere externe doelgroepen Excel-file, gemaakt door het vakteam* ICT*, waarin gegevens over de projecten worden bijgehouden Projecten uitgevoerd door het vakteam* ICT* worden begeleid door een projectleider Computerprogramma waarmee het weergeven van de evaluatiemethode voor het programma KIS wordt uitgeprobeerd Publiekszaken Zie DKO* Verhouding tussen opbrengst en investering, geeft het succes van een investering weer Model dat gebruikt wordt als structuur voor het programma KIS* Een cluster* is opgebouwd uit sectoren die weer bestaan uit vakteams* Portal* met als thema de stad Delft Geeft de mate van spreiding in meetresultaten aan Model dat een eenvoudig overzicht geeft van de stand van zaken, waarbij de kleur groen aangeeft dat het goed gaat en de kleur rood dat het niet goed gaat Model dat in paragraaf 3.2 wordt gebruikt om de uitvoering van (projecten van) het programma KIS* in weer te geven Een cluster* is opgebouwd uit meerdere sectoren* die weer bestaan uit vakteams of een cluster* is direct opgebouwd uit vakteams Website ( waarop Nederlandse gemeentesites worden beoordeeld op vormgeving, inhoud, communicatie, dienstverlening en plus- en minpunten

15 Hoofdstuk 1: Inleiding In 1997 is de gemeente Delft met het programma Kennis Infrastructuur (KIS) gestart. Dit programma beoogt het gebruik te bevorderen van nieuwe technieken op het gebied van ICT ten dienste van de interne organisatie en externe doelgroepen van de gemeente Delft. In de eerste jaren van het programma KIS heeft de nadruk gelegen op het aanbieden van ICT-voorzieningen in de eigen organisatie. In de komende jaren moet de nadruk komen te liggen op het aanbieden van digitale dienstverlening aan de burger en andere externe partijen. Over het programma KIS moet verantwoording worden afgelegd aan de gemeenteraad. De raad heeft aangegeven moeite te hebben met het beoordelen van de resultaten van het programma. In 2000 heeft de rekenkamercommissie van Delft een onderzoek uitgevoerd naar de effectiviteit van het Delftse ICT-beleid. Een passage uit de eindconclusie van het rapport, ICT in de gemeente Delft, over dit onderzoek: Uit de beoordeling van het Delftse ICT-beleid blijkt dat een aantal belangrijke doelen zijn bereikt, zoals centralisatie van ICT-beleidsvorming en standaardisatie van de werkplek op beheersniveau. Het is echter niet mogelijk om de effectiviteit van het gevoerde beleid met de daarvoor ingezette middelen te beoordelen. Het strategisch belang van ICT voor het functioneren van de gemeente en de bedragen die jaarlijks in ICT worden geïnvesteerd vereisen dat de raad meer zicht wordt gegeven in de planning, voortgang en resultaten van het totale ICT-beleid. 1 Uit deze passage komt naar voren dat de gemeenteraad onvoldoende inzicht heeft in het effect van de investeringen die gedaan zijn ter bevordering van het programma KIS. Daarom is behoefte aan een manier om de resultaten beter in kaart te brengen en te kunnen beoordelen. Mede naar aanleiding van de conclusies van bovengenoemd onderzoek, is in de vorm van een afstudeeropdracht aandacht geschonken aan dit probleem. Dit afstudeeronderzoek heeft als doel de resultaten van het programma KIS inzichtelijk te maken voor de gemeenteraad. Eerst wordt echter dieper ingegaan op de uitvoering van het programma KIS. In hoofdstuk 2 wordt hierover achtergrondinformatie gegeven. In hoofdstuk 3 wordt naar aanleiding van interviews inzicht gegeven in problemen die spelen rondom het programma KIS. Pas na de uitvoering van deze analyse is het definitieve onderwerp voor het vervolg van dit onderzoek vast komen te staan, het ontwikkelen van een evaluatiemethode voor het programma KIS. In hoofdstuk 4 wordt de onderzoeksopzet besproken en komt ook de afbakening van deze opdracht aan de orde. Hoofdstuk 5 gaat in op het meten van prestaties en het gebruik van bepaalde methoden. De uitwerking van de evaluatiemethode komt in hoofdstuk 6 aan de orde. Om een indruk te krijgen van de manier waarop de evaluatiemethode kan worden gebruikt en de resultaten zichtbaar kunnen worden gemaakt, is een prototype ontwikkeld. Dit wordt besproken in hoofdstuk 7. In hoofdstuk 8 wordt teruggekeken op de evaluatiemethode en het prototype in de vorm van een toetsing. Hierna volgen conclusies en aanbevelingen in hoofdstuk 9. De betekenis van specifieke termen en afkortingen die in dit onderzoek worden gebruikt, is terug te vinden in de begrippenlijst. 1 Rekenkamercommissie Delft, ICT in de gemeente Delft, 2000, p. 7 1

16 2

17 Hoofdstuk 2: Achtergrond In dit hoofdstuk wordt de achtergrond van het programma KIS weergegeven. Allereerst wordt de organisatiestructuur van de gemeente Delft geschetst in paragraaf 2.1. Hierna zal dieper worden ingegaan op het programma KIS in paragraaf 2.2. In paragraaf 2.3 komt het rapport ICT in de gemeente Delft aan de orde, dat in oktober 2000 een oordeel gaf over het programma KIS. 2.1 Organisatiestructuur van de gemeente Delft Tijdens de eerste jaren van het programma KIS verkeerde de gemeente Delft in een onrustige periode. Onder de naam NEON (Naar externe oriëntatie 1999) heeft een reorganisatie plaatsgevonden van de gemeente Delft. Tot en met 1999 was de gemeente Delft opgebouwd uit zes verschillende diensten. Deze diensten waren: de Bestuursdienst (BD), Stadsontwikkeling (SO), Dienst Maatschappelijke Zorg (DMZ), Beheer en Milieu (B&M), Combiwerk (COMB) en Welzijn, Onderwijs en Cultuur (WOC). De verschillende diensten hadden elk een eigen informatiserings- en automatiseringsstafgroep (I&A stafgroep). Deze verschillende I&A stafgroepen functioneerden als onafhankelijke eenheden. Er was geen sprake van een algemeen ICT-beleid. Een gevolg hiervan was dat elke dienst zijn eigen keuze maakte voor de soft- en hardware. Binnen de gemeente werden verschillende pakketten gebruikt. In 1997 is gestart met het vormgeven van de nieuwe organisatie van de gemeente Delft. De visie op de nieuwe organisatie is als volgt geformuleerd: De gemeente Delft is een extern georiënteerde, flexibele organisatie die daardoor erkende kwaliteit aan burgers en bedrijven levert. Zij treedt als één organisatie de samenleving tegemoet en doet dat met medewerkers die taken uitvoeren die overeen komen met hun competenties en in samenwerking met anderen. 2 In 2000 is de organisatiestructuur van de gemeente Delft veranderd. In plaats van in diensten, is de gemeente opgedeeld in vijf verschillende clusters. Deze clusters zijn: Publiekszaken, Wijk- en Stadszaken, Bedrijven, Centrale Staf en Facilitaire Dienstverlening. Een cluster is opgebouwd uit meerdere sectoren die weer bestaan uit vakteams, of een cluster is direct opgebouwd uit vakteams, zoals het cluster Facilitaire Dienstverlening. In bijlage 1 is een overzicht te zien van de verschillende clusters met hun taakomschrijving en onderdelen. Het cluster Facilitaire Dienstverlening werkt ter ondersteuning van de andere clusters. Eén van de vakteams van dit cluster is het vakteam ICT, dat de verantwoordelijkheid voor de ICT-voorzieningen voor de gemeente Delft heeft. Dit geldt zowel voor ICT-voorzieningen binnen de gemeente als voor voorzieningen voor de burger en andere externe partijen. In paragraaf 3.1 wordt een actorenanalyse beschreven. Daar wordt verder ingegaan op de actoren die in het kader van dit onderzoek een rol spelen binnen de gemeente Delft. 2.2 Programma KIS Door de aanwezigheid van vele kennisintensieve ondernemingen, een Technische Universiteit en het hoofdkantoor van TNO, heeft Delft in 1996 besloten zich te profileren als Kennisstad. 3 In 1997 is de projectgroep Kennisinfrastructuur (KIS) (ook wel project- en adviesbureau KIS (PAKIS) genoemd) opgericht. De opdracht aan deze projectgroep was aan te geven hoe de ambities van Delft Kennisstad waargemaakt zouden kunnen worden met Informatie en Communicatie Technologie (ICT). 4 2 Raadsvoorstel NEON 1999, p Bedrijfsplan KIS 1997, p. 2 3

18 Door de projectgroep KIS is een plan opgesteld voor het programma KIS. Dit plan heeft betrekking op een periode van acht jaar. Het programma KIS beoogt de nieuwe technieken op het gebied van Informatie- en Communicatietechnologie te gebruiken ten gunste van de interne organisatie en in de communicatie met externe partijen. De gemeente Delft wenst digitale dienstverlening aan te bieden aan externe doelgroepen (zoals burgers, bedrijven, instituten, verenigingen, e.d.) en de efficiency te vergroten door het gebruik van ICT en hiermee een kostenbesparing te bewerkstelligen. Het programma KIS is opgesplitst in twee perioden van vier jaar. De eerste periode ( ) wordt besteed aan het uitvoeren van ICT-projecten ten behoeve van de interne organisatie. Deze zijn gericht op het verzamelen en standaardiseren van informatie binnen de gemeentelijke organisatie. In 2002 moet een basisvoorziening beschikbaar zijn voor alle balie- en beleidsmedewerkers, besluitvormers, administrateurs en beheerders, waarmee het werken in de kennisorganisatie wordt gefaciliteerd. Na deze vier jaar is de organisatie in staat om projecten met een externe uitwerking uit te voeren. In de tweede periode ( ) wordt gewerkt aan ondersteuning van externe doelgroepen in Delft. 5 De projectgroep KIS heeft een ringenmodel 6 geïntroduceerd. Een weergave hiervan is te zien in figuur 2.1. Met behulp van het ringenmodel wordt structuur aangebracht in het programma KIS. De verschillende ringen staan voor een bepaald informatiesoort en een bepaalde technologie, of informatiedrager. Voorbeelden van een informatiesoort zijn balie-informatie en beleidsinformatie. Het Internet en het intranet zijn voorbeelden van een informatiedrager. In figuur 2.1 zijn de informatiesoorten en informatiedragers aangegeven bij de betreffende ringen. De projectgroep KIS heeft voorgesteld deze ringen van binnen naar buiten door te werken. 7 Balie-informatie Internet (kennis) Beleidsinformatie Extranet (kennis) Besluitvormingsinformatie Intranet (informatie) Basisinformatie Basiswerksystemen (gegevens) Beheersinformatie Werkplek (applicaties) T = Tijd = Eerste vier jaar KIS = Tweede vier jaar KIS figuur 2.1: Ringenmodel T In de eerste vier jaar van KIS worden de projecten uit de eerste twee ringen uitgevoerd. Na uitvoering van deze projecten, zou elke medewerker van de gemeente een eigen gestandaardiseerde werkplek (configuratie van hardware, software, randapparatuur en communicatiemogelijkheden) moeten hebben (ring 1) en zouden de basisinformatie-systemen (Personen, Vastgoed, Maatschappelijke activiteiten, Financiën, Personeel en Documentaire Informatie) voor alle medewerkers toegankelijk moeten zijn (ring 2). Als met de eerste twee ringen de basis is gelegd, komen in de tweede vier jaar van het programma KIS de laatste drie ringen aan de orde. In die periode kan gewerkt gaan worden aan digitale dienstverlening naar de externe doelgroepen toe. Het zou mogelijk moeten worden voor geautoriseerde ambtenaren om besluitvormingsinformatie via het intranet te raadplegen (ring 3). Door middel van het extranet moeten burgers, bedrijven, instellingen en andere externe partijen in staat worden gesteld om interactief te communiceren met het gemeentebestuur en ambtelijke 5 Programma KIS 1999, p. 5 6 Bedrijfsplan KIS 1997, p. 4 7 Bedrijfsplan KIS 1997, p. 4 4

19 beleidsvoorbereiders (ring 4). Tot slot moeten de producten en diensten van de gemeente digitaal aan de externe doelgroepen worden aangeboden (ring 5). 8 Bij de invoering van het programma KIS zijn 17 projecten 9 gedefinieerd die direct of in een latere fase, afhankelijk van de ring waaraan ze zijn toegekend, worden gestart. In de loop van de tijd zijn hier nog projecten bijgekomen. Anderhalf jaar na de start van het programma KIS worden 33 projecten met in totaal 25 deelprojecten omschreven. 10 In bijlage 2 is een overzicht te zien van deze projecten. In het overzicht status projecten per 1 maart 2002 worden 131 projecten genoemd. 11 Het programma KIS is door het project- en adviesbureau KIS (PAKIS) gestart vóór de NEONreorganisatie in Vooruitlopend op de reorganisatie zijn in 1999 de medewerkers van de I&A stafgroepen van de verschillende diensten zoveel mogelijk bij elkaar op dezelfde locatie geplaatst. Per 1 maart 2000 zijn de I&A stafgroepen samen met PAKIS samengevoegd tot het vakteam ICT van het cluster Facilitaire Dienstverlening. 12 De KIS-stuurgroep is vervolgens opgericht en krijgt als taak technische standaards en informatiestandaards te ontwikkelen. Tevens heeft de KIS-stuurgroep een ontwikkel- en bewakingsfunctie ten behoeve van het gemeentebestuur. 13 De stuurgroep is in november 2001 uiteindelijk overgegaan in de regiegroep Digitale Kennisorganisatie. 2.3 ICT in de gemeente Delft In 2000 heeft de rekenkamercommissie van de gemeente Delft een onderzoek uitgevoerd naar de effectiviteit van het Delftse ICT-beleid. Aanleiding hiervoor was onder andere de door de gemeenteraad ervaren ongrijpbaarheid van ICT-ontwikkelingen en de stijging van automatiseringskosten 14. In het rapport over dit onderzoek, ICT in de gemeente Delft, wordt gemeld: Er is regelmatig gerapporteerd, echter de rapportages ten behoeve van het bestuur geven geen goed zicht op de samenhang van ICT-activiteiten, het doelbereik en de ICT-uitgaven (p.6) Een gedeelte van dit onderzoek, waarbij dieper wordt ingegaan op de ontwikkelingen en prestaties van het programma KIS, is door het bureau Ernst & Young uitgevoerd. In een ICT-beleidsevaluatie is het totale gemeentelijke ICT-beleid in de periode van 1994 tot 2000 geanalyseerd. Aangezien het programma KIS pas startte in 1997/1998 heeft de evaluatie betrekking op een periode van vier jaar zonder het programma KIS en de eerste twee jaar van het programma KIS. In de beleidsevaluatie wordt echter goed onderscheid gemaakt tussen deze twee perioden. In dit afstudeeronderzoek wordt alleen de periode van het programma KIS beschouwd. In de beleidsevaluatie van Ernst & Young komt naar voren dat het niet goed mogelijk is om het programma KIS te evalueren, mede omdat van te voren geen meetbare verwachte resultaten zijn gedefinieerd waarop achteraf kan worden getoetst. Over het evalueren van het programma KIS als geheel wordt opgemerkt: Op programmaniveau zijn geen prestatie-indicatoren terug te vinden. binnen KIS is het behalen van het beoogde resultaat van de ingezette middelen achteraf moeilijk te beoordelen. 15 Het geactualiseerde KIS- plan vertelt over de voortgang van projecten, het geeft echter niet aan hoe het plan er als geheel (c.p. de vijf ringen daarbinnen) er nu voorstaat in termen van doelbereik en ingezette middelen daarvoor. (p.5) Een totaaloverzicht met betrekking tot de ingezette middelen ontbreekt. Specifieke kwaliteitscriteria zijn niet geformuleerd. (p.16) Ook wordt ingegaan op de evaluatie van projecten. Hierover wordt het volgende gezegd: Zowel het IBP (Informatiebeleidsplan 1994, situatie vóór KIS) als de KIS- plannen geven een globale planning van de projecten weer. Hoewel de KIS- plannen concreter zijn dan de IBP- plannen, kan 8 Bedrijfsplan KIS Rekenkamercommissie Delft, ICT in de gemeente Delft, 2000, p Programma KIS 1999, p Status projecten per 1 maart Feber 2000, p Bedrijfsplan KIS 1997, p Rekenkamercommissie Delft, ICT in de gemeente Delft, 2000, p Meerman 2000, p. 5 5

20 gesteld worden dat voor beide geldt dat zij te globaal zijn om op basis van die gegevens concrete evaluaties op prestaties/effecten en ingezette middelen uit te kunnen voeren. (p.4) De KIS projecten bevatten slechts zeer globale prestatie-indicatoren. (p.5) Te bereiken resultaten van ICT-inspanningen worden niet meetbaar weergegeven in projectplannen en worden achteraf niet getoetst. (p.13) Indien een project vooraf passend binnen het KIS-concept wordt bevonden, vindt achteraf geen evaluatie meer plaats op gevoerde beleid en strategie. (p.16) De doelmatigheid van de uitvoering van I&A-projecten en de reguliere ICT-activiteiten (beheer en exploitatie van alle ICT-voorzieningen) kan nauwelijks beoordeeld worden, omdat heldere toetsingscriteria ontbreken. Ook het financiële overzicht en inzicht over periodes ontbreken. Benchmarking met andere organisaties vindt niet plaats. (p.22) Ook komt in de beleidsevaluatie naar voren dat de planning, de keuze van projecten en de prioritering van projecten te wensen over laat. Binnen KIS bestaat alleen prioritering tussen de ringen, niet tussen projecten. De binnenste ringen zijn nog niet geheel voltooid, met name de ring m.b.t. basisinformatie zal nog verder ingevuld moeten worden, desondanks lijkt de uitvoering van de buitenste ringen geïntensiveerd te gaan worden. (p.7) KIS heeft geen kritiek pad en dus ook geen management daarvan: de volgorde van projecten lijkt adhoc bepaald. (p.15) De gemeenteraad krijgt geen alternatieven of risico-analyses aangereikt. (p.10) Over de financiële kant van het programma KIS wordt het volgende opgemerkt: Ten tijde van het IBP en KIS wordt op projectniveau de uitputting van de reserves bijgehouden. De financiële informatievoorziening via de beleidscyclus (en eventueel aanvullende rapportages) is inconsistent van structuur. Dit maakt de totale omvang van de automatiseringskosten alsook de omvang van de automatiseringskosten voor de te onderscheiden ICT-activiteiten ondoorzichtig. (p.9) Deze tekortkomingen hebben gevolgen voor het inzicht van de gemeenteraad in de effectiviteit van ICT-investeringen. Dit wordt als volgt toegelicht: Taken, verantwoordelijkheden en bevoegdheden zijn in beginsel duidelijk. De bestuurlijke informatievoorziening, op basis waarvan de besluitvorming en besturing van de gemeenteraad plaatsvindt, aan de gemeenteraad is ontoereikend. (p.7) Belangrijkste manco dat door de gemeenteraadsleden wordt gesignaleerd is het gebrek aan totaaloverzicht op gebied van I&A. In termen van: waar zijn we als Delft mee bezig? Wat is de samenhang? Wat kost het? En wat levert het op voor de organisatie en de burgers? De gemeenteraad mist het tactisch niveau van informatievoorziening: samenhang tussen projecten en resultaten in vergelijking tot ingezette middelen. (p.8,9) De informatie waarover de gemeenteraad beschikt is niet geschikt om een oordeel te kunnen vormen over het doelmatig functioneren van de ICT-organisatie. (p.23) Uit de beleidsevaluatie komt naar voren dat zowel een totaaloverzicht van het programma KIS wordt gemist, als de mogelijkheid om de projecten te monitoren. In het rapport ICT in de gemeente Delft worden onder andere de volgende aanbevelingen gedaan om de situatie te verbeteren: Maak gebruik van een meet- en verbetersysteem, bijvoorbeeld volgens de opzet van een Balanced Scorecard. 16 Zorg per project voor een helder projectvoorstel met dito bewakingsmogelijkheden en een daarop te baseren management informatievoorziening: een informatiecyclus per project. (p.33) Zorg bij elk ICT-project voor een concrete vertaling in prestatie-indicatoren in termen van resultaat, financiële, personele capaciteit, doorlooptijd, plaats in het ICT-programma en afhankelijkheid van andere projecten. Dit geldt ook zowel voor de KIS-projecten als de projecten/investeringen ten behoeve van clusterapplicaties. Deze moeten KIS-compatibel zijn. (p.33) Besteed systematisch aandacht aan de evaluatie van grote ICT-projecten, zeker bij projecten waar zich knelpunten bij de implementatie danwel het daaropvolgend gebruik hebben voorgedaan. (p.33) 16 Rekenkamercommissie Delft, ICT in de gemeente Delft, 2000, p. 30 6