Evaluatierapport Pilot. Evaluatie-instrument GBA en Reisdocumenten

Transcriptie

1 Evaluatierapport Pilot Evaluatie-instrument GBA en Reisdocumenten

2 Evaluatierapport Pilot Evaluatie-instrument GBA en Reisdocumenten Versie BPR2012/N51752 Datum 2 mei 2012 Status Definitief

3

4 Definitief Evaluatierapport Pilot evaluatie-instrument GBA en Reisdocumenten 2 mei 2012 Managementsamenvatting Aanleiding voor de pilot De minister van Binnenlandse Zaken en Koninkrijksrelaties is verantwoordelijk voor het functioneren van het GBA-stelsel en het reisdocumentenstelsel. Het beheer van deze stelsels is belegd bij het Agentschap BPR. Het College Bescherming Persoonsgegevens (CBP) treedt op als toezichthouder, met name voor wat betreft het privacy-aspect. De minister heeft besloten om de wijze waarop de audits van het GBA-stelsel en van het reisdocumentenstelsel plaats vinden, te veranderen en het agentschap BPR opdracht gegeven hiervoor zorg te dragen. De directeur van het Agentschap BPR en de stuurgroep Kwaliteit GBA zijn in 2009 akkoord gegaan met het project Ontwikkeling Evaluatie-instrument GBA en Reisdocumenten. Het project is op 1 januari 2010 gestart en wordt in de volgende drie fasen uitgevoerd: 1. Ontwikkelingsfase (1 januari 2010 tot 1 november 2011) 2. Pilotfase (7 november 2011 tot 1 april 2012) 3. Doorontwikkeling en invoering (1 mei 2012 tot 1 januari 2013) In de periode van 2010 t/m oktober 2011 is een groot deel van het beoogde evaluatieinstrument gerealiseerd. De opzet van het evaluatie-instrument Het evaluatie-instrument omvat een geautomatiseerd informatie-systeem dat uit de volgende componenten bestaat: 1. Een geautomatiseerde vragenlijst over het GBA-proces per gemeente. 2. Een geautomatiseerde vragenlijst over het reisdocumentenproces per gemeente. 3. Een systeem voor het verwerken van antwoorden op de vragenlijsten in cijfermatige kwaliteitsresultaten per gemeente en het presenteren van die resultaten in vergelijking met normcijfers en de resultaten van andere gemeenten. 4. De bestandscontrolemodule (BCM), een systeem dat geautomatiseerde controles uitvoert op de persoonslijsten die deel uitmaken van het GBA-V bestand. 5. Een systeem voor het vertalen van GBA-V bestandscontrole resultaten in cijfermatige kwaliteitsgegevens per gemeente en de presentatie van die gegevens in vergelijking met normcijfers en in vergelijking met de resultaten van andere gemeenten. De vragenlijsten en de bestandscontroles zijn bedoeld om de gemeenten te stimuleren meer continu aandacht te besteden aan de kwaliteit van gegevens en processen van de GBA en de reisdocumentenadministratie. Daarnaast zijn de antwoorden op de gestelde vragen en de resultaten van de bestandcontroles bedoeld om de minister van BZK informatie te verschaffen om zijn verantwoordelijkheid voor het GBA-stelsel en het reisdocumentenstelsel te kunnen dragen. Het instrument is gericht op de administratieve werkelijkheid. De feitelijk werkelijkheid wordt met dit instrument niet getoetst. Daarvoor zijn aanvullende maatregelen nodig, zoals bijvoorbeeld jaarlijks huisonderzoeken. Doel van de pilot De pilot is in de periode van 7 november 2011 t/m 26 januari 2012 uitgevoerd met een beperkte versie van het geautomatiseerde systeem, dat aan een groot deel van de gestelde functionele eisen voldeed en waarmee al in hoge mate in de gestelde behoeften kan worden voorzien. Het doel was om te toetsen in hoeverre het instrument er in de praktijk toe leidt dat gemeenten beter in staat zijn om de kwaliteit van GBA en reisdocumenten te kunnen Pagina 3 van 43

5 Definitief Evaluatierapport Pilot evaluatie-instrument GBA en Reisdocumenten 8 mei 2012 bewaken en zo nodig verbeteren en in hoeverre het voorziet in voldoende informatie voor de minister. De pilot was tevens bedoeld om ervoor te zorgen dat de pilotgemeenten en BZK/BPR meer kennis en inzicht kregen in het gebruik van alle onderdelen van het evaluatie-instrument. Bovendien is getoetst of de ontwikkelde procedure voor monitoring en nazorg in de praktijk goed toepasbaar is en of het beheer van dit evaluatie-instrument bij BPR goed uitvoerbaar is. De tijdens de pilot met het evaluatie-instrument opgedane ervaringen zijn mede bepalend voor de verdere ontwikkeling van het instrument en de inrichting van het beheer. Scope van de pilot Aan de pilot hebben 17 gemeenten deelgenomen. Het was een gevarieerde groep van kleine, middelgrote en grote gemeenten, te weten: Aalsmeer, Alkmaar, Amsterdam, Den Haag, Doetinchem, Amstelveen, s Hertogenbosch, Tilburg, Wageningen, Almelo, Duiven, Harderwijk, Emmen, Noordenveld, Vlaardingen, Heiloo en Wijdemeren. De gemeenten konden aan één of meer van de volgende onderdelen deelnemen: A. Bestandscontrolemodule, Monitor gegevens en Benchmark gegevens; B. Vragenlijst GBA en reisdocumenten, Monitor processen, Benchmark Processen en de managementrapportage; C. Platform voor Praktijkvoorbeelden. De gemeenten konden zelf kiezen of zij aan één, twee of alle drie van de onderdelen wilden deelnemen. Met uitzondering van de gemeenten Tilburg en Wageningen hebben de gemeenten aan alle onderdelen van de pilot meegedaan. Conclusies Op basis van de pilot zijn de volgende conclusies getrokken: 1. De bruikbaarheid van de Kwaliteitsmonitor kan worden verhoogd. 2. De vragenlijsten moeten worden geoptimaliseerd. 3. De bestandscontroles moeten worden geoptimaliseerd en uitgebreid. 4. De Managementrapportage is bruikbaar, maar moet nog aangepast worden. 5. Bruikbaarheid van Platform Praktijkvoorbeelden kon niet worden getoetst. 6. Het technisch beheer van het Evaluatie-instrument is goed uitvoerbaar. 7. Afhandeling van meldingen en uitgifte van autorisaties gaf weinig problemen. 8. Invoeren en beheren van Kwaliteitsmonitor content. 9. Veel verbetersuggesties waren het resultaat van monitoring en nazorg. Aanbevelingen De pilot had betrekking op slechts een deel van het beoogde evaluatie-instrument, een deel waarmee al in hoge mate in de gestelde behoeften kan worden voorzien. De volgende aanbevelingen hebben betrekking op deze onderdelen en zijn gebaseerd op de in hiervoor vermelde conclusies: 1. Verbeter het instrument op basis van de bevindingen 2. Maak het instrument ook geschikt voor de BRP 3. Gebruik de met het beheer van het instrument opgedane ervaring 4. Maak gebruik van de met monitoring en nazorg opgedane ervaringen 5. Zie vooralsnog af van een Platform voor Praktijkvoorbeelden 6. Maak het instrument geschikt voor meer toepassingen 7. Controleer de werking van het instrument enkele jaren via steekproeven 8. Bepaal normering en weging van vragenlijsten en bestandscontroles Pagina 4 van 43

6 Definitief Evaluatierapport Pilot evaluatie-instrument GBA en Reisdocumenten 2 mei 2012 Inhoud 1 Inleiding Context Nieuwe opzet van het kwaliteitsproces De pilot Leeswijzer Ontwikkeling en structuur van het evaluatie-instrument Opzet van het evaluatie-instrument De bestandscontrolemodule De webapplicatie Kwaliteitsmonitor De vragenlijsten GBA/BRP en reisdocumenten De geautomatiseerde Managementrapportage Een Platform voor Praktijkvoorbeelden Nog niet ontwikkelde onderdelen van het evaluatie-instrument Controle op terugmeldingen in het evaluatie-instrument Controle op brondocumenten Aanpassen evaluatie-instrument op invoering BRP en wijzigingen in PUN Gebruik van het evaluatie-instrument voor andere doeleinden Toepassing voor de initiële vulling van de RNI Toepassing in het migratietraject naar de BRP Toepassing om sneller inzicht te verkrijgen in verschillende kwaliteitvraagstukken De pilot Doelstelling pilot Gewenste resultaten pilot Opzet van de pilot Aan de pilot deelnemende gemeenten Verloop van de pilot op hoofdlijnen Algemeen Proces van BCM tot analyse Bevindingen Proces van Vragenlijsten invullen tot Monitor Processen/Mgt-rapportage Platform Praktijkvoorbeelden Aantal bij de pilot betrokken medewerkers en totaal aantal bestede uren Inrichting beheer en monitoring tijdens de pilot Verwerking bevindingen van de pilot Bevindingen van de pilot met betrekking tot het gebruik Kwaliteitsmonitor algemeen Oordeel deelnemers over de bruikbaarheid Concrete bevindingen en verbeterpunten Kwaliteitsmonitor vragenlijstprogrammatuur Oordeel deelnemers over het invullen van de vragenlijsten Concrete bevindingen en verbeterpunten...23 Pagina 5 van 43

7 Definitief Evaluatierapport Pilot evaluatie-instrument GBA en Reisdocumenten 8 mei Kwaliteitsmonitor Monitor processen Oordeel deelnemers over de monitor Processen Concrete bevindingen en verbeterpunten Kwaliteitsmonitor Monitor gegevens Oordeel deelnemers over de monitor Gegevens Concrete bevindingen en verbeterpunten Kwaliteitsmonitor Benchmark Oordeel deelnemers over de benchmark Concrete bevindingen en verbeterpunten Vragenlijst reisdocumenten Oordeel deelnemers over de reisdocumentenvragenlijst in het algemeen Concrete bevindingen en verbeterpunten Vragenlijst GBA/BRP Oordeel deelnemers over de GBA-vragenlijst in het algemeen Concrete bevindingen en verbeteringen over de GBA-vragenlijst Bestandscontroles Oordeel deelnemers over de bestandscontroles inhoud Managementrapportage Oordeel deelnemers over de managementrapportage Concrete bevindingen en suggesties voor verbetering bruikbaarheid Platform voor Praktijkvoorbeelden Oordeel deelnemers over bruikbaarheid Platform voor Praktijkvoorbeelden Concrete bevindingen en suggesties voor verbetering bruikbaarheid Plan van aanpak Nadere analyse bevindingen gebruik Bevindingen over beheer en monitoring Bevindingen over het beheer Bevindingen over de monitoring Conclusies De bruikbaarheid van de Kwaliteitsmonitor kan worden verhoogd De vragenlijsten moeten worden geoptimaliseerd De bestandscontroles moeten worden geoptimaliseerd en uitgebreid Managementrapportage is bruikbaar, maar moet nog aangepast worden Bruikbaarheid van Platform Praktijkvoorbeelden kon niet worden getoetst Het technisch beheer van het Evaluatie-instrument is goed uitvoerbaar Afhandeling van meldingen en autorisaties gaven weinig problemen Invoeren en beheren van Kwaliteitsmonitor content Veel verbetersuggesties waren het resultaat van monitoring en nazorg Aanbevelingen Verbeter het instrument op basis van de bevindingen Maak het instrument geschikt voor de BRP Gebruik de met het beheer van het instrument opgedane ervaring...41 Pagina 6 van 43

8 Definitief Evaluatierapport Pilot evaluatie-instrument GBA en Reisdocumenten 2 mei Maak gebruik van de met monitoring en nazorg opgedane ervaringen Zie vooralsnog af van een Platform voor Praktijkvoorbeelden Maak het instrument geschikt voor meer toepassingen Controleer de werking van het instrument enkele jaren via steekproeven Bepaal normering en weging van vragenlijsten en bestandscontroles...42 Bijlagen Pagina 7 van 43

9

10 Definitief Evaluatierapport Pilot evaluatie-instrument GBA en Reisdocumenten 2 mei Inleiding 1.1 Context Het GBA-stelsel omvat systemen waarin persoonsgegevens van ingezetenen van Nederland worden bijgehouden. Tot dit stelsel worden onder andere gemeentelijke systemen voor het administreren van persoonsgegevens gerekend en de GBA-V, een centraal systeem waarin kopieën worden opgeslagen van alle persoonslijsten die de gemeenten bijhouden. De minister van BZK is verantwoordelijk voor het functioneren van dit stelsel. Het beheer van het stelsel is belegd bij het Agentschap BPR. De minister monitort de kwaliteit van het stelsel onder andere via een verplichte periodieke audit op de gemeentelijke GBA. De resultaten daarvan en (de status van) verbetervoorstellen worden aan BZK gerapporteerd. Aspecten waarop wordt getoetst, zijn: de kwaliteit van het administratieve proces; de kwaliteit van de GBA gegevens; de beveiliging van de gegevens; de wijze waarop de privacy is geborgd. Het reisdocumentenstelsel omvat systemen waarin gegevens over reisdocumenten en over de gebruikers van reisdocumenten worden bijgehouden. Tot het stelsel worden Reisdocumentenaanvraag- en archiefstation (RAAS) systemen gerekend voor het administreren en archiveren van aanvraag en uitgifte van reisdocumenten, maar ook een systeem waarin reisdocumenten worden geregistreerd die niet meer geldig zijn en een systeem waarin personen staan geregistreerd waaraan een reisdocument kan worden onthouden. De minister van BZK houdt toezicht op dit stelsel en op de uitvoering van de Paspoortwet. Via een verplicht periodiek onderzoek op de gemeentelijke administratie van reisdocumenten wordt hij op de hoogte gesteld van de kwaliteit van het administratieve proces en de beveiliging van de gegevens. De minister van BZK is verantwoordelijk voor het functioneren van het reisdocumentenstelsel. Ook het beheer van dit stelsel is belegd bij het Agentschap BPR. Sinds 1999 wordt de kwaliteit van de gegevens en processen van de GBA bij gemeenten getoetst door middel van een audit. Sindsdien is een aantal wijzigingen aangebracht in het uitvoeren van de GBA-audit. Zo zijn de beoordeling van privacy-aspecten en de kwaliteit van de Terugmeldvoorziening als onderdeel aan de audit toegevoegd. Met het nieuwe instrument worden gemeenten gestimuleerd om meer continu aandacht te besteden aan de kwaliteit van gegevens en processen van de GBA en de reisdocumentenadministratie. 1.2 Nieuwe opzet van het kwaliteitsproces De minister heeft besloten om de huidige opzet van de audits van het GBA-stelsel en van het reisdocumentenstelsel te veranderen. Aanleidingen voor deze veranderingen zijn: De maatschappelijke behoefte om de kwaliteit van de GBA in zijn geheel op een hoger niveau te brengen. Het Evaluatie-instrument GBA en Reisdocumenten is een onderdeel van het actieplan Kwaliteit waarin de staatssecretaris heeft toegezegd daar voor zorg te dragen 1. Gemeenten zijn steeds beter in staat om de eigen verantwoordelijkheid te dragen en er is minder behoefte aan een controle-instrument waarbij het Rijk een intensieve rol vervult. Partijen zien meer in continue aandacht voor de kwaliteit van de GBA onder verantwoordelijkheid van de gemeenten zelf dan in een controle slechts eenmaal in de drie jaar achteraf, zoals in de huidige opzet het geval is. 1 Zie de brief van de staatssecretaris aan de Tweede Kamer van 11 juni 2008 Pagina 9 van 43

11 Definitief Evaluatierapport Pilot evaluatie-instrument GBA en Reisdocumenten 8 mei 2012 De kaders voor de inrichting van een vorm van controle en toezicht door het Rijk zijn de afgelopen jaren flink veranderd. De veranderingen op het gebied van ICT en dienstverlening bieden mogelijkheden tot verbetering van effectiviteit en efficiëntie. De invoering van de Basisregistratie Personen en de doorstart van de Modernisering GBA bieden een goede gelegenheid om controle en toezicht op de kwaliteit van de GBA ingrijpend te wijzigen. De directeur van het agentschap BPR en de stuurgroep kwaliteit GBA (waaraan de NVVB en VNG ook deelnemen) zijn op respectievelijk 2 en 10 februari 2009 akkoord gegaan met het ontwerp van het beoogde Evaluatie-instrument GBA en Reisdocumenten. Dit ontwerp is vooral gebaseerd op de ervaringen met de afgelopen drie cycli van de GBA-audit en de veranderingen op het gebied van Burgerzaken en dienstverlening. In het nieuwe instrument wordt ook rekening gehouden met de toets op het reisdocumentenproces (Onderzoek Reisdocumenten). Onder verantwoordelijkheid van BPR is het evaluatie-instrument vervolgens in nauwe samenwerking met de beleidsdirectie B&I (voorheen OBD), een afvaardiging van gemeenten, de NVVB en de VNG gerealiseerd. Bij de ontwikkeling is in eerste instantie uitgegaan van het Logisch Ontwerp GBA. Bij de overgang van het GBA-stelsel naar het BRPstelsel zal het evaluatie-instrument worden aangepast zodat het ook aansluit bij het Logisch Ontwerp van de Basisregistratie Personen (BRP). 1.3 De pilot Ter voorbereiding van de invoering van het evaluatie-instrument heeft BPR een pilot georganiseerd. De pilot had betrekking op slechts een deel van het beoogde evaluatieinstrument, een deel waarmee al in hoge mate in de gestelde behoeften kan worden voorzien. Uitgangspunt is dat sommige onderdelen die nog niet voor de pilot beschikbaar waren, zoals de controle op de brondocumenten en de controle op terugmeldingen, de komende tijd ontwikkeld zullen worden. De belangrijkste doelstelling van de pilot was na te gaan of het ontwikkelde evaluatieinstrument bruikbaar is. Met bruikbaar wordt bedoeld of met de huidige opzet van het evaluatie-instrument de beoogde doelstellingen worden bereikt. Vormt het instrument een prikkel voor gemeenten om meer continu aandacht te besteden aan de kwaliteit van de GBA en reisdocumenten en verschaft het nieuwe instrument de minister van BZK voldoende informatie om zijn verantwoordelijkheid voor het gehele stelsel te kunnen dragen? De tijdens de pilot met het evaluatie-instrument opgedane ervaringen, zijn bepalend voor de verdere ontwikkeling van het instrument. 1.4 Leeswijzer In de volgende hoofdstukken komen achtereenvolgens aan de orde: de ontwikkeling en structuur van het evaluatie-instrument; de aanpak van de pilot; de uitkomsten van de pilot ten aanzien van het gebruik; de uitkomsten van de pilot ten aanzien van het beheer en monitoring; nadere analyse van de bevindingen uit de pilot; conclusies ten aanzien van de uitkomsten van de pilot; aanbevelingen voor doorontwikkeling van het evaluatie-instrument. In de bijlagen zijn opgenomen: het evaluatie-formulier; de resultaten van de ingevulde evaluatie-formulieren; een bevindingenoverzicht; een samenvatting van de opmerkingen op de vragenlijsten; een verslag van de stellingendiscussie op de slotbijeenkomst van de pilot. Pagina 10 van 43

12 Definitief Evaluatierapport Pilot evaluatie-instrument GBA en Reisdocumenten 2 mei Ontwikkeling en structuur van het evaluatie-instrument 2.1 Opzet van het evaluatie-instrument De ontwikkeling van het evaluatie-instrument verliep in de periode van 2010 tot oktober 2011 als volgt: De bestandscontrolemodule BPR ontwikkelt een zelfstandige Bestandscontrolemodule (BCM) die geautomatiseerde controles uitvoert op de persoonslijsten in het GBA-V bestand. De controleregels van de BCM zijn gebaseerd op de voorschriften in het Logisch Ontwerp GBA. Op dit moment zijn zo n 3000 controleregels gedefinieerd, verdeeld over een aantal niveau s (structuur, domeinwaarden, logisch, inhoudelijk,...). Omdat de gedefinieerde 3000 bestandscontroles veel programmeercapaciteit vereist, zullen deze gefaseerd worden ontwikkeld en in de BCM worden opgenomen. Architectuur van de BCM BPR heeft de BCM in eigen beheer ontwikkeld als module van GBA-V. De opzet van de module is eenvoudig: de controleregels worden.vastgelegd in een Excel-spreadsheet. De BCM leest deze spreadsheet in en voert alle controles uit waarvan de syntax herkend wordt. Als er controleregels met een afwijkende syntax worden toegevoegd, moet de BCM aangepast worden zodat ook de syntax van deze controleregels herkend wordt. Normering en weging Voor het evaluatieinstrument zijn in samenwerking met het Centraal Bureau voor Statistiek kwaliteitsindicatoren opgesteld voor de gegevens die in de GBA zijn opgenomen. Deze indicatoren zijn gebaseerd op het Logisch Ontwerp en op regelgeving. Met de kwaliteitsindicatoren wordt gemeten in hoeverre de vastgelegde gegevens voldoen aan de genoemde regelgeving. De kwaliteitsindicatoren meten niet de overeenstemming van de GBA-gegevens met de 'feitelijke werkelijkheid'. Bij de uitgangspunten voor de beoordeling van de kwaliteitsindicatoren is het onderscheid in zes klassen van belang: Klasse 1. persoonsidentificerende gegevens ('sleutelgegevens') Klasse 2. adresidentificerende gegevens Klasse 3. authentieke gegevens die niet in klasse 1 of 2 zitten Klasse 4. overige algemene gegevens (die niet in klasse 1-3 zitten) Klasse 5. bijzondere gegevens (Reisdocumenten en Kiesrecht); Klasse 6. administratieve en technische gegevens (die niet in klasse 1-3 zitten) Per klasse wordt de volgende normering aangehouden: Klasse 1. 99% (huidige auditklasse A), Klasse 2. 95% (huidige auditklasse B), Klasse 3. 90% (huidige auditklasse C), Klasse 4. 85% (nieuw), Klasse 5. 85%, Klasse 6. 85% Tijdens de pilot telden meerdere fouten op een PL per klasse slechts voor één fout. Als een controle betrekking had op meerdere klassen, telde de fout mee in de klasse met het laagste rangnummer (1 gaat vóór 2, 2 gaat vóór 3, etc.). Op basis van de uitkomsten van de pilot zal de normering voor invoering van het instrument worden bepaald. De normering blijft een dynamisch onderdeel, dat als instrument in het kwaliteitsbeleid kan worden gebruikt De webapplicatie Kwaliteitsmonitor De gemeente krijgt toegang tot het evaluatie-instrument via een beveiligde webapplicatie met de naam Kwaliteitsmonitor. Pagina 11 van 43

13 Definitief Evaluatierapport Pilot evaluatie-instrument GBA en Reisdocumenten 8 mei 2012 De Kwaliteitsmonitor omvat de volgende onderdelen: 1. De GBA-vragenlijst: een geautomatiseerde vragenlijst over het GBA-proces per gemeente; 2. De reisdocumentenvragenlijst: een geautomatiseerde vragenlijst over het reisdocumentenproces per gemeente 2 ; 3. De monitor Processen/benchmark: een systeem voor het verwerken van antwoorden op de vragenlijsten in cijfermatige kwaliteitsresultaten en het presenteren van die resultaten in vergelijking met normcijfers en in vergelijking met de resultaten van andere gemeenten; 4. De monitor Gegevens/benchmark: een systeem voor het vertalen van de resultaten van bestandscontroles in cijfermatige kwaliteitsresultaten en de presentatie van die resultaten in vergelijking met normcijfers en met de resultaten van andere gemeenten. Architectuur van de Kwaliteitsmonitor De Kwaliteitsmonitor is eenvoudig en modulair opgezet, zodat deze de komende jaren gemakkelijk naar behoefte aangepast kan worden. Daarnaast is in de Kwaliteitsmonitor zoveel mogelijk gebruik gemaakt van standaardcomponenten (vragenlijsttool, benchmarktool), zodat BPR na oplevering van de Kwaliteitsmonitor maximale vrijheid heeft in het beheer, onderhoud en doorontwikkeling van de applicatie. Voor de vragenlijsten is gekozen voor de open source-tool Limesurvey en voor de benchmarking voor JasperReports De vragenlijsten GBA/BRP en reisdocumenten De uitvoering van de GBA/BRP- en reisdocumentenprocessen wordt getoetst met behulp van vragenlijsten. Met deze vragenlijsten wordt getoetst of deze processen voldoen aan de weten regelgeving. Daarnaast zijn op advies van gemeenten enkele aanbevelende vragen toegevoegd die niet door de huidige wet- en regelgeving worden voorgeschreven. De vragenlijst GBA/BRP voor de pilot is gestoeld op de huidige GBA-wet- en regelgeving. Zodra de nieuwe BRP-wet en regelgeving vastgesteld is, wordt de betreffende vragenlijst daarop aangepast. Structuur van de vragenlijsten De vragenlijst GBA/BRP en de vragenlijst Reisdocumenten hebben dezelfde systematiek. Beide vragenlijsten zijn gebaseerd op de kwaliteitscirkel van Deming: Plan, Do, Check, Act. Voor de structuur van de vragenlijsten is dit vertaald naar de volgende indeling: Inrichten, Bijhouden, Naleven. Met deze opzet van de vragenlijsten wordt beoogd de vragen en antwoorden zoveel mogelijk te laten aansluiten op de dagelijkse praktijk van de werkprocessen van een gemeente. Normering en weging tijdens de pilot Voor de vragenlijsten is de normering en weging voor de pilot bepaald in overleg met Iron B.V. en het Centraal Bureau voor de Statistiek (CBS). Ieder hoofdstuk van de vragenlijst krijgt dezelfde aantal punten toegekend. Binnen dit hoofdstuk zijn de punten verdeeld over het aantal vragen. Binnen iedere vraag zijn de punten weer verdeeld over de verschillende antwoordmogelijkheden. De puntentoekenning aan vragen/antwoordmogelijkheden voor de pilot heeft in een tweetal workshops binnen BPR en BZK plaatsgevonden. Op basis van de uitkomsten van de pilot zal in samenwerking met het CBS de basisnormering van de vragenlijst worden vastgesteld. Ook hiervoor geldt dat de normering niet een statisch geheel is, maar zó moet worden ingezet dat het doel, te weten het verhogen van de kwaliteit van de GBA, optimaal wordt gediend.. 2 Als een gemeente werkt met meerdere uitgiftelocaties voor reisdocumenten wordt separaat per uitgiftelocatie een vragenlijst ingevuld. Pagina 12 van 43

14 Definitief Evaluatierapport Pilot evaluatie-instrument GBA en Reisdocumenten 2 mei De geautomatiseerde Managementrapportage De resultaten uit de monitor processen en de monitor gegevens worden ten behoeve van het management van de gemeente vertaald naar een managementrapportage. Op basis van de antwoorden uit de vragenlijsten en de bevindingen uit de BCM wordt geautomatiseerd een managementrapportage gegenereerd. De managementrapportage geeft op hoofdlijnen aan welke onderdelen van het proces in de gemeente nog onvoldoende zijn ingericht en welke gegevens onvoldoende worden bijgehouden. Omdat er sprake is van verschillende wetgeving en toezichthouders voor GBA/BRP enerzijds en reisdocumenten anderzijds is de managementrapportage in twee separate documenten gesplitst. De managementrapportage bestaat uit de volgende twee delen: De managementsamenvatting, deze bevat stuurinformatie voor het College van B&W van een gemeente, informatie voor het College Bescherming Persoonsgegevens in hun rol als toezichthouder op de GBA en informatie voor het ministerie van Binnenlandse Zaken in hun rol als verantwoordelijke voor het GBA-stelsel en de reisdocumentenketen. De detailrapportage, deze geeft op onderdelen van het proces aan of de inrichting en uitvoering daarvan onvoldoende, voldoende of goed zijn. Deze informatie is bestemd voor de met de uitvoering van die processen belaste afdelingen. Op basis van de detailrapportage kunnen zij actie ondernemen Een Platform voor Praktijkvoorbeelden Voor de duur van de pilot is een Platform voor Praktijkvoorbeelden ingericht, een tijdelijke voorziening voor het uitwisselen van: praktijkvoorbeelden, controleresultaten en suggesties voor de inhoud en opzet van een plan van aanpak. De gebruikersinterface van het platform was vergelijkbaar met die van het platform Ambtenaar waar gemeenten gebruik van kunnen maken. Het platform was opgezet voor de pilotdeelnemers door de pilotdeelnemers. Dat houdt in dat de deelnemende gemeenten zelf verantwoordelijk waren voor de inhoud op het plaform. BPR had slechts een faciliterende rol. 2.2 Nog niet ontwikkelde onderdelen van het evaluatie-instrument De directeur van het agentschap BPR en de stuurgroep Kwaliteit GBA (waarin ook de NVVB en VNG zijn vertegenwoordigd) zijn op respectievelijk 2 en 10 februari 2009 akkoord gegaan met de ontwikkeling van het beoogde Evaluatie-instrument GBA en Reisdocumenten. De ontwikkeling voorzag ook in een instrument voor de controle van de toepassing van gebruiksprocedures en voor het monitoren van het onderzoek van terugmeldingen bij gemeenten, alsmede in een controlevoorziening voor het overnemen c.q. het gebruik van brondocumenten in de GBA. Omdat deze onderdelen nog niet zijn ontwikkeld, zijn deze in de pilot buiten beschouwing gelaten Controle op terugmeldingen in het evaluatie-instrument In het algemeen overleg van de Vaste Commissie voor Binnenlandse Zaken van de Tweede Kamer op 30 november 2011 over de Modernisering van de GBA heeft de minister van Binnenlandse Zaken gemeld dat de audits zullen worden vervangen door een meer evaluatiegericht instrument, dat het mede mogelijk maakt om de terugmeldingen te controleren. Deze controles moeten gebaseerd zijn op wet- en regelgeving. Het is mogelijk om indicatoren te ontwikkelen op basis waarvan gemeenten met informatie afkomstig uit de GBA-V terugmeldingen kunnen monitoren. De huidige wet- en regelgeving bevat echter weinig eisen over terugmeldingen, waardoor nauwelijks controles met een wettelijke grondslag zijn te definiëren. 3 Om niet direct geassocieerd te worden met Ambtenaar 2.0 is dezelfde technische omgeving ( gebruikt maar dan als zelfstandige site, dus niet als subsite van Ambtenaar 2.0. Pagina 13 van 43

15 Definitief Evaluatierapport Pilot evaluatie-instrument GBA en Reisdocumenten 8 mei Controle op brondocumenten Tot het inhoudelijke deel van de huidige audit behoort een beoordeling of de gegevens correct zijn ontleend aan de gegevens in het brondocument. Dit vindt plaats op basis van een a-selecte steekproef en een selecte steekproef van persoonslijsten uit de basisadministratie van de auditee 4. Bij toepassing van een zelfevaluatie-instrument kan deze controle niet in dezelfde opzet gehandhaafd blijven. In de notitie van de stuurgroep Kwaliteit van 10 februari 2009 is voorgesteld om de inhoudelijke controle op PL-en en brondocumenten de eerste 3 jaar na invoering van het nieuwe evaluatie-instrument, steekproefsgewijs bij 35 gemeenten voort te zetten om zo de werking van het zelfevaluatie-instrument te monitoren. Indien blijkt dat de controles op de GBA-V voldoende inzicht geven op de inhoudelijke kwaliteit, kan deze steekproefsgewijze inhoudelijke controle komen te vervallen. In diverse gremia wordt herhaaldelijk aangedrongen om de huidige vorm van controle van brondocumenten ook in de nieuwe situatie te laten voortbestaan. Er zijn echter te veel bezwaren tegen het voortbestaan van deze vorm van controle. Het is te veel een achteraf controle, met weinig toegevoegde waarde voor verbetering van de kwaliteit. Investering in de voorfase, bijvoorbeeld in opleidingen, zodat minder fouten worden gemaakt bij het ontlenen van gegevens aan het brondocument of een kennisbank voor alle gemeenten zou beter zijn. Het ministerie van BZK gaat daarom samen met de VNG en de NVVB het reeds langer bestaande idee van opleiden en certificeren van burgerzakenpersoneel nieuw leven inblazen, met name op het punt van adequaat verwerken van brondocumenten. Het is de vraag of de inhoudelijke controle op PL-en en brondocumenten steekproefsgewijs bij 35 gemeenten op basis van dezelfde systematiek als in de huidige audit moet worden uitgevoerd. Uit diverse onderzoeken blijkt dat de meeste fouten bij de verwerking van buitenlandse akten worden gemaakt. In plaats van een steekproefsgewijze controle kan een thematische controle worden uitgevoerd, die zoveel mogelijk aansluit bij de actualiteit. Een recent voorbeeld is de controle van de gegevens van een groep Syriërs die politiek asiel aanvroegen vanwege de problemen in hun land. In voorkomende gevallen zou een expertteam kunnen worden geformeerd die gemeenten bijstaat en zorgt voor kennisborging. Daarnaast is het mogelijk om een aantal automatische controles met betrekking tot brondocumenten uit te voeren. De resultaten van deze controles kunnen daarna ook via de Kwaliteitsmonitor worden gepresenteerd. 2.3 Aanpassen evaluatie-instrument op invoering BRP en wijzigingen in PUN In het kader van de herinrichting van het kwaliteitsproces is begin 2009 besloten om de huidige audit bij de inwerkingtreding van de wet BRP te vervangen door het evaluatieinstrument. Het in de pilot beproefde evaluatie-instrument is nog geënt op de GBA. Hiervoor is gekozen, omdat zowel het nieuwe gegevensmodel als de wet- en regelgeving van de BRP nog onvoldoende uitgewerkt waren. Daarnaast is sprake van een overgangsperiode van drie jaar ( ) waarin het huidige GBA-stelsel en het nieuwe BRP-stelsel naast elkaar zullen bestaan, de zogenoemde migratieperiode. Dit betekent dat het evaluatie-instrument in die periode zowel geschikt moet zijn voor de BRP als voor de GBA. Voor de invoering van het evaluatie-instrument zal de vragenlijst aangepast worden aan de wet- en regelgeving van de BRP. Daarnaast zullen ook de controleregels geschikt moeten worden gemaakt voor het nieuwe gegevensmodel van de BRP. Ook op het gebied van reisdocumenten gaat de komende periode het nodige veranderen. Met ingang van 26 juni 2012 vervalt de geldigheid van bijschrijvingen van kinderen in het paspoort van ouder(s) of voogd. Het Reisdocumenten Aanvraag en Archief Station (RAAS) 4 Zie Regeling Periodieke Audit GBA ( Pagina 14 van 43

16 Definitief Evaluatierapport Pilot evaluatie-instrument GBA en Reisdocumenten 2 mei 2012 wordt aangepast in verband met de ID-kaart tegen jeugdtarief en de afschaffing van de gratis ID-kaart voor 14-jarigen. De Paspoortuitvoeringsregeling Nederland (PUN) wordt hierop aangepast. Ook de reisdocumentenvragenlijst zal hierop aangepast moeten worden. 2.4 Gebruik van het evaluatie-instrument voor andere doeleinden Bij de ontwikkeling van het evaluatie-instrument is de suggestie geopperd om het instrument ook voor andere doeleinden te gebruiken, zoals voor: de initiële vulling van de Registratie Niet-Ingezetenen 5 (RNI); het migratietraject naar BRP; het sneller verkrijgen van inzicht in verschillende kwaliteitsvraagstukken. Deze suggesties worden hierna toegelicht Toepassing voor de initiële vulling van de RNI Volgens de huidige planning zal de RNI op 26 november 2012 in gebruik worden genomen. De RNI zal binnen enkele jaren worden gemigreerd naar de BRP. Bij de invoering van de RNI gaan de gegevens van personen die als niet-ingezetene geregistreerd staan bij de Belastingdienst, SVB, UWV en CVZ over naar de RNI. De RNI-deelnemers leveren hiervoor de benodigde bestanden aan. Het programmabureau RNI vult de database van het RNIsysteem met gebruikmaking van speciale matchingsprogrammatuur. De gemeenten zullen de persoonslijsten van geëmigreerden (ruim 1 miljoen) uit de GBA naar de RNI moeten versturen. Voordat de persoonsgegevens worden ingevoerd in de RNI wordt gecontroleerd of ze voldoen aan de kwaliteitseisen om geconverteerd te worden. Het Programma RNI is van plan om hiervoor ook de BCM en de Kwaliteitsmonitor te gebruiken Toepassing in het migratietraject naar de BRP Zo wordt op dit moment uitgezocht of het evaluatie-instrument kan worden ingezet in het migratietraject naar de BRP. In het kader van de migratie naar de BRP zal een mechanisme worden ontwikkeld voor de migratie van de gegevens in het huidige stelsel naar het BRPstelsel. Een nevendoelstelling is de gemeenten te ondersteunen met het verbeteren van de kwaliteit van de registratie van persoonsgegevens opgeslagen in het GBA-stelsel waar dat mogelijk en noodzakelijk is. Binnen het deelproject Migratie worden in samenspraak met de (koploper)gemeenten twee zogenaamde baselines kwaliteit ontwikkeld. De opzet is om de Kwaliteitsmonitor en de BCM in te zetten om te toetsen of de gemeentelijke GBA-gegevens aan de baselines voldoen. Dit betekent dat nagegaan moet worden of de Baseline I-controles overeenkomen met de controleregels in de BCM. Daarnaast moet de monitor Gegevens van de Kwaliteitsmonitor worden aangepast om de bevindingen uit de baselinecontroles aan de gemeenten terug te koppelen Toepassing om sneller inzicht te verkrijgen in verschillende kwaliteitvraagstukken Het instrument kan ook worden ingezet om sneller inzicht te verkrijgen in allerlei kwaliteitsvraagstukken. Het afgelopen jaar is bijvoorbeeld een aantal thema s op het gebied van kwaliteit actueel geweest. Denk bijvoorbeeld aan de VOW-problematiek 7 en de briefadressen problematiek. In een dergelijke situatie is altijd direct behoefte aan cijfers om de problematiek te verduidelijken. Dit leidt dan bijvoorbeeld weer tot verzoeken om selecties uit de GBA-V. Het is wenselijk dat deze gegevens meer permanent aan de gemeenten ter beschikking worden gesteld, maar ook aan BZK/BPR in verband met het kwaliteitsbeleid van BZK en het 5 Niet-ingezetenen zijn mensen die niet in Nederland wonen maar wel een relatie met de Nederlandse overheid hebben, zoals de grensarbeiders, buitenlandse studenten en pensionado s. 6 Wellicht is het (ontwerp van het) evaluatie-instrument ook voor andere basisregistraties bruikbaar ter bevordering van de kwaliteit. Omdat deze suggestie buiten de scope van het project valt, is deze in dit rapport verder buiten beschouwing gelaten. 7 VOW staat voor Vertrokken Onbekend Waarheen, een term die in de bevolkingsadministratie wordt gebruikt om ingeschrevenen aan te duiden waarvan is vastgesteld dat ze niet meer op het oorspronkelijke adres verblijven, maar waarvan onbekend is waar dan wel. Pagina 15 van 43

17 Definitief Evaluatierapport Pilot evaluatie-instrument GBA en Reisdocumenten 8 mei 2012 gegevensbeheer dat BPR uitvoert. De BCM kan in deze selecties voorzien, waarna ze via de Kwaliteitsmonitor aan de gemeenten c.q. BPR/BZK ter beschikking kunnen worden gesteld. Deze selecties dragen bij aan een integraler beeld van de kwaliteit van de GBA. In september 2011 is het CBS een vergelijkbaar verzoek om dergelijke informatie gedaan 8. 8 Zie het desbetreffende rapport van het CBS over het onderwerp Vertrokken Onbekend Waarheen. Pagina 16 van 43

18 Definitief Evaluatierapport Pilot evaluatie-instrument GBA en Reisdocumenten 2 mei De pilot 3.1 Doelstelling pilot Zoals hiervoor al in paragraaf 1.3 is aangegeven, was de belangrijkste doelstelling van de pilot na te gaan of het evaluatie-instrument bruikbaar is en zijn de ervaringen met het evaluatie-instrument bepalend voor de verdere ontwikkeling van het instrument. De doelstelling kan als volgt nader worden gespecificeerd in de volgende concrete subdoelstellingen: Zijn de verschillende onderdelen van het evaluatie-instrument bruikbaar in het kader van de beoogde doelstelling om gemeenten meer permanente aandacht te besteden aan Kwaliteit? Bij deze vraag wordt gekeken naar het gebruik, de performance en de inhoud van de vragenlijst, van de Kwaliteitsmonitor in het algemeen en van de specifieke Kwaliteitsmonitoronderdelen Processen en Gegevens en het platform voor praktijkvoorbeelden. Te beantwoorden vragen zijn: Is de opzet van de managementrapportage bruikbaar? Biedt de managementrapportage voldoende sturingsinformatie voor het college van B&W van een gemeente? Biedt de managementrapportage voldoende informatie aan het ministerie van BZK en het College Bescherming Persoonsgegevens (CBP) om hun toezichthoudende rol te kunnen uitvoeren? Verschaft het evaluatie-instrument voldoende informatie voor de minister van Binnenlandse Zaken en Koninkrijksrelatie c.q. het agentschap BPR om het kwaliteitsproces te kunnen monitoren? Voor de invoering van het evaluatie-instrument zal ook de jaarlijkse evaluatiecyclus worden beschreven. Deze cyclus zal BPR moeten monitoren. Op basis van de uitkomsten daarvan zal nazorg worden plaatsvinden. Is het evaluatie-instrument in voldoende mate toegerust voor optimaal beheer? Met beheer wordt met name functioneel beheer, gegevensbeheer, technisch beheer en applicatiebeheer bedoeld. 3.2 Gewenste resultaten pilot In het plan van aanpak Pilot Evaluatie-Instrument GBA en Reisdocumenten is aangegeven dat de volgende resultaten worden nagestreefd. 1. Kennis en inzicht in het gebruik van alle onderdelen van het evaluatie-instrument door gemeenten: Vragenlijsten Monitor Gegevens Monitor Processen Benchmarking Managementrapportage Platform voor praktijkvoorbeelden 2. Kennis en inzicht in het gebruik van het evaluatie-instrument door BZK/BPR. Zekerheid dat de ontwikkelde procedure voor monitoring en nazorg in de praktijk goed toepasbaar is. 3. Zekerheid dat het beheer van dit evaluatie-instrument bij BPR goed is ingericht. 3.3 Opzet van de pilot Om een goed beeld te krijgen van de bruikbaarheid van het instrument is een gevarieerde groep van kleine, middelgrote en grote gemeenten bij de pilot betrokken. Deelname van gemeenten aan pilots vergt capaciteit, wat met name kleine gemeenten ervan kan weerhouden om deel te nemen. Door de pilot in drie onderdelen te splitsen is getracht om Pagina 17 van 43

19 Definitief Evaluatierapport Pilot evaluatie-instrument GBA en Reisdocumenten 8 mei 2012 de drempel tot deelname te verlagen. Gemeenten konden aan één of meer van de volgende onderdelen deelnemen: A. Bestandscontrolemodule, Monitor gegevens en Benchmark gegevens; B. Vragenlijst GBA/BRP en reisdocumenten, Monitor processen, Benchmark Processen en de managementrapportage; C. Platform voor Praktijkvoorbeelden.Gemeenten konden zelf kiezen of zij aan één, twee of alle drie van de onderdelen wilden deelnemen. Voor de onderdelen A en B heeft BPR als hulpmiddel een template van een Plan van Aanpak aan de gemeenten beschikbaar gesteld. Het template zelf maakt geen deel uit van het evaluatie-instrument en valt buiten de scope van de beoordeling. 3.4 Aan de pilot deelnemende gemeenten Aan de pilot hebben 17 gemeenten deelgenomen. Deze gemeenten hebben zich spontaan gemeld naar aanleiding van de workshop Evaluatie-instrument GBA en Reisdocumenten op het NVVB-congres 13 april 2011 en op de BPR-klantendag op 27 september Het betreft de gemeenten: Aalsmeer, Alkmaar, Amsterdam, Den Haag, Doetinchem, Amstelveen, s Hertogenbosch, Tilburg, Wageningen, Almelo, Duiven, Harderwijk, Emmen, Noordenveld, Vlaardingen, Heiloo en Wijdemeren. Met uitzondering van de gemeenten Tilburg en Wageningen hebben de gemeenten aan alle onderdelen van de pilot meegedaan. 3.5 Verloop van de pilot op hoofdlijnen Algemeen Voorafgaand aan de start van de pilot is op 31 oktober 2011 een bijeenkomst georganiseerd waar alle deelnemende gemeenten zijn voorgelicht over het gebruik van het instrument en het draaiboek. De geplande startdatum van de pilot was 7 november 2011, maar door netwerkproblemen 9 is de pilot pas op 14 november 2011 gestart. De einddatum van de pilot (27 januari 2012) is echter niet gewijzigd. Tijdens de pilot heeft alleen gemeente Almelo moeten afhaken door gebrek aan capaciteit (veel zieken op de afdeling en extra drukte aan de balie vanwege de goedkope NIK) Proces van BCM tot analyse Bevindingen Ter voorbereiding van de pilot heeft het ontwikkelteam van de BCM verscheidene malen de volgende cyclus van activiteiten uitgevoerd: de BCM draaien, de resultaten analyseren, de BCM aanpassen op grond van de bevindingen. De resultaten van de BCM-run van 11 november zijn in de database van de Kwaliteitsmonitor geplaatst. De pilotgemeenten konden de monitorresultaten van hun eigen gemeente vanaf 14 november via de Kwaliteitsmonitor raadplegen. BPR heeft van 14 gemeenten een analyse van de resultaten ontvangen en in deze evaluatie van de pilot verwerkt. De analyses varieerden van vorm: Elf gemeenten hebben per soort bevinding aangegeven wat hun oordeel was (onterecht, terecht e.d.). Vervolgens heeft BPR deze analyses beoordeeld. De overige gemeenten gaven een beoordeling op een hoger aggregatieniveau of een beoordeling van het gebruik van de monitor Gegevens. 9 De toegang was voorafgaand aan de pilot getest én goedgekeurd. De deelnemers konden via de besloten webomgeving van GemNet echter geen toegang krijgen tot de webapplicatie. De oorzaak voor de toegangsproblemen bleek te liggen in het type Gemnetverbinding waarover BPR beschikt. In verband met de levertijd van het juiste type Gemnetverbinding is daarop besloten tot een workaround: de webapplicatie is via een beveiligde internetverbinding ( met toegangsbeperking op IP-adres toegankelijk gemaakt. Om toegang te verkrijgen tot de applicatie ontvingen de gemeenten een wachtwoord en inlogcode. Pagina 18 van 43

20 Definitief Evaluatierapport Pilot evaluatie-instrument GBA en Reisdocumenten 2 mei 2012 Voorts hebben 11 gemeenten een plan van aanpak ingediend met een beschrijving van de aanpak van de geconstateerde bevindingen. Het was aan de deelnemers zelf om te bepalen of ze tijdens de pilot zouden starten met het oplossen van de geconstateerde bevindingen. Op 23 januari 2012 is opnieuw een run gedraaid met de BCM. De resultaten daarvan zijn op 24 januari 2012 aan de deelnemers beschikbaar gesteld Proces van Vragenlijsten invullen tot Monitor Processen/Mgt-rapportage Vanaf 14 november konden de deelnemers de vragenlijsten voor GBA en reisdocumenten invullen. De gemeenten Amsterdam, s-hertogenbosch, Den Haag en Emmen deden aan de pilot mee met meerdere uitgiftelocaties voor reisdocumenten. In totaal hebben 19 uitgiftelocaties de reisdocumentenvragenlijst ingevuld en 15 gemeenten de GBA-vragenlijst. De gemeenten hebben de resultaten van de ingevulde vragenlijsten geanalyseerd en vergeleken met behulp van de monitor Processen. Op basis van de ingevulde vragenlijsten en de bevindingen van de BCM heeft BPR voor alle pilotgemeenten managementrapportages gegenereerd. Deze zijn op woensdag 13 december aan de deelnemers verzonden 10. Op basis van de managementrapportages hebben elf gemeenten een plan van aanpak bij BPR ingeleverd Platform Praktijkvoorbeelden Voor het monitoren van het platform voor praktijkvoorbeelden is Ingrid Slaman van de gemeente Westland bereid gevonden om tijdens de pilot als moderator op te treden. Op 7 november heeft de moderator via alle deelnemers uitgenodigd voor het platform van praktijkvoorbeelden. De deelnemers is gevraagd om gedurende de pilot minimaal één praktijkvoorbeeld op het platform te plaatsen. Uiteindelijk hebben zich gedurende de pilot 38 deelnemers voor het platform aangemeld. 3.6 Aantal bij de pilot betrokken medewerkers en totaal aantal bestede uren Tijdens de evaluatie heeft BPR per deelnemer gevraagd hoeveel van hun medewerkers aan de pilot en per onderdeel hebben meegedaan (zie onderstaande tabel 11 ). tot.med. Tot.uren Tot. med. Tot. uren Tot. uren Tot. med. Tot. uren Uren RD vr Uren RD vr Uren GBA Uren Uren Tot.med. Tot. uren uren deelnemer pilot pilot ond. A ond.a analyse Ond. B. ond. B. uitgif. 1 uitgif. 2 vragenlijst Monproc Mgt rap. platform platform PVA den haag amsterdam heiloo tilburg aalsmeer duiven emmen harderwijk wijdemeren amstelveen vlaardingen 4 41, ,5 5 noordenveld alkmaar wageningen 1 doetinchem 3 den bosch 3 almelo 0 TOTAAL , , Gemeenten die met meerdere uitgiftelocaties aan de pilot deelnamen, ontvingen ook per uitgiftelocatie een managementrapportage reisdocumenten. 11 Totaal uren pilot = Totaal aantal uren onderdeel A + Totaal aantal uren onderdeel B + Totaal aantal uren platform Pagina 19 van 43

21 Definitief Evaluatierapport Pilot evaluatie-instrument GBA en Reisdocumenten 8 mei 2012 Uit deze tabel blijkt dat ongeveer 70 medewerkers van de gemeenten aan de pilot hebben meegedaan, die daar in totaal circa 508 uren (excl. de uren van de deelnemers Wageningen, s-hertogenbosch, Doetinchem) aan hebben besteed. Uit de tabel blijkt ook dat de deelnemers meer uren hebben besteed aan onderdeel B: invullen Vragenlijsten e.d. dan aan onderdeel A: Controles. Ook valt op te maken dat de deelnemers meer uren hebben besteed aan het invullen van de GBA-vragenlijst dan de reisdocumenten-vragenlijst, hoewel het aantal vragen van de GBA-vragenlijst kleiner is dan dat van de reisdocumentenvragenlijst. Ook blijkt dat de deelnemers zeer beperkt gebruik hebben gemaakt van het Platform Praktijkvoorbeelden. 3.7 Inrichting beheer en monitoring tijdens de pilot Tijdens de pilot was het technisch beheer intern BPR belegd bij een medewerker die verantwoordelijk was voor de inrichting van de technische omgeving, de back-ups en de beveiliging. Het functioneel beheer was intern BPR belegd bij een medewerker met als voornaamste verantwoordelijkheden: de toegang tot de applicatie (inrichting LDAP), beantwoording van vragen, inrichting van de vragenlijsten, draaien van de BCM en het importeren van bevindingen. Het applicatiebeheer was extern belegd (bij de ontwikkelaar van de webapplicatie) voor 8 uur per week. Het Service Level Management is tijdens de pilot uitgevoerd door de projectleider. Om de begrijpelijkheid van de vragenlijst te toetsen, heeft BPR twee steekproeven bij deelnemers uitgevoerd. Dit betrof een steekproef bij gemeente Harderwijk op 20 december 2011 en bij gemeente Emmen op 17 januari Twee medewerkers van afdeling Kwaliteitzorg waren aangewezen om de steekproeven te organiseren, de resultaten te analyseren en de plannen van aanpak te beoordelen. 3.8 Verwerking bevindingen van de pilot BPR heeft de deelnemers gevraagd om hun ervaringen met het gebruik van de Kwaliteitsmonitor en het Platform van Praktijkvoorbeelden tijdens de pilot in een logboek te noteren. Ook konden de deelnemers per opmerkingen maken en vragen aan BPR stellen. Tot slot heeft BPR de deelnemers gevraagd om door het invullen van een evaluatieformulier een oordeel te geven over het evaluatie-instrument. In de week van 16 t/m 20 januari heeft BPR alle deelnemers bezocht om de ervaringen te bespreken. Op 23 januari is gemeente Westland bezocht om de ervaringen van de moderator met het Platform voor Praktijkvoorbeelden te vernemen. De bevindingen uit de logboeken, s, steekproeven en de evaluatiebezoeken zijn verwerkt in het bijgevoegde bevindingenoverzicht (zie bijlage 3). In totaal hebben de deelnemers 313 bevindingen geconstateerd en 13 evaluatieformulieren ingevuld. Soort evaluatie Ingediend Bevindingen 313 Logboeken 11 Verslagen evaluatiebezoeken 15 Verslagen steekproeven 2 Evaluatieformulieren 13 Dit evaluatierapport is opgesteld op basis van de bevindingen van de deelnemers en de ingevulde evaluatieformulieren. Op 26 januari 2012 is de pilot afgesloten met een slotbijeenkomst, waarin de resultaten van de pilot op hoofdlijnen zijn gepresenteerd. Een verslag met de opmerkingen en de discussies die op basis van stellingen zijn gevoerd, is bijgevoegd als bijlage 5. Pagina 20 van 43