Handreiking Zelfevaluatietool VTH-kwaliteitscriteria 2.1 Vergunningverlening, toezicht en handhaving

Transcriptie

1 Handreiking Zelfevaluatietool VTH-kwaliteitscriteria 2.1 Vergunningverlening, toezicht en handhaving i

2 Inhoudsopgave 1 Context Achtergrond Doel Wat ga je meten Wat heb je nodig 5 2 Uitgangspunten van het zelfevaluatie-instrument Inleiding Proces van invullen Regionale uitvoeringsdiensten Helpdesk en vertrouwelijkheid van gegevens 11 3 Toelichting bij het invullen Algemene instructie Toelichting bij deel Deskundigheidsgebieden Toelichting bij deel Procescriteria Antwoordmogelijkheden en toelichtingen 16 4 Toelichting bij de rapportages Algemene instructie 17 A Workflow 18 B Rapportages 19 D Toelichting gebruiker toevoegen 24 E Was-wordt tabel 26 ii

3 1 Context 1.1 Achtergrond Over de kwaliteit van de uitvoering van vergunningverlening, toezicht en handhaving is al jaren veel discussie. Om tot verbetering van de uitvoeringskwaliteit te komen hebben we (Rijk, IPO en VNG) in 2009 afspraken gemaakt. Een deel van de afspraken ging over het hebben van VTH-kwaliteitscriteria voor de uitvoering. Voldoen aan deze VTHkwaliteitscriteria draagt bij aan een betere uitvoering van de VTH-taken en een onafhankelijke en professionele overheid. We hebben criteria opgesteld voor de kritieke massa, het proces en de inhoud van de uitvoeringstaken. Eind 2009 was de eerste set VTH-kwaliteitscriteria (versie 2.0) beschikbaar. Deze was opgesteld door een brede groep praktijkdeskundigen uit gemeenten, provincies en het rijk. Deze set was niet altijd even duidelijk en leidde bij toetsing tot discussie. Soms lag de lat (te) hoog of verkeerd. Daarom is deze set aangepast in Ook is aangesloten bij andere lopende projecten, zoals Programmatisch handhaven. Het resultaat is de set VTHkwaliteitscriteria 2.1. In start het implementatietraject voor organisaties van deze kwaliteitseisen. Gestart wordt met een zelfmeting. Hiervoor is de zelfevaluatietool ontwikkeld. Het instrument zal gedurende de komende jaren beschikbaar blijven, zodat het gebruikt kan worden om de kwaliteitsontwikkeling inzichtelijk te maken. Wat is het zelfevaluatie-instrument wel? Het biedt inzicht in hoe de organisatie (eventueel: samen met andere partners) zich verhoudt tot de VTH-kwaliteitscriteria 2.1. Op basis van de uitkomsten stelt de organisatie een verbeterplan op. Het instrument geeft daarmee een stimulans aan het kwaliteitsdenken in de eigen organisatie en het nemen van de verantwoordelijkheid die daar bij hoort. Het instrument is daarnaast goed bruikbaar om elkaar op gelijke voet de basisinformatie te verschaffen voor overleg in de regio of provincie over kwaliteit en kwetsbaarheid. Wat is het zelfevaluatie-instrument niet? Het instrument levert geen businesscase op, en het geeft ook geen antwoord op de vraag in hoeverre de organisatie outputcriteria bereikt. De relatie met werkvoorraad en kengetallen is lokaal of regionaal maatwerk. Het instrument is niet gekoppeld aan het ontstaan van een RUD en niet aan de interbestuurlijke toezichtsrol van de provincie. Het monitoren van de zogenaamde output/outcome-criteria van VNG zijn geen onderdeel van de tool. 3

4 1.2 Doel Dit zelfevaluatie-instrument is ontwikkeld met een viertal doelen: met het instrument evalueren gemeenten, provincies, milieudiensten en regionale uitvoeringsorganisaties (RUD s) hun eigen organisatie om een realistisch antwoord te krijgen op de vraag hoe de eigen organisatie zich verhoudt tot de VTHkwaliteitscriteria (VTH-kwaliteitscriteria versie 2.1 juni 2012); op basis van de uitkomsten stelt elke organisatie een verbeterplan op; de zelfevaluaties worden op provinciaal en landelijk niveau gebundeld in rapportages over ontwikkeling van de kwaliteit; aan het eind van het implementatietraject gebruikt elke organisatie de tool om antwoord te krijgen op de vraag of men nu voldoet aan de criteria. In de RUD s worden taken ondergebracht, daarnaast blijft de uitvoering van een aantal andere taken mogelijk bij de eigen organisatie. Na afloop van het implementatietraject blijft de tool nog beschikbaar voor uitvoeringsorganisaties om te toetsen of men ook blijft voldoen aan de VTH-kwaliteitscriteria. 1.3 Wat ga je meten De tool bestaat uit twee onderdelen Het onderdeel kritische massa en het onderdeel procescriteria (en inhoud). Kritische massa In dit hoofdstuk van de vragenlijst kunt u uw organisatie evalueren op de criteria voor kritieke massa. Uitgangspunt hiervoor is de set Kwaliteitscriteria 2.1. In de vragenlijst zijn zowel de activiteiten als de kwaliteitscriteria van de deskundigheidsgebieden integraal overgenomen vanuit deze rapportage. Afhankelijk van de afbakening die u in het hoofdstuk Scope van de zelfevaluatie heeft gekozen, worden de voor u van toepassing zijnde deskundigheidsgebieden, activiteiten en kwaliteitscriteria getoond. 4

5 Procescriteria In dit hoofdstuk van de vragenlijst kunt u uw organisatie evalueren op de procescriteria zoals vermeld in de kwaliteitscriteria 2.1. De procescriteria beschrijven de eisen die gesteld worden aan de beleidscyclus (BIG-8). Door de criteria te volgen wordt de cyclus, die begint met het opstellen van het beleid en via de uitvoering uiteindelijk leidt tot het bijstellen van het beleid, gesloten. Om de vragenlijst op de procescriteria overzichtelijker en handzamer te maken, zijn de criteria niet één op één overgenomen uit de kwaliteitscriteria 2.1. De criteria zijn samengevat en de volgorde is aangepast, zodat per BIG-8 element de criteria voor vergunningverlening en toezicht en handhaving gescheiden beantwoord kunnen worden. Inhoudelijke veranderingen zijn daarmee niet bedoeld, en bij twijfel geldt de tekst uit de set Kwaliteitscriteria Wat heb je nodig Benodigde informatie bij het invullen Voor het invullen van de zelfevaluatie raden wij u aan de onderstaande informatie bij de hand te hebben. De onderstaande lijst is niet uitputtend, maar geeft u wel een goede indicatie van de informatie die u waarschijnlijk nodig heeft voor het invullen van de zelfevaluatie. Managementinformatie met betrekking tot formatie en capaciteit Handhavingsuitvoeringsprogramma en planning Nalevingstrategie Toezichtstrategie Sanctie-, en gedoogstrategie Beleid en uitvoeringsprogramma voor vergunningverlening Jaarverslag Afdelingsplan Begrotingen en relevante tussentijdse budgetwijzigingen (bijvoorbeeld in het kader van de voor- en najaarsnota s) Procedures / werkinstructies / processenboek / protocollen Inhoudelijke voortgangsrapportages (bijvoorbeeld: excel-overzichten, MARAP, etc.) Documenten / systemen waaruit de scheiding tussen handhaving en vergunningverlening op persoonsniveau blijkt Verantwoordingen (bijvoorbeeld: handhavingsverslag) Analyses en sturingsinformatie door het management (inclusief resultaten interne audits en verbeterplannen) Effecten van wijziging in wet- en regelgeving Benodigde technische functionaliteiten Om toegang te krijgen tot het zelfevaluatie-instrument en om de rapportages te kunnen inzien, heeft u de volgende technische functionaliteiten nodig: 5

6 Toegang tot het internet Browser: Internet Explorer 7 (of hoger) / Firefox 3 (of hoger) Excel Leeswijzer In deze handleiding komen achtereenvolgens de volgende onderwerpen aan de orde: Uitgangspunten van het zelfevaluatie-instrument Toelichting bij het invullen Toelichting bij de rapportages 6

7 2 Uitgangspunten van het zelfevaluatie-instrument 2.1 Inleiding Webbased tool Om de doelen van de zelfevaluatie zo goed mogelijk te dienen is gekozen voor een webbased tool. Dit betekent dat alle gebruikers toegang krijgen tot het zelfevaluatieinstrument via een specifieke website, alle gebruikers identieke stappen doorlopen om de vragenlijst in te vullen en alle ingevoerde informatie opgeslagen wordt in dezelfde database. De voordelen hiervan zijn dat het invulproces voor alle betrokken partijen transparant en consistent is. Het zelfevaluatie-instrument is gemaakt in het programma Qubus. De website voor de zelfevaluatietool is: Indien u de oude gegevens wilt raadplegen kan dat via de volgende website. De gegevens kunt u niet overzetten naar de nieuwe tool. Uw inloggegevens zijn hetzelfde als voor de nieuwe zelfevaluatietool: Betrokken partijen en rollen Iedere gemeente, provincie, gemeenschappelijke uitvoeringsorganisatie en RUD s kan de zelfevaluatie invullen. Hiertoe ontvangen de organisaties twee toegangscodes tot het instrument: een voor de invuller en een voor de reviewer. De invuller vult de vragenlijst in en de reviewer controleert de ingevulde vragenlijst en beslist uiteindelijk of en voor wie de ingevulde vragenlijst inzichtelijk wordt gemaakt. De reviewer beslist ook wie rechten krijgt om de zelfevaluatie in te vullen of in te zien. Provinciale coördinatoren krijgen een aparte toegangscode waarmee ze inzicht krijgen in de voortgang van het invullen van de zelfevaluatie door de organisaties in de provincie / regio. InfoMil is verantwoordelijk voor de helpdesk behorende bij het zelfevaluatie-instrument. In die hoedanigheid zal het InfoMil toegang krijgen tot het instrument. Bij de helpdesk kan je terecht voor vragen over de tool: en voor uw inloggegevens: 7

8 Alleen die vragen die van toepassing zijn op de specifieke situatie De opbouw van de vragenlijst is afhankelijk van de specifieke situatie. In het onderdeel Identificatie kan worden aangeven of het om een zelfevaluatie of een speelveld gaat (zie voor uitleg van deze twee opties de volgende paragraaf). Om te bepalen welke deskundigheidsgebieden en bijbehorende criteria relevant zijn, zal eerst een aantal vragen beantwoord moeten worden in het onderdeel scope van de zelfevaluatie (zie paragraaf 3.1 voor een overzicht van alle onderdelen van het zelfevaluatie-instrument). Deze afbakeningsvragen zijn ingedeeld in 3 onderdelen: 1 Welke deskundigheidsgebieden zijn voor uw organisatie van toepassing? 2 Welke deskundigheidsgebieden worden uitbesteed? 3 Welke criteria zijn van toepassing? Dit is afhankelijk van de volgende omgevingsfactoren: Aard en complexiteit aanvragen Aard en omvang van bouw- en verbouwactiviteiten Klasse inrichtingen en inrichtingen per sector Afhankelijk van de antwoorden zal de verder in te vullen vragenlijst automatisch aangepast worden. Geaccordeerde zelfevaluatie en speelveld Na het openen van een vragenlijst, kan de invuller kiezen of de vragenlijst een officiële zelfevaluatie is of een speelveld. Een speelveld heeft als doel het zoeken naar mogelijke oplossingsrichtingen optimaal te faciliteren zonder dat de gegevens in de centrale database terecht kunnen komen. Rol en functie van de reviewer Iedere invullende organisatie kan de antwoorden op de vragenlijst aanpassen tot het moment dat de reviewer van desbetreffende organisatie de ingevulde zelfevaluatie accordeert. Op het moment van goedkeuring kunnen de antwoorden niet meer gewijzigd worden desbetreffende antwoorden worden op dat moment gesloten in de centrale database. De invullende organisatie kan op ieder moment een nieuwe zelfevaluatie starten en eerdere gesloten zelfevaluaties blijven beschikbaar voor de organisatie voor inzage. Op deze wijze is het mogelijk de ontwikkeling van de kwaliteit in de loop der tijd vast te leggen. De reviewer kan ook gebruikers aan een antwoordenset toevoegen, zie bijlage D. Inzicht in de resultaten De resultaten worden voor elke zelfevaluatie weergegeven in een individuele managementrapportage. Deze rapportage biedt per kwaliteitscriterium een goed inzicht in hoe de organisatie zich verhoudt tot de VTH-kwaliteitscriteria. Daarnaast wordt per deskundigheidsgebied aangegeven of het uitsluitend of deels binnen het basistakenpakket 8

9 (BTP) valt en wordt een indicatie gegeven van de benodigde FTE s en de afwijking ten opzichte van het referentiegetal. Ook wordt aangegeven waar een tegenstrijdigheid zit tussen de afwijking ten opzichte van het referentiegetal en de ingevulde antwoorden op de criteria voor aantal en frequentie. Indien bijvoorbeeld de afwijking tussen de ingevulde FTE s en het referentiegetal positief is, maar voor het criterium aantal is aangegeven dat men niet voldoet, zal er een uitroepteken verschijnen bij betreffend deskundigheidsgebied. Dit uitroepteken is een indicatie voor de lezer van de rapportage dat hier een tegenstrijdigheid zit. In dat geval verdient het de aanbeveling de capaciteit verder te onderzoeken. Wanneer er taken worden uitbesteed moet men even terug kijken in de VTH-kwaliteitscriteria set 2.1 wat de gevolgen zijn voor de benodigde capaciteit. Op onderdelen kan de tool soms afwijken. Indicatie van benodigde capaciteit In veel gevallen is gekozen voor een richtinggevende tijdsbesteding vertaald in een deel (1/3 of 2/3 deel) van de totale tijdsbesteding van een fulltime medewerker gebaseerd op een 36-urige werkweek. De daadwerkelijk benodigde FTE s kunnen afwijken van het referentiegetal afhankelijk van de specifieke situatie van de organisatie. Dit komt doordat er geen rekening kan worden gehouden met eventuele voor de specifieke situatie van toepassing zijnde spelregels. Indien uw organisatie voor een specifiek deskundigheidsgebied voldoet aan het referentiegetal of indien de afwijking positief is, heeft u voldoende capaciteit in huis voor het betreffende deskundigheidsgebied. Indien uw organisatie voor een specifiek deskundigheidsgebied negatief afwijkt ten opzichte van het referentiegetal is dit een indicatie dat u wellicht onvoldoende capaciteit heeft voor het betreffende deskundigheidsgebied. In dit geval verdient het de aanbeveling goed naar de van toepassing zijnde spelregels te kijken om te bezien of u toch niet voldoende capaciteit heeft en kunt een toelichting toevoegen welke opgenomen zal worden in de managementrapportage. 2.2 Proces van invullen In deze paragraaf vindt u een beschrijving van het proces van invullen van de zelfevaluatietool. In Bijlage A is de workflow getekend voor het proces van invullen. Invullen zelfevaluatie De invuller van de organisatie vult de zelfevaluatie in. Doordat het proces van invullen is vastgelegd in het zelfevaluatie-instrument, wordt de invuller gemakkelijk door de vragenlijst geleid. De reviewer van de eigen organisatie heeft in deze fase volledige meeleesrechten. Als de invuller klaar is met invullen, geeft hij/zij aan dat de ingevulde vragenlijst beschikbaar is voor review. De reviewer ontvangt hierover een automatische mail. 9

10 Review antwoorden De reviewer van de eigen organisatie reviewt de antwoorden van de organisatie. Indien gewenst kan de reviewer commentaar geven op de gegeven antwoorden en toelichtingen. De reviewer geeft vervolgens aan of de ingevulde vragenlijst goedgekeurd is of dat aanpassingen nodig zijn. In het laatste geval, ontvangt de invuller een notificatie (per mail) en kan hij/zij desgewenst de vragenlijst aanpassen. Bij goedkeuring door de reviewer worden de antwoorden van de betreffende zelfevaluatie automatisch gesloten : antwoorden kunnen niet meer gewijzigd worden. De invuller van de eigen organisatie heeft volledige meeleesrechten in deze fase. Inzicht in resultaten De betreffende provinciale coördinator heeft in alle fases van het invulproces inzicht in hoever het invulproces gevorderd is en in de individuele managementrapportages wanneer de zelfevaluatie gesloten is. De betreffende provinciale coördinator kan ook de geconsolideerde provinciale / regionale rapportage inzien. Speelveld Zoals in paragraaf 2.1 beschreven, is het naast het uitvoeren van een officiële zelfevaluatie ook mogelijk een fictieve situatie (waarin u bijvoorbeeld samenwerkt met andere gemeenten of bepaalde diensten uitbesteedt) te toetsen aan de gestelde eisen van de VTHkwaliteitscriteria. Dit kunt u doen door in het identificatiescherm bij de vraag Kies hieronder of u de vragenlijst officieel invult of de vragenlijst als speelveld gebruikt: te kiezen voor de optie Speelveld. De antwoorden van een speelveld worden nooit meegenomen in de geconsolideerde rapportages van de provinciale coördinator. TIP: Een speelveld kan op op elk moment omgezet worden in een zelfevaluatie Overige belangrijke uitgangspunten m.b.t. het proces Invullende organisaties kunnen op elk gewenst moment een volgende ronde (vragenlijst) aanmaken. Na het accorderen door de reviewer van de vragenlijst wordt de data meegenomen in de geconsolideerde rapportages. Invullende organisaties kunnen hun oude vragenlijsten opvragen. Deze kunnen echter niet meer worden gewijzigd. Indien zij dat wensen kunnen organisaties elkaar inzicht geven in elkaars rapportages (zie bijlage D). 10

11 2.3 Regionale uitvoeringsdiensten Regionale uitvoeringsdiensten (RUD s) of andere uitvoeringsorganisaties krijgen een eigen toegangscode tot het zelfevaluatie-instrument zodat zij de eigen organisatie kunnen toetsen aan de VTH-kwaliteitscriteria. Het bevoegd gezag kan input nodig hebben van uitvoeringsorganisaties om de eigen vragenlijst in te vullen, net als van diverse interne afdelingen. Hiervoor is een aantal mogelijkheden: De reviewer van de gemeente/provincie kan gemeenschappelijke uitvoeringsdiensten rechten geven als invuller of lezer van de eigen ingevulde vragenlijst; De reviewer van gemeenschappelijke uitvoeringsdiensten kan gemeenten/provincie rechten geven als lezer van de eigen ingevulde vragenlijst; De uitvoeringsdienst stuurt haar ingevulde vragenlijst (in Word-format) naar de gemeente/provincie. De gemeente/provincie kijkt vervolgens zelf welke vragen voor de organisatie van toepassing zijn en nemen de relevante antwoorden handmatig over in hun eigen vragenlijst. Optie via de 1 e lijns helpdesk: De reviewer van uitvoeringsdienst laat de helpdesk een kopie van de ingevulde vragenlijst maken voor een gemeente/provincie. De gemeente kan vervolgens de antwoordenset naar wens aanpassen / aanvullen. Afhankelijk van de eigen voorkeur kan een methode gekozen worden. Het bevoegd gezag doet er goed aan één persoon verantwoordelijk te maken voor het coördineren van de benodigde input. 2.4 Helpdesk en vertrouwelijkheid van gegevens Voor de ondersteuning bij de invoer van de zelfevaluatietool is bij InfoMil een digitale helpdesk ondergebracht. Deze digitale helpdesk kunt u bereiken via of via de functies help en support center in het zelfevaluatie-instrument. In eerste instantie komt u op een pagina met veel gestelde vragen terecht. Indien uw vraag hier niet bij staat kunt uw vraag via een (digitaal) formulier aan de helpdesk van InfoMil stellen. U krijgt in principe binnen twee werkdagen een reactie op uw vraag. 11

12 3 Toelichting bij het invullen 3.1 Algemene instructie Hoofdstructuur tool De vragenlijst is ingedeeld naar de volgende hoofdstukken: Identificatie: De vragen in dit hoofdstuk gaan over de organisatie waarvoor de zelfanalyse wordt gemaakt. U wordt bijvoorbeeld gevraagd om de naam van de organisatie en het soort organisatie (gemeente, provincie, milieudienst, etc) waarvoor u werkt. Scope van de zelfevaluatie: Op basis van de voor u geldende omgevingsfactoren en de wijze waarop u eventuele taken heeft uitbesteed, maakt u in dit hoofdstuk een selectie op maat van de criteria die voor uw organisatie van toepassing zijn. Deskundigheidsgebieden: Vervolgens doorloopt u de voor uw organisatie benodigde deskundigheidsgebieden en geeft u aan in welke mate u voldoet aan de gestelde criteria. Daarbij is ruimte opgenomen voor een toelichting. De deskundigheidsgebieden zijn gelijk aan de criteria onderverdeeld in 5 subhoofdstukken, namelijk: generiek juridisch specialistisch (accent bouwen) specialistisch (accent milieu) specialistisch (accent ruimtelijke ordening) Procescriteria: Wanneer u klaar bent met het invullen van de deskundigheidsgebieden, komt u in het onderdeel van de procescriteria. Ook hier is de vraag of uw organisatie aan de criteria voldoet, waarbij ruimte is voor een toelichting op uw antwoord. De procescriteria volgen de verschillende elementen van een sluitende beleidscyclus: Rapportage en evaluatie Strategisch beleidskader Operationeel beleidskader Planning en control Voorbereiden Uitvoeren Monitoren Verbeterplan: Op basis van de resultaten stelt u een verbeterplan op. Hier kunt u het verbeterplan uploaden. 12

13 Toelichting bij icoontjes Blauwe pijl: u gaat naar de eerstvolgende onbeantwoorde vraag of onderdeel. Indien u tijdens het invullen vragen overslaat kunt makkelijk via de blauwe pijl de onbeantwoorde vraag opzoeken. Witte pijl: u gaat naar de eerstvolgende of vorige vraag. Goedkeuren Verzenden Wissen Afkeuren De invuller kan de vragenlijst ter controle verzenden naar de reviewer door op de knop verzenden te drukken. Als u een beantwoorde vraag wilt wissen drukt u op wissen. Deze knop vindt u onder elke vraag. De reviewer kan de doorgestuurde vragenlijst Goedkeuren of Afkeuren door op de betreffende knop te drukken. Via help en informatie komt u op de site van infomil waar u terecht kunt voor al u vragen en problemen. Deze knoppen vindt u rechtsboven in u scherm. Sessieduur, opslaan van werk en opnieuw opstarten In verband met de veiligheid is ervoor gekozen de sessieduur op één uur te zetten. Dit wil zeggen dat als u uw computer langer dan één uur onbeheerd achterlaat, u opnieuw dient in te loggen. De gegeven antwoorden worden per pagina automatisch opgeslagen, zodra u met de blauwe /witte pijlen naar een volgende pagina navigeert. Zo raakt u bij computerproblemen (crash, onderbreking netwerkverbinding) of verlopen sessies slechts de gegevens van de laatste pagina waarmee u bezig was, kwijt. Let op: - het webadres moet u weer aanpassen aan het orginele adres: - Navigeren kan alleen via de tool (pijlen en boom) en niet via de browser (bv Internet Explorer). Indien u de vragenlijst op een ander moment verder wilt invullen, hoeft u de reeds ingevulde gegevens niet apart op te slaan: de gegeven antwoorden worden automatisch opgeslagen. 13

14 Als u vervolgens uw werk op een ander moment hervat, is het niet nodig een nieuwe vragenlijst aan te maken. De oude vragenlijst kunt u weer openen en aan de hand van de vinkjes in de boomstructuur aan de linkerkant van de pagina kunt u zien welke onderdelen van de vragenlijst nog beantwoord dienen te worden. Review Het is op elk moment mogelijk de vragenlijst aan te bieden aan de reviewer ter controle. De reviewer van uw organisatie kan vervolgens op schermniveau commentaar geven op de gegeven antwoorden. Indien er meerdere vragen op een scherm getoond worden, zal de reviewer daardoor mogelijk het commentaar op meerdere antwoorden in één commentaarveld moeten opnemen. Indien de reviewer wil dat de invuller de antwoorden aanpast, klikt hij/zij op afkeuren. De invuller kan vervolgens op het gegeven commentaar van de reviewer reageren. Op deze manier ontstaat een reviewtrail. Als uiteindelijk de reviewer de vragenlijst goedkeurt door op Goedkeuren te klikken, verdwijnen alle eerder gegeven commentaren. In de gesloten vragenlijst zijn deze commentaren dus niet zichtbaar. Benodigde informatie bij het invullen Voor het invullen van de zelfevaluatie raden wij u aan de onderstaande informatie bij de hand te hebben. De onderstaande lijst is niet uitputtend, maar geeft u wel een goede indicatie van de informatie die u waarschijnlijk nodig heeft voor het invullen van de zelfevaluatie. Managementinformatie met betrekking tot formatie en capaciteit Handhavingsuitvoeringsprogramma en planning Nalevingstrategie Toezichtstrategie Sanctie-, en gedoogstrategie Beleid en uitvoeringsprogramma voor vergunningverlening Jaarverslag Afdelingsplan Begrotingen en relevante tussentijdse budgetwijzigingen (bijvoorbeeld in het kader van de voor- en najaarsnota s) Procedures / werkinstructies / processenboek / protocollen Inhoudelijke voortgangsrapportages (bijvoorbeeld: excel-overzichten, MARAP, etc.) Documenten / systemen waaruit de scheiding tussen handhaving en vergunningverlening op persoonsniveau blijkt Verantwoordingen (bijvoorbeeld: handhavingsverslag) Analyses en sturingsinformatie door het management (inclusief resultaten interne audits en verbeterplannen) Effecten van wijziging in wet- en regelgeving 14

15 Benodigde technische functionaliteiten Om toegang te krijgen tot het zelfevaluatie-instrument en om de rapportages te kunnen inzien, heeft u de volgende technische functionaliteiten nodig: Toegang tot het internet Browser: Internet Explorer 7 (of hoger) / Firefox 3 (of hoger) Excel 3.2 Toelichting bij deel Deskundigheidsgebieden In dit hoofdstuk van de vragenlijst kunt u uw organisatie evalueren op de criteria voor kritieke massa. Uitgangspunt hiervoor is de set Kwaliteitscriteria 2.1. In de vragenlijst zijn zowel de activiteiten als de kwaliteitscriteria van de deskundigheidsgebieden integraal overgenomen vanuit deze rapportage. Afhankelijk van de afbakening die u in het hoofdstuk Scope van de zelfevaluatie heeft gekozen, worden de voor u van toepassing zijnde deskundigheidsgebieden, activiteiten en kwaliteitscriteria getoond. Voor dit gedeelte van de vragenlijst geldt de volgende toelichting: U kunt uw organisatie per deskundigheidsgebied evalueren op de criteria voor opleiding, ervaring, kennis, frequentie en aantal. In het invulveld Totaal aantal FTE vult u het totaal aantal FTE in wat in de huidige situatie in betreffend deskundigheidsgebied werkt en het aantal FTE wat gepland is volgend jaar in betreffend deskundigheidsgebied te werken. Indien u geen mensen heeft werken in dit deskundigheidsgebied moet u 0 invullen. In het veld Commentaar FTE kunt u een toelichting geven op de huidige en toekomstige capaciteit. Indien bij invullen een vlakje op geel of oranje is gezet, dan bent u verplicht een verklaring te geven over waarom de criteria niet op uw organisatie van toepassing zijn (geel) of welke maatregelen u in de komende periode treffen zodat uw organisatie alsnog voldoet (oranje). 3.3 Toelichting bij deel Procescriteria In dit hoofdstuk van de vragenlijst kunt u uw organisatie evalueren op de procescriteria zoals vermeld in de kwaliteitscriteria 2.1. De procescriteria beschrijven de eisen die gesteld worden aan de beleidscyclus (BIG-8). Door de criteria te volgen wordt de cyclus, die begint met het opstellen van het beleid en via de uitvoering uiteindelijk leidt tot het bijstellen van het beleid, gesloten. Om de vragenlijst op de procescriteria overzichtelijker en handzamer te maken, zijn de criteria niet één op één overgenomen uit de kwaliteitscriteria 2.1. De criteria zijn samengevat en de volgorde is aangepast, zodat U per kunt BIG-8 per element BIG-8 de criteria element voor van vergunningverlening de procescriteria en toezicht de vragenlijst voor handhaving vergunningverlening gescheiden en beantwoord toezicht en kunnen handhaving worden. separaat Inhoudelijke invullen. veranderingen zijn daarmee niet bedoeld, en bij twijfel geldt de tekst uit de set Kwaliteitscriteria 2.1. De vragenlijst bestaat per BIG-8 element uit een aantal hoofdvragen met eventueel een 15

16 3.4 Antwoordmogelijkheden en toelichtingen Per criterium kunt u kiezen uit vier antwoordmogelijkheden: Groen Mijn organisatie voldoet. Geel Mijn organisatie voldoet niet, want het criterium is niet toepasbaar of bruikbaar binnen mijn organisatie. Oranje Mijn organisatie voldoet niet, maar er zijn maatregelen getroffen zodat mijn organisatie binnen een jaar voldoet. Rood Mijn organisatie voldoet niet. In het toelichtingenveld Geef hier een toelichting op de score... kunt u een toelichting geven op de door u ingevulde antwoorden. Het is verplicht een toelichting op te nemen indien u bij één van de vragen het antwoord oranje of geel heeft gegeven. De in dit veld gegeven toelichtingen zullen worden opgenomen in de individuele managementrapportage. 16

17 4 Toelichting bij de rapportages 4.1 Algemene instructie In het zelfevaluatie-instrument heeft u de mogelijkheid om een individuele rapportage te maken. Deze rapportage geeft inzicht in hoe wordt voldaan aan de kwaliteitcriteria. Wanneer u een rapportage genereert krijgt u in eerste instantie een geconsolideerde excelrapportage. De rapportage bevat echter alle criteria. Deze kunt u laten verschijnen door de verborgen rijen in excel zichtbaar te maken. Selecteer hiervoor alle rijen, klik op de rechter muisknop en selecteer zichtbaar maken. Alle verborgen rijen zijn nu zichtbaar en heeft u inzicht in alle criteria. De benodigde capaciteit wordt niet per criterium weergegeven, maar alleen op de hoofdelementen. De provinciale coördinator heeft de mogelijkheid om een provinciebrede rapportage te draaien. In bijlage B zijn ter informatie screenshots opgenomen van de individuele en de provinciebrede rapportage. In bijlage C is een extra toelichting opgenomen over de individuele rapportages. TIP: Indien u een rapportage wilt openen verdient het de aanbeveling deze eerst op te slaan als Excel document en het document daarna te openen. 17

18 A Workflow Invullen vragenlijst huidige situatie nee Rapportage beschikbaar voor invuller Provinciaal coördinator heeft inzicht in de voortgang van het invullen ja Verzenden naar reviewer Review ingevulde huidige situatie Antwoorden akkoord en goedkeuren Provinciaal coördinator heeft inzicht in de resultaten Individuele rapportage draaien Opstellen verbeterplan Uploaden verbeterplan Provinciaal coördinator heeft inzicht in het verbeterplan 18

19 B Rapportages Individuele rapportage Managementrapportage [naam gemeente] De uitgebreide toelichting op deze rapportage kunt u vinden onder de help-functie van het zelfevaluatie-instrument. Datum print: Rapportagejaar: 2010 Status: Goedgekeurd, vrijgeven Nummer vragenlijst: 127 Generieke deskundigheden Opleiding Ervaring Kennis Frequentie Aantal Overall Toelichting op score BTP/beide Capaciteit Benodigd Generieke deskundigheden Verschil Huidig Volgend jaar Toelichting FTE Casemanagen - Complex 0,8 r r r r r r beide Vergunningverlening bouwen en RO - Complex r r r r r r beide 2,1 Vergunningverlening milieu - klasse I gr ge gr ge o o BTP 0,8 0,2! 1,0 1,0 Vergunningverlening milieu - klasse II gr gr gr gr o o BTP 2,1 2,9! 5,0 5,0 Vergunningverlening milieu - klasse III Overig gr o gr o gr o BTP 2,1 0,9! 3,0 4,0 Vergunningverlening milieu - klasse III Proces gr gr gr gr ge ge BTP 2,1 1,9 4,0 5,0 Vergunningverlening milieu - klasse III Agrarisch gr ge gr ge gr ge BTP 2,1-2,1! 0,0 0,0 Vergunningverlening milieu - klasse III Afval gr gr gr gr gr gr BTP 2,1-0,1! 2,0 1,0 Toezicht en handhaving bouwen - Complex r r r r r r beide 2,1 Toezicht en handhaving milieu - klasse I / II gr gr gr gr gr gr beide 2,1 1,4 3,5 2,1 Toezicht en handhaving milieu - klasse III Overig gr gr gr gr gr gr BTP 2,1-1,1! 1,0 100,0 Toezicht en handhaving milieu - klasse III Proces gr gr gr gr gr gr BTP 2,1-0,9! 1,2 5,6 Toezicht en handhaving milieu - klasse III Afval gr gr gr gr gr gr BTP 2,1-1,1! 1,0 2,8 Toezicht en handhaving milieu - klasse III Agrarisch w w w w w w BTP 2,1 Toezicht en handhaving milieu - klasse III BRZO gr gr gr gr gr gr BTP 2 Toezicht en handhaving RO gr gr gr gr gr gr beide 2,1-0,6! 1,5 Toezicht en handhaving bodem gr gr gr gr gr gr beide 1,2 Toezicht en handhaving groene wetten w w w w w w beide 2,1 Juridische deskundigheden Opleiding Ervaring Kennis Frequentie Aantal Overall Toelichting op score BTP/beide Capaciteit Juridische deskundigheden Benodigd Verschil Huidig Volgend jaar Toelichting FTE Juridische aspecten vergunningverlening 2,1 0,9 3,0 0,0 r r r r r r beide! Juridische aspecten handhaving gr gr gr gr gr gr beide 2,1-1,7! 0,4 3,0 Behandelen juridische aspecten afwijkingsbesluit gr gr gr gr gr gr beide 2,1 Ketentoezicht w w w w w w beide 1,2 Buitengewoon opsporingsambtenaar w w w w w w beide 1,2 Specialistische (accent bouwen) deskundigheden Opleiding Ervaring Kennis Frequentie Aantal Overall Toelichting op score BTP/beide Capaciteit Benodigd Specialistische (accent bouwen) deskundigheden Verschil Huidig Volgend jaar Toelichting FTE Bouwfysica - Complex (uitbesteed) 0 r r r r r r beide Brandveiligheid - Complex w w w w w w beide 2,1 Constructieve veiligheid - Complex w w w w w w beide 2,1 Bouwakoestiek - Complex (uitbesteed) gr gr gr gr gr gr beide 0,4 Sloop en asbest w w w w w w beide 1,2 Specialistische (accent milieu) deskundigheden Opleiding Ervaring Kennis Frequentie Aantal Overall Toelichting op score BTP/beide Capaciteit Benodigd Specialistische (accent milieu) deskundigheden Verschil Huidig Volgend jaar Toelichting FTE Afvalwater (uitbesteed) gr gr gr gr gr gr beide 0,4 Afvalwater uitbesteed Bodem, bouwstoffen en water gr gr gr gr gr gr beide 2,1 Externe veiligheid w w w w w w beide 2,1 Geluid - Complex w w w w w w beide 1,2 Groen en ecologie w w w w w w beide 2,1 Luchtkwaliteit w w w w w w beide 2,1 Specialistische (accent RO) deskundigheden Opleiding Ervaring Kennis Frequentie Aantal Overall Toelichting op score BTP/beide Capaciteit Benodigd Specialistische (accent RO) deskundigheden Verschil Huidig Volgend jaar Toelichting FTE Stedenbouw 1,2 w w w w w w beide Exploitatie-planeconomie (uitbesteed) gr gr gr gr gr gr beide 0 Cultuurhistorie (uitbesteed) r r r r r r beide 2,1 Milieuzonering w w w w w w beide 1,2 Procescriteria vergunningverlening Milieu Bouwen RO Overall Toelichting op score Rapportage en evaluatie Verantwoording van prestaties, mensen en middelen r o gr Probleemanalyse voor vergunningverlening (inclusief het afhandelen van meldingen) gr gr gr Vergelijking en auditing w w w Strategisch beleidskader Prioriteitenstelling en meetbare doelstellingen voor vergunningverlening gr gr gr Operationeel beleidskader Strategie en basiswerkwijze vergunningsverlening o r gr Beleid ruimtelijke ordening t.a.v. vergunningverlening w w ge Objectieve criteria voor beoordelen en beslissen over omgevingsvergunning gr r gr Planning en control Borging personele en financiële middelen gr gr gr Uitvoeringsprogramma vergunningverlening en handhaving w w w Organisatorische condities w w w Kwaliteitsborging w w w Voorbereiden Protocollen en werkinstructies voor vergunningverlening o ge r Interne en externe afstemming gr gr gr Protocollen voor communicatie, informatiebeheer en informatieuitwisseling o ge r Uitvoeren Uitvoeringsondersteunende voorzieningen voor vergunningverlening en toezicht & handhaving w w w Monitoren Monitoring w w w r gr r gr r w w Procescriteria toezicht en handhaving Milieu Bouwen RO Overall Toelichting op score Rapportage en evaluatie Verantwoording van prestaties, mensen en middelen gr gr r Probleemanalyse voor toezicht en handhaving w w w Vergelijking en auditing w w w Strategisch beleidskader Prioriteitenstelling en meetbare doelstellingen voor toezicht en handhaving gr r gr Operationeel beleidskader Nalevingsstrategie (of interventiestrategie volgens Programmatisch handhaven) toezicht en handhaving gr gr ge Toezichtstrategie r o r Sanctiestrategie gr ge gr Gedoogstrategie gr gr gr Planning en control Borging personele en financiële middelen gr gr gr Uitvoeringsprogramma vergunningverlening en handhaving w w w Organisatorische condities w w w Kwaliteitsborging w w w Voorbereiden Protocollen en werkinstructies voor toezicht en handhaving ge gr r Interne en externe afstemming gr r r Protocollen voor communicatie, informatiebeheer en informatieuitwisseling gr gr gr Uitvoeren Uitvoeringsondersteunende voorzieningen voor vergunningverlening en toezicht & handhaving w w w Monitoren Monitoring w w w r r r gr r w w 19

20 Geconsolideerde rapportage Provincie ZELFEVALUATIE KWALITEITSCRITERIA Provinciale geconsolideerde managementrapportage Provincie [naam provincie] Datum print: Overall scores generieke deskundigheden Gemeente Gemeente Gemeente Casemanagen - Eenvoudig Casemanagen - Complex Vergunningverlening bouwen en RO - Complex Vergunningverlening bouwen en RO - Eenvoudig Vergunningverlening milieu - klasse I Vergunningverlening milieu - klasse II Vergunningverlening milieu - klasse III Overig Vergunningverlening milieu - klasse III Proces Vergunningverlening milieu - klasse III Agrarisch Vergunningverlening milieu - klasse III Afval Toezicht en handhaving bouwen - Eenvoudig Toezicht en handhaving bouwen - Complex Toezicht en handhaving milieu - klasse I / II Toezicht en handhaving milieu - klasse III Overig Toezicht en handhaving milieu - klasse III Proces Toezicht en handhaving milieu - klasse III Afval Toezicht en handhaving milieu - klasse III Agrarisch Toezicht en handhaving milieu - klasse III BRZO Toezicht en handhaving RO Toezicht en handhaving bodem Toezicht en handhaving groene wetten Overall scores juridische deskundigheden Gemeente Gemeente Gemeente Gemeente Juridische aspecten vergunningverlening Juridische aspecten handhaving Behandelen juridische aspecten afwijkingsbesluit Ketentoezicht Buitengewoon opsporingsambtenaar Overall scores specialistische (accent bouwen) deskundigheden Gemeente Gemeente Gemeente Bouwfysica - Eenvoudig (uitbesteed) Bouwfysica - Complex Bouwfysica - Complex (uitbesteed) Brandveiligheid - Eenvoudig Brandveiligheid - Complex Constructieve veiligheid - Eenvoudig (uitbesteed) Constructieve veiligheid - Complex Bouwakoestiek - Eenvoudig (uitbesteed) Bouwakoestiek - Complex Bouwakoestiek - Complex (uitbesteed) Sloop en asbest Sloop en asbest (uitbesteed) Overall scores specialistische (accent milieu) deskundigheden Gemeente Gemeente Gemeente Gemeente Afvalwater Afvalwater (uitbesteed) Bodem, bouwstoffen en water Bodem, bouwstoffen en water (uitbesteed) Externe veiligheid Externe veiligheid (uitbesteed) Geluid - Eenvoudig (uitbesteed) Geluid - Complex Groen en ecologie Groen en ecologie (uitbesteed) Luchtkwaliteit Luchtkwaliteit (uitbesteed) Overall scores specialistische (accent RO) deskundigheden Gemeente Gemeente Gemeente Gemeente Stedenbouw Stedenbouw (uitbesteed) Exploitatie-planeconomie Exploitatie-planeconomie (uitbesteed) Cultuurhistorie Cultuurhistorie (uitbesteed) Milieuzonering Milieuzonering (uitbesteed) Overall score procescriteria vergunningverlening Gemeente Gemeente Gemeente Rapportage en evaluatie Strategisch beleidskader Operationeel beleidskader Planning en control Voorbereiden Uitvoeren Monitoren Overall score procescriteria toezicht en handhaving Gemeente Gemeente Gemeente Rapportage en evaluatie Strategisch beleidskader Operationeel beleidskader Planning en control Voorbereiden Uitvoeren Monitoren 20

21 C Toelichting individuele rapportage Algemeen In de kop van de rapportage treft u het nummer van de vragenlijst aan; dat is een volgnummer dat door het systeem automatisch aan de antwoordenset wordt toegekend, en heeft geen betekenis voor uw organisatie. Voorts ziet u in de kop de status van de antwoordenset waar deze rapportage op gebaseerd is. Als de status invullen is, is deze antwoordenset nog niet door de reviewer goedgekeurd. Deskundigheidsgebieden Toelichting op scores In de kolommen opleiding, ervaring, kennis, frequentie en aantal wordt per deskundigheidsgebied inzicht gegeven hoe de organisatie zich verhoudt ten opzichte van de VHT-kwaliteitscriteria set 2.1. De volgende scores zijn mogelijk: Groen Mijn organisatie voldoet. Geel Mijn organisatie voldoet niet, want het criterium is niet toepasbaar of bruikbaar binnen mijn organisatie. Oranje Mijn organisatie voldoet niet, maar er zijn maatregelen getroffen zodat mijn organisatie binnen een jaar voldoet. Rood Mijn organisatie voldoet niet. In de kolom overall wordt de overall score getoond. De overall score heeft een signaalfunctie en wordt bepaald door de laagste score. De tekst in de kolom Toelichting is rechtstreeks overgenomen van de toelichting die bij de beantwoording van de betreffende vraag is gegeven. De getoonde deskundigheidsgebieden in de rapportage zijn afhankelijk van uw specifieke situatie. In het onderdeel scope van de zelfevaluatie van de vragenlijst is aan de hand van de door u gegeven antwoorden bepaald welke deskundigheidsgebieden en bijbehorende criteria relevant zijn voor uw situatie. BTP/beide In de kolom BTP/beide wordt weergegeven of het deskundigheidsgebied alleen nodig is voor de uitvoering van het basistakenpakket voor RUD s (weergegeven als BTP ) of ook voor andere taken dan het basistakenpakket (weergegeven als beide ). Indien het deskundigheidsgebied ook nodig is voor andere taken, dan blijft een gedeelte van betreffend deskundigheidsgebied mogelijk in uitvoering bij de organisatie zelf, als bij de vorming van RUD s wordt gekozen voor het basistakenpakket. Bovenstaande is gebaseerd 21

22 op het uitgangspunt dat alle deskundigheden in de VTH-kwaliteitscriteria onderdeel zijn van het basistakenpakket. Dit is geredeneerd vanuit: 1. gemeenschappelijk perspectief (zowel provincies als gemeenten in de rol van BG); 2. het feit dat handhaving een logisch gevolg is van toezicht waardoor ook handhaving een onderdeel is van het basistakenpakket (ook al wordt het niet letterlijk genoemd in het basistakenpakket); 3. het feit dat alle deskundigheden gerelateerd aan het afwijkingsbesluit onderdeel zijn van het basistakenpakket, omdat de afwijkingsbesluiten van provinciale inrichtingen in het basistakenpakket zijn opgenomen. Capaciteit In het onderdeel capaciteit wordt in de kolom benodigd een indicatie gegeven van de volgens de VTH-kwaliteitscriteria benodigde tijd voor het uitvoeren van de activiteiten behorende bij een deskundigheidsgebied uitgedrukt in FTE s. Daarbij zijn de volgende uitgangspunten gehanteerd: De FTE s zijn uitgedrukt in absolute FTE s (gebaseerd op een 36-urige werkweek ) gebaseerd op de benodigde frequentie en aantallen voor activiteiten zoals vermeld in de kwaliteitscriteria. Het benodigde aantal FTE voor een deskundigheidsgebied wordt bepaald door de benodigde FTE s voor de zwaarste activiteit van betreffend deskundigheidsgebied. Indien bij uitbesteding 1 persoon met bepaalde deskundigheid is vereist voor een deskundigheidsgebied, is uitgegaan van 1/3 FTE tenzij anders vermeld. De daadwerkelijk in een organisatie benodigde FTE s kunnen afwijken van het referentiegetal afhankelijk van de specifieke situatie van de organisatie. Dit komt doordat de referentiegetallen zijn gebaseerd op de criteria waarbij geen rekening is gehouden met eventuele voor de specifieke situatie van toepassing zijnde spelregels Ook zijn werkvoorraad en kentallen hierin niet meegenomen. In de kolom verschil wordt per deskundigheidsgebied de afwijking van het huidige aantal FTE s ten opzichte van het referentiegetal weergegeven. In de kolommen huidig en volgend jaar worden de in de vragenlijst ingevulde aantal FTE s getoond per deskundigheidsgebied. Ook wordt per deskundigheidsgebied met een uitroepteken aangegeven waar een tegenstrijdigheid zit tussen de afwijking ten opzichte van het referentiegetal en de ingevulde antwoorden op de kwaliteitscriteria voor aantal en frequentie. Indien bijvoorbeeld de afwijking tussen de ingevulde FTE s en het referentiegetal positief is, maar voor het criterium aantal is aangegeven dat men niet voldoet, zal er een uitroepteken verschijnen bij betreffend deskundigheidsgebied. Dit uitroepteken is een indicatie voor de lezer van de rapportage dat hier een tegenstrijdigheid zit. In dat geval verdient het de aanbeveling de capaciteit verder te onderzoeken. Indien uw organisatie voor een specifiek deskundigheidsgebied voldoet aan het referentiegetal of indien de afwijking positief is, heeft u los van uw werkvoorraad volgens de kwaliteitscriteria voldoende capaciteit in huis voor het betreffende 22

23 deskundigheidsgebied. Indien uw organisatie voor een specifiek deskundigheidsgebied negatief afwijkt ten opzichte van het referentiegetal is dit een indicatie dat u wellicht onvoldoende capaciteit heeft voor het betreffende deskundigheidsgebied. In dit geval verdient het de aanbeveling goed naar de van toepassing zijnde spelregels te kijken om te bezien of u toch niet voldoende capaciteit heeft. Procescriteria Toelichting op scores De rapportage bestaat voor zowel vergunningverlening als voor toezicht en handhaving per BIG-8 element uit scores op een aantal hoofdvragen. De scores van de hoofdvragen kunnen van toepassing zijn op de onderwerpen milieu, bouw en RO. Per BIG-8 element wordt een overall score weergegeven. Deze score heeft een signaalfunctie en wordt bepaald door de laagste score op de betreffende hoofdvragen. De tekst in de kolom Toelichting is rechtstreeks afkomstig van de toelichting die bij de beantwoording van betreffende vraag is ingevuld. De volgende scores zijn mogelijk: Groen Mijn organisatie voldoet. Geel Mijn organisatie voldoet niet, want het criterium is niet toepasbaar of bruikbaar binnen mijn organisatie. Oranje Mijn organisatie voldoet niet, maar er zijn maatregelen getroffen zodat mijn organisatie binnen een jaar voldoet. Rood Mijn organisatie voldoet niet. 23

24 D Toelichting gebruiker toevoegen Gebruikers in de rol van reviewer kunnen vanuit het Overzichtscherm andere gebruikers (bijvoorbeeld gemeenten en milieudiensten) toegang geven tot een zelfevaluatie. Let op: alleen gebruikers die al zijn aangemeld in het systeem en dus een gebruikersnaam en inlogcode hebben ontvangen, kunnen op onderstaande wijze worden toegevoegd aan een zelfevaluatie. Indien u een nieuwe gebruiker toegang wenst te geven, dient u eerst via de 1e lijns-helpdesk deze gebruiker aan te melden. Wanneer u een andere gebruiker toegang wilt geven tot een zelfevaluatie dient u de volgende activiteiten uit te voeren: Stap 1: Klik op het icoontje in de meest rechter kolom (acties) van de overzichtstabel. Het scherm Anderen toevoegen wordt geopend. 24

25 Stap 2 1 Voer in het blok de achternaam of organisatie in van de persoon die u wilt toevoegen en klik op zoeken. 2. Alle gebruikers die aan uw zoekcriterium voldoen worden in het overzicht onderaan de pagina getoond. 3. Vink voor de gebruiker(s) die u wilt toevoegen het vakje in de linker kolom aan. Selecteer daarna rechtsboven dit overzicht in welke rol (bijvoorbeeld Invuller of Lezer) zij toegang moeten hebben tot de zelfevaluatie en klik op de knop gebruikers koppelen. 4.De gebruiker(s) hebben nu toegang tot de zelfevaluatie. Dit kunt u controleren in de het eerste overzicht op de pagina, direct onder de instructies. Op die plaats kunt u eventuele vergissingen herstellen met de pictogrammen rechts in de tabel. 25