Handreiking Zelfevaluatietool Kwaliteitscriteria

Handreiking Zelfevaluatietool Kwaliteitscriteria i

Inhoudsopgave 1 Context 3 1.1 Achtergrond 3 1.2 Doel 4 1.3 Leeswijzer 4 2 Uitgangspunten van het zelfevaluatie-instrument 5 2.1 Inleiding 5 2.2 Proces van invullen 7 2.3 Rollen en autorisaties 10 2.4 Gemeenschappelijke uitvoeringsorganisaties 10 2.5 Helpdesk en vertrouwelijkheid van gegevens 11 3 Toelichting bij het invullen 12 3.1 Algemene instructie 12 3.2 Toelichting bij deel Deskundigheidsgebieden 15 3.3 Toelichting bij deel Procescriteria 16 3.4 Antwoordmogelijkheden en toelichtingen 16 4 Toelichting bij de rapportages 18 4.1 Algemene instructie 18 A Workflow 19 B Rapportages 20 ii

1 Context 1.1 Achtergrond Een professionele kwaliteit van de uitvoering van vergunningverlening, toezicht en handhaving is wat de samenleving van de overheid verwacht. In de afspraken over de uitvoering van deze VROM-taken is daarom ook afgesproken criteria op te stellen voor die professionele kwaliteit. Rijk, VNG en IPO zijn overeengekomen de set kwaliteitscriteria van december 2009 (versie 2.0) als referentiekader te hanteren voor de verdere ontwikkeling. Die set is de basis voor dit zelfevaluatie-instrument. Elke organisatie kan hiermee, voor zichzelf of voor een samenwerkingsverband waar zij deel van uitmaakt, een realistisch beeld vormen over de vraag: in hoeverre voldoet mijn organisatie, of mijn samenwerkingsverband, aan de referentieset van kwaliteitscriteria? Het antwoord op die vraag zal voor een belangrijk deel bepalend zijn voor de vraag die er logisch op volgt: als onze organisatie niet (geheel) aan deze criteria voldoet, welke keuzes maken we dan bestuurlijk om wel tot de beoogde kwaliteit te komen? Het instrument zal gedurende de komende jaren beschikbaar blijven, zodat het gebruikt kan worden om de kwaliteitsontwikkeling inzichtelijk te maken. Wat is het zelfevaluatie-instrument wel? Het biedt een goed inzicht in hoe de organisatie (eventueel: samen met andere partners) zich verhoudt tot de referentieset kwaliteitscriteria. Het instrument geeft daarmee een stimulans aan het kwaliteitsdenken in de eigen organisatie en het nemen van de verantwoordelijkheid die daar bij hoort. Het instrument is daarnaast goed bruikbaar om elkaar op gelijke voet de basisinformatie te verschaffen voor overleg in de regio of provincie over kwaliteit en kwetsbaarheid. Daarnaast biedt dit instrument de gelegenheid om aan het landelijke programmabureau feedback te geven op de toepasbaarheid en bruikbaarheid van versie 2.0 van de kwaliteitscriteria. Die feedback zal in de loop van 2011 gebruikt worden om de set nog eens tegen het licht te houden. Wat is het zelfevaluatie-instrument niet? Het instrument levert geen businesscase op, en het geeft ook geen antwoord op de vraag in hoeverre de organisatie outputcriteria bereikt. De relatie met werkvoorraad en kengetallen is lokaal of regionaal maatwerk. Het instrument is niet gekoppeld aan het ontstaan van een RUD en niet aan de interbestuurlijke toezichtsrol van VROM-inspectie en provincie. De output/outcome-criteria zoals die in opdracht van de VNG in 2010 zijn beschreven, zijn vanwege de discussie die er nog over gevoerd wordt én de wijze waarop ze zijn geformuleerd, niet in deze versie van het instrument opgenomen. Het is goed denkbaar dat ze, bij de beoogde doorontwikkeling van het instrument, te zijner tijd wel een plek hierin gaan krijgen. Dit instrument sluit aan bij de referentieset kwaliteitscriteria, met de afbakening die daarin is aangegeven: kort samengevat gaat het om de toepassing van de medebewindstaken in de Wabo. Dat neemt niet weg dat dezelfde uitgangspunten over kwaliteit van de uitvoering ook kunnen worden gehanteerd voor andere (omgevingsrechtelijke) taken van gemeente, provincie, waterschap of rijk. In uw regio kunt u daar onderling nadere afspraken over maken. Voor de vragen in dit instrument geldt echter de genoemde afbakening. 3

De uitgangspunten voor dit instrument zijn in nauwe samenwerking met een begeleidingscommissie vastgesteld. In die commissie zaten leden afkomstig uit gemeenten (een 6-tal uit kleinere en grotere gemeenten, uit de bouw- en milieuhoek), een milieudienst, een waterschap, provincies en het programmabureau Uitvoering met ambitie. Het instrument is door een grotere groep van verschillende organisaties getest, en daarna door de begeleidingscommissie goedgekeurd. 1.2 Doel Dit zelfevaluatie-instrument is ontwikkeld met een drietal doelen: met het instrument kunnen gemeenten, provincies, milieudiensten en (toekomstige) regionale uitvoeringsorganisaties (RUD s) hun eigen organisatie evalueren om een realistisch antwoord te krijgen op de vraag hoe de eigen organisatie zich verhoudt tot de kwaliteitscriteria (kwaliteitscriteria versie 2.0 december 2009); de zelfevaluaties kunnen op provinciaal en landelijk niveau gebundeld worden in rapportages over ontwikkeling van de kwaliteit; de toepasbaarheid en bruikbaarheid van de kwaliteitscriteria kan in de praktijk worden getoetst, door de feedback uit het toepassen van het instrument te verzamelen. In de toekomstige gemeenschappelijke uitvoeringsorganisaties worden mogelijk taken ondergebracht, daarnaast blijft de uitvoering van een aantal andere taken mogelijk bij de eigen organisatie. Voor gemeenten is het van belang om te zien of zij voor de taken die zij niet in een gemeenschappelijke uitvoeringsorganisatie onderbrengen voldoen aan de kwaliteitscriteria. 1.3 Leeswijzer In dit plan van aanpak komen achtereenvolgens de volgende onderwerpen aan de orde: Uitgangspunten van het zelfevaluatie-instrument Toelichting bij het invullen Toelichting bij de rapportages 4

2 Uitgangspunten van het zelfevaluatie-instrument 2.1 Inleiding Webbased tool Om de doelen van de zelfevaluatie zo goed mogelijk te dienen is gekozen voor een webbased tool. Dit betekent dat alle gebruikers toegang krijgen tot het zelfevaluatieinstrument via een specifieke website, alle gebruikers identieke stappen doorlopen om de vragenlijst in te vullen en alle ingevoerde informatie opgeslagen wordt in dezelfde database. De voordelen hiervan zijn dat het invulproces voor alle betrokken partijen transparant en consistent is. Organisaties kunnen andere organisaties op vrijwillige basis en geautomatiseerd toegang geven tot elkaars uniforme gegevens om van elkaar te leren, inzicht te krijgen in beschikbare kritieke massa en van gedachten te wisselen over oplossingsrichtingen. Het zelfevaluatie-instrument is gemaakt in het programma Qubus. Deze webapplicatie is standaard in het Engels. Daardoor kan het voorkomen dat woorden / toelichtingen in het Engels zijn. Indien gewenst kunt u in de Help-functie van het zelfevaluatie-instrument een vertaling van de gebruikte Engelse termen vinden. Betrokken partijen en rollen Iedere gemeente, provincie, gemeenschappelijke uitvoeringsorganisatie en (toekomstige) RUD kan de zelfevaluatie invullen. Hiertoe ontvangen de organisaties twee toegangscodes tot het instrument: een voor de invuller en een voor de reviewer. De invuller vult de vragenlijst in en de reviewer controleert de ingevulde vragenlijst en beslist uiteindelijk of en voor wie de ingevulde vragenlijst inzichtelijk wordt gemaakt. De reviewer beslist ook wie rechten krijgt om de zelfevaluatie in te vullen of in te zien. Provincies / RUDcoördinatoren krijgen een aparte toegangscode waarmee ze inzicht krijgen in de voortgang van het invullen van de zelfevaluatie door de organisaties in de provincie / regio. Ook krijgen ze met toestemming van desbetreffende organisaties ook inzicht in de managementrapportages van desbetreffende organisaties. Dit om het overleg over kwaliteit in de provincie of regio te kunnen faciliteren. Het Programmabureau Uitvoering met Ambitie krijgt toegang tot het zelfevaluatie instrument. Het zal de feedback verzamelen op de toepasbaarheid en bruikbaarheid van versie 2.0 van de kwaliteitscriteria om de criteria in 2011 te kunnen evalueren. Het Programmabureau Uitvoering met Ambitie heeft in het zelfevaluatie-instrument de rol Landelijk Projectleider Evaluatie gekregen. Agentschap NL is verantwoordelijk voor de helpdesk behorende bij het zelfevaluatieinstrument. In die hoedanigheid zal het Agentschap NL toegang krijgen tot het instrument. In paragraaf 2.2 en 2.3 worden de verschillende activiteiten en bijbehorende autorisaties van de verschillende rollen verder toegelicht. 5

Alleen die vragen die van toepassing zijn op de specifieke situatie De opbouw van de vragenlijst is afhankelijk van de specifieke situatie. In het onderdeel Identificatie kan worden aangeven of het om een zelfevaluatie of een speelveld gaat (zie voor uitleg van deze twee opties de volgende paragraaf). Indien het een zelfevaluatie betreft, zal het onderdeel Rapportinstellingen verschijnen. In dit onderdeel kan worden aangegeven of en hoe de rapportage van de zelfanalyse beschikbaar wordt gemaakt voor andere partijen (zie paragraaf 2.2 voor meer informatie over autorisaties). Om te bepalen welke deskundigheidsgebieden en bijbehorende criteria relevant zijn, zal eerst een aantal vragen beantwoord moeten worden in het onderdeel scope van de zelfanalyse (zie paragraaf 3.1 voor een overzicht van alle onderdelen van het zelfevaluatieinstrument). Deze afbakeningsvragen zijn ingedeeld in 3 onderdelen: 1 Welke criteria zijn van toepassing? Dit is afhankelijk van de volgende omgevingsfactoren: Aard en complexiteit aanvragen Aard en omvang van bouw- en verbouwactiviteiten Klasse inrichtingen en inrichtingen per sector 2. Welke deskundigheidsgebieden zijn binnen de overheid belegd? 3. Welke deskundigheidsgebieden worden uitbesteed? Afhankelijk van de antwoorden zal de verder in te vullen vragenlijst automatisch aangepast worden. Geaccordeerde zelfevaluaties en speelvelden Na het openen van een vragenlijst, kan de invuller kiezen of de vragenlijst een officiële zelfevaluatie is of een speelveld. Een speelveld heeft als doel het zoeken naar mogelijke oplossingsrichtingen optimaal te faciliteren zonder dat de gegevens in de centrale database terecht kunnen komen. Iedere invullende organisatie kan de antwoorden op de vragenlijst aanpassen tot het moment dat de reviewer van desbetreffende organisatie de ingevulde zelfevaluatie accordeert. Op het moment van goedkeuring kunnen de antwoorden niet meer gewijzigd worden desbetreffende antwoorden worden op dat moment gesloten in de centrale database. De invullende organisatie kan op ieder moment een nieuwe zelfevaluatie starten en eerdere gesloten zelfevaluaties blijven beschikbaar voor de organisatie voor inzage. Op deze wijze is het mogelijk de ontwikkeling van de kwaliteit in de loop der tijd vast te leggen. Alleen met goedkeuring van de reviewer kunnen provincies / RUD-coördinatoren en de landelijk projectleider evaluatie toegang krijgen tot de ingevulde gegevens van de eigen organisatie. Hierbij is het belangrijk te realiseren dat de provincie / RUD-coördinator en de landelijk projectleider evaluatie alleen inzicht krijgen in de laatst geaccordeerde zelfevaluatie. De landelijk projectleider evaluatie heeft verder altijd inzicht in de feedback 6

op de kwaliteitscriteria en de gegeven toelichtingen bij de criteria die niet toepasbaar of bruikbaar worden gevonden in de gesloten zelfevaluaties, ook als geen toestemming is gegeven voor het vrijgeven van de zelfevaluatie. Inzicht in de resultaten De resultaten worden voor elke zelfevaluatie weergegeven in een individuele managementrapportage. Deze rapportage biedt per kwaliteitscriterium een goed inzicht in hoe de organisatie zich verhoudt tot de referentieset kwaliteitscriteria. Daarnaast wordt per deskundigheidsgebied aangegeven of het uitsluitend of deels binnen het basistakenpakket valt en wordt een indicatie gegeven van de benodigde FTE s en de afwijking ten opzichte van het referentiegetal. Ook wordt aangegeven waar een tegenstrijdigheid zit tussen de afwijking ten opzichte van het referentiegetal en de ingevulde antwoorden op de criteria voor aantal en frequentie. Indien bijvoorbeeld de afwijking tussen de ingevulde FTE s en het referentiegetal positief is, maar voor het criterium aantal is aangegeven dat men niet voldoet, zal er een uitroepteken verschijnen bij betreffend deskundigheidsgebied. Dit uitroepteken is een indicatie voor de lezer van de rapportage dat hier een tegenstrijdigheid zit. In dat geval verdient het de aanbeveling de capaciteit verder te onderzoeken. Indicatie van benodigde FTE s Het referentiegetal voor benodigde FTE s geeft een indicatie van de benodigde tijd voor het uitvoeren van de activiteiten behorende bij een deskundigheidsgebied uitgedrukt in productieve FTE's (op basis van 70% productiviteit bij een 36-urige werkweek). De daadwerkelijk benodigde FTE s kunnen afwijken van het referentiegetal afhankelijk van de specifieke situatie van de organisatie. Dit komt doordat de referentiegetallen zijn gebaseerd op de criteria vastgelegd in deel B van de Eindrapportage ontwikkeling kwaliteitscriteria, versie 2.0, waarbij geen rekening kan worden gehouden met eventuele voor de specifieke situatie van toepassing zijnde spelregels (zie Hoofdstuk 6 van deel A van de Eindrapportage ontwikkeling kwaliteitscriteria, versie 2.0.). Indien uw organisatie voor een specifiek deskundigheidsgebied voldoet aan het referentiegetal of indien de afwijking positief is, heeft u voldoende capaciteit in huis voor het betreffende deskundigheidsgebied. Indien uw organisatie voor een specifiek deskundigheidsgebied negatief afwijkt ten opzichte van het referentiegetal is dit een indicatie dat u wellicht onvoldoende capaciteit heeft voor het betreffende deskundigheidsgebied. In dit geval verdient het de aanbeveling goed naar de van toepassing zijnde spelregels te kijken om te bezien of u toch niet voldoende capaciteit heeft en kunt een toelichting toevoegen welke opgenomen zal worden in de managementrapportage. 2.2 Proces van invullen In Bijlage A is de workflow getekend voor het proces van invullen. In deze paragraaf vindt u een beknopte beschrijving van het proces van invullen van de zelfevaluatietool. 7

Invullen zelfevaluatie De invuller van de organisatie vult de zelfevaluatie in. Doordat het proces van invullen is vastgelegd in het zelfevaluatie-instrument, wordt de invuller gemakkelijk door de vragenlijst geleid. De reviewer van de eigen organisatie heeft in deze fase volledige meeleesrechten. Als de invuller klaar is met invullen, geeft hij/zij aan dat de ingevulde vragenlijst beschikbaar is voor review. De reviewer ontvangt hierover een automatische mail. Review antwoorden De reviewer van de eigen organisatie reviewt de antwoorden van de organisatie. Indien gewenst kan de reviewer commentaar geven op de gegeven antwoorden en toelichtingen. De reviewer geeft vervolgens aan of de ingevulde vragenlijst goedgekeurd is of dat aanpassingen nodig zijn. In het laatste geval, ontvangt de invuller een notificatie (per mail) en kan hij/zij desgewenst de vragenlijst aanpassen. Bij goedkeuring door de reviewer worden de antwoorden van de betreffende zelfevaluatie automatisch gesloten : antwoorden kunnen niet meer gewijzigd worden. De invuller van de eigen organisatie heeft volledige meeleesrechten in deze fase. Autorisatie Door goedkeuring van de antwoorden bepaalt de reviewer of de uitkomst vrij wordt gegeven aan de provincie / RUD-coördinator en de landelijk projectleider evaluatie en of de informatie anoniem inzichtelijk wordt of niet. Indien de informatie anoniem beschikbaar wordt gestelt, zullen alleen de overall scores op criteriumniveau uit de individuele managementrapportage anoniem inzichtelijk worden gemaakt in de geconsolideerde provinciale en landelijke rapportages. Als de uitkomst met naam inzichtelijk wordt gemaakt, zullen de provincie / RUD-coördinator en de landelijk projectleider evaluatie ook inzicht krijgen in de individuele managementrapportage van betreffende organisatie. Indien de organisatie de managementrapportage niet inzichtelijk wenst te maken zullen alleen de feedback op de kwaliteitscriteria en de gegeven toelichtingen bij criteria die als niet toepasbaar of bruikbaar worden ervaren, inzichtelijk zijn voor de landelijk projectleider evaluatie. Indien de managementrapportage niet wordt vrijgegeven blijft deze informatie alleen beschikbaar voor de organisatie zelf (zie ook onderstaand schema). Na het goedkeuren van de zelfevaluatie zijn de antwoorden niet meer te wijzigen. Indien een organisatie wijzigingen wil aanbrengen kan een nieuwe zelfevaluatie worden geopend. 8

ja Uitkomsten alleen anoniem beschikbaar in geconsolideerde rapportage Uitkomsten verzenden? ja Anoniem verzenden? nee Uitkomsten en individuele managementrapportage met naam beschikbaar nee Alleen eigen organisatie heeft toegang tot informatie Inzicht in resultaten De betreffende provincie / RUD-coördinator en de landelijk projectleider hebben in alle fases van het invulproces inzicht in hoever het invulproces gevorderd is. De betreffende provincie / RUD-coördinator en de landelijk projectleider evaluatie hebben daarbij meeleesrechten over de geautoriseerde individuele managementrapportages. Tevens kan de betreffende provincie / RUD-coördinator de geconsolideerde provinciale / regionale rapportage inzien. De landelijk projectleider evaluatie heeft inzicht in de ingevulde feedback op de kwaliteitscriteria en de gegeven toelichtingen bij criteria die als niet toepasbaar of bruikbaar worden ervaren. Speelveld Zoals in paragraaf 2.1 beschreven, is het naast het uitvoeren van een officiële zelfevaluatie ook mogelijk een fictieve situatie (waarin u bijvoorbeeld samenwerkt met andere gemeenten of bepaalde diensten uitbesteedt) te toetsen aan de gestelde eisen van de kwaliteitscriteria. Dit kunt u doen door in het identificatiescherm bij de vraag Kies hieronder of u de vragenlijst officieel invult of de vragenlijst als speelveld gebruikt: te kiezen voor de optie Speelveld. De antwoorden van een speelveld worden nooit meegenomen in de geconsolideerde rapportages van de Provincie, de RUD-coördinator en de landelijk projectleider evaluatie. Overige belangrijke uitgangspunten m.b.t. het proces Invullende organisaties kunnen op elk gewenst moment een volgende ronde (vragenlijst) aanmaken. Na het accorderen van de vragenlijst wordt de data meegenomen in de geconsolideerde rapportages. Invullende organisaties kunnen hun oude vragenlijsten opvragen. Deze kunnen echter niet meer worden gewijzigd. Provincies / RUD-coördinatoren en de landelijke projectleider evaluatie moeten zich er dus van bewust zijn dat er altijd sprake is van een momentopname en de geconsolideerde rapportages van week tot week kunnen verschillen. Indien zij dat wensen kunnen organisaties elkaar inzicht geven in elkaars rapportages. 9

2.3 Rollen en autorisaties In de onderstaande tabel zijn de verschillende rollen en autorisaties die binnen het zelfevaluatie-instrument zijn gedefinieerd samengevat. Rol Invuller (gemeente, provincie, gemeenschappelijke uitvoeringsorg., RUD, etc.) Reviewer Provincie / RUD coördinator Landelijk projectleider evaluatie Lezer Programma Uitvoering met Ambitie 1e lijns helpdesk Autorisatie - Invullen, wijzigen en verwijderen antwoorden eigen organisatie - Geven van toelichting waar de gelegenheid geboden wordt - Inzien individuele rapportages eigen organisatie - Inzien ingevulde antwoorden eigen organisatie - Commentaar geven op antwoorden (en toelichtingen)eigen organisatie via commentaarveld - Inzien individuele rapportages eigen organisatie -Wel/niet verzenden uitkomsten eigen organisatie - Monitoren invulproces van gemeenten en eigen organisatie (niet anoniem) - Inzien geautoriseerde individuele rapportages - Inzien geconsolideerde provinciale / regionale rapportage - Monitoren invulproces van gemeenten en provincies (niet anoniem) - Inzien geautoriseerde individuele rapportages - Inzien geconsolideerde provinciale rapportages - Inzien geconsolideerde landelijke rapportage (feedback op kwaliteitscriteria) - Inzien ingevulde zelfevaluatie van een andere organisatie (op aangeven van die organisatie) - Applicatiebeheer (aanpassing software) - Monitoring invulproces van gemeenten en provincies (niet anoniem) - Inzien alle antwoorden van invullers onder verklaring van vertrouwelijkheid (niet anoniem) - Inzien alle rapportages in de tool onder verklaring van vertrouwelijkheid (niet anoniem) - Indien gewenst definitief afsluiten antwoordensets van een betreffend jaar en openen nieuwe antwoordensets 2.4 Gemeenschappelijke uitvoeringsorganisaties Gemeenschappelijke uitvoeringsorganisaties (milieudiensten, omgevingsdiensten, RUD s) krijgen een eigen toegangscode tot het zelfevaluatie-instrument zodat zij de eigen organisatie kunnen toetsen aan de kwaliteitscriteria. Het bevoegd gezag kan input nodig hebben van gemeenschappelijke uitvoeringsorganisaties om de eigen vragenlijst in te vullen, net als van diverse interne afdelingen. Hiervoor is een aantal mogelijkheden: De reviewer van de gemeente/provincie kan gemeenschappelijke uitvoeringsdiensten rechten geven als invuller of lezer van de eigen ingevulde vragenlijst; De reviewer van gemeenschappelijke uitvoeringsdiensten kan gemeenten/provincie rechten geven als lezer van de eigen ingevulde vragenlijst; De gemeenschappelijke uitvoeringsdienst stuurt haar ingevulde vragenlijst (in Word-format) naar de gemeente/provincie. De gemeente/provincie kijkt vervolgens zelf welke vragen voor de organisatie van toepassing zijn en nemen de relevante antwoorden handmatig over in hun eigen vragenlijst. Optie via de 1 e lijns helpdesk: 10

De reviewer van gemeenschappelijke uitvoeringsdiensten laat de helpdesk een kopie van de ingevulde vragenlijst maken voor een gemeente/provincie. De gemeente kan vervolgens de antwoordenset naar wens aanpassen / aanvullen. Afhankelijk van de eigen voorkeur kan een methode gekozen worden. Het bevoegd gezag doet er goed aan één persoon verantwoordelijk te maken voor het coördineren van de benodigde input. 2.5 Helpdesk en vertrouwelijkheid van gegevens Voor de ondersteuning bij de invoer van de zelfevaluatietool is bij Agentschap NL een digitale helpdesk ondergebracht. Deze digitale helpdesk kunt u bereiken via de functies help en support center in het zelfevaluatie-instrument. In eerste instantie komt u op een pagina met veel gestelde vragen terecht. Indien uw vraag hier niet bij staat kunt uw vraag via een (digitaal) formulier aan de helpdesk van Agentschap NL stellen. U krijgt in principe binnen twee werkdagen een reactie of een antwoord op uw vraag. De helpdesk van Agentschap NL zal de informatie in de database van het zelfevaluatie-instrument alleen gebruiken ten behoeve van de doelen en rollen zoals afgebakend in het Programma van Eisen van de zelfevaluatietool. Dit betekent dat anderen, zoals bijvoorbeeld de VROM Inspectie, geen toegang tot de gegevens krijgen. Op grond van artikel 2:5 van de Algemene wet bestuursrecht hebben medewerkers aan de helpdesk een geheimhoudingsplicht voor vertrouwelijke gegevens. 11

3 Toelichting bij het invullen 3.1 Algemene instructie Hoofdstructuur tool Boomstructuur U ziet in uw zelfevaluatie-instrument een scherm met 2 vensters: een boomstructuuraan de linkerzijde, en een vraag-/ antwoordvenster aan de rechterzijde. U kunt van de boomstructuur gebruik maken om direct naar een deskundigheidsgebiedte gaan, door op betreffende deskundigheidsgebiedte klikken. De boomstructuur laat zien welke vragen zijn beantwoord (middels een vink )en welke vragen nog beantwoord dienente worden (daar waar een vink ontbreekt). Indien alle vragen onder een deskundigheidsgebiedzijn afgerond dan zal het deskundigheidsgebiedzijn aangevinkt. Voortgangsteller U kunt uw voortgang steeds raadplegen middels de voortgangsteller linksboven in uw venster. Het percentagetoont aan hoe ver u bent gevorderd in de beantwoording van de vragenlijst. Indien u de scope van de vragenlijst wijzigt, zal de voortgangsteller meebewegen. Indien u bijvoorbeeld de scope vergroot, loopt de voortgangsteller achteruit. De vragenlijst is ingedeeld naar de volgende hoofdstukken: Identificatie: De vragen in dit hoofdstuk gaan over de organisatie waarvoor de zelfanalyse wordt gemaakt. U wordt bijvoorbeeld gevraagd om de naam van de organisatie en het soort organisatie (gemeente, provincie, milieudienst, etc) waarvoor u werkt. Scope van de zelfanalyse: Op basis van de voor u geldende omgevingsfactoren en de wijze waarop u eventuele taken heeft uitbesteed, maakt u in dit hoofdstuk een selectie op maat van de criteria die voor uw organisatie van toepassing zijn. 12

Deskundigheidsgebieden: Vervolgens doorloopt u de voor uw organisatie benodigde deskundigheidsgebieden en geeft u aan in welke mate u voldoet aan de gestelde criteria. Daarbij is ruimte opgenomen voor een toelichting. De deskundigheidsgebieden zijn gelijk aan de criteria onderverdeeld in 5 subhoofdstukken, namelijk: generiek juridisch specialistisch (accent bouwen) specialistisch (accent milieu) specialistisch (accent ruimtelijke ordening) Procescriteria: Wanneer u klaar bent met het invullen van de deskundigheidsgebieden, komt u in het onderdeel van de procescriteria. Ook hier is de vraag of uw organisatie aan de criteria voldoet, waarbij ruimte is voor een toelichting op uw antwoord. De procescriteria volgen de verschillende elementen van een sluitende beleidscyclus: Rapportage en evaluatie Strategisch beleidskader Operationeel beleidskader Planning en control Voorbereiden Uitvoeren Monitoren Rapportinstellingen: Hier kunt u invullen of u de uitkomsten van de zelfevaluatie inzichtelijk wilt maken voor de provincie / RUD-coördinator en de landelijk projectleider evaluatie en of u dit anoniem wenst te doen. Toelichting bij icoontjes Pijlen Blauw e pijl: indien u op de blauw e pijl klikt gaat u naar het/de eerst volgende onbeantw oorde onderdeel/vraag. Indien u tijdens de zelfevaluatie ervoor kiest vragen tijdelijk open te laten, kunt u eenvoudig de onbeantw oorde vragen terugvinden door van de blauw e pijl gebruik te maken. Witte pijl: indien u op de w itte pijl klikt gaat u naar de eerstvolgende of eerstvorige vraag. Vergrootglasicoon Bij de vragenlijsten over de deskundigheidsgebieden kunt u de afzonderlijke criteria beurtelings tonen w anneer u op het vergrootglas-pictogram in de tabel klikt. Submit De invuller van uw organisatie kan op ieder moment de vragenlijst ter controle naar de review er van uw organisatie zenden door linksboven in het venster de knop submit aan te klikken. Clear Indien u een vraag heeft beantw oord en het antw oord bij nader inzien w ilt w issen, dan kan dat door op de clear knop te klikken. Deze knop vindt u onder elke vraag. 13

Reject / Accept De review er kan na zijn/haar controle de ingevulde vragenlijst goedkeuren door op accept te klikken. Indien hij/zij na de controle w il dat de invuller van betreffende organisatie de vragenlijst aanpast, klikt de review er op reject. Contact Indien u inhoudelijke vragen heeft over de zelfevaluatie dan heeft u de mogelijkheid de helpdesk van Agentschap NL te raadplegen. De helpdesk kunt u bereiken per email (.) of per telefoon ( ). Contactgegevens kunt u ook raadplegen middels het contact tabblad, w elke u rechtsboven in uw scherm vindt. Bovendien kunt u verdere informatie altijd nalezen op de w ebsite ( ) Help/ FAQ In het HELP menu is een overzicht opgenomen van veel voorkomende vragen. Indien u vragen heeft bij de zelfevaluatie w ordt u aangeraden eerst het HELP-menu te raadplegen. In het HELP-menu zijn o.a. een handreiking met een algemene toelichting op de functionaliteiten, een technische instructie over de w erking en een lijst met Frequently Asked Questions (FAQ)opnomen. Het HELP menu vindt u rechtsboven in uw scherm. Sessieduur, opslaan van werk en opnieuw opstarten In verband met de veiligheid is ervoor gekozen de sessieduur op één uur te zetten. Dit wil zeggen dat als u uw computer langer dan één uur onbeheerd achterlaat, u opnieuw dient in te loggen. De gegeven antwoorden worden per pagina automatisch opgeslagen, zodra u met de blauwe /witte pijlen naar een volgende pagina navigeert. Zo raakt u bij computerproblemen (crash, onderbreking netwerkverbinding) of verlopen sessies slechts de gegevens van de laatste pagina waarmee u bezig was, kwijt. Indien u de vragenlijst op een ander moment verder wilt invullen, hoeft u de reeds ingevulde gegevens niet apart op te slaan: de gegeven antwoorden worden automatisch opgeslagen. Als u vervolgens uw werk op een ander moment hervat, is het niet nodig een nieuwe vragenlijst aan te maken. De oude vragenlijst kunt u weer openen en aan de hand van de vinkjes in de boomstructuur aan de linkerkant van de pagina kunt u zien welke onderdelen van de vragenlijst nog beantwoord dienen te worden. Review Het is op elk moment mogelijk de vragenlijst aan te bieden aan de reviewer ter controle. De reviewer van uw organisatie kan vervolgens op schermniveau commentaar geven op de gegeven antwoorden. Indien er meerdere vragen op een scherm getoond worden, zal de reviewer daardoor mogelijk het commentaar op meerdere antwoorden in één commentaarveld moeten opnemen. Indien de reviewer wil dat de invuller de antwoorden aanpast, klikt hij/zij op reject. De invuller kan vervolgens op het gegeven commentaar van de reviewer reageren. Op deze manier ontstaat een reviewtrail. Als uiteindelijk de reviewer de vragenlijst goedkeurt 14

door op accept te klikken, verdwijnen alle eerder gegeven commentaren. In de gesloten vragenlijst zijn deze commentaren dus niet zichtbaar. Benodigde informatie bij het invullen Voor het invullen van de zelfevaluatie raden wij u aan de onderstaande informatie bij de hand te hebben. De onderstaande lijst is niet uitputtend, maar geeft u wel een goede indicatie van de informatie die u waarschijnlijk nodig heeft voor het invullen van de zelfevaluatie. Managementinformatie met betrekking tot formatie en capaciteit Handhavingsuitvoeringsprogramma en planning Nalevingstrategie Toezichtstrategie Sanctie,- en gedoogstrategie Beleid en uitvoeringsprogramma voor vergunningverlening Jaarverslag Afdelingsplan Begrotingen en relevante tussentijdse budgetwijzigingen (bijvoorbeeld in het kader van de voor- en najaarsnota s) Procedures / werkinstructies / processenboek / protocollen Inhoudelijke voortgangsrapportages (bijvoorbeeld: excel-overzichten, MARAP, etc.) Documenten / systemen waaruit de scheiding tussen handhaving en vergunningverlening op persoonsniveau blijkt Verantwoordingen (bijvoorbeeld: handhavingsverslag) Analyses en sturingsinformatie door het management (inclusief resultaten interne audits en verbeterplannen) Effecten van wijziging in wet- en regelgeving Benodigde technische functionaliteiten Om toegang te krijgen tot het zelfevaluatie-instrument en om de rapportages te kunnen inzien, heeft u de volgende technische functionaliteiten nodig: Toegang tot het internet Browser: Internet Explorer 7 (of hoger) / Firefox 3 (of hoger) Excel 3.2 Toelichting bij deel Deskundigheidsgebieden In dit gedeelte van de vragenlijst kunt u uw organisatie evalueren op de criteria voor kritieke massa. Uitgangspunt hiervoor is de Eindrapportage ontwikkeling kwaliteitscriteria transitieprogramma, versie 2.0. In de vragenlijst zijn zowel de activiteiten als de kwaliteitscriteria van de deskundigheidsgebieden integraal overgenomen vanuit betreffende rapportage. Er zijn geen extra toelichtingen opgenomen over mogelijke interpretaties van de kwaliteitscriteria. Afhankelijk van de afbakening die u in het gedeelte Scope van de zelfanalyse heeft gekozen, worden de voor u van toepassing zijnde deskundigheidsgebieden, activiteiten en kwaliteitscriteria getoond. 15

Voor dit gedeelte van de vragenlijst geldt de volgende toelichting: U kunt uw organisatie per deskundigheidsgebied evalueren op de criteria voor opleiding, ervaring, kennis, frequentie en aantal. In het invulveld Namen deskundigheden kunt u eventueel de namen invullen van de personen die werken in betreffend deskundigheidsgebied. In het invulveld Totaal aantal FTE vult u het totaal aantal FTE in wat in de huidige situatie in betreffend deskundigheidsgebied werkt en het aantal FTE wat gepland is volgend jaar in betreffend deskundigheidsgebied te werken. Indien u geen mensen heeft werken in dit deskundigheidsgebied kunt u 0 invullen. In het veld Commentaar FTE kunt u een toelichting geven op de huidige en toekomstige capaciteit. 3.3 Toelichting bij deel Procescriteria In dit gedeelte van de vragenlijst kunt u uw organisatie evalueren op de procescriteria zoals vermeld in Eindrapportage ontwikkeling kwaliteitscriteria transitieprogramma, versie 2.0. De procescriteria zijn net zoals in de eindrapportage ingedeeld naar de BIG- 8 elementen. Om de vragenlijst op de procescriteria overzichtelijker en handzamer te maken, zijn de criteria niet één op één overgenomen uit de eindrapportage. De criteria zijn samengevat en de volgorde en de nummering is aangepast, zodat per BIG-8 element de criteria voor vergunningverlening en toezicht en handhaving gescheiden beantwoord U kunt kunnen per BIG-8 worden. element Ondanks deze van wijzigingen de procescriteria is de vragenlijst de vragenlijst een volledigvoor dekkende vergunningverlening weergave vanen detoezicht eindrapportage en handhaving en zijn separaat er geen extra invullen. toelichtingen opgenomen over mogelijke interpretaties van de kwaliteitscriteria anders dan in de rapportage reeds gegeven toelichtingen. De vragenlijst bestaat per BIG-8 element uit een aantal hoofdvragen met eventueel een aantal onderliggende specificaties. 3.4 Antwoordmogelijkheden en toelichtingen Per criterium kunt u kiezen uit vier antwoordmogelijkheden: Groen: Mijn organisatie voldoet. Geel: Mijn organisatie voldoet niet, want het criterium is niet toepasbaar of bruikbaar binnen mijn organisatie. Oranje: Mijn organisatie voldoet niet, maar er zijn maatregelen getroffen zodat mijn organisatie binnen een jaar voldoet. Rood: Mijn organisatie voldoet niet.in het toelichtingenveld Geef hier een toelichting op de score... kunt u een toelichting geven op de door u ingevulde antwoorden. Het is verplicht een toelichting op te nemen indien u bij één van de vragen 16

het antwoord oranje heeft gegeven. De in dit veld gegeven toelichtingen zullen worden opgenomen in de individuele managementrapportage. Als u het antwoord geel heeft gekozen, vragen we u om daar een inhoudelijke toelichting op te geven. Deze toelichting wordt meegenomen in de evaluatie van de kwaliteitcriteria.. Indien gewenst heeft u per deskundigheidsgebied de mogelijkheid feedback te geven ten behoeve van de evaluatie van de kwaliteitscriteria. Deze feedback wordt meegenomen in de evaluatie van de kwaliteitscriteria. 17

4 Toelichting bij de rapportages 4.1 Algemene instructie In het zelfevaluatie-instrument zijn de volgende rapportages beschikbaar voor de verschillende gebruikers: Gebruiker Rapportages Invuller 1. Managementrapportage individuele evaluatie Provincie / RUD coördinator Landelijk projectleider evaluatie 2. Provinciaal / regionaal geconsolideerde managementrapportage (al dan niet anoniem) 3. Overzicht voortgang invullen evaluatie door gemeentenin eigen provincie (niet anoniem) 4. Overzicht voortgang invullen evaluatie door gemeentenen provincies (niet anoniem) 5. Landelijkemanagementrapportagemet feedback in termen van frequentie van reactiesper criterium en scores op dat criterium (anoniem) 6. Overzicht per criterium met alle gegevenfeedback op de kwaliteitscriteria 7. Overzicht per criterium met alle gegeventoelichtingenop antwoorden geel Daarnaast heeft de provincie / RUD-coördinator inzicht in de managementrapportages van de individuele gemeenten en gemeenschappelijke uitvoeringsorganisaties indien deze organisaties daar toestemming voor hebben gegeven. De landelijk projectleider evaluatie heeft ook inzicht in de (geconsolideerde) rapportages van de individuele organisaties (inclusief de rapportages van provincies) indien deze organisaties daar toestemming voor hebben gegeven. De landelijk projectleider krijgt daarnaast een rapportage met alle individuele feedback op de kwaliteitscriteria en een rapportage met alle toelichtingen gegeven bij criteria die als niet toepasbaar of niet bruikbaar worden ervaren door organisaties. Onder de help-functie in het zelfevaluatie-instrument vindt u een toelichting op de rapportage individuele rapportage. In bijlage B zijn ter informatie screenshots opgenomen van de rapportages 1 t/m 4. Indien u een rapportage wilt openen verdient het de aanbeveling deze eerst op te slaan als Excel document en het document daarna te openen. 18

A Workflow 19

B Rapportages Individuele rapportage Managementrapportage [naam gemeente] De uitgebreide toelichting op deze rapportage kunt u vinden onder de help-functie van het zelfevaluatie-instrument. Datum print: 7-1-2011 Rapportagejaar: 2010 Status: Goedgekeurd, vrijgeven Nummer vragenlijst: 127 Generieke deskundigheden Opleiding Ervaring Kennis Frequentie Aantal Overall Toelichting op score BTP/beide Capaciteit Benodigd Generieke deskundigheden Verschil Huidig Volgend jaar Toelichting FTE Casemanagen - Complex 0,8 r r r r r r beide Vergunningverlening bouwen en RO - Complex r r r r r r beide 2,1 Vergunningverlening milieu - klasse I gr ge gr ge o o BTP 0,8 0,2! 1,0 1,0 Vergunningverlening milieu - klasse II gr gr gr gr o o BTP 2,1 2,9! 5,0 5,0 Vergunningverlening milieu - klasse III Overig gr o gr o gr o BTP 2,1 0,9! 3,0 4,0 Vergunningverlening milieu - klasse III Proces gr gr gr gr ge ge BTP 2,1 1,9 4,0 5,0 Vergunningverlening milieu - klasse III Agrarisch gr ge gr ge gr ge BTP 2,1-2,1! 0,0 0,0 Vergunningverlening milieu - klasse III Afval gr gr gr gr gr gr BTP 2,1-0,1! 2,0 1,0 Toezicht en handhaving bouwen - Complex r r r r r r beide 2,1 Toezicht en handhaving milieu - klasse I / II gr gr gr gr gr gr beide 2,1 1,4 3,5 2,1 Toezicht en handhaving milieu - klasse III Overig gr gr gr gr gr gr BTP 2,1-1,1! 1,0 100,0 Toezicht en handhaving milieu - klasse III Proces gr gr gr gr gr gr BTP 2,1-0,9! 1,2 5,6 Toezicht en handhaving milieu - klasse III Afval gr gr gr gr gr gr BTP 2,1-1,1! 1,0 2,8 Toezicht en handhaving milieu - klasse III Agrarisch w w w w w w BTP 2,1 Toezicht en handhaving milieu - klasse III BRZO gr gr gr gr gr gr BTP 2 Toezicht en handhaving RO gr gr gr gr gr gr beide 2,1-0,6! 1,5 Toezicht en handhaving bodem gr gr gr gr gr gr beide 1,2 Toezicht en handhaving groene wetten w w w w w w beide 2,1 Juridische deskundigheden Opleiding Ervaring Kennis Frequentie Aantal Overall Toelichting op score BTP/beide Capaciteit Benodigd Juridische deskundigheden Verschil Huidig Volgend jaar Toelichting FTE Juridische aspecten vergunningverlening 2,1 0,9 3,0 0,0 r r r r r r beide! Juridische aspecten handhaving gr gr gr gr gr gr beide 2,1-1,7! 0,4 3,0 Behandelen juridische aspecten afwijkingsbesluit gr gr gr gr gr gr beide 2,1 Ketentoezicht w w w w w w beide 1,2 Buitengewoon opsporingsambtenaar w w w w w w beide 1,2 Specialistische (accent bouwen) deskundigheden Opleiding Ervaring Kennis Frequentie Aantal Overall Toelichting op score BTP/beide Capaciteit Benodigd Specialistische (accent bouwen) deskundigheden Verschil Huidig Volgend jaar Toelichting FTE Bouwfysica - Complex (uitbesteed) 0 r r r r r r beide Brandveiligheid - Complex w w w w w w beide 2,1 Constructieve veiligheid - Complex w w w w w w beide 2,1 Bouwakoestiek - Complex (uitbesteed) gr gr gr gr gr gr beide 0,4 Sloop en asbest w w w w w w beide 1,2 Specialistische (accent milieu) deskundigheden Opleiding Ervaring Kennis Frequentie Aantal Overall Toelichting op score BTP/beide Capaciteit Benodigd Specialistische (accent milieu) deskundigheden Verschil Huidig Volgend jaar Toelichting FTE Afvalwater (uitbesteed) gr gr gr gr gr gr beide 0,4 Afvalwater uitbesteed Bodem, bouwstoffen en water gr gr gr gr gr gr beide 2,1 Externe veiligheid w w w w w w beide 2,1 Geluid - Complex w w w w w w beide 1,2 Groen en ecologie w w w w w w beide 2,1 Luchtkwaliteit w w w w w w beide 2,1 Specialistische (accent RO) deskundigheden Opleiding Ervaring Kennis Frequentie Aantal Overall Toelichting op score BTP/beide Capaciteit Benodigd Specialistische (accent RO) deskundigheden Verschil Huidig Volgend jaar Toelichting FTE Stedenbouw 1,2 w w w w w w beide Exploitatie-planeconomie (uitbesteed) gr gr gr gr gr gr beide 0 Cultuurhistorie (uitbesteed) r r r r r r beide 2,1 Milieuzonering w w w w w w beide 1,2 Procescriteria vergunningverlening Milieu Bouwen RO Overall Toelichting op score Rapportage en evaluatie Verantwoording van prestaties, mensen en middelen r o gr Probleemanalyse voor vergunningverlening (inclusief het afhandelen van meldingen) gr gr gr Vergelijking en auditing w w w Strategisch beleidskader Prioriteitenstelling en meetbare doelstellingen voor vergunningverlening gr gr gr Operationeel beleidskader Strategie en basiswerkwijze vergunningsverlening o r gr Beleid ruimtelijke ordening t.a.v. vergunningverlening w w ge Objectieve criteria voor beoordelen en beslissen over omgevingsvergunning gr r gr Planning en control Borging personele en financiële middelen gr gr gr Uitvoeringsprogramma vergunningverlening en handhaving w w w Organisatorische condities w w w Kwaliteitsborging w w w Voorbereiden Protocollen en werkinstructies voor vergunningverlening o ge r Interne en externe afstemming gr gr gr Protocollen voor communicatie, informatiebeheer en informatieuitwisseling o ge r Uitvoeren Uitvoeringsondersteunende voorzieningen voor vergunningverlening en toezicht & handhaving w w w Monitoren Monitoring w w w r gr r gr r w w Procescriteria toezicht en handhaving Milieu Bouwen RO Overall Toelichting op score Rapportage en evaluatie Verantwoording van prestaties, mensen en middelen gr gr r Probleemanalyse voor toezicht en handhaving w w w Vergelijking en auditing w w w Strategisch beleidskader Prioriteitenstelling en meetbare doelstellingen voor toezicht en handhaving gr r gr Operationeel beleidskader Nalevingsstrategie (of interventiestrategie volgens Programmatisch handhaven) toezicht en handhaving gr gr ge Toezichtstrategie r o r Sanctiestrategie gr ge gr Gedoogstrategie gr gr gr Planning en control Borging personele en financiële middelen gr gr gr Uitvoeringsprogramma vergunningverlening en handhaving w w w Organisatorische condities w w w Kwaliteitsborging w w w Voorbereiden Protocollen en werkinstructies voor toezicht en handhaving ge gr r Interne en externe afstemming gr r r Protocollen voor communicatie, informatiebeheer en informatieuitwisseling gr gr gr Uitvoeren Uitvoeringsondersteunende voorzieningen voor vergunningverlening en toezicht & handhaving w w w Monitoren Monitoring w w w r r r gr r w w 20

Geconsolideerde rapportage Provincie / RUD-coördinator ZELFEVALUATIE KWALITEITSCRITERIA Provinciale geconsolideerde managementrapportage Provincie [naam provincie] Datum print: 7-1-2011 Overall scores generieke deskundigheden Casemanagen - Eenvoudig Casemanagen - Complex Vergunningverlening bouwen en RO - Complex Vergunningverlening bouwen en RO - Eenvoudig Vergunningverlening milieu - klasse I Vergunningverlening milieu - klasse II Vergunningverlening milieu - klasse III Overig Vergunningverlening milieu - klasse III Proces Vergunningverlening milieu - klasse III Agrarisch Vergunningverlening milieu - klasse III Afval Toezicht en handhaving bouwen - Eenvoudig Toezicht en handhaving bouwen - Complex Toezicht en handhaving milieu - klasse I / II Toezicht en handhaving milieu - klasse III Overig Toezicht en handhaving milieu - klasse III Proces Toezicht en handhaving milieu - klasse III Afval Toezicht en handhaving milieu - klasse III Agrarisch Toezicht en handhaving milieu - klasse III BRZO Toezicht en handhaving RO Toezicht en handhaving bodem Toezicht en handhaving groene wetten Overall scores juridische deskundigheden Juridische aspecten vergunningverlening Juridische aspecten handhaving Behandelen juridische aspecten afwijkingsbesluit Ketentoezicht Buitengewoon opsporingsambtenaar Overall scores specialistische (accent bouwen) deskundigheden Bouwfysica - Eenvoudig (uitbesteed) Bouwfysica - Complex Bouwfysica - Complex (uitbesteed) Brandveiligheid - Eenvoudig Brandveiligheid - Complex Constructieve veiligheid - Eenvoudig (uitbesteed) Constructieve veiligheid - Complex Bouwakoestiek - Eenvoudig (uitbesteed) Bouwakoestiek - Complex Bouwakoestiek - Complex (uitbesteed) Sloop en asbest Sloop en asbest (uitbesteed) Overall scores specialistische (accent milieu) deskundigheden Afvalwater Afvalwater (uitbesteed) Bodem, bouwstoffen en water Bodem, bouwstoffen en water (uitbesteed) Externe veiligheid Externe veiligheid (uitbesteed) Geluid - Eenvoudig (uitbesteed) Geluid - Complex Groen en ecologie Groen en ecologie (uitbesteed) Luchtkwaliteit Luchtkwaliteit (uitbesteed) Overall scores specialistische (accent RO) deskundigheden Stedenbouw Stedenbouw (uitbesteed) Exploitatie-planeconomie Exploitatie-planeconomie (uitbesteed) Cultuurhistorie Cultuurhistorie (uitbesteed) Milieuzonering Milieuzonering (uitbesteed) Overall score procescriteria vergunningverlening Rapportage en evaluatie Strategisch beleidskader Operationeel beleidskader Planning en control Voorbereiden Uitvoeren Monitoren Overall score procescriteria toezicht en handhaving Rapportage en evaluatie Strategisch beleidskader Operationeel beleidskader Planning en control Voorbereiden Uitvoeren Monitoren 21

Monitoren voortgang (Provincie, RUD-coördinator en Landelijk projectleider evaluatie) 22