Eindrapport Aristoteles Prestatiemeting en -verantwoording in de Veiligheidsregio's. 23 november 2009

Transcriptie

1 Eindrapport Aristoteles Prestatiemeting en -verantwoording in de Veiligheidsregio's 23 november 2009

2

3 Eindrapport Aristoteles Prestatiemeting en -verantwoording in de Veiligheidsregio's Inhoud Pagina 1. Inleiding Voorwoord Leeswijzer 1 2. Prestatiemeting en prestatieverantwoording Prestatiemeting en prestatieverantwoording Functies van prestatiemeting Voor- en nadelen van prestatiemeting Prestatiemeting en verantwoording in de veiligheidsregio 5 3. Het project Aristoteles Achtergrond Doelstelling en doelgroep Scope Aanpak Eindproducten Het Aristoteles- gedachtegoed Eerder ontwikkeld kader Selectie van teams Aanvullingen Toelichting op indicatoren Aantal indicatoren Generieke versus regionale set Normering Balanced score card Rubricering Doorontwikkeling 24 Eindrapport Aristoteles versie 1.0

4 6. Brandweer Afbakening Indicatoren Balans scores Toelichting op indicatoren Doorontwikkeling GHOR Afbakening Indicatoren Balans scores Doorontwikkeling Meldkamer Afbakening Indicatoren Balans scores Doorontwikkeling Crisisbeheersing & Rampenbestrijding Afbakening Indicatoren Balans scores Doorontwikkeling Bedrijfsvoering Afbakening Indicatoren Balans scores Doorontwikkeling Veiligheidsdirectie en Veiligheidsbestuur Afbakening Veiligheidsdirectie Veiligheidsbestuur Landelijke uitrol 51 Eindrapport Aristoteles versie 1.0

5 1. Inleiding 1.1 Voorwoord Het presterend vermogen van de hulpverleningsdiensten heeft in de afgelopen jaren steeds meer nadruk gekregen. Hogere ambities vanuit de disciplines, bij politiek en bij bestuur leidden tot een groot aantal verbeterprogramma s in de disciplines, hogere eisen en extra investeringen in opleiden & oefenen, de vorming van veiligheidsregio s, nieuwe instrumenten bij de inspectie OOV, etc. De sterke focus op operationele prestaties leidde ook tot een andere informatiebehoefte: waar oorspronkelijk vooral gestuurd werd op basis van bedrijfsvoeringgegevens 1, ontstond steeds meer behoefte aan zicht op de output van de organisatie: welke prestaties worden geleverd en hoe verhouden die zich tot de eisen die vanuit de wet, vanuit de eigen gemeente en/of regio worden gesteld. Het is deze informatiebehoefte die het netwerk Finance & Control van de NVBR en GHOR NL het initiatief heeft doen nemen tot het project Aristoteles. Het initiatief is gefinancierd vanuit het Ministerie van BZK. Het Veiligheidsberaad ondersteunt het project en heeft uitgesproken de eindresultaten na goedkeuring ervan, met respect voor lokale en regionale verantwoordelijkheden landelijk te willen implementeren. Het voorliggende rapport is het eindresultaat van een nauwe samenwerking tussen het netwerk Finance & Control en de netwerken Kwaliteit van NVBR en GHOR NL, medewerkers van verschillende disciplines uit zeven pilotregio s, het Ministerie van BZK, de Inspectie OOV en bureau Berenschot, dat de projectleiding en de ondersteuning van projectgroep en stuurgroep leverde. 1.2 Leeswijzer Dit rapport beschrijft de uitkomsten van de ontwerpfase van het project Aristoteles. In hoofdstuk 2 wordt ingegaan op het concept prestatiemeting. In hoofdstuk 3 beschrijven wij de achtergrond van het project, de opdracht, de doelstellingen en de doelgroepen. Ook wordt in dit hoofdstuk beschreven welk proces gevolgd is om te komen tot prestatie-indicatoren. In hoofdstuk 4 gaan we dieper in op het Aristoteles-gedachtegoed. In hoofdstuk 5 wordt een algemene toelichting op de prestatie-indicatoren beschreven. De uiteindelijke resultaten per domein worden gepresenteerd in de hoofdstukken 6 t/m 11. In hoofdstuk 12 ten slotte, wordt ingegaan op de landelijke uitrol van het project Aristoteles. 1 Vaak op de PIOFACH-dimensies: Personeel, Informatie, Organisatie, Financiën, Administratie, Communicatie en Huisvesting. Eindrapport Aristoteles versie 1.0 1

6 Eindrapport Aristoteles versie 1.0 2

7 2. Prestatiemeting en prestatieverantwoording Prestatiemeting en prestatieverantwoording De afgelopen jaren zijn managementtechnieken uit het bedrijfsleven ook doorgedrongen in overheidsorganisaties. Prestatiemeting is een van die managementtechnieken die inmiddels ook in de publieke sector wordt toegepast. De gedachte hierachter is dat overheden net als bedrijven, producten en diensten leveren waarop zij beoordeeld kunnen worden. En overheidsorganisatie die haar producten en/of diensten weet te definiëren, kan ook haar prestaties laten zien. Dit kan een positief effect hebben op de effectiviteit, de efficiency en de legitimiteit van de organisatie. Het principe van prestatiemeting en verantwoording is helder: een organisatie formuleert beoogde prestaties (en maakt hierover in veel gevallen afspraken met andere organisaties) en verwoordt deze in meetbare prestatie-indicatoren. De organisatie kan nu, op basis van de vastgestelde prestatie-indicatoren, duidelijk maken of de beoogde prestaties zijn gerealiseerd en wat deze hebben gekost. Ook kan prestatiemeting helpen bij het vormgeven van de planning-encontrolcyclus; doordat de te behalen prestaties kunnen worden gepland, gerealiseerd en gemeten, kan gerichter naar vastgestelde doelen worden toegewerkt. Prestatiemeting helpt organisaties dan ook om doelstellingen te formuleren voor de verschillende processen waarvoor zij verantwoordelijk zijn. Deze ambities worden vertaald in prestatie-indicatoren. 2.2 Functies van prestatiemeting Prestatiemeting kan een aantal functies vervullen. De meest genoemde functies van prestatiemeting zijn: Transparantie: prestatiemeting leidt tot transparantie en kan zo een rol spelen in de verantwoordingsprocessen. Vergelijken: de eigen prestaties kunnen worden vergeleken met andere soortgelijke organisaties, zoals met andere veiligheidsregio s. Leren: dankzij de transparantie die ontstaat, kan een organisatie leren wat ze goed doet en waar verbeteringen mogelijk zijn. Prestatiemeting kan een goed hulpmiddel zijn om leren door middel van de Deming-cyclus (plan do check act) te verwezenlijken. 2 De tekst in dit hoofdstuk is mede gebaseerd op de volgende boeken: - Bruijn, H. (2001), Prestatiemeting in de publieke sector. Tussen professie en verantwoording. - Van Mill, B., Boer, N. (2008), Prestaties afspreken doe je zo! Lessen over outputsturing uit acht sectoren. Eindrapport Aristoteles versie 1.0 3

8 Oordelen: op grond van de prestaties is een oordeel (door de leiding van de organisatie of door derden) over het functioneren van de organisatie mogelijk. Afrekenen: oordeelvorming kan worden gevolgd door positieve en negatieve sancties. Deze functies kennen een opklimmende mate van dwang, zoals uitgedrukt in onderstaande prestatiemetingpiramide. Afrekenen Oordelen Leren Vergelijken Transparant maken Figuur 1. Prestatiemetingpiramide 2.3 Voor- en nadelen van prestatiemeting Zoals met zoveel dingen het geval is, kent ook prestatiemeting voor- en nadelen. De argumenten voor en tegen de invoering van prestatiemeting kunnen ook van toepassing zijn op de invoering van prestatiemeting in de veiligheidsregio. Argumenten voor prestatiemeting Prestatiemeting leidt tot transparantie en vormt daardoor een prikkel tot innovatie. Een veiligheidsregio kent weinig externe prikkels voor effectiviteit en efficiency. Prestatiemeting kan juist die prikkel vormen; door de prestaties op enkele cruciale aspecten en/of processen transparant te maken, kunnen deze ook efficiënter en effectiever vorm gegeven worden als dat nodig blijkt te zijn. Daarnaast is prestatiemeting ook bevorderlijk voor de kwaliteit van beleid- en besluitvorming. Binnen de veiligheidsregio vormen de uitvoerende hulpdiensten autonome, professionele eenheden (de zogenaamde praktijkarena). Vanwege de specialistische aard van het werk is dit ook logisch en noodzakelijk. Echter, de beleidsvorming vindt op een ander niveau plaats (de zogenaamde planarena). Momenteel zijn deze twee arena s sterk van elkaar gescheiden: er bestaat een kloof tussen beleid en uitvoering. Prestatiemeting kan een sterke prikkel vormen voor externe verantwoording: de uitvoerende organisatie moet de eigen doelen en prestaties duidelijk maken. Eindrapport Aristoteles versie 1.0 4

9 Hierdoor beschikt het beleidsvormende deel van een organisatie na enige tijd over veel informatie over de prestaties. Op basis hiervan kan concreet en gericht beleid gemaakt worden. De kloof tussen plan- en praktijkarena kan op deze manier verkleind worden. Argumenten tegen prestatiemeting Er wordt ook vaak (terecht) beweerd dat het moeilijk is om prestaties van overheidsorganisaties (zoals de veiligheidsregio) te meten. Zo zijn bijvoorbeeld de te leveren producten van een veiligheidsregio moeilijk eenduidig te definiëren en te kwantificeren. Veiligheid is bijvoorbeeld een lastig te meten product. Daarnaast zijn veiligheidsregio s vaak proces- in plaats van productgerelateerd; er bestaat niet altijd een één-op-één relatie tussen het proces (bijvoorbeeld het opleiden en oefenen van brandweerpersoneel) en de geleverde prestatie (een brand die geblust wordt). Vaak is sprake van meerdere (externe) factoren die van invloed zijn op de kwaliteit van de geleverde prestatie (zoals de weersomstandigheden, de omvang van de brand en het type gebouw). Ook kan prestatiemeting ertoe leiden dat men zich binnen de organisatie volledig richt op het behalen van goede scores op de prestatie-indicatoren, het loont immers om op deze punten goed te scoren. Op deze manier zijn de prestaties op papier in orde, maar het gevaar is dat door de focus op de prestatie-indicatoren de werkelijkheid uit het oog wordt verloren en de maatschappelijke taak waarvoor de organisatie staat (veiligheid realiseren) minder aandacht krijgt dan nodig is. 2.4 Prestatiemeting en verantwoording in de veiligheidsregio Bij de ontwikkeling van prestatiemeting voor de veiligheidsregio moet rekening worden gehouden met de hiervoor beschreven mogelijke voor- en nadelen. Het is dan ook vereist dat het systeem van prestatiemeting en verantwoording zorgvuldig tot stand komt en dat rekening gehouden wordt met de speciale aard van de organisatie waarop het van toepassing is. Binnen de veiligheidsregio s bestaat geen traditie van prestatiemeting en verantwoording. Ook wordt pas sinds korte tijd en slechts door een deel van de regio s gewerkt met productbegrotingen en een daarop aangepaste planning-en-controlcyclus. Daarnaast hebben veiligheidsregio s de vrijheid gekregen om zich naar eigen inzicht, en passend in de regionale traditie, te ontwikkelen. Dit heeft tot gevolg dat Nederland 25 veiligheidsregio s kent die van elkaar verschillen in omvang, organisatievorm, reikwijdte van dienstverlening, etc. De taken van de veiligheidsregio en de organisaties daarbinnen zijn complex, het is niet eenvoudig om daar prestatie-indicatoren aan te koppelen. Er bestaat ook geen eenduidig landelijk beeld van wat de prestaties van de veiligheidsregio s zouden moeten zijn, behalve enkele wettelijk vastgestelde normen. Toch zijn ook deze niet hard ; op veel punten zijn veiligheidsregio s bevoegd om regiospecifieke normen te stellen die afwijken van landelijke normen. Hierdoor lijkt het misschien onbegonnen werk om prestatiemeting en prestatieverantwoording in de veiligheidsregio s te introduceren. Toch kan prestatiemeting de organisaties binnen de veiligheidsregio handvatten geven om effectiever, efficiënter te werken, gerichter doelen te stellen, een betere relatie tussen de plan- en praktijkarena te creëren en een lerende organisatie te worden. Ook kan prestatiemeting helpen om verantwoording af te leggen aan de bestuurders van de veiligheidsregio. Eindrapport Aristoteles versie 1.0 5

10 Prestatiemeting kan niet van de ene op de andere dag ingevoerd en gebruikt worden. Daarom moet bij het begin gestart worden; het formuleren van een landelijke, generieke set van prestatieindicatoren op basis van (vaak wettelijke) eisen waaraan elke veiligheidsregio zou moeten voldoen. Deze indicatoren kunnen allereerst gebruikt worden om de organisaties inzicht te geven in hun eigen prestaties (transparantie). Wanneer deze prestaties inzichtelijk gemaakt worden, dan is het ook mogelijk om verbeterpunten te destilleren en op die manier te leren van de eigen prestaties. Aangezien alle veiligheidsregio s in Nederland van elkaar verschillen, is het moeilijk om de prestaties met elkaar te vergelijken. Hoewel dit lastig te bewerkstelligen is, zou het kunnen helpen om een lerende organisatie te realiseren en zo de gehele hulpverlening binnen de veiligheidsregio naar een hoger plan te trekken. Een kijkje in de keuken van een ander kan immers inspiratie geven om de eigen keuken (organisatie) beter te managen. Prestatiemeting zegt niet alles. Het is slechts een van de manieren om de prestaties inzichtelijk te maken. Vanwege de complexheid van de processen, diensten en producten van een veiligheidsregio zal altijd gezocht moeten worden naar, en gehoor gegeven moeten worden aan het verhaal achter een prestatie-indicator. Ook is het niet mogelijk (of zelfs gewenst) om alle processen binnen een veiligheidsregio in prestatie-indicatoren te vatten. Het is zaak om die dingen te vatten in indicatoren die te meten zijn, relevant zijn en waar door een organisatie op gestuurd kan worden. De in dit hoofdstuk benoemde functies, voordelen, nadelen en kanttekeningen van prestatiemeting zijn benut bij de ontwikkeling van prestatie-indicatoren voor de veiligheidsregio. Eindrapport Aristoteles versie 1.0 6

11 3. Het project Aristoteles 3.1 Achtergrond In 2005 is het initiatief genomen om te komen tot een productbegroting voor de brandweerregio s. In het najaar 2006 zijn vertegenwoordigers van de netwerken Finance & Control en Kwaliteit in samenwerking met Adviesbureau Van Dijke (AVD) begonnen een projectplan te ontwikkelen. Deze verdere oriëntatie en verbreding heeft ook geleid tot een inhoudelijke uitbouw van het oorspronkelijke plan naar prestatiemeting en sturing voor de veiligheidsregio s. Dit heeft uiteindelijk geresulteerd in een opdracht die erop gericht is: prestatiemeting en prestatieverantwoording binnen de veiligheidsregio s te ontwikkelen en implementeren, verankerd in een eenduidig ingerichte planning-en-controlcyclus en geborgd in een daarin geïntegreerd kwaliteitszorgsysteem, inzichtelijk gemaakt in een daarop gebaseerde prestatiemonitor. In het najaar van 2008 is het project Aristoteles door middel van een openbare aanbesteding aan Berenschot gegund. 3.2 Doelstelling en doelgroep Bij de ontwikkeling van een prestatiemonitor is het van belang rekening te houden met het doel en de doelgroep van het instrument. De functie van het systeem bepaalt immers welke informatie vereist is. Vanwege de rijkheid aan informatie en het grote aantal actoren in de keten is het van belang om doel(en) en doelgroep(en) vooraf helder te hebben. Met prestatiemeting kunnen meerdere doelen nagestreefd worden, zoals in hoofdstuk 2 is beschreven. Aristoteles is een project waarin nadrukkelijk van onderaf gekomen wordt tot een systeem van prestatiemeting en prestatieverantwoording. Draagkracht in de veiligheidsregio s is dan ook een eerste criterium. Dit komt tot uiting in de doelen van Aristoteles: Het transparant maken van de prestaties van veiligheidsregio s. Het kunnen vergelijken binnen de eigen regio. De mogelijkheden voor leren te bevorderen. Bij de subsidietoekenning door BZK is de relatie met de ontwikkeling van een benchmarkinstrument aangegeven. De ontwikkeling van de benchmark zelf viel buiten de scope van dit project. Zo zijn er in dit eindrapport alleen prestatie-indicatoren opgenomen in het geval er ook een wettelijke norm beschikbaar is. In een aantal andere gevallen is een adviesnorm opgenomen, vaak op basis van ervaringen uit pilotregio s. Om de aansluiting met deze en andere ontwikkelingen te houden, waren zowel het Veiligheidsberaad als de Inspectie OOV in de projectorganisatie vertegenwoordigd. Eindrapport Aristoteles versie 1.0 7

12 De primaire doelgroep van het project Aristoteles is het management en de directie van een veiligheidsregio. Aan de hand van operationele prestatie-informatie en informatie over de bedrijfsvoering wordt de directie, in de vorm van een dashboard, geïnformeerd over het functioneren van de eigen veiligheidsregio en kunnen de directieleden waar nodig bijsturen. De informatie die beschikbaar komt, maar te gedetailleerd is voor het directieniveau, wordt verzameld in dashboards voor de MT s van Brandweer, GHOR, Meldkamer, Rampenbestrijding & Crisisbeheersing en Bedrijfsvoering. De informatie wordt op een hoger abstractieniveau, in de vorm van een rapportage van geconsolideerde gegevens, gebruikt om verantwoording af te leggen aan het bestuur van de veiligheidsregio, de secundaire doelgroep. Ten aanzien van de doelstellingen en doelgroep(en) van Aristoteles is verder een aantal randvoorwaarden van belang: Abstractieniveaus: de informatie moet meerdere niveaus bedienen, van strategische tot operationele informatie, en moet geconsolideerd kunnen worden. Kwaliteitszorgsysteem: het instrument moet gekoppeld kunnen worden aan de bestaande kwaliteitszorgsystemen. Integraliteit: de afzonderlijke prestatie-informatie moet afzonderlijk en in combinatie gebruikt kunnen worden, zodat het inzicht verder gaat dan het functioneren van afzonderlijke delen. Doorontwikkeling: het instrument moet op termijn voor meerdere doelgroepen gebruikt kunnen worden en het moet mogelijk zijn andere initiatieven erop aan te laten sluiten. 3.3 Scope Een veiligheidsregio kent een groot aantal ketenpartners. Om te voorkomen dat het project Aristoteles te omvangrijk zou worden, is aan het begin van het project besloten om de scope beperkt te houden en te richten op: 1. de gehele rode kolom (brandweer), inclusief de monodisciplinaire basisbrandweerzorg 2. de gehele GHOR-organisatie (zowel de mono- als multidisciplinaire taken) 3. de gehele multidisciplinaire organisatie (paars) en de daarbij horende delen, te weten: a. Meldkamer (rood, wit en blauw), b. Crisisbeheersing & Rampenbestrijding (vaak georganiseerd in een Veiligheidsbureau) en c. Bedrijfsvoering. Eindrapport Aristoteles versie 1.0 8

13 Figuur 2. Scope Aristoteles Ten aanzien van de scope van Aristoteles is een aantal kanttekeningen te plaatsen: Brandweer Op dit moment is een deel van de brandweerkorpsen geregionaliseerd. Met betrekking tot de bedrijfsvoeringaspecten in het instrument voor prestatiemeting gaan we in principe uit van een geregionaliseerde brandweer. Dat wil zeggen dat de bedrijfsvoeringaspecten (PIOFACH) op de hele, geregionaliseerde brandweerkolom van toepassing zijn. Als de brandweer niet geregionaliseerd is, vallen de operationele prestaties van de gemeentelijke brandweerkorpsen binnen de scope, maar valt de (gemeentelijke) bedrijfsvoering buiten de scope van het instrument. GHOR De scope voor het dashboard van de GHOR is beperkt tot de activiteiten die op het rampterrein plaatsvinden. Alles wat zich achter de deuren van ziekenhuizen afspeelt, valt niet binnen de scope. Onderdelen, zoals de beschikbare behandelcapaciteit van ziekenhuizen, zijn daarom niet meegenomen. Politie Het informatiecentrum Politie (bereikbaar via het Landelijk Telefoonnummer Politie ) en in veel regio s dicht tegen de meldkamer georganiseerd, valt buiten de scope van het project. De (inbreng van) bureau CCB valt bij Rampenbestrijding & Crisisbeheersing binnen de scope van het project. Eindrapport Aristoteles versie 1.0 9

14 Gemeenten De operationele prestaties van gemeenten op de gemeentelijke crisisbeheersingsprocessen vallen binnen de scope van het project. De bedrijfsvoeringaspecten van gemeenten vallen buiten de scope. Bij de bepaling van de scope zijn daarnaast de volgende uitgangspunten gedefinieerd: Landelijke set De scope beperkt zich tot indicatoren die voor (vrijwel) alle regio s van belang zijn. Dat betekent dat er nadrukkelijk ruimte blijft voor de regio om de set indicatoren uit te breiden met indicatoren die voor de eigen regio van belang zijn, bijvoorbeeld op basis van het regionale risicoprofiel. Initiële set De set is een eerste selectie van indicatoren om prestatiemeting en verantwoording te implementeren in de regio s. Op basis van wet- en regelgeving, landelijke ambities, doorontwikkeling van de veiligheidsregio s, etc. zal de set minimaal één keer per twee jaar geactualiseerd moeten worden. 3.4 Aanpak Het belangrijkste onderdeel van Aristoteles was het ontwikkelen van prestatie-indicatoren voor de vijf domeinen. Deze indicatoren vormen immers de basis voor het gehele model van prestatiemeting en prestatiesturing. Om te komen tot prestatie-indicatoren is een iteratief proces gevolgd, waarin voortdurend ruimte bestond voor de projectorganisatie (stuurgroep, projectgroep en pilotregio s) om commentaar te leveren en verbetervoorstellen te doen. Het doorlopen proces wordt hieronder beschreven Criteria vaststellen In samenspraak met de stuurgroep en de projectgroep zijn vooraf criteria vastgesteld waaraan de prestatie-indicatoren in meer of mindere mate moeten voldoen. Deze criteria zijn opgesteld om, na inventarisatie van de beschikbare indicatoren, te fungeren als afwegingskader. Op deze manier kan een verantwoorde en gebalanceerde set met prestatie-indicatoren samengesteld worden. Er valt een onderscheid te maken tussen kwaliteitscriteria en selectiecriteria. Kwaliteitscriteria zeggen iets over de kwaliteit van de indicator; zij geven aan of iets een goede indicator is. Nadat de kwaliteitscriteria zijn bepaald (hierbij dient opgemerkt te worden dat vrijwel nooit aan alle kwaliteitscriteria tegelijk voldaan kan worden), kunnen indicatoren met behulp van selectiecriteria getypeerd en gekozen worden. Eindrapport Aristoteles versie

15 De kwaliteitscriteria die zijn vastgesteld, zijn: 1. Bestuurlijk handelingsperspectief. Verschaft de indicator informatie die relevant is voor het handelingsperspectief van het bestuur? 2. Meetbaarheid. Is de indicator meetbaar en zijn de administratieve lasten daarvoor redelijk? 3. Toerekenbaarheid. Is de gemeten prestatie toe te rekenen aan een betreffende eenheid, afdeling of organisatie? Alleen dan kunnen verbeteringen plaatsvinden. Kortom, is het duidelijk waar de verantwoordelijkheid voor de geleverde prestatie ligt? De selectiecriteria die zijn vastgesteld, zijn: 4. Plan- of praktijkarena. Prestatie-indicatoren kunnen betrekking hebben op de planarena. Het gaat hier om het opstellen, het borgen en het actualiseren van veelal wettelijk verplichte plannen. Deze prestaties kunnen gemeten worden. Daarnaast kunnen prestaties betrekking hebben op de operationele prestaties van een organisatie. Het doel van prestatiemeting is om ook deze prestaties inzichtelijk te maken. Door te selecteren op plan- en praktijkindicatoren kan een set met prestatie-indicatoren gevormd worden die iets zegt over het geheel van de organisatie, zowel planvormend als uitvoerend en dus ook zowel de koude als de warme kant van de organisatie. 5. Doorwerking samenleving. Heeft de indicator een (zichtbaar) effect in de samenleving? 6. Veiligheidsketen. De veiligheidsketen bestaat uit de onderdelen proactie, preventie, preparatie, repressie en herstel. De activiteiten van enkele domeinen, zoals de brandweer, zijn ingericht volgens deze onderdelen van de veiligheidsketen. Het is van belang dat de indicatoren evenwichtig verdeeld zijn over de verschillende onderdelen van de veiligheidsketen. 7. Input-throughput-output. Heeft de indicator betrekking op input, throughput of output? 8. INK-veld 3. Op welk onderdeel van het kwaliteitszorgsysteem heeft de indicator betrekking? 9. Bedrijfsvoeringfunctie. Heeft de indicator betrekking op Personeel, Informatievoorziening & Automatisering, Organisatie of Financiën? De kwaliteitscriteria zijn gebruikt voor een eerste selectie van indicatoren. De selectiecriteria zijn toegepast om indicatorensets te wegen : geeft een set van indicatoren een evenwichtig beeld over het totale functioneren van de organisatie? Voor een verdere uitwerking hiervan wordt verwezen naar de hoofdstukken 6 t/m De selectie heeft plaatsgevonden op basis van de INK-indeling zoals die ook gehanteerd is in bijv. het Normenboek Brandweer. Het bijna 20 jaar oude INK-model is echter recent ingrijpend gewijzigd. Om die reden is dit selectiecriterium in de volgende hoofdstukken niet opgenomen. Het ligt voor de hand om de vulling van de database in overleg met de kwaliteitsorganisaties en -netwerken van de verschillende disciplines om te zetten naar de nieuwe indeling. Eindrapport Aristoteles versie

16 3.4.2 Desk-study en interviews Alle voor de domeinen relevante documenten, zoals wet- en regelgeving, leidraden, handleidingen en normenboeken zijn onderzocht op mogelijke prestatie-indicatoren 4. De uitkomsten van deze desk-study zijn opgenomen in een groot databestand. Bij de verzameling van prestatie-indicatoren is steeds uitgegaan van bestaand beleid 5. In deze eerste fase zijn ook interviews gehouden met diverse personen, zoals de directeuren van de pilotregio s en deskundigen op het gebied van prestatiemeting, kwaliteitszorg en planning & control uit de diverse domeinen. De interviews hadden tot doel informatie over Aristoteles uit te dragen en de informatiebehoefte te peilen. Aan het eind van de eerste fase is uit het grote databestand per domein een eerste selectie met prestatie-indicatoren gemaakt. Deze selectie was zoveel mogelijk gebaseerd op de vooraf vastgestelde criteria en de informatiebehoefte GDR-sessies De resultaten van de voorgaande stap dienden als input voor een Group Decision Room (GDR) sessie. De GDR-sessies zijn per domein georganiseerd (Brandweer, GHOR, Meldkamer, Crisisbeheersing & Rampenbestrijding, Bedrijfsvoering). Deelnemers waren vertegenwoordigers van de pilotregio s, aangevuld met andere geïnteresseerden uit het veld. De resultaten van de GDR-sessies zijn verder uitgewerkt om het eerste ontwerp van het dashboard te optimaliseren en de ontwikkelsimulatie (zie hieronder) voor te bereiden. Ook heeft op basis van de vijf GDR-sessies een nieuwe selectie van sets van prestatie-indicatoren plaatsgevonden. Group Decision Room De Group Decision Room (GDR) is een instrument waarmee in korte tijd (computergestuurd) een grote groep deelnemers (maximaal 25 personen) worden bevraagd. Doordat antwoorden via de computer gegeven worden, kan de respons direct worden verwerkt. Hierover kan vervolgens de discussie gevoerd worden. Kort gezegd komt het erop neer dat in één dag de resultaten uit de eerste inventarisatie van het beschikbare materiaal en de interviews worden getoetst en aangevuld. Bijkomend voordeel van deze aanpak is dat het bijdraagt aan draagvlakcreatie, doordat betrokkenen al in een vroeg stadium worden betrokken. 4 In bijlage 2 is een lijst opgenomen van alle onderzochte documentatie. 5 Er is dus geen rekening gehouden met toekomstige ontwikkelingen. Wel zijn in volgende hoofdstukken enkele suggesties opgenomen voor de doorontwikkeling van de initiële set van indicatoren. Eindrapport Aristoteles versie

17 3.4.4 Simulatie Op 25 en 26 juni jl. vond een tweedaagse simulatie plaats. Samen met het Centre for Process Simulations (CPS) van de TU Delft heeft Berenschot de simulatie SimSeef ontwikkeld om de prestatie-indicatoren te toetsen op bruikbaarheid en haalbaarheid. Tijdens deze twee dagen gingen de deelnemers in een fictieve veiligheidsregio aan de slag. In de simulatie werden alle domeinen nagebootst: Brandweer, GHOR, Meldkamer, Crisisbeheersing & Rampenbestrijding en Bedrijfsvoering. De simulatie speelde zich af op drie niveaus: de managementteams van de domeinen, de directie van de veiligheidsregio en het bestuur. Elk team had zijn eigen set met specifieke prestatieindicatoren. Deze werden zichtbaar gemaakt op een dashboard. De simulatie bestond uit verschillende rondes, waarin de deelnemers aan de slag gingen met het opstellen van een jaarplan voor het komende jaar. Daarvoor moesten keuzes gemaakt worden. In de volgende ronde werden de effecten van die de keuzes direct zichtbaar. Na afloop van elke speelronde vond een uitgebreide evaluatie plaats op basis van de vooraf gestelde doelen: De eerste ronde had als doel te toetsen of de indicatoren voldoende informatie geven om binnen de (gesimuleerde) veiligheidsregio acties uit te zetten en beslissingen te nemen. In de tweede ronde was het doel om te toetsen of de indicatoren geschikt zijn om de effecten van eerdere acties te monitoren. In de derde ronde ten slotte werd een relatie tussen de koude fase en de warme fase gelegd. Door middel van incidenten in de warme fase en een evaluatie van de warme fase, werd beoordeeld of de indicatoren voldoende handvatten boden om: uit de evaluatie van de warme fase conclusies (voor de koude fase) te trekken en de effecten daarvan te monitoren te beoordelen of de regio voldoende is voorbereid voor een incident in de warme fase. De uitkomsten van de simulatie zijn in overleg met de projectgroep en de stuurgroep verwerkt in nieuwe sets van prestatie-indicatoren als input voor de pilotfase Pilot De verbeterde sets met prestatie-indicatoren zijn een laatste keer getoetst in de pilot. Elke pilotregio heeft tijdens de pilotperiode drie maanden prestatie-indicatoren in de praktijk toegepast. De prestatie-indicatoren zijn gebruikt in enkele planning-en-controlproducten. Op deze manier was het mogelijk om de praktische haalbaarheid en bruikbaarheid van de indicatoren te toetsten. Aan het eind van de pilot hebben alle deelnemende pilotregio s uitgebreid gerapporteerd. Alle uitkomsten zijn plenair geëvalueerd. Op basis van de uitkomsten van de pilot en deze evaluatie, zijn de sets met prestatie-indicatoren een laatste keer verbeterd en definitief gemaakt. Eindrapport Aristoteles versie