Kennismiddag Evalueren van GRIP-inzetten

Transcriptie

1 Kennismiddag Evalueren van GRIP-inzetten Aanleiding Binnen de veiligheidsregio s worden regelmatig evaluaties uitgevoerd van inzetten tijdens GRIPincidenten. Landelijk bestaan er echter geen afspraken aan welke voorwaarden deze evaluaties moeten voldoen 1. Daarom is het goed om met elkaar in gesprek te gaan over de manier waarop GRIP-inzetten worden geëvalueerd in de regio s. Op deze manier kunnen we van elkaar leren en best-practices delen. De werkgroep Evalueren, het IFV en de gastregio Veiligheidsregio Utrecht, hebben daarom op 24 November 2016 een kennismiddag georganiseerd om kennis-en ervaringsuitwisseling op gang te brengen. Doelen van de bijeenkomst > Het delen van de verschillende initiatieven en manieren waarop evaluaties van GRIP-inzetten worden uitgevoerd in de regio s. > Het inventariseren van de verschillende systemen die gebruikt worden voor het verwerken en borgen/leren van de evaluaties van GRIP-inzetten. > Het uitwisselen van de manieren waarop verbeterpunten in de regio s worden opgepakt en hoe van evaluaties wordt geleerd. > Kennismaken met elkaar. Werkwijze Om overeenkomsten en verschillen in het evaluatieproces bespreekbaar te maken zijn aan de hand van vijf vragen de deelnemers in de subgroepen het gesprek met elkaar aangegaan. De deelnemers per subgroep kwamen uit diverse regio s/organisaties zodat er een algemeen beeld ontstond per subgroep. Aanwezig waren vertegenwoordigers uit 19 veiligheidsregio s, waaronder procescoördinatoren, MOTO-medewerkers en evaluatoren (LME). Tevens waren een aantal vertegenwoordigers uit andere organisaties aanwezig zoals politie, waterschap en adviesbureaus. Een samenvatting van de uitkomsten van de gesprekken is hieronder weergegeven. Wanneer wordt in uw regio de inzet van een GRIP-incident geëvalueerd? Alle aanwezige veiligheidsregio s geven aan dat GRIP-inzetten geëvalueerd worden. De wijze waarop dit gebeurt, kan verschillend zijn. Er zijn bijvoorbeeld regio s waar alle GRIP-incidenten worden geëvalueerd (tenzij ) maar er zijn ook regio s waarbij men pas vanaf een bepaald GRIP-niveau gaat evalueren. In een enkel geval gaat men niet alleen uit van GRIP bij het uitvoeren van een evaluatie, maar van alle grootschalige incidenten. Over het algemeen zijn er een aantal overeenkomsten in de keuze voor een bepaald GRIP-niveau als uitgangspunt voor een evaluatie, bijvoorbeeld vanaf GRIP 1, maar er zijn op dit punt ook een aantal verschillen en wordt er pas vanaf een hoger GRIP-niveau formeel geëvalueerd. Vaak vindt men de oorsprong voor het uitvoeren van evaluaties bij GRIP-incidenten in beleid. Echter in sommige gevallen wordt dit ook situationeel bepaald, bijvoorbeeld op basis van een (evaluatie-) behoefte of vraag, of gebeurt dit aan de hand van een uit te voeren quick-scan (first-impression). Er is soms verschil tussen theorie (beleid) over wanneer geëvalueerd dient te worden en een evaluatie in de praktijk. Zo kan er bijvoorbeeld afgeweken worden van het beleid indien er een grote evaluatiebehoefte bestaat bij de betrokkenen en kunnen de accenten hiervan ook verschuiven. Naast de koppeling tussen het GRIP-niveau en het wel/niet uitvoeren van een evaluatie kan er, ook onderscheid worden gemaakt tussen een intern of extern uitgevoerde evaluatie. Sommige regio s laten hogere GRIP-niveaus (bijv. GRIP 3) namelijk extern evalueren. 1 Zie ook Staat van de Rampenbestrijding 2016 Landelijk Beeld, pagina 32 paragraaf 6.2 Evalueren.

2 In het algemeen wordt ervaren dat de opvolging van evaluaties en de uitkomsten vaak lang op zich laten wachten. In de meeste gevallen wordt de evaluatie kort na het incident opgepakt. Er wordt ook aangegeven dat in een enkel geval een evaluatie na een half jaar nog werd opgepakt omdat de behoefte in de organisatie hiervoor nog steeds bestond. Door alle veiligheidsregio s wordt wel aangegeven dat evalueren altijd zo snel als mogelijk opgepakt zou moeten worden. NB. In eerste instantie worden evaluaties gebruikt om van te leren. Het komt echter voor dat deze leer evaluaties later gebruikt worden om zich te verantwoorden. Daarnaast komt het voor dat de ene partij wel wil evalueren en de andere niet, bijvoorbeeld in een situatie waarin geen opschaling heeft plaatsgevonden. Tot slot wordt aangegeven dat er een verschil is tussen evaluaties om van te leren met specifieke kwalitatieve leervragen en het afwerken van standaard vinklijstje met meer bondige en kwantitatieve gegevens. Hoe evalueert uw regio de inzet? De regio s gebruiken diverse evaluatiemethodieken: > First Impression Report (FIR); eventueel per functionaris/team > story-telling (VR Drenthe) > After Action Review > leertafel > leerarena > STARR-methodiek > quick-scan (m.b.v. vragenlijsten) > bespreking van rapporten. Evaluaties variëren van individuele evaluaties tot collectieve (groeps-)evaluaties. Sommige methoden komen vaker voor dan anderen en worden ook in combinatie gebruikt, bijvoorbeeld First-Impression in combinatie met een After Action Review, waarbij de First-Impression dient als input voor bijvoorbeeld de After Action Review. Opvallend is dat de definitie niet altijd eenduidig is over het gebruik van methodieken en een methodiek dus op meerdere manieren kan worden toegepast. Daarnaast is digitaal evalueren bijv. met behulp van een app 2 of digitale omgeving 3 (tool/systeem) in opkomst. Men kan digitaal evalueren op meerdere momenten, zowel tijdens de inzet als erna met behulp van vragenlijsten. Evaluaties worden door verschillende personen in een organisatie uitgevoerd. In sommige regio s maakt men voor de uitvoering van evaluaties gebruik van een (eigen) pool van evaluatoren. Er zijn ook regio s, zoals Friesland, waarbij er een evaluator is die de key-spelers bij elkaar brengt en ervoor zorgt dat het evaluatieproces wordt bewaakt, uitgevoerd wordt en aandacht krijgt. In andere regio s wordt deze functie vervuld door een leeragentschap (VR Brabant-Noord), commissie (VR Hollands- Midden) of afdeling. Sommige veiligheidsregio s bevragen alle betrokken functionarissen, anderen slechts enkele key-spelers uit de verschillende kolommen. Er werd zelfs het voorbeeld geschetst waarbij er sprake is van een vaste dag per week waarop er over evaluaties gesproken wordt binnen de organisatie. Het mondeling (bespreken) van evaluaties tijdens of direct na afloop van een inzet, gebeurt ook vaker. Op deze manier is er dezelfde dag nog een first impression beschikbaar. In sommige gevallen worden de evaluaties tijdens (of na) een inzet geleid door de voorzitter van het betreffende team (OL of LCopi) en vindt hiermee afstemming plaats. Na afloop worden de evaluaties verder uitgewerkt door de betreffende afdeling of evaluatoren. NB. Bij de politie is er in een eenheid ook sprake van een evaluatorenpool. Men maakt hier ook eventueel gebruik van een evaluator van dienst die als vaste evaluator in het SGBO optreedt. Dit zou eventueel ook in de veiligheidsregio toegepast kunnen worden. 2 Zie Best Practice VR IJsselland 3 Zie Best Practice VR Friesland en VNOG

3 Wat wordt er geëvalueerd? Er is wederom een grote diversiteit aan mogelijkheden voor de focus van een evaluatie. Er is geen eenduidig en gemeenschappelijk kader waaraan GRIP-inzetten worden getoetst. Er kunnen globaal drie algemene richtingen voor de focus van een evaluatie worden onderscheiden: 1. De snelheid van de alarmering en de inzet (opkomsttijden). 2. De werking van de hoofdstructuur en bijbehorende processen m.b.v. standaard vragen (kaders Inspectie V&J conform de systeemtest). 3. Thematische evaluaties (bijv. voorwaardenscheppende processen, afstemming van processen, dilemma s zoals de juiste GRIP). In de Veiligheidsregio Fryslan wordt er breder gekeken dan alleen de inzet, namelijk ook naar het risico op herhaling en de relatie met andere incidenten en of de veiligheid van de hulpverlener en/of burger in het geding is geweest (burgerbeleving). Als basis voor evaluaties wordt er gebruik gemaakt van diverse soorten informatie die achteraf wordt verzameld uit bijv. operationele informatie uit LCMS, GMS (bestanden uit alarmeringscomputers), geluidsbestanden, verslagen en besluitenlijsten en mono-inzetformulieren. Daarnaast wordt er gebruik gemaakt van omgevingsanalysedata, (sociale) media-informatie en onderliggende documenten zoals procedures, risicoprofiel en planvorming. Tenslotte wordt er ook nog achteraf informatie verzameld met behulp van digitale vragenlijsten, interviews en bijeenkomsten. Men geeft aan dat de respons op vragenlijsten achteraf niet altijd even groot is. Dit zou te maken kunnen hebben met het feit dat de daadwerkelijk opbrengst van een evaluatie niet altijd voldoende zichtbaar is (zie onderstaande vraag). Wat doet uw regio met de uitkomsten van evaluaties? Evaluatie-uitkomsten worden vrijwel altijd verwerkt in rapportages, evaluatieverslagen en gebruikt als basis voor (vervolg-)bijeenkomsten. De evaluatie-uitkomsten worden idealiter vervolgens (organisatiebreed) opgepakt in diverse (werk-) groepen bijv. door actiepunten te benoemen en deze bij te houden. Dit kan zowel intern als extern zijn. De focus ligt hierbij op verbeterpunten ( pijnpunten ). De uitkomsten worden in sommige regio s gebruikt als input voor vakbekwaamheid en planvorming (processen, procedures, plannen). Ook wordt het genoemd als input voor de Inspectie V&J. Wel is het zo dat men aangeeft dat er gekeken moet worden naar wanneer evaluatie-uitkomsten uit mono-evaluaties relevant zijn voor multi en omgekeerd zodat dit ook gedeeld wordt. De vraag die bij meerdere regio s leeft is echter hoe de uitkomsten van een evaluatie het beste geborgd kunnen worden. Moeten alle verbeterpunten aan actiehouders gekoppeld worden en moet de opvolgingstermijn gemonitord worden? Daarnaast kunnen, als de evaluatie-uitkomsten en leerpunten geregistreerd worden, trendanalyses, meta-analyses of rode draden analyses (op centrale terugkerende thema s) worden uitgevoerd. Ook dit kan weer digitaal m.b.v. een dashboard of evaluatiemonitor in Excel waarbij een overzicht van lessons identified zichtbaar is. De laatstgenoemde, Excel, komt het meest voor als middel om informatie te registreren en te ordenen. NB. Evaluaties komen niet altijd bij de juiste personen terecht en er is een verschil tussen monoevaluaties en multi-evaluaties. Wat missen we nog, wat hebben we nog nodig? Vanwege de grote diversiteit is er een vraag naar, of voorkeur voor, het streven naar meer uniformiteit. Er wordt zelfs een landelijke standaard en landelijke database als mogelijkheid genoemd. De focus van deze uniformiteit zou zich naast het proces ook op het delen/ontsluiten van kennis moeten richten, zowel binnen de eigen organisatie/regio als Landelijk. Verder is er behoefte aan digitale hulpmiddelen in het evaluatieproces en bij het verspreiden van evaluatie-uitkomsten (digitale werkomgeving). Tevens zouden evaluatoren uitwisselbaar moeten zijn.

4 Een eerste stap in het stroomlijnen van de huidige diversiteit zou een handreiking kunnen zijn waarin bijv. typen evaluaties, methodieken en de mogelijke toepassing en keuzes hiervan in het evaluatieproces beschreven zijn. Belangrijke randvoorwaarden om het evaluatieproces te verbeteren, zijn steun vanuit de organisatie en van elkaar bijv. collega s die willen meedenken. Ook moet men goed kijken naar de aansluiting op andere ontwikkelingen zoals tussen multi- en mono-evaluaties, het MOTO-proces en kwaliteitszorgsystemen (voor de afhandeling van actiepunten). Dit kan met behulp van de werkgroep evalueren over het proces en bijv. een kennisgroep die incidenten (uitkomsten van evaluaties) bespreekt en deelt (kennisregie). Een belangrijke uitdaging voor de toekomst is om ervoor te zorgen dat het evaluatieverslag (de evaluatie uitkomsten) breder bekend wordt gemaakt, beschikbaar komt en er ook daadwerkelijk (zichtbaar) geleerd wordt. Er is een grote behoefte aan het ontsluiten en delen van kennis over en uit (lessons identified) evaluaties. Samengevat > Er zijn verschillen en overeenkomsten in het evaluatieproces en daardoor ontstaat de vraag om hier meer structuur in aan te brengen m.b.v. een visie, handreiking of standaard, zodat er inzicht kan komen in het (multidisciplinair) presteren van een veiligheidsregio. > Het is belangrijk om kennis en ervaring uit evaluaties (procesmatig, maar ook inhoudelijk) met elkaar te delen om van elkaar te leren. Niet alleen in de regio of tussen regio s maar ook landelijk. > Het gebruik van digitale tools en systemen om het evaluatieproces te ondersteunen wordt steeds belangrijker. Er zijn reeds verschillende initiatieven ingezet (zie best-practices) waar regio s bij kunnen aansluiten. > Het is belangrijk om aansluiting te zoeken bij andere processen: mono vs. multi, MOTO vs Operationele Voorbereiding/Planvorming, evalueren vs. Kwaliteitszorg. > Er moet meer inzicht komen in het gebruik en het effect van evaluaties m.a.w. wat levert het op en leren we er echt van? Naar aanleiding van de uitkomsten van deze bijeenkomst en de feedback van de deelnemers zal de werkgroep Evalueren in samenwerking met het IFV in 2017 opnieuw een aantal bijeenkomsten op het thema Evalueren organiseren. Daarnaast gaat de werkgroep onderzoeken hoe de genoemde punten verder opgepakt kunnen worden door het landschap van evalueren in Nederland in kaart te brengen als basis voor een toekomstvisie. Een belangrijke randvoorwaarde is draagvlak en ondersteuning voor de werkgroep in het land en op strategisch niveau. Best-Practices Tijdens de kennismiddag hebben John Vredenbregt (Veiligheidsregio IJsselland), Sebastiaan Bastiaans (Veiligheidsregio Fryslan), Ellen van Driest (Veiligheidsregio Noord-en-Oost Gelderland) en Marlies Banens (Veiligheidsregio Utrecht) hun best-practices gedeeld. Deze presentaties zijn te vinden op het kennisplein van het IFV bij dit dossieritem. Verzoek ten behoeve van onderzoek Het Instituut Fysieke Veiligheid (IFV) ondersteunt, in samenwerking met de Universiteit van Lund (Zweden), het promotieonderzoek van Ralf Beerens naar het evalueren van crisis(oefeningen). Het doel van dit promotieonderzoek is om een bijdrage te leveren aan een betere voorbereiding op rampen en crises door middel van het verbeteren van het evaluatieproces (van oefeningen) en het evaluatieproces beter aan te laten sluiten bij inzichten uit de theorie en wensen in de praktijk. Een belangrijke stap in dit onderzoek is gerelateerd aan deze kennismiddag en heeft als doel het in kaart brengen van hoe in Nederland multidisciplinaire incidenten en oefeningen geëvalueerd worden. Om dit mogelijk te maken, wordt er een documentenstudie uitgevoerd. Om deze studie uit te kunnen voeren zijn wij per veiligheidsregio op zoek naar de volgende documenten. 1. (Beleids-)Documenten met daarin informatie over het evaluatieproces en ontwerp die in uw regio de basis vormen voor het uitvoeren van oefen- en inzetevaluaties (incidentevaluaties); 2. Evaluatieverslag van de meeste recente* systeemoefening; 3. Evaluatieverslag van de meest recente* reguliere multidisciplinaire oefening met bestuurlijke betrokkenheid vanaf GRIP 2 niveau, maar bij voorkeur op GRIP 3 of GRIP 4-niveau (let op: niet systeemoefening);

5 4. Evaluatieverslag van een recente* inzet (incidentevaluatie) met bestuurlijke betrokkenheid vanaf GRIP 2 niveau, maar (indien beschikbaar) bij voorkeur GRIP 3 of 4. * Belangrijk criterium is dat de documenten van recente datum zijn (bij voorkeur uit de periode ) en voorzien zijn van deze datum. De documenten kunt u sturen aan: ralf.beerens@ifv.nl. Met het verstrekken van deze documenten draagt u bij aan het verkrijgen van een totaaloverzicht en uiteindelijk het optimaliseren van het evaluatieproces teneinde beter voorbereid te kunnen zijn op rampen en crises. Tevens kunnen de resultaten gebruikt worden als input voor een volgende bijeenkomst op het thema evalueren. NB. Dit verzoek is inmiddels ook uitgezet via de hoofden veiligheidsbureaus en het netwerk MOTO en het is daarom raadzaam om uw collega s even te vragen of de documenten van uw regio al zijn aangeleverd.