De evaluatie van multidisciplinaire crisis(oefeningen) in de Nederlandse praktijk

Maat: px

Weergave met pagina beginnen:

Download "De evaluatie van multidisciplinaire crisis(oefeningen) in de Nederlandse praktijk"

Edith van Beek
5 jaren geleden
Aantal bezoeken:

1 De evaluatie van multidisciplinaire crisis(oefeningen) in de Nederlandse praktijk 24 Januari 2016 Ralf Beerens MSc. Onderzoeker / Hoofddocent MCPM

2 Inhoud (Promotie-)Onderzoek naar evalueren Terugblik: resultaten (wetenschappelijke) literatuurstudie Onderzoeksopzet documentenstudie First impression documentenanalyse Resultaten en de praktijk 2

3 Het (promotie-)onderzoek Q: (How) Do formal evaluation of disaster mgt. exercises contribute to an improved preparedness? Q1: What is known about evaluation of disaster management exercises (in scientific literature)? Q2: How is evaluation of disaster management exercises and disaster responses documented and performed (in the Netherlands)? Q3: How should we design the evaluation process (incl. outcome/product) of Disaster Management Exercises in order to be useful and relevant (purposeful)? Q4: How can evaluation of disaster exercises contribute to an improved preparedness when disaster strikes a standard for disaster evaluation Scoping study/literature review about disaster management exercises in scientific articles. Document analysis of Exercise and Incident Evaluation Reports in the Netherlands focusing on the current design and outcome/presentation of evaluation in the Dutch Disaster Risk (crisis) Management context Survey Research to gain further insights in how users and producers of evaluation would like to see the further development of the evaluation process. This paper brings together the previous research and addresses the main question using a prescriptive approach 3

4 Evalueren, waarom? Response / Incident Evaluation Training/ Exercise Evaluation 4

Cyclic Approach to Evaluation Training need / Skills test requirement identified (1) Identify desired purpose/outcomes (6a) Identify knowledge or skill gaps (2) Design suitable YES NO (5) Were

5 Cyclic Approach to Evaluation Training need / Skills test requirement identified (1) Identify desired purpose/outcomes (6a) Identify knowledge or skill gaps (2) Design suitable YES NO (5) Were desired outcomes achieved (3) Deliver Identify desired learning outcomes (4) Review outcomes of Identify knowledge or skill gaps Design suitable YES N O Were desired Outcomes achieved Deliver (6b) Maintenance or further development Review outcomes of

6 Terugblik: resultaten literatuurstudie Er is slechts beperkte wetenschappelijke aandacht voor het evalueren van crisisoefeningen (theorie vs. praktijk); Evaluaties (en onderzoek hiernaar) is veelal beperkt tot individuele gevallen, bijna geen meta-evaluaties (body of knowledge); De meeste (wetenschappelijke) aandacht voor crisisoefeningen en evaluaties komt vanuit de medische disciplines; In evaluaties is er slechts beperkt aandacht (en uitleg) voor aspecten zoals doel, functie, vorm en context en hun onderlinge relatie. 6

7 TheoriePraktijk: Documentenanalyse Doel: het bestuderen van multidisciplinaire (oefen-) evaluaties in Nederland om inzicht te krijgen in hoe deze evaluaties in de Veiligheidsregio s ontworpen, uitgevoerd en gebruikt worden. 7

8 First impression documentenanalyse (1) Onderzoekspopulatie: 23 van de 25 regio s (92%) hebben informatie aangeleverd; (Beleids-)Documenten met daarin informatie over het evaluatieproces en ontwerp 21 regio s (34 documenten): Focus op incident- /inzetevaluaties; Weinig informatie over methodiek(en) i.r.t. doelen en functies; Ongeveer 1/3 van de regio s heeft, of gaat, hun beleid herzien. Evaluatieverslag van de meeste recente* systeemoefening: 19 regio s hebben evaluatieverslagen (25) aangeleverd; (Normen-)Kader van Inspectie; Veelal tabellen: Norm behaald ja/nee, beschrijvend. Weinig discussie over context i.r.t. norm; Diversiteit in diepgang/uitvoering. 8

9 First impression documentenanalyse (2) Evaluatieverslag van de meest recente* reguliere multidisciplinaire oefening met bestuurlijke betrokkenheid vanaf GRIP 2 15 regio s hebben evaluatieverslagen (22) aangeleverd; Methodiek in ontwikkeling/herziening of beperkte uitvoering; Soms ook op basis van (normen-)kader IV&J; (Oefen)doelen themagericht; Evaluatieverslag van een recente* inzet (incidentevaluatie) met bestuurlijke betrokkenheid vanaf GRIP 2 niveau : 17 regio s hebben evaluatieverslagen (42) aangeleverd After Action Review (AAR), First Impression Report (FIR) en Leerarena/Leertafel zijn veelgebruikte methodieken; Procesgericht (alarmering -> afschaling); Diversiteit in aanpak en diepgang. 9

10 Uit het veld Er zijn verschillen en overeenkomsten in het evaluatieproces en daardoor ontstaat de vraag om hier meer structuur en uniformiteit in aan te brengen met de optie tot maatwerk; Het is belangrijk om kennis en ervaring uit evaluaties (procesmatig, maar ook inhoudelijk) met elkaar te delen om van elkaar te leren. Niet alleen in de regio of tussen regio s maar ook landelijk. Het gebruik van digitale tools en systemen om het evaluatieproces te ondersteunen wordt steeds belangrijker. Het is belangrijk om aansluiting te zoeken bij andere processen: mono vs. multi, MOTO vs Operationele Voorbereiding/Planvorming, evalueren vs. Kwaliteitszorg. Er moet meer inzicht komen in het gebruik en het effect van evaluaties m.a.w. wat levert het op en leren we er echt van? 10

11 Wanneer is goed, goed genoeg?

Vergelijkbare documenten

Kennismiddag Evalueren van GRIP-inzetten

Kennismiddag Evalueren van GRIP-inzetten Aanleiding Binnen de veiligheidsregio s worden regelmatig evaluaties uitgevoerd van inzetten tijdens GRIPincidenten. Landelijk bestaan er echter geen afspraken