Positieve praktijkervaringen met TRIPOD. Victor Roggeveen en Jop Groeneweg

Transcriptie

1 Positieve praktijkervaringen met TRIPOD Victor Roggeveen en Jop Groeneweg De heer Roggeveen is hoofd afdeling Zorgsystemen bij Advi-Safe Consultants B.V., de heer Groeneweg is universitair docent bij de werkgroep Veiligheid van de Universiteit Leiden Het reeds eerder in NVVK-info besproken Tripod-concept, waarbij een 11-tal BasisRisicoFactoren (BRF's) als kritische determinanten voor de mate van procesbeheersing worden gehanteerd, wordt inmiddels zo'n jaar of drie in verschillende bedrijven internationaal toegepast. Het concept kent zowel een (pro-actief) meetinstrument, Tripod DELTA, als een (re-actief) incidentenanalyse-instrument, Tripod BETA. Beide instrumenten kunnen onafhankelijk van elkaar worden toegepast. Dit artikel beschrijft de ervaringen met beide instrumenten in de praktijk. Een Tripod DELTA Conditiemeting indiceert de sterke en zwakke aspecten van de bedrijfsvoering aan de hand van een vragenlijstonderzoek. Hierbij wordt een groot aantal (gesloten) vragen uit een centraal bestand met gekalibreerde vragen geselecteerd. Om de status quo op alle niveaus en in alle afdelingen van een organisatie vast te stellen, worden deze vragen aan alle werknemers in een organisatie voorgelegd. Vervolgens worden de antwoorden centraal geanalyseerd en wordt een onderzoeksrapport opgesteld. Inmiddels hebben meer dan honderd van deze onderzoeken plaatsgevonden in diverse typen organisaties waaronder de zware industrie, transportbedrijven en chemische fabrieken. Betrouwbaarheid Daar dit type onderzoek door de onderzochte organisaties wordt gebruikt om vast te stellen waar zich latente oorzaken van storingen in de bedrijfsvoering bevinden, is de betrouwbaarheid van de resultaten van het grootste belang. Tijdens een intensieve testperiode van ongeveer vier jaar is een robuust kwaliteitsmodel ontwikkeld, waarvan het centrale vragenbestand de kern vormt. Door de specifieke redactie van de vragen en een betrouwbaarheidsanalyse op de gegeven antwoorden wordt een hoge graad van betrouwbaarheid bereikt. De gegevens worden op een standaard wijze verzameld uit een zo breed mogelijke responsgroep (bij voorkeur de gehele organisatie). Dit vereist wel dat het gehele proces vanuit een centrale organisatie wordt uitgevoerd. Dat deze stringente kwaliteitsbewaking niet voor niets is geweest, blijkt uit de hierna beschreven resultaten. Deze werden recent op de 9 th Annual Conference of the Society for Risk Analysis te Rotterdam bekendgemaakt. Meten van succes Een conditiemeting leidt tot de ontdekking van relatief zwakke elementen in de bedrijfsvoering die, hoewel ze (meestal) nog niet tot operationele storingen hebben geleid, als het ware op de loer liggen om het productieproces te stagneren, dan wel een ongeval te (laten) veroorzaken. De kennis omtrent de aard en de locatie van deze latente verstorende problemen biedt de gelegenheid om preventief tot corrigerende actie over te gaan. Door de aard van het concept indiceren Tripod DELTA-rapporten vaak problemen die relatief diep in de organisatie geworteld zijn en dus ook meer tijd, geld en moeite kosten om te worden geëlimineerd. Als een organisatie dan al die moeite heeft gedaan om de door een conditiemeting aangegeven problemen weg te werken, is het achteraf interessant om door middel van een her-meting vast te stellen of de interventies ook tot meetbare verbeteringen hebben geleid. Inmiddels zijn een aantal van deze her-metingen uitgevoerd. Hierna volgen enkele voorbeelden van de resultaten daarvan. Meetbare verbetering Bedrijf A heeft Tripod DELTA Conditiemetingen opgenomen in haar veiligheidszorgsysteem om op die wijze de effectiviteit van het systeem periodiek (eens per 2 jaar) te kunnen vaststellen. Bij een meting in 1997 waren tekortkomingen op het gebied van Onderhoudsmanagement vastgesteld. Aan de hand van de rapportage was een plan van aanpak opgesteld en met behulp van een aanzienlijk budget werden de problemen professioneel aangepakt. Teneinde vast te stellen of de interventies ook tot meetbare verbetering hadden geleid, werd in 1999 een her-meting uitgevoerd. Om zeker te stellen dat niet alleen aan symptoombestrijding was gedaan, maar de BRF Onderhoudsmanagement ook structureel was verbeterd, werd besloten om naast de in 1997 gebruikte onderzoeksvragen tevens een geheel andere set van 25 onderhouds-

2 gerelateerde vragen uit het centrale vragenbestand in het onderzoek op te nemen. Figuur 1 toont een significante verbetering in de beheersing van de gemeten BRF voor zowel de antwoorden van het operationeel personeel als van de leidinggevenden voor de beide onafhankelijke vragensets (lijst 1 en lijst 2). Deze wijze van meten wordt ook wel test-hertest genoemd. Hiermee was de effectiviteit van de kostbare interventie op objectieve wijze vastgesteld. Figuur 1 Significante verbetering na succesvolle interventie Meetbare problemen In bedrijf B wordt de effectiviteit van het zorgsysteem ook door middel van conditiemetingen vastgesteld. Ook hier was bij een conditiemeting in 1996 sprake van latente gebreken in onderhoudsmanagement, die zich vertaalden in een significante lage score voor deze BRF. Na bestudering van de resultaten besloot de organisatie tot het opstellen van een uitvoerig actieplan, dat deze gebreken zou moeten opheffen. Het betrof een bedrijf met een al wat ouder machinepark en preventief onderhoud was altijd op intuïtie van de technische dienst gedaan; een echt preventief onderhoudssysteem bestond niet. Na 3 jaar werd conform de in het zorgsysteem opgenomen meet-cyclus een periodieke her-meting uitgevoerd. Uit figuur 2 kan worden afgelezen dat in de score voor de BRF Onderhoudsmanagement niet bepaald een significante verbetering tot uiting kwam. Nader onderzoek wees uit dat men bij de implementatie van het ambitieuze verbeteringsplan met ernstige vertraging was geconfronteerd, waardoor daarvan ook geen meetbaar positief effect mocht worden verwacht.

3 Figuur 2 Vertraagde implementatie van het verbeterplan Homogeniteit Een bekend grapje stelt dat, omdat de Mississippi gemiddeld 1.20 meter diep is, het mogelijk moet zijn om wandelend de overkant te bereiken. In het midden is de vaargeul echter 7 meter diep. Een gemiddelde waarde geeft dus niet per se een indicatie omtrent de homogeniteit van de gemeten waarden. Dit geldt ook voor de waarden die door de respondenten van Tripod DELTA Conditiemetingen worden gegenereerd. Mensen werken onder vaak verschillende omstandigheden op verschillende niveaus in verschillende afdelingen. De gemiddelde door een totale organisatie gegenereerde score voor een bepaalde BRF kan verschillend zijn tussen functiegroepen en afdelingen. Echter de score zou gelijk moeten zijn als er een onwillekeurige opsplitsing in subgroepen wordt gemaakt. Als bijvoorbeeld een politieke partij tijdens de landelijke verkiezingen 55% van de stemmen haalt, kan dit percentage wel degelijk per provincie of tussen verschillende steden verschillen. Een onwillekeurige verdeling van alle stemmen in een aantal subgroepen zou echter wel (ongeveer) eenzelfde percentage per subgroep als voor de totale groep moeten geven. Om dit aspect te testen werd de populatie van bedrijf C voor één BRF onwillekeurig onderverdeeld in vier groepen (groep 1-4) met een gelijk aantal respondenten. Voor een betrouwbaar resultaat mochten de profielscores van deze groepen niet opmerkelijk van elkaar verschillen. In Figuur 3 wordt het resultaat van deze test weergegeven. Hieruit valt af te lezen dat de scores van de vier groepen nagenoeg gelijk zijn. Daarmee is vastgesteld dat het in de eindrapportage gepresenteerde gemiddelde resultaat voor een organisatie als geheel tevens representatief is voor de onwillekeurig samengestelde subgroepen.

4 Figuur 3 Vier deelgroepen - gelijke niveaus Met bovenstaande testresultaten is aangetoond dat de kwaliteit van het centrale vragenbestand dusdanig is, dat het voor de meetresultaten niet uitmaakt wie, welke vragen, in welke context krijgt aangeboden. Lokale symptomen blijken nagenoeg geen invloed te hebben op het resultaat, waardoor de meting uiteindelijk informatie levert op systeemniveau. Dit nu, kan worden gezien als een belangrijke ontwikkeling op de weg naar betrouwbare onderlinge vergelijking (benchmarking) van procesbeheersing, ook wel safety performance genoemd. Conclusie Tripod DELTA Conditiemetingen bieden de mogelijkheid om de kwetsbaarheid voor verstoringen van het bedrijfsproces binnen een organisatie, door middel van een standaard methode, betrouwbaar in kaart te brengen. De tijdens de testperiode opgestelde betrouwbaarheidscriteria zijn in de praktijk getoetst en haalbaar gebleken. Hierdoor is nu een instrument beschikbaar gekomen dat de kwaliteit van het meten van veiligheidsprestaties boven het niveau uit trekt van, door pech en geluk beïnvloede ongevalsstatistieken, of de subjectieve beoordeling van een individuele auditor. TRIPOD BETA INCIDENTEN-ANALYSE Parallel aan de ontwikkeling van de conditiemeting, is op basis van dezelfde theorie (BRF's zijn de kritische succesfactoren bij de beheersing van bedrijfsprocessen) een incidentenanalyse-instrument ontwikkeld. Dit instrument, Tripod BETA, wordt reeds langere tijd op grote schaal toegepast. Inmiddels heeft één van de eerste gebruikers van het instrument (een multinationaal chemisch concern) Tripod BETA geselecteerd als Best Practice op het gebied van incidentenanalyse. Bow Tie-model Bij Tripod BETA wordt uitgegaan van het zogenaamde Bow Tie-model (vlinderdasmodel). Daarbij staat de operationele storing die voortkomt uit een het gebrek aan beheersing van het bedrijfsproces centraal. Links van de storing (dus in de tijd gesproken: eerder) worden de beheersmaatregelen geprojecteerd en rechts van de storing (dus: later) worden de schadebeperkende maatregelen geprojecteerd.

5 Figuur 4 Het Bow-Tie- of vlinderdasmodel (Niet) Oorzakelijke verbanden Op basis van dit model wordt aan de hand van een vastgelegde analysestructuur zichtbaar gemaakt welke basisoorzaken ten grondslag lagen aan het onderzochte incident. Behalve deze elementen heeft een Tripod BETA-analyse door haar specifieke methodiek de potentie om een scala aan bijkomende informatie te genereren. Het betreft dan veelal gebeurtenissen en invloeden die ogenschijnlijk niets met het specifieke incident te maken hebben, maar wel als het ware als (latente) ziektekiemen in het systeem op de loer hebben gelegen. Klaar om toe te slaan zodra de situatie door een samenloop van omstandigheden zodanig op scherp is gezet, dat bijvoorbeeld een enkele op zich onbetekende handeling van een individu voldoende is om een ernstig incident te laten ontstaan. Door onvolkomenheden in de beheersing van het bedrijfsproces blijken deze schijnbaar onbelangrijke factoren toch hun negatieve invloed te kunnen uitoefenen op het incidentenproces. Tripod BETA onderscheidt zich van andere onderzoeksmodellen door haar mechanisme om verbanden te leggen tussen specifieke incidenten en de algemene kwetsbaarheid van de organisatie voor storingen in de bedrijfsvoering. Daarmee kunnen door deze analyses vaak onvermoede relaties worden gelegd tussen een incident en bestaande, maar inmiddels door een ieder geaccepteerde latente gebreken. Multi-incident-profielen Door Tripod BETA-analyses worden onder meer de voor het incident verantwoordelijke BRF s vastgesteld. Echter, een bepaalde selectie BRF s die verantwoordelijk is voor een specifiek incident hoeft niet noodzakelijkerwijs representatief te zijn voor de algemene status quo van de organisatie als geheel. Teneinde een meer algemeen beeld hieromtrent te verkrijgen is het dan ook zinvol de resultaten van een aantal incidenten gezamenlijk in één profiel te verwerken. Op deze wijze kan worden gevisualiseerd welke BRF s meer en welke minder bijdragen aan het ontstaan van incidenten.

6 Figuur 5 Multiple-incident-profiel Conclusie Door middel van Tripod BETA Incidenten-analyses kunnen re-actieve analyses worden uitgevoerd, waarbij niet alleen op causale relaties wordt gelet, maar tevens factoren worden belicht die mogelijk van invloed kunnen zijn geweest op het gebeurde. Hierdoor ontstaat een breder beeld van de omstandigheden waaronder een incident kon plaatsvinden. Bij het instrument worden de oorzaken van de onderzochte incidenten uiteindelijk herleid tot BasisRisicoFactoren, waardoor tezamen met Tripod DELTA Conditiemetingen een uniforme benadering op systeemniveau mogelijk is. Referenties: - Groeneweg, J. Controlling the controllable, DSWO Press Leiden, Lambers, M.G.F. Het verhogen van de constructvaliditeit en de test-hertest-betrouwbaarheid van Tripod-Delta Doctoraal scriptie (niet gepubliceerd), Faculteit voor experimentele psychologie, Universiteit Leiden, Brink, H. van den., Groeneweg, J., Lambers, M.G.F., Roggeveen, V. - TRIPOD Delta; detecting organisational vulnerability by mapping operational performance Proceedings of the 9th Annual Conference Risk Analysis: Facing the new millenium, by the Society for Risk Analysis, Rotterdam, October 10-13, Zwaard, W. De menselijke fout, terug van weggeweest? Maandblad voor Arbeidsomstandigheden. Vol. 66, 6, , NVVK Alle rechten voorbehouden. Niets van deze tekst mag worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch, of enige andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever.