Risico-intelligentie en kansvertekeningen

Transcriptie

1 Boekbespreking Risico-intelligentie en kansvertekeningen 8 september 2017 Heeft u weleens in de vorm van stoplichten of andere kleurindicaties aan uw auditee gerapporteerd hoe groot de geconstateerde risico s zijn en daarmee hoe urgent het doorvoeren/aanscherpen van beheersingsmaatregelen is? En heeft u zich ooit afgevraagd waarom het misschien niet verstandig is om in deze vorm te rapporteren? De hier besproken boeken behandelen deze en andere vraagstukken op het terrein van risicoanalyse en kans-inschatting. Deze twee boeken zijn RQ van Dylan Evans en Het onwaarschijnlijkheidsprincipe van David Hand. Beide boeken hebben het thema kansrekening gemeen. Dylan Evans beschrijft dit vanuit het perspectief risicointelligentie (risicoquotiënt: RQ), vrij vertaald het vermogen om (nauwkeurig) kansen in te schatten dat gebeurtenissen zich voordoen. Risico-intelligentie zou bepalend zijn voor het goed beslissingen kunnen nemen in onzekere situaties. David Hand beschrijft deze thema s vanuit het perspectief van het onwaarschijnlijkheidsprincipe, het principe dat verklaart waarom veel gebeurtenissen die wij als zeldzaam of toevallig ervaren eigenlijk heel alledaags zijn. De twee boeken hebben ook gemeen dat zij beschrijven wat oorzaken kunnen zijn voor een vertekende kansrekening. David Hand legt dit vooral uit vanuit de technische kant van statistiek: de vijf strengen van zijn onwaarschijnlijkheidsprincipe. Dylan Evans legt in dit kader vooral ook nadruk op persoonskenmerken en menselijk gedrag. 1

2 Statistiek begrijpelijk gemaakt Beide boeken reiken kennis aan op het gebied van kansrekening, uitgelegd aan de hand van voorbeelden. De auteurs zijn erin geslaagd de principes van kansrekening duidelijk uit te leggen op een manier die ook begrijpelijk is voor degenen die moeite hebben (gehad) met kansrekening. Vooral de voorbeelden in de boeken zijn hierbij dienstbaar. Beide boeken zijn enthousiasmerend en nodigen uit om meer te leren over kansrekening. Zij zijn erin geslaagd om kansrekening voor mij tot leven te brengen. De voorbeelden zijn niet alleen verduidelijkend, maar geven soms ook een verrassende kijk op alledaagse gebeurtenissen, soms zelf gebeurtenissen waar wij als auditor mee te maken krijgen. Zo neemt Hand het beleid om flitspalen te plaatsen op locaties waar veel ongelukken gebeuren als illustratief voorbeeld om het verschijnsel van regressie naar het gemiddelde uit te leggen. Vrij vertaald naar de auditpraktijk is het bijvoorbeeld verleidelijk om beheersingsmaatregelen daar aan te bevelen waar zich het afgelopen jaar de meeste incidenten hebben voorgedaan. Hand demonstreert via zijn voorbeeld met flitspalen dat dit niet altijd een goede beslissing is. Het aantal incidenten fluctueert immers van jaar tot jaar en het kan best zijn dat het afgelopen jaar een toevallige hoge uitschieter was. De kans is dan groot dat het aantal incidenten het volgende jaar ook zonder extra maatregelen al minder zou zijn en dichter bij het meerjarige gemiddelde zou liggen (regressie naar het gemiddelde). De beide boeken vullen elkaar goed aan. Daar waar de ene auteur er minder goed in slaagt een concept goed uit te leggen, slaagt de ander daar iets beter in. Zo legt Evans bijvoorbeeld de Bayesiaanse statistiek uit met het volgende voorbeeld. Stel dat 0,2 procent van een bevolkingsgroep kans heeft een bepaalde ziekte op te lopen en dat een test voor deze ziekte in 5 procent van de gevallen onterecht de diagnose stelt dat de geteste persoon deze ziekte heeft. Dan is er iets minder dan 4 procent kans dat iemand die hier positief op is getest inderdaad de ziekte heeft. Dit voorbeeld verduidelijkt de theorie slechts matig. Maar pak je de uitleg van David Hand erbij, dan wordt de Bayesiaanse statistiek je ineens duidelijk. Omgekeerd biedt het boek van Evans ook weer verhelderende aanvullingen op onderwerpen die Hand bespreekt. 2

3 De link met het auditberoep De link met het auditberoep komt het best tot uitdrukking bij Evans. Hij beschrijft bijvoorbeeld een situatie waarin hij geholpen heeft de risico-intelligentie te verhogen om risicobeheerprocessen te verbeteren. Hierbij maakt hij vooral het punt dat risicoclassificaties als hoog, laag en gemiddeld een dooddoener zijn voor risicointelligentie. Ditzelfde geldt voor het gebruik van kleurcodes et cetera om de ernst van een risico aan te duiden. Hij stelt dat hierdoor een communicatie-illusie kan ontstaan. Mensen concluderen dat ze het eens zijn over de kans op een bepaalde gebeurtenis, maar in werkelijkheid kennen ze een verschillende kans toe aan deze gebeurtenis. Vanzelfsprekend impliceert alleen de term risico-intelligentie al de relevantie van dit thema voor de auditor: het auditberoep heeft alles te maken met risico s. Evans legt uit en demonstreert waardoor en hoe ons vermogen om kansen nauwkeurig in te schatten wordt beïnvloed en geeft aanwijzingen hoe onze risico-intelligentie te verbeteren. De link met het auditberoep is wat minder direct bij Hand. Bedenk echter wel dat het onwaarschijnlijkheidsprincipe van Hand nauw samenhangt met valkuilen bij het doen van onderzoek Hand beschrijft ook voorbeelden gerelateerd aan onderzoek en met kritisch denken. Als auditor verrichten wij onderzoek en ook de term professioneel kritische instelling is ons (vooral de accountants) niet vreemd. Hoewel de link tussen het onwaarschijnlijkheidsprincipe en het auditberoep in het boek van Hand wat verder weg lijkt, is die link dus wel degelijk aanwezig. Het onwaarschijnlijkheidsprincipe heeft mij in elk geval nieuwe inzichten gegeven in kritisch denken bij het doen van onderzoek. De toepassing van data-analyse 3 In het bijzonder wil ik stilstaan bij de toenemende toepassing van data-analyse in auditing. Geen van de twee boeken gaat daar direct op in, maar enkele principes uit beide boeken vinden hun toepassing bij het gebruik van data-analyse in de audit. In het bijzonder bevatten zij aanwijzingen om valkuilen te vermijden. Als voorbeeld de wet van de selectie. Hand bedoelt hiermee dat selectiviteit kan leiden tot een vertekening bij de inschatting van een kans. Hij illustreert dit aan de hand van flitspalen (zie eerder) en dobbelstenen. Ook noemt hij in dit verband de term postdictie (verklaring achteraf altijd prijs) als tegenhanger van predictie. Evans behandelt postdictie in zijn boek onder de noemer De gevaren van wijsheid achteraf. Het heeft alles te maken met de gevaren van het op basis van kennis achteraf verklaren hoe we een gebeurtenis hadden kunnen voorspellen. Een (niet uit het boek afkomstig) voorbeeld kan dit verduidelijken. Na een terroristische aanslag melden de media vaak dat de pleger al bekend was bij de inlichtingendienst en dat er voor de persoon was gewaarschuwd et cetera. Op basis hiervan zou je geneigd zijn te concluderen dat de inlichtingendiensten de kans dat de persoon een aanslag

4 zou plegen vooraf als hoog hadden moeten inschatten, uiteraard met maatregelen als gevolg. De vraag is echter of op basis van de waarschuwingen vooraf te voorspellen was geweest dat de pleger de aanslag zou gaan plegen. Misschien zijn er wel honderden (misschien zelfs duizenden) andere, vergelijkbare potentiële aanslagplegers bekend bij de inlichtingendiensten die niet daadwerkelijk overgaan tot het plegen van een aanslag. Zou je dan met recht kunnen volhouden dat juist bij deze ene persoon de kans dat hij tot een aanslag zou overgaan vooraf als hoog had moeten worden ingeschat? Data-analyse kan bijvoorbeeld worden toegepast om te zoeken naar afwijkende transacties. Vrij vertaald, zou je niet moeten proberen om plausibele verklaringen te zoeken voor het feit dat deze afwijkende transacties niet zijn afgevangen in de interne beheersing. In elk geval niet als je dat doet om vervolgens, na correctie van die transacties, alsnog een goedkeuring over de interne beheersing te geven. Het zoeken naar verklaringen is natuurlijk wel een zinvolle activiteit om eventuele structurele tekortkomingen in de interne beheersing op het spoor te komen. Lezen of niet? Beide boeken zijn een nuttige verrijking voor de auditor. Voor het boek van Hand geldt weliswaar dat de relatie met het auditberoep niet direct wordt gelegd, maar toch was het voor mij vanzelfsprekend dat de door Hand geschetste principes aanzetten tot kritisch denken over (on)waarschijnlijkheden, een noodzakelijke vaardigheid, ook voor auditors. Evans verbindt risico-intelligentie wat duidelijker met het auditberoep. Merk op dat hij vooral ingaat op het nemen van beslissingen in onzekere situaties. Dit lijkt haaks te staan op het auditberoep, een beroep gericht op het verschaffen van zekerheid. Verschaffen van zekerheid veronderstelt dat de werkelijkheid voorspelbaar is. Echter, Evans maakt duidelijk dat uitgaan van een voorspelbare wereld niet altijd getuigt van risico-intelligentie. Sommigen zullen de boeken ervaren als vernieuwend en misschien wel confronterend. Voor anderen vooral de statistisch aangelegden zullen de door de auteurs geschetste principes al vanzelfsprekend zijn. Beide boeken zijn begrijpelijk geschreven, ook voor statistisch minder goed onderlegde lezers. De voorbeelden van de auteurs verduidelijken de stof en geven vooral een leuke, anekdotische lading aan de boeken en een andere kijk op de (on)waarschijnlijkheid van gebeurtenissen. Voor wie kansrekening beschouwt als een noodzakelijke vaardigheid van een auditor zijn deze boeken zeker aanraders. 4

5 A.J. Westgeest MSc RE Naast zijn parttimebaan als docent op de opleiding Accountancy aan De Haagse Hogeschool, is Arnold Westgeest zelfstandig adviseur. Hij adviseert en ondersteunt accountantskantoren bij hun accountantscontroles en geeft naast vaktechnische adviezen ook trainingen op dit gebied. Een van zijn specialismen is data-analyse bij de jaarrekeningcontrole. 5