Wat testers should know about auditing

Transcriptie

1 Wat testers should know about auditing Dutch Testing Conference, April 2010 Dr. Abbas Shahim RE (partner Atos consulting, vice president ISACA) & Egbert Bouman (productmanager Valori)

2 Doel van deze presentatie Informeren: kennis van auditing en audit frameworks Adviseren: wat kunnen testers doen? Overtuigen: waarom zou je het willen?

3 Inhoud 1. Wat is auditing? 2. CobiT: Grip op IT 3. SAS 70 in de context van testen 4. Testen en auditing: integratie van 2 werelden 5. Zes tips voor testers (en auditors) 6. Vragen, discussie

4 Wat is auditing? Een (accountants)onderzoek naar een proces of organisatie Een accountantscontrole van een verantwoordingsstuk zoals een jaarrekening of (management)rapportage.

5 Auditing is dus een vorm van testen! De term testen wordt dan ook daadwerkelijk gebruikt door auditors met een eigen invulling: testen van beheersmaatregelen Fundamenteel voor auditing is dat de auditor in hogere mate dan de tester onafhankelijk is en de naleving controleert van het proces met een vastgesteld normenkader

6 Wat is IT auditing? Definitie: het vakgebied dat zich bezighoudt met het beoordelen van, danwel adviseren over een of meer kwaliteitsaspecten van (onderdelen van) de informatievoorziening in een omgeving waar wordt gebruik gemaakt van informatietechnologie IT in relatie tot de bedrijfsprocessen Met veel aandacht voor functiescheiding en invoercontroles. Voorheen: EDP-auditing

7 Sleutelbegrippen en techieken Belangrijke begrippen in auditland: Opzet: Bestaan: Werking: het is adequaat beschreven/ontworpen het is geïmplementeerd conform beschrijving(en) het werkt als bedoeld Drie technieken: Een SAS 70 type 1 audit dekt O en B. Een SAS 70 type 2 audit dekt O, B en W. Inspection: Inquiry: Observation: papier interview waarneming ter plekke

8 Belangrijke standaarden anno nu CobiT Control Objectives for Information and related Technology. Internationale ti best practices voor IT-beheersing, veelal l vanuit de IT organisatie. Owner: ISACA SAS 70 Een Amerikaanse audit standaard met een (jaarlijks) assurance rapport voor de gebruikersorganisatie.

9 Hoe beoordelen auditors het testproces? Meestal niet met TPI, TMM of TPS! De nadruk ligt op Formaliteit en Traceerbaarheid Dat is best eenzijdig, want formaliteit is niet altijd meer Dat is best eenzijdig, want formaliteit is niet altijd meer effectiviteit en efficientie

10 Heeft een efficient testproces veel formaliteit? Meer formaliteit is niet altijd meer efficientie Formaliteit kan conflicteren met moderne aanpakken Agile, Scrum, Exploratief testen, Zie ook het agile manifesto : People and interactions over processes and tools Working software over documentation Customer collaboration over contract negotiation Responding to change over following a plan Hebben we hier soms een issue?

11 Brengt een effectief testproces traceerbaarheid? Risicoanalyse Hier hebben we geen issue: transparantie moet, inderdaad Advies Acceptatiecriteria Bevindingen

12 Inhoud 1. Wat is auditing? 2. CobiT: Grip op IT 3. SAS 70 in de context van testen 4. Testen en auditing: integratie van 2 werelden 5. Zes tips voor testers (en auditors) 6. Vragen, discussie

13 Waarom is CobiT een waardevol framework? Is een populair p normenkader voor IT auditing Biedt overzicht en grip op alle IT processen Combineert goed met het veel gehanteerde SAS70 Is een prima overall kader voor Prince2, Togaf, ITIL, TMap, BiSL, ISO27001/17799, enzovoort Van CobiT kun je veel plezier hebben in de communicatie met auditors en IT managers. Maar het is best veel op de volgende sheets een Maar het is best veel, op de volgende sheets een korte introductie.

14 CobiT in context

15 De vier CobiT Process Area s

16 Voorbeeld hoe CobiT z n processen beschrijft Process Area AI (Acquire and Implement) Process AI 7 (Install and Accredit Changes) Control Satisfying business requirement By focussing on.. Achieved by Measured by AI7 is het proces waaronder ook testen valt

17 Grip op IT met CobiT Waar wil ik GRIP op? Wat moet ik dan beheersen? GRIP CobiT Objectives Door welk managementproces met welke (deel)standaarden? Project- Mngt Architectuur Security testen Prince2 Togaf ISO17799 TMap SmarTEST

18 CobiT en Testen Testen is een belangrijk onderdeel van de zogenaamde control practices (maar nog wel wat ondergewaardeerd) Testen geeft kwaliteitsoordeel van het product en inzicht om op tijd bij te sturen. Andere Control Practices : Project control practices: PRINCE2, PMBOK Architecture control practice: TOGAF Software Management Control Practice: ITIL

19 Inhoud 1. Wat is auditing? 2. CobiT: Grip op IT 3. SAS 70 in de context van testen 4. Testen en auditing: integratie van 2 werelden 5. Zes tips voor testers (en auditors) 6. Vragen, discussie

20 Wat is SAS70? Toezichthouders SAS 70 is risk control SAS S 70 is Amerikaans Gebruikersorganisatie Een SAS 70 audit wordt jaarlijks herhaald De gebruikersorganisatie is de klant Goedkeuring door de auditor na auditing van de controle maatregelen SAS 70 rapport SAS 70 is een assurance rapport Service organisatie SAS 70 is een auditing standaard De controle maatregelen in de processen

21 Betrokken partijen bij een SAS70 audit Bedrijf A (Service organisatie) Audit firma (Service auditor) Bedrijf A s klanten (Gebruikersorganisatie en interne auditors) Audit firma (Gebruiker auditor)

22 De componenten van een SAS70 rapport Rapport inhoud Type 1 Type 2 Rapport van de onafhankelijke 1 Verplicht Verplicht auditor (oordeel) Beschrijving 2 van de controle Verplicht Verplicht maatregelen en procedures 3 Informatie van de onafhankelijke auditor Optioneel Verplicht 4 Overige informatie Optioneel Optioneel

23 Inhoud 1. Wat is auditing? 2. CobiT: Grip op IT 3. SAS 70 in de context van testen 4. Testen en auditing: integratie van 2 werelden 5. Zes tips voor testers (en auditors) 6. Vragen, discussie

24 Testen en auditing ggroeien naar elkaar toe De auditor doet inhoudelijk steeds vaker wat traditioneel de tester doet De tester krijgt steeds meer oog voor proceskwaliteit Hiervoor zijn twee redenen: Automatisering van controles Compliance wetgeving Hier gaan we eens beter naar kijken!

25 Automatisering van controles Voorheen handmatige controles worden steeds meer geautomatiseerd Auditors moeten de IT-systemen en -architecturen diepgaand doorgronden voor onder andere hun eigen financiële analyses Kortom, het auditvak kent een groeiende IT-component en gaat meer dan voorheen de systemen in

26 Major driver: Compliance wetgeving

27 Waar ontmoeten testers en auditors elkaar? Enkele voorbeelden: Financiele boekhouding t/m het Grootboek Solvency II projecten bij verzekeraars Management- en sales-informatie in datawarehouses en business intelligence-systemen (BI) Klantgegevens g in Customer Relationship Management-systemen (CRM) Logistieke informatie en alles wat daarmee samenhangt in ERP-systemen

28 Overlap Testen en Auditing Ketentesten Acceptatie testen IT-, EDP- en security auditing Testen van ITsystemen Procestesten Sox compliance testen Beheerbaarheid i.c.m. beheerproces Bron: SmarTEST, hoofdstuk 20 Autorisatieschema s Valideren financieel controlemodel Beveiliging en toegang Datakwaliteit Controleerbaarheid en traceability

29 Inhoud 1. Wat is auditing? 2. CobiT: Grip op IT 3. SAS 70 in de context van testen 4. Testen en auditing: integratie van 2 werelden 5. Zes tips voor testers (en auditors) 6. Vragen, discussie

30 Zes tips voor beter samenwerken met auditors: Tip 1: Hanteer het CobiT-raamwerk Tip 2: Denk vanuit risico s en risicomitigatie Tip 3: Neem controllers en accountants serieus Tip 4: Pak een rol bij auditvoorbereiding en uitvoering Tip 5: Hanteer een breed kwaliteitsperspectief tspe spect e Tip 6: Oriënteer je op het audit-vakgebied

31 Tip 1: Hanteer het CobiT-raamwerk Dit raamwerk bevat relatief eenvoudige ITmaatregelen waaraan acceptatiecriteria gekoppeld kunnen worden (CobiT- Audit Guidelines ). CobiT is breed geaccepteerd en gebruikt, en biedt CobiT is breed geaccepteerd en gebruikt, en biedt veel ondersteuning bij testen op o.a. SOx-compliance, mits niet te rigide gehanteerd.

32 Tip 2: Denk vanuit risico s en risicomitigatie Auditors praten en denken altijd in termen van risico s en het minimaliseren van risico s: risicomitigatie. Risicogebaseerd testen sluit daar prima bij aan, en goed gevisualiseerde productrisico inventarisaties ook.

33 Tip 3: Neem controllers en accountants serieus Controllers en accountants serieuze belanghebbenden bij je project kunnen de vrijgave blokkeren hebben vaak (niet altijd!) goede contacten met de beslissers Het is beter om daar tijdig aandacht aan te besteden De opdrachtgever zal er blij mee zijn. Ik probeer altijd eerst de (interne) auditor achter mijn vrijgaveadvies te krijgen. Dat is al de helft gewonnen. (Martin Kooij, innovatiemanager bij Valori)

34 Tip 4: Pak een rol bij auditvoorbereiding Audits hebben een aparte status t.o.v. testen formele en wettelijk geregelde onafhankelijkheid testers zijn meer actief in de operatie. Maar testers kunnen wel een goede rol pakken audit preparation vanuit hun testervaring vooraf benoemen van verbeterpunten oog voor de processen achter de bevindingen

35 Tip 5: Hanteer een breed kwaliteitsperspectief p Productrisico s Het resultaat voor de business, als het project er niet meer is. I P S Informatie Gegevens in en naar het systeem Processen Organisatie en Processen Systemen Het opgeleverde informatiesysteem

36 Tip 6: Oriënteer je op het audit-vakgebied Leesadviezen: SmarTEST, slim testen van informatiesystemen Vooral Hoofdstuk 20 over proceskwaliteit en auditing. IT Governance attestation, In search of proving compliance Met veel goede informatie over SAS 70 en CobiT De ISACA website Nationaal ( of Internationaal (

37 Oproep p aan testers en auditors Zoek elkaar op en sta samen sterk!

38 Vragen? Contactgegevens Dr. Abbas Shahim RE Kantoor: Mobiel: Contactgegevens Egbert Bouman Kantoor: Mobiel:

39 Extra slides

40 Extra slide: Scope van een SAS70 rapport S G S ASS 70 U G

41 Extra slide: Types van SAS70 rapporten In een type 1 rapport (momentopname), de service auditor geeft een oordeel over: De beschrijving van alle controle maatregelen die relevant zijn voor de gebruikersorganisatie de gebruikersorganisatie De beschreven controle maatregelen zijn ontworpen om de gespecificeerde controle doelstellingen te behalen De beschreven controle maatregelen zijn geïmplementeerd Voor een type 2 rapport (tijdsperiode), de service auditor geeft een oordeel op: Dezelfde aspecten zoals hierboven aangegeven in a type 1 rapport, en De werking van de controle maatregelen

42 Extra slide: SAS70-rapport secties en verantwoordelijkheden I. Sectie Rapport van de onafhankelijke auditor II. Bedrijf A s beschrijving van de controle maatregelen en procedures III. Testen van de werking IV. Overige informatie Verantwoordelijkheden Service auditor Bedrijf A Service auditor Bedrijf A