Audit Standaard Platform 2016

Transcriptie

1 Auditdienst Rijk Ministerie van Financiën Audit Standaard Platform 2016 Rapport van bevindingen

2 Colofon Titel Audit Standaard Platform 2016 Uitgebracht aan Hoofddirecteur Financiën Management en Control Datum 13 februari 2017 Kenmerk Inlichtingen Auditdienst Rijk

3 Inhoud Aanleiding opdracht 4 1 Aan de BuCa-eisen is in opzet in belangrijke mate voorzien 5 2 SP/CA is uitbreidbaar door o.a. virtualisatie, echter nog niet getest 7 3 Onderzoek naar de inrichting van het Beheer uitgesteld naar september Managementreactie programma Alliantie 9 5 Verantwoording onderzoek Werkzaamheden en afbakening Gehanteerde Standaard Verspreiding rapport 10 6 Ondertekening 11 Bijlage vergelijking BuCa-eisen vs maatregelen 12

4 Aanleiding opdracht Het Standaard Platform/Centraal Aansluitpunt (verder in het rapport afgekort tot SP/CA) is in de Business Case gedefinieerd als Een schaalbaar, cloud gebaseerd applicatie platform met een groeiend aantal herbruikbare componenten met ondersteuning voor automatisch testen en uitrollen van applicaties en releases. Aanleiding voor dit onderzoek is de fase waarin het SP/CA zich bevindt, namelijk de core van het SP/CA is opgeleverd en de Alliantie (bestaande uit OCW/DUO/SSO Noord, EZ/DICTU, IenM/DCI) is zich aan het voorbereiden om een tijdelijke Organisatie neer te zetten en om nieuwe klanten te werven. De wens van de opdrachtgever, Hoofddirecteur IenM/FMC, is geweest om een beeld te verkrijgen ter beantwoording van de bestuurlijke vraag of met de huidige stand van de techniek van het SP/CA aan de business case kan worden voldaan. De bevindingen uit ons onderzoek geven invulling aan dat beeld. 4 van 17 1 Audit Standaard Platform 2016

5 Aan de BuCa-eisen is in opzet 1 in belangrijke mate voorzien In de Business Case (BuCa) Standaard Platform (versie 1.0 d.d. 7 november 2015) staan 24 eisen waaraan het SP/CA moeten voldoen (in de bijlage zijn de eisen voor hergebruik samengevoegd tot 1 eis). In ons onderzoek hebben we getoetst in hoeverre aan deze buca-eisen is voldaan. Dit is gedaan naar het moment van december Het onderzoek betreft de opzet van de maatregelen. Wij hebben 2 demo s bijgewoond waarbij met name is gekeken naar de implementatie van de componenten en omgevingen. Een aantal eisen zijn geformuleerd in vergelijkende zin. Een voorbeeld daarvan: Sneller implementeren van nieuwe applicaties. Er is echter geen nulmeting geweest. Dus de vraag is dan: sneller in relatie tot wat? En de eis is ook niet erg SMART. We hebben een dergelijke eis geïnterpreteerd als zijn er maatregélen genomen die bijdragen aan het snel implementeren van applicaties (in dit specifieke voorbeeld). Van de 24 eisen konden er 3 niet beoordeeld worden. Van 14 eisen kunnen we zeggen dat in opzet daaraan is voldaan. Voor 5 eisen geldt dat deze eis in opzet niet beoordeeld kan worden (maar in werking beoordeeld zou moeten worden in samenhang met een klant van het SP/CA) en bij 3 eisen plaatsen we een opmerking. De details zijn in de bijlage terug te vinden. Het beeld uit ons onderzoek is als volgt: De gekozen oplossing voor het SP/CA sluit aan bij de rijksbrede strategie zoals het gebruik van open source infrastructuurcomponenten, een Cloud provider en een Service Gerichte Architectuur. Eén van de voordelen van de keuze voor open source infrastructuurcomponenten is het feit dat deze producten kostenloos zijn. Het is echter niet geheel kostenloos. De Alliantie heeft ervoor gekozen om een supportcontract aan te gaan voor de WSO2-suite, waaraan supportkosten zijn verbonden, Tevens zijn er functionaliteiten (scripts: ook wel de lijm tussen de infrastructuur-componenten genoemd) die maatwerk zijn. Dat is kerinisintensief. Het vergt een goed versiebeheer van de open source producten in combinatie met het maatwerk. Het maakt het ook noodzakelijk beheerders/ontwikkelaars in te zetten met kennis over de specifieke scripts. De intentie van de Alliantie is om een belangrijk onderdeel van het maatwerk, de platformer, te vervangen door een product van de WSO2-suite. De Alliantie heeft voor het SP/CA de volgende zaken in opzet geregeld: inrichten van zowel klant als leveranciersomgevingen; de inrichting en het aanbieden van identieke omgevingen in de OTAP-straat; virtualisatie van machines (ODC Noord zorgt voor de uitvoering); gebruik van standaard technische componenten; geautomatiseerde tools voor de uitrol van omgevingen; de geautomatiseerde uitrol en terugrol van applicaties; verschillende blauwdrukken voor de inrichting van de technische componenten; het specificeren van de aansluitvoorwaarden voor applicaties en componenten; 1 In opzet: een auditterm dat doelt op het stelsel van de beschreven maatregelen en middelen als object van onderzoek. 5 van 17 1 Audit Standaard Platform 2016

6 de door ons gebruikte documentatie is over het algemeen up-to-date en heeft een duidelijke structuur en onderlinge samenhang. Wel vragen we aandacht voor het actualiseren van de High Level Design (Software Architectuur Document - SAD). De daarin genoemde wijze van implementeren wijkt af van de beoogde realiteit. Deze maatregelen zijn randvoorwaardelijk voor het beperken van de complexiteit, hergebruik van componenten en de snelheid van de implementatie van omgevingen en applicaties. Ook ondersteunen deze maatregelen het Agile ontwikkelen van applicaties. Uit de bespreking tijdens de demo s is gebleken dat het relatief snel en eenvoudig is om een hele omgeving in te richten en uit te rollen. Ook is tijdens de demo s aangetoond dat, mits aangeleverd volgens de aansluitvoorwaarden, het relatief eenvoudig is om een applicatie uit te rollen over de omgevingen. Echter het vergt handwerk om een bestaande omgeving uit te breiden. Denk hierbij aan een uitbreiding en/of wijziging door een security-patch, een eventuele uitbreiding van een database e.d. Dergelijk handwerk verlaagt de snelheid van het doorvoeren van een wijziging. SP/CA kent een groeimodel van producten. Het uitgangspunt voor de Alliantie is om met generieke producten te werken. Dan is de vraag waar stopt generiek en wordt het klant-specifiek?. Het antwoord is niet eenduidig te geven, omdat niet altijd op voorhand te zeggen is of een product bij andere (potentiële) klanten zal worden gebruikt. Aanbevelingen 1. Onderzoek de mogelijkheden om uitbreidingen op reeds bestaande omgevingen verder te automatiseren. 2. Formuleer criteria waaraan mogelijke producten dienen te voldoen zodat SP/CA blijvend kan voldoen aan de eisen uit de Business Case (wanneer is een product generiek?). 3. Actualiseer de High Level Design/SAD. 6 van 17 1 Audit Standaard Platform 2016

7 2 SP/CA is uitbreidbaar door oma. virtualisatie, echter nog niet getest In hoofdstuk 1 is beschreven dat er maatregelen zijn genomen die tegemoet komen aan de vraag of het SP/CA zodanig is ingericht dat het uitbreidbaar is op basis van wensen van (toekomstige) klanten. Een belangrijke factor daarbij zijn de virtualisatie van de infrastructuur en de standaardisatie van componenten. Een kanttekening daarbij is dat er nog geen performancetesten zijn uitgevoerd. Dat resulteert erin dat niet bekend is in hoeverre de beschikbare infrastructuur en eventuele uitbreiding door virtualisatie van machines aansluit bij de te verwachten gegevensstromen. Naar wij hebben begrepen speelt hierbij een rol dat een grote klant de te verwachten transacties in de gegevensstromen nog niet heeft gecommuniceerd. Aanbevelingen 1. Maak in overleg met één van de klanten (bv. DSO) een inschatting van de aantallen transacties. 2. Voer in samenwerking met de cloudprovider een statische performancetest uit. 3. Onderzoek de mogelijkheden een dynamische performancetest uit te voeren met het Centraal Aansluitpunt. 7 van 17 1 Audit Standaard Platform 2016

8 3 Onderzoek naar de inrichting van het Beheer uitgesteld naar september 2017 In de opdrachtbevestiging ( d.d. 1 november 2016) is een deelvraag: Zijn de processen en de Organisatie rondom het SP/CA zödanig ingericht dat het SP/CA uitbreidbaar is op basis van wensen van klanten? Het beleid van de Alliantie is om de CobIT-beheerprocessen te gaan implementeren. Uit gesprekken die we hebben gehad met vertegenwoordigers van de Alliantie én met vertegenwoordigers van een klant van het SP/CA blijkt dat de governance van de organisatie en de inrichting van de beheerprocessen volop in beweging is. Het beeld is ontstaan dat er een flexibele beheerorganisatie is die snel inspeelt als de noodzaak van een beheeractiviteit naar boven komt. De beheerorganisatie en activiteiten vergen nog meer verankering. In overleg met de directeur van de Alliantie is voorgesteld om dit deel van de opdracht uit te gaan voeren in september van 17 1 Audit Standaard Platform 2016

9 4 Managementreactie programma Alliantie De programma Alliantie herkent zich in de inhoud van het auditrapport. Met de ADR wordt (wederom) geconcludeerd dat het SP doet wat het moet doen. Het SP is in productie in een gesloten overheidsomgeving en is geschikt om klanten te faciliteren die hun applicaties op het SP willen laten draaien. Terecht wijst de ADR erop dat nog niet aan alle eisen van de business case kan worden voldaan. Het automatisch schalen van het SP is hiervoor een belangrijke randvoorwaarde. Deze functionaliteit is in de begroting voor 2017 in de plateauplanning meegenomen hiervoor belangrijke stappen te zetten in De programma Alliantie is bezig met het ontwikkelen van het beleid voor wat betreft de criteria waaraan componenten moeten voldoen om ze generiek te maken. Sinds het einde van 2016 heeft de programma Alliantie zich georganiseerd in SCRUM en DevOps teams. Hiermee kan klanten worden geboden wat is afgesproken in de DVO s. Het verder professionaliseren van de organisatie met de beperkt beschikbare middelen is eveneens in de plateauplanning opgenomen. Op dit moment wordt het verder professionaliseren van de organisatie en de bijbehorende processen vanuit de plateauplanning uitgewerkt in concrete stappen. Op korte termijn worden in samenspraak met het programma DSO en ODC Noord performance, laad- en stresstests uitgewerkt en uitgevoerd. Hiernaast wordt ook een vervolg gegeven aan eerder uitgevoerde penetratietests. 9 van 17 1 Audit Standaard Platform 2016

10 5 Verantwoording onderzoek 5.1 Werkzaamheden en afbakening Het doel van de opdracht is bereikt als de volgende vragen zijn beantwoord: 1. In hoeverre zijn de doelstellingen van de business case (versie 1.0 d.d. 7 november 2015) gerealiseerd uitgaande van het op het moment van onderzoek beschikbare SP/CA? 2. Is het SP/CA zodanig ingericht dat het SP/CA uitbreidbaar is op basis van wensen van (toekomstige) klanten? 3. Zijn de processen en de Organisatie rondom het SP/CA zodanig ingericht dat het SP/CA uitbreidbaar is op basis van wensen van klanten? Ad 1. Voor de beantwoording heeft de ADR een documentenstudie uitgevoerd. Dit heeft zich met name gericht op de eigen analyse van de Alliantie en de documenten die aan deze analyse ten grondslag liggen. We hebben interviews gehad met de programma-architect (de gedelegeerd productowner) en de solutions architect om de onderbouwing te onderzoeken. We hebben niet onderzocht of er alternatieve architectuur- en infrastructuurkeuzes zijn die mogelijk invulling kunnen geven aan de eisen uit de business case. Ad 2. De ADR heeft op basis van de generieke functionaliteit, zoals die in oktober/november 2016 operationeel is, getoetst op welke wijze en voor welke factoren invulling wordt gegeven aan uitbreidbaarheid van het SP/CA. Hiervoor heeft de ADR de uitgevoerde Proof of Concept s en de aansluitdocumentatie op dit aspect beoordeeld. Ad 3. Zoals aangegeven in hoofdstuk 3 zijn de werkzaamheden ter beantwoording van deze vraag verschoven naar september Gehanteerde Standaard Deze opdracht is uitgevoerd in overeenstemming met de Internationale Standaarden voor de Beroepsuitoefening van Internal Auditing. In dit rapport wordt geen zekerheid verschaft, omdat er geen assurance opdracht is uitgevoerd. 5.3 Verspreiding rapport De opdrachtgever, Hoofddirecteur IenM/FMC, is eigenaar van dit rapport. De ADR is de interne auditdienst van het Rijk. Dit rapport is primair bestemd voor de opdrachtgever met wie wij deze opdracht zijn overeengekomen. In de ministerraad is besloten dat het opdrachtgevende ministerie waarvoor de ADR een rapport heeft geschreven, het rapport binnen zes weken op de website van de rijksoverheid plaatst, tenzij daarvoor een uitzondering geldt. De minister van Financiën stuurt elk halfjaar een overzicht naar de Tweede Kamer met de titels van door de ADR uitgebrachte rapporten en plaatst dit overzicht op de website. 10 van 17 1 Audit Standaard Platform 2016

11 6 Ondertekening Groningen, 13 februari 2017 Auditdienst Rijk 11 van 17 1 Audit Standaard Platform 2016

12 Bijlage vergelijking BuCa-eisen VS. maatregelen Eis uit de Business Aangetroffen Opmerkingen Case documentatie, maatregelen Aansluiten bij IMEA-katern rijksbrede strategie en Standaardplatform ontwikkelingen als Gebruik WSO2-platform Cloud en Service (is Open Source) Gerichte Architectuur Eindbeeld SGA en Cloud dienstverlening Dwarskijkersadvies SGA (toetsing op gebruik SGA en Cloud). Uit de documentatie blijkt de aansluiting bij de genoemde rijksbrede strategieën. 2 Aansluiten bij trend Uit de handleiding - naar Agile applicatie-ontwikkeling softwareontwikkeling blijkt m.n. de (kort cyclisch) ondersteuning van het SP met het geautomatiseerd uitrollen van een applicatie. Uit IenM - Deployment service - Ontwerp blijkt de mogelijkheid een geautomatiseerde uitrol van applicatie artefact via WEB-interface. Dit versnelt de uitrol van nieuwe (releases van) applicaties. 3 Beperken benodigde SP stelt een technische De aandacht van de aandacht van de omgeving beschikbaar opdrachtgever hangt opdrachtgever voor de voor de leveranciers, ook mede af welke techniek Deze omgeving geeft de inspanning verricht mogelijkheid om moet worden om gestandaardiseerd aan de applicatieve aansluitvoorwaarden beheerwerkzaamheden te voldoen. uit te voeren. Ook voor de aanlevering (van buiten naar binnen) is een technische oplossing. Dit beperkt de aandacht 12 van 17 1 Audit Standaard Platform 2016

13 die een opdrachtgever nodig zou moeten hebben voor de techniek. Uit: Aansluitvoorwaarden applicaties en componenten en technische handleiding leveranciersinstantie. 4 Beperken gevolgen Deze eis niet verder complexiteit door deze beoordeeld. Geen te concentreren documentatie die specifiek ingaat op deze eis. 5 Betalen voor Deze eis is nog niet daadwerkelijk gebruik, te beoordelen. Dit is niet voor verder nog niet overcapaciteit geregeld. 6 Cloud is goedkoper dan In de documentatie staat Eis is een statement. traditionele omgeving veel over het gebruik van standaarden en tools bij de inrichting, beveiliging en monitoring. Daaruit is af te leiden dat de inrichting en beheer gemakkelijk(er) is. Ook zijn er te verwachten schaalvoordelen. Je zou kunnen concluderen dat het daarmee ook goedkoper is, dat is echter niet aangetoond. 7 De complexiteit Complexiteit wordt beheersbaar maken en beheersbaar gemaakt houden door verschillende maatregelen gericht op standaardisatie, zoals:. Blauwdrukken (SEAL s). ontwikkelomgeving is gelijk aan productieomgeving. geautomatiseerde uitrol van applicaties via de platformer. gebruik van standaard componenten. beschikbaar stellen van de laas en de PaaS 8 Geautomatiseerde Uit IenM - Standaard uitrol van applicaties, Platform - Handleiding componenten en Componenten koppelingen beschikbaar blijkt dat er voor de uitrol maatwerk componenten zijn. Dat betreffen componenten die een 13 van 17 1 Audit standaard Platform 2016

14 geautomatiseerde uitrol - mogelijk maken. Dit betreft de platformer. In een demo de resultaten van het uitrollen gezien. 9 Geen applicatie eigen infrastructuur en middieware Er is 1 standaard die geleverd wordt door SP/CA (zie de pdc). Voor de klanten zijn er aansluitvoorwaarden waaraan voldoen moet zijn om op de standaard te kunnen draaien. Nog geen beleid ontwikkeld wat als generiek wordt bezien en wat niet. Er is geen applicatiespecifieke infrastructuur en middelware. 10 Geen licentiekosten door open source software Uit IenM Handleiding Componenten beschikbaar blijkt de te gebruiken open source software en het maatwerk. Meest is open source. Maatwerk betreft de lijm tussen de componenten. Er is sprake van Supportkosten van de open source software. En er zijn kosten van ontwikkeling en beheer maatwerk. 11 Hergebruik van componenten en koppelingen Hergebruik van infrastructuur en middleware Hergebruik o.a. mogelijk door standaardisatie. Hiervoor zijn maatregelen getroffen: Blauwdrukken (SEAL s) ontwikkelomgeving is gelijk aan productieomgeving geautomatiseerde uitrol van applicaties via de platformer gebruik van standaard componenten gebruik van instanties gebruik van een ingerichte OTAP-straat 12 Minder beheer Standaardisatie, gelijke Het is (nog) niet vanwege identieke inrichting van omge- onderbouwd of dat omgevingen vingen, geautomatiseerd ook zo is. testen en hergebruik van generieke componenten kunnen leiden tot minder beheer bij klanten. 13 Minder fouten door i Uit de opzetbeschrijving 14 van 17 1 Audit Standaard Platform 2016

15 identieke omgevingen en uit de demo s blijkt er sprake is van identieke omgevingen. SEAL s worden gebruikt op de ontwikkel- en de productie-omgeving. (zie ook 7) 14 Sneller doorvoeren van Er zijn maatregelen Uit de demo s blijkt aanpassingen en getroffen voor het snel dat het doorvoeren releases kunnen implementeren van aanpassingen in van gehele componenten een component of en omgevingen (een release). (zie ook 11) omgeving handwerk vergt. Dit gaat niet zo snel als bedoeld. 15 Sneller implementeren Standaard Platform nieuwe applicaties Aansluitvoorwaarden Applicaties en Componenten CA - Aansluitdocument Standaard Platform Technische handleiding Applicatieontwikkeling. Aanwezigheid van een ingerichte OTAP-straat. 16 Sneller ontwikkelen Randvoorwaardelijk biedt Het daadwerkelijk applicaties SP/CA mogelijkheden om sneller ontwikkelen snel applicaties up en running te krijgen, (Zie ook 2 en 15) van applicaties is ook afhankelijk van de klant. 17 Verbeteren en Er zijn Security-patches vereenvoudigen van standaardcomponenten implementeren blijkt informatie beveiliging gericht op beveiliging, niet zo eenvoudig. IenM CA certificaten IenM PKI-certhandler IenM standaard platform security module 18 Vereenvoudigen van Het Centraal integratie van en Aansluitpunt is het gegevensuitwisselingen product dat de tussen applicaties vereenvoudiging van integratie en gegevensuitwisselingen mogelijk maakt. 19 Vereenvoudigen van Het aanbieden van Het aanbieden van voldoen aan wet- en overheidsbreed geldende overheidsbreed regelgeving (noot: functionaliteit leidt tot geldende deze eis geldt voor eenvoudiger voldoen aan functionaliteit is in 15 van 17 1 Audit Standaard Platform 2016

16 generieke de regelgeving (op 1 opbouw. functionaliteit) plaats wijzigingen uitvoeren) 20 Vergroten flexibiliteit IenM Standaard Bij demo is gebleken door schaalbare Platform High Level dat het niet mogelijk computer capaciteit Design is om op te schalen voor componenten Virtualisatie van als ESB en API. machines Nog geen performancetesten uitgevoerd. 21 Verhogen kwaliteit Zie 2 De opdrachtgever applicaties die gebruik maakt van het SP/CA is hierin belangrijk. 22 Verhogen kwaliteit en Standaardisatie van de stabiliteit koppelingen koppeling leidt tot verhoging van de kwaliteit en stabiliteit 23 Verschuivend beheer Procesvolwassenheid Dit is een gevolg van van individueel naar SP/CA conform CobIT het concept. gezamenlijk gebruik 16 van 17 1 Audit Standaard Platform 2016

17 Auditdienst Rijk Postbus EE Den Haag (070)

18