Rapport van bevindingen Test Monitoringsysteem Rijksgebouw De Knoop in Utrecht 2017

Transcriptie

1 Rapport van bevindingen Test Monitoringsysteem Rijksgebouw De Knoop in Utrecht 2017

2 Colofon Titel Uitgebracht aan Rapport van bevindingen Test Monitoringsysteem Rijksgebouw De Knoop in Utrecht 2017 B/CFD Datum 12 januari 2018 Kenmerk Inlichtingen Auditdienst Rijk

3 Inhoud Aanleiding opdracht 4 1 De testgevallen vormen een goede basis De testgevallen dekken veel mogelijke situaties af De testen zijn geen ketentest 5 2 Audittrail is een niet af te zonderen onderdeel van het Monitoringsysteem Periodieke metingen in opzet goed te volgen Audittrail meldingen aanwezig 6 3 Verantwoording onderzoek Opdracht ADR Werkzaamheden en afbakening Gehanteerde Standaard Verspreiding rapport 7 4 Ondertekening 8 Bijlage 9

4 Aanleiding opdracht Het facilitair beheer van het Rijkskantoor De Knoop in Utrecht zal worden georganiseerd volgens een PubliekPrivate Samenwerking (hierna: PPS). Deze samenwerking betreft de Belastingdienst Centrum voor Facilitaire Dienstverlening (B/CFD) en de private partij [naam]. [Naam] is verantwoordelijk voor de levering van de dienst Monitoring. Deze dienst betreft de registratie en afhandeling van de meldingen en periodieke metingen. Voor de uitvoering van deze dienst zal [naam] een Monitoringsysteem in gebruik gaan nemen. Dit Monitoringsysteem is van een derde partij betrokken en dient ingeregeld te worden naar de eisen vanuit het DBFMOcontract, de Outputspecificaties, het monitoringsplan en het document standaardisatie Betalingsmechanisme, Outputspecificatie en Monitoring. Eén van de voorwaarden voor het verkrijgen van het Voltooiingscertificaat (VC) is dat [naam] heeft aangetoond dat het Monitoringsysteem werkt en leidt tot een rechtmatige facturatie (zie de DBFMO overeenkomst, bijlage 8, artikel 3 b) op pagina 197 & 198). De resultaten uit de audit door de ADR vormen daaraan een bijdrage. De specifieke opdracht hiervoor is verwoord in een memo van 14 november 2017 van B/CFD aan de ADR. De daarin beschreven opdracht is bevestigd in de opdrachtbevestiging. 4 van 11 Rapport van bevindingen Test Monitoringsysteem Rijksgebouw De Knoop in Utrecht 2017

5 1 De testgevallen vormen een goede basis 1.1 De testgevallen dekken veel mogelijke situaties af De invalshoek van de testen zijn de kortingstypen prestatiekorting, beschikbaarheidskorting en herhalingskorting zoals die in het monitoringsplan zijn beschreven. Tevens zijn er Uitzonderingen getest. Dit betreft testgevallen met een (mogelijk) meerzijdige invloed op het kortingsbedrag en type. De testgevallen zijn door de ADR beoordeeld aan de hand van het monitoringsplan, het document standaardisatie Betalingsmechanisme, Outputspecificatie en Monitoring (ook wel de BOM) en de Outputspecificaties. De testgevallen dekken veel mogelijke situaties af. We hebben geen situaties vanuit het monitoringsplan en de BOM kunnen vinden die niet in een testgeval is verwerkt. Dat wil niet zeggen dat er in de praktijk zich situaties kunnen voordoen die niet voorzien en getest zijn. Het Monitoringsysteem FMIS ON geeft per testgeval direct de doorrekening naar de van toepassing zijnde kortingen. In de testsituatie waren de kortingsbedragen in de tabellen nog niet geïndiceerd. De berekeningen hebben we beoordeeld aan de hand van de gehanteerde kortingsbedragen in de test. Daarnaast hebben we vanuit de testgevallen en de demo van het Monitoringssyteem normen beoordeeld die aan de orde komen bij de audit van het Monitoringssyteem. Dit betreft alleen normen voor het beheren van de meldingen en de juistheid van de rekenregels. In de bijlage staan deze normen en onze bevindingen. De gebruikte testset zal worden bewaard om te gebruiken voor eventuele wijzigingen van de functionaliteit in de toekomst. 1.2 De testen zijn geen ketentest De tot nog toe (peilmoment is 7 december 2017) uitgevoerde testen betreffen het Monitoringssysteem zelf. De testen konden nog niet worden uitgevoerd in de keten met het FMIS OG (het systeem van de opdrachtgever) en het Gebouwbeheersysteem. De functionaliteit in relatie met de interfaces zal, naar ons is meegedeeld, worden getest zodra de interfaces gereed zijn en het Gebouwbeheersysteem ingeregeld is. Hierbij benadrukken we het belang dat deze testen zijn uitgevoerd voor het moment van golive. 5 van 11 Rapport van bevindingen Test Monitoringsysteem Rijksgebouw De Knoop in Utrecht 2017

6 2 Audittrail is een niet af te zonderen onderdeel van het Monitoringsysteem 2.1 Periodieke metingen in opzet goed te volgen Het Monitoringsysteem geeft de mogelijkheid om periodieke metingen in te plannen, de resultaten te documenteren en eventuele meldingen te verwerken. Door deze functionaliteit biedt het Monitoringsysteem inzicht in de status van de periodieke metingen. De inrichting van deze module zal [naam] verder gestalte geven. 2.2 Audittrail meldingen aanwezig Uit de demo blijkt dat het verloop van de meldingen (de audittrail) goed is te volgen. De informatie over het tijdstip van melden, gereed melden en de doorrekening naar mogelijke kortingen is in één oogopslag te zien. Ook is zichtbaar hoe vaak een dergelijke melding is voorgekomen in verband met (de voorkoming van) een mogelijke herhalingskorting. Dit is belangrijk voor de monitoring van de meldingen op zichzelf en ook voor het kunnen uitvoeren van de audit op het monitoringssysteem. 6 van 11 Rapport van bevindingen Test Monitoringsysteem Rijksgebouw De Knoop in Utrecht 2017

7 3 Verantwoording onderzoek 3.1 Opdracht ADR Doelstelling van het onderzoek is te beoordelen of de uitgevoerde testen, de testbevindingen en het acceptatieprotocol van [naam] aantonen dat het Monitoringsysteem dat in gebruik genomen zal worden door [naam] (FMIS ON) zal leiden tot een rechtmatige facturatie. Hiervoor hebben wij van [naam] de testscenario s, de testresultaten en het acceptatieprotocol ontvangen. Tevens heeft [naam] op 7 december 2017 een demo gegeven van het Monitoringssysteem, waarbij we de gelegenheid hebben gehad de resultaten van casussen in het Monitoringssysteem te beoordelen. De autorisatiematrix is nog ingeregeld voor de testsituatie. De definitieve toekenning van autorisaties voor in de productiefase hebben we niet in de beoordeling kunnen betrekken. 3.2 Werkzaamheden en afbakening Hiervoor hebben wij van [naam] de testscenario s, de testresultaten en het acceptatieprotocol ontvangen. Tevens heeft [naam] op 7 december 2017 een demo gegeven van het Monitoringssysteem, waarbij we de gelegenheid hebben gehad de resultaten van casussen in het Monitoringssysteem te beoordelen. De autorisatiematrix is nog ingeregeld voor de testsituatie. De definitieve toekenning van autorisaties voor in de productiefase hebben we niet in de beoordeling kunnen betrekken. 3.3 Gehanteerde Standaard Deze opdracht is uitgevoerd in overeenstemming met de Code of Ethics van de Norea, de beroepsorganisatie van ITauditors. In dit rapport wordt geen zekerheid verschaft, omdat er geen assuranceopdracht is uitgevoerd. 3.4 Verspreiding rapport De opdrachtgever is eigenaar van dit rapport. De ADR is de interne auditdienst van het Rijk. Dit rapport is primair bestemd voor de opdrachtgever met wie wij deze opdracht zijn overeengekomen. In de ministerraad is besloten dat het opdrachtgevende ministerie waarvoor de ADR een rapport heeft geschreven, het rapport binnen zes weken op de website van de rijksoverheid plaatst, tenzij daarvoor een uitzondering geldt. De minister van Financiën stuurt elk halfjaar een overzicht naar de Tweede Kamer met de titels van door de ADR uitgebrachte rapporten en plaatst dit overzicht op de website. 7 van 11 Rapport van bevindingen Test Monitoringsysteem Rijksgebouw De Knoop in Utrecht 2017

8 4 Ondertekening Groningen, 12 januari 2018 [naam] Auditmanager Auditdienst Rijk 8 van 11 Rapport van bevindingen Test Monitoringsysteem Rijksgebouw De Knoop in Utrecht 2017

9 Bijlage In de onderstaande tabel staan de normen die gebruikt worden in een audit gericht op assurance van het Monitoringsysteem. Dit zijn niet alle normen, maar betreffen alleen de normen die in deze fase van de ontwikkeling beoordeeld konden worden. nr norm Aangetroffen situatie Beheren meldingen 1 Meldingen dienen betrouwbaar te worden geregistreerd 1a 1b 1c Het gehele systeem dient te zijn voorzien van een gesynchroniseerde standaarddatum en tijdsaanduiding gebaseerd op standaard UTC Meldingen mogen niet onvolledig kunnen worden ingevoerd Meldingen worden geclassificeerd en geprioriteerd cf. de afspraken in de Outputspecificaties FMIS ON draait op een LINUXserver en de standaarddatum en tijd is gesynchroniseerd via de ntpdservice Er wordt getoetst op volledige invoer Dit kan via de tabellen 1d Meldingen zijn doorlopend genummerd Het Monitoringsysteem kent een doorlopende nummering toe 1e Indien de koppeling tussen de registratiesystemen niet functioneert, is er een workaround 2 Meldingen dienen op een betrouwbare wijze en conform de opgestelde procesgang en workflow te worden afgehandeld 2a Gegevens die van invloed zijn op de afrekening mogen niet tussentijds gecorrigeerd kunnen worden 2b Wijzigingen in gegevens die mogelijk van invloed zijn op de afrekening dienen achteraf inzichtelijk te zijn Hierover zijn afspraken gemaakt tussen OG en ON Dit is wel mogelijk; mutaties worden gelogd (demo) Mutaties worden gelogd (demo) 2c Meldingen kunnen niet worden verwijderd Meldingen kunnen niet worden verwijderd (demo) 2d Meldingen worden bewaakt op tijdige afhandeling 3 Het plannen, het uitvoeren en de vastlegging van de periodieke metingen dient betrouwbaar te worden vastgelegd 4a 4b Rekenregels De relatie tussen de Outputspecificatie en de kortingsberekeningsregels moet eenduidig zijn vast te stellen Betrouwbaarheid van kortingsberekeningsregels voor alle Outputspecificaties dient te worden gewaarborgd In het Monitoringsysteem is een uiterste afhandelingstijdstip geregistreerd en het daadwerkelijke tijdstip Er is een aparte module waarin de planning van de periodieke metingen kan worden opgenomen en de documentatie van de afhandeling kan worden vastgelegd en gedocumenteerd Per melding worden eventuele kortingen direct berekend (demo). Uit de testgevallen blijken de kortingsberekeningsregels correct te werken Betreft tabelbeheer. Valt buiten de scope van dit onderzoek en zal worden beoordeeld bij de Assuranceaudit 9 van 11 Rapport van bevindingen Test Monitoringsysteem Rijksgebouw De Knoop in Utrecht 2017

10 4c Betrouwbaarheid van het geautomatiseerde kortingsberekeningsmechanisme dient te zijn gewaarborgd Betreft wijzigingsbeheer. Valt buiten de scope van dit onderzoek en zal worden beoordeeld bij de Assuranceaudit 10 van 11 Rapport van bevindingen Test Monitoringsysteem Rijksgebouw De Knoop in Utrecht 2017

11 Auditdienst Rijk Postbus EE Den Haag (070)