Midterm review WTI2017 cluster software Ringtoets en HydraRing

Transcriptie

1 Midterm review WTI2017 cluster software Ringtoets en HydraRing Rijkswaterstaat Water, Verkeer en Leefomgeving 4 december 2013 Definitief rapport BC

2 HASKONINGDHV NEDERLAND B.V. RIVERS, DELTAS & COASTS Barbarossastraat 35 Postbus AD Nijmegen +31 (0) Telefoon Internet Eem-, Gooi- en Flevoland KvK Documenttitel Midterm review WTI2017 cluster software Ringtoets en HydraRing Verkorte documenttitel Status Definitief rapport Datum 4 december 2013 Projectnaam Projectnummer Opdrachtgever Referentie Midterm review WTI2017 BC Rijkswaterstaat Water, Verkeer en Leefomgeving Auteur(s) Collegiale toets ir. A.J. Duindam Peter van der Scheer Datum/paraaf 4 december Vrijgegeven door L.W. van Nieuwenhuijzen MSc. Datum/paraaf 4 december 2013 A company of Royal HaskoningDHV

3 INHOUDSOPGAVE 1 INLEIDING Kader en doel Leeswijzer 2 2 METHODE Ringtoets HydraRing 4 3 RINGTOETS PMC - projectbewaking en sturing PP projectplanning REQM eisenmanagement PI productintegratie RD eisenontwikkeling TS technische oplossing VAL validatie VER verificatie CM configuratiemanagement MA - meting en analyse PPQA - proces- en productkwaliteitsborging Resultaten op hoofdlijnen 11 4 HYDRARING Van requirements naar product Requirements RWS Softwareplan Testfilosofie Testrapport 14 5 CONCLUSIES EN AANBEVELINGEN Algemeen Ringtoets Projectbewaking en sturing (PMC) Projectplanning (PP) Eisenmanagement (REQM) Technische oplossing (TS) Validatie (VAL) Meting en analyse (MA) Overige aanbevelingen HydraRing Geclaimde functionaliteit Juistheid modellering belastingmodellen Juistheid modellering sterktemodellen Implementatie foutenbomen Ringbenadering Vergelijk PC-Ring 20 Blz. - i - Definitief rapport 4 december 2013

4 5.3.7 Mate waarin voldaan is aan de requirements Aanbevelingen requirements Overige conclusies en aanbevelingen Discussie 22 6 REFERENTIES 23 BIJLAGEN 1. Overzicht Requirements en claims 2. Beschrijving CMMI procesgebieden 3. Toelichting Vaardigheidsniveaus - ii - Definitief rapport 4 december 2013

5 1 INLEIDING De Nederlandse waterkeringen worden sinds 1996 periodiek beoordeeld. Sinds de start van deze toetsingen heeft de automatisering een grote vlucht genomen en is er veel kennis ontwikkeld op het gebied van waterkeringen. De automatisering gaf de mogelijkheid om over te stappen naar meer probabilistische berekeningen van de waterkeringen. Hiervoor is in 2009 het programma Wettelijk Toetsinstrumentarium (WTI2017) opgestart. Het WTI2017 heeft als doel dat waterkeringbeheerders de veiligheid van de waterkeringen nauwkeuriger kunnen toetsen. Rijkswaterstaat (RWS) heeft kennisinstituut Deltares opdracht gegeven de regels en modellen in het WTI te verbeteren. De opdracht omvat de inhoudelijke ontwikkelingen zoals de sterktemechanismen en de belastingen, maar ook de software. De ontwikkeling van het WTI is opgedeeld in 11 clusters waarvan de softwareontwikkeling er één is. Aangezien de software het platform is waarmee de gebruiker het meest te maken heeft en alle kennis door de software aan de gebruiker aangeboden wordt, is een goede werking hiervan essentieel voor het slagen van het WTI2017. RWS stuurt deze opdracht aan op basis van systeem gerichte contractbeheersing (SCB). Rijkswaterstaat Water, Veiligheid en Leefomgeving (RWS WVL) signaleert dat specialistische kennis nodig is voor de beoordeling van de softwareontwikkeling. RWS WVL heeft daarom gevraagd om een review van Ringtoets en HydraRing door Royal HaskoningDHV (RHDHV). Aan de zijde van Rijkswaterstaat is het project begeleid door Deon Slagter (clusterleider software en hydraulica) en Robert Slomp (technisch manager WTI en voormalig clusterleider software). Aan de zijde van Deltares zijn betrokken geweest: Joost Icke, clusterleider software; Wim van Balen, projectleider HydraRing; Kin Sun Lam, projectleider Ringtoets; Robert Kamp, product owner Ringtoets Deze review is uitgevoerd door Leo van Nieuwenhuijzen en Arie Duindam van RHDHV. Leo van Nieuwenhuijzen heeft de review gedaan van HydraRing. Arie Duindam heeft de review van Ringtoets uitgevoerd. 1.1 Kader en doel De review beoogt inzicht te geven in mogelijkheden om de softwareontwikkeling binnen WTI2017 te verbeteren. Daarvoor is de voortgang beoordeeld in het licht van de requirements van De inhoudelijke juistheid van de softwareontwikkeling wordt conform SCB geborgd door Deltares op basis van hun eigen kwaliteitssysteem. De conclusies en aanbevelingen uit de review worden bij voorkeur gedragen door de betrokken partijen om gezamenlijk tot verbetering van de contract-requirements 2014 te komen. Definitief rapport december 2013

6 1.2 Leeswijzer Hoofdstuk 2 beschrijft de gehanteerde methodes voor de review. Hoofdstuk 3 gaat in op de bevindingen voor RingToets. Hoofdstuk 4 geeft de bevindingen voor HydraRing. Hoofdstuk 5 vat de conclusies en aanbevelingen samen en sluit af met een discussie. Definitief rapport december 2013

7 2 METHODE Het project bestaat uit twee onderdelen, te weten de beoordeling van het proces van de softwareontwikkeling van RingToets en de beoordeling van het testrapport van HydraRing. Naast controle en verificatie is het doel om te komen tot een verbetering van het proces. Naast de review van de documenten zijn ook twee groepsinterviews met projectleiders van Deltares gehouden. Doel hiervan was het proces beter in beeld te krijgen en te komen tot een gedragen advies. 2.1 Ringtoets De review van Ringtoets is gericht op het proces van softwareontwikkeling. Dit komt naar voren bij de vier concrete vragen die RWS heeft gesteld ten aanzien van Ringtoets: 1. Wordt er gewerkt vanuit een voldoende beschreven en onderbouwde productvisie en startarchitectuur? Wordt voldoende rekening gehouden met onderhoudbaarheid en uitbreidbaarheid? Deze vraag richt zich op software requirements en ontwerpdocumenten. 2. Wordt er op een slimme en efficiënte wijze geprogrammeerd en ontwikkeld door Deltares? Kan het wellicht slimmer? Deze vraag richt zich direct op het ontwikkelen van de software. 3. Sluit Ringtoets voldoende aan bij het werkproces van de eindgebruikers, m.a.w. leidt de gekozen ontwikkelstrategie en -methodiek tot een product dat het toetsproces op efficiënte wijze ondersteunt? Deze vraag richt zich op het requirements management en communicatie. 4. Welke aanbevelingen zijn er ten aanzien van softwareontwikkeling WTI2017 voor de periode ? Deze vraag richt zich op de softwareontwikkeling voor de rest van het project. De reviewers hebben op twee manieren informatie verzameld: 1. studie van de projectdocumentatie [Ref 6.], [Ref 7.], [Ref 8.], [Ref 9.], [Ref 10.][Ref 11.], [Ref 12.]. 2. interviews. Bij de voorbereiding op deze activiteiten en bij het verwerken van de resultaten is vooraf onderzocht of er gebruik zou kunnen worden gemaakt van een formele methodiek voor het softwareproces. Hiervoor is gekeken naar [Ref 13.], [Ref 14.], [Ref 15.], [Ref 16.]. Een formele methodiek heeft een aantal voordelen. Ten eerste kan een formele methodiek gebruikt worden als maatstaf bij het beoordelen van bevindingen. Ten tweede kan er op die manier eenvoudig een logische structuur worden aangebracht in de bevindingen. Ten derde helpt het om voldoende breedte aan te brengen in het eigen blikveld, zonder dat er blinde vlekken ontstaan die toevallig niet ter sprake zijn gekomen in de interviews. Er is uiteindelijk voor gekozen om gebruik te maken van een aantal procesbeschrijvingen uit het Capability Maturity Model Integration (CMMI ) voor Ontwikkeling, Versie 1.3, [Ref 13.]. Het CMMI bestaat uit best practices die op de ontwikkelactiviteiten ingaan en die gelden voor producten en diensten. Het behandelt activiteiten ( praktijken ) die de gehele levenscyclus van het product afdekken van conceptie tot en met oplevering en onderhoud. De nadruk ligt op de werkzaamheden die nodig zijn om het totale product te bouwen en te onderhouden. Het CMMI is allereerst gebruikt voor de definitie van de procesgebieden waar de review zich op richt. Definitief rapport december 2013

8 Binnen CMMI zijn er in totaal 22 procesgebieden. Deze zijn niet allemaal relevant, dit is afhankelijk van de volwassenheid van de organisatie en de aard van de werkzaamheden. Binnen CMMI wordt aangegeven voor welke vaardigheidsniveau (0 t/m 5) bepaalde processen van toepassing zijn. In deze review is alleen gekeken naar de procesgebieden tot en met vaardigheidsniveau 2, aangevuld met engineering processen tot en met niveau 3. Dit zijn er in totaal 11: Basis projectmanagement procesgebieden (niveau 2): Projectbewaking en sturing (PMC); Projectplanning (PP); Eisenmanagement (REQM); Management van leveranciersovereenkomsten (SAM). Engineering procesgebieden (niveau 3): Productintegratie (PI); Eisenontwikkeling (RD); Technische Oplossing (TS); Validatie (VAL); Verificatie (VER). Basis ondersteunende procesgebieden (niveau 2): Configuratiemanagement (CM); Meting en Analyse (MA); Proces- en Productkwaliteitsborging (PPQA). Een beschrijving van deze procesgebieden wordt gegeven in Bijlage 2. Een beschrijving van de vaardigheidsniveaus wordt gegeven in Bijlage 3. Bij het doornemen van de projectdocumentatie voorafgaand aan de interviews zijn deze procesgebieden gebruikt als bril om te kijken waar de focus en aandacht van het project nu naar toe gaat en waar mogelijk ruimte is voor verbeteringen, omdat een bepaald procesgebied onvoldoende aandacht krijgt. Na de interviews zijn de procesgebieden opnieuw gebruikt, ditmaal om de nog ongeordende bevindingen te kunnen groeperen per logisch proces, en tevens om de eerdere constatering van compleetheid bij te stellen. Dit levert uiteindelijk een resultaat per procesgebied, waar de aanbevelingen en concrete vragen van RWS van kunnen worden afgeleid. Uiteindelijk gaat het hier niet om direct een procesverbeteringstraject uit te voeren (de primaire doelstelling van CMMI ), maar om concreet voor Ringtoets te kunnen ontdekken waar mogelijke verbeteringen in het project doorgevoerd zouden kunnen worden. 2.2 HydraRing Voor HydraRing is gevraagd een verificatie te doen van de claims die Deltares maakt in het testrapport, Validation document [Ref 5.]. De review is daarbij gericht op de voortgang. De review beoogt op basis van de claims inzicht te krijgen in Definitief rapport december 2013

9 De volgende vragen zijn door Rijkswaterstaat gevraagd te beantwoorden over HydraRing: 1. Is de door Deltares geclaimde functionaliteit behaald? 2. Zijn de belastingmodellen juist gemodelleerd? 3. Zijn de sterktemodellen juist gemodelleerd? 4. Zijn de foutenbomen van faalmechanismen juist ingebouwd? 5. Is de ringbenadering op de juiste manier ingebouwd? 6. Kan het prototype als een nagebouwd PC-Ring gezien worden? 7. In hoeverre is aan de requirements voldaan? 8. Gegeven de deadline van 2016 voor het WTI, welke aanbevelingen kunt u doen ten aanzien van de requirements 2014 In essentie zijn de vragen: 1. Kloppen de claims van Deltares zoals in het testrapport? 2. Voldoet de HydraRing eind 2013 aan de requirements? 3. Welke requirements zijn nodig voor 2014 om WTI2017 tijdig gereed te hebben? Voor de uitvoering is gebruik gemaakt van het testrapport, aangevuld met informatie uit interviews. Vanwege de omvang van het testrapport is ten eerste een overzicht van de claims opgezet, zie Bijlage 1. Hiervoor diende ook steekproefsgewijs de onderbouwing in de achterliggende hoofdstukken gereviewd te worden voor een beter begrip. Definitief rapport december 2013

10 3 RINGTOETS Voor Ringtoets zijn op basis van het bestuderen van de documenten en de interviews per procesgebied de volgende resultaten gemeten. 3.1 PMC - projectbewaking en sturing De bedoeling van Projectbewaking en sturing is inzicht te verschaffen in de voortgang van het project zodat passende corrigerende maatregelen genomen kunnen worden als de projectprestaties in belangrijke mate afwijken van het plan. Wat is het algemene vaardigheidsniveau van dit procesgebied? x incompleet uitgevoerd beheerst gedefinieerd toelichting: Er is wel een projectplan, maar dit is vooral een technisch inhoudelijk plan dat geen goede overkoepelende begroting en sturing bevat. Er is vanuit RWS weinig zicht op de relatie tussen budget, planning en voortgang. Inhoudelijk hinkt de sturing op twee gedachten: sturen op realisatie van use cases of sturen op aantal en diepgang van de faalmechanismen. Wie voert dit procesgebied uit? vooral RWS x vooral Deltares een derde partij toelichting: Hoewel de overall sturing uiteraard bij RWS ligt, vindt de operationele en tactische sturing toch vooral plaats door Deltares. Dit heeft ook te maken met de verhouding tussen inspanning bij Deltares (groot team) en RWS (1 dag per week betrokken). Overige opmerkingen Bewaking en sturing van de planning op jaarbasis in de systematiek van de sprints is goed geborgd bij Deltares, daar zit geen belemmering. Dit zou ook een goed aanknopingspunt kunnen zijn om meer grip te krijgen over het gehele proces vanuit RWS. 3.2 PP projectplanning De bedoeling van Projectplanning is plannen opstellen en bij te houden die de projectactiviteiten definiëren. Wat is het algemene vaardigheidsniveau van dit procesgebied? incompleet x uitgevoerd beheerst gedefinieerd toelichting: Bij Deltares vindt een gedegen planning plaats rond de sprint cycli in relatie tot het jaarplan. Het is alleen wel vooral de planning van Deltares. De interactie met RWS en toekomstige gebruikers is onderbelicht, wat een risico voor het commitment is. Wie voert dit procesgebied uit? vooral RWS x vooral Deltares een derde partij toelichting: Net als bij de sturing (PMC) is het ook in dit procesgebied zo dat de overkoepelende planning formeel bij RWS ligt, maar de planning per jaar en per sprint vooral van Deltares afkomstig zijn. Daarmee ligt ook de nadruk bij de dynamiek in de planning, bijvoorbeeld wijzigingen in scope en volgorde van implementatie, onevenredig bij Deltares. Overige opmerkingen De planning hinkt nu op twee gedachten: used cases realiseren of sturen op implementatie van faalmechanismen. Door een duidelijke keus te maken voor de overkoepelende planning kan een eenvoudiger sturing en communicatie naar toekomstige gebruikers worden gerealiseerd. Definitief rapport december 2013

11 3.3 REQM eisenmanagement De bedoeling van Eisenmanagement is de eisen voor de producten en productcomponenten van het project te managen en te zorgen dat deze eisen en de projectplannen en werkproducten op elkaar afgestemd zijn. Wat is het algemene vaardigheidsniveau van dit procesgebied? x incompleet uitgevoerd beheerst gedefinieerd toelichting: Er vindt wel eisenmanagement plaats, maar dit is versnipperd. Er is een duidelijk pakket aan functionele en niet-functionele eisen vastgelegd. Dit wordt echter niet actief gebruikt, omdat er vanuit gegaan is dat deze eisen zijn meegenomen in de vertaling naar de use cases. Maar het is niet duidelijk welke use cases welke eisen implementeren en hoe daar op getest wordt. Verder staat het inhoudelijk eisenmanagement vanuit de faalmechanismen feitelijk los van de overige functionele documentatie. Wie voert dit procesgebied uit? vooral RWS x vooral Deltares een derde partij toelichting: Het ligt voor de hand dat dit proces vooral door Deltares wordt uitgevoerd. Maar hierdoor valt de inbreng van eisen vanuit RWS en toekomstige eindgebruikers een beetje tussen wal en schip. Zo zijn er vanuit de rijksoverheid ontwikkelingen met betrekking tot referentiearchitecturen en het verplicht gebruik van open standaarden. Dit zijn feitelijk eisen vanuit RWS, maar deze worden niet afgestemd met de overige eisen. Overige opmerkingen Het is onduidelijk wat de status is van eisen die geen must zijn, en wat de relatie tussen deze eisen en de projectsturing is. 3.4 PI productintegratie De bedoeling van Productintegratie is het product samen te stellen uit de productcomponenten, te zorgen dat het product, zoals het is samengesteld, correct werkt (dat wil zeggen: de vereiste functionaliteit en kwaliteitskenmerken bezit) en het product op te leveren. Wat is het algemene vaardigheidsniveau van dit incompleet uitgevoerd toelichting: Dit proces verloopt goed door de keus voor duidelijke cycli voorbereiding-sprint-nazorg. procesgebied? x beheerst gedefinieerd Wie voert dit procesgebied uit? vooral RWS x vooral Deltares een derde partij toelichting: Dit is een kerntaak van het ontwikkelteam bij Deltares. Het ligt dan ook voor de hand dat dit door Deltares wordt uitgevoerd. Dit is conform SCB. Overige opmerkingen Geen. Definitief rapport december 2013

12 3.5 RD eisenontwikkeling De bedoeling van Eisenontwikkeling is het ontdekken, analyseren en uitwerken van klant-, product- en productcomponenteisen. Wat is het algemene vaardigheidsniveau van dit procesgebied? incompleet x uitgevoerd beheerst gedefinieerd toelichting: Dit proces is voor het algemene raamwerk van Ringtoets eigenlijk al goeddeels beëindigd op dit moment, doordat eisen zijn vastgelegd in documentatie. Eisenontwikkeling met betrekking tot de inhoudelijke faalmechanismen van Hydraring vindt echter nog voortdurend plaats. Wie voert dit procesgebied uit? vooral RWS x vooral Deltares een derde partij toelichting: RWS speelt in dit proces een bijrol. Dit heeft tot gevolg dat de inbreng van de interne klant bij het ministerie maar zeer beperkt wordt ingebracht. Dit is conform SCB Overige opmerkingen De eisen met betrekking tot de technische architectuur zijn wat onderbelicht in de communicatie. Naar verwachting speelt dit echter geen grote rol bij het resterende project. Er is weinig zicht op ondersteunde versies van het besturingssysteem, gebruik van client frameworks en de toekomstige ontwikkeling hier in. 3.6 TS technische oplossing De bedoeling van Technische Oplossing (TS) is, voor de eisen oplossingen te selecteren, te ontwerpen, en te realiseren. De oplossingen, ontwerpen en realisaties hebben, afhankelijk van de situatie, betrekking op producten, productcomponenten en aan de levenscyclus van het product gerelateerde processen, of een combinatie hiervan. Wat is het algemene vaardigheidsniveau van dit procesgebied? incompleet x uitgevoerd beheerst gedefinieerd toelichting: De speciale technische inbreng vanuit de wetenschappelijke discipline maakt dit project bijzonder. Deltares gaat daar technisch goed mee om, hoewel het mechanisme van aanlevering en aansluiting van modellen in de uiteindelijke applicatie niet heel expliciet beschreven is. Met betrekking tot dit procesgebied is er speciale aandacht nodig voor interne Deltares processen, in de zin dat het team deels afhankelijk is van de levering van werkproducten door de wetenschappelijke medewerkers. De tijdigheid en kwaliteit van deze leveringen is soms een uitdaging die zijn weerslag kan krijgen in de totale planning van het project. Wie voert dit procesgebied uit? vooral RWS x vooral Deltares een derde partij toelichting: Dit is een kerntaak van Deltares. Overige opmerkingen Let op: er is discrepantie tussen Shape files versus Open Standaarden. Let op: er is dynamiek met betrekking tot IRIS. Definitief rapport december 2013

13 3.7 VAL validatie De bedoeling van Validatie is aan te tonen dat een product of productcomponent kan worden gebruikt zoals is bedoeld wanneer het in zijn beoogde omgeving is geplaatst. Wat is het algemene vaardigheidsniveau van dit procesgebied? x incompleet uitgevoerd beheerst gedefinieerd toelichting: Er is veel en gedegen focus op verificatie, maar niet op validatie. Er is weinig inbreng vanuit een senior user rol. Wie voert dit procesgebied uit? vooral RWS x vooral Deltares een derde partij toelichting: Er ontbreekt in het project een duidelijke senior user rol. Deze wordt nu de facto ingevuld door Deltares, die ook supplier is. Bij RWS is wel een algemeen eindbeeld aanwezig, maar dat is niet uitgewerkt en speelt geen grote rol in het testtraject. Maar daarmee raakt de vraag of het juiste product voor de eindgebruikers wordt gebouwd onderbelicht in het project. Overige opmerkingen Een sterkere iteratieve oplevering van werkende software (die meer bij Scrum past) kan dit proces versterken, omdat RWS en waterschappen zich dan eerder een concreet beeld kunnen vormen van de Ringtoets applicatie in ontwikkeling. 3.8 VER verificatie De bedoeling van Verificatie (VER) is om te garanderen dat geselecteerde werkproducten voldoen aan hun gespecificeerde eisen. Wat is het algemene vaardigheidsniveau van dit procesgebied? incompleet uitgevoerd beheerst toelichting: Dit is een kernactiviteit voor Hydraring. Hydraring wordt aangestuurd vanuit Ringtoets. De verificatie wordt op een hoog niveau uitgevoerd. x gedefinieerd Wie voert dit procesgebied uit? vooral RWS x vooral Deltares een derde partij toelichting: de wetenschappelijke toetsing van modelresultaten is een kernelement van Deltares in het project. Niemand kan dat beter dan Deltares zelf. In de beeldvorming kan dit wel een risico zijn: keurt de slager hier zijn eigen vlees? Overige opmerkingen Vanwege het fundamentele belang worden verdere bevindingen van dit proces in een separaat hoofdstuk behandeld. Definitief rapport december 2013

14 3.9 CM configuratiemanagement De bedoeling van Configuratiemanagement is de integriteit van werkproducten vast te stellen en te handhaven door middel van configuratie-identificatie, configuratiebeheer, het administreren van de configuratiestatus en configuratie-audits. Wat is het algemene vaardigheidsniveau van dit procesgebied? incompleet uitgevoerd x beheerst gedefinieerd toelichting: Uit het interview blijkt een beheerste situatie met betrekking tot dit proces. Ook de meeste documenten zijn onder versiebeheer gebracht. Er wordt professioneel gewerkt in het software proces. Verder is dit geen groot issue. Wie voert dit procesgebied uit? vooral RWS x vooral Deltares een derde partij toelichting: Dit ligt ook voor de hand. Overige opmerkingen Geen MA - meting en analyse De bedoeling van Meting en Analyse is een vermogen tot meten te ontwikkelen en te handhaven, dat gebruikt wordt om te voorzien in de behoefte aan managementinformatie. Wat is het algemene vaardigheidsniveau van dit procesgebied? x incompleet uitgevoerd beheerst gedefinieerd toelichting: Naar de aard van dit project wordt er uiteraard van alles gemeten en geanalyseerd, vooral rond verificatie van modelresultaten. Verder wordt er in de sprints ook heel gedetailleerd voortgang gemeten op dagelijkse basis. Er wordt echter te weinig geaggregeerd, waardoor en toch onvoldoende management informatie is voor RWS. Dit blijkt onder andere uit de vragen die RWS heeft gesteld aan de reviewers. Wie voert dit procesgebied uit? vooral RWS x vooral Deltares een derde partij toelichting: Vooral Deltares doet dit nu, of zou dit moeten doen, maar er is meer sturing nodig vanuit RWS. Wat heeft RWS nodig om overkoepelend te kunnen sturen? Dit ontbreekt vrijwel geheel. Overige opmerkingen Er is een opvallende discrepantie tussen de volwassenheid van de meting en analyse op detailniveau in de sprints (met Jira) en de schijnbaar bijna totale afwezigheid van sturingsinformatie op management niveau dat bij RWS aanwezig is. Definitief rapport december 2013

15 3.11 PPQA - proces- en productkwaliteitsborging De bedoeling van Proces- en Productkwaliteitsborging is zowel medewerkers als management objectief inzicht te verschaffen in processen en daaraan gerelateerde werkproducten. Wat is het algemene vaardigheidsniveau van dit procesgebied? incompleet x uitgevoerd beheerst gedefinieerd toelichting: Dit proces vindt met name plaats rond de inhoudelijke thematiek van het project. Er is wel een duidelijke discrepantie tussen de (inhoudelijke) productkwaliteitsborging en de (projectmatige) proceskwaliteitsborging. In algemene zin kan worden gezegd dat hier wel aandacht voor is, maar niet op een structurele manier. Wie voert dit procesgebied uit? vooral RWS x vooral Deltares een derde partij toelichting: Omdat RWS zelf weinig inhoudelijke kwaliteitsborging doet, is er een mogelijk issue met de onafhankelijkheid. Wellicht dat om die reden ook gekozen is voor een midterm review door een onafhankelijke partij. Overige opmerkingen Geen Resultaten op hoofdlijnen Aan de hand van de bovenstaande resultaten kan per procesgebied naast het vaardigheidsniveau een globale inschatting worden gemaakt van het totale projectrisico voor dit procesgebied: in hoeverre draagt het procesgebied bij aan de slaag- en faalkansen van het project als geheel. Vervolgens kan het huidige vaardigheidsniveau worden afgezet tegen dit risico. Niet alle procesgebieden hoeven op het hoogste niveau te worden uitgevoerd, vaak is dit zelfs onwenselijk, want: te duur en te star. De effectiviteit van een verhoging van het vaardigheidsniveau is een functie van het huidige vaardigheidsniveau en het risico dat het project loopt ten gevolge van dit procesgebied, als volgt: Effectiviteit bij verbetering als functie van projectrisico en vaardigheidsniveau Vaardigheidsniveau huidige situatie 0: incompleet 1: uitgevoerd 2: beheerst 3: gedefinieerd Risico laag klein effect klein effect klein effect klein effect middel groot effect middel effect klein effect klein effect hoog groot effect groot effect middel effect klein effect De resultaten per procesgebied kunnen nu als volgt worden weergegeven: proces huidig niveau projectrisico Effect bij verbetering projectbewaking en sturing 0: incompleet hoog groot projectplanning 1: uitgevoerd hoog groot eisenmanagement 0: incompleet middel groot productintegratie 2: beheerst laag klein eisenontwikkeling 1: uitgevoerd laag klein technische oplossing 1: uitgevoerd hoog groot validatie 0: incompleet middel groot Definitief rapport december 2013

16 proces huidig niveau projectrisico Effect bij verbetering verificatie 3: gedefinieerd middel klein configuratiemanagement 2: beheerst laag klein meting en analyse 0: incompleet middel groot proces- en productkwaliteitsborging 1: uitgevoerd middel middel De procesgebieden waar een verbetering een mogelijk groot effect heeft, zijn vetgedrukt. Bij de conclusies en aanbevelingen zal vooral worden in gegaan op deze procesgebieden. Definitief rapport december 2013

17 4 HYDRARING In Bijlage 1 is een overzicht gegeven van: eisen aan de faalmechanismen op basis van de Requirements van RWS [Ref 6.]; voorgestelde functionaliteit op basis van het softwareplan [Ref 7.]; de claims in het testrapport [Ref 5.] Voor de belastingmodellen en de overslagmodule is in de bijlage een aparte tabel opgezet. 4.1 Van requirements naar product Om te komen tot een vergelijk tussen requirements en resultaat is in eerste instantie nagegaan wat de requirements waren en met welke stappen tot het testrapport is gekomen. De tussentijdse wijzigingen zijn door Deltares en RWS afgestemd in overleg en bijgehouden. Voor een overzichtelijk vergelijk zijn per faalmechanisme de requirements, specificaties en testen naast elkaar gezet, zie Bijlage 1, om beter inzicht te krijgen in: volledigheid; gehanteerde criteria; opmerkingen en verbeterpunten Requirements RWS De eerste bron voor de requirements is de Product requirements van RWS [Ref 6.]. Deze zijn op hoofdlijnen geformuleerd en schrijven vooral voor dat eind Voor 2013 is aangegeven dat 9 faalmechanismen aangesloten zijn voor faalkansberekeningen. De mechanismen worden alleen bij naam genoemd zonder verdere duiding van de onderdelen of rekenmethoden. De Use Cases zijn daarbij de basis voor de werkzaamheden. RWS schrijft tevens voor dat een testplan opgesteld dient te worden met acceptatietesten aan rekenresultaten. In het testverslag dient aangegeven te worden hoe de rekenresultaten zich verhouden tot de eisen. Deze eisen zijn in het document zelf niet toegelicht. Aanvullend op deze notitie is een notitie geschreven Acceptatiecriteria producten voor TOI [Ref 2.]. Welke mede is verwerkt in de testfilosofie Softwareplan De volgende stap is geweest de specificaties zoals uitgewerkt in het Softwareplan 2013 door Deltares [Ref 7.]. Deze specificaties zijn een detaillering van de productrequirements van RWS. Hierbij is per faalmechanisme aangegeven tot welke niveau implementatie haalbaar is en welke methode wordt geïmplementeerd, bijvoorbeeld Bishop en Uplift Van. Vanwege budgettaire redenen is besloten een aantal onderdelen door te schuiven naar 2014 ten opzichte van de eerdere planning. Dit betreft de faalmechanismen voor bekleding. Definitief rapport december 2013

18 4.1.3 Testfilosofie Voor het testen is door drie auteurs een voorstel gedaan. Deze voorstellen zijn gecombineerd in één document met de testfilosofie [Ref 1.]. De testfilosofie gaat uit van testen op vier niveaus: Acceptatietesten ter beoordeling van de specificaties. Dit betekent dat de testen antwoord geven of de software voldoet als wettelijk toetsinstrumentarium; Systeemtesten ter beoordeling van de werking van het systeem. Hiervoor is een groot aantal locaties doorgerekend met de module voor een faalmechanisme; Integratietesten ter beoordeling van het subsysteem. Deze testen geven aan of de modules samen goed functioneren en of de subsystemen van een module tot een goede uitkomst voor het faalmechanisme leiden; Unit testen ter controle van de functionaliteit van subsystemen. In de uitwerking van de testfilosofie [Ref 1.] is een procesvoorstel opgenomen om te werken aan de hand van claims, welke verifieerbaar zijn door een derde partij. Bovendien is aangegeven dat acceptatietesten door de opdrachtgever uitgevoerd dienen te worden. De andere testen kunnen en zijn uitgevoerd worden door Deltares. Deze zijn gerapporteerd in het testrapport [Ref 5.] Testrapport In het testrapport zijn de unit-, integratie- en systeemtesten gerapporteerd. De testen in de rapportage zijn als volgt onderverdeeld: Statistiek Faalmechanismen: Overloop, piping bij dijken, macrostabiliteit, etc. Systeemtesten Tijdintegratiescenario s Per faalmechanisme is de onderverdeling als volgt: Integratietest, bestaande uit een test op basis van een locatie: designpoint check met een Z-functie; vergelijk met PC-Ring; Systeemtest door: berekening van meerdere locaties en: test van combinatie van sub-mechanismen indien relevant; Op basis van de testen zijn door Deltares claims gemaakt per faalmechanisme en watersysteem. De claims van Deltares zijn uitgebreid beschreven en zoveel mogelijk specifiek gemaakt. Eventuele afwijkingen zijn door Deltares overal onderzocht en zo mogelijk verklaard. Uit enkele van de claims volgt dat nader onderzoek of aanpassing van de software nodig is. Definitief rapport december 2013

19 De claims in het testplan tonen aan: Deltares heeft alle watersystemen en de voorgeschreven faalmechanismen in HydraRing geïmplementeerd. De belastingmodellen voor de kust (m.u.v. IJmuiden) en het Schelde-estuarium functioneren goed. De belastingmodellen functioneren slecht voor de meren en benedenrivieren (Rijn en IJssel/Vecht). De oorzaken zijn: het sluitcriterium van de Maeslandtkering, circular failure space door FORM, toepassing van blokiteraties voor windsnelheden. Het sluitcriterium is daarvan een majeur probleem. De andere twee problemen kunnen worden opgelost door toepassing van DS in plaats van FORM. Het overzicht van de juistheid per watersysteem is weergegeven in Bijlage 1. Op het niveau van integratietesten wordt middels de Z-functie aangetoond dat de werking van de modules juist is, losstaand van een vergelijking met PC-Ring of Hydra s. Geconcludeerd wordt dat de onderdelen van de sterktemodellen juist geïmplementeerd zijn; De implementatie van een groot aantal componenten levert resultaten die overeenkomen met PC-Ring. De integratie van die subsystemen functioneert ook naar behoren volgens de claims. Geconcludeerd wordt dat de modules per faalmechanismen correct werken. De foutenbomen zijn juist geïmplementeerd; Resultaat is dat de hele trein van basisstatistiek tot aan uitvoer getest is op unit-, subsysteem- en systeemniveau. Definitief rapport december 2013

20 5 CONCLUSIES EN AANBEVELINGEN 5.1 Algemeen De voorliggende review is uitgevoerd door een onafhankelijk team dat vooraf niet of nauwelijks direct betrokken is geweest bij het project. Dit heeft als nadeel dat er wellicht weinig of te weinig inhoudelijke kennis bij het reviewteam aanwezig is geweest om het project op details te beoordelen. Het heeft echter als grote voordeel dat er frisse blik in de keuken van het project is geworpen, zonder a priori aannames of enige vooringenomenheid. Daarmee is de eerste professionele indruk een belangrijke graadmeter, los van alle inhoudelijk verder onderbouwde bevindingen tijdens de review zelf. Deze eerste indruk is als volgt. 1. De reviewers zijn van mening dat het project alle potentie heeft om succesvol te zijn. De reviewers hebben zowel bij RWS als bij Deltares een betrokken en gecommitteerd projectteam aangetroffen bij een beheerst project. 2. De reviewers hebben bij RWS een situatie aangetroffen die op een tekort aan middelen wijst om de noodzakelijke rol van opdrachtgever in de volle breedte te kunnen spelen passend binnen de SCB contractvorm. De aansturing door RWS en projectmanagement door Deltares sluiten nog onvoldoende aan. 3. Bij de meeste projecten zit het venijn in de staart. Bij dit project lijkt daar zelfs met een verhoogde kans sprake van te zijn. De reviewers hebben bij Deltares een situatie aangetroffen van een project onder druk van tijd en afhankelijkheden. Een goed en gezamenlijk management in de slotfase van het project (kalenderjaren 2014 en 2015) is daarbij cruciaal. RWS heeft de voorliggende review geïnitieerd om het project te versterken. Dat is het uitgangspunt geweest bij het formuleren van de meer gedetailleerde conclusies en aanbevelingen. Niet alle aanbevelingen zullen even relevant blijken. Dit heeft te maken met de onafhankelijkheid en daardoor relatieve afstand van de reviewers. Er is echter een consistent beeld naar voren gekomen waar de knelpunten in het project zitten. De rest van dit hoofdstuk richt zich hier direct op. De diepgang en uitgebreidheid van het eindproduct in 2016 is nog niet concreet. Dit geeft onduidelijkheid bij opdrachtnemer (Deltares) en opdrachtgever (RWS). Door verwachtingen concreter en tijdsgebonden te maken, zoals hiervoor genoemd, kan dan concreter gediscussieerd worden over prioritering. In de uitwerking van het eindbeeld dient ook rekening gehouden te worden met het beheer en onderhoud van HydraRing en RingToets. Wanneer een onvolledig of beperkt instrumentarium wordt opgeleverd moet rekening gehouden worden met updates of aanpassingen. Aanbevolen wordt een beheervisie te formuleren, aansluitend op de uitwerking van het eindbeeld. Het werken met jaarbudgetten heeft er afgelopen jaar toe geleid dat de implementatie van enkele modules vooruit is geschoven en de pot onvoorzien is geschrapt. Het doorschuiven betekent echter dat deze implementatie meer op het kritieke pad komt en dit gelijk een claim legt op het budget voor volgend jaar. Aangezien de eindoplevering in zicht komt is het noodzakelijk een meerjarenplanning richting het eindproduct op te stellen. Definitief rapport december 2013

21 5.2 Ringtoets Het advies is om in elk geval de volgende procesgebieden te versterken: projectbewaking en sturing (PMC); projectplanning (PP); eisenmanagement (REQM); technische oplossing (TS); validatie (VAL); meting en analyse (MA). Deze procesgebieden kennen een hoog risico in relatie tot het vaardigheidsniveau. Ook bij de overige procesgebieden zijn verbeteringen mogelijk. Deze worden onderaan deze paragraaf opgesomd. Bij de voornoemde procesgebieden waar de focus voor versterking op zou kunnen liggen, zijn de aanbevelingen per procesgebied gegeven. Deze aanbevelingen zijn voor de leesbaarheid in de gebiedende wijs opgeschreven. Het zijn uiteraard echter adviezen die door het project team zelf in vrijheid op waarde kunnen worden geschat. De aanbevelingen zijn als volgt Projectbewaking en sturing (PMC) Versterk de rol van RWS als opdrachtgever. Op dit moment wordt het opdrachtgeverschap ingevuld met 0,2 FTE. Dat lijkt te weinig voor een volwaardige rol, zeker nu er een cruciale eindfase van het project in zicht komt. Het gaat erom dat RWS gelijkwaardig kan worden met Deltares door beter grip te krijgen op de sturingsdriehoek tijd, geld, functionaliteit. De invulling van het opdrachtgeverschap vergt meer inzet ook binnen SCB. Dit is ook een direct belang van Deltares, die nu noodzakelijkerwijs veel tactische beslissingen zelf nemen zonder de klant daar echt in mee te nemen. Dit levert risico s op voor de acceptatie, beeldvorming en de verwachtingen bij de opdrachtgever, die de belangrijkste ambassadeur kan zijn voor het eindproduct. Verder is een sterke opdrachtgever van belang bij het beheersen van interne processen binnen het ministerie. Wat gebeurt er als deadlines niet worden gehaald? Hoe reageert RWS als het product op een aantal faalmechanismen slechts een rudimentaire implementatie kent? Wat als er meer middelen nodig zijn? Voor al deze zaken is het van belang om tijdig en proactief in verbinding te zijn. Bewaking en sturing van de planning op jaarbasis in de systematiek van de sprints is goed geborgd bij Deltares. Dit is een concreet aanknopingspunt om meer grip te krijgen over het gehele proces vanuit RWS Projectplanning (PP) Versterk de gezamenlijke sturing op een overkoepelende planning voor de rest van het project. Om dit concreet te realiseren kan er bijvoorbeeld een betere koppeling worden gemaakt tussen de overkoepelende WTI planning en de cyclische planning per kalenderjaar en sprint. Hierdoor kan er dan beter gestuurd worden op het eindresultaat, waarbij ook de tussentijdse resultaten beter meetbaar worden gemaakt. Maak RWS verantwoordelijk voor deze overkoepelende planning, zodat ook op dit procesgebied een gelijkwaardiger verhouding ontstaat. De planning hinkt nu op twee gedachten: use cases realiseren of sturen op implementatie van faalmechanismen. Door een duidelijke keus te maken voor de overkoepelende planning kan een eenvoudiger sturing en communicatie naar toekomstige gebruikers worden gerealiseerd. Definitief rapport december 2013

22 5.2.3 Eisenmanagement (REQM) Uniformeer requirements door te kiezen waar op gestuurd gaat worden gedurende de rest van het project. Op dit moment vindt de sturing plaats in verschillende discrete pakketten; functioneel/niet-functioneel, use cases en faalmechanismen. Breng daar meer samenhang in. Maak duidelijk wat de status is van eisen die geen must zijn, en wat de relatie tussen deze eisen en de projectsturing is. Communiceer helder over de voortgang op basis van de gekozen systematiek. De Scrum aanpak met sprints leent zich hier bij uitstek voor. Zorg er voor dat iedere sprint een echte productie-kwaliteit applicatie oplevert. Ook al zitten daar bijvoorbeeld minder faalmechanismen in dan verwacht, dat wordt dat in elk geval zichtbaar voor alle betrokkenen, met alle voordelen van dien Technische oplossing (TS) Zorg binnen en buiten de eigen organisatie voor meer zichtbaarheid van de directe relatie die er ligt tussen de tijdige en juiste wetenschappelijke inbreng en de kwaliteit en tijdigheid van het eindproduct. Daarmee komt er ook meer zicht op de complexiteit van Ringtoets en wellicht meer draagvlak bij vertraging ten gevolge van interne vertragingen of budgetoverschrijdingen. Dit punt heeft een relatie met de aanbevelingen bij projectbewaking en sturing (PMC), projectplanning (PP) en meting en analyse (MA) en is alleen in die zin al van belang Validatie (VAL) Versterk de invulling van de senior user rol in het project, met name met betrekking tot het beantwoorden van de vraag bij het testen: is dit de applicatie die we willen en kunnen gebruiken? Dit vergt een grotere betrokkenheid van eindgebruikers. Ook hier kan een meer geprofileerde iteratieve incrementele oplevering van werkende software dit proces versterken, omdat RWS en waterschappen zich dan eerder en vaker een concreet beeld kunnen vormen van de applicatie die in ontwikkeling is Meting en analyse (MA) Start een sturingsmechanisme op basis van gezamenlijke management informatie. Een gezamenlijk dashboard voor de monitoring van het project op hoofdlijnen kan daarbij een hulpmiddel zijn. Bij deze sturing moet aandacht zijn voor de overkoepelende planning, de detailplanning, de wetenschappelijke planning, de eisenontwikkeling, geld, tijd en risico s. Er is een opvallende discrepantie tussen de volwassenheid van de meting en analyse op detailniveau in de sprints en de schijnbare afwezigheid van sturingsinformatie op management niveau bij RWS. Maak gebruik van de volwassenheid op detailniveau om op te schalen. Definitief rapport december 2013

23 5.2.7 Overige aanbevelingen De overige aanbevelingen zijn als volgt: 1. Versterk de eisenontwikkeling die betrekking heeft op de levensduur van het product. De huidige eisen betreffen vooral de projectfase. 2. Versterk de eisen en communicatie met betrekking tot de technische architectuur. Het is bij RWS niet eens 100% zeker of er een desktop of web applicatie wordt gebouwd. Deltares werkt aan een Windows applicatie die ook op Citrix moet kunnen draaien, maar er is geen zicht op ondersteunde versies van het besturingssysteem, gebruik van client frameworks en de toekomstige ontwikkeling hier in. 3. Los de discrepantie op tussen de twee conflicterende eisen met betrekking tot het ondersteunde geografische bestandsformaat. Ten eerste is er een eis om ESRI Shape files te ondersteunen. Ten tweede is er de eis om aan de lijst met Open Standaarden te voldoen, die een GML formaat voorschijven. 4. Onderzoek de huidige dynamiek met betrekking tot IRIS. Er wordt een koppelvlak gemaakt met IRIS, maar waterschappen neigen naar vervanging door een ander systeem. 5.3 HydraRing Onderstaand wordt ingegaan op de vragen die door RWS gesteld zijn bij opdrachtverlening Geclaimde functionaliteit Vraag van RWS: Is de door Deltares geclaimde functionaliteit behaald? Ja, de claims zijn onderbouwd en corresponderen met de inhoud van de onderliggende hoofdstukken Juistheid modellering belastingmodellen Vraag van RWS: Zijn de belastingmodellen juist gemodelleerd? De belastingmodellen voor de kust (m.u.v. IJmuiden) en het Schelde-estuarium functioneren goed. De belastingmodellen functioneren slecht voor de meren en benedenrivieren (Rijn en IJssel/Vecht). Belangrijk dilemma zijn de afwijkingen die het gevolg zijn van toepassen van FORM. Andere inhoudelijke oorzaken van afwijkingen worden veroorzaakt door iteratie van de windsnelheden en het sluitcriterium van de Maeslandtkering. Ten aanzien van de door Deltares gesignaleerde tekortkomingen wordt het volgende opgemerkt door de reviewers: 1. Uit de beschrijving volgt dat FORM bij voorkeur wordt toegepast vanwege rekentijd, DS wegens juistheid van de resultaten. De noodzaak van DS of FORM wordt aangetoond door de testen; 2. Deltares geeft geen verklaring voor de afwijkingen bij IJmuiden. De situatie bij IJmuiden wijkt sterk af van de rest van de kust. De buitenhaven van IJmuiden is zeer complex vanwege de dammen en eilanden. Voor ontwerpprojecten wordt hiervoor - op termijn een apart model gemaakt. Overwogen moet worden de modellering buiten WTI te houden vanwege de complexe situatie. Definitief rapport december 2013

24 3. Ten aanzien van de windsnelheid is sprake van een klein probleem dat vooral door aanpassing van de iteratiemethode kan worden opgelost; 4. Het ontbreken van het sluitcriterium Maeslandtkering leidt tot grote waterstandsafwijkingen (max 15 cm). Implementatie van het sluitcriterium lijkt wenselijk vanwege het feit dat dit sluitcriterium een wettelijk gegeven is Juistheid modellering sterktemodellen Vraag van RWS: Zijn de sterktemodellen juist gemodelleerd? De sterktefunctie (Z-functie) en de check van het illustratiepunt leiden voor alle mechanismen tot oplossing. Berekeningen zijn waar mogelijk opgeknipt en op onderdelen gecontroleerd. Daaruit wordt geconcludeerd dat de sterktemodellen juist gemodelleerd zijn. Hierbij wordt geen uitspraak gedaan over de vraag of de werkelijkheid juist is gemodelleerd. Dit houdt in dat de PC-Ring modules inhoudelijk op juistheid moeten worden gecontroleerd voor deze als terugvalscenario kunnen worden toegepast. Uit de integratietesten zijn de resultaten voor overtopping voor meerdere watergebieden niet juist. De oorzaak ligt echter in de afwijkingen in de belastingmodellen in plaats van in de overslagmodule. Het testen van alle onderdelen afzonderlijk en de keten als geheel bewijst hier zijn waarde Implementatie foutenbomen Vraag van RWS: Zijn de foutenbomen van faalmechanismen juist ingebouwd? Binnen de faalmechanismen zijn faalbomen ingebouwd en gecontroleerd middels de integratietesten. Deze voldoen Ringbenadering Vraag van RWS: Is de ringbenadering op de juiste manier ingebouwd? De ringbenadering is getest op meerdere manieren. In de testen zijn meerdere secties en meerdere mechanismen gecombineerd en is het lengte-effect getest. De uitkomsten stemmen overeen met PC-Ring uitkomsten. Volgende testen kunnen meer mechanismen en sectie meenemen om tevens de snelheid en performance te testen Vergelijk PC-Ring Vraag van RWS: Kan het prototype als een nagebouwd PC-Ring gezien worden? De vergelijking met PC-Ring is nuttig als snel vergelijk voor de bestaande modules voor het doorrekenen van grote aantallen locaties. Dit snelle vergelijk is noodzakelijk vanwege de korte doorlooptijd. Niet alle watersystemen functioneren volwaardig, zoals ook genoemd in paragraaf Verschillen in resultaten zijn daarom herleidbaar tot afwijkingen in de basisstatistiek. Door gebruik van meerdere dll s direct uit PC-Ring worden de berekeningen uit PC-Ring verder goed gereproduceerd. Ten aanzien van de faalmechanismen is de werking van HydraRing goed vergelijkbaar met PC-Ring en worden sterk vergelijkbare resultaten geproduceerd. Voor grote aantallen locaties geeft vergelijk van HydraRing en PC-Ring resultaten een goede indicatie van de betrouwbaarheid van HydraRing. Definitief rapport december 2013

25 Geconstateerd wordt uit de interviews dat PC-Ring nooit gevalideerd is en ook fouten lijkt te bevatten. Bij gebruik van een module uit andere software is ervan uitgegaan dat de toegeleverde modules juist zijn. Voor het vervolg van de software ontwikkeling dient geverifieerd te worden dat aangeleverde input voldoende gecontroleerd en geaccordeerd is. Bovendien is het noodzakelijk te verifiëren of de werking juist is wanneer ervoor gekozen wordt bestaande modules in het WTI2017 over te nemen Mate waarin voldaan is aan de requirements 2013 Vraag van RWS: In hoeverre is aan de requirements voldaan? De vraag is gelezen of de behaalde functionaliteit correspondeert met de gewenste functionaliteit en dit past in de planning tot Geconcludeerd wordt dat alle faalmechanismen en watersystemen zijn geïmplementeerd met uitzondering van bekledingen. Bekledingen zijn vanwege budgettaire redenen niet geïmplementeerd, zoals aangegeven in het softwareplan. Lopende het jaar zijn de requirements bijgesteld. Gegeven de beperking van de review is niet wijzigingenregister doorlopen. Uit sec vergelijk van requirements 2013 en testplan wordt geconcludeerd dat niet alle functionaliteiten zoals genoemd in januari 2013 zijn uitgevoerd en volledig functioneel zijn. Opgemerkt wordt dat in de requirements 2013 niet scherp was gedefinieerd wat het niveau van implementatie en de diepgang diende te zijn. Wanneer implementatie wordt gelezen als werkend binnen de tolerantie was de ambitie erg groot en heeft Deltares in de claims aangetoond dat dit is behaald voor de faalmechanismen wel, en niet voor alle watersystemen. Voor het oplossen van de problemen van deze watersystemen is nadere uitwerking nodig Aanbevelingen requirements 2014 Vraag van RWS: Gegeven de deadline van 2016 voor het WTI, welke aanbevelingen kunt u doen ten aanzien van de requirements 2014 Bij het doorschuiven van onderdelen naar 2014 is niet aangegeven wat het gevolg voor de planning is. Het doorschuiven van werkzaamheden geeft extra druk op het budget van volgend jaar en verkleint de speling in de planning. Uit de testen blijkt tevens nader onderzoek noodzakelijk. De door RWS gevraagde acceptatietesten dienen nader ingevuld te worden door RWS zelf. In het kader van SCB dient RWS na te gaan op welke wijze zij tot acceptatie van het eindproduct in 2017 over kunnen gaan. Het tijdig inrichten van de testen, al dan niet op basis van het testprogramma van Deltares, geeft opdrachtgever en opdrachtnemer meer duidelijkheid over het eindproduct en de eisen Overige conclusies en aanbevelingen Verwacht wordt dat de bekledingenmodules moeilijk te implementeren zijn vanwege discontinue functies. Door deze implementatie uit te stellen wordt tevens de resterende tijd beperkt. Definitief rapport december 2013

26 5.4 Discussie Omdat Deltares niet werkt met CMMI, kan er een discrepantie ontstaan tussen de methodiek van Deltares en voorliggende rapportage die deels op een wellicht afwijkende systematiek is gebaseerd. Dit lijkt zelfs voor de hand te liggen, want Deltares gebruikt Scrum, en dat is heel iets anders dan CMMI. Toch is het in deze review geen beperking gebleken, vooral omdat de CMMI procesgebieden erg op hoofdlijnen zijn ingedeeld en beschreven, waarmee het echt een bovenliggende kapstok kan zijn. CMMI gaat niet in op concrete zaken zoals rolverdeling in een project, de opbouw van een architectuur document of de wijze waarop het dagelijks operationeel overleg gevoerd dient te worden. CMMI bevat weliswaar ook praktijken, annotaties, voorbeelden en voorbeeld werkproducten, maar deze zijn in de review niet gebruikt. Er is alleen gefocust op de procesgebieden als structurerend en inhoudelijk raamwerk. Uit de interviews naar voren dat het eindbeeld niet duidelijk is. Het eindbeeld en de communicatie daarover is evenwel essentieel voor het behalen van het doel van RWS: een betrouwbaar, gebruiksvriendelijk, robuust instrument. Indien geconstateerd wordt dat aan het eind een minder volledig instrument opgeleverd dient te worden, is het noodzakelijk het beheer en onderhoud zo in te richten dat resterende punten opgelost kunnen worden. De vergelijking van requirements, specificaties en testrapport wijzen erop dat de beoogde functionaliteit ten dele is behaald. De ambitie hierin was erg groot. Gegeven dat een deel van de werkzaamheden vooruit geschoven is en uit de testen nader onderzoek voortkomt om tot volledige, werkende implementatie te komen, is de vraag of een volledig instrument tijdig gereed is. In het kader van SCB heeft RWS de wens van acceptatietesten. Het tijdig inrichten hiervan of afspraken maken hierover is noodzakelijk om opdrachtnemer en opdrachtgever helderheid te geven over de acceptatieprocedure en het op te leveren product. Definitief rapport december 2013