Evaluatie/ Procesreview. Project PPA West

Transcriptie

1 Evaluatie/ Procesreview Project PPA West Afdeling: CIV BV&I IVA Uitgebracht aan: Harry van Ooststroom Projectleider PPA West Auteur: Ed Meijer Kopie aan: AT Osborne (integrale evaluator PPA fase 2) Begeleidingsgroep Evaluatie PPA Stuurgroep PPA Grafische ondersteuning Wiggert Loonstra Telefoon: Datum: 19 februari 2016 Versie: V3.0 Definitief Definitief Vastgesteld door PPA Stuurgroep

2 1. Kenmerken project PPA West Beschrijving Project Project Praktijkproef Amsterdam beoogt de voorbereiding en de uiteindelijke integratie van in-car informatie en verkeersmanagementsystemen. Hierbij wordt een integratie van in-car data met bestaande wegkant en verkeersinformatiediensten eerst afzonderlijk en vervolgens gezamenlijk beproefd en worden verkeerskundige effecten van deze proef bepaald. Planning Het Project PPA kent een gefaseerde planning. Het in fase 1 ontwikkelde regelconcept (GNV) en de voorbereiding van de integratie van in-car data is reeds eerder geëvalueerd. Momenteel is fase 2 gestart en onderweg. Resultaat Kennis: inzicht in bereikte en te bereiken effecten van het ontwikkelde regelconcept. Tastbare deliverables: realisatie van de benodigde software (prototype en nieuwbouw) en systeemaanpassingen (bestaande systemen) en een implementatie en beheer van nieuwe systemen. Als deliverables worden genoemd: ICT-specificaties, bestekstukken, inkoop en inhuur voor realisatie van software, contractmanagement tijdens realisatie, testen, gebruik en beheer prototype, implementatie. 2. Aanleiding verzoek evaluatie Omdat het PPA-project en de gehanteerde werkwijze in de uitvoering: gekenmerkt wordt door een samenwerking met een groot aantal betrokken partijen (gemeente, RWS, provincie, verkeerscentrale, leveranciers verkeerssystemen, kennisinstellingen) direct aansluit bij en bijdraagt aan de realisatie van de visies op en strategieën voor de toekomst van verkeersmanagement en verkeersinformatie, in dat kader: voor de deelnemende partijen mogelijk een leereffect kan bieden is door de stuurgroep PPA / plv. directeur OSR bij monde van gedelegeerd opdrachtgever en projectleider Harry van Ooststroom de wens uitgesproken te onderzoeken hoe dit proces door de betrokken stakeholders is ervaren en in hoeverre dit heeft voldaan aan de verwachtingen / heeft bijgedragen aan het projectresultaat. 2

3 3. Aanpak van de evaluatie 3.1 Uitgevoerde activiteiten en planning Concreet zijn de volgende activiteiten uitgevoerd: 1. Afstemming doelstelling en resultaat met de opdrachtgever 2. Uitwerken Concept Plan van Aanpak 3. Één op één interviews met sleutelfiguren 4. Bespreken concept-versie met gedelegeerd opdrachtgever 5. Opstellen eindrapportage Oorspronkelijk stond een plenaire evaluatie met key stakeholders van het project gepland. Omwille van de planning is hiervan afgezien en gekozen voor een eerste bespreking in de begeleidingsgroep. Betrokkenen bij de evaluatie zullen de vastgestelde versie ontvangen. Het resultaat van deze onderzoeken is in deze rapportage vastgelegd en zal aan de opdrachtgever worden opgeleverd. De evaluatie is uitgevoerd conform de volgende planning: Wat Datum start Datum eind Bestuderen project dossier door onderzoekers Afstemming concept PVA met gedelegeerd opdrachtgever Vaststellen PVA door opdrachtgever / stuurgroep Maken afspraken Interviews met stakeholders Bespreken conceptrapportage met opdrachtgever Aanbieden conceptrapportage Aanbieden definitieve rapportage aan begeleidingsgroep Aanbieding aan stuurgroep Hoofdvragen De interviews zijn uitgevoerd aan de hand van de volgende drie hoofdthema s: 1. Evaluatie van de samenwerkingsverbanden (zie 4.1) 2. Evaluatie van het werken onder architectuur, prototyping en scrum (zie 4.2) 3. Evaluatie van de inkoopstrategie van PPA West (zie 4.3) 3

4 3.3. Rapportage en oordeel De evaluatie wordt afgesloten met deze bondige, zelfstandig leesbare rapportage. Per aspect worden bevindingen en aanbevelingen opgenomen. PPA / PL PPA West zal de resultaten actief uitdragen binnen en buiten het project Betrokken partijen en verantwoordelijkheden Opdrachtgever van de evaluatie is de stuurgroep project PPA. De evaluatie is uitgevoerd door Ed Meijer (CIV BV&I IV Assurance). Bij de evaluatie zijn de volgende personen geïnterviewd: Organisatie Rol binnen Project Naam Evaluatievraag RWS Opdrachtgever Projectmanager Ronald Adams 1 / 2 / 3 Ronald Zijderhand 1 / 2 / 3 Projectleider PPA West Harry Ooststroom 1 / 2 / 3 Samenwerking RWS Verkeerscentrale Velsen Art Feitsma 1 Pieter Schurer 1 Samenwerking CIV Architect Antwan Reijnen 1 / 2 I-strategie Gerard Avontuur 1 / 2 Inkoop Jan de Jong 3 Renée van Ophem 3 Samenwerking extern Gemeente Amsterdam Aafke den Hollander 1 / 2 Arane Jaap van Kooten 1 / 2 Technolution Jan Bosma 1 / 2 4

5 4. Resultaat van de evaluatie 4.1. Evaluatie van belangrijkste samenwerkingsverbanden: a. Wat is de algemene ervaring van de belangrijkste partners met betrekking tot de samenwerking binnen PPA? Algemene indruk De samenwerking binnen PPA West is sinds einde fase 1 sterk verbeterd. Het samenbrengen van partijen / key-persons van verschillende niveaus heeft een stuwende werking gehad. Bij alle betrokken partijen in fase 2 wordt een sterke gedeelde verantwoordelijkheid gevoeld. Het commitment van betrokken partijen is key geweest bij het relatief snel boeken van resultaten. Met name de gedeelde verantwoordelijkheid en het sneller schakelen tussen direct betrokkenen heeft de productiviteit verbeterd. Marktpartijen zijn vanaf de start aangehaakt en goed betrokken. De splitsing tussen inhoudelijke en de proceskant (uitvoering) heeft goed gewerkt. Belangrijk leereffect: uit de praktijkproeven is heel duidelijk gebleken dat het succes van verkeerstechnische maatregelen in sterke mate wordt bepaald door een nauwkeurige timing en beschikbaarheid van juiste data. 5

6 Verbeter- en aandachtspunten: 1. Verbeteringen aan het systeem meer delen om draagvlak onder wegbeheerders te vergroten. Bijvoorbeeld het terugkoppelen en toelichten van verkeerskundige effecten. 2. Communicatie rondom de planning van proefnemingen. Deze werden in een aantal gevallen laat gecommuniceerd en waren daardoor lastig in te plannen. 3. Een betere aanhaking van een solutions-architecten zou projectresultaten verder kunnen brengen bij andere (deel)projecten. 4. Het project heeft zich enigszins buiten het gezichtsveld van partijen afgespeeld. Projectleider heeft zijn rol als linking pin goed ingevuld, maar behaalde resultaten staan nog niet overal scherp in het vizier. Het op een hoger niveau tillen van projectresultaten / gerealiseerde verbeteringen is onvoldoende belicht en nog te veel afhankelijk van individuele / onderlinge contacten. 5. Om innovatieve concepten tot stand te brengen heeft PPA West een belangrijke aanzet geleverd. Het verder brengen van de concepten moet echter ook georganiseerd worden en gaat niet vanzelf. Marktpartijen hebben hierin een belang, maar ook een rol, die niet altijd wordt gepakt. Publieke partijen staan hierin nog te veel alleen aan het roer. 6. Het project heeft te maken met besluitvorming en prioritering op DG/DGB niveau die niet direct door wordt vertaald naar betrokken partijen (gemeente, RWS, provincie). 7. PPA West heeft in fase 2 zwaar geleund op key-persons uit fase 1. Op zich is dit prima, maar dit biedt ook een intrinsiek risico voor een eventueel vervolg. Het olievlek-principe heeft hierin qua kennisdeling nog onvoldoende gewerkt. 6

7 b. Uit fase 1 zijn een aantal lessen getrokken gericht op de basis in orde. Welke lessen zijn uit fase 1 getrokken en vervolgens herkenbaar toegepast in het vervolg (fase 2, plateau 1)? Algemene indruk In algemene zin heeft PPA West geleid tot een sterkere focus op het beheer. Het Operationeel Team PPA (OTP) was voorheen wel aangehaakt, maar de focus is nu meer keten-breed aanwezig. De uitvoerige draaiboeken zijn verdwenen en vervangen door handzamere versies, dit heeft een positief effect gehad op de uitvoerbaarheid en de kosten. Het kort-cyclisch evalueren met inschakeling van expertise is in fase 2 verder uitgewerkt en heeft zijn nut meer dan bewezen. De evaluaties leverden veel bruikbare data en informatie op. Het zal nog verder worden uitgebreid in het vervolg. Verantwoordelijkheden zijn duidelijker geworden en betrokkenheid bij de partijen is toegenomen. Was deze aanpak (wegbeheerders vooraf bevragen en betrekken) voldoende? Algemene indruk Hier leeft een gedifferentieerd beeld: Vanuit het project bezien: voor wat betreft de wegbeheerders (gemeente Amsterdam) was de betrokkenheid voldoende tot goed. Richting RWS intern wordt dit benoemd als voldoende. Andersom wordt vanuit de wegbeheerders en verkeerscentrale aangegeven dat de communicatie van het project verbeterd zou kunnen worden als het gaat om het delen van projectresultaten en aankondiging van onderdelen van proefnemingen. Verbeter- en aandachtspunten 1. Betrokkenheid wegbeheerders kan worden verbeterd door periodieke informatiedeling en toelichting van het belang van rand voorwaardelijke aspecten. 2. Draagvlak bij MKO (missie kritieke ondersteuning) en OTP (Operationeel Team PPA) kan worden vergroot door informatiedeling en toelichting aan te bieden. 7

8 Bleef de basis ook tijdens de proef stabiel en op orde? Algemene beeld Over het algemeen bestaat het beeld dat de basis redelijk stabiel is gebleven. Verder ook hier een gedifferentieerd beeld; Vanuit de wegbeheerders bezien vraagt PPA West en haar proeven een bepaalde rand voorwaardelijke focus en basisconfiguratie die in praktijk niet altijd haalbaar blijkt / valt te realiseren. Vanuit het project bezien wordt hierin verwezen naar de afgesproken eisen en kaders. De rand voorwaardelijke claim vanuit het project zou hier binnen moeten vallen. Citaat: De lus van de tekentafel is voor de tekentafel van een heel ander belang en heeft een heel andere prioriteit dan diezelfde lus heeft voor OTP Verbeter- en aandachtspunten 1. Mogelijk bestaan er interpretatieverschillen bij de afgesproken kaders voor wat betreft de rand voorwaardelijke ondersteuning en omgeving: aan welke service levels (al dan niet afwijkend van bestaande niveau) moeten systemen voldoen? 2. Er worden lichte twijfels geuit bij de levensvatbaarheid van de projectresultaten als het gaat om een vertaling naar een praktijksituatie. Met andere woorden: is de basis op orde in de praktijk wel een reële basis? Citaat: PPA West vraagt om een ingerichte basis op championsleague niveau. In de praktijk bevinden wij ons soms nog in jupilerleague-omgeving 8

9 Heeft het prototype systeemtechnisch goed gewerkt? Algemeen beeld Unaniem wordt gesteld dat het systeem inderdaad heeft gewerkt. Technisch gezien heeft het systeem nog wel te maken met uitval van de VLOG en de MRM, maar dit valt nog binnen de marge. De basis van het prototype is wel stabiel maar nog niet voldoende uitgewerkt. c. Hebben de leereffecten uit fase 1 tot verbetering geleid in de belangrijkste samenwerkingsverbanden binnen PPA West, met name in relatie tot de belasting ten gevolge van het project? Algemeen beeld Met name bij de Verkeerscentrales is geconstateerd dat de werkdruk ten gevolge van PPA-West is afgenomen. In fase 1 was een actievere monitoring noodzakelijk. Omdat de communicatielijnen en de processen binnen het project zijn ingeslepen bemerkt projectmanagement ook een toename in de productiviteit binnen het projectteam. Verbeter- en aandachtspunten 1. Het team, met name de verkeersleiders en operationeel verkeerskundigen, wil blijvend geïnformeerd worden. 2. De focus op het beheer van de basis op orde blijft een punt van aandacht. 9

10 4.2. Evaluatie van het werken onder Architectuur / Prototyping / Scrum a. In PPA fase 1 is gewerkt in aansluiting met en uitvoering onder een SOA (Service Oriented Architecture)? Hoe is dit aan de kant van de leverancier (integrator) ervaren? Het principe van de Enterprise Service Bus heeft goed gewerkt. Het keep-it-simple principe is hierin key geweest. Het gelaagd opbouwen en uitwerken van de regelkundige concepten is een tweede succesfactor gebleken. Hoe is dit bij de overige betrokkenen ervaren? Ook bij andere betrokken partijen (ARANE, Fileradar) is de keuze voor ESB goed gevallen en wordt deze keuze als succesfactor gezien. Vanuit CIV is de betrokkenheid minimaal geweest. Dit vanwege capaciteitsgebrek bij de CIV architect. Citaat: Bij de uitrol van resultaten van PPA West naar andere (architectuur)omgevingen die op uitwisseling van berichten op basis van DVM exchange zijn gebaseerd, kan de keuze voor een service bus een obstakel gaan vormen 10

11 b. In PPA fase 1 is toegewerkt naar de oplevering van prototypes. Werkt het principe van prototyping voor een innovatief project als PPA? Ook deze keuze is bij betrokken partijen goed gevallen en wordt gezien als een succesfactor. Zeker voor innovatieve projecten als deze lijkt prototyping / agile ontwikkeling de geëigende keuze. Het gelaagd opbouwen van een regelconcept leent zich hier prima voor. Verbeter- en aandachtspunten 1. Kanttekening: of dit architectuurprincipe ook voor bijvoorbeeld verkeerscentrales gaat werken en generiek is valt nog te bezien. Het verdient aanbeveling voor afloop van het project in overleg met domein architecten te bepalen of PPA systeem(modules) kunnen worden geïntegreerd in bestaande systeemlandschappen van wegbeheerders. 2. Prototyping draagt ook een zeker waste -risico: wat gebeurt er als ontwikkelde concepten worden uit -gezet: kennis en ontwikkelde software verdwijnt terwijl hier mogelijk meer kan worden uitgehaald. In hoeverre zijn de opgeleverde resultaten relevant en toepasbaar binnen andere projecten? Algemeen beeld Voorbeelden als de kiemenspeurder, wachtrijschatter, de (nog te verbeteren) meetraaimanager (MRM) worden door alle partijen genoemd als generieke concepten die elders ook hun waarde kunnen bewijzen of al bewijzen. MRM werkt wel functioneel, maar is systeemtechnisch nog niet volledig uitgewerkt. Een ander resultaat is het besef dat de timing van informatie essentieel is voor het effect van de verkeerskundige maatregelen. De timing en kwaliteit van deze informatie staat weer in direct verband met de aanlevering van goede informatie vanaf de weg. Verbeter- en aandachtspunten 1. Vraag blijft: hoe maak je resultaten inzichtelijk buiten het project en breng je ze verder. Dit is nog onvoldoende belegd en nog te vaak afhankelijk van toevallige contacten. 11

12 Is de oplevering van de prototypes afgerond en conform afspraak ook uit gezet? Dit wordt door alle partijen bevestigd. Zijn de opgeleverde specificaties en code voldoende basis om het project voort te zetten en richting productie te brengen? Ontwikkelde specificaties en software zijn niet zonder meer en zonder extra werk overdraagbaar naar productie. Functioneel zijn de specificaties voldoende maar nog te veel locatie én marktspecifiek. Dit was overigens ook geen vereiste of doelstelling van het project. Zijn de opgeleverde specificaties marktpartij specifiek of kunnen deze ook worden gebruikt in contact met andere marktpartijen? In principe kunnen de specificaties worden hergebruikt, maar de oplossingen zijn gericht op de oplevering van prototypes. Hiermee en hierdoor is de ontwikkelde programmatuur en documentatie nog niet voldoende generiek en marktspecifiek. Zie eerder genoemd aandachtspunt over het verder brengen van projectresultaten. 12

13 c. In PPA fase 1 is het project uitgevoerd met scrum als samenwerkingsvorm: In hoeverre heeft deze setting positief of negatief bijgedragen aan de realisatie van het projectresultaat. Heeft het samenwerken in scrumvorm verschil uitgemaakt ten opzichte van het samenwerken in een standaard projectteam? In hoeverre wordt de gekozen werkwijze (Scrum) als toepasbaar gezien voor de CIVorganisatie? Algemeen beeld Hoewel er veel in scrumtermen wordt gesproken leeft het algemene beeld dat de uitwerking binnen PPA West niet in echt scrum-verband heeft plaatsgevonden. Er geldt meer dat er gebruik is gemaakt van scrumprincipes, gecombineerd met iteratief werken en lean management. Zo kent PPA West bijvoorbeeld geen projectteam (met IPM rolhouders) Scrum is situationeel ingevuld waarbij is gewaakt voor het ontstaan van een zogenaamde papierwinkel. In ieder geval geldt dat de gekozen werkwijze als prima en effectief is ervaren. Het heeft zeker geleid tot synergie-effecten door de expertise dichter bij en met elkaar te laten werken. Verbeter- en aandachtspunten 1. Of scrum van toepassing kan zijn op andere software ontwikkelprojecten kan op basis van de ervaringen van PPA-West niet worden gesteld. 2. De vraag kan dus worden gesteld of het breder toepassen van scrum een verhoging van de productiviteit had kunnen opleveren. 13

14 Hoe zijn de kort-cyclische evaluaties binnen de scrumteams ervaren ten opzichte van de evaluaties in fase 1? De kort-cyclische evaluaties hebben een grote toegevoegde waarde gehad. De hieraan bestede ontwikkeltijd heeft zich terugverdiend en is één van de opgeleverde leereffecten van PPA-West. 14

15 d. In hoeverre dragen de opgeleverde resultaten bij aan de invulling van de transitiepaden Connecting Mobility? Om deze vraag te beantwoorden is gebruik gemaakt van een korte enquête. Uit de analyse van de resultaten blijkt een redelijk verspreid beeld als het gaat om de bijdrage van PPA West aan de hoofddoelen, bouwstenen en transitiepaden van het Connecting Mobility Programma. In overleg met Connecting Mobility- medewerkers zou kunnen worden bepaald op welke wijze de PPA West- bijdrage aan de transitiepaden (beter) kan worden bepaald. Onderstaand een weergave van de analyse voor wat betreft de bouwstenen van het programma: Algemeen beeld: Uit bovenstaande weergave blijkt dat PPA West met name op de derde bouwsteen ( gericht beproeven: van test naar toepassing ) goed scoort. Ook de laatste en voorlaatste bouwsteen (respectievelijk: creëren van condities en randvoorwaarden en monitoring: liggen we op koers? ) wordt goed gescoord. Bij stimuleren van de marktontwikkeling bestaat een gedifferentieerder beeld. Verbeter- en aandachtspunten 1. Zijn de oplossingen wel generiek genoeg en dus uitrolbaar? 2. Dreigt het gevaar dat innovatieve projecten in het algemeen en PPA West in het bijzonder teveel in de projectsfeer / financiële impuls-behoefte blijft verkeren? 3. Kan de bijdragen van projecten als PPA West aan transitiepaden Connecting Mobility op een andere (betere) wijze worden bepaald? Wat is dan het resultaat? 15

16 Onderstaand een weergave van de analyse voor wat betreft de transitiepaden. Interessant is de vergelijking met de score in de ex-ante evaluatie van PPA West. In deze ex-ante evaluatie voor fase 2 scoorde PPA West als volgt: Bijdragen aan programma Connecting Mobility Uit: ex ante evaluatie tweede fase praktijkproef Amsterdam, Twijnstra Gudde, 24 oktober

17 Algemeen beeld: Uit bovenstaande weergave blijkt dat de PPA West met name op het zesde transitiepad ( van overheidsregie naar publiek-private samenwerking ) goed wordt gescoord. Ook het derde en vijfde transitie pad (respectievelijk van lokaal regionaal naar landelijk dekkende reisinfo verkeersmanagement en van eigendom van data naar maximale openheid ) scoort positief. Bij het transitiepad van eigendom naar maximale openheid en beschikbaarheid van data scoort ook positief, alhoewel een aantal respondenten stelden dat hier nog geen sprake was van een toegevoegde waarde. Het vierde transitiepad van business to government naar B2C en B2B blijft achter, waar dit transitie pad als eindplateau het (hoogste) niveau 7 is toebedeeld. Enkele opmerkingen uit de enquête: 1. Voorlopig is een verdienmodel B2C niet realistisch en naar B2B nog in een zeer prematuur stadium. 2. Met de opendata worden stappen gemaakt; alleen is de kwaliteit nog onvoldoende om als hoogwaardige monitoring bron te fungeren. 3. Indirect (en op lange termijn) draagt PPA-West wél bij aan beter reizigers-advies. 4. PPA-West gaat heel specifiek samenwerking aan met marktpartijen op het vlak van de FCD-data voorziening. 17

18 4.3. Evaluatie van inkoopstrategie van PPA West. a. PPA kent qua inkoopstrategie op punten afwijkingen ten opzichte van de standaard inkoopstrategie. Hoe is deze samenwerking met de inkoopafdeling ervaren? Hoe is de inkoopstrategie door de inkoopafdeling ervaren? Zoude inkopen voor innovatieve projecten als PPA anders kunnen worden uitgevoerd? Voorzien huidige procedures in de behoefte van die projecten? Algemeen beeld: Het contact tussen inkoop en projectmanager is altijd goed en constructief geweest. Hoewel de belangen vaak tegengesteld leken, is er wederzijds begrip. Vanuit Inkoop wordt gesteld dat de watvraag vanuit het project (de te verwachten vraag) achteraf gezien te laat is losgekomen. Vanuit Inkoop wordt echter ook onderkend dat er altijd een spanningsveld zal zijn tussen de timing van het project en de doorlooptijd van de te volgen procedures. Voor proefnemingen zijn er wel degelijk aparte procedures waarbij moet worden aangetoond dat uitkomsten van een proef kunnen worden gedeeld en investeringen door meerdere partijen worden gefinancierd. Indruk bestaat dat hier onvoldoende op is gestuurd. Aandachts- en verbeterpunten 1. Onderzoek of er voor innovatieve projecten als PPA West andere mantelcontractvormen of mandaatvormen mogelijk zijn. 2. Eerder aanhaken en mee laten denken van Inkoop. Dit start in feite al bij concept- en ideeën fase van een project. 18

19 5. Samenvatting van de constateringen De evaluatie beoogt een weergave te geven van de bevindingen en terugkoppelingen van de geïnterviewde partijen. Als belangrijkste conclusies / aanbevelingen worden onderstaande punten nogmaals uitgelicht: Wegbeheerders werken sinds het ontstaan van verkeersmanagement voor systeemontwikkeling en beheer al samen met marktpartijen. In die relatie doen marktpartijen weliswaar aan R&D maar de echte innovaties komen vanuit beleidsontwikkeling van de overheid. Marktpartijen geven graag invulling aan techniekontwikkeling, maar lopen niet voorop. De transitie die de overheid in dit domein wil gaan (een grotere invloed van private diensten op het terrein van verkeersinformatie én verkeersmanagement) kan alleen dan succesvol worden als marktpartijen meer op basis van eigen risico en andere verdienmodellen tot innovaties komen. De procesverbeteringen in PPA West zoals in fase 1 ontstaan, zijn succesvol toegepast. Met een klein team en een slagvaardige aanpak (gebaseerd op scrumachtige technieken) is snel het beoogde resultaat behaald. Dit succes heeft een keerzijde. Niet altijd voelt de omgeving zich tijdig en volledig goed meegenomen in de stappen die zijn gezet. Ook is de vraag of kennis en ervaring die zo wordt opgebouwd voldoende worden gedeeld. Een innovatieve praktijkproef vraagt om innovatieve inkoopprocedures. Deze bestaan, maar kunnen alleen dan met succes worden gebruikt, als inkoop adviseurs tijdig in een project worden betrokken. De kort-cyclische evaluaties hebben een grote toegevoegde waarde gehad. De hieraan bestede ontwikkeltijd heeft zich terugverdiend en is één van de opgeleverde leereffecten van PPA-West. 19