Evaluatie Selectiefase en Eerste fase Dialoog. N33 Assen-Zuidbroek

Vergelijkbare documenten
Evaluatie Tweede fase Dialoog tot en met Financial Close. N33 Assen-Zuidbroek

Bijlage 2 Indicatieve doorlooptijden (open) aanbesteding(svarianten)

Stichting Dichterbij unit Sterk voor Werk

Icoon Afsluitdijk Concept 2, 3 en 4

Workshop Innovatief Aanbesteden Concurrentie Gerichte Dialoog. Mr. M.M.A. van den Berg Mr. D.M. Stelling. 19 januari 2007

Datum: 23 oktober 2014 Versie: 1.0 Definitief. Publicatiedatum Bestek: 10 september 2014 Referentie: van 9

De Concurrentie gerichte Dialoog

Cliëntervaringsonderzoek keukentafelgesprek

Internetpanel Dienst Regelingen

Onderzoek Inkoop en aanbestedingen Onderzoeksopzet. Rekenkamercommissie De Wolden September 2016 Status: definitief Versie: 1.0

Rapportage evaluatie. Aanbesteding Stationsrenovatie Oostlijn. Utrecht 21 januari 2016 Metro en Tram Amsterdam, Stationsrenovatie Oostlijn MT/2016.

Parallelle sessie C: CD De dialoog

A9 Badhoevedorp- Holendrecht

Selectieleidraad Niet Openbare aanbesteding. Renovatie Aladnahal Aalten. Bouwkundig perceel (A)

INLEIDING. Namens het managementteam van de SPGH, Mirjam Diderich. Directeur. Hellendoorn 15 januari 2015

Best Value Procurement

RAPPORT CLIËNTAUDIT 2012 / BLIK op WERK KEURMERK. Lengersdorf B.V. 1 Inhoudsopgave

WVS/ Zuid Kennemerland/ Paswerk

IMMA Special Knowledge Café

Resultaten peiling aantal opzeggingen naar aanleiding van verzending beschikking en factuur voor de eigen bijdrage thuiszorg

Nota van Inlichtingen Selectiefase. Renovatie Buitenrustbruggen te Haarlem

Rapport evaluatie speeddaten met uitzendbureaus op de vestigingen van het WERKbedrijf

Aanpak: Multiprobleemgezinnen. Beschrijving

RAPPORT CLIËNTAUDIT 2012 / BLIK op WERK KEURMERK. BrinQer B.V. 1 Inhoudsopgave

Eva Trajectbegeleiding

WAT IS PRESTATIE-INKOOP

Leertrajecten Het nieuwe veehouden voorjaar 2011 Samenvatting evaluatie

DBFM-CONTRACT PROJECT X

Rapportage Medewerkerstevredenheidsonderzoek Stichting het Robertshuis

Evaluatie Opdracht: Contractnummer:

Regeling Selectie en Plaatsing opleidingsdeel Klinische Technologie

XIII. Consultatiefase

Best Value Procurement

Bijlage Rapportage monitor en resultaten eerste meting juni 2014 pilot Huishoudelijke Verzorging

Klantenpanel RVO.nl Resultaten peiling 36: Koopsubsidie Januari 2016

Aanbesteding project Knooppunt Hoevelaken. Klankbordgroepen 18 maart

Bestuurlijk hoor en wederhoor onderzoek mantelzorgbeleid

Evaluatie werkwijze gemeenteraad Bloemendaal Verslag & Uitslag Enquête

NAAR VERNIEUWD TOEZICHT EXCELLENTE SCHOLEN

Nieuwe aanpak voor planstudie Hoevelaken

Auditrapport. Blik op Werk Keurmerk. Resultaten cliëntenaudit Nieuwe Koers Beverwijk. Datum rapport: 8 februari 2013

Onderzoek naar de evalueerbaarheid van gemeentelijk beleid

Marktconsultatie 'Vormgeving', Kenmerk d.d. 3 maart 2016

Specificeren en Gunnen Ervaringen uit de praktijk. Innovatie Kopen? Er kan meer! 9 september 2010

Beoordelen circulaire aanbesteding Douwe Jan Joustra, ICE-Amsterdam

Nieuwsbrief Resultaten evaluatie

Stappenplan nieuwe Dorpsschool

Drive the Care Company BV

Evaluatie DBFM aanbestedingen

Provincie Gelderland. *connectedthinking. Evaluatie aanbesteding N322 Beneden-Leeuwen/Druten Eindrapportage. Arnhem, 10 juli 2009

Handleiding. Marktplaats inhuur gemeente Utrecht. Oktober 2013 v1.1

RAPPORT CLIËNTAUDIT 2012 / BLIK op WERK KEURMERK. Frame. 1 Inhoudsopgave

Evaluatierapport Module 8 Mechatronica

Het rondetafeloverleg (i.v.m. 1Gezin1Plan)

Resultaten interviews met patiënten Vervolgens wordt een korte samenvatting gegeven van de belangrijkste resultaten uit de gelabelde interviews.

Kwaliteitsonderzoek begeleiding

RAPPORT CLIËNTAUDIT 2011/2012. PASS-Jobcoaching

Compact Re-integratie

themadag Uitvoering Publieke taken betaalbaar René Duifhuizen Projectmanager stadsbrug De Oversteek donderdag 23 januari 2014

Resultaten Klanttevredenheidsonderzoek Peuterspeelzalen PWH 2015

Verzamelen gegevens: december 2013

Het vertrouwen in Woonwaard

Nota van Inlichtingen

AANKONDIGING VAN EEN OPDRACHT. Werken

Aanbesteden-omgeving. Release items juli 2014 (2.97)

Onderzoeksopzet De Poort van Limburg gemeente Weert

Vraag 1 Bent u bekend met het artikel Meer risico s voor staat bij megaproject Zuidas? 1

Innovatie. Inkopen. Risico s. Niels van Ommen Projectmanager CROW Programmamanager RISNET 2010 CROW

Evaluatie SamenOud-lezingen voorjaar 2014

RAPPORT CLIËNTAUDIT 2012 / BLIK op WERK KEURMERK. AOB Compaz B.V. 1 Inhoudsopgave

Alleen doen is geen optie

Protocol Bouwen in het gesloten seizoen aan primaire waterkeringen

Betreft Nota van Inlichtingen Datum 9 maart Van Vitus Zuid Ref. KQPN/2017/1.1

RAPPORT CLIËNTAUDIT 2012 / BLIK op WERK KEURMERK. DaAr Werkmaatschappij van Stichting GGnet. 1 Inhoudsopgave

Evaluatie bewonerspanel Oud-West

RAPPORTAGE ONDERZOEK CLIËNTTEVREDENHEID 2012 CARE COMPANY. april 2012, uitgevoerd door: Wij maken het duidelijk.

RAPPORTAGE ONDERZOEK CLIËNTTEVREDENHEID april 2009, uitgevoerd door:

Evaluatierapport Module Consumentenproducten

8 8 8, ,3. Cliëntenaudit door het Keurmerkinstituut

WIZ Re-integratie en Coaching

Rapportage Onderzoek naar de mening van ouder(s)/verzorger(s) van studenten (tot 23 jaar) van ROC Friese Poort 2015

Inspectierapport Tiko Kinderopvang (GOB) Voorstraat CK Kollum Registratienummer

VirtueleThuiszorg = preventieve inzet Voor Diabetes Mellitus Type 2 en Gewichtsgerelateerd gezondheidsrisico

In hoeverre is het ICT-beleid bij de gemeenten Bergen op Zoom, Drimmelen, Halderberge en Moerdijk als doeltreffend en doelmatig aan te merken?

Teamperformance volgens Drexler en Sibbet

Evaluatie Beeld en beroep

Libra Revalidatie & Audiologie B.V.

Rapportage CQ-index Dyslexie Publieksversie

Project Start Up Wat is het? Wie nemen er deel? Wanneer kies je voor een PSU? Hoe werkt het?

Evaluatie Project S100-route Nijmegen: een andere aanpak. Afdeling Mobiliteit: Sandra Ruta / Erik Maessen

Evaluatie Pilot Sprintbemiddeling Gemeente Houten Alexander Calder UW Reïntegratie

Is nadere selectie nodig? Sluit uw opdracht aan bij de markt? Hoe zijn teleurstellingen te voorkomen?

Klanttevredenheidsonderzoek. Dienstverlening team Werk en Inkomen, gemeente Olst-Wijhe

Checklist EVC-procedure voor organisaties

Evaluatie Back to Basics: De Nieuwe Koers

Onderzoek Invoering nieuwe WMO per 2015

De Commissie is niet bevoegd om een oordeel te geven over een besluit van het samenwerkingsverband over toelating tot een Talentklas.

Hoe werkt de gesprekkencyclus in de praktijk? Een update van ons onderzoek naar ervaringen en verbeterpunten van de gesprekkencyclus.

Evalueren van projecten met externen Kennisdocument Onderzoek & Statistiek

Rekenkamercommissie gemeente Bloemendaal

Transcriptie:

Evaluatie Selectiefase en Eerste fase Dialoog N33 Assen-Zuidbroek

Evaluatie Selectiefase en Eerste Fase Dialoog Maart 2012

Colofon Uitgegeven door Rijkswaterstaat Dienst Infrastructuur & Rijkswaterstaat Dienst Noord-Nederland Projectorganisatie N33 Assen-Zuidbroek Uitgevoerd door Hans de Kievit Joyce de Waard Marijke Nagelkerke (RWS DI PPS/DBFM) (RWS DI BIO) (RWS DI IMG) Rapportage Hans de Kievit en Joyce de Waard Datum Maart 2012 Status Definitief Pagina 4 van 68

Managementsamenvatting Binnen Rijkswaterstaat is het gebruikelijk dat aanbestedingen van DBFMovereenkomsten, waarbij gebruik gemaakt wordt van de concurrentiegerichte dialoog, na afloop van het aanbestedingsprocedure worden geëvalueerd. Bij het project N33 Assen-Zuidbroek is gekozen voor een tussentijdse evaluatie na afloop van de Eerste fase Dialoog. Redenen hiervoor zijn: Het relatief grote aantal aangemelde gegadigden. De keuze voor een risicobeheersplan op hoofdlijnen als middel voor nadere selectie. De evaluatie bestond uit een schriftelijke evaluatie, gevolgd door een toelichtend interview. Het doel van de evaluatie was om te bepalen of het risicobeheersplan op hoofdlijnen een geschikt criterium is als middel voor nadere selectie. De scope van deze tussentijdse evaluatie was: De aanbestedingsprocedure van het project N33 Assen-Zuidbroek, vanaf aankondiging tot en met Eerste fase Dialoog. De samenloop van de aanbesteding van het project N33 Assen- Zuidbroek met het project A1-A6, onderdeel van het programma Schiphol-Amsterdam-Almere. Tijdens de toelichtende interviews is de focus vooral gelegd op het gebruik van het risicobeheersplan op hoofdlijnen als middel voor nadere selectie. De belangrijkste conclusies uit deze evaluatie zijn: Het risicobeheersplan op hoofdlijnen is een goede manier om tijdens de aanbesteding het aantal gegadigden terug te brengen naar drie. Het toepassen van een risicobeheersplan op hoofdlijnen is een toekomstvaste manier om te trechteren naar drie, indien beheersmaatregelen voor projectspecifieke risico s worden uitgevraagd. Het is goed om bij een gedeeltelijke samenloop van twee aanbestedingen waarbij een nieuw middel voor nadere selectie wordt uitgevraagd, zoals het risicobeheersplan op hoofdlijnen, het in omvang kleinste project als eerste in de planning op te nemen. Het grotere project kan dan optimaal profiteren van de leerervaringen van het kleinere project. De belangrijkste aanbevelingen zijn: Breng het aantal gegadigden dat zich kwalificeert voor de Eerste fase Dialoog terug tot een maximum van vijf. Zoek balans in de uitvraag van de risico s in het risicobeheersplan. Neem risico s op voor zowel de D, de B, de F als de M. Geef in de aanbestedingsleidraad duidelijker aan wat de criteria zijn voor het behalen van een bepaalde score, eventueel voorzien van voorbeelden. Indien gebruik gemaakt wordt van een adviescommissie kies dan een combinatie van ervaren medewerkers van Rijkswaterstaat en leden van het dialoogteam. Pagina 5 van 68

Pagina 6 van 68

Inhoudsopgave Managementsamenvatting 5 Inhoudsopgave 7 1 Inleiding 9 1.1 Waarom deze evaluatie? 9 1.2 Aanpak van de evaluatie 10 1.3 Leeswijzer 10 1.4 Weergave in deze rapportage 11 2 Consortiumvorming en motieven voor deelname 13 3 Selectiefase 15 4 Eerste fase Dialoog 17 4.1 Algemeen 17 4.2 Risicobeheersplan op hoofdlijnen 18 4.3 Startbijeenkomst 20 4.4 Dialoogrondes 22 4.5 Inlichtingen 24 4.6 Informatievoorziening 26 4.7 Beoordeling 26 4.8 Sterke en zwakke punten 28 5 Samenloop aanbesteding N33 Assen-Zuidbroek met SAA A1-A6 31 6 Aanbesteding Algemeen 33 7 Conclusies en aanbevelingen 35 7.1 Conclusies 35 7.2 Aanbevelingen 35 Bijlagen: A Deelnemers aan de evaluatie 37 B Vragenlijst evaluatie 39 C Resultaten Evaluatie 51 D Feiten en cijfers 65 Pagina 7 van 68

Pagina 8 van 68

1 Inleiding 1.1 Waarom deze evaluatie? Binnen Rijkswaterstaat is het gebruikelijk dat aanbestedingen van DBFMovereenkomsten, waarbij gebruik gemaakt wordt van de concurrentiegerichte dialoog, na afloop van het aanbestedingsprocedure worden geëvalueerd. Met deze evaluaties wordt gestreefd naar meer inzicht in feiten en ervaringen met betrekking tot het aanbestedingsproces van een DBFMovereenkomst, zodat toekomstige PPS-projecten op de verzamelde leerervaringen kunnen voortbouwen. Bij het project N33 Assen-Zuidbroek is gekozen voor een tussentijdse evaluatie na afloop van de Eerste fase Dialoog. Redenen hiervoor zijn: Het relatief grote aantal aangemelde gegadigden. Voor dit project hadden zich negen gegadigden aangemeld en gekwalificeerd voor de eerste fase dialoog. In de eerste fase dialoog is het aantal gegadigden terug gebracht tot drie. De keuze voor een risicobeheersplan op hoofdlijnen als middel voor nadere selectie. Tijdens de eerste fase dialoog is een risicobeheersplan op hoofdlijnen uitgevraagd op basis waarvan het aantal gegadigden is terug gebracht is tot drie. Indien de evaluatie pas na afloop van het gehele aanbestedingsprocedure zou plaatsvinden (eind 2012/begin 2013) zou het reproduceren van relevante informatie voor de zes afgevallen gegadigden lastig kunnen zijn. Het doel van de evaluatie was om te bepalen of het risicobeheersplan op hoofdlijnen een geschikt criterium is als middel voor nadere selectie. Het is voor het eerst dat het risicobeheersplan op hoofdlijnen is toegepast als middel voor nadere selectie bij een concurrentiegerichte dialoog. De evaluatie bestond uit een schriftelijke evaluatie, gevolgd door een toelichtend interview. De scope van deze tussentijdse evaluatie was: De aanbestedingsprocedure van het project N33 Assen-Zuidbroek, vanaf aankondiging tot en met Eerste fase Dialoog. De samenloop van de aanbesteding van het project N33 Assen- Zuidbroek met het project A1-A6, onderdeel van Schiphol-Amsterdam- Almere. Bij de toelichtende interviews is de focus vooral gelegd op het gebruik van het risicobeheersplan op hoofdlijnen als middel voor nadere selectie. Pagina 9 van 68

1.2 Aanpak van de evaluatie De evaluatie is uitgevoerd door: Hans de Kievit Joyce de Waard Marijke Nagelkerke Financieel manager en lid dialoogteam N33 RWS Dienst Infrastructuur, afd. PPS/DBFM Inkoopmanager en lid dialoogteam N33 RWS Dienst Infrastructuur, afd. BIO Beleidsadviseur RWS Dienst Infrastructuur, afd. IMG In het evaluatietraject zijn de volgende stappen doorlopen: 1 Opstellen evaluatieformulier 2 Uitzetten van de schriftelijke evaluatie onder de negen consortia die hebben deelgenomen aan de Eerste fase Dialoog 3 Analyse van de resultaten 4 Houden van interviews in aanvulling op en ter toetsing van de schriftelijke enquête 5 Opstellen conceptrapportage 6 Bespreking conceptrapportage (intern) 7 Afronden definitieve rapportage De evaluatie is uitgezet bij de negen gegadigden die hebben deelgenomen aan de Eerste fase Dialoog met het verzoek om per gegadigde (minimaal) drie meningen te geven. Indien een consortium bestaat uit meerdere partijen is gevraagd om minimaal één mening van elke deelnemende partij. Alle gegadigden hebben deelgenomen aan de schriftelijke evaluatie. Aan de toelichtende interviews hebben acht van de negen gegadigden deelgenomen. Een overzicht van alle deelnemers aan de evaluatie is opgenomen in bijlage A. 1.3 Leeswijzer In deze rapportage is dezelfde indeling aangehouden zoals die ook is gehanteerd in de evaluatieformulieren. In hoofdstuk 2 van deze rapportage worden de consortiumvorming en motieven voor deelname beschreven. De Selectiefase is opgenomen in hoofdstuk 3 en de Eerste fase Dialoog in hoofdstuk 4. In hoofdstuk 5 wordt aandacht besteed aan de samenloop van de aanbesteding van het project N33 Assen-Zuidbroek met de aanbesteding van het project A1-A6, onderdeel van Schiphol-Amsterdam-Almere. Hoofdstuk 6 beschrijft een aantal algemene zaken rondom de aanbesteding en in hoofdstuk 7 zijn de conclusies en aanbevelingen opgenomen. Pagina 10 van 68

1.4 Weergave in deze rapportage In deze evaluatie zijn de meningen opgenomen van de negen deelnemende gegadigden. Conclusies in deze rapportage zijn getrokken uit de uitspraken die gegadigden hebben gedaan. Conclusies zijn in deze rapportage als volgt weergegeven: Conclusie Een conclusie die te trekken is uit uitspraken van meerdere gegadigden. Aanbevelingen die door meerdere gegadigden zijn gedaan zijn als volgt weergegeven: Aanbeveling Een aanbeveling die door meerdere gegadigden is gedaan. Aanbevelingen die door een individuele gegadigde zijn gedaan zijn in de normale tekst van de rapportage opgenomen. Uitspraken van een gegadigde die letterlijk in de rapportage zijn overgenomen zijn als volgt weergegeven: Uitspraak van gegadigde die letterlijk is weergegeven. Pagina 11 van 68

Pagina 12 van 68

2 Consortiumvorming en motieven voor deelname Het project N33 Assen-Zuidbroek kent een lange voorgeschiedenis. Op 4 september 2009 is de eerste marktinformatiedag gehouden om potentiële gegadigden te interesseren in het project. Ook is het project regelmatig in de pers geweest. De gegadigden waren dus voor de aankondiging op de aanbestedingskalender al bekend met het project. De lange voorgeschiedenis was mede een reden waardoor consortiumvorming bij alle gegadigden makkelijk tot zeer makkelijk is verlopen. Ver voordat de aanbesteding werd gestart waren de eerste contacten al gelegd en afspraken gemaakt. Ook de scope en de omvang van het project waren van invloed op de consortiumvorming. Een aantal partijen was van mening dat zij het project zelfstandig konden uitvoeren. Bij vier van de negen gegadigden bestond het consortium uit één aandeelhouder. Een aantal partijen heeft overwogen om niet deel te nemen aan de aanbesteding. Als redenen hiervoor zijn genoemd: Concurrentie; men verwachtte veel gegadigden voor dit project. De financiële omvang; o voor sommige partijen is de grootte van de Equity 1 - investering van belang. o Samenwerkingsafspraken binnen een consortium hebben uiteindelijk toch geleid tot deelname. Tevens heeft gegadigde aangegeven dat de beperkte omvang van de éénmalige betaling heeft geholpen: bij een kleine eenmalige betaling is meer Eigen Vermogen benodigd. Als redenen om wel mee te doen aan deze aanbesteding zijn genoemd: Dealflow; het is de eerste DBFM-overeenkomst na A15 MaVa en A12 LuVe. Scope en omvang; het is een interessant project qua scope en omvang. Dit biedt partijen de mogelijkheid om zelfstandig in te schrijven en biedt de mogelijkheid voor nieuwe toetreders op de DBFM-markt. De uitvraag op basis van een risicobeheersplan op hoofdlijnen; partijen verwachtten onderscheidend te kunnen zijn in het risicobeheersplan op hoofdlijnen. 1 Equity = Eigen Vermogen Pagina 13 van 68

Pagina 14 van 68

3 Selectiefase In de selectiefase hebben gegadigden zich kunnen aanmelden en kwalificeren voor de eerste fase dialoog. De procedure voor het aanmelden is beschreven in de Aanbestedingsleidraad versie Selectiefase. Voor het project N33 Assen-Zuidbroek hebben zich negen gegadigden aangemeld. Op basis van selectie-eisen op het gebied van financieeleconomische draagkracht en technische en organisatorische bekwaamheid hebben alle negen gegadigden zich gekwalificeerd voor de eerste fase dialoog. De kwaliteit van de Aanbestedingsleidraad versie Selectiefase is door de gegadigden als goed tot zeer goed beoordeeld. Gegadigden vonden het prettig dat de aanbestedingsleidraad ook in het engels is verstrekt. Leerervaringen uit evaluaties van eerdere aanbestedingen zijn verwerkt in de aanbestedingsleidraad. Één gegadigde heeft aangegeven dat het goed zou zijn om ervaringen uit de vragen en antwoorden van voorgaande projecten al zoveel mogelijk mee te nemen in de aanbestedingsleidraad, bijvoorbeeld als het gaat om de taal van bepaalde in te dienen documenten. Als sterke punten van de selectiefase zijn genoemd dat de gestelde criteria in de aanbestedingsleidraad duidelijk waren en gevraagde documenten passend waren bij de scope en de omvang van het project. De selectiefase is efficiënt ingestoken met een korte doorlooptijd waardoor de kosten voor de gegadigden laag zijn gebleven. De selectie-eisen voor kwalificatie voor de eerste fase dialoog zijn door de gegadigden als relatief eenvoudig bestempeld, waardoor van een echte selectie geen sprake was 2. Gegadigden hebben de eerste fase dialoog hierdoor op voorhand al als grote uitdaging gezien. Het merendeel van de gegadigden heeft aangegeven dat een eerste fase dialoog met negen consortia te veel is. Hierdoor worden er door zowel aanbesteder als gegadigden te veel tenderkosten gemaakt. Een verdere selectie voorafgaand aan de eerste fase dialoog, desnoods door middel van loting, wordt aanbevolen. Aanbeveling Breng het aantal gegadigden dat zich kwalificeert voor de eerste fase dialoog terug tot een maximum van vijf. 2 De drempel is door Rijkswaterstaat bij deze aanbesteding bewust laag gehouden. Deze keuze is mede ingegeven door de samenwerking met een aantal regionale overheden. Pagina 15 van 68

Pagina 16 van 68

4 Eerste fase Dialoog 4.1 Algemeen In de eerste fase dialoog zijn met alle negen gegadigden twee dialooggesprekken van tweeëneenhalf uur gevoerd. Deze gesprekken zijn voorafgegaan door een startbijeenkomst. De procedure voor de eerste fase dialoog is beschreven in de Aanbestedingsleidraad versie Dialoog en Inschrijving versie 1.0. In deze aanbestedingsleidraad is ook het vervolg van de aanbestedingsprocedure beschreven. De Aanbestedingsleidraad versie Dialoog en Inschrijving is door de gegadigden als kwalitatief goed beoordeeld. Wel hebben de gegadigden aangegeven dat er informatie ontbrak of niet duidelijk genoeg was omschreven. Het ging hierbij om specifieke data voor de verschillende fases van de aanbesteding en de helderheid van de criteria waarop werd beoordeeld. Ook bleken enkele verwijzingen in de aanbestedingsleidraad niet te kloppen. Met de nota s van inlichtingen heeft de aanbesteder deze informatie in de loop van de eerste fase dialoog verstrekt en verduidelijkt. Een aantal gegadigden heeft aangegeven dat zij de verscherping van de vormeisen aan het in te dienen risicobeheersplan op hoofdlijnen betreuren; een maximering van het aantal woorden had een ander plan opgeleverd met meer verduidelijkende afbeeldingen. Een vaststaand aantal pagina s heeft een verengende dynamiek tot gevolg. Gegadigden geven wel aan dat het geboden aantal pagina s meer woorden bevatte dan het oorspronkelijk uitgevraagde aantal woorden. In de Aanbestedingsleidraad versie Dialoog en Inschrijving is de aanbesteding beschreven vanaf eerste fase dialoog tot en met definitieve inschrijving. Gegadigden hebben dit op verschillende manieren gewaardeerd; enkele gegadigden geven aan dat dit helderheid biedt ten aanzien van het te volgen proces en de uitgevraagde producten terwijl andere gegadigden aangeven dat dit in deze fase heeft geleid tot afleiding (Wat moet ik hier nu al mee?). De DBFM-overeenkomst versie A is door de gegadigden als kwalitatief goed beoordeeld. Ten aanzien van de kwaliteit van de DBFM-overeenkomst zijn de volgende opmerkingen gemaakt: Gegadigden zien dat er gebruik is gemaakt van het standaard DBFMcontract als basis voor de overeenkomst van de N33. Gegadigden merken op dat een gestanddoeningstermijn van 26 weken op dit moment niet reëel is. De DBFM-overeenkomst biedt weinig tot geen ruimte voor creativiteit in het ontwerp. Het (ontwerp-)tracébesluit is leidend, hiermee is het wegontwerp vastgesteld. Dit is overigens niet alleen bij het project N33 het geval, maar geldt voor alle projecten waarbij een tracébesluit wordt opgesteld. Gegadigden geven aan dat creativiteit nog wel gezocht kan worden in faseringen, uitvoeringsmethoden en materiaalgebruik. Pagina 17 van 68

Meerdere gegadigden hebben aangegeven dat de laat ter beschikking gestelde vernieuwde informatie van bijlage 15, met betrekking tot de grondposities, heeft geleid tot verwarring en onrust. De gefaseerd beschikbaar gestelde informatie in de dataroom is door de gegadigden zeer gewaardeerd; er is niet in een keer een heleboel informatie vrijgegeven, maar alleen die informatie die op dat moment relevant was. Een aantal gegadigden hebben wel aangegeven dat de inhoudsopgave van de documenten in de dataroom ontbrak dan wel niet duidelijk was en dat de status van een aantal documenten in de dataroom niet duidelijk was. 4.2 Risicobeheersplan op hoofdlijnen Bij het project N33 Assen-Zuidbroek is aan het eind van de eerste fase dialoog een risicobeheersplan op hoofdlijnen uitgevraagd. Dit risicobeheersplan op hoofdlijnen is gebruikt als middel voor nadere selectie om het aantal gegadigden terug te brengen van negen naar drie. Het project N33 Assen-Zuidbroek is het eerste project 3 geweest waarbij het risicobeheersplan op hoofdlijnen is gehanteerd als middel voor nadere selectie. In het risicobeheersplan op hoofdlijnen zijn beheersmaatregelen uitgevraagd voor vier projectdoelstellingsrisico s en tien 4 opdrachtgeversrisico s. Bij deze beheersmaatregelen moest eveneens het mitigerend effect worden aangegeven. Naast de projectdoelstellings- en opdrachtgeversrisico s is ook de top 10 opdrachtnemersrisico s uitgevraagd, eveneens voorzien van beheersmaatregelen en mitigerend effect. De uitvraag van het risicobeheersplan op hoofdlijnen is beschreven in de Aanbestedingsleidraad versie Dialoog en Inschrijving versie 1.0. Naar de mening van de gegadigden is het uitvragen van een risicobeheersplan op hoofdlijnen een goede manier om tijdens de aanbesteding te trechteren naar drie gegadigden. Een aantal gegadigden noemde het een absolute verbetering ten opzichte van de plannen van aanpak die zijn uitgevraagd bij de eerdere aanbestedingen van DBFMprojecten. Bij het schrijven van plannen van aanpak blijven de gegadigden meer op afstand van het project, bij het schrijven van een risicobeheersplan op hoofdlijnen is de verbinding met het project veel concreter. Gegadigden moeten namelijk onderzoeken waar de betreffende risico's zich voordoen in het project en wat specifiek voor het project daar aan beheersmaatregelen tegenover kan worden gezet. 3 Inmiddels is het risicobeheersplan op hoofdlijnen ook gebruikt als middel voor nadere selectie voor het project A1/A6, onderdeel van het programma Schiphol-Amsterdam-Almere. 4 Bij aanvang van de eerste fase dialoog waren er elf opdrachtgeversrisico s. Tijdens de eerste fase dialoog is één van de risico s komen te vervallen; het betreffende risico is een integraal onderdeel geworden van de DBFM-overeenkomst. Pagina 18 van 68

Conclusie Het risicobeheersplan op hoofdlijnen is een goede manier om tijdens de aanbesteding het aantal gegadigden terug te brengen naar drie. Gegadigden hebben aangegeven dat ze verwachten dat het risicobeheersplan op hoofdlijnen ook een toekomstvaste methode kan zijn zolang de aanbesteder maar blijft variëren. Door beheersmaatregelen en mitigerend effect op projectspecifieke risico s uit te vragen kan een gegadigde zich onderscheiden op de punten waar het echt om gaat. Conclusie Het toepassen van een risicobeheersplan op hoofdlijnen is een toekomstvaste manier om te trechteren naar drie, indien beheersmaatregelen voor projectspecifieke risico s worden uitgevraagd. Naar de mening van de gegadigden gaf de uitvraag in de aanbestedingsleidraad duidelijke kaders voor het risicobeheersplan op hoofdlijnen. Onduidelijk is wellicht de toevoeging op hoofdlijnen geweest; er wordt gevraagd om diepgang, commitment en SMART 5 - beheersmaatregelen. Gegadigden gaven aan hier een tegenspraak in te zien. Het opstellen van een risicobeheersplan op hoofdlijnen is voor de gegadigden wisselend ervaren. Bij de vraag om een eerste reactie zijn uitspraken gedaan als: ontdekkingsreis, innovatief, worsteling, positief, intellectueel uitdagend en je wordt gedwongen om op de stoel van de opdrachtgever te gaan zitten. De projectdoelstellingsrisico s zijn door de gegadigden omschreven als goed hanteerbaar, risico s waarbij veel mogelijkheden waren en risico s waar gegadigden zich konden onderscheiden. De opdrachtgeversrisico s leverden meer problemen op. Gegadigden vroegen zich soms af wat nou de echte risico s waren. Als oorzaken hiervoor noemden de gegadigden de vaak juridische beschrijving van de risico s en de mate van abstractheid van de risico s. Ook was de relatie tussen enkele opdrachtgeversrisico s en het project N33 niet altijd even duidelijk. Uitspraken die gegadigden hierbij hebben gedaan zijn: Waar komen deze risico s vandaan? en Wat is hier nu eigenlijk het risico?. Het feit dat de projectdoelstellingsrisico s en de opdrachtgeversrisico s in de aanbestedingsleidraad waren beschreven bracht wel structuur in het risicobeheersplan op hoofdlijnen. Het bepalen van de top 10 opdrachtnemersrisico s is door de gegadigden als lastig ervaren. Gegadigden gaven aan dat zij continu de afweging moesten maken tussen Wat zijn mijn echte risico s? en Wat zijn risico s die goed scoren in het risicobeheersplan?. Wat de gegadigden opviel bij de uitgevraagde risico s is dat deze vooral gericht zijn op de realisatiefase. De onderhoudsfase lijkt hierbij 5 SMART: Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdgebonden. Pagina 19 van 68

onderbelicht. Meer balans in de verdeling van de risico s zou beter bij het project passen. Aanbeveling Zoek balans in de uitvraag van de risico s in het risicobeheersplan. Neem risico s op voor zowel de D, de B, de F als de M. Een aantal gegadigden heeft aangegeven dat er meer tijd gewenst is tussen het beschikbaar stellen van het aanbestedingsdossier en het eerste dialooggesprek. Zeker bij een nieuw middel voor nadere selectie als het risicobeheersplan op hoofdlijnen is dit raadzaam. Aanbeveling Neem meer tijd tussen het beschikbaar stellen van het aanbestedingsdossier en het eerste dialooggesprek, zeker als een nieuw middel voor nadere selectie zoals het risicobeheersplan op hoofdlijnen wordt gehanteerd. De beheersmaatregelen en het mitigerend effect van de beheersmaatregelen bij de projectdoelstellingsrisico s en de opdrachtgeversrisico s zijn per risico beoordeeld. Bij de opdrachtnemersrisico s is het totaalbeeld van de top 10 risico s, inclusief beheersmaatregelen en mitigerend effect beoordeeld. Bij de beoordeling is gebruik gemaakt van de cijfers 0, 1, en 2: 0. De beheersmaatregelen dragen niet tot in geringe mate bij aan de verkleining van het risico. 1. De beheersmaatregelen dragen redelijk tot goed bij aan de verkleining van het risico. 2. De beheersmaatregelen dragen zeer goed tot uitstekend bij aan de verkleining van het risico. Een aantal gegadigden heeft aangegeven dat in de aanbestedingsleidraad niet duidelijk beschreven is wat de criteria zijn voor het krijgen van een 0, een 1 of een 2. Één van de gegadigden heeft aangegeven dat zij hun risicobeheersplan op hoofdlijnen meerdere malen heeft laten reviewen, met de criteria uit de leidraad ernaast, en dat er elke keer een andere uitslag uitkwam. Vanuit meerdere gegadigden is de suggestie gedaan om de criteria bij de scores verder uit te werken (SMART), eventueel voorzien van voorbeelden. Aanbeveling Geef in de aanbestedingsleidraad duidelijker aan wat de criteria zijn voor het behalen van een bepaalde score, eventueel voorzien van voorbeelden. De gegadigden waren over het algemeen te spreken over de wijze van scoren met een 0, een 1 of een 2. Door de beperkte range in de scores wordt een groot onderscheidend vermogen gecreëerd. Wel zijn er door gegadigden enkele kanttekeningen geplaatst bij de score 0 : Als je je hebt ingespannen voor een aantal goede beheersmaatregelen bij een bepaald risico en dat wordt dan beoordeeld met een 0 voelt dat psychologisch niet goed! Een 0 doet pijn! Pagina 20 van 68

Conclusie Een beperkte range in scores geeft een goed onderscheidend beeld. Let hierbij wel op welke scores worden gehanteerd. Een aantal gegadigden heeft aangegeven dat de keuze van het pakket aan beheersmaatregelen bij bepaalde risico s moeilijk is geweest, zeker in combinatie met de beperkte omvang van het in te dienen risicobeheersplan op hoofdlijnen: Neem je tien beheersmaatregelen op of kies je voor drie maatregelen die verder uitgewerkt zijn?. Ook de keuze tussen procesmatige maatregelen en fysieke maatregelen is moeilijk geweest: Fysieke maatregelen kosten geld en zit de aanbesteder hierop te wachten?. Naar aanleiding van de beoordeling van de risicobeheersplannen op hoofdlijnen is een aantal gegadigden van mening dat ouderwetse technische en tijdgebonden beheersmaatregelen beter tot hun recht zijn gekomen dan meer integrale beheersmaatregelen zoals het managementsysteem. Één van de gegadigden heeft aangegeven dat zij het risicobeheersplan op hoofdlijnen conceptueel heeft ingestoken. Dit leverde bij het schrijven van het plan de nodige moeilijkheden op omdat er geen ervaring mee was. In het evaluatiegesprek heeft gegadigde dit zelf samengevat als: We hebben gegokt en verloren. Aanbevelingen die door individuele gegadigden zijn gedaan met betrekking tot het risicobeheersplan op hoofdlijnen zijn: Vervang de projectdoelstellingsrisico s door een projectvisie en projectstrategie van de gegadigde. Zorg voor meer onderscheid in de score van de opdrachtnemersrisico s. Er is nu een totaalscore te behalen voor het totaal van risico s inclusief beheersmaatregelen en mitigerend effect. De opzet van het risicobeheersplan op hoofdlijnen wijkt op onderdelen af van die van het project A1-A6. Het project N33 kent projectdoelstellingsrisico s, het project A1-A6 niet. Het is voor een gegadigde eenduidiger als deze verschillen niet bestaan. Wees voorzichtig met het beoordelen van de relevantie van de opdrachtnemersrisico s: Heeft de aanbesteder wel volledige kennis van wat de gegadigde als haar grootste risico s ziet?. 4.3 Startbijeenkomst De eerste fase dialoog is aangevangen met een startbijeenkomst. Deze startbijeenkomst is op 6 september 2011 gehouden in Zwolle. Tijdens deze startbijeenkomst heeft de aanbesteder informatie verstrekt met betrekking tot de projectdoelstellingen, de scope van het project, de planstudie en de aanbesteding. De startbijeenkomst is door de gegadigden als zinvol beoordeeld. Gegadigden hebben aangegeven dat de startbijeenkomst goed was georganiseerd, dynamisch was en als zeer informatief is ervaren. Het was een goede gelegenheid voor een eerste kennismaking met het team van de Pagina 21 van 68

aanbesteder. Ook was het voor gegadigden zinvol om te weten welke andere partijen met het project bezig zijn. Er had tijdens de startbijeenkomst meer aandacht besteed kunnen worden aan de projectspecifieke situatie met betrekking tot de omgeving: Waar liggen nu de zorgen?. Nu moet iedere gegadigde dit zelf uitzoeken. Het grote aantal aanwezigen bij de startbijeenkomst had tot gevolg dat er weinig interactie was. Dit is door de aanbesteder goed opgelost door langs iedere gegadigde te gaan een vragen te laten beantwoorden. Gegadigden hebben overigens wel aangegeven dat ze hierbij niet het achterste van hun tong hebben laten zien. Er was weinig ruimte voor het stellen van informatieve vragen aan de verschillende teamleden van de aanbesteder. Alleen tijdens de borrel was hier gelegenheid voor. Een informatiemarkt, zoals eerder gedaan bij andere aanbestedingen is gemist. Aanbeveling Biedt meer gelegenheid tot het stellen van individuele informatieve vragen tijdens de startbijeenkomst, bijvoorbeeld door de startbijeenkomst af te sluiten met een informatiemarkt 6. 4.4 Dialoogrondes Tijdens de eerste fase dialoog zijn met alle negen gegadigden twee dialooggesprekken van ieder tweeëneenhalf uur gevoerd. De dialooggesprekken zijn gevoerd in de periode van 13 september 2011 tot en met 12 oktober 2011 op het kantoor van het wegendistrict Zwolle van Rijkswaterstaat. De gegadigden zijn van mening dat er in het dialoogteam van de aanbesteder voldoende tot ruim voldoende expertise aanwezig was. De rolverdeling binnen het dialoogteam van de aanbesteder was goed en duidelijk. De omvang van het dialoogteam van de aanbesteder was goed, alle expertises waren aanwezig. De gegadigden zijn van mening dat het dialoogteam van de aanbesteder bestond uit professionals met kennis van zaken van het project. De voorzitter van het dialoogteam van de aanbesteder zou wel een meer voorzittende rol mogen nemen 7. Één gegadigde miste de lokale kennis vanuit de huidige onderhoudscontracten van de N33 en gaf aan dat het wellicht raadzaam is om in een latere fase ook een teamlid vanuit het district te laten aanschuiven. Één gegadigde gaf aan dat het wellicht raadzaam is om bij het uitvragen van een risicobeheersplan op hoofdlijnen ook een risicoexpert van de aanbesteder te laten aanschuiven. 6 Tijdens de startbijeenkomst van de tweede fase dialoog op 24 januari 2012 heeft de aanbesteder deze aanbeveling succesvol toegepast. 7 Tijdens de dialooggesprekken hadden partijen de regie over de agendapunten die ze zelf hadden ingediend. Ook de voorzittende rol lag bij de betreffende partij. Pagina 22 van 68

Enkele gegadigden gaven aan dat zij het idee hadden dat het dialoogteam van de aanbesteder af en toe worstelde met de vragen: Wat kun je wel en wat kun je niet zeggen in deze fase? en Hoe bewaak ik een level playing field tussen de verschillende gegadigden? Gegadigden hebben aangegeven hier geen last van te hebben gehad in de dialoog. De sfeer tussen het dialoogteam van de aanbesteder en de gegadigden is als prettig tot zeer prettig ervaren. De gemaakte afspraken zijn door het dialoogteam van de aanbesteder goed tot zeer goed nagekomen. Tijdens de dialooggesprekken was sprake van wederzijdse respect en een wil tot samenwerken. Het dialoogteam van de aanbesteder heeft een heel open wijze van dialoogvoering gehanteerd. De gegadigden zijn van mening dat het dialoogteam van de aanbesteder op een informele en ontspannen wijze probeerde de gegadigden te helpen. Het dialoogteam van de aanbesteder heeft veel inhoud gebracht in de dialooggesprekken. Volgens enkele gegadigden waren de dialooggesprekken inhoudelijk zelfs veel beter dan bij eerdere aanbestedingen. Het uitvragen van het risicobeheersplan op hoofdlijnen, een nieuwe wijze van selecteren in deze concurrentiegerichte dialoog, is door het dialoogteam van de aanbesteder goed begeleid. In de eerste fase dialoog zijn de dialooggesprekken vooral gegaan over de risico s in het risicobeheersplan op hoofdlijnen. Naar de mening van de gegadigden zou een dialoog over contracteisen gedurende de hele dialoog mogelijk moeten zijn, niet alleen in de tweede fase. Het merendeel van de gegadigden vond het aantal dialoogrondes voldoende en passend bij de relatief korte doorlooptijd van de eerste fase dialoog. Een aantal gegadigden heeft aangegeven dat er meer tijd gewenst was tussen het beschikbaar stellen van het aanbestedingsdossier en het eerste dialooggesprek. Zeker bij een nieuw middel voor nadere selectie als het risicobeheersplan op hoofdlijnen is dit raadzaam. Een aantal gegadigden heeft aangegeven dat het aantal dialooggesprekken goed was, maar dat meer tijd per gesprek wenselijk was. Het is niet eenvoudig gebleken om alle risico s in het risicobeheersplan op hoofdlijnen uitvoerig te bespreken in twee gesprekken van tweeëneenhalf uur. Dialooggesprekken van een dag hadden zij prettiger gevonden. Gegadigden gaven aan te begrijpen dat dit voor de aanbesteder lastig in te plannen is met negen gegadigden. Aanbeveling Neem meer tijd voor de dialooggesprekken, plan hele dagen per gegadigde in plaats van dagdelen. Een aantal gegadigden had graag nog een derde dialooggesprek gewild om hun concept risicobeheersplan op hoofdlijnen te bespreken met het dialoogteam van de aanbesteder. Dit extra dialooggesprek had er toe geleid dat de ingediende risicobeheersplannen een nog betere kwaliteit hadden gehad. De mogelijkheid om de dialooggesprekken naar eigen inzicht in te delen is door de gegadigden als goed tot zeer goed ervaren. Deze mogelijkheid bood voor hen zeker meerwaarde. Gegadigden voelden zich volledig vrij Pagina 23 van 68

om zelf punten te agenderen en waren van mening dat het dialoogteam van de aanbesteder hier positief aan heeft bijgedragen. De verslagen van de dialooggesprekken werden als weinig zinvol ervaren. Als reden hiervoor gaven de meeste gegadigden aan dat het ging om procesmatige verslagen; omdat de dialooggesprekken vertrouwelijk zijn en ook de verslagen van de gesprekken vertrouwelijk zijn zou er best meer inhoud in terug mogen komen. De dialooggesprekken vonden plaats op het kantoor van het wegendistrict Zwolle van Rijkswaterstaat. De gegadigden hadden hier een eigen vergaderzaal ter beschikking. Over de gekozen locatie waren de gegadigden over het algemeen tevreden. Over de faciliteiten op deze locatie waren de gegadigden tevreden tot zeer tevreden. Een aantal gegadigden heeft aangegeven dat een meer centrale locatie, bijvoorbeeld Utrecht, wenselijk is. Een aantal gegadigden begrepen de locatie Zwolle niet, er is geen link tussen Zwolle en het project N33. Een aantal gegadigden heeft aangegeven dat zij uit eerdere aanbestedingen de ervaring hebben dat de dialooggesprekken ook bij de gegadigden hebben plaatsgevonden. Het dialoogteam van de aanbesteder kan dan een goed beeld krijgen van de aanpak van de gegadigde. Een aantal gegadigden heeft aangegeven dat de eerste fase dialoog niet heeft gebracht wat het had kunnen brengen. Als redenen hiervoor zijn genoemd: Kennis van de concurrentiegerichte dialoog in het algemeen ontbrak bij gegadigde. Het dialoogteam van gegadigde bestond uit deelnemers van verschillende bedrijven met verschillende culturen. Dialoogervaring ontbrak bij gegadigde. Er is geen dialoogtraining gevolgd door gegadigde. 4.5 Inlichtingen Tijdens de selectiefase en de eerste fase dialoog zijn meerdere inlichtingen aan de gegadigden verstrekt. Hierbij is gebruik gemaakt van nota s van inlichtingen. De nota s van inlichtingen kennen twee verschijningsvormen: de algemene nota van inlichtingen en de vertrouwelijke nota van inlichtingen. In een algemene nota van inlichtingen zijn antwoorden op vragen die voor alle gegadigden van belang zijn en mededelingen van de aanbesteder opgenomen. Deze nota van inlichtingen wordt naar alle gegadigden verstuurd. In een vertrouwelijke nota van inlichtingen zijn antwoorden op vragen opgenomen die specifiek met de mogelijke oplossing van de gegadigde te maken hebben. De vertrouwelijke nota van inlichtingen wordt alleen naar de gegadigde gestuurd die de betreffende vraag heeft gesteld. De gegadigden hebben de tijd tussen het indienen van verzoeken om inlichtingen en het verkrijgen van de inlichtingen als redelijk tot goed ervaren. Enkele gegadigden merkten op dat de eerste fase van de dialoog heel kort was en dat een kortere wachttijd tussen vraag en antwoord dus wenselijk is. Pagina 24 van 68

De laatste nota van inlichtingen was zeer uitgebreid. Deze nota bevatte inlichtingen die bij een aantal gegadigden nog vragen hebben opgeroepen. Een aantal gegadigden heeft aangegeven dat vooral de inlichtingen over bijlage 15, met betrekking tot de grondposities, hebben geleid tot verwarring en onrust. Er was echter geen gelegenheid meer tot het stellen van verduidelijkende vragen. Een aantal gegadigden heeft aangegeven dat het wellicht raadzaam is het laatste moment van indienen van verzoeken om inlichtingen naar voren te verschuiven, zodat er nog een mogelijkheid is een en ander tijdens een dialooggesprek te bespreken. Aanbeveling Verschuif de uiterste datum voor het indienen van verzoeken om inlichtingen naar voren, zodat over de inlichtingen nog gesproken kan worden tijdens een dialooggesprek. De kwaliteit van de inlichtingen werd over het algemeen als goed gewaardeerd. Een aantal gegadigden heeft aangegeven dat de door hen ingediende vertrouwelijke vragen niet altijd als vertrouwelijk zijn behandeld. Gegadigden kregen het beeld dat de aanbesteder zich heeft ingespannen om te beredeneren waarom een vraag niet als vertrouwelijk zou kunnen worden aangemerkt, terwijl de focus ook kan liggen op het belang van de gegadigde om de vraag wel als vertrouwelijk aan te merken. Enkele gegadigden hebben aangegeven dat de gesprekken in de eerste fase dialoog zich vooral richtten op het risicobeheersplan op hoofdlijnen. De aanbesteder gaf hierbij aan dat dit de eerste horde was die de gegadigden moesten zien te nemen. Vragen over andere onderwerpen, zoals bijvoorbeeld index-linked financiering, konden hierdoor alleen schriftelijk worden gesteld. Het merendeel van de gegadigden heeft aangegeven de nota van inlichtingen als prettige wijze te ervaren voor het ontvangen van antwoorden, mededelingen en wijzigingen. Als alternatief is door een aantal gegadigden een mark-up versie van de aanbestedingsleidraad of de DBFM-overeenkomst genoemd. Conclusie De nota van inlichtingen is geschikt voor het ontvangen van antwoorden, mededelingen en wijzigingen. Een aantal gegadigden heeft opgeroepen het aantal en de omvang van de nota s van inlichtingen zo veel mogelijk te beperken. De aanbesteder heeft hierbij aangegeven dat een en ander afhankelijk is van het aantal gestelde vragen door de gegadigden. Één van de gegadigden heeft aangegeven dat de mogelijkheid om tussentijds (telefonisch) contact te hebben met de aanbesteder over interpretaties van vragen en antwoorden een goede aanvulling zou kunnen zijn. Een aantal gegadigden heeft aangegeven dat het prettig was dat de inlichtingen via e-mail zijn verzonden. Bij andere projecten wordt ook wel Pagina 25 van 68

gebruik gemaakt van een on-line dataroom. Het is soms lastig om te zien wat hierin is geüpdatet. 4.6 Informatievoorziening Het aanbestedingsdossier en de dataroom zijn in de eerste fase dialoog aan de gegadigden beschikbaar gesteld op een DVD. Nadere informatie is in de loop van de eerste fase dialoog via e-mail beschikbaar gesteld. De gegadigden beoordeelden de toegang tot het aanbestedingsdossier en de dataroom redelijk tot goed. Ook de kwaliteit van de op de DVD s beschikbaar gestelde informatie is door de gegadigden als redelijk tot goed beoordeeld. Één van de gegadigden heeft aangegeven dat de logica van de structuur op de DVD voor de betreffende gegadigde niet duidelijk was. Het merendeel van de gegadigden heeft aangegeven goed uit de voeten te kunnen met de gefaseerd beschikbaar gestelde informatie. Zij geven hier zelfs de voorkeur aan. Als er bij aanvang van een fase een grote hoeveelheid informatie beschikbaar wordt gesteld is het lastig om uit te vinden welke informatie voor deze fase nu juist relevant is. Aanbeveling Stel de informatie in de dataroom gefaseerd beschikbaar. Beperk je in elke fase tot de informatie die voor de betreffende fase van belang is. Voor het beschikbaar stellen van informatie zijn verschillende mogelijkheden voor handen. Er kan gebruik gemaakt worden web-based applicaties of van externe informatiedragers 8 met e-mail. De gegadigden zijn niet eenduidig in hun voorkeur voor de wijze van beschikbaar stellen van informatie. Elke wijze heeft zijn eigen voor- en nadelen. Het voordeel van een web-based applicatie is dat de informatie vanaf elke plek direct beschikbaar is en goed deelbaar is binnen het team. Als nadelen zijn genoemd dat het gebruik van een web-based applicatie mogelijk specifieke (toegangs-)instellingen op de hardware vergt, dat het lang duurt voordat alle informatie gedownload is en dat het lastig te zien is welke informatie er nieuw is toegevoegd. Als voordelen van een externe informatiedrager zijn genoemd dat de informatie overzichtelijk en snel in de systemen van de gegadigden zijn over te nemen en dat de informatie beschikbaar blijft. Een web-based applicatie wordt na verloop van tijd afgesloten. 4.7 Beoordeling Aan het eind van de eerste fase dialoog hebben de gegadigden een risicobeheersplan op hoofdlijnen ingediend. Op basis van deze 8 Voorbeelden van externe informatiedragers zijn: CD s, DVD s en harde schijven. In de eerste fase dialoog is bij het project N33 Assen-Zuidbroek gebruik gemaakt van DVD s. Pagina 26 van 68

risicobeheersplannen op hoofdlijnen is getrechterd naar drie gegadigden. De wijze van beoordelen van de risicobeheersplannen op hoofdlijnen is beschreven in de Aanbestedingsleidraad versie Dialoog en Inschrijving versie 1.0. De gegadigden hebben een verdeelde mening over de duidelijkheid van de opzet van de beoordeling in de aanbestedingsleidraad. De kern van de uitvraag was het beschrijven van SMART-e beheersmaatregelen op projectspecifieke risico s. Hiermee was de opzet duidelijk. Het beoordelingskader was echter minder duidelijk: Op welke wijze en met welke mate van concreetheid dient de inhoud beschreven te worden en wat vinden de beoordelaars belangrijk en wat niet?. Conclusie Het beoordelingskader voor de risicobeheersplannen op hoofdlijnen is niet duidelijk genoeg omschreven in de aanbestedingsleidraad. Bij de beoordeling van het risicobeheersplan op hoofdlijnen heeft de aanbesteder gebruik gemaakt van een adviescommissie. De samenstelling van de adviescommissie is opgenomen in de Aanbestedingsleidraad versie Dialoog en Inschrijving versie 1.0. Het gebruik van een adviescommissie is door de gegadigden wisselend beoordeeld. Als positieve punten voor het gebruik van een adviescommissie zijn genoemd: Goede, professionele en objectieve benadering. De adviescommissie kijkt op een objectieve en onpartijdige wijze naar de risicobeheersplannen op hoofdlijnen. Een uniforme beoordeling over verschillende projecten heen (mits leden van de adviescommissie ook bij de beoordeling van andere projecten betrokken zijn). Als mogelijke nadelen voor het gebruik van een adviescommissie zijn genoemd: Het gevaar dat de beoordeling gedaan wordt op basis van onvoldoende projectspecifieke kennis. De afstand tussen de adviescommissie en de gegadigden is groot. De adviescommissie weet niet wie ze werkelijk beoordelen en hoe de uitspraken van het dialoogteam zijn gemaakt; zij krijgen de informatie uit tweede hand. Hierdoor zijn verkeerde constateringen gedaan. De adviescommissie bestaat uit medewerkers van Rijkswaterstaat, die allen ervaring hebben met de aanbesteding van DBFM-projecten. Dit is door de gegadigden als positief beoordeeld: Zij weten waar het over gaat en kennen het klappen van de zweep. Gegadigden zien de toegevoegde waarde van externen als beperkt. Het merendeel van de gegadigden heeft aangegeven dat een adviescommissie bestaande uit een combinatie van ervaren RWS-ers en leden van het dialoogteam de voorkeur heeft. Aanbeveling Indien gebruik gemaakt wordt van een adviescommissie kies dan een combinatie van ervaren medewerkers van Rijkswaterstaat en leden van het dialoogteam. Pagina 27 van 68

Vrijwel alle gegadigden hebben aangegeven dat zij een contactmoment met de adviescommissie hebben gemist. Men wil graag weten door wie men beoordeeld wordt en op welke wijze de adviescommissie tegen bepaalde zaken aankijkt. Als mogelijkheden voor een dergelijk contactmoment zijn genoemd: De adviescommissie is aanwezig bij de startbijeenkomst. (Een deel van) de adviescommissie neemt deel aan de dialoog. Gegadigden krijgen de mogelijkheid om bij indiening van het risicobeheersplan op hoofdlijnen het plan te presenteren aan de adviescommissie. Aanbeveling Zorg voor een contactmoment tussen de adviescommissie en de gegadigden. Alle gegadigden hebben de beoordeling van het risicobeheersplan op hoofdlijnen schriftelijk toegezonden gekregen. Hierna hebben de gegadigden tijdens de Alcatelperiode een mondelinge terugkoppeling gehad. De schriftelijke beoordeling is door de gegadigden wisselend beoordeeld. Termen die gegadigden tijdens de evaluatie hebben gebruikt zijn: netjes, duidelijk, nietszeggend, uitgebreid, zeer algemeen, summier, snel en globaal. Het algemene beeld dat gegadigden hier aan over hielden was: Je weet wat je fout hebt gedaan maar niet wat er beter moet. Gegadigden hadden moeite met het feit dat er bij de beoordeling van meerdere risico s gebruik gemaakt is van een standaardzin als: De overige met name procesmatige beheersmaatregelen dragen niet tot in geringe mate bij aan de verkleining van dit risico of zijn onvoldoende SMART. Dit geeft de terugkoppeling een hoog knip- en plakgehalte. De mondelinge toelichting op de beoordeling heeft het beeld bij gegadigden verduidelijkt. De mondelinge terugkoppeling is door de gegadigden als prettig en informatief ervaren. Ook heeft de mondelinge terugkoppeling de emotie van een negatieve uitslag weggenomen. Een aantal gegadigden heeft aangegeven dat de mondelinge terugkoppeling wel erg kort was: In een uur kun je niet alle risico s bespreken. Een aantal gegadigden heeft aangegeven dat de mondelinge terugkoppeling te weinig diepgang had. 4.8 Sterke en zwakke punten Als sterke punten van de eerste fase dialoog zijn door gegadigden genoemd: Selectie van gegadigden op basis van wie het best risico s kan beheersen. Invulling geven aan projectdoelstellingsrisico s. Tegemoetkomen aan de vraag tot het reduceren van transactiekosten door een korte dialoog waarbij alleen gefocust wordt op het product dat echt telt. Gefaseerd aangeleverde informatie. Er zat vaart in! Open dialooggesprekken. Pagina 28 van 68

Kundigheid van het dialoogteam van de aanbesteder. Duidelijke antwoorden in de nota s van inlichtingen. Als zwakke punten van de eerste fase dialoog zijn door gegadigden genoemd: Korte voorbereidingstijd voor eerste dialooggesprek. Het ontbreken van communicatiemogelijkheden na de laatste nota van inlichtingen. De omgang met vertrouwelijke verzoeken om inlichtingen. Onvoldoende duidelijke beoordelingscriteria. De scores van alle risicobeheersplannen op hoofdlijnen: Zelfs de winnaar heeft maar een zesje. De afstand tot de adviescommissie. De schriftelijke toelichting op de beoordeling. Pagina 29 van 68

Pagina 30 van 68

5 Samenloop aanbesteding N33 Assen-Zuidbroek met SAA A1-A6 De eerste fase dialoog van het project N33 Assen-Zuidbroek liep deels samen met de eerste fase dialoog van het project A1-A6, onderdeel van het programma Schiphol-Amsterdam-Almere. Een aantal partijen binnen de consortia heeft met beide aanbestedingen meegedaan. Deze partijen hebben aangegeven hier zowel voordelen als nadelen van ondervonden te hebben. Doordat de samenstelling van de consortia niet bij beide aanbestedingen gelijk was konden niet alle partijen informatie uitwisselen. Als nadeel van de gedeeltelijke samenloop van beide aanbestedingen is genoemd dat de capaciteit van specialisten, die binnen beide projecten wordt gevraagd, nog wel eens onder druk stond. Andere gegadigden hebben dit juist als positief punt genoemd: Specialisten zitten er al helemaal in en kunnen eenvoudig van het ene naar het andere project overstappen. Een gevaar van de gedeeltelijke samenloop van beide aanbestedingen is dat als er bij het ene project iets verandert in bijvoorbeeld de uitgangspunten, dan gaat men er al snel impliciet vanuit dat dit bij het andere project ook het geval zal zijn. Dit introduceert risico s. De uitslag van de N33 was bekend voordat het laatste dialooggesprek bij A1-A6 heeft plaatsgevonden. De wijze van beoordelen is hierbij uitgebreid aan de orde geweest. Het project A1-A6 heeft hiermee kunnen profiteren van de leerervaringen van de N33. Partijen hebben aangegeven dat de volgtijdelijkheid van de projecten, de N33 die iets voorliep op A1-A6, goed gekozen is. De leerervaringen van het kleinere projecten kunnen direct worden meegenomen in het grotere project. Conclusie Het is goed om bij de uitvraag van een nieuw middel voor nadere selectie, zoals het risicobeheersplan op hoofdlijnen, het in omvang kleinste project als eerste in de planning op te nemen. Het grotere project kan dan profiteren van de leerervaringen van het kleinere project. Pagina 31 van 68

Vooruitblik op de volgende fase: Enkele gegadigden hebben aangegeven dat de uitnodigingen voor definitieve inschrijving van beide projecten goed op elkaar afgestemd dienen te worden. Financiers werken momenteel met kleinere teams en ook het beschikbare kapitaal per project is kleiner. Een periode van twee tot drie maanden tussen beide uitnodigingen voor definitieve inschrijving is gewenst. Voor financiers is ook uniformering en consistentie in de wijze van uitvraag van beide projecten van belang, voor zover dit algemene projectoverstijgende aspecten betreft. Aanbeveling Stem de data voor de uitnodiging voor definitieve inschrijving van beide projecten goed op elkaar af. Pagina 32 van 68

6 Aanbesteding Algemeen Het laatste deel van de schriftelijke enquête betrof een aantal uiteenlopende onderwerpen, zoals communicatie, vertrouwelijkheid, planning en ontwerpvergoeding. De communicatie tussen de aanbesteder en gegadigden verliep naar de mening van de gegadigden goed. Het aantal contactmomenten met de aanbesteder is door de gegadigden als goed beoordeeld. De vertrouwelijkheid binnen de aanbesteding is naar de mening van de gegadigden goed tot zeer goed geborgd. Wat betreft de planning hebben de gegadigden aangegeven dat het jammer is dat het project in eerste instantie erg is vertraagd. De tijd tussen de eerste vooraankondiging en de werkelijke aankondiging was veel te lang. Gegadigden zijn van mening dat de planning in de selectiefase en de eerste fase dialoog goed is geweest. De planning tot aan definitieve inschrijving dient naar de mening van de gegadigden nog nader aangepast te worden. De inspanning die gegadigden hebben moeten leveren voor het schrijven van het risicobeheersplan op hoofdlijnen is voor de gegadigden groter geweest dan ze in eerste instantie hadden ingeschat. Voor het opstellen van het risicobeheersplan op hoofdlijnen moet je toch vol het project induiken. Niet alle gegadigden hebben de kosten die zij gemaakt hebben voor deze fase volledig in kaart gebracht. Een aantal gegadigden hebben wel de kosten van adviseurs inzichtelijk, maar de kosten van de eigen inspanningen niet. Gegadigden geven aan dat de ontwerpvergoeding in deze fase gemiddeld 25 procent van de door gegadigden gemaakte kosten dekt. Pagina 33 van 68

Pagina 34 van 68

7 Conclusies en aanbevelingen 7.1 Conclusies In de voorgaande hoofdstukken zijn de volgende conclusies getrokken: Het risicobeheersplan op hoofdlijnen is een goede manier om tijdens de aanbesteding het aantal gegadigden terug te brengen naar drie. Het toepassen van een risicobeheersplan op hoofdlijnen is een toekomstvaste manier om te trechteren naar drie, indien beheersmaatregelen voor projectspecifieke risico s worden uitgevraagd. Een beperkte range in scores in het risicobeheersplan op hoofdlijnen geeft een goed onderscheidend beeld. Let hierbij wel op welke scores worden gehanteerd. De nota van inlichtingen is geschikt voor het ontvangen van antwoorden, mededelingen en wijzigingen. Het beoordelingskader voor de risicobeheersplannen op hoofdlijnen is niet duidelijk genoeg omschreven in de aanbestedingsleidraad. Het is goed om bij een gedeeltelijke samenloop van twee aanbestedingen waarbij een nieuw middel voor nadere selectie wordt uitgevraagd, zoals het risicobeheersplan op hoofdlijnen, het in omvang kleinste project als eerste in de planning op te nemen. Het grotere project kan dan optimaal profiteren van de leerervaringen van het kleinere project. 7.2 Aanbevelingen In de voorgaande hoofdstukken zijn de volgende aanbevelingen gedaan: Breng het aantal gegadigden dat zich kwalificeert voor de Eerste fase Dialoog terug tot een maximum van vijf. Zoek balans in de uitvraag van de risico s in het risicobeheersplan. Neem risico s op voor zowel de D, de B, de F als de M. Neem meer tijd tussen het beschikbaar stellen van het aanbestedingsdossier en het eerste dialooggesprek, zeker als een nieuw middel voor nadere selectie zoals het risicobeheersplan op hoofdlijnen wordt gehanteerd. Geef in de aanbestedingsleidraad duidelijker aan wat de criteria zijn voor het behalen van een bepaalde score, eventueel voorzien van voorbeelden. Biedt meer gelegenheid tot het stellen van individuele informatieve vragen tijdens de startbijeenkomst, bijvoorbeeld door de startbijeenkomst af te sluiten met een informatiemarkt. Pagina 35 van 68

Neem meer tijd voor de dialooggesprekken, plan hele dagen per gegadigde in plaats van dagdelen. Verschuif de uiterste datum voor het indienen van verzoeken om inlichtingen naar voren, zodat over de inlichtingen nog gesproken kan worden tijdens een dialooggesprek. Stel de informatie in de dataroom gefaseerd beschikbaar. Beperk je in elke fase tot de informatie die voor de betreffende fase van belang is. Indien gebruik gemaakt wordt van een adviescommissie kies dan een combinatie van ervaren medewerkers van Rijkswaterstaat en leden van het dialoogteam. Zorg voor een contactmoment tussen de adviescommissie en de gegadigden. Stem de data voor de uitnodiging voor definitieve inschrijving van de projecten N33 Assen-Zuidbroek en A1-A6 goed op elkaar af. Financiering kan anders moeizamer verlopen. Pagina 36 van 68

Bijlage A: Deelnemers aan de evaluatie Aan deze evaluatie hebben de volgende personen meegewerkt: Peter Kanninga Sander Lefevre Dick van der Sluis Gerold Schaap Martijn Klinkhamer Joep van Huijstee Ronald Dirksen Gideon Tilburgs Peter Westra Wouter van der Bijl Wouter Dirks Pieter Mali Maarten Roest Stefan Brunner Mark Siewers Willem Stitselaar Mark Platvoet Chris Haakman Jan Willem Bruining Cathelijne Flamink Richard Bouman Pagina 37 van 68

Jacques Ypma Chris Vriends Eduard Figee Maarten Kokshoorn Annette Prinsen Marian Habraken Michiel Roohé Erik Naafs Joris Schillemans Frans van den Bergh Pagina 38 van 68